大數(shù)據(jù)培訓(xùn)_Kafka 組件的介紹

發(fā)布時(shí)間： 2019-08-30 16:24:30

　　大數(shù)據(jù)培訓(xùn)_Kafka 組件的介紹

　　Kafka定義
　　Kafka 是一個(gè)高吞吐、分布式、基于發(fā)布訂閱的消息系統(tǒng)，利用Kafka技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模消息系統(tǒng)。
　　Kafka應(yīng)用場(chǎng)景簡(jiǎn)介

　　Kafka和其他組件比較，具有消息持久化、高吞吐、實(shí)時(shí)等特性，適用于離線和實(shí)時(shí)的消息消費(fèi)，如網(wǎng)站活性跟蹤、聚合統(tǒng)計(jì)系統(tǒng)運(yùn)營(yíng)數(shù)據(jù)（監(jiān)控?cái)?shù)據(jù)）、日志收集等大量數(shù)據(jù)的數(shù)據(jù)收集場(chǎng)景。

大數(shù)據(jù)培訓(xùn)

　　Kafka拓?fù)浣Y(jié)構(gòu)圖
　　一個(gè)典型的Kafka集群中包含若干Producer（可以是web前端產(chǎn)生的Page View，或者是服務(wù)器日志，系統(tǒng)CPU、Memory等），若干Broker（Kafka支持水平擴(kuò)展，一般broker數(shù)量越多，集群吞吐率越高），若干Consumer，以及一個(gè)Zookeeper集群。Kafka通過(guò)Zookeeper管理集群配置，選舉Leader，以及在Consumer發(fā)生變化時(shí)進(jìn)行rebalance。Producer使用push模式將消息發(fā)布到Broker，Consumer使用pull模式從Broker訂閱并消費(fèi)消息。
　　Broker：Kafka集群包含一個(gè)或多個(gè)服務(wù)實(shí)例，這些服務(wù)實(shí)例被稱為Broker。
　　Producer：負(fù)責(zé)發(fā)布消息到Kafka Broker。

　　Consumer：消息消費(fèi)者，從Kafka Broker讀取消息的客戶端。

　　Kafka Topics
　　每條發(fā)布到Kafka的消息都有一個(gè)類別，這個(gè)類別被稱為Topic，也可以理解為一個(gè)存儲(chǔ)消息的隊(duì)列。例如：天氣作為一個(gè)Topic，每天的溫度消息就可以存儲(chǔ)在“天氣”這個(gè)隊(duì)列里。

　　圖片中的藍(lán)色框?yàn)镵afka的一個(gè)Topic，即可以理解為一個(gè)隊(duì)列，每個(gè)格子代表一條消息。生產(chǎn)者產(chǎn)生的消息逐條放到Topic的末尾。消費(fèi)者從左至右順序讀取消息，使用Offset來(lái)記錄讀取的位置。

　　Kafka Partition

　　每個(gè)Topic 都有一個(gè)或者多個(gè)Partitions構(gòu)成。每個(gè)Partition都是有序且不可變的消息隊(duì)列。引入Partition機(jī)制，保證了Kafka的高吞吐能力。
　　每個(gè)topic被分成多個(gè)partition(區(qū)),每個(gè)partition在存儲(chǔ)層面對(duì)應(yīng)一個(gè)log文件，log文件中記錄了所有的消息數(shù)據(jù)。

　　引入Partition機(jī)制，保證了Kafka的高吞吐能力，因?yàn)門opic的多個(gè)Partition分布在不同的Kafka節(jié)點(diǎn)上，這樣一來(lái)多個(gè)客戶端（Producer和Consumer）就可以并發(fā)訪問(wèn)不同的節(jié)點(diǎn)對(duì)一個(gè)Topic進(jìn)行消息的讀寫。