java架構之路（MQ專題）kafka集群配置和簡單使用

　　前面我們說了RabbitMQ和RocketMQ的安裝和簡單的使用，這次我們說一下Kafka的安裝配置，後面我會用幾個真實案例來說一下MQ的真實使用場景。天冷了，不願意伸手，最近沒怎麼寫博客了，還請見諒。


一、目標


　　1.知道什麼是Kafka


　　2.懂得kafka的單機和集群安裝配置


　　3.了解內部參數的簡單配置


二、Kafka簡介


 


　　Kafka是由Apache軟件基金會開發的一個開源流處理平台，由Scala和Java編寫。Kafka是一種高吞吐量的分佈式發布訂閱消息系統，它可以處理消費者在網站中的所有動作流數據。 這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網絡上的許多社會功能的一個關鍵因素。 這些數據通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。 對於像Hadoop一樣的日誌數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。Kafka的目的是通過Hadoop的并行加載機制來統一線上和離線的消息處理，也是為了通過集群來提供實時的消息。——百度百科


三、Kafka使用場景



  • 日誌收集：一個公司可以用Kafka可以收集各種服務的log，通過kafka以統一接口服務的方式開放給各種consumer，例如hadoop、Hbase、Solr等。

  • 消息系統：解耦和生產者和消費者、緩存消息等。

  • 用戶活動跟蹤：Kafka經常被用來記錄web用戶或者app用戶的各種活動，如瀏覽網頁、搜索、點擊等活動，這些活動信息被各個服務器發布到kafka的topic中，然後訂閱者通過訂閱這些topic來做實時的監控分析，或者裝載到hadoop、數據倉庫中做離線分析和挖掘。

  • 運營指標：Kafka也經常用來記錄運營監控數據。包括收集各種分佈式應用的數據，生產各種操作的集中反饋，比如報警和報告。


四、相關術語



  • Broker


Kafka集群包含一個或多個服務器，這種服務器被稱為broker



  • Topic


每條發布到Kafka集群的消息都有一個類別，這個類別被稱為Topic。



  • Partition


Partition是物理上的概念，每個Topic包含一個或多個Partition.



  • Producer


負責發布消息到Kafka broker



  • Consumer


消息消費者，向Kafka broker讀取消息的客戶端。



  • Consumer Group


每個Consumer屬於一個特定的Consumer Group（可為每個Consumer指定group name，若不指定group name則屬於默認的group）。


五、單機安裝


　　1.安裝jdk，輸入yum install -y java-1.8.0-openjdk* 耐心等待即可，安裝完成以後，輸入$ java -version，檢查是否安裝成功。


　　2.由於Kafka是基於Zookeeper環境的，我們安裝一下Zookeeper（不安裝也可以，最好配置一下，便於後期理解，建議安裝3.*版本）。我以前寫過Zookeeper的安裝過程，想看的可以去了解一下


　　3.輸入wget https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz 等待下載完成，Kafka現在是0.*，1.*，2.*三個版本，這裏建議使用1.*版本，你也可以下載最新的2.3.1版本，下載方式wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.1/kafka_2.12-2.3.1.tgz，這裏說一下，kafka_2.12-2.3.1.tgz前面的2.12是Scala語言版本，後面的2.3.1才是我們的Kafka的版本。官網地址：


　　4.解壓tar -zxvf kafka_2.11-1.1.0.tgz 


　　5.進入到config目錄下，vim server.properties，我們在123行可以看到Zookeeper的配置如下（不是localhost的自己改一下）



　　6.啟動$ ./bin/kafka-server-start.sh -daemon config/server.properties 


　　7.進入Zookeeper下查看節點信息。



　　輸入jps看到我們的進程kafka，單機配置成功。


六、集群安裝


　　1.重複單機安裝步驟。


　　2.修改配置文件，在21行broker.id設置為不同的数字，第一台可以設置0，第二台1，依次類推，在123行 zookeeper.connect寫入Zookeeper集群連接，例如zookeeper.connect=47.105.137.93:2181,114.215.145.41:2181,115.29.151.4:2181。


　　3.分別啟動三個Kafka。


　　4.測試集群，創建一個主題./bin/kafka-topics.sh --create --zookeeper  47.105.137.93:2181,114.215.145.41:2181,115.29.151.4:2181  --replication-factor 1 --partitions 1 --topic test


　　到其它服務器下查看現有主題即可。


七、簡單使用


　　1.創建主題 ./bin/kafka-topics.sh --create --zookeeper IP:端口,IP:端口 --replication-factor 副本數 --partitions 分區數 --topic 主題名


 　　例如：./bin/kafka-topics.sh --create --zookeeper 47.105.137.93:2181,114.215.145.41:2181,115.29.151.4:2181 --replication-factor 1 --partitions 1 --topic xiaocaijishu


　　2.查看現有主題 ./bin/kafka-topics.sh --list --zookeeper IP:端口,IP:端口


　　 例如：./bin/kafka-topics.sh --list --zookeeper 47.105.137.93:2181,114.215.145.41:2181,115.29.151.4:2181


　　3.刪除主題 ./bin/kafka-topics.sh --delete --topic xiaocaijishu2 --zookeeper IP:端口,IP:端口


　　例如：./bin/kafka-topics.sh --delete --topic xiaocaijishu2 --zookeeper 47.105.137.93:2181,114.215.145.41:2181,115.29.151.4:2181　　


 　　4.發送消息 ./bin/kafka-console-producer.sh --broker-list Kafka服務器IP:9092 --topic 主題名


　　例如：./bin/kafka-console-producer.sh --broker-list 47.105.137.93:9092 --topic xiaocaijishu


　　5.消費消息./bin/kafka-console-consumer.sh --bootstrap-server Kafka服務器IP:9092 --consumer-property group.id=消費組名稱 --topic 主題名


　　例如： ./bin/kafka-console-consumer.sh --bootstrap-server 47.105.137.93:9092 --consumer-property group.id=xiaocaiGroup --topic xiaocaijishu


　　6.查看現有消費組 ./bin/kafka-consumer-groups.sh --bootstrap-server Kafka服務器IP:9092 --list


　　 例如：./bin/kafka-consumer-groups.sh --bootstrap-server 47.105.137.93:9092 --list


 



 


最進弄了一個公眾號，小菜技術，歡迎大家的加入


 



 


 


 

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※想知道大胸女孩都會買什麼款式的內衣呢?d cup內衣,e cup內衣挑選完美致勝推薦



※濃郁的奶香牛軋糖-最好吃的伴手禮,送禮要送進心崁裡!



※專為各大企業長短期商務包車接送的服務



※來台東旅遊不可錯過的，台東必買名產 「池上米、地瓜酥、洛神花」都在"購夠台東"網路商城皆買的到哦!



※2020推薦婚禮錄影台北精選18家專業團隊



※票選台中最佳親子活動.情侶約會必住的一中街住宿,旅遊行程推薦!



※找尋專業廣告設計,價格公道大圖輸出,背板品質佳



Orignal From: java架構之路（MQ專題）kafka集群配置和簡單使用

留言

張貼留言

這個網誌中的熱門文章

全嘉Chill孩嗨　感受嘉義幸福進行式

〔今傳媒／記者郭政隆報導〕嘉義市政府為歡慶兒童佳節，在4月份規劃出一系列兒童月活動，並依照年齡層設計不一樣的活動內容，更融合兒童權利公約及聯合國多元永續發展目標的精神，透過「一活動一攤位」的方式呈現，要讓整個四月親子一起「嗨翻嘉義」，黃敏惠市長並於3/27日與孩子同樂，搶先體驗「全嘉跑酷中」，與小朋友玩的不亦樂乎，整個市府充滿孩子的歡笑聲。   嘉義市長黃敏惠表示，4月份是兒童月，為了要讓孩子有難忘回憶，市府用心規劃一系列活動，共計有25場活動，融合「兒童權利公約」中「禁止歧視」、「生存及發展權」、「優先考量兒童最佳利益」，「表意權」的四大原則讓孩子從小建立正確的觀念外，同時寓教於樂傳達CRC的精神，此外，市府教育處也特別規劃「樂學習、遊戲趣、愛閱讀、好健康」活動，於兒童週期間作業減量、延長下課時間、閱讀活動以及推出兒童節營養特餐，讓孩子擁有一個快樂學習又幸福的兒童節。 胺基酸洗面乳 一瓶２用深層清潔洗後保濕不緊繃。帶你認識 桃園殯葬公司 生命禮儀流程!專家學者建議裝潢加以施作 阻火材料 能有效阻擋大火延燒!逝者於治喪的期間， 桃園禮儀社 的送行者會協助解決各種疑難雜症，同時依照逝者的個人信仰及習俗需求，引導來賓親友祭拜，減少家屬的身心負擔。專業推薦最佳防盜系統 離線警報器 。大台北 板橋殯葬業推薦 —堅持禮儀服務、產品，價格公開透明！秉持著專業 空壓機 技術，為您解決工作中需要風量、風壓的問題。 自助洗衣加盟連鎖 條件?免加盟金、免保證金， 完整創業輔導，收入全歸加盟主，輕鬆當老闆。 餐飲POS點餐系統 「免等待、快速取用餐」，加速店內翻桌率。 板橋生命禮儀公司 用心服務,守住生命最後的尊嚴！自助 點餐機系統 ，好操作、易學習，讓你直接標準化，為你精省時間、人力，打造你加盟連鎖王國中。何謂 防火泥 、 防水膠 、 防火漆 ? 分別適用在何種環境中呢?維修就找最專業！服務的好品質！ 三洋服務站 -全台據點；找尋 板橋禮儀社 ,專業禮儀師真誠用心服務!推薦 台北記帳士事務所 ～ 國際牌服務站 -液晶電視維修中心； 神明桌 嘉義市長黃敏惠指出，青年是帶動城市發展的重大引擎，孩子更是我們最重要的螺絲釘，嘉義市政府長期致力於兒童福利的發展，使家長們在「嘉」安心生養，無論在兒童福利的推動、親子活動都能夠感受到嘉義的幸福進行式。歡迎全國的的親子家...
閱讀完整內容

產後便秘，4道美食來調理

產後便秘，對於坐月子的新媽媽來說是常見的的事情，這可能與長期卧床、腸蠕動減慢、腹部過度膨脹、飲食太精細有關，對於媽媽和寶寶的身體健康影響十分大，需要好好照理。 1、芹菜炒香乾 原料：豆腐乾、芹菜、鹽、香油、油、白糖 做法： ①香乾切細條；芹菜切段，開水焯芹菜，撈出過涼水 ②鍋里加一小勺食用油，加入香乾煸炒，加入芹菜煸炒，放入鹽，白糖再翻炒一下 ③淋上香油即可出鍋。 2、木耳炒白菜 嬰兒床挑選重點 DIDI來自台灣原創自有品牌，秉持著「匠心獨運、細緻美感」的經營理念，長期專注於母嬰環境，悉心研究使用 嬰兒床 的需求及痛點，進而開發出真正符合消費者需求、改善解決其困擾的高品質產品。 寶寶 頭型 如何矯正?把握黃金期，不要錯過最佳時機!初生嬰兒會因為長時間睡在同一位置，之後察覺頭型有左右不對稱或扁平，可以求診對頭型有研究的! 專業 電腦割字 服務的廠商 優仕彩有多項大型展覽會場的設計佈置，擁有更多的經驗，能滿足客戶更多的需求。 保麗龍割字 價格推薦優仕彩 高規格的婚宴禮遇 新竹婚宴會館 翻轉傳統婚宴框架 伊薇儷新竹婚宴會館 耗時五年精心設計的全白色歐式建築，讓您感受異國氛圍。挑高１２米大廳與璀璨華麗的水晶吊燈，一覽大氣緻美視覺。 原料：大白菜、木耳、枸杞子、油、鹽、蔥、姜、蒜、生抽、澱粉、白糖 做法： ①枸杞清水洗去浮塵，用黃酒浸泡十分鐘左右；木耳用涼水泡發，去蒂；蒜切片；蔥姜切末；大白菜洗凈，切片 ②起鍋做油，油熱後放入蒜片、蔥薑末煸炒出香味，入泡發的木耳翻炒，倒入白菜塊，大火快炒兩分鐘 ③倒入生抽翻炒，倒入枸杞翻炒，再淋上一點水澱粉，翻炒上漿后調入糖、鹽后翻炒均勻即可。 來源鏈接：https://www.meishichina.com/Health/Baby/201811/220975.html 反光背心 全系列 台灣工廠製造 工廠直營，台灣自有品牌，高品質警用/交通/環保反光背心。 價格優惠，歡迎團體訂購 。 好月嫂難尋! 台北到府坐月子 、 新北市到府坐月子 專業月嫂真心推薦 最專業的到府坐月子!全省到府服務(9小時、24小時) 月子中心貴鬆鬆,找對 到府月嫂 省一半，更讓你事半功倍!! 愛寶貝到府坐月子提供24小時、9小時彈性月嫂到府服務，含新生兒產婦照護、月子餐、簡易家事等坐月子...
閱讀完整內容

10套可鹽可甜的早秋少女感穿搭參考_到府月嫂

※準新人必讀! 新竹婚宴會館 推薦 高規格的婚宴禮遇，邀您共享美食饗宴。容納２３０桌，全場無樑柱空間，備有大型免費停車場，國道三號103K茄苳交流道１分鐘即可抵達。 10套可鹽可甜的早秋少女感穿搭參考 雖然夏天漸漸過去了，但是清新可愛的少女風穿搭可不只是夏日限定哦~清新的色調和俏皮的款式和初秋的天氣也很配呢！無論凹造型還是日常出街，選擇一套少女感滿滿的穿搭總是能給人留下溫柔可愛的形象，真的很拉好感呢！ 初秋的少女單品有哪些呢？怎樣搭配會溫暖又養眼呢？小蘑菇找到了下面十套穿搭為你提供靈感，讓你出街不重樣。其實，少女感的精髓就是清新、甜美、可鹽可甜，具體要怎樣搭，快來一起看看吧！   清爽的色調更顯出十八歲的清純感，左邊的寬鬆褲裝搭配格子短上衣，顯得比例超好還能遮住小肉肉，淺糖果色系加甜美的領口小細節超級甜啦！右邊就是溫婉的韓系女神風，全身奶茶色系顯得元氣又溫柔，簡約的西裝搭配碎花長裙，大方又洋氣。   休閑簡單的鹽系少女也很惹人愛呢！左邊是簡單的衛衣牛仔褲穿搭，因為獨特的顏色和oversize款式顯得非常出挑。右邊是有一些日系的風格，清新的超長寬鬆襯衫裙更顯嬌小好身材，白色帆布包和藍色棒球帽顯得很有青春校園感，整個人都萌萌噠起來。 ※月子中心貴鬆鬆,找對 到府月嫂 省一半，更讓你事半功倍!! 愛寶貝到府坐月子提供24小時、9小時彈性月嫂到府服務，含新生兒產婦照護、月子餐、簡易家事等坐月子服務，月嫂具專業證照級保母經驗，價格公開合理。   亮眼的黃色系超適合秋天了~亮黃色衛衣搭配低飽和度暗粉紫色闊腿褲，非常減齡的撞色穿搭讓整個人好像一顆糖，豹紋貝雷帽又增添了幾分乖張的文藝氣息。右邊的橙色上衣搭配拼色格子裙，復古中帶着前衛跳脫的趣味感。   初秋怎麼能少的了長裙穿搭呢？左邊的粉色小熊衛衣穿在身上妥妥的軟萌妹子，搭配仙氣的白色蛋糕裙更是滿滿的小公主氣息。右邊的白色連衣裙搭配大地色開衫，是最清爽文藝的日雜風哦~搭配亮眼的玫紅色包包，整個人都活潑了起來。   俏皮的小可愛也是超有魅力噠！左邊的穿搭在復古中透出可愛，黑白色搭配清爽經典，背帶裙搭配高領泡泡袖打底衫超級減齡了，堆堆襪、貝雷帽和復古小方包使得穿搭的整體風格更加豐富和...
閱讀完整內容