RiCo技術農場

公司目前kafka cluster和zookeeper cluster都安裝在windows上，

後來我們決定回歸Linux，因為之前我吃過只有windows會有的bug，

另外，Linux版本更新比windows版本勤快多了

Kafka目前已經通過QA環境的壓力測試，也在Staging環境服務超過兩個禮拜了，

我們預計下一個版本將上Production，而那是一個超高流量和concurrent users的環境，

預防可能會有Scale-out的需求，我先來練習一下。

當時在公司安裝測試Kafka時，同事最常問我是否真的需要ZK呢?

是否可以讓架構更簡單並單純使用Kafka cluster，我當時的回答是:無法避免。

目前我使用Kafka manager來管理公司的kafka cluster，但topic無法修改replicate 數量，

這篇紀錄一下如何使用kafka system tools進行修改。

kafka預設保存7天(168 hour)的log在disk，處理message過程中可能會出現異常或非預期錯誤(如網路中斷、disk 問題)，

這時有可能造成我們資料遺失或不一致，這篇來看看如何重新consume這些資料。

確認Consumer是否有完整消耗kafka message是管理kafka重要的第一步，

因為你不想看到message無法被消耗或累積太多的情況。