[Kafka]performance tools

LinkedIn幫Kafka做了很多吞吐量效能測試,他們以RabbitMQ benchmark為範本來進行一連串的效能測試,

單一producer、100 bytes、3x async-replication每秒高達75MB(每秒可發送786432 的message),

sync-replication約40MB(每秒可發送419430的message)。單一Consumer則每秒有89.7MB(每秒可接收940573的message),

三個Consumer約為249.5MB(每秒可接收2616197.12的message),

而End to End的Producer’s latency平均2 ms,一整個讓我驚艷。

...繼續閱讀 »

[Kafka]Kafka Eagle

目前我使用Kafka-manager 管理公司的kafka cluster,但管理上我覺得有些地方很不方便,

偏偏其中有一點是我個人覺得很重要的,所以昨天就嘗試了Kafka Eagle用來補足Kafka-manager的不足,

另外我也大概玩了KafkaOffsetMonitor(太久沒更新,無法支援kafka 0.10.2.X)和linkedin/kafka-monitor(可支援kafka 0.10.2.X,但太多javascripts錯誤,我改到一半就放棄了)。

...繼續閱讀 »

[Kafka]ReConsume

kafka預設保存7天(168 hour)的log在disk,處理message過程中可能會出現異常或非預期錯誤(如網路中斷、disk 問題),

這時有可能造成我們資料遺失或不一致,這篇來看看如何重新consume這些資料。

...繼續閱讀 »