以Flume、Kafka與Spark Streaming實現串流傳輸

環境與工具準備如下:
  • 一個Hadoop的環境with Spark 2.4(Ubuntu)。
  • Flume:apache-flume-1.9.0-bin.tar.gz  → 用來模擬將資料傳到kafka topic。
  • Kafka Server:confluent-7.0.1 → 建立 kafka。
  • Jar包:kafka-clients-3.0.0.jar、spark-streaming-kafka-0-10_2.11-2.4.8.jar → 執行與編譯Spark Streaming程式用。
  • Spark執行檔:spark-2.4.5-bin-hadoop2.7.tgz → 驅動Spark-Submit。
...繼續閱讀 »