Ryuichi's Arsenal

環境與工具準備如下：

• 一個Hadoop的環境with Spark 2.4(Ubuntu)。
• Flume：apache-flume-1.9.0-bin.tar.gz  → 用來模擬將資料傳到kafka topic。
• Kafka Server：confluent-7.0.1 → 建立 kafka。
• Jar包：kafka-clients-3.0.0.jar、spark-streaming-kafka-0-10_2.11-2.4.8.jar → 執行與編譯Spark Streaming程式用。
• Spark執行檔：spark-2.4.5-bin-hadoop2.7.tgz → 驅動Spark-Submit。

Flume Customized Interceptor、Flume Filter、regex_filter。

Reference：CustomInterceptor.scala

Coding Spark 2.4 Program Using Scala Eclipse IDE。

CDH 5.16、oozie、spark2 Integration、SparkMain Class not found。

Transfering a file between HDFS and SFTP without copying it to local disk。

org.apache.commons.compress.utils.IOUtils。

Coding KMeans Clustering Using Python with Spark。

RDD Union、SubstractByKey。

Coding KMeans Clustering Using Scala with Spark。

groupByKey、mapValues、flatMap、sortBy。

Coding Spark Program Using Scala Eclipse IDE。