以Java實作Google Cloud Function搭配Cloud Storage自動將local端的parquet資料引進BigQuery的table

  • 713
  • 0
  • GCP
  • 2023-02-23

Automatically load local file to BigQuery table when file is uploaded to Bucket/Cloud Storage。

Implementing by Java、Eclipse and Maven。

環境與工具準備如下:
  • 申請一個Google Cloud免費環境。
  • 準備一個Ubuntu環境,安裝gsutil,用於與GCP(Google Cloud Platform)溝通(shell script部署Cloud Function與上傳檔案到Cloud Storage)。
  • 安裝Maven套件的Eclipse,可下載Eclipse後自行加載Maven設定。
...繼續閱讀 »

以Flume、Kafka與Spark Streaming實現串流傳輸

環境與工具準備如下:
  • 一個Hadoop的環境with Spark 2.4(Ubuntu)。
  • Flume:apache-flume-1.9.0-bin.tar.gz  → 用來模擬將資料傳到kafka topic。
  • Kafka Server:confluent-7.0.1 → 建立 kafka。
  • Jar包:kafka-clients-3.0.0.jar、spark-streaming-kafka-0-10_2.11-2.4.8.jar → 執行與編譯Spark Streaming程式用。
  • Spark執行檔:spark-2.4.5-bin-hadoop2.7.tgz → 驅動Spark-Submit。
...繼續閱讀 »