ETL 完成 API 串接,並依排程更新資料庫(使用 SSIS)_目錄

現在愈來愈多廠商提供 OPEN API 提供客戶使用,以目前所接到的專案作為筆記。

運用語言:C#、SQL

使用工具:SQL Server SSIS

SSIS 架構

下方表格為 SSIS 控制流程與執行順序,將分別詳述各工作流程內容。

執行順序物件名稱說明/用途
1執行 SQL 工作TRUNCATE TABLE Shopline_Tmp_Customer
2資料流程工作Get API to JSON File
2-1 指令碼元件
3Foreach 迴圈容器設定檔案列舉值參數
  資料流程工作
3-1  指令碼元件Read Json File
3-2  衍伸的資料行加入轉換 DateTime
3-3  OLE DB 目的地將取得的資料寫入資料庫
3-*  衍伸的資料行、OLE DB 目的地OLE DB 目的地錯誤輸出紀錄 LOG
4執行 SQL 工作Insert Into Log Table
5資料流程工作
5-1 OLE DB 來源 TEMP Table
5-2 緩時變維度 緩時變維度
5-2-1  OLE DB 目的地Insert New Data
5-2-2  OLE DB 命令Update Old Data
6檔案系統工作Backup File

SSIS 流程圖

SSIS 封裝部署至 SQL Server Management Studio

可參考 http://vito-note.blogspot.com/2014/01/blog-post_9.html 這篇教學文章,當封裝部署至 SSMS 上後,就可以透過 SQL Server Agent 設定封裝排程。

只有自己摸索過,才能內化轉換成力量。