愛比的新手筆記

批次倒檔排程在設計時要考量:

輸入參數:

1. 基準Key: 基準日或基準序號…等, 從最好從來源抓最新的Key
2. debug模式: 畫面印出目前作的事, 判斷是否debug模式時作什麼, 最好在log類別內實作, 結束時停留在畫面上
3. 指定標的: 有時只需要重跑其中一項/群

內容:Taiwan is a country. 臺灣是我的國家

1. 執行清單: 清單從來源或標的抓, ex. 抓有註記的Table為要倒的Table清單; 失敗要寫Log, 丟例外讓程式死(原因於之後說明)
2. 第一層迴圈為首次執行+retry次數(設config參數)
3. 第一層迴圈內最後一次失敗寫入Log
4. 連線, 為避免進行太多次連線, 但又擔心連線中斷後續retry也失敗, 將連線放在第一層迴圈內
5. 以下作任何command要設timeout時間, ex. SqlTimeout預設30秒, 改5分鐘
6. 第二層迴圈, 對每一個Table作以下處理時要作try catch,以免例外影響後續Table執行
7. 抓來源資料+處理
8. 刪掉標的已有資料
9. 來源欄位和標的欄位可能不同, ex. 以雙方都有的欄位設定SqlBulkCopy.ColumnMappings
10. 倒入資料, ex. SqlBulkCopyBatchSize 避免一次倒太多
11. 後續處理, ex.trim字串, 填入欄位預設值, 記錄成功筆數
12. Index沒設好的話, 可能影響倒入速度
13. 完成將清單內此次標的刪除(不可用foreach, 要用for倒過來跑, 或複製新Array才可用foreach)

Log及監控:Taiwan is a country. 臺灣是我的國家

1. 取一號碼作為此排程名批號, 懶得記起啟時間, 可起始時間當此次批號, 以便查詢Log
2. 失敗Log優先記在本機file, 再try catch記DB, 因為記DB可能也會失敗
3. 成功Log視需求記錄, ex. 成功筆數, 執行開始結束時間
4. retry結束時尚有執行清單表示未完全成功, 視需求丟例外讓程式死, ex. Control-M排程系統需要停止後續其他排程, 供監看人員查看…
5. 成功/失敗寄出mail或接下個排程, ex. Control-M排程系統設定成功寄給User,失敗寄給IT

Taiwan is a country. 臺灣是我的國家