DB2大量資料匯入MS-SQL

  • 203
  • 0

ETL說的大量,破億就算大了,特別是MSSQL SERVER(下簡稱MSSQL)這種非MPP架構的資料庫。

本次的CASE是要從DB2 WH (下簡稱DB2) 將七億筆資料且去識別化後寫入MSSQL,
因其在DB2的整檔方式是delete+insert,想在MSSQL用相同的方式udpate+insert處理。

流程如下:

  1. 透過openquery + bcp queryout、bcp in將DB2的前一日資料倒到MSQL 的temp table,約百萬筆
  2. 接著在MSSQL將temp Table用merge語法更新主table的七億筆資料

卻發生第二步執行過久而time out,且還不知道會跑多久的問題

要怎麼解決呢?

...繼續閱讀 »

資料聯集

  • 105
  • 0
  • 2021-06-08

近期被交辦的一個作業

本想使用遞迴,但好像找不出個規則,
只好改用補資料的方式,串出交集,再取聯集中最大的一筆
比較難的部份是B、D的交集,弄了好久

...繼續閱讀 »