這是抓取OpenData遇到的一個狀況,小喵要抓取氣象資料,放入資料庫,方便後續的查詢與應用,但是撞了兩個雷:雷一:資料有重複。雷二:維護多資料庫時間長,為了這兩個雷,於是有了這一篇~~最後,小喵透過元件的方式,透過Bulk Insert的方式,將資料整批的放入資料庫中,大大的節省了資料 Insert 的時間,詳細如何,讓我們繼續看下去~
2016-04-27
這是抓取OpenData遇到的一個狀況,小喵要抓取氣象資料,放入資料庫,方便後續的查詢與應用,但是撞了兩個雷:雷一:資料有重複。雷二:維護多資料庫時間長,為了這兩個雷,於是有了這一篇~~最後,小喵透過元件的方式,透過Bulk Insert的方式,將資料整批的放入資料庫中,大大的節省了資料 Insert 的時間,詳細如何,讓我們繼續看下去~