當SQL Server 完成機器學習後,如果能把訓練後的模型直接儲存在SQL資料表,新的交易數據馬上能就近在資料庫內參照模型作預測。這篇先紀錄將訓練後的模型儲存在SQL Server 2016資料庫內,下一篇再筆記使用模型對新數據作出預測。
[SQL Server][R Language]In-Database R(七)儲存機器學習模型
- 1836
- 0
- R Language
- 2016-10-12
當SQL Server 完成機器學習後,如果能把訓練後的模型直接儲存在SQL資料表,新的交易數據馬上能就近在資料庫內參照模型作預測。這篇先紀錄將訓練後的模型儲存在SQL Server 2016資料庫內,下一篇再筆記使用模型對新數據作出預測。
資料交換經常會碰到各種日期時間字串,今天來敲門的是"2016年10月5日 下午 10:06:23",他也是Windows中文繁體(台灣)內建的日期時間表示方式。來筆記快速又正確Parse時間字串方法。
就在光輝的10月又要開始銀行駐點的人生,每個禮拜只有一天能回公司LAB測試SQL Server 2014/2016功能,除了Azure DataBase方式外,打算把原本筆電安裝的2014Express升級為2014Developer版本。
有時後資料庫會出現門當戶不對的狀況,這時候不用重新投胎(Restore DB),只要幾秒鐘就門當戶對了。
資料庫內的資料表數目快速攀升,想要檢視某個資料表內容或是因為工作分組經常要使用特定名稱開頭或特定schema的資料表,都得要用滑鼠滾輪穿過很許多路人甲乙丙丁下才能遇到真愛;如果資料表數目有幾百個就需許多人生歷練,這禮拜看其他部門同事操作SSMS管理工具,快來筆記好用的filter setting。
最近測試了AjaxControlToolkit v7.725版,發現網頁程式已經設置了ClearMaskOnLostFoucs=True(預設),但Mask在onblur後沒有消失,最後postback影響Server side程式判讀。
為了解決AjaxControlToolkit MaskedEdit onblur事件無法被觸發的問題,從v15.1.2 Release note發現有解藥,因此將Library從7.725(2013年)升級到15.1.2(2015年),服用後發現使用MaskedEditValidator且MaskedEditExtender MaskType=Date的畫面跳出以下的javascript runtime error。
同事在處理大量資料的轉檔,專案用C#讀取大量文字檔案,讀取後要做基本欄位檢核,因為程式處理速度較慢(10萬筆20分鐘),於是幫忙同事一起抓原因。花了幾個小時後,發現重複New CultureInfo 對效能帶來巨大的影響,快來筆記。
為了避免多個Process對同一個log檔案寫入而引發檔案鎖定或者相互覆蓋而出現log內容遺失問題,上一篇使用Buffer來解決,這一篇用MSMQ。
為了避免多個Process對同一個log檔案寫入而引發檔案鎖定或者相互覆蓋而出現log內容遺失問題,在log4net config中,我們會設定FileAppender+MinimalLock屬性,但啟動minimalLock屬性後,如果程式有大量的log需求,效能就會受到影響。
啟用完MSMQ功能,接著要新增MSMQ佇列。
以前新增MSMQ佇列也都用Windows GUI操作,有時候一口氣要在很多台伺服器各新增10組MSMQ佇列就還蠻花力氣的,如果也要個別指定使用權限,會讓設定的人想要深呼吸,這時候自動化的Poweshell 指令碼再度派上用場!
最近要把MSMQ作為Log產出目的地,因此需要啟用MSMQ(Add Windows Feature)。
不同Windows OS版本(Windows7/8/10/Windows Server 2008/2012)的GUI操作也有些不同,常常Developer光找啟動的位置就會氣死倫,這時候自動化Poweshell 指令碼就可以派上用場。
SQL Server安裝在Windows OS中,而存放Data的磁碟幾乎都格式化為NTFS檔案系統,預設磁碟分割大小則是4KB。
從Super SQL Server社群楊老師的文章得到收穫和啟發,NTFS檔案系統預設的4KB可能不是SQL Server Data/Log Page的存取最佳值,來試試看其他Allocation Unit Size對效能的幫助。
客戶已經用上了壓縮備份(Compress Backup)再加分檔備份(Multi Backup Files)來提升備份作業速度,本以為除了換上SSD、切多條LUNs等這些可遇不可求的方法之外,只能回到資料庫的儲存資料作封存下手!
最近檢查備份語法時找到一招可以讓資料庫備份再快!
最近研究晶片讀卡機產生UN(EMV 9F37 Unpredictable Number)不可預期編號,過程中要使用隨機數演算法取值,來筆記幾種隨機種子對於偽隨機數結果的差異。
上禮拜參加8月的SQL PASS,講師是微軟厲害的資料庫技術支援工程師Eddie,會議中有一個議題: 檢查SQL Server真正使用到多少Cores,回家作業(寫)。
Event ID: 1023(.NET Runtime Error)
Event ID: 1000(Application Error)
程式已經停止運作
發卡主機處理完授權交易請求後,接著開始產生回應訊息給刷卡機及晶片程式,類似ARQC的驗證值,發卡主機也產生ARPC讓晶片內的程式確認交易回應端的合法性以及交易內容的完整性,上一篇筆記晶片程式到驗證主機,這一篇筆記驗證主機到晶片程式。
ISO8583格式中會傳遞許多卡片敏感性的資訊,為確保並鑑定訊息來源正確及完整,筆記ISO8583格式中第三種晶片交易的保護機制:
幾年前軟體弱點檢測報告出爐,因此負責的網站關閉了幾個透過網頁上傳檔案的功能,最近其他部門的專案同意了網站檔案上傳,準備上線前,同事B通報了一個小問題:第一次進入頁面時操作上傳沒辦法上傳成功,第二次卻可以成功?
昨天是農曆七月初十星期五的下午,遇到了無法載入檔案或組件的小問題,但就是整整解了3小時,還因此加班了1.5小時。
這個什麼鬼一定要筆記一下,比Pokemon抓到新寶貝還刺激。