Ting I 的程式碼集中營

程式碼集中營

2019-12-23

Windows環境下的ELK及MongoDB的介接測試

本篇延續「於Windows環境下安裝ELK及其介接SQL Server測試」，使用MongoDB作為資料來源，使用Logstash服務驅動mongodb的連線，透過jdbc mongodb driver將MongoDB的資料加入至ElasticDB，並於Kibana上檢視。

MongoDB工具：Robo 3T

Logstash：7.5.1

Mongo JDBC：1.6

Mongo Java JDBC：3.11.2

...繼續閱讀 »
2019-12-17

[MongoDB]使用ROBO 3T測試mongodb的CRUD存取-以學生成績表為例

於ROBO 3T的shell中使用js搭配mongodb語法，來分析學生的成績(國文、英文、數學、理化、社會)，實作以下內容：

  • 亂數產生全班39個學生的成績
  • 全班各科的平均計算
  • 學生個別成績總和及平均
  • 各成績級距人數統計

Robo 3T工具的介紹，可點擊以下圖片連結

「robo 3T」的圖片搜尋結果"

...繼續閱讀 »
2019-11-27

[MSSQL]搭配TempTable While vs Cursor分別做1,000,000資料逐筆新增的效能測試

  • 2933
  • 0
  • SQL
  • 2020-01-30

本範例刻意將很簡單的Insert into Select寫法，分別改成Temp Table While寫法(本文將其簡稱While寫法)與Cursor寫法，使用測試兩者的執行速度及效能。

兩者做的事情是一樣的：

  • 先於Employee資料表中產生1,000,000筆員工資料 (為了能明顯看出兩者效能差異)
  • 將Employee資料表(共4個欄位)中Sex = 'F' 的資料寫入Female資料表(共3個欄位)
...繼續閱讀 »
2019-11-25

於Windows環境下安裝ELK及其介接SQL Server測試

本文是按照「使用 Elasticsearch 為 SQL Server 完成專案的純文字搜尋功能（一）- 安裝 ElasticSearch」所做的測試，

期望可透過Logstash服務來驅動JDBC，將資料儲存至Elasticsearch，並於Kibana站台上讀取SQL Server 資料表中的資料(DB Log)

ELK包的版本：

elasticsearch-7.4.2

kibana-7.4.2-windows-x86_64

sqljdbc_4.2

執行環境：WIN10、SQL SERVER 2014

本文不加以介紹ELK(可參考ELK介紹及架構)，僅著重於安裝及操作設定。

...繼續閱讀 »
2019-11-21

[Javascript]使用leaflet.js地圖來標記GPS位置、設定PopUp及繪製圖樣

  • 3034
  • 0

Leaflet.js是一套適用於各種平台的 JavaScript 輕量地圖繪製工具，可以呈現類似 Google 地圖的效果，跟Google地圖相比，其API及擴充套件更加豐富及美觀。由於目前要使用有效的Google Api key需付費，否則會直接在Google地圖上顯示開發用的浮水印，詳見「Google Maps API 開始收費了？解析 Google 地圖費用與規則！」。因此另尋免費又好用的地圖工具Leaflet.js來進行開發。

案例情境：本專案使用特定社區資料(社區名稱、GPS座標、地址、序號、標記顏色等)，將其位置標記於leaflet地圖上。

...繼續閱讀 »
2019-11-11

[R]使用ggplot2套件進行EXCEL資料分析繪製長條圖-以醫療機構與人員基本資料為例

案例情境：下載政府資料開放平台的「醫療機構與人員基本資料」，內為2019年全台灣醫療機構的清單，資料量約2萬2000多筆，用以模擬EXCEL的樞紐分析表，查出各縣市的醫療機構數量，並繪製成長條圖。

...繼續閱讀 »
2019-11-07

[C#]使用Dapper工具測試執行帶有TVP型態參數的預存程序的資料寫入

  • 1710
  • 0
  • C#
  • 2019-11-11

本文延伸 [SQL]於預存程序中使用「使用者定義資料表類型」進行多筆資料新增，利用ORM套件Dapper來實作TVP(Table Value Parameters)參數的傳值並執行SQL命令。

範例說明：本範例的專案為主控台應用程式(Console Application)，用來實作車輛資訊刪除、新增，並顯示查詢結果。

程式說明：

Program類別-程式執行的起點

CarBLL類別-業務邏輯層

CarDAL類別-資料存取層

...繼續閱讀 »
2019-11-05

[SQL]於預存程序中使用「使用者定義資料表類型」進行多筆資料新增

  • 3026
  • 0
  • SQL
  • 2019-11-11

案例情境：當使用者於系統前端操作資料的新增時，資料會由WEB層進入AP層存取資料庫，來完成資料寫入的動作。單筆資料的新增，預存程序端可透過傳統的資料型別來接資料；但當前端資料來源為多筆資料時，傳統的做法會造成AP層至DB端的Connection次數過多，增加AP層存取資料庫的負荷量。因此可使用資料表類型的物件，將多筆資料以資料表的方式傳遞(TVP)給預存程序，來達到一次性的傳輸處理並回傳，減輕伺服器負擔。本範例為一個車輛資料表(CarType)的存取：透過預存程序SP_CAR_TYPE_INFO進行資料新增，其中輸入參數的型態為「使用者定義資料表類型」(DataInfo)，於預存程序中進行逐筆資料的重複性檢查並寫入CarType資料表。

...繼續閱讀 »
2019-10-29

[SQL]於預存程序中進行單筆及多筆交易資料的insert案例測試

案例情境：在開發實務上有時，需要使用呼叫預存程序A的方式來執行交易，當碰上多筆同時寫入的狀況，可以在設計一個新的預存程序B，來呼叫預存程序A，需考量例外拋回以及資料回復動作。本篇使用一個名為SP_Division的預存程序，來進行除法運算，並將結果寫入DivisionResult資料表，又設計另一個預存程序SP_Multi_Division來進行多筆的除法運算的處理。

...繼續閱讀 »
2019-09-16

[R]讀取sav檔產生SPSS的KMO及Bartlett球形檢定

本文範例出處來自 俞洪亮等人(2012)「商管研究資料分析：SPSS的應用」，使用R語言來模擬SPSS報表產生的結果。

quality.sav檔內容為高鐵設施的意見調查(共175件樣本)、其問項因子有五：

  • 高鐵車站的動線標示清楚 (X1 )。
  •  高鐵車廂乾淨清潔 (X2 )。
  • 高鐵服務人員服裝賞心悅目 (X3 )。
  • 高鐵服務人員的態度輕切 (X4 )。
  • 乘坐高鐵非常舒適 (X5 )。 •

以李克特5點尺度為量度(5為非常滿意，1為非常不滿意)。

 

...繼續閱讀 »
2019-09-11

[R]安裝Keras及Tensorflow套件進行功能測試

Keras為使用Python語言開發的神經網路套件，可透過各種資料集訓練開發者建立的深度學習模型，開發者操作API較容易上手，文件說明完整且方便查閱，但其缺點為容易於程式執行階段時，常產生成GPU記憶體溢位現象，也因此造成在存取資料集時，在使用大量內存的情況，使執行速度變得緩慢。其常用內建的資料集(DataSet)包含：(本文使用MNIST資料集進行測試)

  • CIFAR10：小型圖像
  • IMDB：電影評論分類
  • MNIST：手寫數字集
  • Fashion-MNIST：時尚品項資料
  • Boston：房價回歸資料

Tensorflow也是一套由Google發佈的的機器學習框架，使用python及C++語言開發而成，支援多種程式語言，業界主要用於文字、語音、圖片、影片等媒體媒體格式的辨識處理，本文就直接在R開發環境使用Tensorflow套件。

...繼續閱讀 »