[料理佳餚] ELK 用 syslog 插件收集網路設備的 Log

Syslog 顧名思義就是系統日誌或系統記錄,是一種透過 TCP/IP 來傳遞記錄訊息的標準,很多網路設備像 Router、Switch、Firewall…等都有支援,它的運作模式就是架設一個 syslog 伺服器等待接收記錄訊息,在 ELK 就有 syslog 插件可以用,只不過收到的記錄訊息格式都不太一樣,每台網路設備都會自定義自己的記錄格式,收到記錄之後要有 pretty printing 的話,我們就要仰賴 Logstash 了。

...繼續閱讀 »

[料理佳餚] ELK 搭檔 NXLog 收集 IIS Log

  • 4129
  • 0
  • ELK
  • 2016-06-17

IIS Log 是記錄 HTTP Request 的重要記錄檔,我們可以從 IIS Log 中得知 Client 端對 Server 端的所有 HTTP 要求,IIS Log 一般以檔案的型式儲存在磁碟中,因此要收 IIS Log 就用監看檔案的方式,只要檔案有異動就把異動的部分往 Elasticsearch 送,這樣不僅每次傳輸的資料量不大,而且快又即時,接下來我們來看看 ELK 怎麼來達成這件事情。

...繼續閱讀 »

[料理佳餚] 在 CentOS 7 與 ELK(Elasticsearch + Logstash + Kibana)初次相遇

  • 14937
  • 0
  • ELK
  • 2016-09-21

ELK(Elasticsearch + Logstash + Kibana) 是這兩三年來很火紅的日誌收集分析平台,尤其是 Logstash 的部分,提供了各式各樣的日誌收集及輸出的 Plugin,搭配 Elasticsearch 這種分散的索引搜尋系統,收集日誌只是一塊蛋糕而已,如果你有收集大量日誌的需求可以考慮用 ELK,畢竟 Splunk 很貴啊啊啊!

...繼續閱讀 »

[料理佳餚] C# NEST 操作 Elasticsearch 搜尋服務(傳回部分欄位、刪除索引)

NEST 的 Search 方法直接將搜尋結果轉換成強型別來提供給我們使用,可說是非常方便,那我們能不能將搜尋結果轉成另外一個強型別呢?答案是肯定的,不過如果直接將 Search 這個一般化方法指定的類別給換掉,會踩到一些雷,且看接下來的說明。

...繼續閱讀 »

[料理佳餚] C# NEST 操作 Elasticsearch 搜尋服務(搜尋、排序結果)

要在 Elasticsearch 下達搜尋指令找出一些東西來,可以透過像 kopf 這類的 Plugin 所提供的 GUI 來直接操作 Elasticsearch 的 RESTFUL Api,可是我們最終還是有需要自己寫程式來下搜尋指令的時候,除了用像 RestSharp 這類的套件,再自行轉換 JSON 結果之外,當然也可以透過 NEST 來輕鬆達成。

...繼續閱讀 »