在 2020年九月,轟動一時的 Snowflake IPO新聞事件,連以價值投資見長的巴菲特 Warren Edward Buffett 也投了至少八億美金,三個月後這家公司的股價持續上漲,竟然水漲船高超越了IBM與AMD這些科技大廠。本文不談投資,但是會帶大家來了解資料倉儲在雲端的相關應用,以及發展的趨勢。
Data Warehouse 上雲趨勢
- 599
- 0
- Azure Data Services
- 2021-03-06
在 2020年九月,轟動一時的 Snowflake IPO新聞事件,連以價值投資見長的巴菲特 Warren Edward Buffett 也投了至少八億美金,三個月後這家公司的股價持續上漲,竟然水漲船高超越了IBM與AMD這些科技大廠。本文不談投資,但是會帶大家來了解資料倉儲在雲端的相關應用,以及發展的趨勢。
資料庫從三十年前就是許多企業的命脈,即使現在它有許多新的分支與新的技術在發展,但高可用性與災難備援(HADR)一直都是 Mission critical system中,企業主很重視的一個環節。可惜IT與DBA 因為專業分工的關係,企業內光是在溝通協調就已經疲於奔命,更何況一起規劃、導入、維運。為此微軟就在Azure portal market place 上面推出了 AlwaysOn template,讓企業不再曠日費時,享受開箱即用的雲端效率。
當科技發展到雲端時代,企業之間的激烈競爭並沒有停下來,只是改成比較誰可以把 Paas或是Saas 用的更好,才能實現其科技上的競爭優勢。以開源資料庫MySQL來看,微軟在雲端上一直致力於提供使用者更好的雲端服務,從最早期的 Iaas VM,到 Marketpalce 上面眾多的第三方的 MySQL服務,再到目前的 Paas層級的 Azure database for MySQL服務。本篇將著眼於後者,介紹如何建置這個微軟維運的 Paas服務…
縱使Azure SQL Database具有合理價格、高度安全(威脅分析)、不需要自行負責管理與營運、不用擔心效能問題…種種優勢,但受限於原先在地端資料庫中包山包海的一大堆服務,為了擠進只聚焦於關聯式資料庫引擎的 Azure SQL Database,你必需瘦身做適度的改寫才能上雲。
為此微軟在2018的十月推出了Azure SQL Managed Instance(以下簡稱MI)服務,也因為相容性高達98~99%,你幾乎可以在不用修改程式碼的條件下,直接搬上雲。
隨著SQL2017支援在Linux以及Docker on Mac的新突破,雖然產品上市之前,已經提供了CLI的console mode指令介面給非Windows平台的使用者。但是終究還是有人反應,沒有GUI可以使用,而今SQL Operations Studio這是一個輕量且跨平台的SQL Server開源管理工具,可以提供這一類新客群的存取與管理需求。
另外,這個工具除了可以存取地端的資料庫(裝在Windows、Linux、Docker…環境)、雲端的相關資料服務(Azure SQL database、Azure Data warehouse…)也是可以的。
Azure HDInsight 是微軟以Open source為基礎的巨量分析解決方案,不同於其他雲端服務Provider僅是提供機房空間缺乏佈署監控與管理介面,或是沒有SLA的保障。
在完整的解決方案中,包含了 Spark、Hive、MapReduce、HBase、Storm、Kafka 和 Microsoft R 伺服器…等(雲端的特性,一直會有更新更多的服務加進來),為客戶提供了最佳化開放原始碼分析叢集、 99.9% SLA 的支援。再加上事先整合好的ISV 應用程式,實現了企業級安全性和監視功能的巨量數據分析叢集。
OMS 是微軟在Azure公有雲平台上面的SaaS服務,包含了Insight & Analytics、Security & Compliance、Automation & Control、Protection & Recovery。而本篇只針對第一項(Log Analytics 為Azure上面的服務名稱),它是一種雲端的萬用Log收集器暨數位儀表板的解決方案,具有快速、彈性、簡單的雲端優勢,所以接下來的內容將會包含如何應用OMS 快速地監控 SQL Server。