Azure OpenAI Service 07 - 在 Azure OpenAI 使用自己的資料集

上個月 OpenAI 宣布了 ChatGPT 支援外掛,因此讓 ChatGPT 可以瀏覽網頁或是使用不同的資料來源來加強回應的結果,而在前幾天微軟也在 Azure OpenAI Service 上推出了新的功能,讓我們可以使用自己的資料集,背後就是透過 Azure 認知搜尋 (Azure Cognitive Search) 這一個服務,它可以針對我們的資料來源做索引,然後提供搜尋的服務,因此我們可以做出自己的知識庫之後,提供給 Azure OpenAI Service 使用,讓回覆的結果更精確。

...繼續閱讀 »

Azure 成本管理 05 - 使用 Azure Advisor 來察看成本相關建議

前面介紹過使用 Cost Management 這服務來察看服務費用和分析,也陸續針對常見的服務分別介紹了定價層和如何選擇以及和成本相關的注意事項,再來就要介紹一個免費的服務 Azure Advisor,它會針對所有 Azure 資源做健檢並給出評分,健檢的內容包含了成本、安全性、可靠性、效能等項目,而其中成本的項目會幫我們分析服務的使用並給出合適的建議和調整。

...繼續閱讀 »

Azure 成本管理 04 - Virtual Machine 費用解析和選擇定價層

在雲端上最多人使用的服務應該就是  VM 了,初期將服務上雲,最簡單的方式還是把現有地端環境的 VM 複製備份到雲端是最快速的方式了,加上避免大幅度調整程式配合雲端 Paas 服務,大部分人還是會選擇使用 VM,所以本篇文章來介紹 VM 的費用解析和如何挑選合適的機器。

...繼續閱讀 »

Azure OpenAI Service 06 - Open AI 費用說明和計算

OpenAI 可以讓我們很方便快速的串接跟做出一些相關的應用,用使用的很開心之餘,還是要面對一下費用,不然一不小心可能就讓費用超出預算太多了,比如前陣子一個熱門的專案 Auto-GPT 只需要給它初始的目標,它就會自動的對話然後產生出結果,因為它會自動的一直呼叫 API 來產生最後的結果,所以可能一次的結果就呼叫了很多次的 API 導致產生的費用超出想像,所以還是瞭解一下計算方式以及費用,就比較容易在成本和預算的考量下挑選出最適合的模型。

...繼續閱讀 »

Azure OpenAI Service 05 - 透過 Azure OpenAI client library for .NET 實做串接 OpenAI Api

雖然微軟或 OpenAI 都有提供 PlayGround 可以方便我們測試 OpenAI ,但是最後還是得串接 API 來客制化或整合 OpenAI 到現有程式或產品中,一開始在常識的過程都只能直接呼叫 REST API 或是只有 Python 套件,身為懶惰的開發人員當然不想自己包套件去呼叫 REST Api,最近在找資料過程發現微軟也終於推出 prerelease 版的 SDK 套件 Azure OpenAI client library for .NET,雖然還在 Preview 階段,但是還是記錄一下使用的經驗。

...繼續閱讀 »

Azure OpenAI Service 04 - 使用 Azure OpenAI Studio 來測試模型部署

前面介紹了如何申請和建立服務以及建立模型的部署,都完成之後,我們就可以正式的來使用 OpenAI 了,本文將會透過 Azure OpenAI Studio 來測試我們建立的模型部署,Azure OpenAI Studio 是微軟針對 OpenAI 提供的 GUI 介面,讓我們可以方便快速的測試和使用 OpenAI,在測試完成之後後續可以再透過 API 來整合或是開發相關的應用,就可以加快驗證想法的可行性和調整 Prompt 的內容。

...繼續閱讀 »

Azure 成本管理 03 - SQL Database 費用解析和選擇定價層

在 Azure 上面要使用 DB,如果原本是使用 SQL Server 的話,就要介紹到 SQL Database 這一個 PAAS 服務了,使用 SQL Database 可以讓我們很方便的去存取和使用 SQL Server ,假設可以支援有用到的 SQL 指令和功能的話,程式基本上只需要改連線字串就可以改用雲端的 SQL 資料庫了,而 SQL Database 不同的計費模式和定價層,本文就來整理和說明。

...繼續閱讀 »

解決 Windows 11 Arm 無法正確存取 localdb 問題

  • 270
  • 0

因為 Apple 近年來把 CPU 逐漸換成 Silicon 架構,過去有些人習慣在 Mac 上使用 Windows 就會沒辦法安裝 x86/x64 版的 Windows,而微軟自家的 Surface 也有出 ARM 架構的版本,後來微軟也陸續讓一些自家軟體支援 ARM 架構的 CPU,其中也包含了開發工具 Visual Studio,從 Visual Studio 2022 17.4 版之後也正式支援 ARM CPU 了,而 Windows ARM 也內建 x86/x64 模擬,可以讓更多非 ARM 架構的程式也可以順利在上面執行,因此我也開始嘗試在 Windows 11 ARM 進行開發,而第一個遇到的問題就是在連線到 localdb 時候會導致錯誤,後面就把解決的過程稍微記錄一下。

...繼續閱讀 »

Azure 成本管理 01 - 使用成本管理 (Cost Management) 服務來分析和察看費用

在最佳化 Azure 成本之前,第一步當然是先瞭解自己的 Azure 成本組成,看到底是用了哪些服務而產生費用,這些服務是否又都是已知的費用,進而從中找出非預期而產生的費用。除了透過微軟或是購買 Azure 的提供商提供的帳單之外,在 Azure 上也提供了 Cost Management 這一個服務可以來協助我們分析這些帳務資訊,本文就來介紹此服務的基本功能。

...繼續閱讀 »

如何透過 Kudu API 執行 WebJob 並帶入參數

  • 121
  • 0

在之前的文章「透過 Kudu API 實做 App Service WebJob 管理平台」裡透過 Kudu API 來觸發執行 WebJob ,但是在某些情境下會需要讀取參數,而且會是要每次執行的時候可以帶不一樣的參數,這樣的情境我們就不能把參數寫在 config 上,參考文件之後發現透過程式去觸發 WebJob 的時候我們可以在網址帶入參數,因此就調整了之前寫的管理平台讓它可以支援參數。

...繼續閱讀 »

自訂 App Service DNS Server

  • 228
  • 0

透過 App Service 上執行網站的時候,有時候可能會需要透過私有的 DNS Server 來解析特定的網址,這時候可以透過一些簡單的設定就可以完成這樣的需求,後面就來介紹兩個方式來完成這需求。

...繼續閱讀 »

使用 App Configuration 的 Feature manager 功能來實做 Feature Toggle/Flag 機制

  • 247
  • 0

現在在開發上逐漸強調可以持續整合 (CI) 和持續發佈 (CD),希望工程師可以更快速的交付程式碼,因此會使用 Feature branch 的 Git 策略來開發,在開發完成之後就可以馬上合併回主分支,這時候就會需要 Feature Toggle/Flag 機制,它可以透過一個設定值來控制功能的啟用和關閉,就可以在快速交付程式碼時候先隱藏或關閉開發中的功能,等測試完成之後再打開就好,或是再配合一些 Feature Toggle 的服務來管理設定,也可以針對特定使用者或按照比例來開發功能給使用者使用,而在 Azure 上面我們可以透過 App Configuration 的其中 Feature manager 功能來實做出這樣的機制,後面我就以一些實務上可以使用的情境來介紹功能的使用。

...繼續閱讀 »

實做使用 App Configuration 來取用參數

  • 223
  • 0

在前面的文章「不修改程式下在 App Service 使用 App Configuration 管理參數」介紹到不修改程式的情境來套用 App Configuration,這在只有單一 App Service 時候或是沒有在其它程式也會共用參數的情境下適合,如果有同一個參數會用到多個應用程式還是建議修改程式來支援會是比較好的使用情境。另外針對參數設定上也可已設定 Lable 來區分不同的環境,本文也會介紹如何在存取的時候設定要存取的 Label。

...繼續閱讀 »

[筆記] 在 App Service 設定陣列組態

  • 103
  • 0

在開發的時候一定會有機會存取陣列類型的設定值,在程式裡面通常會用複雜型別來對應這樣的設定資料,那部署到 App Service 如果要透過組態來設定陣列值的話因為沒辦法像設定 appsetting.json 那樣方便,會需要採用 key 值的方式來設定,平常又是透過強型別來存取陣列設定,反而不熟悉存取陣列 key 值的方式而卡了一下,因此筆記一下設定的方式。

...繼續閱讀 »