自從 OpenAI 推出了 ChatGPT 之後，整個 AI 又火熱了起來，大家看到了更多的應用和創意紛紛冒了出來，而微軟也在 Azure 上推出了 Azure OpenAI Service 讓我們可以建立自己的 OpenAI 服務，就在 OpenAI 開放 ChatGPT API 之後，微軟也終於在前陣子也正式公告把 ChatGPT 模型加入 Azure OpenAI Service 裡面，讓我們可以用這一個更強大的模型來建立相關的應用了，接下來會針對 Azure OpenAI Service 把研究和使用的心得陸續寫成系列文章，本文為導覽頁面，方便後續找尋文章。
前幾個禮拜 ChatGPT 推出了 Advanced Voice Mode，讓我們可以透過更自然的對話方式來跟 ChatGPT 詢問問題，而後續也推出了對應的 Readtime Api ，可以讓我們透過程式來建置出屬於自己的 Realtime 的應用程式，而在 Azure 上面當然也提供了這個模型，一樣來測試看看吧。
OpenAI 陸續推出了 GPT4o 和 GPT4o-mimi 這兩個新的多模態模型，所謂多模態模型指的是這個模型可以同時處理文字和圖片的需求，過去在 Azure 上面會需要使用 GPT-4 Turbo with Vision 這個模型，透過結合 Azure AI Vision 來辨識圖片，現在新的多模態模型就不需要再透過額外的 Azure AI Vision 就可以支援了，後面就來介紹透過新介面的 Azure OpenAI Studio 來部署和實做程式串接。
前陣子 OpenAI 正式推出官方的 C# Library ，之前介紹微軟推出的 Azure OpenAI client library for .NET 也把版號進到 2.0.0 了，這時候就會有疑問是不是 OpenAI 要出來取代微軟之前推出的，試了一下發現並非如此，而是兩個 Library 是相輔相成的，後面就簡單來介紹跟說明如何使用吧。
微軟前陣子公開預覽了 Logic App 中可以使用 Azure OpenAi 的連接器，讓我們可以透過這個連接器方便在 Logic 使用 Azure OpenAI，後面就來實做看看。
Assistants API 的第三篇就來介紹支援的工具和使用方法的實做範例，目前支援三個工具：程式碼解譯器 (Code Interpreter)、知識檢索 (Knowledge Retrieval)和函示呼叫 (Function calling)，未來有再支援新的工具也會再補充在此文裡。
繼上一篇基本介紹 Assistants API 和基本實做之後，本文針對 Assistants API 做更詳細的用法介紹和實做。
OpenAI 在 2023 年 11 月推出了 GPTs，讓使用者可以客制化自己的聊天助理，透過自定義的提示詞來設定 ChatGPT 的用途和功能並且可以串接自己或是第三方的 API 來讓自定義的 GPTs 可以完成更多模型無法直接完成的功能，而在推出 GPTs 的時候也推出了 Assistants API 讓開發者也可以客制畫出自己的聊天助理，透過這個 API 也可以讓我們更快速的來建立聊天助理，而不需要另外處理過往的聊天記錄，在過去要客制化自己的聊天助理，需要另外準備 DB 或是其它方式來儲存過往的聊天歷史對話，現在透過 Assistants API 就可以記錄在 OpenAI 上，透過 API 就可以存取對話的歷史聊天記錄，在 2024 年 2 月微軟也把這個 API 新增到 Azure 上了，後面就來介紹這個 API 並且實做。
OpenAI 在上個月 DevDay 上 公布了新的模型 GPT-4 Turbo with Vision，它可以讓 GPT4 模型可以認得圖片，可以讓 GPT-4 的應用場景又變的更多元了，而微軟也在本週也把此模型上到 Azure 上了，而且可以搭配 Azure AI Vision (Azure Computer Vision) 達成辨識影片的功能，後面就來介紹實際建置要注意的點和測試的結果。
Whisper 是 OpenAI 推出的一個語音辨識的模型，而在 Azure OpenAI Service 也推出了這一個模型，所以我們也可以透過 Azure 使用這一個模型來做語音辨識了，後面就來介紹這個模型跟實做串接的程式。
OpenAI 有提供獨立的 ChatGPT 服務，那如果我們想要使用 Azure OpenAI Service ，又想要有類似 ChatGPT 一樣的站台，這時候就可以用 BetterChatGPT 這一個開源的 UI來架設自己的 ChatGPT 站台，並且使用自己的 ChatGPT 模型來執行，雖然也是可以直接用已架設好的服務直接使用，但是透過 App Service 架設自己的站台，還可以加上一些驗證或是防火牆設定等，才可以達到我們要的私有站台，後面就來說明如何建構自己的私有站台囉！
OpenAI 在前陣子公布了新的模型版本 (gpt-4-0613 、gpt-3.5-turbo-0613 ) 以及新增了 Function Calling 的功能，Function Calling 這個功能可以讓我們預先定義好函示名稱和回傳的參數結果，模型會判斷聊天內容是否符合設定的函示，是的話就會把聊天內容取出函示所需要的參數並且回傳 Json 格式的資料，方便我們接收到之後可以給函示來處理，使用 Function Calling 的好處在於不需要針對每個對話的提示詞多加上說明要回傳的格式，也只會回傳 Json 格式的結果，不會包含多於文字，變成我們要另外處理才可以正確取出要的 Json 內容，如此一來我們寫聊天機器人或是外掛程式的時候就不用針對使用的傳的訊息預先判斷再加上特定提示詞來保證回傳結果，可以完全透過模型的判斷即可。而 Azure OpenAI Service 雖然沒第一時間就支援，但是也在稍晚也推出新版的模型，後面就來說明要如何實做以及測試的結果。
Azure OpenAI Service 除了文字的模型之外，也有產生影像的模型 DALL·E ，我們一樣可以透過提供提示詞之後取得 AI 回應的圖片結果，本文就來介紹如何在 Azure 上面使用這一個模型。
上個月 OpenAI 宣布了 ChatGPT 支援外掛，因此讓 ChatGPT 可以瀏覽網頁或是使用不同的資料來源來加強回應的結果，而在前幾天微軟也在 Azure OpenAI Service 上推出了新的功能，讓我們可以使用自己的資料集，背後就是透過 Azure 認知搜尋 (Azure Cognitive Search) 這一個服務，它可以針對我們的資料來源做索引，然後提供搜尋的服務，因此我們可以做出自己的知識庫之後，提供給 Azure OpenAI Service 使用，讓回覆的結果更精確。
OpenAI 可以讓我們很方便快速的串接跟做出一些相關的應用，用使用的很開心之餘，還是要面對一下費用，不然一不小心可能就讓費用超出預算太多了，比如前陣子一個熱門的專案 Auto-GPT 只需要給它初始的目標，它就會自動的對話然後產生出結果，因為它會自動的一直呼叫 API 來產生最後的結果，所以可能一次的結果就呼叫了很多次的 API 導致產生的費用超出想像，所以還是瞭解一下計算方式以及費用，就比較容易在成本和預算的考量下挑選出最適合的模型。
雖然微軟或 OpenAI 都有提供 PlayGround 可以方便我們測試 OpenAI ，但是最後還是得串接 API 來客制化或整合 OpenAI 到現有程式或產品中，一開始在常識的過程都只能直接呼叫 REST API 或是只有 Python 套件，身為懶惰的開發人員當然不想自己包套件去呼叫 REST Api，最近在找資料過程發現微軟也終於推出 prerelease 版的 SDK 套件 Azure OpenAI client library for .NET，雖然還在 Preview 階段，但是還是記錄一下使用的經驗
前面介紹了如何申請和建立服務以及建立模型的部署，都完成之後，我們就可以正式的來使用 OpenAI 了，本文將會透過 Azure OpenAI Studio 來測試我們建立的模型部署，Azure OpenAI Studio 是微軟針對 OpenAI 提供的 GUI 介面，讓我們可以方便快速的測試和使用 OpenAI，在測試完成之後後續可以再透過 API 來整合或是開發相關的應用，就可以加快驗證想法的可行性和調整 Prompt 的內容。
在使用 OpenAI 的時候，Token 是會影響到呼叫的模型可接受的上限和回應結果以及計費時候也是以 Token 數量來計算，所以如何計算 Token 在要正式部署服務時候就很重要了，而不同模型間計算的方式也有所不同，本文後續就針對 Token 來做深入的探討和測試。
在開始使用 Azure OpenAI Service 的時候，看到一堆模型，一開始會不知道該選擇哪一個，所以還是得先瞭解一下目前 Azure OpenAI Service 上面目前有哪些可以使用的模型，又它們適合的情境會是在哪一方面。
