C# 透過Puppeteer Sharp取得網頁前端渲染完整HTML,非Server-Side-Rendering(SSR)結果

想用C#寫出類似爬蟲取得網頁的HTML

搜尋大部分會得到透過WebClient或HttpClient去取得網頁的HTML

但現在前後端分離盛行透過WebClient或HttpClient的方式只能取得Server-Side-Rendering(SSR)結果

無法取得由前端JS (react angular vue...等)渲染的結果

透過Puppeteer Sharp可以解決這個問題

...繼續閱讀 »

[筆記]DotNet Core 開啟偵錯時,允許外部連接

在開發Dotnet Core 專案的時候
如果把網站架在IIS上
沒辦法用[附加至執行序]的方式來偵錯

如果在VS內開啟IIS Express 如果用localhost以外的domain
或者從外部想連接近來測試 
都會出現這個錯誤訊息
Bad Request - Invalid Hostname HTTP Error 400.

這麼一來就沒辦法用VS IDE的中斷點功能了
當然可以自己埋 Log 不過測試上就是沒這麼方便

於是搜尋了一些資料找到以下方式

...繼續閱讀 »