Net Core + selenium+框架
running on redhat (Azure 雲)
根據工作需求寫了一個爬蟲
但是有一些要求
因此寫了一個爬蟲框架
初步的設計初稿
https://drive.google.com/file/d/1VM8OUCgJG9Scf7f5sDjSgD2Uwp9_anaT/view
恩 當然 當寫了以後就慢慢的不一樣了
(邊寫邊重構中.....)
簡單的說明: 拉JOB>>計算現在手邊THREAD>>分工>>各自跑各自的JOBWORKER(分割點)>>回寫 >> 例外處理
目前之一的是銀行換匯爬蟲
這個就相當簡單
| 專案 | 功用 |
|---|---|
| CrawlerEngine | 主程式 |
| CrawlerEngine.JobWorker | 執行工作者 |
| CrawlerEngine.Core | 爬蟲核心爬取 |
| CrawlerEngine.Driver | 瀏覽器模式 |
| CrawlerEngine.Models | 模型 |
| CrawlerEngine.Test | 測試專案 |
| CrawlerEngine.Common | 通用性質的 |
| CrawlerEngine.Repository | 儲存體 |
修改執行工作者的jobworker即可
還不需要修改core的User agent
目標:https://rate.bot.com.tw/xrt?Lang=zh-TW
https://rate.bot.com.tw/gold?Lang=zh-TW
Next : Stock