- 錯誤發生時間:
- 2019-10-17 ~ 2019-10-19 ,因為爬蟲工作產生方式的問題,製造太多重複而作不完工作,耗盡資料庫 CPU 資源,導致連續三日資料沒爬完
- 2019-10-20 開始爬蟲恢復正常
- 對資料的影響:
- 2019-10-17 ~ 2019-10-19 資料更新不完整,這幾天新增的物件,大部分會被標為 2019-10-20 建立
- 建議使用方式:
- 因為 2019-10-20 開始恢復正常,所有更新時間在 2019-10-20 之後的物件,資料都是正確的
- 針對問題的改進措施:
- 已使用很不科學的治標方式,至少確保問題發生時,會在兩小時內被自動修正,不須人工介入。
第 2019-02 號爬蟲錯誤說明
ddio
11/5/2019