開放台灣民間租屋資料打包回家玩關於資料集部落格
第 2019-02 號爬蟲錯誤說明

第 2019-02 號爬蟲錯誤說明

  • 錯誤發生時間:
    • 2019-10-17 ~ 2019-10-19 ,因為爬蟲工作產生方式的問題,製造太多重複而作不完工作,耗盡資料庫 CPU 資源,導致連續三日資料沒爬完
    • 2019-10-20 開始爬蟲恢復正常
  • 對資料的影響:
    • 2019-10-17 ~ 2019-10-19 資料更新不完整,這幾天新增的物件,大部分會被標為 2019-10-20 建立
  • 建議使用方式:
    • 因為 2019-10-20 開始恢復正常,所有更新時間在 2019-10-20 之後的物件,資料都是正確的
  • 針對問題的改進措施:
    1. 已使用很不科學的治標方式,至少確保問題發生時,會在兩小時內被自動修正,不須人工介入。