關於爬蟲錯誤說明、專案開發、衍生應用

跟大家宣佈一個好消息，以及一個壞消息 🥹

好消息是，機器人在停止運作四個月後，終於在 2024-09-08 正式復工，並完整爬取了 9 月的資料。

壞消息是，由於 591 持續調整網頁呈現技術，機器人在 2024-10-31 時，再次停止運作，目前尚未復原。

因此，開放台灣租屋資料，將再次暫停更新，直至 ddio 有空修復為止。這次的技術調整，還不確定解決方式，若有確切的復原時間，會再次通知大家。

寫出網路爬蟲，是一回事，但要能夠長期維運，並將它轉換為資料集，則完全是另一項工作。這篇文章將介紹我們如何處理開放台灣租屋資料（以下簡稱開租）的流程。

開租總共使用三組流程，並將中繼、最終資料，存在三種資料表中。

我們在 10/06 ~ 10/26 期間，由於主機維護問題，導致爬蟲無法順利執行。

我們在 3 月 25 日至 4 月 13 日期間遭遇了一些技術問題，導致我們無法按時收集並更新部分租屋資料。我們深感歉意，現在將會詳細解釋所發生的情況及其影響。

2021-06-17 ~ 2021-10-30，因為 591 實施漸進式改版，改變資料讀取方式，導致這段時間遺失部份資料。

本文將說明改版影響範圍、資料遺失的補救方式，並附上詳細解釋、原始資料，以及代辦事項。

感謝大家的關心，長話短說，2021-05 後的資料都還在，只是還沒上傳。預計八月底左右，就會上架 2021-06 到目前為止的所有資料！

• 錯誤發生時間：
  • 2021-02-20 ~ 2021-02-24 ，因為資料庫空間用盡，導致這段期間的資料，沒有寫入資料庫
• 對資料的影響：
  • 在 2021-02-20 ~ 2021-02-24 這幾天新增的物件，建立日期均會顯示為 02-24 ，因此 02-24 的新增物件、關閉物件都會比平常還要多

• 錯誤發生時間：
  • 2019-11-01 ~ 2019-11-01 ，因為資料匯出程式設定的問題，耗盡資料庫 CPU 資源，導致 11-01 沒有更新完當日的所有資料
• 對資料的影響：
  • 如果在 2019-10-31 當天新增的物件，建立日期會顯示為 11-02 ，因此 11-02 的新增物件、關閉物件都會比平常還要多