跟大家報告一個好消息:經過八月下旬密集的重建工作,開放台灣租屋資料的機器人,已經在 8/26 恢復每日全台爬取,並且完成了基礎設施的全面翻新。預計九月起,正式恢復每日更新、月底釋出的例行運作。
八月資料集僅涵蓋八月下旬,屬於過渡期資料,詳細說明請見下文。
過去兩週做了什麼
自 2025 年十月重啟試爬以來,資料更新一直斷斷續續,2026 年僅釋出三月與四月兩份資料集(於五月初上傳),其後因為 591 持續改版,加上維護量能有限,更新再次全面停擺。八月中旬起,ddio 密集投入重建,過去兩週完成了以下工作:
爬蟲核心改寫因應 591 在 2026 年的網頁改版,重寫了列表與詳細頁的解析邏輯,並更新至 scrapy-tw-rental-house 2.2.3 @PyPI。新版架構更單純,也移除了過去為舊版網頁設計的各種補救措施每日爬取恢復8/26 完成第一輪全台全量爬取,其後逐日例行執行,資料的數量與完整度,皆已回到過去穩定運作時的水準資料品質監測新增每日自動化的資料品質檢查,除了原有的欄位填充率監測外,也會比對物件型態、座標等關鍵欄位的分佈是否異常,在資料出問題的第一時間發出警報,不必等到月底出貨才發現自動化測試爬蟲核心建立了離線測試資料集,關鍵解析邏輯納入自動化測試,並於每次程式更新時自動執行,降低未來改版時的維護成本基礎設施翻新每日例行爬取已搬回雲端,從爬取、資料檢查到月底匯出,全程自動化編排;程式更新後的部署,也已透過 CI 自動化。2018 年至今的歷史資料庫,完成整併與逐筆對帳,確保搬遷過程沒有資料遺失釋出流程自動化月度資料集的匯出、檢查、上架流程,已全面腳本化,減少過去仰賴手工作業造成的延遲
八月資料集說明
八月資料集預計於九月初釋出,使用時請注意:
- 資料僅涵蓋 8/25 之後:機器人於八月下旬才恢復運作,8/1 至 8/24 沒有資料,因此無法反映八月全月的市場狀況
- 出租狀態的判讀請多加留意:長期停擺後重啟,部分物件的出租狀態變化(例如已出租、已下架的時間點),會與實際發生的時間有落差
- 這份資料集會在網站上標記為有品質問題的月份,詳細影響範圍,請參見資料品質頁面的說明
接下來的規劃
九月起,每日更新恢復例行運作,月底資料集回到每月釋出的節奏。除此之外,這次重建也把中長期的規劃整理成文件,放在 repo 的 docs 目錄,歡迎大家直接檢視、給意見:
資料品質基線重製目前品質警報的比對基線,仍以單日資料推估,九月會改以多日資料重製,並加入座標範圍、價格區間等數值合理性檢查,讓警報更精準(dx-roadmap)多資料來源讓爬蟲框架與貢獻流程,能支援 591 以外的租屋平台,包含認領流程、測試軌道、與各平台的欄位對應原則(multi-vendor 準備計畫、#29)AI 監測與修復當租屋平台改版造成爬蟲故障時,由既有的確定性監測發出警報,再讓 AI agent 協助定位問題、起草修復,經人工確認後才合併——目標是縮短每次改版造成的停擺時間,同時把費用與權限控制在可預期的範圍(ai-triage 計畫)網站改版網站前端架構更新,改善資料瀏覽與統計呈現的體驗(ui-roadmap)
感謝
特別感謝 @IvanaGyro 在這段期間的參與:提出 AI 協助監測與修復的方向、給予自動化測試規劃的回饋,並表達認領新租屋平台的意願。開放資料的長期維運,相當仰賴社群協力,歡迎更多朋友加入。
如果發現資料有明顯錯誤,歡迎回報至 GitHub Issues,或是寄信至 open-tw-rental-house@ddio.io
