資料品質與已知問題
長期爬取難免遇到網站改版、機器故障;這裡彙整歷來影響資料品質的事件, 讓你在使用某段期間的資料前,可以一眼確認它是否需要特別留意。 每次事件的完整分析都在對應的部落格文章裡;下載頁檔案庫中受影響的資料列,也會標上⚠ 警示指回本頁。
| 影響期間 | 事件 | 影響範圍 | 狀態 | 詳細說明 |
|---|---|---|---|---|
| 2026-03 ~ 2026-09(修正中) | 家具欄被列表頁標籤覆寫 | 591 改版後列表頁帶有少數標籤(電梯、陽台、車位、冷氣等),爬蟲在每日列表階段把這些標籤寫成「提供家具_*」,蓋掉物件頁抓到的完整家具清單;只有當天重新抓取物件頁的物件會被還原。受影響者以較久未重抓物件頁的物件為主(2026-09-13 估約一至兩成現役物件),受影響列的家具欄多為 F 或 -。另外 591 新版把「桌子」「椅子」合併為「桌椅」,兩欄自 2026 年起幾乎全為 -。 | 桌子/椅子欄自 2026-09 月包起以「桌椅」填入;列表覆寫的修正排定於 2026-09 下旬(Phase 4 程式收工後),修正前的月包不回補 | schema 1.0 草案(§1 現況問題) |
| 2026-03 ~ 2026-08 | 物件網址欄空白 | 591 改版後物件頁解析不再帶出網址,2026-03 至 2026-08 的 Raw 月包「物件網址」整欄為 -。網址可由物件編號還原:https://rent.591.com.tw/<物件編號>。 | 2026-09 月包起由平台網址樣板生成;既有月包不重出 | schema 1.0 草案(§1 現況問題) |
| 2026-03 ~ 2026-09-04 | 成交訊號改由 591 已成交列表取得 | 591 改版後成交資訊不再出現在物件頁(成交即下架),2026-03、2026-04 與 2026-08 資料集完全沒有「已出租」狀態;八月重啟至 9/3 的每日資料中「已成交」一律為 0、n_day_deal 一律為空,所有關閉都記為「已消失」。9/4 起改自 591「已成交」列表每日取得成交事件,並回補 8/25 起的成交。語意變更:自此 n_day_deal 直接採 591 的「N天成交」(刊登到成交的天數,含本站首次看到之前的天數),與歷年「首次看到到標記成交」的觀測天數通常相差 0 ~ 1 天;「已消失」仍無法區分下架、過期或自行撤除,與改版前相同。 | 已於 2026-09-04 回補 8/25 起成交並恢復每日偵測;2026-08 資料集出版時尚未含成交資料 | GitHub issue #229 |
| 2026-05 ~ 2026-08-24 | 2026 重啟過渡期 | 試爬期後全面停擺:2026 年僅釋出三、四月資料集,五月起無資料;八月下旬恢復(8/25 部分縣市試爬、8/26 起全台每日爬取),八月資料集僅涵蓋 8/25 ~ 8/31,無法反映全月市場;長期停擺後重啟,出租狀態變化的時間點與實際有落差,「已消失」物件比例將高於歷年同期。 | 已於 2026-08-26 恢復每日爬取,2026-05 ~ 2026-08-24 遺失無法回補 | 部落格全文 |
| 2025-10 ~ 2026-05 | 2025 重啟試爬期間 | 爬蟲重啟初期僅約每週更新一次:出租狀態與時間類欄位可能與實際狀況有較大落差,部分欄位錯誤率較高,物件數約為過去水準的九成五。期間更新斷斷續續,僅釋出 2025-10 ~ 11 與 2026-03 ~ 04 的資料集。 | 已於 2026-08 底完成重建、恢復每日爬取(見 2026 重啟過渡期) | 部落格全文 |
| 2024-04 ~ 2025-09 | 2024 ~ 2025 長期停擺 | 爬蟲因 591 持續改版長期停擺,期間僅 2024-09-08 ~ 2024-10-30 短暫恢復:2024 僅有 1 ~ 3 月、9 ~ 10 月資料(9 月缺月初一週、10 月缺月底),2024-11 ~ 2025-09 完全無資料;2024 年度資料難以與歷年直接比較。 | 已於 2025-10 起以試爬形式恢復(見 2025 重啟試爬期間) | 部落格全文 |
| 2023-10-06 ~ 2023-10-26 | 2023-01 號爬蟲錯誤 | 主機硬碟額滿導致爬蟲中斷:十月實際物件數量較資料集為多,部分物件的更新時間較資料集為晚。 | 已於 2023-10-27 恢復,遺失無法回補 | 部落格全文 |
| 2023-03-25 ~ 2023-04-13 | 2023-00 號爬蟲錯誤 | 資料庫連線問題:三月僅有 03-01 ~ 03-24 的資料,月底狀態未反映;四月上旬資料不完整,期間內刊登且下架的物件不會出現在資料集。 | 已於 2023-04-13 恢復,遺失無法回補 | 部落格全文 |
| 2021-06-17 ~ 2021-10-30 | 2021-01 號爬蟲錯誤(591 改版) | 591 漸進式改版導致部份物件抓不到詳細資料:2021-07 ~ 09 推估遺失 35% ~ 45%,2021-10 與 2021-Q4 建議避免使用;各欄位分佈分析大致仍可反應母體。 | 已於 2021-11 恢復,遺失無法回補 | 部落格全文 |
| 2021-02-20 ~ 2021-02-24 | 2021-00 號爬蟲錯誤 | 資料庫空間用盡:期間新增的物件建立日期均顯示為 02-24,該日新增與關閉物件數偏多。 | 已於 2021-02-24 恢復 | 部落格全文 |
| 2019-11-01 | 2019-03 號爬蟲錯誤 | 資料匯出設定問題耗盡資料庫資源:10-31 新增的物件建立日期顯示為 11-02,該日新增與關閉物件數偏多。 | 已於 2019-11-02 恢復 | 部落格全文 |
| 2019-10-17 ~ 2019-10-19 | 2019-02 號爬蟲錯誤 | 重複爬蟲工作耗盡資料庫資源,連續三日資料未更新完:期間新增的物件大多標為 10-20 建立。 | 已於 2019-10-20 恢復 | 部落格全文 |
| 2019-05-09 ~ 2019-05-10 | 2019-01 號爬蟲錯誤 | 591 網頁排版更新導致抓不到新資料:05-10 新增的物件會被標為 05-11 建立。 | 已於 2019-05-11 恢復 | 部落格全文 |
| 2019-03-08 ~ 2019-03-19 | 2019-00 號爬蟲錯誤 | 資料庫空間用盡與 591 網站更新兩波影響:期間內建立且關閉的物件可能遺失,首次發現、最後更新、出租時間等欄位可能有誤。 | 已於 2019-03-19 恢復,遺失無法回補 | 部落格全文 |
新的 data-issue 文章發佈時,本頁總表與檔案庫的警示標記會一併更新。 若你在資料中發現這裡沒列出的異常,歡迎至GitHub回報。