
測試用資料,十一月版釋出
在十月初步釋出後,十一月開始進行定期紀錄、合併資料的工作,並且一併跟上最新的租屋平台網頁結構。十一月以幾乎一週一次的頻率,完成三輪資料爬取,並將這些資料合併成一份完整的測試用資料集,數量已開始接近過去的水準,以去重複後的物件數來看,大約是 2023 同期的 95% 。

在十月初步釋出後,十一月開始進行定期紀錄、合併資料的工作,並且一併跟上最新的租屋平台網頁結構。十一月以幾乎一週一次的頻率,完成三輪資料爬取,並將這些資料合併成一份完整的測試用資料集,數量已開始接近過去的水準,以去重複後的物件數來看,大約是 2023 同期的 95% 。

開放台灣租屋資料的機器人,已經修復至可以進行基本的資料爬取工作,並在十月期間,完成了初步的測試用資料集釋出。這份資料集,主要是為了讓使用者能夠在正式恢復每日更新前,先行體驗目前的資料狀況。

在歷經 2025 年的多輪修復後,開放台灣租屋資料,已經完成主要爬蟲功能的重建,並將從十月開始,開放試爬的資料集,希望能在年底前,恢復到穩定運作的狀態。

跟大家宣佈一個好消息,以及一個壞消息 🥹 好消息是,機器人在停止運作四個月後,終於在 2024-09-08 正式復工,並完整爬取了 9 月的資料。 壞消息是,由於 591 持續調整網頁呈現技術,機器人在 2024-10-31 時,再次停止運作,目前尚未復原。 因此,開放台灣租屋資料,將再次暫停更新,直至 ddio 有空修復為止。這次的技術調整,還不確定解決方式,若有確切的復原時間,會再次通知大家。

很抱歉需要跟大家說明,由於 ddio 家中新生命降臨地球,加上 591 自 4 月開始,持續調整系統設定,導致爬蟲機器人,無法正常運作。因此,開放台灣租屋資料,將暫停更新,直至機器人與作者復原為止。目前已將已知的變動範圍,紀錄在 #176 ,若無太大意外,爬蟲會在九月時正式復工,十月則是復工後,首次完整月份的資料集釋出。

我們在 10/06 ~ 10/26 期間,由於主機維護問題,導致爬蟲無法順利執行。

我們在 3 月 25 日至 4 月 13 日期間遭遇了一些技術問題,導致我們無法按時收集並更新部分租屋資料。我們深感歉意,現在將會詳細解釋所發生的情況及其影響。

由於591 改版的緣故,2021 的年度資料,也存在資料遺失的問題。但因為在 10 月爬蟲機器人修正後,有將所有資料重新更新一次,因此遺失的狀況,會比逐月、逐季資料還要輕微。以下將比對逐月、整年的資料集,並對照 2020 與 2021 兩年的差異,以提供遺失情況的線索。 由於影響 591 刊登物件數的變因很多,單純第比較跨月、跨年的數量,並沒有太多意義,因此本文所作的分析,以確認資料的性質為主。

2021-06-17 ~ 2021-10-30,因為 591 實施漸進式改版,改變資料讀取方式,導致這段時間遺失部份資料。 本文將說明改版影響範圍、資料遺失的補救方式,並附上詳細解釋、原始資料,以及代辦事項。

錯誤發生時間: 2021-02-20 ~ 2021-02-24 ,因為資料庫空間用盡,導致這段期間的資料,沒有寫入資料庫 對資料的影響: 在 2021-02-20 ~ 2021-02-24 這幾天新增的物件,建立日期均會顯示為 02-24 ,因此 02-24 的新增物件、關閉物件都會比平常還要多

錯誤發生時間: 2019-11-01 ~ 2019-11-01 ,因為資料匯出程式設定的問題,耗盡資料庫 CPU 資源,導致 11-01 沒有更新完當日的所有資料 對資料的影響: 如果在 2019-10-31 當天新增的物件,建立日期會顯示為 11-02 ,因此 11-02 的新增物件、關閉物件都會比平常還要多

錯誤發生時間: 2019-10-17 ~ 2019-10-19 ,因為爬蟲工作產生方式的問題,製造太多重複而作不完工作,耗盡資料庫 CPU 資源,導致連續三日資料沒爬完 2019-10-20 開始爬蟲恢復正常

錯誤發生時間: 2019-05-09 ~ 2019-05-10 ,因為591 網頁排版更新,導致無法抓到新資料 2019-05-11 開始爬蟲恢復正常

錯誤發生時間: 第一波:2019-03-08 ~ 2019-03-12 ,因為資料庫空間用盡,導致部份物件更新失敗 第二波:2019-03-14 ~ 2019-03-19 ,因為 591 網站更新,導致無法抓到新物件 2019-03-19 開始爬蟲恢復正常