
測試用資料,十一月版釋出
在十月初步釋出後,十一月開始進行定期紀錄、合併資料的工作,並且一併跟上最新的租屋平台網頁結構。十一月以幾乎一週一次的頻率,完成三輪資料爬取,並將這些資料合併成一份完整的測試用資料集,數量已開始接近過去的水準,以去重複後的物件數來看,大約是 2023 同期的 95% 。

在十月初步釋出後,十一月開始進行定期紀錄、合併資料的工作,並且一併跟上最新的租屋平台網頁結構。十一月以幾乎一週一次的頻率,完成三輪資料爬取,並將這些資料合併成一份完整的測試用資料集,數量已開始接近過去的水準,以去重複後的物件數來看,大約是 2023 同期的 95% 。

開放台灣租屋資料的機器人,已經修復至可以進行基本的資料爬取工作,並在十月期間,完成了初步的測試用資料集釋出。這份資料集,主要是為了讓使用者能夠在正式恢復每日更新前,先行體驗目前的資料狀況。

為了節省計算資源、簡化季度、年度資料處理流程,我們將從「使用 PostgresSQL 合併跨月資料」,改為「使用 ClickHouse local 合併跨月資料」。除了少數欄位名稱更改外,使用上並無其餘影響。 對新合併法有興趣者,歡迎參見合併原始碼。

感謝大家的關心,長話短說,2021-05 後的資料都還在,只是還沒上傳。預計八月底左右,就會上架 2021-06 到目前為止的所有資料!

封面圖片源自曼努製作的2020 台北捷運房租地圖,資料由 Jheng-Yu Lee 整理,資料原始出處來自這個資料集。 這半年因為各種忙,像是開始跳坑作居住議題的開源社群、幫忙 g0v 雙年會的一小部份網站,還有幾個組織的數位專案,租屋資料僅維持最低程度的運作,確定機器人有乖乖爬資料、空間足夠,但新出現的警告訊息,以及整理資料、放上網站,就和沒折的衣服一樣,一直拿不起力氣處理。

開放租屋終於老老實實地營運了一整年啦! 在一年的時間裡,開放租屋的資料欄位持續演進,總共推出了兩版更新,增加了刊登者編碼、約略地點兩個欄位,方便分析供給者以及地理資訊,也增加了「消除重複物件」的資料集,簡化資料分析的準備工作。在功能調整外,也經歷了兩次超過十天的更新中斷,並透過這些契機,還了一些爬蟲程式的技術債,當然,也依然欠了不少可以改良的地方 XD