在十月初步釋出後,十一月開始進行定期紀錄、合併資料的工作,並且一併跟上最新的租屋平台網頁結構。十一月以幾乎一週一次的頻率,完成三輪資料爬取,並將這些資料合併成一份完整的測試用資料集,數量已開始接近過去的水準,以去重複後的物件數來看,大約是 2023 同期的 95% 。
包含定期紀錄的貼文
其他標籤:
消除重複住宅邏輯更新
為了節省計算資源、簡化季度、年度資料處理流程,我們將從「使用 PostgresSQL 合併跨月資料」,改為「使用 ClickHouse local 合併跨月資料」。除了少數欄位名稱更改外,使用上並無其餘影響。
對新合併法有興趣者,歡迎參見合併原始碼。