關於資料集
「開放民間租屋資料」希望提供對租屋議題有興趣的單位,一份長期、開放,而且詳細的租屋資料集, 去除有著作權與隱私疑慮的資料後,以 CC0 釋出,為台灣的租賃市場與居住議題建立研究的基礎資料。
本資料集的來源目前為591 租屋網,後續也會持續擴充資料來源至各大租屋網與其他代管業者的公開資訊, 預計每月、每季、每年都會發佈一份該期間內曾經出現過的所有出租物件, 除了資料標準化外,不做額外的資料處理與刪減,希望盡量保持資料的原始狀態。
本資料集是以現狀提供,並在相關法律容許的最大範圍內,主張免除提供者所有的擔保責任, 包括但不限於合用性、正確性、權利瑕疵等,使用者並須為其後個案的使用情境自負其責,不得歸咎於提供者。
版本資訊
- 版本: 0.2
- 發行日期: 2018/08/31
- 失效日期: 2023/08/01
- 資料集更動:
- 新增「約略地點」、「約略地點範圍」
資料內容與整理方式
除了單純擷取各網站,累積長時間的租屋資料外,本資料集也希望能夠滿足三項資料分析的需求:
- 方便分析跨資料來源的物件
- 能夠追蹤時間變化的基礎資料
- 易於散佈,無隱私與著作權疑慮
為了方便分析跨資料來源的物件,從各網站收集的資料,經統整後,會被放入共同的表格中儲存,所有資料都使用相同的欄位儲存。 雖然這會讓網站獨有的資訊消失,也無法解決網站資訊過少,導致欄位空白的問題,但至少分析時,可以一次統整所有來源的資料進行分析。 關於各網站原始資料與共同欄位的對照表,請參見各資料來源原始資料與資料集欄位對照表。
在追蹤時間變化方面,目前資料集將以每月、每季、每年的頻率定期發佈,每筆資料並附上資料編號,方便追蹤與交叉比對。 如果想要時間刻度更小的資料,或是關於相關格式有任何建議,歡迎來信或在 Github 討論。
最後,為了減少後續使用與散佈資料的成本,本資料集僅包含無隱私與著作權疑慮的資料,例如房屋個事實資訊,包含樓層、租金、坪數、身份限制等, 刪除地址、說明、照片內容等資訊,並以 CC0 釋出,希望任何對租屋有興趣的人,都可以拿這份資料分析研究,促進居住議題的公共討論與決策。
住宅與重複物件過濾條件
為了後續分析方便,本資料集亦提供較保守的物件過濾條件,提供對住宅研究有興趣的人使用。在這裡,保守的意思是只刪除非常極端,或是非常確定有問題的物件, 以免誤刪應該被拿來分析的資料,所以有可能還是會在資料集裡看到一些不合理的值(第二型錯誤)。目前所有過濾條件皆為列舉,並未使用任何統計與機器學習的技術, 如果對過濾方式有任何想法或興趣,歡迎直接至 hackpack 討論, 為開源專案貢獻力氣。目前的過濾條件說明如下(程式部份請見此):
住宅的過濾條件:
- 建物為公寓、透天、電梯大樓
- 物件類型為整層住家、獨立套房、分租套房、雅房
- 建物樓高 <= 90
- 所在樓層 <= 90
- 所在樓層 <= 建物樓高 + 2 (因為有可能有頂加)
- 坪數 < 500
- 每坪租金 <= 15000
重複物件的過濾條件:
如果以下所有欄位的值都相同,視為同一物件,詳細欄位列表,請見共同資料欄位
- 共同資料欄位( 6 項)
- 物件硬體資訊(所有項目)
- 價位資訊(所有項目)
- 環境、設備與限制(所有項目)
共同資料欄位
目前所有的共同欄位,共通的欄位數值如下:
- 若無特別說明,所有欄位名稱以「?」結尾的,皆為二選一的欄位
- CSV 檔案中,
F為否/無,T為是/有 - JSON 檔案中,則以
false/true表示 - 0.0 版中標為
0/1的版本仍會提供下載至支援期限為止
- CSV 檔案中,
- 若物件缺少某一項欄位的資料
- CSV 檔案中,會標示為
- - JSON 檔案中,則以 null 表示
- CSV 檔案中,會標示為
交易與物件基本資訊
| 欄位名稱 | 說明 | 用於重複物件過濾 |
|---|---|---|
| 物件編號 | 物件於原始網站的編號,但取決於刊登者,不保證物件是否重複,或是同一編號在不同時間點,是否代表同一物件 | |
| 租屋平台 | - | ● |
| 物件網址 | 發現物件時,該物件的網址,但後續有可能顧期,或是遭關閉而無法瀏覽 | |
| 物件首次發現時間 | 本資料集首次發現物件的時間,實做因物件網站而異,但通常不會比刊登時間晚超過一天 | |
| 物件最後更新時間 | 本資料集最後一次更新此物件資訊的時間 | |
| 縣市 | 為編碼過的縣市 | ● |
| 鄉鎮市區 | 為編碼過的鄉鎮市區 | ● |
| 約略地點_x 約略地點_y | 為該物件的約略座標,不一定是物件所在地,依各刊登平台設定而定,與 GPS 一樣使用 WGS84 座標系統 | |
| 約略地點範圍 | 同「約略地點」,但使用在「消除重複住宅」中,內容為包含所有重複物件的二維邊界盒(bounding box) | |
| 房屋出租狀態 | 為編碼過的出租狀態,包含待出租、已消失(頁面遭關閉,不確定是否出租)、已出租 | |
| 出租大約時間 | 本資料集發現物件已出租的時間,實做因物件網站而異,但通常不會比刊登時間晚超過一天 | |
| 出租所費天數 | 「出租大約時間」與「物件首次發現時間」的差距,無條件進位 | |
| 刊登者類型 | 為編碼過的刊登者類型,包含屋主、代理人、房仲 | ● |
| 刊登者編碼 (0.1 版新增) | 每名刊登者的獨特編碼,可能來自於任何刊登者可辨識的資訊,因為每則物件透漏的刊登者資訊可能不同,原則上不同刊登者的編碼一定不同,但反之不一定成立 | |
| 仲介資訊 | 於物件網頁上顯示的租屋公司資訊 | ● |
| 有產權登記? | 物件網頁上所顯示的資訊,但與現實落差與否,依各網站查核狀況而異 | ● |
物件硬體資訊
| 欄位名稱 | 說明 | 用於重複物件過濾 |
|---|---|---|
| 建築類型 | 為編碼過的建物類型,包含公寓、電梯大樓、透天等,詳見編碼表 | ● |
| 物件類型 | 為編碼過的物件類型,包含整層住宅、分租套房、雅房等,詳見編碼表 | ● |
| 所在樓層 | 網頁上標示之樓層,若為 0 ,則有可能為整棟出租,若超過建物樓高,則為自報頂加,若為地下室,則為負數 | ● |
| 建物樓高 | 網頁上標示之樓高,有些標示會比實際樓高多出一樓,以隱藏頂加物件 | ● |
| 距頂樓層數 | 根據「建物樓高」與「所在樓層」相減之數字,若為 -1 ,表示物件自己標示為頂加 | ● |
| 坪數 | - | ● |
| 陽台數 | 目前只有整層住家提供此欄位 | ● |
| 衛浴數 | 目前只有整層住家提供此欄位 | ● |
| 房數 | 目前只有整層住家提供此欄位 | ● |
| 客廳數 | 目前只有整層住家提供此欄位 | ● |
| 格局編碼 | 綜合上述四項,依照陽台/衛浴/房/廳的順序編碼,例如二陽台一衛浴四房三廳會被標為 _02010403 |
● |
| 自報頂加? | 物件是否自己標示為頂加 | ● |
| 提供車位? | - | ● |
價位資訊
| 欄位名稱 | 說明 | 用於重複物件過濾 |
|---|---|---|
| 月租金 | - | ● |
| 押金類型 | 為編碼過的物件類型,包含以月為單位、定額、面議,或是其他 | ● |
| 押金月數 | 若押金為定額,則會除以月租金後,換算為押金月數 | ● |
| 押金金額 | 若押金以月為單位,則會乘上租金後,換算為押金金額 | ● |
| 需要管理費? | - | ● |
| 月管理費 | - | ● |
| 需要停車費? | - | ● |
| 月停車費 | - | ● |
| 每坪租金 | 月租金、月管理費、月停車費的總和,除上物件坪數 | ● |
| 額外費用_電費? | 若頁面無特別註明租金包含此費用,則計為「是」 | ● |
| 額外費用_水費? | 若頁面無特別註明租金包含此費用,則計為「是」 | ● |
| 額外費用_瓦斯? | 若頁面無特別註明租金包含此費用,則計為「是」 | ● |
| 額外費用_網路? | 若頁面無特別註明租金包含此費用,則計為「是」 | ● |
| 額外費用_第四台? | 若頁面無特別註明租金包含此費用,則計為「是」 | ● |
環境、設備與限制
| 欄位名稱 | 說明 | 用於重複物件過濾 |
|---|---|---|
| 附近有_學校? | - | ● |
| 附近有_公園? | - | ● |
| 附近有_百貨公司? | - | ● |
| 附近有_超商? | - | ● |
| 附近有_傳統市場? | - | ● |
| 附近有_夜市? | - | ● |
| 附近有_醫療機構? | - | ● |
| 附近的捷運站數 | - | ● |
| 附近的公車站數 | - | ● |
| 附近的火車站數 | - | ● |
| 附近的高鐵站數 | - | ● |
| 附近的公共自行車數 | - | ● |
| 有身份限制? | 物件是否限制特定身份的人才可入住,導致其他類的人不可入住。 | ● |
| 有性別限制? | - | ● |
| 性別限制 | - | ● |
| 可炊? | - | ● |
| 可寵? | - | ● |
| 提供家具_床? | - | ● |
| 提供家具_桌子? | - | ● |
| 提供家具_椅子? | - | ● |
| 提供家具_電視? | - | ● |
| 提供家具_熱水器? | - | ● |
| 提供家具_冷氣? | - | ● |
| 提供家具_沙發? | - | ● |
| 提供家具_洗衣機? | - | ● |
| 提供家具_衣櫃? | - | ● |
| 提供家具_冰箱? | - | ● |
| 提供家具_網路? | - | ● |
| 提供家具_第四台? | - | ● |
| 提供家具_天然瓦斯? | - | ● |
資料集的限制
由於法律、技術與各種條件上的限制,本資料集並未散佈原始物件網頁的完整紀錄。 另外,本資料集目前絕大部分欄位都直接抓取自網站資料,沒有太多跨欄位或資料探勘的處理。 如果你發現有助於資料分析,但需要額外處理的資料,例如搜尋整理標題或說明欄位裡的資訊等,歡迎來信討論。
目前資料集的詳細限制如下:
網頁上存在,但不會匯出的資料
為避免著作權與隱私疑慮,本資料集會刪除所有相關欄位。若有需要者,請在法律允許的範圍內,自行抓取。
- 標題
- 地址
- 物件說明
目前缺少,但計畫加入的資料
- 同一物件在不同時間點,各欄位的變化狀況
可能無法抓到的資料
- 如果物件在短時間內太過頻繁更新,則本資料集只會收錄其最後的狀態
已知的問題
- 本資料集以 utf8 編碼釋出,使用微軟 Excel 需另外匯入或轉檔才可開啟(話說 Excel 打得開 10+ 萬行的表格嘛..)。詳細步驟請參考行政院農委會資料開放平台
- 目前發現有些 591 的物件在已出租後,依然還是可以被搜尋到,所以雖然出租狀態可以確定是否出租,但出租天數有可能是錯的 XD
編碼表
為減少檔案大小與後續分析難度,本資料集使用編碼來表示許多欄位,包含:
- 縣市
- 鄉鎮市區
- 交易狀態
- 建物類型
- 物件類型
- 刊登者資訊
- 押金類型
- 性別限制
詳細的編碼對照表,請參見此試算表
各資料來源原始資料與資料集欄位對照表
591 租屋網
591 租屋網目前提供所有資料集所需資料,以下僅列出兩者之間的差異:
| 資料集欄位 | 591 租屋網的收集方式、差異 |
|---|---|
| 需要管理費? | 除了「是否需要管理費」的欄位外, 591 頁面還可填「租金是否包含管理費」,因此會綜合這兩項資料來決定此欄位數值。若兩項資料都沒有,則不填 |
| 建物類型 | 591 的別墅,被併入「透天」建物中,「住宅大樓」改作「電梯大樓」 |
| 附近的公共自行車數(實驗中) | 目前會搜尋說明欄裡提到 XXX bike (不分大小寫)的數量,因此若要使用,建議僅以 0 與 大於 0 作為指標 |
| 刊登者編碼 | 如果第一次發現該物件時,該物件已經消失、成交,而且說明裡沒有透漏手機(?!),就找不到囉~另外,編碼相同幾乎保證是同一名刊登者,但反之就不一定了。 |
| 仲介資訊 | 使用網頁上的公司名,若無則找經濟業,都沒有就列印全部資訊 |
| 性別要求 | 若填「男女生皆可」或沒填,都算「皆可」 |
| 身份要求 | 591 可供刊登者填的身份要求為「上班族、學生、家庭」,在此脈落下為排除單身、無固定職業者的意思,所以只要有填,不管填幾個,都算有身份要求 |
| 可炊 | 開伙必須是「可以」 |
| 可寵 | 養寵物必須是「可以」 |
| 產權登記 | 產權登記必須是「已辦」 |