宋堯

（北京十一學(xué)校，北京，100039）

1 研究背景

隨著第四次工業(yè)革命浪潮的來臨，一大批科技前沿技術(shù)逐漸興起，人工智能、大數(shù)據(jù)、5G、物聯(lián)網(wǎng)等技術(shù)不斷滲透到各個領(lǐng)域，給各行各業(yè)帶來巨大的改變。而隨著技術(shù)的飛速發(fā)展，我們的衣食住行正在悄然變化，在追求精神滿足的情況下，人們正在不斷完善自身的生活條件。房子是每個家庭的必需品，在購買房子時人們總是希望用較低的價格買到理想的房子，然而隨著市場的變化，房價時高時低，大眾很難捕捉到很好的購房時機(jī)，因此房價預(yù)測就成為人們普遍關(guān)心的事情。很多學(xué)者在該領(lǐng)域進(jìn)行了深入研究，有的通過引入數(shù)學(xué)模型，結(jié)合數(shù)據(jù)分析來預(yù)測房價的走勢；有的通過市場分析，結(jié)合國家宏觀政策調(diào)控等，來預(yù)測房價的變化趨勢。

本文著重從數(shù)學(xué)模型角度來探究房價變化的影響因素，以波士頓的房價數(shù)據(jù)為著手點(diǎn)，通過引入隨機(jī)森林[1]回歸模型和全連接回歸模型，來預(yù)測該市的其他房屋價格，進(jìn)而幫助大眾了解房價變化的真正影響因素。

2 研究方法

本章將要對研究過程中遇到的一些方法做相關(guān)介紹，包含隨機(jī)森林(RandomForest)和全連接模型介紹，旨在從理論基礎(chǔ)上對工作做基礎(chǔ)調(diào)研。

■2.1 算法簡介

隨機(jī)森林采用了多個弱學(xué)習(xí)器組合形成了強(qiáng)學(xué)習(xí)器，組合采用了bagging的方式，最終將多個弱學(xué)習(xí)器計(jì)算的結(jié)果采用投票或者加權(quán)平均的方式得到最終結(jié)果，這種方法能夠較好的降低方差，使整體結(jié)果泛化性較好[3]。

2.1.1 算法思想

由于常見的簡單機(jī)器學(xué)習(xí)方法例如決策樹，支持向量機(jī)都可以在一定程度上達(dá)到預(yù)測的目的，但是在某些數(shù)據(jù)上預(yù)測效果不能夠保證，所以可以在限定場景內(nèi)將這類的簡單機(jī)器學(xué)習(xí)方法成為弱學(xué)習(xí)器，弱學(xué)習(xí)器具有一定準(zhǔn)確性，而且多個弱學(xué)習(xí)器之間關(guān)注點(diǎn)不同，是包含有差異性的。

一般將弱學(xué)習(xí)器采用bagging[5]或者boosting[6]的方式集成學(xué)習(xí)，其中隨機(jī)森林就是采用bagging的方式合并。Bagging是并行式集成學(xué)習(xí)方法的代表，它的基本流程是，采用自助采樣法，得到多個基學(xué)習(xí)器，其中分類任務(wù)采用簡單投票法，而回歸任務(wù)采用簡單平均法。

隨機(jī)森林是bagging集成算法的一種，隨機(jī)森林的弱分類器采用決策樹，并且在訓(xùn)練過程中加入了隨機(jī)屬性,也就是說先抽選k個屬性，然后選擇最佳屬性。加入了屬性擾動，這使得最終的模型泛化性較強(qiáng)。

2.1.2 RandomForest模型介紹

本文中采用的隨機(jī)森林模型采用的是決策樹[4]作為基礎(chǔ)模型，而且由于本文所做的工作為預(yù)測房價，所以屬于回歸模型，最終在多個弱模型訓(xùn)練時，采用的是多個分類器的簡單平均作為最終的結(jié)果。本文共采用了500棵決策樹聚集成為隨機(jī)森林模型。而且由于數(shù)據(jù)量不足，訓(xùn)練時采用了15折的策略。

■2.2 全連接算法簡介

在遇到使用機(jī)器學(xué)習(xí)難以解決的問題，深度學(xué)習(xí)可以較好擬合數(shù)據(jù)分布，例如圖像識別，翻譯等技術(shù)，現(xiàn)在大都是由深度學(xué)習(xí)完成的。本文將要使用全連接方式來對數(shù)據(jù)做回歸訓(xùn)練，旨在探索深度學(xué)習(xí)的優(yōu)勢。全連接算法即使用神經(jīng)元的連接并加上非線性激活函數(shù)來擬合最終數(shù)據(jù)。

2.2.1 算法思想

在深度學(xué)習(xí)中，每一個基本計(jì)算單位被稱為神經(jīng)元，在滿足一定條件下，神經(jīng)元將會把自身攜帶的信息傳遞給下游，這個過程叫做信息傳輸。在全連接中，神經(jīng)元是按照分層的方式做信息傳輸?shù)?，首先從基本?shù)據(jù)中將信息傳遞給第一層神經(jīng)元，神經(jīng)元經(jīng)過信息加工處理后，結(jié)果將進(jìn)入激活函數(shù)，然后從激活函數(shù)中得到最終信息值，這個信息值將會把結(jié)果發(fā)布到下一層的全部神經(jīng)元中，下一層神經(jīng)元再次處理并向下游傳遞信息。在訓(xùn)練過程中，采用反向傳播的方式來對每一個神經(jīng)元的參數(shù)做調(diào)整，經(jīng)過訓(xùn)練后，將會得到多層的神經(jīng)元參數(shù)，預(yù)測時便可以根據(jù)已經(jīng)訓(xùn)練完成的神經(jīng)元參數(shù)來對數(shù)據(jù)做分類或回歸預(yù)測。

2.2.2 本項(xiàng)目模型介紹

在本項(xiàng)目中，采用了四層全連接層，還有一層為輸出層，分別的維度為[特征維度,256],[256,128],[128,128],[128,1]，訓(xùn)練的損失函數(shù)采用了均方誤差，優(yōu)化器采用了rmsprop。在每一層中間采用了dropout[7]率為0.4，這個策略能夠一定程度上緩解模型的過擬合，每一層的激活函數(shù)采用了Relu[2]，激活函數(shù)在神經(jīng)元輸出值為正時信息不會衰減，能夠有效的將結(jié)果傳遞給下游，隱藏層中采用了L2正則化，這個策略同樣能夠減緩模型過擬合。

3 實(shí)驗(yàn)及結(jié)果

本章將要介紹整個實(shí)驗(yàn)過程，包括數(shù)據(jù)預(yù)處理過程，隨機(jī)森林實(shí)驗(yàn)過程和全連接的實(shí)驗(yàn)過程，以及最終兩個模型的實(shí)驗(yàn)效果。

■3.1 實(shí)驗(yàn)過程

3.1.1 數(shù)據(jù)預(yù)處理

3.1.1.1 數(shù)據(jù)獲取

我們采用Python中的Pandas來加載數(shù)據(jù)，并做數(shù)據(jù)展示，訓(xùn)練數(shù)據(jù)展示如表1所示。

表1中每一列表示的是房屋的屬性或者價格，共有79列；而每一行代表一個房屋的相關(guān)數(shù)據(jù)。在對房價價格進(jìn)行數(shù)據(jù)描述時，我們發(fā)現(xiàn)其大致符合高斯分布[5]，所以在此進(jìn)行了數(shù)據(jù)的平滑處理，最終得到訓(xùn)練集的特征大小為1460×79，其中房屋數(shù)目為1460，特征數(shù)目為79，另外還有一列對應(yīng)的房屋價格label的數(shù)據(jù)。

3.1.1.2 數(shù)據(jù)處理

本文首先對預(yù)測結(jié)果(房屋價格)取了對數(shù)結(jié)果，使價格區(qū)間大致符合正態(tài)分布。具體如圖1所示。

圖1 房屋價格取對數(shù)

然后對于缺失的列查看了其有效性，如果某些列缺失數(shù)據(jù)較多且與價格之間無明顯關(guān)聯(lián)，本文中將會把這類的特征去除。

接著，對所有類型參數(shù)采用獨(dú)熱編碼方式，對所有數(shù)值參數(shù)采用歸一化處理，最終得到了訓(xùn)練和測試的特征數(shù)據(jù)。

3.1.2 訓(xùn)練模型

此次研究采用了兩種不同的模型，形成了兩種方案。第一種方案使用了隨機(jī)森林模型，將相關(guān)特征作為輸入，目的是使用多棵決策樹來擬合最終房價；第二種方案為采用深度學(xué)習(xí)全連接來做回歸預(yù)測，目的在于嘗試使用深度學(xué)習(xí)解決生活問題，直接擬合房價。

3.1.2.1 隨機(jī)森林

隨機(jī)森林使用了15折的方式訓(xùn)練，在15折的結(jié)果中，最優(yōu)結(jié)果的RMSE達(dá)到了0.115，在全量預(yù)測結(jié)果后，RMSE為0.12。具體15折效果如圖2所示。

與此同時，使用隨機(jī)森林的結(jié)果來對特征做重要性評估，與直覺相似，房屋面積算是比較重要的特征。

圖2 隨機(jī)森林15折訓(xùn)練效果與樣本重要性示例

最終使用隨機(jī)森林對測試集做預(yù)測，得到的結(jié)果RMSE為0.12，屬于較好的結(jié)果。

3.1.2.2 FNN

全連接使用的訓(xùn)練輪數(shù)采用了300輪，最終RMSE達(dá)到了0.09，其中訓(xùn)練過程如圖3所示。在經(jīng)過100輪左右后，模型逐漸學(xué)習(xí)到了數(shù)據(jù)信息，然后繼續(xù)經(jīng)過50輪的RMSE快速減少，最終在200輪左右?guī)缀踹_(dá)到平衡，此時模型已經(jīng)能夠擬合到數(shù)據(jù)，繼續(xù)訓(xùn)練下去可能會帶來過擬合，所以最終我們采用了300輪作為最終訓(xùn)練輪數(shù)。

表1 數(shù)據(jù)展示

圖3 全連接訓(xùn)練過程

全連接在最終的預(yù)測中，RMSE達(dá)到了0.09。

■3.2 實(shí)驗(yàn)結(jié)果

本文一共采用了兩種方案來做房屋價格預(yù)測，分別是隨機(jī)森林回歸模型，深度學(xué)習(xí)全連接回歸。最終結(jié)果顯示，使用RMSE作為衡量指標(biāo)時，深度學(xué)習(xí)全連接方案優(yōu)于隨機(jī)森林結(jié)果，說明全連接預(yù)測是一個很好的方案。

4 研究結(jié)論與建議

通過本次房屋預(yù)測模型的建立，能夠得到影響房屋總價值的不僅僅是房屋居住總面積這一個重量級特征，還有街道名稱，裝修完整度等其他影響特征，并且有些看起來不是很重要的特征也能夠影響房價，例如房屋類型功能等。數(shù)據(jù)幫助我們篩選出重要的特征，排除了一些“想當(dāng)然”的結(jié)果，能夠更好的抓住事情的本質(zhì)，這就是大數(shù)據(jù)輔助我們解決生活中的事情的實(shí)際例子。