謝志偉

(東莞職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)工程系， 廣東 東莞 523808)

0 引言

在現(xiàn)代房地產(chǎn)市場(chǎng)背景下，房屋評(píng)估是包括買賣雙方，貸款方和房地產(chǎn)經(jīng)紀(jì)人在內(nèi)的各方參與的必要步驟。傳統(tǒng)考察房屋的方式一般是人員實(shí)地勘察。但隨著網(wǎng)絡(luò)發(fā)展帶來(lái)的便利，以及新冠肺炎疫情的影響，網(wǎng)絡(luò)看房成為主流選擇。一般網(wǎng)上交易時(shí)，都是利用大量房屋照片吸引潛在買家并說(shuō)服他們出價(jià)是一種常見(jiàn)的做法。要自動(dòng)評(píng)估房屋價(jià)值，需要面臨這樣的問(wèn)題：一個(gè)有經(jīng)驗(yàn)的人如何去評(píng)估房屋價(jià)值?；旧希l(fā)現(xiàn)以下幾個(gè)方面在評(píng)估房屋價(jià)值時(shí)最為重要：房屋的文字或視覺(jué)特征[1]；與相似房產(chǎn)的比較[2]；以及對(duì)周圍區(qū)域的評(píng)估[3]。但這些評(píng)估主要是基于人的主觀，所以難免會(huì)存在不公正現(xiàn)象，因此，解決以上問(wèn)題，在此提出了一種有效的自動(dòng)方法，基于文本和視覺(jué)特征(即視覺(jué)房屋評(píng)估)準(zhǔn)確預(yù)測(cè)房屋價(jià)值,并命名為MDRR(Multi-instance Deep Ranking and Regression)。

1 多示例深度排序回歸網(wǎng)

1.1 深度排序與回歸網(wǎng)

考慮一組訓(xùn)練樣本(xi,yi)其中xi表示示例包，而yi表示相關(guān)的連續(xù)標(biāo)簽。在此的目標(biāo)是學(xué)習(xí)可以將示例映射到目標(biāo)標(biāo)簽空間的預(yù)測(cè)函數(shù)gw(·)和可以根據(jù)其連續(xù)標(biāo)簽對(duì)兩個(gè)示例進(jìn)行排序的等級(jí)函數(shù)fw(·)，w表示要從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)的參數(shù)。這項(xiàng)工作的目標(biāo)是從多示例設(shè)置中從弱監(jiān)督數(shù)據(jù)中學(xué)習(xí)gw(·)和fw(·)的深入表示。

因此引入一個(gè)多層神經(jīng)網(wǎng)絡(luò)，稱為多示例深度排序和回歸網(wǎng)絡(luò)，來(lái)參數(shù)化預(yù)測(cè)函數(shù)gw(·)和排序函數(shù)fw(·)。MDRR的體系結(jié)構(gòu)，如圖1所示。

輸入是一個(gè)包含房屋文本和圖像數(shù)據(jù)的示例，輸出是連續(xù)的標(biāo)簽和等級(jí)。MDRR由3個(gè)子網(wǎng)組成。采用前饋神經(jīng)網(wǎng)絡(luò)(FNN)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)分別對(duì)文本輸入和圖像輸入進(jìn)行處理。這兩個(gè)網(wǎng)絡(luò)的最后一個(gè)隱藏層完全連接到一個(gè)融合層，如淺色框所示，它在兩個(gè)方面起作用。一方面，融合層的輸出激活完全連接到一個(gè)以fw(·)表示的輸出神經(jīng)元，fw(·)的輸出用于根據(jù)連續(xù)標(biāo)記對(duì)兩個(gè)示例進(jìn)行排序,w表示MDRR的參數(shù)，但有濫用符號(hào)的情況。另一方面，融合層的激活進(jìn)一步反饋給FNN，其輸出神經(jīng)元(表示為gw(·))返回連續(xù)標(biāo)簽。在下面的兩部分中，將推導(dǎo)出這兩個(gè)損失函數(shù)的數(shù)學(xué)定義。

圖1 MDRR網(wǎng)絡(luò)示意圖

1.2 多示例排名損失

函數(shù)fw(·)用于將示例映射到秩標(biāo)量。為了學(xué)習(xí)最優(yōu)fw(·)，收集一組有序的包對(duì)，用(i,j)表示，其中包i的等級(jí)高于其他包j，并使用這些有序的包對(duì)來(lái)學(xué)習(xí)網(wǎng)絡(luò)參數(shù)w。讓xik表示第i個(gè)包的第k個(gè)示例。對(duì)于任何一對(duì)(i,j)，函數(shù)fw(·)應(yīng)該遵循多示例約束[4]：包i示例的最大秩應(yīng)該高于包j中任何示例的秩。形式上，有一組約束，如式(1)。

(1)

它可以用來(lái)限制w的可行解，從而達(dá)到排序的目的。

因此，排名損失，如式(2)、式(3)。

(2)

(3)

式中，λ是一個(gè)常量參數(shù)，ξijl≥0,?k,l,?(i,j)。根據(jù)文獻(xiàn)[5]，可以通過(guò)將xik重寫(xiě)為包i中示例的凸組合來(lái)替換式(3)左側(cè)的最大算子。

1.3 多示例回歸損失

回歸函數(shù)gw(·)用于預(yù)測(cè)通過(guò)3個(gè)子網(wǎng)的輸入示例的連續(xù)標(biāo)記。這里，gw(·)遵循傳統(tǒng)的多示例約束[6]：對(duì)于包中的所有示例，gw(·)的最大預(yù)測(cè)應(yīng)等于僅對(duì)每個(gè)包可用的真實(shí)值，如式(4)。

(4)

或者，式(4)相當(dāng)于式(5)。

yi=gw(xi,d(i))，受約束于gw(xi,d(i))≥gw(xik),?k

(5)

式中，d(i)索引具有最大預(yù)測(cè)gw(·)的包i的示例。MDRR網(wǎng)絡(luò)的回歸損失函數(shù)定義，如式(6)。

(6)

式(6)受約束于條件式(7)。

gw(xi,d(i))≥gw(xik)

(7)

為了最小化Q(·)，可以使用替代優(yōu)化策略。在d(i)固定的情況下，Q(·)是相對(duì)于權(quán)重參數(shù)w的二次凸函數(shù)。在目前的步驟中，w可以評(píng)估gw(·)以檢索d(i)。對(duì)于一個(gè)看不見(jiàn)的包，它的預(yù)測(cè)可以通過(guò)將它的所有示例通過(guò)MDRR網(wǎng)絡(luò)并找到gw(·)的最大預(yù)測(cè)來(lái)實(shí)現(xiàn)。

1.4 反向傳播學(xué)習(xí)

為了求解最優(yōu)參數(shù)w，對(duì)式(2)和式(6)進(jìn)行了轉(zhuǎn)換，轉(zhuǎn)化為無(wú)約束形式，利用反向傳播算法[7]迭代更新網(wǎng)絡(luò)參數(shù)w。在每次迭代中，計(jì)算關(guān)于w的損失函數(shù)的導(dǎo)數(shù)，并用反向傳播的梯度更新相應(yīng)的參數(shù)。采用帶動(dòng)量項(xiàng)的隨機(jī)梯度下降法。動(dòng)量重量設(shè)為0.9，最小批量為32。在開(kāi)始時(shí)將全局學(xué)習(xí)率設(shè)置為0.004，并在各個(gè)時(shí)期衰減。

2 MDRR算法實(shí)現(xiàn)

在本節(jié)中，討論了MDRR的實(shí)現(xiàn)，該實(shí)現(xiàn)可從文本和圖像數(shù)據(jù)中預(yù)測(cè)房?jī)r(jià)。假設(shè)有一組房屋，并且每個(gè)房屋都提供了一組文字特征和一組房屋照片。將每個(gè)房屋視為一包示例，每個(gè)示例都代表房屋照片以及房屋的文字特征(例如，大小，房間數(shù)量等)。房屋價(jià)值在包裝級(jí)別提供。在網(wǎng)上市場(chǎng)上，一所房子通常有20至50張照片，并用多種文字特征加以描述。

2.1 用語(yǔ)義意識(shí)對(duì)損失進(jìn)行排名

式(3)中的約束是無(wú)意義的，如果兩張房子的照片不是同一類別。對(duì)花園和廚房室等進(jìn)行排名毫無(wú)意義。因此，將所有房屋照片(例如，花園，浴室，客廳等)分類，并在等式中應(yīng)用約束。僅適用于同一類別的照片對(duì)，讓cik表示圖像xik的類別，為排序目的定義了語(yǔ)義感知目標(biāo)函數(shù)，如式(8)。

(8)

公式(8)受限于式(9)和式(10)。

(9)

ξijl≥0,?l,?(i,j)

(10)

為了給一對(duì)測(cè)試房屋(i,j)排序，可以通過(guò)MDRR網(wǎng)絡(luò)對(duì)它們的每個(gè)示例進(jìn)行排序，并測(cè)試式(1)是否成立。

2.2 帶有啟發(fā)式約束的回歸損失

在此進(jìn)一步引入了一組人類啟發(fā)式方法來(lái)規(guī)范回歸損失函數(shù)式(6)的學(xué)習(xí)。這些啟發(fā)式方法來(lái)源于常識(shí)性知識(shí)，人們?cè)诟兄績(jī)r(jià)時(shí)廣泛使用這些知識(shí)。例如，有3個(gè)臥室的房子往往比有一個(gè)臥室的房子更貴；獨(dú)戶的房子比公寓的價(jià)值更高。盡管個(gè)別的約束可能很弱，但這些約束的集合可以提供有用的信息，幫助預(yù)測(cè)房?jī)r(jià)。

形式上，讓C表示房屋對(duì)的集合(i,j)∈C，根據(jù)常識(shí)類型，房屋i的價(jià)值低于房屋j的價(jià)值。在此修改式(6)中的回歸損失函數(shù)，如式(11)。

(11)

式中，受限于gw(xi,d(i))≥gw(xik)，gw(xik)-gw(xcl)>1-ζic,?(i,c)∈C。

注意，根據(jù)不同的常識(shí)知識(shí)，C中的兩個(gè)房子可能有沖突的順序。式(11)簡(jiǎn)單地利用這些常識(shí)作為軟約束來(lái)限制可行解空間。

2.3 照片分類

將所有的房屋照片分為11類：臥室、客廳、廚房、浴室、后院、餐廳、游泳池、車庫(kù)、儲(chǔ)藏室、鄰居和其他。收集了11個(gè)類別中每一個(gè)類別的200張照片，密集的作物子區(qū)域，并使用修剪的圖像來(lái)訓(xùn)練具有分類損失的CNN網(wǎng)絡(luò)。為了對(duì)照片進(jìn)行分類，在學(xué)習(xí)過(guò)的CNN網(wǎng)絡(luò)上進(jìn)行轉(zhuǎn)發(fā)。預(yù)測(cè)將用于刪減式(8)中的無(wú)效約束。使用自動(dòng)分類結(jié)果來(lái)減少人工操作。此外，在本研究中，每一個(gè)約束都被用作軟約束，并且沒(méi)有一個(gè)約束會(huì)支配訓(xùn)練結(jié)果。

3 實(shí)驗(yàn)

在這一部分中，將提出的MDRR方法應(yīng)用于多模態(tài)房?jī)r(jià)預(yù)測(cè)問(wèn)題，并將其與其他方法進(jìn)行比較。

3.1 數(shù)據(jù)集

為了研究可視房屋評(píng)估問(wèn)題，收集了一個(gè)包含文本特征、房屋照片和交易歷史的圖像數(shù)據(jù)集，數(shù)據(jù)集來(lái)自于美國(guó)房產(chǎn)的多重上市服務(wù)系統(tǒng)(Multiple Listing Service)。數(shù)據(jù)集包括約90萬(wàn)張30 141棟房屋的照片。對(duì)于每套房子，使用最新的交易價(jià)格作為它的真實(shí)房?jī)r(jià)。

將數(shù)據(jù)集分成3個(gè)子集，分別用于培訓(xùn)、驗(yàn)證和測(cè)試，包括15 000，5 000和10 141個(gè)房屋。用11個(gè)類別對(duì)訓(xùn)練/驗(yàn)證圖像進(jìn)行人工標(biāo)注，并用它們訓(xùn)練和評(píng)估CNN分類模型。

3.2 評(píng)估對(duì)象

該方法由3個(gè)子網(wǎng)絡(luò)和2個(gè)損失函數(shù)組成，利用文本特征和房屋照片預(yù)測(cè)房屋價(jià)值。

1.MDRR-1A是使用子網(wǎng)A處理文本特征的排名網(wǎng)絡(luò)。

2.MDRR-2A，使用子網(wǎng)工作A、子網(wǎng)C和回歸損失的回歸網(wǎng)絡(luò)。

3.MDRR-3A，一種使用子網(wǎng)A和子網(wǎng)C的聯(lián)合排序和回歸網(wǎng)絡(luò)。

4.MDRR-5A，一個(gè)聯(lián)合排序和回歸網(wǎng)絡(luò)。

3.3 評(píng)估指標(biāo)

將上述方法應(yīng)用于圖像數(shù)據(jù)集有兩個(gè)目的：房屋價(jià)值的回歸和房屋對(duì)的排序。為了回歸的目的，計(jì)算了每套房子的預(yù)測(cè)值與真實(shí)值之間的誤差，使用兩個(gè)誤差單位：(1)預(yù)測(cè)值與實(shí)際價(jià)格的絕對(duì)差；(2)誤差百分比，即實(shí)際房?jī)r(jià)的絕對(duì)誤差。對(duì)所有測(cè)試樣本的這兩個(gè)指標(biāo)進(jìn)行平均，并計(jì)算它們的標(biāo)準(zhǔn)偏差。為了排名的目的，只需計(jì)算測(cè)試樣本錯(cuò)誤預(yù)測(cè)的百分比。同時(shí)為了更加客觀，也將結(jié)果與其他常用的回歸或排序方法進(jìn)行了比較。

針對(duì)兩種設(shè)置評(píng)估上述算法：(1)在多示例設(shè)置中同時(shí)使用文本特征和照片；(2)僅使用文本特征并且多示例設(shè)置退化為監(jiān)督設(shè)置。在這些算法中，NN和DR可以直接處理房屋照片。對(duì)于其他算法，在此將每一張照片通過(guò)訓(xùn)練用于照片分類的CNN網(wǎng)絡(luò)，并使用最后一個(gè)隱藏層的輸出激活作為視覺(jué)特征向量。這種特征提取已經(jīng)被廣泛應(yīng)用于圖像相關(guān)的任務(wù)。為了獲得這些基線的最佳參數(shù)，在驗(yàn)證子集上使用10倍交叉驗(yàn)證過(guò)程，如圖2所示。

a 帶泳池的房屋

圖2顯示了MDRR-5A算法的運(yùn)行結(jié)果。在每一子圖中展示了同一所房子的兩張照片。對(duì)于每一棟房子的照片，方框中為達(dá)到的最高價(jià)格預(yù)測(cè)gw(·)。最上面子圖中的上方是后院的照片，最下方是外景的照片。真正的房?jī)r(jià)標(biāo)在每一個(gè)方框的頂部?？梢杂^察到，對(duì)房?jī)r(jià)的預(yù)測(cè)與人類的認(rèn)知是一致的。特別是，圖2(a)的房屋中有舒適的家具、保養(yǎng)良好的植物、良好的天花板、巨大的泳池或其他附加條件，這些都比其他框上的房子有更高的房屋估價(jià)。所提出的方法能夠在訓(xùn)練期間對(duì)這些視覺(jué)模式進(jìn)行建模，并做出一致和準(zhǔn)確的價(jià)格預(yù)測(cè)。三個(gè)房屋外觀示意圖，如圖3所示。

a

預(yù)測(cè)結(jié)果，如表1所示。

表1 預(yù)測(cè)結(jié)果

在這些房屋中，所提出的方法MDRR能夠準(zhǔn)確地預(yù)測(cè)其值，而VGG-16和MDRR-3具有相對(duì)較大的估計(jì)誤差。這是因?yàn)镸DRR-3只使用文本特征，VGG-16不使用排名損失。值得注意的是，MDRR-3和MDRR-5保留了這三所房子的相對(duì)順序，即A

各種回歸算法的平均誤差和標(biāo)準(zhǔn)差，如表2所示。

表2 回歸算法比較

不同價(jià)格區(qū)間的平均誤差，如圖4所示。

a 平均誤差

除了展示本研究的方法的結(jié)果外，還引入了隨機(jī)森林方法的結(jié)果。請(qǐng)注意，低價(jià)房的絕對(duì)誤差相對(duì)低于高價(jià)房的絕對(duì)誤差，這在直觀上是合理的。成對(duì)房屋排序的錯(cuò)誤率，如表3所示。

表3 排序比較

從以上結(jié)果，可以得到以下觀察結(jié)果。(1)提出的MDRR網(wǎng)絡(luò)在兩個(gè)指標(biāo)上都達(dá)到了最小的誤差。特別是，平均誤差小于5 000美元，考慮到房?jī)r(jià)在10萬(wàn)至200萬(wàn)美元之間變化，這在實(shí)踐中是令人鼓舞的；(2)利用MDRR-net、RF、NN或boosting等不同框架的房屋照片，可以減少評(píng)估誤差。以MDRR為例，MDRR-3A的平均誤差為15 700美元，如果另外訪問(wèn)房屋照片，則可以減少到4 300美元；(3)聯(lián)合回歸和排名被證明是有效的，特別是對(duì)于提出的MDRR網(wǎng)絡(luò)。這可以通過(guò)MDRR-5A與其它的比較，或者M(jìn)DRR-3A與MDRR-2A的比較來(lái)驗(yàn)證；(4)提出的語(yǔ)義感知和常識(shí)知識(shí)可以進(jìn)一步減少系統(tǒng)錯(cuò)誤。此外，結(jié)果表明，提出的方法比最新的基于網(wǎng)絡(luò)的回歸方法能獲得更好的精度。雖然提出的方法也可以從先進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)中獲益，但是對(duì)所提出的框架和各種網(wǎng)絡(luò)結(jié)構(gòu)的組合進(jìn)行詳盡的測(cè)試超出了本文的研究范圍。在本研究的實(shí)驗(yàn)設(shè)置中，MDRR-5使用房屋照片和房屋紋理特征作為學(xué)習(xí)回歸和排名網(wǎng)絡(luò)的輸入，而MDRR-3只使用文本房屋特征?？紤]到數(shù)以千計(jì)的圖像數(shù)據(jù)可以為學(xué)習(xí)深度表示提供大量信息。更重要的是，基于VGG網(wǎng)絡(luò)的方法使用了一個(gè)完全監(jiān)督的回歸損失，定義在房屋示例(即照片)和行李層標(biāo)簽上，而不使用示例層標(biāo)簽，預(yù)計(jì)不會(huì)有效。由于MDRR-5采用多示例公式，同時(shí)訓(xùn)練回歸和排序損失，效果較好。

4 總結(jié)

在這項(xiàng)工作中，研究了一種新穎的圖像任務(wù)，即房屋視覺(jué)評(píng)估，并將其表述為弱監(jiān)督學(xué)習(xí)問(wèn)題。主要工作有兩個(gè)方面。一方面，收集了一個(gè)綜合的圖像基準(zhǔn)來(lái)研究視覺(jué)房屋評(píng)估問(wèn)題，本研究實(shí)施了包括建議的回歸方法在內(nèi)的多種回歸方法，并對(duì)建議的數(shù)據(jù)集進(jìn)行了詳盡的評(píng)估。收集的數(shù)據(jù)集以及基線方法將被發(fā)布，以促進(jìn)這一新方向的研究；另一方面，開(kāi)發(fā)了一種用于視覺(jué)房屋評(píng)估的多示例學(xué)習(xí)方法，該方法可以利用文本數(shù)據(jù)和圖像數(shù)據(jù)共同訓(xùn)練用于排名和回歸目的的深度表示。大量的比較實(shí)驗(yàn)表明，本研究的方法可以高精度估計(jì)房屋價(jià)值。對(duì)單個(gè)組件的分析清楚地表明了所提出解決方案的技術(shù)可靠性。