金培源,金杭森,高波涌,陸慧娟

(1.中國計量大學(xué)信息工程學(xué)院,浙江 杭州 310018；2.西安機(jī)電信息技術(shù)研究所,陜西 西安 710065)

0 引言

三維模型數(shù)據(jù)庫的日益增多,如何復(fù)用這些已經(jīng)存在的三維模型數(shù)據(jù)庫成了一個熱門的研究課題。三維模型檢索技術(shù)旨在從大量的已有的三維模型庫中快速、準(zhǔn)確地找到目標(biāo)模型。三維模型分類技術(shù)作為三維模型檢索中重要的一步,對檢索的準(zhǔn)確度起著重要作用。三維模型分類技術(shù),是將一部分已標(biāo)記的三維模型作為訓(xùn)練樣本,通過機(jī)器學(xué)習(xí)算法對其進(jìn)行訓(xùn)練,得到最優(yōu)的空間劃分,從而得到求解問題的分類器[1]。因此,運用三維模型分類技術(shù)可以縮小原先的檢索范圍,只在特定的模型類別中檢索,從而實現(xiàn)對模型的快速檢索。

上述的這些分類技術(shù)主要是對針對平衡數(shù)據(jù)，往往能取得較好的效果。而對于類不平衡問題，并沒有過多的涉及。針對機(jī)器學(xué)習(xí)算法在類不平衡的數(shù)據(jù)集上容易受到選擇性偏差的影響，本文將遷移學(xué)習(xí)思想與極限學(xué)習(xí)機(jī)(ELM)結(jié)合,提出了一種具有遷移能力的TransELM算法。

1 極限學(xué)習(xí)機(jī)

文獻(xiàn)[8]提出了ELM這一種新的神經(jīng)網(wǎng)絡(luò)算法。ELM是一種有效的單隱層前饋神經(jīng)網(wǎng)絡(luò)算法,通過最小二乘法計算出輸出權(quán)值便可以完成訓(xùn)練,在分類問題中,同神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)(SVM)相比,ELM的學(xué)習(xí)速度和泛化能力都比較優(yōu)異,在分類應(yīng)用中優(yōu)勢顯著。ELM由于隨機(jī)給定權(quán)值,對分類精度會產(chǎn)生影響。利用魚群和黃金分割優(yōu)化極限學(xué)習(xí)機(jī)的辦法,也獲得了較高精度[9-10]。

對于任意N個各不相同的樣本(xi,yi),其中xi=[xi1,xi2,…,xin]T∈Rn代表輸入,yi=[yi1,yi2,…,yim]T∈Rm代表輸出,則極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)模型可表示為：

(1)

式(1)中：wi=[wi1,wi2,…,win]T是連接第i個隱層神經(jīng)元的輸入權(quán)值；bi是第i個隱含層神經(jīng)元的偏差；βi=[βi1,βi2,…,βim]T為連接第i個隱層神經(jīng)元的輸出權(quán)值;g(x)為隱層神經(jīng)元激活函數(shù)。如果這個具有L個隱含層結(jié)點的前饋神經(jīng)網(wǎng)絡(luò)能以零誤差逼近樣本,式(1)可以簡化為：

Hβ=Y

(2)

式(2)中，

(3)

2 基于極限學(xué)習(xí)機(jī)的遷移學(xué)習(xí)算法

本文提出一種具有遷移能力的ELM算法,將ELM算法直接應(yīng)用于遷移學(xué)習(xí)中,此時源域帶標(biāo)簽數(shù)據(jù)Ds={(xs1,ys1),…,(xsn,ysn)},目標(biāo)域中部分帶標(biāo)簽樣本Dt={(xt1,yt2),…,(xtn,ytn)},當(dāng)然目標(biāo)域中帶標(biāo)簽的樣本是少量的,將這些樣本作為ELM的輸入矩陣。由于源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)通常存在一定關(guān)聯(lián)性,所以得到的分類器會在目標(biāo)域中有較好的分類效果。這種方法稱為TransELM算法。

ELM算法的判別函數(shù)可以簡化為f(x)=Hβ,本文算法的理論依據(jù)是:若兩領(lǐng)域相關(guān),則兩域分類器各自的β值應(yīng)相近。通過計算||βt-βs||2項來實現(xiàn)兩域間遷移學(xué)習(xí)，其中，βs為源域帶標(biāo)簽數(shù)據(jù)應(yīng)用ELM算法得到的輸出權(quán)值矩陣,βt為目標(biāo)域帶標(biāo)簽樣本應(yīng)用ELM算法得到的輸出權(quán)值矩陣。||βt-βs||2表示兩域分類器的差異程度,該值越大則兩領(lǐng)域間的差異越大,反之越小。已知目標(biāo)域Htβt=Yt,源域Hsβs=Ys,假設(shè)目標(biāo)域與源域是同一種事物的不同表示,即Yt=Ys,則：

Htβt=Hsβs

(4)

(5)

(6)

為推測換乘時間，需要獲取出發(fā)站點到換乘站點的距離. 利用A*最短路徑算法，搜索出軌道任意站點OD之間的最短路徑和距離(表3)，將該路徑作為乘客出行路徑，添加TRACE字段以記錄該路徑.

TransELM算法流程：

1) 設(shè)定閾值μ,N；

2) 從源域數(shù)據(jù)集Ds中隨機(jī)選取M個樣本組成的子集Hs,從目標(biāo)域數(shù)據(jù)集Dt中隨機(jī)選取M個樣本組成的子集Ht；

4) 重復(fù)第二步和第三步直至得到N個Hs；

5) 刪除Hs中相同的樣本,并與Ht融合形成新的目標(biāo)域；

6) 結(jié)束。

3 實驗分析與結(jié)果

3.1 數(shù)據(jù)集

本文實驗使用的三維模型庫是Princeton 3D Shape Benchmark Database(PSB),如圖1所示。PSB模型庫有161個子類共1 814個三維模型,每個類別至少包含4個模型。

圖1 PSB模型庫Fig.1 PSB model database

實驗選擇了Car Vehicle、Car Vehicle、Spaceship Aircraft以及Desk Furniture這四種模型樣本進(jìn)行分類識別,其中Desk Furniture這一類只有4個樣本,明顯少于其他三類的樣本數(shù),所以這是一個類不平衡問題。由于Table Furniture和Desk Furniture屬于同一級語義粒度所細(xì)分的兩個小類,可以通過遷移Table Furniture的知識來對Desk Furniture進(jìn)行分類。

3.2 實驗設(shè)置和實驗結(jié)果

為了證明本文所提算法的有效性,實驗設(shè)置5個對照組,分別為S-ELM、G-ELM、ST-ELM、SMOTE-ELM和TransELM。其中S-ELM表示不做任何處理,直接在目標(biāo)域數(shù)據(jù)集上運用ELM算法進(jìn)行分類;ST-ELM表示在目標(biāo)域與輔助域合并的數(shù)據(jù)集上進(jìn)行分類;G-ELM表示先對數(shù)據(jù)集進(jìn)行欠抽樣再分類;SMOTE-ELM表示先用SMOTE(synthetic minority over-sampling technique)算法調(diào)整數(shù)據(jù)集樣本分布再分類;TransELM表示從輔助域遷移學(xué)習(xí)知識來對目標(biāo)域進(jìn)行更好的分類。其中ELM的隱含層節(jié)點數(shù)設(shè)置為20，閾值μ,N分別設(shè)為0.1和10。實驗環(huán)境: Intel Core i5-3470 CPU 3.2 GHz,4 GB RAM,Windows 7, Matlab R2010。為了體現(xiàn)每種算法的泛化能力和避免各算法不穩(wěn)定的情況,實驗進(jìn)行了3折交叉驗證,將樣本分成3份，輪流使用其中的2份作為訓(xùn)練集，剩下一份作為測試集，并重復(fù)實驗10次,得到每種算法精度(Accuracy)和方差(S2)的平均值。表1和圖2顯示了5種算法在實驗數(shù)據(jù)集上的結(jié)果,其中圖2的橫坐標(biāo)代表實驗次數(shù)，縱坐標(biāo)代表算法精度。

圖2 算法分類效果比較Fig.2 Comparison of classification effects

表1 不同算法的分類精度與方差Tab.1 Classification accuracy and variance of different algorithm

從實驗數(shù)據(jù)可以看出,S-ELM列僅用目標(biāo)域少量已標(biāo)簽樣本進(jìn)行分類,分類精度較低,說明少量目標(biāo)域已標(biāo)簽樣本不能很好反映該類樣本特性,分類效果不顯著。

ST-ELM列的分類精度優(yōu)于S-ELM列,說明源域?qū)δ繕?biāo)域的分類可起到一定作用,但提高程度取決于兩域相關(guān)性。G-ELM對數(shù)據(jù)進(jìn)行欠抽樣,使得各類的樣本數(shù)減少了,丟失了大量信息,故分類精度最低，方差也最大。SMOTE算法根據(jù)一定的規(guī)則隨機(jī)制造生成新的少數(shù)類樣本點,并將這些新合成的少數(shù)類樣本點合并到原來的數(shù)據(jù)集里,生成新的訓(xùn)練集,分類精度與ST-ELM算法不相上下，算法最穩(wěn)定。TransELM算法并不直接將源域和目標(biāo)域合并,而是將其中相關(guān)性大的一些樣本進(jìn)行合并,因此,遷移學(xué)習(xí)算法性能優(yōu)于兩域合并訓(xùn)練,分類效果較為理想，同時算法也較穩(wěn)定。

4 結(jié)論

本文提出了一種基于極限學(xué)習(xí)機(jī)的遷移學(xué)習(xí)算法。該算法利用大量已標(biāo)簽的源領(lǐng)域數(shù)據(jù)與只有少量樣本的目標(biāo)域數(shù)據(jù)之間的相關(guān)性，通過計算源域中的輸出權(quán)值βs與目標(biāo)域中的輸出權(quán)值βt，利用||βt-βs||2項來實現(xiàn)兩域之間遷移學(xué)習(xí),找出源領(lǐng)域與目標(biāo)領(lǐng)域中相關(guān)的樣本,從而提升遷移學(xué)習(xí)對非平衡樣本的學(xué)習(xí)能力，建立分類模型。該算法應(yīng)用于三維模型分類,能夠有效利用源域中的大量數(shù)據(jù)來幫助訓(xùn)練,通過遷移學(xué)習(xí)三維模型庫中同一粒度集下相似模型的數(shù)據(jù)，可解決類不平衡問題。實驗結(jié)果表明，該算法在普林斯頓三維模型數(shù)據(jù)庫上的分類結(jié)果的精度和穩(wěn)定性優(yōu)于傳統(tǒng)的ELM分類方法。