周中俠，王正群，徐春林，李 峰，薛 巍

（1.揚(yáng)州大學(xué) 信息工程學(xué)院，江蘇 揚(yáng)州225127；2.北方激光科技集團(tuán)有限公司激光應(yīng)用技術(shù)部，江蘇 揚(yáng)州225009）

0 引 言

非 監(jiān) 督 鑒 別 投 影 UDP[1，2]（unsupervised discriminant projection）是一種保留局部信息和非局部信息的降維方法，在降維過程中能較好地保持流行特性，相比于局部保持投影 LPP （locality preserving projection），Yang 等 認(rèn) 為，LPP只考慮了數(shù)據(jù)的局部特征而忽略了數(shù)據(jù)的非局部特征，而這2種特征對(duì)分類識(shí)別都很重要，所以理論上其應(yīng)具有較好的分類能力。與線性鑒別分析LDA[3]（1inear discriminant analysis）一樣，UDP也會(huì)出現(xiàn)小樣本問題[4]，即局部散布矩陣會(huì)出現(xiàn)奇異的情況，導(dǎo)致UDP性能不穩(wěn)定，即不同的訓(xùn)練數(shù)據(jù)集，UDP分類精度不同，其它線性判別分析方法LDA、LPP等也有類似問題。

與LDA、LPP相比較，UDP具有更好的分類能力，正如上述說(shuō)明的那樣，UDP性能不穩(wěn)定，對(duì)于不同的模式類，由不同訓(xùn)練樣本集獲得的低維空間分類能力也不同，即利用UDP在不同訓(xùn)練樣本集獲得的低維空間具有差異性。

實(shí)驗(yàn)與理論都已證明集成學(xué)習(xí)具有很好的泛化能力，本文利用集成學(xué)習(xí)的思想提高UDP的分類和泛化能力。首先利用隨機(jī)子空間方法RSM[5]（random subspace method）由原始訓(xùn)練樣本集產(chǎn)生多個(gè)訓(xùn)練樣本集，再基于每個(gè)訓(xùn)練樣本集利用UDP獲得數(shù)據(jù)低維空間表示方法，由測(cè)試樣本分析每個(gè)低維空間各模式類的分類精度，由分類精度構(gòu)造集成判別分析的權(quán)重集成[6]，獲得集成分類方法 （DAC＿EL，discrimination analysis classification based on ensemble learning）。在標(biāo)準(zhǔn)人臉數(shù)據(jù)庫(kù)ORL和YALE上實(shí)驗(yàn)結(jié)果表明，DAC＿EL能夠取得更好的分類效果。

1 基于RSM的集成UDP分類系統(tǒng)設(shè)計(jì)

隨機(jī)子空間方法通過對(duì)訓(xùn)練樣本的特征向量進(jìn)行隨機(jī)采樣[7－9]，從而形成新的訓(xùn)練樣本集。通過對(duì)訓(xùn)練樣本的特征屬性隨機(jī)采樣，獲得了多個(gè)具有差異性的訓(xùn)練樣本集[10]。對(duì)不同的訓(xùn)練樣本集進(jìn)行訓(xùn)練生成基分類器，由于各基分類器的分類性能差異，為分類器集成的實(shí)現(xiàn)提供了可能。

集成分類器要比集成中個(gè)體分類器具有更高的精度必須滿足兩個(gè)條件。首先，個(gè)體分類器具有較高的精度。其次，個(gè)體分類器具有差異性。由隨機(jī)子空間方法RSM獲得多個(gè)不同的樣本訓(xùn)練集，利用UDP構(gòu)造多個(gè)投影子空間，在不同的子空間設(shè)計(jì)分類器，UDP具有較好的性能，個(gè)體分類器精度能夠滿足分類集成設(shè)計(jì)要求，不同的子空間中設(shè)計(jì)的個(gè)體分類器，能夠滿足差異性要求。

1.1 基分類器的生成

設(shè)Rn空間中的原始訓(xùn)練數(shù)據(jù)集為｛X1，X2，…，XN｝，數(shù)據(jù)集中的數(shù)據(jù)X＝（x1，x2，…，xn）T，對(duì)數(shù)組｛1，2，...，n｝進(jìn) 行 隨 機(jī) 采 樣 得 到 數(shù) 組｛j1，j2，...，jn｝， 則X′＝（xj1，xj2，…，xjn）T為由隨機(jī)子空間方法得到X的新的表示。一次隨機(jī)抽樣后，由｛X1，X2，…，XN｝得到的新數(shù)據(jù)集為｛X′1，X′2，…，X′N｝。

設(shè)M為隨機(jī)采樣矩陣，其中第ji行，第i列為1，第i列其余元素為0。因此

UDP考慮樣本點(diǎn)在低維表示后的局部散度和非局部散度，并讓局部散度盡可能小，同時(shí)讓非局部散度盡可能大，即使非局部散度與局部散度的比值盡可能大[1]。設(shè)高維空間樣本為X′，它的低維表示為Y，則它們之間的關(guān)系表示為

其中W為變換矩陣，由下列目標(biāo)函數(shù)優(yōu)化得到。

UDP的最優(yōu)化目標(biāo)準(zhǔn)則函數(shù)為

SL為局部散度矩陣

其中，H＝[Hij]為鄰接權(quán)重矩陣，定義為:Hij＝

SN為非局部的散度矩陣

結(jié)合式 （1）、（2）得到

原始數(shù)據(jù)集采用RSM方法，經(jīng)過一次特征向量隨機(jī)采樣得到新的數(shù)據(jù)集，利用UDP得到由W描述的投影子空間。設(shè)原始訓(xùn)練樣本集｛X1，X2，…，XN｝，由式 （6）得到的投影子空間表示為｛Y1，Y2，…，YN｝，在子空間中設(shè)計(jì)最小歐氏距離分類器，這就得到了集成中一個(gè)基分類器。

1.2 基分類器集成

對(duì)集成中基分類器采用線性權(quán)重集成得到集成分類器。利用測(cè)試樣本集，分析基分類器性能，可以得到它們性能描述見表1。

表1 基分類器對(duì)各模式類的分類精度

其中，f1，f2，…，fL為集成中L個(gè)基分類器，ω1，ω2，…，ωC為C個(gè)模式類。Accuij為第i個(gè)基分類器在第j個(gè)模式類上的分類精度。Accui為第i個(gè)基分類器的總體分類精度。

根據(jù)集成中基分類器的性能，設(shè)計(jì)集成分類器分類方法如下:

設(shè)fi（X）為用1.1節(jié)方法得到的集成中第i個(gè)最小歐氏距離分類器得到的對(duì)X的分類結(jié)果，可表示為（0，0，…，0，1，0，…，0）。如果fi判定X屬于第i類，則第i位為0，其余位為0。

綜合起來(lái)，DAC＿EL算法可以概括為:

訓(xùn)練階段

輸入:原 始 訓(xùn) 練 數(shù) 據(jù) 集 為｛X1，X2，…，XN｝，X＝（x1，x2，…，xn）T

輸出:K個(gè)隨機(jī)UDP子空間和訓(xùn)練樣本集在UDP投影空間的投影｛Y1，Y2，…，YN｝，K 個(gè)分類器的分類精度Accui（i＝1，2，…，K）。

（1）對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行隨機(jī)采樣，采樣矩陣為M，獲取不同的特征信息，X′＝（xj1，xj2，…，xjn）T＝MTX，X′＝（xj1，xj2，…，xjn）T，生成 K個(gè)訓(xùn)練集｛X′1，X′2，…，X′N｝。

（2）對(duì)K個(gè)訓(xùn)練集分別訓(xùn)練，生成K個(gè)UDP子空間，每個(gè)UDP子空間有p個(gè)特征向量構(gòu)成 （p＜N－1）。

（3）將訓(xùn)練樣本分別在K個(gè)隨機(jī)UDP子空間進(jìn)行投影，｛Y1，Y2，…，YN｝，Y＝WTMTX。

（4）由測(cè)試樣本計(jì)算K個(gè)分類器的分類精度Accui（i＝1，2，…，K）。

識(shí)別階段

輸入:訓(xùn)練階段的輸出和待識(shí)別樣本X

輸出:待識(shí)別樣本X的所屬類別

（1）將X在K個(gè)隨機(jī)UDP子空間上進(jìn)行投影，并利用最近鄰分類器進(jìn)行分類，獲得每個(gè)分類器分類結(jié)果fi（X）。

（2）根據(jù)集成中分類器分類精度Accui計(jì)算F（X）。

DAC＿EL算法用圖表示如圖1所示。

圖1 基于RSM的判別分析集成執(zhí)行過程

2 實(shí) 驗(yàn)

為了驗(yàn)證本文方法對(duì)提高UDP識(shí)別性能的有效性和泛化能力，在標(biāo)準(zhǔn)人臉數(shù)據(jù)集ORL和YALE人臉圖像庫(kù)上進(jìn)行了實(shí)驗(yàn)，比較了DAC＿EL算法、UDP＿EL算法和UDP算法分類識(shí)別性能，UDP＿EL在UDP投影空間采用多數(shù)投票法的集成方法，DAC＿EL表示本文基于RSM的線性權(quán)重的集成方法，如圖2所示。

圖2 ORL庫(kù)中一個(gè)人的10幅圖像

2.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)采用ORL和YALE人臉庫(kù)，ORL庫(kù)共有人臉圖像400幅，共40人，每人10幅圖像，人臉圖像的大小為112×92。為了獲取更加有用的特征信息，并減少計(jì)算的復(fù)雜性，我們對(duì)原圖像進(jìn)行了行列壓縮。壓縮系數(shù)為1／4，圖像變換為28×23。在YALE庫(kù)中，共15人，每人11幅圖像，人臉圖像的大小為80×100，壓縮系數(shù)為1／4，圖像變換為20×25。

設(shè)定隨機(jī)采樣率為0.5，生成5個(gè)分類器形成集成。

2.2 實(shí)驗(yàn)結(jié)果與分析

F實(shí)驗(yàn)選取投影向量個(gè)數(shù)為5到40進(jìn)行分析比較，選取的最低投影向量個(gè)數(shù)時(shí)，分類器的分類精度為68%，正確率大于50%，符合分類器集成所需的條件。在ORL庫(kù)實(shí)驗(yàn)中對(duì)每一個(gè)人的10幅圖像按4:6、5:5劃分成訓(xùn)練集和測(cè)試集。在YALE庫(kù)實(shí)驗(yàn)中對(duì)每一個(gè)人的11幅圖像按4:7劃分訓(xùn)練集和測(cè)試集。從圖3、4可以看出，在不同的投影維數(shù)下，本文的DAC＿EL方法都獲得了優(yōu)于的UDP算法的分類效果。線性集成方法 （UDP＿EL）是通過多數(shù)投票法集成個(gè)體分類器的方法，它獲得了比單個(gè)分類器獲得更好的分類效果。為了進(jìn)一步說(shuō)明本文集成方法的有效性，采用線性判別分析（LDA）方法生成投影空間，以該投影空間的分類器作為集成中基分類器，圖5給出了實(shí)驗(yàn)結(jié)果。圖6為DAC＿EL方法在YALE庫(kù)上的實(shí)驗(yàn)，實(shí)驗(yàn)表明本文方法具有較好的泛化能力，同樣可以獲得較好的效果。

圖3 實(shí)驗(yàn)結(jié)果比較 （訓(xùn)練集與測(cè)試集的比例為4:6）

圖4 實(shí)驗(yàn)結(jié)果比較 （訓(xùn)練集與測(cè)試集的比例為5:5）

圖6 實(shí)驗(yàn)結(jié)果比較 （在YALE庫(kù)中，訓(xùn)練集與測(cè)試集的比例為4:7）

3 結(jié)束語(yǔ)

本文提出的DAC＿EL方法是通過對(duì)訓(xùn)練樣本集特征向量進(jìn)行多次采樣，獲取不同的特征信息，從而產(chǎn)生多個(gè)新的樣本集，在每個(gè)新樣本集上利用UDP算法，生成投影子空間，投影子空間上的分類器作為集成的基分類器。由測(cè)試樣本測(cè)試集成中各基分類器的精度作為分類器的分類權(quán)重，采用線性要重集成方法給出集成分類器的分類結(jié)果。該方法利用各個(gè)分類器之間的信息互補(bǔ)性，分配權(quán)值以彌補(bǔ)分類器之間的缺陷，提高UDP的分類能力和泛化能力。在ORL和YALE人臉圖像庫(kù)上的實(shí)驗(yàn)結(jié)果表明，人臉識(shí)別精度提高了10%左右，DAC＿EL方法優(yōu)于UDP＿EL、UDP等算法。可見，DAC＿EL算法可以有效地提高人臉識(shí)別的分類性能。

[1]YIN Jun，JIN Zhong.Complete unsupervised discriminant projection and face image analysis[J].Journal of Computer－Aided Design ＆ Computer Graphics，2010 （11）.1912－1917 （in Chinese）.[殷俊，金忠.完備非監(jiān)督鑒別投影與人臉圖像分析[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010 （11）:1912－1917.]

[2]Enmin S，Huang Dongshan，Ma Guangzhi，et al.Semi－supervised multi－class AdaBoost by exploiting unlabeled data[J].Expert Systems with Applications:An International Journal，2011，38 （6）:6720－6726.

[3]Zhang X，Jia Y.A linear discriminant analysis framework based on random subspace for face recognition[J].Pattern Recognition，2007，40 （9）:2585－2591.

[4]Yang J，Zhang D，Yang J Y，et a1.Globally maximizing，locally minimizing:Unsupervised discriminant projection with applications to face and palm biometrics[J].IEEE Transactions on Pattern Anaiysis and Machine Intelligence，2007，29 （4）:650－664.

[5] Nicolás García－Pedrajas.Supervised projection approach for boosting classifiers[J].Pattern Recognition，2009 （12）:1742－1760.

[6]Li Xiaoye，Zhao Hongyu.Weighted random subspace method for high dimensional data classification[J].Statistics and Its Interface，2009 （2）:153－159.

[7]WANG X G，TANG X O.Random sampling for subspace face recognition[J].International J Computer Vision，2006，70（1）:91－104.

[8]Nicolas G P.Boosting random subspace method[J].Neural Networks，2008，21 （9）:1344－1362.

[9]Sun Shiliang，Zhang Chunxia.Subspace ensembles for classification[J].Physica A:Statistical Mechanics and Its Application，2007，385 （1）:199－207.

[10]Yang Liping，Gong Weiguo.Bagging null space locality preserving discriminant classifiers for face recognition[C]／／Pattern Recognition，2008:1－6.