牛 強(qiáng)， 陳秀宏

(江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無錫 214122)

0 引 言

近年來，人臉識(shí)別在計(jì)算機(jī)視覺等領(lǐng)域成為學(xué)者們的研究熱點(diǎn)[1～3]，最小二乘回歸已在計(jì)算機(jī)視覺領(lǐng)域得到了廣泛運(yùn)用?；貧w算法以及延伸算法主要分為稀疏回歸、子空間回歸和魯棒回歸等三類。稀疏回歸[4]方法是在最小二乘回歸中加入不同的正則化項(xiàng)，因在回歸模型中使用了標(biāo)簽指示矩陣而最多只能得到c個(gè)投影(c為樣本類的個(gè)數(shù))。子空間回歸方法是將許多線性降維算法表示為最小二乘回歸模型，例如，文獻(xiàn)[5]給出了許多成分分析方法的最小二乘統(tǒng)一框架。子空間回歸的算法因在回歸模型中未使用標(biāo)簽指示矩陣，從而可獲得更多的投影方向(數(shù)量大于c個(gè))。然而，以上兩種回歸方法均使用L2范數(shù)或Frobenius范數(shù)作為距離度量，因此對(duì)含有異常值的數(shù)據(jù)較敏感。魯棒回歸是在回歸模型中采用L2,1范數(shù)表示損失函數(shù)，文獻(xiàn)[6]利用L2,1范數(shù)表示損失函數(shù)而提出了魯棒判別回歸(robust discriminant regression，RDR)方法，并取得了較好的性能。由于L2,1范數(shù)正則化項(xiàng)能夠聯(lián)合地獲得稀疏性，Gu Q等人[7]提出了基于局部保留投影(locality preserving projection，LPP)的聯(lián)合特征選擇和子空間學(xué)習(xí)算法(joint feature selection and subspace learning，F(xiàn)SSL)。由于L2,1范數(shù)在特征選擇和特征提取時(shí)能獲得聯(lián)合稀疏的特性，因此,被廣泛應(yīng)用于稀疏回歸和子空間學(xué)習(xí)的研究中[8]。以上回歸方法忽略了數(shù)據(jù)的局部幾何特性，通過圖矩陣來表示數(shù)據(jù)的局部幾何結(jié)構(gòu)信息，從而可得到有鑒別能力的低維特征。傳統(tǒng)的構(gòu)造圖方法通常采用k近鄰法和ε近鄰法，參數(shù)k或ε的選擇直接影響到算法的性能，另外權(quán)值對(duì)數(shù)據(jù)噪聲也非常敏感。Cheng B等人[9]提出了L1圖構(gòu)造方法，具有抗噪聲能力強(qiáng)、良好的稀疏性以及數(shù)據(jù)自適應(yīng)的鄰域關(guān)系等特性，通過這種方式，圖的鄰接關(guān)系和權(quán)值能夠同時(shí)自動(dòng)獲得。

為了充分利用子空間回歸以及魯棒回歸方法的優(yōu)點(diǎn)(即在模型中不使用標(biāo)簽指示矩陣同時(shí)使用L2,1模表示損失函數(shù))，這樣可獲得更多的投影方向，使得算法對(duì)含有異常值的數(shù)據(jù)具有魯棒性，同時(shí)為了能揭示數(shù)據(jù)的局部幾何結(jié)構(gòu)，本文提出一種基于L1圖的聯(lián)合稀疏魯棒判別回歸算法(joint sparse robust discriminant regression based on L1 graph，L1-JSRDR)。首先利用稀疏表示構(gòu)造L1圖，然后將圖權(quán)值矩陣融入到基于L2,1模的損失函數(shù)中，最后通過交替迭代方法求出模型的最優(yōu)解。該回歸模型增強(qiáng)了學(xué)習(xí)的魯棒性，并在多個(gè)人臉庫(kù)上進(jìn)行實(shí)驗(yàn)，驗(yàn)證了新算法的有效性。

1 相關(guān)工作

設(shè)給定一組樣本X=[x1,x2,…,xN|∈RN×m，其中行向量xi∈R1×m為樣本，m為樣本的維數(shù)，N為樣本的個(gè)數(shù)。

1.1 基于稀疏表示的L1圖

在常用k近鄰法構(gòu)造圖方法中，其圖權(quán)值矩陣定義為

式中xi∈Nk(xj)為樣本xi位于xj的k鄰域Nk(xj)內(nèi)。但該方法對(duì)數(shù)據(jù)噪聲非常敏感且嚴(yán)重依賴于參數(shù)k的選擇，很難有效地反映數(shù)據(jù)分布的復(fù)雜性。

基于稀疏表示的L1圖構(gòu)造原理是：任一樣本均可以由其他樣本線性地重構(gòu)，通過求解一個(gè)L1范數(shù)優(yōu)化問題得到樣本的稀疏重構(gòu)系數(shù)；將重構(gòu)系數(shù)作為兩個(gè)樣本之間的權(quán)值，從而得到L1圖。該方法能自適應(yīng)地調(diào)整樣本之間的關(guān)系，使得表示樣本間局部關(guān)系的稀疏圖能包含更有用的結(jié)構(gòu)信息和樣本之間的相似度。構(gòu)造L1圖的過程如下：

1)輸入訓(xùn)練樣本集X，并進(jìn)行歸一化處理。

2)求解重構(gòu)系數(shù)：對(duì)每一個(gè)樣本xi(1

式中Bi=[x1,…xi-1,xi+1,…,xN,I]∈Rm×(m+N-1)為一個(gè)超完備的字典，重構(gòu)系數(shù)列向量ai∈Rm+N-1為樣本xi與其余樣本之間的相似關(guān)系，I為單位陣。

上述所構(gòu)造L1圖的方法避免了傳統(tǒng)構(gòu)造圖方法中對(duì)參數(shù)的人工干預(yù)，同時(shí)該圖對(duì)噪聲具有魯棒性。求解L1范數(shù)稀疏問題有很多優(yōu)化工具包，本文采用SPAMS(http://spams-devel.gforge.inria.fr/index.html)優(yōu)化工具包來進(jìn)行求解。

1.2 回歸模型

式中 loss(·)為損失函數(shù)，yi為樣本xi的標(biāo)簽，R(f)為正則化項(xiàng)，α為正則化參數(shù)。然而，該回歸模型只能獲得c個(gè)投影，影響了回歸的性能。為此，考慮以下優(yōu)化回歸模型

式中g(shù)(·)為定義在數(shù)據(jù)集上的函數(shù)，為了進(jìn)一步提高特征提取的魯棒性，將數(shù)據(jù)的局部幾何信息融入到回歸模型中，其中wi,j為圖的邊權(quán)值，表示數(shù)據(jù)的局部流形結(jié)構(gòu)。該模型放棄了標(biāo)簽信息從而可獲得更多的投影，有效地提高了回歸方法的性能。

2 基于L1圖的聯(lián)合稀疏魯棒判別回歸

如將L1圖的權(quán)融入損失函數(shù)之中并對(duì)投影矩陣加上L2,1模約束，那么應(yīng)能獲得行稀疏的投影矩陣，同時(shí)還能保持?jǐn)?shù)據(jù)的局部幾何結(jié)構(gòu)，從而可提取更具有判別能力的特征，進(jìn)一步提高算法的性能?？紤]回歸模型(4)的以下形式，稱之為基于L1圖的聯(lián)合稀疏魯棒判別回歸模型

式中 矩陣Q∈Rm×d為投影矩陣，矩陣P∈Rd×m表示重構(gòu)矩陣，α為正則化參數(shù)。目標(biāo)函數(shù)中的第一項(xiàng)表示在L1圖下樣本xi與樣本xj經(jīng)過投影和重構(gòu)后所得xjQP之間的誤差，這樣如果樣本xi和xj彼此接近，則xi與xj在矩陣QP的映射下的xjQP也應(yīng)該彼此接近，從而保持了數(shù)據(jù)的相似性或幾何結(jié)構(gòu)；模型的第二項(xiàng)使得投影矩陣Q∈Rm×d的行是稀疏的，這樣就能提取更多有用的特征。式(5)的目標(biāo)函數(shù)可表示為

式中 矩陣U中的元素和對(duì)角陣G的對(duì)角元素分別為

tr(XTDX-2PTQTXTFX+PTQTXTDXQP)+αtr(QTGQ)

(8)

從而，優(yōu)化模型(5)轉(zhuǎn)化為

αtr(QTGQ),s.t.QTQ=I

(9)

采用交替迭代優(yōu)化方法求解上述模型，即先固定Q求矩陣P，再固定P求Q。因?yàn)槊看蔚杏梢阎木仃嘠和P計(jì)算矩陣D，所以tr(XTDX)在交替迭代計(jì)算時(shí)為一個(gè)常數(shù)，模型(9)可轉(zhuǎn)變?yōu)?/p>

s.t.QTQ=I

(10)

固定Q求矩陣P，式(10)中目標(biāo)函數(shù)關(guān)于矩陣P求偏導(dǎo)并令結(jié)果為0可得

P=(QTXTDXQ)-1QTXTFX

(11)

其次，固定P求Q，對(duì)于求最優(yōu)矩陣Q通過對(duì)式(10)關(guān)于矩陣Q構(gòu)造拉格朗日函數(shù)，可得

L(Q,λ)=tr(-2PTQTXTFX+PTQTXTDXQP)+

αtr(QTFQ)-λ(QTQ-I)

(12)

式中λ為拉格朗日乘子，通過對(duì)式(12)關(guān)于矩陣Q求偏導(dǎo)并令結(jié)果為0可得

XTDXQPPT+αGQ-λQ=XTFXPT

(13)

可將式(13)表示為分塊矩陣形式可得

(14)

Q=E(HHT)-1H

(15)

由于矩陣W的秩rank(W)=c(c表示樣本的類別數(shù))，矩陣U通常為滿秩矩陣，rank(XTFXPT)=rank(F)=rank(U⊙W)，而rank(U⊙W)≥rank(W)=c，同時(shí)rank(U⊙W)≤rank(U)=N，可知本文模型可以獲得的投影至少有c個(gè)，進(jìn)一步表明了算法具有較好的特征提取能力。

由以上討論，給出本文的L1G-JSRDR算法流程如下：

1)輸入樣本集X，維數(shù)d，正則化參數(shù)α，參數(shù)λ;

2)初始化G=I，U=I，隨機(jī)初始化矩陣Q∈Rm×d，P∈Rd×m;

3)通過稀疏表示構(gòu)造L1圖權(quán)重矩陣W;

4)Repeat

a.計(jì)算矩陣XTDX和XTFXPT

b.通過式(15)求解矩陣Q

c.通過式(11)求解矩陣P

d.更新矩陣U,G,F,D

Until目標(biāo)函數(shù)收斂

End

5)得到投影矩陣Q

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

本文在AR和YaleB含有異常值的人臉庫(kù)進(jìn)行了仿真實(shí)驗(yàn)，對(duì)LIG-JSRDR、RDR[6]、FSSL[7]、LPP[7]和SAIR[8]進(jìn)行比較。RDR、FSSL和LPP算法利用式(1)計(jì)算圖權(quán)值矩陣，因本文算法獲得投影至少有c個(gè)，實(shí)驗(yàn)中維數(shù)d的值設(shè)置為c+20；本文算法的微調(diào)參數(shù)λ的取值范圍的[0.001，0.01，0.1，1，5，10]。所有實(shí)驗(yàn)均獨(dú)立隨機(jī)進(jìn)行了20次，采用最近歐氏距離最近分類器進(jìn)行分類。

AR人臉庫(kù)使用了其中的120人的圖像，每人26張，共3 120張圖像。實(shí)驗(yàn)在YaleB人臉庫(kù)上隨機(jī)加入5像素×5像素和10像素×10像素大小的黑色方塊遮擋，用于驗(yàn)證本文算法對(duì)遮擋圖像的魯棒性。

3.2 正則化參數(shù)α對(duì)實(shí)驗(yàn)的影響

為了研究正則化參數(shù)α對(duì)L1G-JSRDR算法識(shí)別率的影響，其中在AR人臉庫(kù)和5×5的黑色遮擋的YaleB人臉庫(kù)上每人選擇7幅和20幅圖像作為訓(xùn)練，其余圖像作為測(cè)試。平均識(shí)別率和正則化參數(shù)α的關(guān)系如圖1所示。

圖1 平均識(shí)別率與正則化參數(shù)的關(guān)系

由上圖可知，算法在α=0時(shí)由于未加入L2,1范數(shù)的懲罰項(xiàng)，識(shí)別效果較差，隨著α值的不斷增大，算法達(dá)到最佳效果，之后識(shí)別效果又開始降低，這表明了本文算法的正則化項(xiàng)在特征提取時(shí)可以提高判別性能和模型的泛化能力。當(dāng)α的取值在一個(gè)范圍內(nèi)算法仍保持較高識(shí)別率，為了更好的比較算法的性能，以下實(shí)驗(yàn)在AR人臉庫(kù)的實(shí)驗(yàn)中a的取值范圍為[0.01，0.1]；在YaleB人臉庫(kù)的實(shí)驗(yàn)，α的取值范圍為[0.01，0.1，1]。

3.3 識(shí)別性能分析

3.3.1 特征維數(shù)對(duì)實(shí)驗(yàn)的影響

在AR人臉庫(kù)和10×10遮擋的YaleB人臉庫(kù)上，每人隨機(jī)選取7幅和20幅像進(jìn)行訓(xùn)練，其余的圖像作為測(cè)試樣本。圖3為不同人臉庫(kù)上提取的特征向量維數(shù)與平均識(shí)別率的關(guān)系。

圖2 平均識(shí)別率與特征維數(shù)的關(guān)系

由圖2可知，本文算法在2個(gè)人臉庫(kù)上在取最高維時(shí)識(shí)別性能最優(yōu)。FSSL算法在AR和YaleB人臉庫(kù)上的識(shí)別率隨著特征維數(shù)的增加達(dá)到峰值后又下降，其余算法的識(shí)別率均隨著特征維數(shù)的增加而增加。由YaleB人臉庫(kù)結(jié)果可知，L1G-JSRDR算法在較低維時(shí)并不能達(dá)到很好的識(shí)別性能，當(dāng)隨著維數(shù)增大時(shí)，算法的識(shí)別性能開始增加，可能是由于在圖像上增加噪聲和遮擋等異常數(shù)據(jù)使得本文算法在較低維時(shí)的識(shí)別性能受到影響。由AR人臉庫(kù)上可知，L1G-JSRDR算法在絕大多數(shù)維度下，算法的識(shí)別率都高于其他算法。在2個(gè)人臉庫(kù)上能夠取得較好的識(shí)別效果，這是因?yàn)楸疚乃惴ú捎昧嘶贚2,1范數(shù)的表示損失函數(shù)，使得算法對(duì)含有異常值的圖像具有魯棒性，同時(shí)能夠獲得更多的投影方向，同時(shí)加入了L2,1范數(shù)的懲罰項(xiàng)后可以使得投影矩陣稀疏，能夠防止過擬合問題，算法能自動(dòng)的選取特征，從而提高了識(shí)別性能。

3.3.2 樣本數(shù)對(duì)實(shí)驗(yàn)的影響

在AR人臉庫(kù)上，每人隨機(jī)選擇5,7,9幅圖像進(jìn)行訓(xùn)練，在含有5×5遮擋的YaleB人臉庫(kù)上，每人隨機(jī)選取5，10，20幅像進(jìn)行訓(xùn)練，其余的圖像作為測(cè)試樣本。表1，表2列出了算法取得的最佳平均識(shí)別率、標(biāo)準(zhǔn)差及其對(duì)應(yīng)的特征維數(shù)。

表1 AR人臉庫(kù)上各算法的平均識(shí)別率、標(biāo)準(zhǔn)差和維數(shù)

表2 YaleB人臉庫(kù)上各算法的平均識(shí)別率、標(biāo)準(zhǔn)差和維數(shù)

如表1、表2所示，L1G-JSRDR算法的識(shí)別率最高且整體上相對(duì)穩(wěn)定。因?yàn)長(zhǎng)1圖具有較強(qiáng)的抗噪聲能力和數(shù)據(jù)自適應(yīng)的鄰域關(guān)系的特性，實(shí)驗(yàn)結(jié)果表明L1G-JSRDR算法比傳統(tǒng)手工設(shè)置近鄰參數(shù)的構(gòu)圖算法(如RDR，F(xiàn)SSL和LPP)的識(shí)別率都要高。L1G-JSRDR的識(shí)別率比RDR算法高，這是因?yàn)樗惴ɡ肔1圖構(gòu)造權(quán)值矩陣，更好地保留了樣本的局部幾何結(jié)構(gòu)，且加入了L2,1范數(shù)的正則化項(xiàng)，使得投影矩陣行稀疏，自動(dòng)拋棄了一些對(duì)分類沒用的特征，有利于特征的選取，提升了模型的泛化能力。與RDR和L1G-JSRDR等基于L2,1范數(shù)的回歸方法相比，SAIR算法的識(shí)別率并不高，原因是SAIR算法在模型中沒有利用圖矩陣保持?jǐn)?shù)據(jù)的局部幾何結(jié)構(gòu)，同時(shí)回歸步驟使用了標(biāo)簽矩陣，使得算法只能獲得c個(gè)投影，一定程度上限制了識(shí)別性能。

4 結(jié) 論

在含有異常值的人臉庫(kù)上進(jìn)行實(shí)驗(yàn)表明:本文算法具有較好的魯棒性，取得了較優(yōu)異的識(shí)別性能。相對(duì)于傳統(tǒng)近鄰構(gòu)圖，文中提出的基于稀疏構(gòu)圖方法復(fù)雜度相對(duì)較高，且計(jì)算成本相對(duì)較大，如何降低復(fù)雜度值得進(jìn)一步研究。