袁安鼎，荊曉遠(yuǎn)，吳 飛

(1.南京郵電大學(xué) 自動化學(xué)院，江蘇 南京 210023；2.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

基于局部信息融合的正交稀疏保留投影分析

袁安鼎1，荊曉遠(yuǎn)1，吳 飛2

(1.南京郵電大學(xué) 自動化學(xué)院，江蘇 南京 210023；2.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

模式識別領(lǐng)域?qū)τ跇颖痉诸惻袆e的準(zhǔn)則有很多，近期運(yùn)用比較多的是將原始數(shù)據(jù)樣本的稀疏重構(gòu)關(guān)系保持到投影變換后的樣本空間中，從而增加分類的準(zhǔn)確性。稀疏保留投影算法(SPP)就是基于該思想發(fā)展起來的典型算法。該算法在尋找最佳投影變換時是從樣本的全局角度出發(fā)，沒有考慮到樣本總體呈現(xiàn)非線性而局部線性的空間結(jié)構(gòu)，樣本間的局部信息對識別率同樣有很大的提升作用，同時SPP算法獲取的投影變化是非正交的，特征變換之間存在冗余信息，特征信息之間存在冗余的情況對于樣本分類過程存在很大的干擾項(xiàng)?；谝陨喜蛔阒帲岢龌诰植啃畔⑷诤系恼幌∈璞Ａ敉队?，將正交性以及樣本間的局部結(jié)構(gòu)信息融入SPP算法之中，同時在AR以及CAS-PEAL人臉庫上對所提算法進(jìn)行驗(yàn)證。

稀疏保留投影；局部近鄰信息；正交性；迭代終止準(zhǔn)則

0 引 言

在圖像特征提取和識別技術(shù)中，子空間學(xué)習(xí)方法使用最為廣泛[1-2]，其中最經(jīng)典的有主成分分析(Principal Component Analysis，PCA)和線性鑒別分析(Linear Discriminant Analysis，LDA)。子空間相關(guān)方法能夠很好地解決樣本“維數(shù)災(zāi)難”這一難題，該類方法的總體流程是把在高維空間中分布不是太密切的原始圖像樣本通過非線性或線性投影變換到一個由投影變換矩陣張成的低維子空間中，進(jìn)而使得變換后的圖像樣本在子空間中分布較之于變換前更加緊湊，從而簡化分類過程中的計(jì)算復(fù)雜度等一系列問題[3-4]。ULDA[5]是基于LDA算法在投影變換中添加正交約束，使得獲取的投影變換具有去冗余信息的特征。

流形學(xué)習(xí)是一個數(shù)學(xué)模型概念，在模式分類的應(yīng)用中代表的是一種空間表示形式，運(yùn)用流形結(jié)構(gòu)可以輕松準(zhǔn)確地解釋事物的內(nèi)在本質(zhì)結(jié)構(gòu)[6]。對于高維原始圖像樣本，一般降維算法都是從全局結(jié)構(gòu)對圖像樣本進(jìn)行操作，但該做法忽視了圖像樣本的內(nèi)在結(jié)構(gòu)，而流形學(xué)習(xí)算法是從圖像樣本的局部結(jié)構(gòu)出發(fā)，注重的是局部而非全局特性。代表性的算法是LPP，該算法主要通過建立近鄰結(jié)構(gòu)圖矩陣保留樣本的局部結(jié)構(gòu)信息，并在此基礎(chǔ)上尋找可以保持樣本流形結(jié)構(gòu)的投影變換[7]。

稀疏表示最初是運(yùn)用在信號處理領(lǐng)域，在過去的信號處理發(fā)展中，稀疏表示被成功地應(yīng)用并解決了很多數(shù)字信號領(lǐng)域問題。

在機(jī)器學(xué)習(xí)和模式識別領(lǐng)域，稀疏表示很好地解決了圖像分類問題[8]，同時發(fā)展出了新的基于稀疏表示的從全局出發(fā)的稀疏保留投影算法。

稀疏保留投影(Sparsity Preserving Projections，SPP)參照流形學(xué)習(xí)思想，核心思想是通過對原始數(shù)據(jù)樣本進(jìn)行稀疏重構(gòu)，通過獲取的稀疏權(quán)重矩陣將樣本重構(gòu)過程中出現(xiàn)的誤差控制在最小范圍內(nèi)，以此獲取最佳的投影變換矩陣組[9]。

但SPP算法是從樣本全局角度出發(fā)，并且獲取的投影變換是非正交形式的，而樣本的局部結(jié)構(gòu)包含更多的鑒別信息，并且投影處于正交形式下可以去除特征中的冗余信息[10]。基于此，文中將稀疏保留投影算法與流形學(xué)習(xí)和正交投影相融合，提出一種新的人臉特征提取方法，即基于局部信息融合的正交稀疏保留鑒別分析。該算法主要是從樣本的局部近鄰結(jié)構(gòu)出發(fā)，同時考慮投影向量間可能存在有冗余信息的可能性并通過正交性以及局部結(jié)構(gòu)信息保留的做法提高算法的識別率。在AR[11]和CAS-PEAL[12]人臉數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果驗(yàn)證了所提方法的有效性。

1 基于局部信息融合的正交稀疏保留投影分析

1.1 稀疏表示模型

對于給定離散信號b∈iN，以及基本矩陣D，D={d∈iN/i∈I}，可以看出D是由K個基本單位向量組建而成，在對信號進(jìn)行稀疏表示中，矩陣D是經(jīng)過原始基信號離散化后重新組建的字典矩陣。對于字典矩陣D中的所有單個列向量，稱之為字典原子(Atom)，則字典矩陣的維度大小為K，字典矩陣中字典原子的個數(shù)為N。且對于矩陣D，必然有K≥N，那么對于原始給定的離散信號b，通過字典矩陣的替換，則有如下利用字典原子對離散信號的等價表達(dá)式：

(1)

其中，x表示對應(yīng)字典原子的對離散信號稀疏表示過程中所做出貢獻(xiàn)的加權(quán)稀疏；εT表示該項(xiàng)字典原子逼近后所出現(xiàn)的誤差項(xiàng)。

對于字典矩陣D，當(dāng)張成的空間的字典原子個數(shù)與空間的維數(shù)相當(dāng)時，也就是K=N時，在此情況下，字典的維數(shù)與原子個數(shù)相等[13]，則稱此字典為完備字典矩陣(complete)；當(dāng)K>N時，此時比較原子個數(shù)與字典矩陣的維數(shù)，由于字典原子個數(shù)大于字典的維度，則此時字典是以冗余形式存在的，此字典矩陣稱之為過完備稀疏表示字典(over-complete)。對于過完備稀疏表示字典，由于字典中的字典原子是線性相關(guān)的，則原始離散的稀疏表示[14]的組合形式肯定遠(yuǎn)遠(yuǎn)不止一種。

1.2 稀疏保留投影

SPP算法核心思想是獲取原始數(shù)據(jù)樣本間的稀疏重構(gòu)關(guān)系并保持到低維投影空間中，以此增加樣本鑒別維度。

(2)

s.t.xi=Xsi

1=eTsi

其中，si=[si1,…,si,i-1,0,si,i+1,…,sin]T是一個n維向量，第i個元素值為零，這表示在向量重構(gòu)過程中，自身不參與自身的重構(gòu)流程，sij(j≠i)表示的是xj為了重構(gòu)xi而所占的比重；e∈Rn是一個元素全為1的向量。

依據(jù)上述求解函數(shù)計(jì)算出每一個xi所對應(yīng)的權(quán)重向量si,i=1,2,…,n，即可獲取稀疏權(quán)重矩陣s=(sij)n×n。

s=[s1,s2,…,sn]T

(3)

其中，si為式(2)的最優(yōu)解。

將稀疏表示與SPP的目標(biāo)函數(shù)相對比，根據(jù)稀疏表示后所得出的稀疏矩陣，可以看出SPP在對原始圖像樣本進(jìn)行稀疏重構(gòu)時，使用的稀疏構(gòu)造字典采用的就是原始空間中的所有原始數(shù)據(jù)集，所以在稀疏重構(gòu)中，單個數(shù)據(jù)向量本身是不參與對本身的重構(gòu)過程的，這也解釋了列向量si中第i個向量數(shù)據(jù)為0的原因。

實(shí)際圖像樣本信息中一般存在角度、光照、遮擋等噪音因素，目標(biāo)函數(shù)中的約束條件一般難以達(dá)到，對此問題的解決方式是在允許條件范圍下，對最優(yōu)化問題(2)的約束條件進(jìn)行如下修改：

(4)

s.t. ‖Xsi-xi‖<ε

1=eTsi

從目標(biāo)函數(shù)(4)中可以看出，約束中對重構(gòu)誤差閾值進(jìn)行固定設(shè)置，并對上述最優(yōu)化問題進(jìn)行求解即可獲取SPP所需要的稀疏重構(gòu)矩陣S，其形式如下:

S=sij(n×n)=[s1,s2,…,sN]

(5)

基于獲取的稀疏表示系數(shù)，通過算法對原始樣本空間數(shù)據(jù)進(jìn)行降維時，希望能夠保留對分類有用的信息，為此定義目標(biāo)函數(shù)：

s.t.wTXXTw=1

(6)

對上式最優(yōu)化函數(shù)進(jìn)行求解，等同于求解如下問題：

XSβXTw=λXXTw

(7)

其中，Sβ=S+ST-STS。

最終對此目標(biāo)函數(shù)進(jìn)行求解，并將前d個最大的特征值所對應(yīng)的特征向量構(gòu)成系數(shù)保留算法最終所需的投影變換矩陣W=[w1,w2,…,wd]。

1.3 目標(biāo)函數(shù)的描述求解

基于SPP算法思想，將近鄰結(jié)構(gòu)圖矩陣以及正交性約束添加到SPP目標(biāo)函數(shù)中，目標(biāo)函數(shù)如下：

對于原始數(shù)據(jù)樣本X={x1,x2,…,xn}，該樣本空間中共有n個圖像樣本，通過如下最優(yōu)化問題首先獲取樣本的稀疏系數(shù)si：

min‖si‖1

(8)

1=eTsi

其中，ε為事先設(shè)定的誤差閾值。

基于樣本的類標(biāo)簽信息，可對稀疏重構(gòu)進(jìn)行同類樣本表示優(yōu)化，如下形式：

(9)

經(jīng)過優(yōu)化后的向量稀疏表示系數(shù)即為：

(10)

式(10)表明，經(jīng)優(yōu)化的樣本稀疏重構(gòu)只有同類的其他樣本進(jìn)行稀疏表示。則最終的稀疏權(quán)重矩陣P∈Rn×n為：

(11)

其中，Pk∈Rnk×nk，k=1,2,…,c。

樣本的類標(biāo)簽信息通過如下形式添加到近鄰結(jié)構(gòu)中：

(12)

基于以上描述，將樣本的類標(biāo)簽信息融入到近鄰結(jié)構(gòu)中，同時與稀疏權(quán)重矩陣相結(jié)合[15-17]。

在此假設(shè)vl即為所求解的最優(yōu)投影變換向量組，定義所提算法目標(biāo)函數(shù)如下：

(13)

s.t.vTXDXTv=1

(14)

目標(biāo)函數(shù)(10)經(jīng)過推導(dǎo)可轉(zhuǎn)化為如下等價求解形式：

由約束條件中可以看出，約束中添加了正交性以確保對冗余信息的去除。

1.4 投影變換向量求取終止準(zhǔn)則

對投影變換向量的求取直接通過目標(biāo)函數(shù)很難得到，在此采取迭代的方式進(jìn)行，迭代的終止判斷條件通過Fisher值進(jìn)行判斷，F(xiàn)isher值函數(shù)表示如下：

(16)

其中，vl表示求解的投影變換向量；J(vl)表示相對應(yīng)的變換向量的Fisher值；SB和SW分別表示類間散度矩陣和類內(nèi)散度矩陣，形式如下：

(17)

(18)

迭代終止條件設(shè)定如下，特征向量對應(yīng)的Fisher值大于1時保留，特征向量對應(yīng)的Fisher值小于1時停止迭代操作。

算法流程總結(jié)為：

(1)依據(jù)式(9)和式(12)分別計(jì)算出原始樣本的稀疏權(quán)重矩陣P和近鄰結(jié)構(gòu)圖矩陣w。

(2)通過目標(biāo)函數(shù)(10)經(jīng)推導(dǎo)化簡后求解出等價特征式X(D+PDPT-wPT-PTw)XTv1=λ1XDXTv1，求解第一個投影向量v1。

(3)初始化矩陣V1=[v1]以及M1=[V1]T(XDXT)-1V1。

(4)通過特征等式依次迭代求解投影變換向量，并且更新矩陣Vl=[Vl-1,vl]Vl=[Vl-1,vl]和M1=[V1]T(XDXT)-1V1。

(5)對步驟(4)中求解得到的特征向量通過式(16)進(jìn)行Fisher值計(jì)算，如果J(vl)<1則迭代終止。

2 實(shí) 驗(yàn)

對文中所提算法在AR以及CAS-PEAL人臉庫上進(jìn)行驗(yàn)證，將所提算法與LPP、SPP、FSLDA典型算法在識別率效果上進(jìn)行對比。

2.1 圖像數(shù)據(jù)庫介紹

AR庫中圖像的原始分辨率為768×576，為節(jié)約計(jì)算成本以及存儲空間，選取庫中110人，每人有26張圖片，并且對圖像進(jìn)行初始化操作，通過降維，每幅圖片分辨率大小為60×60。圖1顯示了AR中一個人的所有圖像樣本。

CAS-PEAL人臉數(shù)據(jù)庫包含106個人，每人有10幅人臉圖像。該數(shù)據(jù)庫的特點(diǎn)是同一個人的不同人臉圖像樣本受光照影響很大。同樣為節(jié)約計(jì)算成本，實(shí)驗(yàn)前將圖像處理成60×48大小。圖2顯示了該庫中一個人的所有圖像樣本。

圖1 AR數(shù)據(jù)庫的部分樣本圖像

圖2 CAS-PEAL數(shù)據(jù)庫的樣本圖像

2.2 實(shí)驗(yàn)結(jié)果及分析

在AR和CAS-PEAL人臉數(shù)據(jù)庫中對文中所提算法、LPP、SPP、LDA和FSLDA進(jìn)行實(shí)驗(yàn)對比。在AR數(shù)據(jù)庫上，隨機(jī)選取每類中的12幅圖像用作訓(xùn)練集，剩余圖像用作測試集；在CAS-PEAL人臉數(shù)據(jù)庫中，每類隨機(jī)挑選5個樣本組成訓(xùn)練樣本集，其余組成測試樣本集。

圖3和圖4分別給出了所有方法在AR和CAS-PEAL人臉圖像庫中隨機(jī)30次實(shí)驗(yàn)的識別效果圖。表1給出了其識別率對比數(shù)據(jù)。

從表1中可以看出，在AR庫中，所提算法比LPP的識別率高12.26%，比SPP高7.57%，比LDA高4.70%，比FSLDA高2.82%。在CAS-PEAL庫中，所提算法比LPP的識別率高9.92%，比SPP高7.08%，比LDA高7.72%，比FSLDA高6.81%。從實(shí)驗(yàn)對比數(shù)據(jù)可以看出，與相關(guān)方法相比,文中所提算法明顯提高了識別的準(zhǔn)確性。

圖3 所有方法在AR人臉庫上的識別率

圖4 所有方法在CAS-PEAL人臉庫上的識別率

方法名稱平均識別率/%AR庫CAS-PEAL庫LPP77．47±3．0486．92±1．64SPP82．16±1．9789．76±1．51LDA85．03±2．7589．12±1．79FSLDA86．91±1．5390．03±1．54LIFOSPD89．73±1．6496．84±1．03

3 結(jié)束語

基于SPP算法的不足，文中將局部結(jié)構(gòu)信息以及正交性引入到SPP算法中，即從樣本數(shù)據(jù)的空間結(jié)構(gòu)出發(fā)，同時通過正交性將特征中的相關(guān)性去除，通過在人臉庫上與相關(guān)算法進(jìn)行對比，驗(yàn)證了所提算法的有效性。

[1] 王李冬.一種新的人臉識別算法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2009,19(5):147-149.

[2] 趙振勇,王保華,王 力,等.人臉圖像的特征提取[J].計(jì)算機(jī)技術(shù)與發(fā)展,2007,17(5):221-224.

[3] Turk M,Pentland A.Eigenfaces for recognition[J].Journal of Cognitive Neuroscience,1991,3(1):71-86.

[4] Belhumeur P N,Hespanha J P,Kriegman D J.Eigenfaces vs. Fisherfaces:recognition using class specific linear projection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):711-720.

[5] Foley D H,Sammon J W.An optimal set of discriminant vectors[J].IEEE Transactions on Computers,1975,24(3):281-289.

[6] Law M H C,Jain A K.Incremental nonlinear dimensionality reduction by manifold learning[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2006,28(3):377-391.

[7] Yajing A N. Improved local preserving projection algorithm based on exponential diagonal matrix[J].Computer Engineering & Applications,2011,47(36):197-202.

[8] Hu Zhengping,Liu W,Xu Chengqian.Image inpainting based on non-local sparsity representation with muti-region learning dictionary[J].Mathematics in Practice & Theory,2011,41(7):98-108.

[9] Xiang F,Wang Z,Yuan X.Dissimilarity sparsity-preserving projections in feature extraction for visual recognition[J].Applied Optics,2013,52(20):5022-5029.

[10] Qiao L,Chen S,Tan X.Sparsity preserving projections with applications to face recognition[J].Pattern Recognition,2010,43(1):331-341.

[11] Wang R,Chen X.Manifold discriminant analysis[C]//Proceedings of IEEE conference on computer vision and pattern recognition.Miami,USA:IEEE,2009:429-436.

[12] Wright J,Yang A Y,Ganesh A,et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-227.

[13] Sui G R，Cheng L，Chen B X,et al.Research on gait recognition technology based on fiber array sensor[J].Journal of Optoelectronics Laser,2011,22(3):359-362.

[14] Zhang D,Kong W K,You J,et al.Online identification[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(9):1041-1150.

[15] 楊榮根,任明武,楊靜宇.基于稀疏表示的人臉識別方法[J].計(jì)算機(jī)科學(xué),2010,37(9):267-269.

[16] 李 映,張艷寧,許 星.基于信號稀疏表示的形態(tài)成分分析:進(jìn)展和展望[J].電子學(xué)報,2009,37(1):146-152.

[17] Donoho D L,Elad M,Temlyakov V N.Stable recovery of sparse overcomplete representations in the presence of noise[J].IEEE Transactions on Information Theory,2006,52(1):6-18.

Analysis of Orthogonal Sparse Preserving Projection Based on Local Information Fusion

YUAN An-ding1,JING Xiao-yuan1,WU Fei2

(1.College of Automation,Nanjing University of Posts and Telecommunications,Nanjing 210023,China; 2.College of Telecommunications & Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

There are many sample classification criterion in the field of pattern recognition,and the mostly used one recently is to maintain the sparse reconstruction relationship of original data samples to the sample space after projection transformation so as to increase the accuracy of classification.SPP is a typical algorithm based on the idea.In finding the optimal projection transformation,SPP is based on the global point view,however the spatial structure of the sample is nonlinear and the local linear structure is not considered.At the same time,the SPP algorithm is not orthogonal,and there is redundant information between the feature transform.Based on the above shortcomings,orthogonal sparse preserving projection based on local information fusion is proposed,and the orthogonality and the local structure information of samples are merged into the SPP algorithm.At the same time,the proposed algorithm is validated on the AR and CAS-PEAL face database.

sparsity preserving projections;local neighbor information；orthogonality;iterative stopping criterion

2016-03-25

2016-06-29

時間：2017-01-04

國家自然科學(xué)基金資助項(xiàng)目(61272273)；江蘇省普通高校研究生科研創(chuàng)新計(jì)劃(CXLX13_465)

袁安鼎(1991-)，男，研究生，研究方向?yàn)樯锾卣髯R別；荊曉遠(yuǎn)，教授，博士生導(dǎo)師，研究方向?yàn)槟Ｊ阶R別、圖像處理、機(jī)器學(xué)習(xí)。

http://www.cnki.net/kcms/detail/61.1450.TP.20170104.1039.066.html

TP301

A

1673-629X(2017)01-0061-04

10.3969/j.issn.1673-629X.2017.01.014