宋全有,劉曉樂(lè),韓忠華

(1.河南交通職業(yè)技術(shù)學(xué)院交通信息工程系,鄭州 450052;2.河南工程學(xué)院計(jì)算機(jī)學(xué)院,鄭州 451191;3.中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所,沈陽(yáng) 110016)

?

基于改進(jìn)型深度數(shù)據(jù)流形的數(shù)據(jù)分類(lèi)算法及在人臉中的應(yīng)用*

宋全有1*,劉曉樂(lè)2,韓忠華3

(1.河南交通職業(yè)技術(shù)學(xué)院交通信息工程系,鄭州 450052;2.河南工程學(xué)院計(jì)算機(jī)學(xué)院,鄭州 451191;3.中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所,沈陽(yáng) 110016)

摘要:針對(duì)數(shù)據(jù)分類(lèi)問(wèn)題的局限,提出一種基于改進(jìn)型深度數(shù)據(jù)流形的數(shù)據(jù)分類(lèi)算法并將其應(yīng)用到人臉識(shí)別中。首先,通過(guò)采集人臉圖像的深度信息,利用稀疏表示對(duì)其進(jìn)行去噪處理;再結(jié)合圖像的顏色信息,重新生成三維人臉信息數(shù)據(jù)庫(kù),通過(guò)對(duì)人臉數(shù)據(jù)的流形分析得到最優(yōu)的降維結(jié)果,按十字十乘交叉驗(yàn)證法的原則選取訓(xùn)練集和測(cè)試集,將訓(xùn)練集輸入支持向量機(jī)算法建立數(shù)據(jù)分類(lèi)器;最后,將測(cè)試集輸入訓(xùn)練完成的分類(lèi)器中,實(shí)現(xiàn)人臉數(shù)據(jù)分類(lèi)。選取ORL、Yale兩類(lèi)人臉圖像標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)與傳統(tǒng)人臉識(shí)別算法進(jìn)行交叉對(duì)比實(shí)驗(yàn),驗(yàn)證算法的優(yōu)越性和可行性。實(shí)驗(yàn)結(jié)果表明:所提出的算法有較高的分類(lèi)準(zhǔn)確率,可有效地完成人臉識(shí)別。

關(guān)鍵詞:數(shù)據(jù)分類(lèi);人臉識(shí)別;數(shù)據(jù)流形;深度;降維;支持向量機(jī)

近年來(lái),數(shù)據(jù)分類(lèi)問(wèn)題是數(shù)據(jù)挖掘領(lǐng)域較為熱點(diǎn)的問(wèn)題。一些特定的特征提取算法與數(shù)據(jù)分類(lèi)算法結(jié)合,可以有效地完成高維數(shù)據(jù)分類(lèi)問(wèn)題,由于人臉圖像屬于高維數(shù)據(jù),特征提取可有效地解決高維數(shù)據(jù)計(jì)算復(fù)雜度高的問(wèn)題,其代表算法有:主成分分析(PCA)[1],核主成分分析(KPCA)[2],梯度方向直方圖(HOG)[3]等。這些算法的本質(zhì)是提取人臉圖像的特征向量,在輸入到訓(xùn)練完成的分類(lèi)器,數(shù)據(jù)分類(lèi)算法有:支持向量機(jī)(SVM)[4],線性判別分析(LDA)[5],核線性判別分析(KLDA)[6]等。利用特征向量和分類(lèi)器即可完成高維數(shù)據(jù)分類(lèi),進(jìn)而完成人臉識(shí)別。

針對(duì)數(shù)據(jù)流形問(wèn)題,Roweis等人[7]提出局部線性嵌入算法,利用流形降維的方式區(qū)別各類(lèi)數(shù)據(jù),翟永前等人[8]將改進(jìn)Gabor算法,提出簡(jiǎn)化的Gabor小波進(jìn)行高維數(shù)據(jù)分類(lèi),有效地完成人臉的識(shí)別;王憲等人[9]將KPCA算法和曲波核相結(jié)合,有效地解決人臉識(shí)別問(wèn)題,而這些算法只是結(jié)合圖像像素信息處理二維平面人臉圖像,并沒(méi)有有效地使用三維立體信息,在背景復(fù)雜的環(huán)境下,往往識(shí)別率受到局限。

針對(duì)圖像噪聲問(wèn)題,肖泉[10]等人提出利用針對(duì)稀疏表示對(duì)圖像深度信息進(jìn)行去噪處理,筆者結(jié)合人臉識(shí)別問(wèn)題的特點(diǎn),提出一種基于改進(jìn)型深度數(shù)據(jù)流形的數(shù)據(jù)分類(lèi)算法并將其應(yīng)用到人臉識(shí)別中,利用稀疏表示對(duì)人臉深度信息進(jìn)行重構(gòu)去噪處理,再將處理后的深度信息加入到傳統(tǒng)圖像的顏色信息中去,擴(kuò)展了人臉圖像信息量,利用數(shù)據(jù)流形的特點(diǎn)對(duì)人臉圖像數(shù)據(jù)進(jìn)行降維,輸入到SVM算法中進(jìn)行分類(lèi)。選取ORL數(shù)據(jù)集和Yale數(shù)據(jù)集驗(yàn)證算法在高維數(shù)據(jù)分類(lèi)的可行性。

1　稀疏表示

1.1基本原理

在對(duì)信號(hào)進(jìn)行處理時(shí),常?？梢园研盘?hào)表示成一些基本信號(hào)或者函數(shù)的線性組合。例如,可以把單個(gè)信號(hào)表示成為一系列正弦信號(hào)或者余弦信號(hào)的組合。這些正弦信號(hào)和余弦信號(hào)通常是正交的。

(1)

其中,x=(x1,x2,…,xn)為向量b線性表達(dá)式的系數(shù)矩陣,A為n維空間的一組基。對(duì)于稀疏表示理論,我們用字典代替?zhèn)鹘y(tǒng)的正交基,而所用的字典要盡可能包含被表達(dá)信號(hào)的所有信息結(jié)構(gòu)。利用所選用的字典對(duì)信號(hào)進(jìn)行重構(gòu),重構(gòu)過(guò)程實(shí)質(zhì)就是對(duì)含有噪聲的信號(hào)進(jìn)行逼近的過(guò)程,重構(gòu)后的信號(hào)也就去除了噪聲。

定義:設(shè)原始信號(hào)由逼近信號(hào)和噪聲組成,表示為式(2),

w=wm+wr=Dα+wr

(2)

其中w為原始信號(hào),wm為逼近w的逼近信號(hào),wr為信號(hào)w中的噪聲,D為學(xué)習(xí)字典,α為逼近信號(hào)的稀疏矩陣。從稀疏的角度出發(fā),希望在使wr為最小的情況下,得到最稀疏的α解。由此,可構(gòu)造優(yōu)化函數(shù)如下:

(3)

1.2稀疏編碼

稀疏編碼問(wèn)題實(shí)質(zhì)就是L1范數(shù)正規(guī)化的線性最小二乘問(wèn)題。目前的一些解決此類(lèi)問(wèn)題的方法是基于帶軟閾值的坐標(biāo)下降法。當(dāng)字典的每一列原子不相關(guān)時(shí),這些簡(jiǎn)單的方法很有效,但是當(dāng)學(xué)習(xí)字典的每個(gè)列原子相關(guān)時(shí),這些算法在訓(xùn)練集中計(jì)算時(shí)很慢。LARS-Lasso[11]算法能很好解決這一問(wèn)題,能夠得到與基于軟閾值方法相同的速度,并且具有很高的準(zhǔn)確率和很強(qiáng)的魯棒性。

1.3字典更新

字典更新的目的是得到最優(yōu)的字典,使基于此字典的稀疏表示逼近信號(hào)對(duì)于訓(xùn)練樣本的方差最小。設(shè)目標(biāo)函數(shù)如下:

(4)

其中w為訓(xùn)練樣本;D學(xué)習(xí)字典,每一列對(duì)應(yīng)一個(gè)字典原子;α為系數(shù)矩陣;T0為稀疏表示中不為0元素的設(shè)定最大值。

在滿(mǎn)足最小均方差的前提下,利用迭代逐個(gè)更新學(xué)習(xí)字典中的原子。首先,通過(guò)對(duì)一般正交基進(jìn)行擴(kuò)展得到初始字典,并提供訓(xùn)練樣本集,此訓(xùn)練樣本集要盡可能包含所有的信號(hào)成分,然后利用訓(xùn)練樣本集對(duì)初始字典進(jìn)行迭代訓(xùn)練,從而得到滿(mǎn)意的字典。具體步驟如下:

初始化階段構(gòu)造初始字典D0,并提供訓(xùn)練樣本集w={w1,w2,…,wn-1},同時(shí)設(shè)定學(xué)習(xí)規(guī)則A′=f(A,α)及循環(huán)截止條件T。

訓(xùn)練更新階段

(1)令k=0,并設(shè)D=D0;

(2)當(dāng)不滿(mǎn)足循環(huán)截止條件T且k

(3)稀疏編碼:求解式(3),得到

(4)字典更新:Dk+1=f(Dk,αk)

(5)k=k+1,然后執(zhí)行(2)進(jìn)行判斷。

(6)學(xué)習(xí)字典D=Dk。

圖1　人臉圖像去噪結(jié)果

2　基于數(shù)據(jù)流形的降維算法

從流形[12-15]的角度可認(rèn)為n維數(shù)據(jù)是n維的歐氏空間中的一個(gè)數(shù)據(jù)點(diǎn),而多個(gè)n維數(shù)據(jù)點(diǎn)在此歐氏空間中必然組成一個(gè)流形,其形狀不可預(yù)測(cè),但在此流形中的同類(lèi)數(shù)據(jù)點(diǎn)歐氏距離往往很小。假定N個(gè)輸人向量X,通過(guò)流形的映射法則得到輸出向量Y,其實(shí)現(xiàn)過(guò)程如圖2所示。

圖2　數(shù)據(jù)映射流程圖

根據(jù)圖2可得:算法主要是通過(guò)選取數(shù)據(jù)之間的鄰近點(diǎn),按照鄰近點(diǎn)映射法則對(duì)高維數(shù)據(jù)進(jìn)行降維,其過(guò)程可分為以下3個(gè)步驟:

Step1:計(jì)算出每個(gè)樣本點(diǎn)的k個(gè)鄰近點(diǎn)。把相對(duì)于所求樣本點(diǎn)距離最近的k個(gè)樣本點(diǎn)作為樣本點(diǎn)的k個(gè)鄰近點(diǎn)。

Step2:計(jì)算出樣本點(diǎn)的局部重建權(quán)值矩陣。這里定義一個(gè)代價(jià)誤差函數(shù):

(5)

(6)

(7)

在實(shí)際運(yùn)用中,Qi可能是一個(gè)奇異矩陣,此時(shí)必須正則化Qi,即:

Qi=Qi+rI

(8)

其中r是正則化參數(shù),I是一個(gè)k×k的單位矩陣。

Step3:將所有的樣本點(diǎn)映射到低維空間中,必須滿(mǎn)足以下條件:

(9)

其中,ε(Y)為損失函數(shù)值,yi是xi的輸出向量,yij(j=1,2,…,k)是yi的k個(gè)鄰近點(diǎn),且滿(mǎn)足以下條件:

(10)

其中,M是一個(gè)N×N的對(duì)稱(chēng)矩陣,表示為:

M=(I-W)T(I-W)

(11)

要使損失函數(shù)值達(dá)到最小,需取Y為M的最小m個(gè)非零特征值所對(duì)應(yīng)的特征向量。在處理過(guò)程中,將M的特征值從小到大排列,第1個(gè)特征值幾乎接近于零,那么舍去第1個(gè)特征值。通常取第2～第m+1間的特征值所對(duì)應(yīng)的特征向量作為輸出結(jié)果。

3　算法在人臉識(shí)別中的應(yīng)用

3.1圖像深度數(shù)據(jù)重構(gòu)

對(duì)深度數(shù)據(jù)進(jìn)行重構(gòu)時(shí),只要設(shè)定合適的誤差容限ε,就可以實(shí)現(xiàn)對(duì)含噪聲的信號(hào)進(jìn)行去噪。試驗(yàn)中設(shè)置ε=kσ2,其中,令k=1.05,σ為噪聲標(biāo)準(zhǔn)差。

(12)

(13)

由式(12)、式(13),得到了去除噪聲后的深度信息。

3.2數(shù)據(jù)流形降維處理

(14)

按照第3節(jié),數(shù)據(jù)流形降維理論,我們可以將式(14)進(jìn)行降維處理,將人臉數(shù)據(jù)集w輸入到映射法則下,可得到最優(yōu)的數(shù)據(jù)降維結(jié)果。

4　實(shí)驗(yàn)分析

本文在Inter(R)Core(TM)Duo-E7500的CPU,內(nèi)存6G的Windows7操作系統(tǒng)下進(jìn)行實(shí)驗(yàn),利用支持向量機(jī)(SVM)算法對(duì)4.2節(jié)所得到的最優(yōu)降維結(jié)果進(jìn)行分類(lèi)器的訓(xùn)練,進(jìn)而完成對(duì)人臉數(shù)據(jù)的分類(lèi),選取ORL人臉數(shù)據(jù)庫(kù)和Yale人臉數(shù)據(jù)庫(kù)兩類(lèi)人臉標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)驗(yàn)證,按照第4節(jié)的方法,對(duì)兩類(lèi)數(shù)據(jù)庫(kù)中的人臉圖像數(shù)據(jù)進(jìn)行處理,利用十字十乘交叉驗(yàn)證法,對(duì)本文算法進(jìn)行可行性和優(yōu)越性的驗(yàn)證。

4.1ORL人臉數(shù)據(jù)庫(kù)實(shí)驗(yàn)

ORL人臉數(shù)據(jù)庫(kù)是由劍橋大學(xué)AT&T實(shí)驗(yàn)室創(chuàng)建,包含40人每人10張圖像,共400張面部圖像,圖像包括了不同時(shí)間,不同光照條件,面部表情,飾物等變化。選取每人的全部圖像作為訓(xùn)練樣本,數(shù)據(jù)庫(kù)中部分圖像如圖3所示。

圖3　部分ORL人臉數(shù)據(jù)庫(kù)圖像

假設(shè)實(shí)驗(yàn)數(shù)據(jù)個(gè)數(shù)為nc,準(zhǔn)確識(shí)別的個(gè)數(shù)為nt,則可將識(shí)別準(zhǔn)確率定義為

(15)

利用十字十乘交叉驗(yàn)證法對(duì)其進(jìn)行驗(yàn)證,將本文算法與PCA算法、KPCA算法、HOG算法、LLE算法進(jìn)行比較,比較結(jié)果如表1所示。

表1　ORL數(shù)據(jù)庫(kù)識(shí)別率比較結(jié)果

由表1可得,本文算法在ORL數(shù)據(jù)庫(kù)中較傳統(tǒng)算法有更好的識(shí)別率,本文算法的檢測(cè)率平均保持在93%左右,而KPCA算法,PCA算法,HOG算法,LLE算法分別保持在84%,81%、82%、86%左右,這是由于本文算法加入了圖像深度信息,并對(duì)深度信息進(jìn)行去噪處理,結(jié)合圖像顏色信息,得到更為準(zhǔn)確的圖像特征數(shù)據(jù)。

4.2Yale人臉數(shù)據(jù)庫(kù)實(shí)驗(yàn)

Yale人臉數(shù)據(jù)庫(kù)包含5 760張人臉圖像,共由10個(gè)人,每人在不同的光照條件,不同姿態(tài)表情下的人臉圖像576張,其部分?jǐn)?shù)據(jù)圖像如圖4所示。

圖4　部分Yale人臉數(shù)據(jù)庫(kù)圖像

我們按照4.1節(jié)的實(shí)驗(yàn)方法,對(duì)Yale數(shù)據(jù)庫(kù)進(jìn)行人臉識(shí)別驗(yàn)證,將所得結(jié)果再次與PCA算法、KPCA算法、HOG算法、LLE算法所得結(jié)果進(jìn)行比較,其結(jié)果如表2所示。

表2　Yale數(shù)據(jù)庫(kù)識(shí)別率比較結(jié)果

由表2可得,本文算法在Yale數(shù)據(jù)庫(kù)實(shí)驗(yàn)中也保持較好的識(shí)別率,平均識(shí)別率為89.3%,高于傳統(tǒng)算法中平均識(shí)別率最高的KPCA算法5%左右,本文算法在ORL和Yale兩類(lèi)數(shù)據(jù)庫(kù)中均有較好的識(shí)別率,證明本文算法具有一定可行性和優(yōu)越性。

5　結(jié)論

本文對(duì)數(shù)據(jù)分類(lèi)問(wèn)題進(jìn)行深入研究,結(jié)合圖像深度信息去噪和人臉圖像數(shù)據(jù)流形,提出一種改進(jìn)型深度數(shù)據(jù)流形的數(shù)據(jù)分類(lèi)算法并將其應(yīng)用于人臉識(shí)別。

在ORL和Yale兩個(gè)人臉圖像標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)中的實(shí)驗(yàn)結(jié)果表明:本文算法有較強(qiáng)的適用能力,針對(duì)多個(gè)數(shù)據(jù)庫(kù)具有較好的識(shí)別率。ORL數(shù)據(jù)庫(kù)和Yale數(shù)據(jù)庫(kù)實(shí)驗(yàn)表明算法針對(duì)圖像數(shù)據(jù)具有較高的檢測(cè)率,平均保持在93.1%和89.3%,優(yōu)于傳統(tǒng)算法,體現(xiàn)算法在高維數(shù)據(jù)分類(lèi)中具有一定的優(yōu)勢(shì),今后的任務(wù)是進(jìn)一步提高算法抗干擾能力。

參考文獻(xiàn):

[1]Rencher A C,Christensen W F.Methods of Multivariate Analysis[M].Third Edition,Hoboken:Wiley Press,2012:405-433.

[2]Wang J,Zhou Y S,Du X J,et al.Personal Credit Assessment Based on KPCA and SVM[C]//Proceedings of International Conference on Business Intelligence and Financial Engineering,Beijing:IEEE Press,2012:25-28.

[3]Dalai N,Triggs B.Histograms of Oriented Gradients for Human Detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,San Diego:IEEE Press,2005:886-893.

[4]Gentle J E,H?rdle W K,Mori Y C.Handbook of Computational Statistics:Concepts and Methods[M].Second Edition,Germany:Springer Press,2012:883-926.

[5]Iosifidis A,Tefas A,Nikolaidis N,et al.Multi-View Human Movement Recognition Based on Fuzzy Distances and Linear Discriminant Analysis[J].Computer Vision and Image Understanding,2012,116(3):347-360.

[6]Zafeiriou S,Tzimiropoulos G,Petrou M,et al.Regularized Kernel Discriminant Analysis with a Robust Kernel for Face Recognition and Verification[J].IEEE Transactions on Neural Networks and Learning Systems,2012,23(3):526-534.

[7]Roweis S T,Saul L K.Nonlinear Dimensionality Reduction by Locally Linear Embedding[J].Science,2000,290(5500):2323-2326.

[8]翟永前,喬建,趙力.基于簡(jiǎn)化Gabor小波的人臉識(shí)別 算法研究[J].電子器件,2012,35(6):687-681.

[9]王憲,慕鑫,張彥,等.基于曲波域與核主成分分析的人臉識(shí)別[J].光電工程,2011,38(10):98-102.

[10]肖泉,丁興號(hào),王守覺(jué).基于自適應(yīng)超完備稀疏表示的圖像去噪方法[J].儀器儀表學(xué)報(bào),2009,30(9):1886-1890.

[11]Osborne M R,Presnell B,Turlach B A.A New Approach to Variable Selection in Least Squares Problems[J].IMA Journal of Numerical Analysis,2000,20(3):389-403.

[12]Pan Jun,Kong Fansheng,Wang Ruiqin.Locality Sensitive Discri-minant Transductive Learning[J].Journal of Zhejiang University(Engineering Science),2012,46(6):987-994.

[13]Kim W,Crawford M M.Adaptive Classification for Hyperspectral Image Data Using Manifold Regularization Kernel Machines[J].IEEE Transactions on Geoscience and Remote Sensing,2010,48(11):4110-4121.

[14]Zhao Xiaoming,Zhang Shiqing.Facial Expression Recognition Using Local Binary Patterns and Discriminant Kernel Locally Linear Embedding[J].EURASIP Journal on Advances in Signal Processing,2012,2012(1):1-9.

[15]Cherigui S,Guillemot C,Thoreau D,et al.Map-Aided Locally Linear Embedding Methods for Image Prediction[C]//Proceedings of IEEE International Conference on Image Processing,IEEE Press,2012:2909-2912.

宋全有(1963-),男,河南孟州人,碩士,副教授,主要研究方向?yàn)橛?jì)算機(jī)應(yīng)用,通信與系統(tǒng)系統(tǒng),61915600@163.com。

ANovelDataClassificationAlgorithmandApplicationResearchBasedonModifiedDepthDataManifold*

SONGQuanyou1*,LIUXiaole2,HANZhonghua3

(1.Department of Traffic Engineering,Henan Vocational and Technical College of Communications,Zhengzhou 450052,China;2.Computer College,Henan Institute of Engineering,Henan 451191,China;3.Shenyang Institute of Automation(SIA),Chinese Academy of Sciences,Shenyang 110016,China)

Abstract:For the localization of data classification,a novel data classification algorithm based on modified data manifold is proposed.It is used as the method of face recognition.Firstly,the depth information of images are collected by Kinect,and the sparse representation can be used to do the denoising.Secondly,the three-dimensional face data base can be established by the colour information and depth information.The dimension of data sets is reduced by the analysis of the data manifold,and optimal results of data dimension reduction can be gotten.The training and test sets are gotten by the principle of ten cross validation,and data classifier can be gotten by the support vector machine.Finally,the test sets are inputted,and the face data classification can be achieved.The two classes of data sets are selected as the experimental data,which consist of ORL and Yale.The comparison experiments can be achieved by the two data sets,and the experiment results show that the proposed method not only has a higher classification accuracy rate,but it has a great effect to achieve face recognition.

Key words:data classification;face recognition;data manifold;depth;dimension reduction;support vector machine

doi:EEACC:6210C10.3969/j.issn.1005-9490.2014.05.010

中圖分類(lèi)號(hào):TP391.41

文獻(xiàn)標(biāo)識(shí)碼:A

文章編號(hào):1005-9490(2014)05-0844-06

收稿日期:2014-01-06修改日期:2014-02-18

項(xiàng)目來(lái)源:國(guó)家自然科學(xué)基金項(xiàng)目(61272253)