李凱，徐治平

(河北大學(xué) 數(shù)學(xué)與計(jì)算機(jī)學(xué)院，河北 保定 071002)

一種基于半監(jiān)督學(xué)習(xí)的2DPCA人臉識(shí)別方法

李凱，徐治平

(河北大學(xué) 數(shù)學(xué)與計(jì)算機(jī)學(xué)院，河北 保定 071002)

結(jié)合半監(jiān)督學(xué)習(xí)中的自學(xué)習(xí)技術(shù)以及二維主成分分析 (two-dimensional principal component analysis-2DPCA)方法，提出了一種基于半監(jiān)督學(xué)習(xí)的人臉識(shí)別方法.在二維主成分分析的基礎(chǔ)上，利用少量具有類別標(biāo)簽的樣本訓(xùn)練分類器，然后利用半監(jiān)督學(xué)習(xí)中的自學(xué)習(xí)技術(shù)，對(duì)未知類別標(biāo)簽的人臉樣本進(jìn)行分類，并將具有高置信度的人臉樣本加入到訓(xùn)練集中，以此增加訓(xùn)練集中的人臉樣本數(shù)量.在ORL人臉庫(kù)和Yale人臉庫(kù)的實(shí)驗(yàn)結(jié)果，表明了提出方法的有效性.

人臉識(shí)別；半監(jiān)督學(xué)習(xí)；二維主成分分析法(2DPCA)；特征提取

人臉識(shí)別是模式識(shí)別領(lǐng)域的重要應(yīng)用之一，與其他的生物特征識(shí)別技術(shù)相比，人臉識(shí)別具有直觀、識(shí)別速度快、非侵?jǐn)_性等特點(diǎn)，在視頻監(jiān)控、門(mén)禁考勤系統(tǒng)、犯罪調(diào)查等領(lǐng)域都有著重要的應(yīng)用.人臉識(shí)別技術(shù)的關(guān)鍵步驟是人臉特征提取，到目前為止，研究者們提出了很多特征提取方法，其中主成分分析(principal components analysis, PCA)[1]是最為經(jīng)典的特征提取方法之一，不但可以有效地降低人臉圖像的維數(shù)，同時(shí)也能保留主要的識(shí)別信息，目前仍然被廣泛地應(yīng)用在人臉識(shí)別等模式識(shí)別領(lǐng)域.但在PCA方法中，為了提取人臉圖像的特征，需要將人臉圖像轉(zhuǎn)化為一維向量，從而導(dǎo)致出現(xiàn)高維數(shù)據(jù)所無(wú)法避免的小樣本問(wèn)題和運(yùn)算復(fù)雜度高的問(wèn)題[2]；實(shí)際上，人臉圖像的本質(zhì)是一個(gè)二維矩陣，矩陣的行(列)向量間的相互關(guān)系也蘊(yùn)含著一定的特征信息，而PCA方法在將圖像矩陣轉(zhuǎn)換成一維向量的過(guò)程中，將每個(gè)像素作為一個(gè)獨(dú)立點(diǎn)來(lái)看待，這就丟失了圖像的部分空間特征[3].針對(duì)這些問(wèn)題，研究者們提出了一些新的基于張量表示的特征提取方法，如二維主成分分析(2DPCA)[4]方法.該方法利用原始圖像的二維像素矩陣直接計(jì)算協(xié)方差矩陣，然后對(duì)其特征分解以求取特征空間，它不需要將圖像矩陣轉(zhuǎn)化為一維向量，有效降低了協(xié)方差矩陣的維數(shù)，并且減少了計(jì)算復(fù)雜性；同時(shí)，由于該方法對(duì)整個(gè)原始圖像直接映射到特征空間，所以在特征提取過(guò)程中，這種方法的特征信息損失較小，并且具有較高的識(shí)別率.最近，研究人員開(kāi)始將半監(jiān)督學(xué)習(xí)方法用于模式識(shí)別問(wèn)題[5-7]，以便充分利用實(shí)際問(wèn)題中大量無(wú)類別標(biāo)簽的數(shù)據(jù)，并獲得了好的識(shí)別效果.本文對(duì)半監(jiān)督學(xué)習(xí)的人臉識(shí)別方法進(jìn)行了研究，結(jié)合二維主成分分析方法，提出了一種半監(jiān)督學(xué)習(xí)的2DPCA人臉識(shí)別方法，它不僅能夠利用已知類別標(biāo)簽的人臉樣本數(shù)據(jù)，而且更能充分利用大量未知類別標(biāo)簽的人臉數(shù)據(jù)對(duì)分類器進(jìn)行學(xué)習(xí)，從而使得該方法具有了自學(xué)習(xí)能力.

1 二維主成分分析(2DPCA)方法

2DPCA的基本思想是通過(guò)求解目標(biāo)函數(shù)為廣義離散度準(zhǔn)則的優(yōu)化問(wèn)題，獲得d個(gè)特征軸Xk(k=1，2，…，d)，其中特征軸Xk為n維單位列向量；然后，將訓(xùn)練集中的每個(gè)人臉圖像A通過(guò)線性變換Yk=AXk(k=1，2，…，d)投影到特征軸X1，X2，…，Xd上，從而獲得每幅人臉的特征圖像B=[Y1,Y2,…,Yd]；最后利用最近鄰方法確定被測(cè)人臉Bj的類別.下面給出有監(jiān)督2DPCA的人臉識(shí)別的算法：

步驟1 利用訓(xùn)練集求解特征軸

2)計(jì)算矩陣S的M個(gè)最大特征值所對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量X1，X2，…，XM，即為所求的特征軸.

步驟2 將訓(xùn)練集圖像投影到特征軸得到特征圖像

1)將樣本集中的每個(gè)人臉圖像Ai(i=1，2，…，l)利用線性變換Yk=AXk(k=1，2，…，M)投影到各個(gè)特征軸，其中投影特征向量Y1，Y2，…，YM稱為圖像樣本A的主成分；

2)將圖像的每個(gè)主成分Y1，Y2，…，YM組合在一起，獲得訓(xùn)練樣本中每個(gè)人臉的特征圖像F=[Y1,Y2,…,YM]，假設(shè)通過(guò)此方法獲得的特征圖像分別為F1，F(xiàn)2，…，F(xiàn)l.

步驟3 確定被測(cè)試人臉圖像B∈Du所屬類別

1)使用Yk=AXk(k=1，2，…，M)對(duì)被測(cè)試人臉圖像進(jìn)行線性變換，以此獲得該人臉的特征圖像B′=[Y1,Y2,…,YM]；

2 具有半監(jiān)督學(xué)習(xí)的2DPCA算法

假設(shè)給定具有類別標(biāo)簽的數(shù)據(jù)Dl和無(wú)類別標(biāo)簽的數(shù)據(jù)Du，通常l<

在本文中，提出了一種基于半監(jiān)督學(xué)習(xí)的2DPCA人臉識(shí)別方法，主要將自學(xué)習(xí)技術(shù)引入到2DPCA方法中，使人臉識(shí)別系統(tǒng)能夠同時(shí)利用少量有類別標(biāo)簽的人臉圖像Dl和大量易于獲取的無(wú)類別標(biāo)簽人臉圖像Du對(duì)分類器進(jìn)行訓(xùn)練，從而提高人臉的識(shí)別率，特別是在訓(xùn)練樣本不足的情況下能夠取得較好的識(shí)別效果.下面給出半監(jiān)督學(xué)習(xí)的2DPCA人臉識(shí)別算法，并將此算法命名為SS2DPCA(self-trainingsemi-supervised2DPCA)：

步驟1 根據(jù)訓(xùn)練數(shù)據(jù)集Dl，計(jì)算訓(xùn)練樣本的散度矩陣S及該矩陣的特征值和特征向量，然后選取矩陣S的前M個(gè)最大特征值所對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量X1，X2，…，XM，并將這些向量組成特征矩陣W=[X1,X2,…,XM].

步驟4 對(duì)獲得的每類模式Pk(k=1,2,…,c)，從中選取置信度最高(即距離該類人臉模板最近)的樣本，并將其偽類別標(biāo)簽Ik置信，也就是將其類別標(biāo)簽Ik賦予Du中相對(duì)應(yīng)的的樣本Bi，同時(shí)將Bi從無(wú)類別標(biāo)簽集Du中移至具有類別標(biāo)簽的人臉數(shù)據(jù)集Dl中，即Dl=Dl∪{Bi}且Du=Du-{Bi}.

步驟5 判定是否滿足結(jié)束條件？若滿足結(jié)束條件，則對(duì)Pk中的所有偽類別標(biāo)簽置信，并輸出識(shí)別結(jié)果；否則，將擴(kuò)展的數(shù)據(jù)集Dl作為訓(xùn)練集，返回步驟1執(zhí)行.

為了使得算法能夠正常結(jié)束，通常事先指定半監(jiān)督學(xué)習(xí)算法的迭代執(zhí)行次數(shù)，或規(guī)定其他的結(jié)束條件，例如全部測(cè)試樣本是否已被置信等.在每次迭代過(guò)程中，通過(guò)選取每一類的置信度最高的測(cè)試樣本來(lái)逐漸擴(kuò)大訓(xùn)練數(shù)據(jù)集；另外，為了提高算法的執(zhí)行效率，也可以一次性選擇每一類中置信度最高的多個(gè)測(cè)試樣本來(lái)擴(kuò)大訓(xùn)練數(shù)據(jù)集.

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證提出的人臉識(shí)別算法SS2DPCA的有效性，選取了ORL與Yale人臉數(shù)據(jù)庫(kù)進(jìn)行了實(shí)驗(yàn)，并與常用的人臉識(shí)別算法PCA與2DPCA進(jìn)行了實(shí)驗(yàn)比較.

ORL(olivetti research laboratory)人臉數(shù)據(jù)庫(kù)是由劍橋大學(xué)Olivetti 研究所創(chuàng)建，主要用于人臉識(shí)別算法的性能測(cè)試.該數(shù)據(jù)庫(kù)共有400幅分辨率為112×92的256個(gè)灰度級(jí)的人臉圖像，包含40個(gè)人，每人都有10幅不同的圖像，這些圖像分別是在不同的時(shí)間、不同的視角下采集的，且包含了各種不同的變化，如睜眼與閉眼、戴眼鏡與不戴眼鏡、張嘴與閉嘴以及笑與不笑等，該數(shù)據(jù)庫(kù)中的部分人臉圖像如圖1所示；而Yale人臉數(shù)據(jù)庫(kù)由耶魯大學(xué)計(jì)算視覺(jué)與控制中心創(chuàng)建，共有15個(gè)人的165張灰度圖像(每人具有11張不同的人臉圖像)，這些圖像反映了光源的不同光照變化、不同的表情變化以及是否佩戴眼鏡等情況，該數(shù)據(jù)庫(kù)中的部分圖像如圖2所示.

圖1 ORL人臉數(shù)據(jù)庫(kù)中的部分人臉圖像

圖2 Yale人臉數(shù)據(jù)庫(kù)中的部分人臉圖像

首先，針對(duì)人臉圖像庫(kù)中的每類選取一個(gè)樣本進(jìn)行實(shí)驗(yàn)，為此，從每個(gè)人的Q幅人臉圖像中選取一幅人臉作為訓(xùn)練樣本，將剩余的Q-1幅人臉圖像作為測(cè)試樣本，其中迭代學(xué)習(xí)次數(shù)N的值選為(Q-1)-1，實(shí)驗(yàn)結(jié)果如圖3和圖4所示.可以看到，當(dāng)在每類樣本中只取一個(gè)訓(xùn)練樣本時(shí)，PCA和2DPCA算法的識(shí)別效果并不理想.特別是在光照、姿態(tài)與表情有較大變化的Yale庫(kù)中，PCA方法的識(shí)別率只有40%～50%，說(shuō)明了該方法易受光照、姿態(tài)與表情的影響，在人臉識(shí)別時(shí)并不能獲得滿意的結(jié)果；對(duì)于2DPCA方法，其識(shí)別率很不穩(wěn)定，尤其是選取s4(左側(cè)光源方向樣本)和s7(右側(cè)光源方向樣本)作為訓(xùn)練樣本時(shí)，其識(shí)別率只有30%左右，可見(jiàn)該方法對(duì)光照過(guò)于敏感，并不能滿足人臉識(shí)別的要求；而本文提出的方法SS2DPCA的識(shí)別率保持在80%左右，其識(shí)別性能優(yōu)于2DPCA方法，幾乎是PCA方法識(shí)別率的2倍，并且提出的方法SS2DPCA的識(shí)別率浮動(dòng)范圍較小，說(shuō)明SS2DPCA方法能充分適應(yīng)各種光照、姿態(tài)與表情變化的樣本圖像，具有較好的魯棒性.并且，由于該算法能有效的利用無(wú)類別標(biāo)簽的測(cè)試樣本中所包含的信息，單樣本條件下其識(shí)別率要遠(yuǎn)大于PCA和2DPCA算法.

圖3 ORL人臉數(shù)據(jù)庫(kù)中依次選取第k個(gè)訓(xùn)練樣本時(shí)的識(shí)別率

圖4 Yale人臉數(shù)據(jù)庫(kù)中依次選取第k個(gè)訓(xùn)練樣本時(shí)的識(shí)別率

然后，分別從每個(gè)人的Q幅人臉圖像中隨機(jī)選取k(k=1,2,3,…,9)幅人臉圖像作為訓(xùn)練樣本，剩余的Q-k幅人臉作為測(cè)試樣本，實(shí)驗(yàn)結(jié)果如圖5和圖6所示，其中在SS2DPCA算法中的迭代學(xué)習(xí)次數(shù)N選為(Q-k)-1.

圖5 ORL人臉數(shù)據(jù)庫(kù)中隨機(jī)選取不同數(shù)量的訓(xùn)練樣本時(shí)的識(shí)別率

圖6 Yale人臉數(shù)據(jù)庫(kù)中隨機(jī)選取不同數(shù)量的訓(xùn)練樣本時(shí)的識(shí)別率

可以看到，當(dāng)測(cè)試人臉圖像的數(shù)量大于訓(xùn)練人臉圖像時(shí)，SS2DPCA算法的識(shí)別率要遠(yuǎn)大于PCA和2DPCA算法.當(dāng)測(cè)試樣本越多，訓(xùn)練樣本越少時(shí)，這種優(yōu)勢(shì)就表現(xiàn)的越明顯；而隨著訓(xùn)練人臉圖像樣本的增加和測(cè)試圖像樣本的減少，SS2DPCA算法的識(shí)別率逐漸與PCA和2DPCA算法的識(shí)別率開(kāi)始接近，最后與2DPCA算法的識(shí)別率相等.實(shí)際上，當(dāng)訓(xùn)練圖像樣本數(shù)為9，測(cè)試圖像樣本數(shù)為1時(shí)，SS2DPCA方法與2DPCA方法是沒(méi)有差別的.

為了進(jìn)一步分析迭代學(xué)習(xí)次數(shù)的變化對(duì)算法SS2DPCA的影響，在ORL和Yale人臉數(shù)據(jù)庫(kù)中隨機(jī)選取每個(gè)人的1至4幅圖像作為訓(xùn)練樣本，以每個(gè)人的剩余圖像作為測(cè)試樣本，在算法SS2DPCA中選取不同的迭代次數(shù)，將該實(shí)驗(yàn)重復(fù)5次，并計(jì)算它們的平均識(shí)別率，實(shí)驗(yàn)結(jié)果如圖7和圖8所示.可以看到，當(dāng)選取的自學(xué)習(xí)迭代次數(shù)較小時(shí)，在2個(gè)數(shù)據(jù)庫(kù)上的識(shí)別率普遍較低，而隨著迭代次數(shù)的增加，SS2DPCA算法的識(shí)別率有了顯著的提高.這是因?yàn)樵谧詫W(xué)習(xí)過(guò)程中，隨著訓(xùn)練樣本的增加，則分類器的性能將會(huì)有所提升；當(dāng)?shù)螖?shù)接近于每類的無(wú)標(biāo)簽數(shù)據(jù)個(gè)數(shù)時(shí)，已加入到訓(xùn)練集的無(wú)標(biāo)簽數(shù)據(jù)增多，用于識(shí)別的人臉樣本數(shù)據(jù)有所減少，所以分類器的識(shí)別率逐漸趨于穩(wěn)定.

圖7 ORL人臉庫(kù)中使用不同訓(xùn)練樣本數(shù)的迭代次數(shù)與識(shí)別率間的關(guān)系

圖8 Yale人臉庫(kù)中使用不同訓(xùn)練樣本數(shù)的迭代次數(shù)與識(shí)別率間的關(guān)系

4 結(jié)論

針對(duì)人臉識(shí)別中典型的小樣本問(wèn)題，將半監(jiān)督學(xué)習(xí)技術(shù)引入到2DPCA方法中，提出一種半監(jiān)督學(xué)習(xí)的2DPCA人臉識(shí)別方法.該方法充分利用大量無(wú)類別標(biāo)簽的樣本所蘊(yùn)含的信息對(duì)分類器進(jìn)行訓(xùn)練，彌補(bǔ)了傳統(tǒng)的人臉識(shí)別方法由于樣本不足帶來(lái)的缺陷.通過(guò)在ORL人臉庫(kù)和Yale人臉庫(kù)上的實(shí)驗(yàn)，表明了本文提出的方法優(yōu)于傳統(tǒng)的PCA和2DPCA，且具有抗光照、姿態(tài)與表情的變化，特別是在訓(xùn)練樣本數(shù)量較少的情況下，能夠提高人臉識(shí)別系統(tǒng)的性能.

[1]TURK M A, PENTLAND A P. Face recognition using eigenfaces[Z]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Maui, HI, 1991.

[2]曾岳, 馮大政. 一種基于加權(quán)變形的2DPCA 的人臉特征提取方法[J]. 電子與信息學(xué)報(bào), 2011, 33(4)：769-774.

ZENG Yue, FENG Dazheng. An algorithm of feature extraction of face based on the weighted variation of 2DPCA[J]. Journal of Electronics&Information Technology, 2011, 33(4):769-774.

[3]KWAK K C, PEDRYCZ W. Face recognition using an enhanced independent component analysis approach [J]. IEEE Transactions on Neural Networks, 2007, 18(2)：530-541.

[4]YANG Jian, ZHANG D, FRANGI A F, et al. Two-dimensional PCA: a new approach to appearance-based face representation and recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(1):131-137.

[5]HUANG Hong, LI Jianwei, LIU Jiamin. Enhanced semi-supervised local Fisher discriminant analysis for face recognition [J]. Future Generation Computer Systems, 2012, 28(1):244-253.

[6]ZHANG Tianzhu, LIU Si, XU Changsheng, et al. Boosted multi-class semi-supervised learning for human action recognition [J]. Pattern Recognition, 2011, 44(10-11):2334-2342.

[7]ZHANG Shanwen, LEI Yingke, WU Yanhua. Semi-supervised locally discriminant projection for classification and recognition [J]. Knowledge-Based Systems, 2011, 24(2):341-346.

[8]ZHU Xiaojin. Semi-supervised learning literature survey[R]. Madison: University of Wisconsin-Madison, 2008.

Asemi-supervisedlearningbased2DPCAfacerecognitionmethod

LIKai，XUZhiping

(College of Mathematic and Computer Science, Hebei University, Baoding 071002, China)

By combining self-training method of the semi-supervised learning with two-dimensional principal component analysis (2DPCA), a semi-supervised learning based face recognition method was proposed. On the basis of two-dimensional principal component analysis, few labeled samples were used to obtain classifier. Then unlabeled samples were classified through the classifier. And according to the self-training method of semi-supervised learning, the face samples with the highest confidence were added to the training set in order to increase the number of face samples in training set. Experimental results on ORL face database and Yale face database showed the effectiveness of the presented method.

face recognition; semi-supervised learning; two-dimensional principal component analysis(2DPCA);feature extraction

10.3969/j.issn.1000-1565.2013.04.014

2012-09-26

國(guó)家自然科學(xué)基金資助項(xiàng)目(61073121);河北省自然科學(xué)基金資助項(xiàng)目(F2012201014)

李凱(1963-)，男，河北滿城人，河北大學(xué)教授，博士，主要從事機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、模式識(shí)別等方向研究.

E-mail:likai@hbu.edu.cn

TP391

A

1000-1565(2013)04-0413-07

(責(zé)任編輯孟素蘭)