李凱，徐治平

(河北大學(xué) 數(shù)學(xué)與計算機(jī)學(xué)院，河北 保定 071002)

一種基于半監(jiān)督學(xué)習(xí)的2DPCA人臉識別方法

李凱，徐治平

(河北大學(xué) 數(shù)學(xué)與計算機(jī)學(xué)院，河北 保定 071002)

結(jié)合半監(jiān)督學(xué)習(xí)中的自學(xué)習(xí)技術(shù)以及二維主成分分析 (two-dimensional principal component analysis-2DPCA)方法，提出了一種基于半監(jiān)督學(xué)習(xí)的人臉識別方法.在二維主成分分析的基礎(chǔ)上，利用少量具有類別標(biāo)簽的樣本訓(xùn)練分類器，然后利用半監(jiān)督學(xué)習(xí)中的自學(xué)習(xí)技術(shù)，對未知類別標(biāo)簽的人臉樣本進(jìn)行分類，并將具有高置信度的人臉樣本加入到訓(xùn)練集中，以此增加訓(xùn)練集中的人臉樣本數(shù)量.在ORL人臉庫和Yale人臉庫的實驗結(jié)果，表明了提出方法的有效性.

人臉識別；半監(jiān)督學(xué)習(xí)；二維主成分分析法(2DPCA)；特征提取

人臉識別是模式識別領(lǐng)域的重要應(yīng)用之一，與其他的生物特征識別技術(shù)相比，人臉識別具有直觀、識別速度快、非侵?jǐn)_性等特點，在視頻監(jiān)控、門禁考勤系統(tǒng)、犯罪調(diào)查等領(lǐng)域都有著重要的應(yīng)用.人臉識別技術(shù)的關(guān)鍵步驟是人臉特征提取，到目前為止，研究者們提出了很多特征提取方法，其中主成分分析(principal components analysis, PCA)[1]是最為經(jīng)典的特征提取方法之一，不但可以有效地降低人臉圖像的維數(shù)，同時也能保留主要的識別信息，目前仍然被廣泛地應(yīng)用在人臉識別等模式識別領(lǐng)域.但在PCA方法中，為了提取人臉圖像的特征，需要將人臉圖像轉(zhuǎn)化為一維向量，從而導(dǎo)致出現(xiàn)高維數(shù)據(jù)所無法避免的小樣本問題和運算復(fù)雜度高的問題[2]；實際上，人臉圖像的本質(zhì)是一個二維矩陣，矩陣的行(列)向量間的相互關(guān)系也蘊(yùn)含著一定的特征信息，而PCA方法在將圖像矩陣轉(zhuǎn)換成一維向量的過程中，將每個像素作為一個獨立點來看待，這就丟失了圖像的部分空間特征[3].針對這些問題，研究者們提出了一些新的基于張量表示的特征提取方法，如二維主成分分析(2DPCA)[4]方法.該方法利用原始圖像的二維像素矩陣直接計算協(xié)方差矩陣，然后對其特征分解以求取特征空間，它不需要將圖像矩陣轉(zhuǎn)化為一維向量，有效降低了協(xié)方差矩陣的維數(shù)，并且減少了計算復(fù)雜性；同時，由于該方法對整個原始圖像直接映射到特征空間，所以在特征提取過程中，這種方法的特征信息損失較小，并且具有較高的識別率.最近，研究人員開始將半監(jiān)督學(xué)習(xí)方法用于模式識別問題[5-7]，以便充分利用實際問題中大量無類別標(biāo)簽的數(shù)據(jù)，并獲得了好的識別效果.本文對半監(jiān)督學(xué)習(xí)的人臉識別方法進(jìn)行了研究，結(jié)合二維主成分分析方法，提出了一種半監(jiān)督學(xué)習(xí)的2DPCA人臉識別方法，它不僅能夠利用已知類別標(biāo)簽的人臉樣本數(shù)據(jù)，而且更能充分利用大量未知類別標(biāo)簽的人臉數(shù)據(jù)對分類器進(jìn)行學(xué)習(xí)，從而使得該方法具有了自學(xué)習(xí)能力.

1 二維主成分分析(2DPCA)方法

2DPCA的基本思想是通過求解目標(biāo)函數(shù)為廣義離散度準(zhǔn)則的優(yōu)化問題，獲得d個特征軸Xk(k=1，2，…，d)，其中特征軸Xk為n維單位列向量；然后，將訓(xùn)練集中的每個人臉圖像A通過線性變換Yk=AXk(k=1，2，…，d)投影到特征軸X1，X2，…，Xd上，從而獲得每幅人臉的特征圖像B=[Y1,Y2,…,Yd]；最后利用最近鄰方法確定被測人臉Bj的類別.下面給出有監(jiān)督2DPCA的人臉識別的算法：

步驟1 利用訓(xùn)練集求解特征軸

2)計算矩陣S的M個最大特征值所對應(yīng)的標(biāo)準(zhǔn)正交特征向量X1，X2，…，XM，即為所求的特征軸.

步驟2 將訓(xùn)練集圖像投影到特征軸得到特征圖像

1)將樣本集中的每個人臉圖像Ai(i=1，2，…，l)利用線性變換Yk=AXk(k=1，2，…，M)投影到各個特征軸，其中投影特征向量Y1，Y2，…，YM稱為圖像樣本A的主成分；

2)將圖像的每個主成分Y1，Y2，…，YM組合在一起，獲得訓(xùn)練樣本中每個人臉的特征圖像F=[Y1,Y2,…,YM]，假設(shè)通過此方法獲得的特征圖像分別為F1，F(xiàn)2，…，F(xiàn)l.

步驟3 確定被測試人臉圖像B∈Du所屬類別

1)使用Yk=AXk(k=1，2，…，M)對被測試人臉圖像進(jìn)行線性變換，以此獲得該人臉的特征圖像B′=[Y1,Y2,…,YM]；

2 具有半監(jiān)督學(xué)習(xí)的2DPCA算法

假設(shè)給定具有類別標(biāo)簽的數(shù)據(jù)Dl和無類別標(biāo)簽的數(shù)據(jù)Du，通常l<

在本文中，提出了一種基于半監(jiān)督學(xué)習(xí)的2DPCA人臉識別方法，主要將自學(xué)習(xí)技術(shù)引入到2DPCA方法中，使人臉識別系統(tǒng)能夠同時利用少量有類別標(biāo)簽的人臉圖像Dl和大量易于獲取的無類別標(biāo)簽人臉圖像Du對分類器進(jìn)行訓(xùn)練，從而提高人臉的識別率，特別是在訓(xùn)練樣本不足的情況下能夠取得較好的識別效果.下面給出半監(jiān)督學(xué)習(xí)的2DPCA人臉識別算法，并將此算法命名為SS2DPCA(self-trainingsemi-supervised2DPCA)：

步驟1 根據(jù)訓(xùn)練數(shù)據(jù)集Dl，計算訓(xùn)練樣本的散度矩陣S及該矩陣的特征值和特征向量，然后選取矩陣S的前M個最大特征值所對應(yīng)的標(biāo)準(zhǔn)正交特征向量X1，X2，…，XM，并將這些向量組成特征矩陣W=[X1,X2,…,XM].

步驟4 對獲得的每類模式Pk(k=1,2,…,c)，從中選取置信度最高(即距離該類人臉模板最近)的樣本，并將其偽類別標(biāo)簽Ik置信，也就是將其類別標(biāo)簽Ik賦予Du中相對應(yīng)的的樣本Bi，同時將Bi從無類別標(biāo)簽集Du中移至具有類別標(biāo)簽的人臉數(shù)據(jù)集Dl中，即Dl=Dl∪{Bi}且Du=Du-{Bi}.

步驟5 判定是否滿足結(jié)束條件？若滿足結(jié)束條件，則對Pk中的所有偽類別標(biāo)簽置信，并輸出識別結(jié)果；否則，將擴(kuò)展的數(shù)據(jù)集Dl作為訓(xùn)練集，返回步驟1執(zhí)行.

為了使得算法能夠正常結(jié)束，通常事先指定半監(jiān)督學(xué)習(xí)算法的迭代執(zhí)行次數(shù)，或規(guī)定其他的結(jié)束條件，例如全部測試樣本是否已被置信等.在每次迭代過程中，通過選取每一類的置信度最高的測試樣本來逐漸擴(kuò)大訓(xùn)練數(shù)據(jù)集；另外，為了提高算法的執(zhí)行效率，也可以一次性選擇每一類中置信度最高的多個測試樣本來擴(kuò)大訓(xùn)練數(shù)據(jù)集.

3 實驗結(jié)果與分析

為了驗證提出的人臉識別算法SS2DPCA的有效性，選取了ORL與Yale人臉數(shù)據(jù)庫進(jìn)行了實驗，并與常用的人臉識別算法PCA與2DPCA進(jìn)行了實驗比較.

ORL(olivetti research laboratory)人臉數(shù)據(jù)庫是由劍橋大學(xué)Olivetti 研究所創(chuàng)建，主要用于人臉識別算法的性能測試.該數(shù)據(jù)庫共有400幅分辨率為112×92的256個灰度級的人臉圖像，包含40個人，每人都有10幅不同的圖像，這些圖像分別是在不同的時間、不同的視角下采集的，且包含了各種不同的變化，如睜眼與閉眼、戴眼鏡與不戴眼鏡、張嘴與閉嘴以及笑與不笑等，該數(shù)據(jù)庫中的部分人臉圖像如圖1所示；而Yale人臉數(shù)據(jù)庫由耶魯大學(xué)計算視覺與控制中心創(chuàng)建，共有15個人的165張灰度圖像(每人具有11張不同的人臉圖像)，這些圖像反映了光源的不同光照變化、不同的表情變化以及是否佩戴眼鏡等情況，該數(shù)據(jù)庫中的部分圖像如圖2所示.

圖1 ORL人臉數(shù)據(jù)庫中的部分人臉圖像

圖2 Yale人臉數(shù)據(jù)庫中的部分人臉圖像

首先，針對人臉圖像庫中的每類選取一個樣本進(jìn)行實驗，為此，從每個人的Q幅人臉圖像中選取一幅人臉作為訓(xùn)練樣本，將剩余的Q-1幅人臉圖像作為測試樣本，其中迭代學(xué)習(xí)次數(shù)N的值選為(Q-1)-1，實驗結(jié)果如圖3和圖4所示.可以看到，當(dāng)在每類樣本中只取一個訓(xùn)練樣本時，PCA和2DPCA算法的識別效果并不理想.特別是在光照、姿態(tài)與表情有較大變化的Yale庫中，PCA方法的識別率只有40%～50%，說明了該方法易受光照、姿態(tài)與表情的影響，在人臉識別時并不能獲得滿意的結(jié)果；對于2DPCA方法，其識別率很不穩(wěn)定，尤其是選取s4(左側(cè)光源方向樣本)和s7(右側(cè)光源方向樣本)作為訓(xùn)練樣本時，其識別率只有30%左右，可見該方法對光照過于敏感，并不能滿足人臉識別的要求；而本文提出的方法SS2DPCA的識別率保持在80%左右，其識別性能優(yōu)于2DPCA方法，幾乎是PCA方法識別率的2倍，并且提出的方法SS2DPCA的識別率浮動范圍較小，說明SS2DPCA方法能充分適應(yīng)各種光照、姿態(tài)與表情變化的樣本圖像，具有較好的魯棒性.并且，由于該算法能有效的利用無類別標(biāo)簽的測試樣本中所包含的信息，單樣本條件下其識別率要遠(yuǎn)大于PCA和2DPCA算法.

圖3 ORL人臉數(shù)據(jù)庫中依次選取第k個訓(xùn)練樣本時的識別率

圖4 Yale人臉數(shù)據(jù)庫中依次選取第k個訓(xùn)練樣本時的識別率

然后，分別從每個人的Q幅人臉圖像中隨機(jī)選取k(k=1,2,3,…,9)幅人臉圖像作為訓(xùn)練樣本，剩余的Q-k幅人臉作為測試樣本，實驗結(jié)果如圖5和圖6所示，其中在SS2DPCA算法中的迭代學(xué)習(xí)次數(shù)N選為(Q-k)-1.

圖5 ORL人臉數(shù)據(jù)庫中隨機(jī)選取不同數(shù)量的訓(xùn)練樣本時的識別率

圖6 Yale人臉數(shù)據(jù)庫中隨機(jī)選取不同數(shù)量的訓(xùn)練樣本時的識別率

可以看到，當(dāng)測試人臉圖像的數(shù)量大于訓(xùn)練人臉圖像時，SS2DPCA算法的識別率要遠(yuǎn)大于PCA和2DPCA算法.當(dāng)測試樣本越多，訓(xùn)練樣本越少時，這種優(yōu)勢就表現(xiàn)的越明顯；而隨著訓(xùn)練人臉圖像樣本的增加和測試圖像樣本的減少，SS2DPCA算法的識別率逐漸與PCA和2DPCA算法的識別率開始接近，最后與2DPCA算法的識別率相等.實際上，當(dāng)訓(xùn)練圖像樣本數(shù)為9，測試圖像樣本數(shù)為1時，SS2DPCA方法與2DPCA方法是沒有差別的.

為了進(jìn)一步分析迭代學(xué)習(xí)次數(shù)的變化對算法SS2DPCA的影響，在ORL和Yale人臉數(shù)據(jù)庫中隨機(jī)選取每個人的1至4幅圖像作為訓(xùn)練樣本，以每個人的剩余圖像作為測試樣本，在算法SS2DPCA中選取不同的迭代次數(shù)，將該實驗重復(fù)5次，并計算它們的平均識別率，實驗結(jié)果如圖7和圖8所示.可以看到，當(dāng)選取的自學(xué)習(xí)迭代次數(shù)較小時，在2個數(shù)據(jù)庫上的識別率普遍較低，而隨著迭代次數(shù)的增加，SS2DPCA算法的識別率有了顯著的提高.這是因為在自學(xué)習(xí)過程中，隨著訓(xùn)練樣本的增加，則分類器的性能將會有所提升；當(dāng)?shù)螖?shù)接近于每類的無標(biāo)簽數(shù)據(jù)個數(shù)時，已加入到訓(xùn)練集的無標(biāo)簽數(shù)據(jù)增多，用于識別的人臉樣本數(shù)據(jù)有所減少，所以分類器的識別率逐漸趨于穩(wěn)定.

圖7 ORL人臉庫中使用不同訓(xùn)練樣本數(shù)的迭代次數(shù)與識別率間的關(guān)系

圖8 Yale人臉庫中使用不同訓(xùn)練樣本數(shù)的迭代次數(shù)與識別率間的關(guān)系

4 結(jié)論

針對人臉識別中典型的小樣本問題，將半監(jiān)督學(xué)習(xí)技術(shù)引入到2DPCA方法中，提出一種半監(jiān)督學(xué)習(xí)的2DPCA人臉識別方法.該方法充分利用大量無類別標(biāo)簽的樣本所蘊(yùn)含的信息對分類器進(jìn)行訓(xùn)練，彌補(bǔ)了傳統(tǒng)的人臉識別方法由于樣本不足帶來的缺陷.通過在ORL人臉庫和Yale人臉庫上的實驗，表明了本文提出的方法優(yōu)于傳統(tǒng)的PCA和2DPCA，且具有抗光照、姿態(tài)與表情的變化，特別是在訓(xùn)練樣本數(shù)量較少的情況下，能夠提高人臉識別系統(tǒng)的性能.

[1]TURK M A, PENTLAND A P. Face recognition using eigenfaces[Z]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Maui, HI, 1991.

[2]曾岳, 馮大政. 一種基于加權(quán)變形的2DPCA 的人臉特征提取方法[J]. 電子與信息學(xué)報, 2011, 33(4)：769-774.

ZENG Yue, FENG Dazheng. An algorithm of feature extraction of face based on the weighted variation of 2DPCA[J]. Journal of Electronics&Information Technology, 2011, 33(4):769-774.

[3]KWAK K C, PEDRYCZ W. Face recognition using an enhanced independent component analysis approach [J]. IEEE Transactions on Neural Networks, 2007, 18(2)：530-541.

[4]YANG Jian, ZHANG D, FRANGI A F, et al. Two-dimensional PCA: a new approach to appearance-based face representation and recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(1):131-137.

[5]HUANG Hong, LI Jianwei, LIU Jiamin. Enhanced semi-supervised local Fisher discriminant analysis for face recognition [J]. Future Generation Computer Systems, 2012, 28(1):244-253.

[6]ZHANG Tianzhu, LIU Si, XU Changsheng, et al. Boosted multi-class semi-supervised learning for human action recognition [J]. Pattern Recognition, 2011, 44(10-11):2334-2342.

[7]ZHANG Shanwen, LEI Yingke, WU Yanhua. Semi-supervised locally discriminant projection for classification and recognition [J]. Knowledge-Based Systems, 2011, 24(2):341-346.

[8]ZHU Xiaojin. Semi-supervised learning literature survey[R]. Madison: University of Wisconsin-Madison, 2008.

Asemi-supervisedlearningbased2DPCAfacerecognitionmethod

LIKai，XUZhiping

(College of Mathematic and Computer Science, Hebei University, Baoding 071002, China)

By combining self-training method of the semi-supervised learning with two-dimensional principal component analysis (2DPCA), a semi-supervised learning based face recognition method was proposed. On the basis of two-dimensional principal component analysis, few labeled samples were used to obtain classifier. Then unlabeled samples were classified through the classifier. And according to the self-training method of semi-supervised learning, the face samples with the highest confidence were added to the training set in order to increase the number of face samples in training set. Experimental results on ORL face database and Yale face database showed the effectiveness of the presented method.

face recognition; semi-supervised learning; two-dimensional principal component analysis(2DPCA);feature extraction

10.3969/j.issn.1000-1565.2013.04.014

2012-09-26

國家自然科學(xué)基金資助項目(61073121);河北省自然科學(xué)基金資助項目(F2012201014)

李凱(1963-)，男，河北滿城人，河北大學(xué)教授，博士，主要從事機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、模式識別等方向研究.

E-mail:likai@hbu.edu.cn

TP391

A

1000-1565(2013)04-0413-07

(責(zé)任編輯孟素蘭)