邵珠宏 歐陽軍林 廖 帆 舒華忠

(東南大學(xué)影像科學(xué)與技術(shù)實驗室,南京210096)

基于局部特征和集成學(xué)習(xí)的魯棒彩色人臉識別算法

邵珠宏 歐陽軍林 廖 帆 舒華忠

(東南大學(xué)影像科學(xué)與技術(shù)實驗室,南京210096)

為了充分利用人臉圖像的局部信息、改善現(xiàn)有基于整體特征的彩色人臉識別算法的識別率,提出了一種基于局部特征和集成學(xué)習(xí)分類器的魯棒彩色人臉識別算法.在特征提取階段,使用自適應(yīng)四元數(shù)pseudo-Zernike矩(AQPZMs)來描述圖像子塊的特征.對于具有較大熵的圖像子塊使用較高階次的四元數(shù)pseudo-Zernike矩(QPZMs)提取特征,反之則使用較低階次的QPZMs.在匹配識別階段,使用集成學(xué)習(xí)分類器進(jìn)行判別.針對不同彩色人臉圖像庫的測試結(jié)果表明,當(dāng)人臉圖像受到光照、表情等因素影響時,與采用QPZMs或者四元數(shù)二維主成分分析(Q2DPCA)進(jìn)行整體特征提取的識別算法相比,所提算法的識別率更高.

彩色人臉識別;局部特征;四元數(shù)pseudo-Zernike矩;集成學(xué)習(xí)

在計算機(jī)視覺和模式識別領(lǐng)域,人臉識別算法引起了廣泛關(guān)注.一般而言,人臉識別的過程包括特征提取和匹配識別.在灰度人臉識別的問題中,基于主成分分析的識別算法[1-2]備受關(guān)注,例如基于向量形式的主成分分析和基于矩陣形式的二維主成分分析、雙向主成分分析等.但是,當(dāng)人臉圖像受到表情、光照等因素影響時,使用主成分分析提取特征的識別算法無法獲得理想的識別率.實際上,在判斷人臉類別的過程中,根據(jù)局部信息便能實現(xiàn)匹配.基于此,學(xué)者們提出了基于局部特征的人臉識別算法[3-9].根據(jù)總體散度矩陣的數(shù)量,可將算法大致分為2類:① 基于整體特征的算法,即將人臉圖像中不同位置的子塊投影到共同的特征空間上,利用所有訓(xùn)練樣本的子塊來計算平均臉,以得到總體散度矩陣[3, 7];② 基于局部特征的算法,即將人臉圖像中每個位置的子塊投影到各自的特征空間上,對不同位置的子塊分別計算平均臉和總體散度矩陣[4, 8].后者的識別率優(yōu)于前者.對于單訓(xùn)練樣本下灰度人臉表情的識別問題,Kanan等[10]提出了一種采用pseudo-Zernike矩提取局部特征的識別算法.

相對于灰度圖像,彩色圖像可以提供豐富的視覺感受.隨著圖像采集設(shè)備的不斷發(fā)展,彩色圖像的獲取變得容易,彩色人臉識別問題成為近年來計算機(jī)視覺領(lǐng)域的研究熱點.文獻(xiàn)[11-13]表明,與將彩色人臉圖像進(jìn)行灰度化的預(yù)處理方法相比,采用四元數(shù)矩陣表示的識別算法的識別率更高.但是,這類算法中計算的特征均是針對整幅人臉圖像的,算法的魯棒性較差.為了充分利用人臉圖像的局部信息,本文提出了一種基于局部特征的彩色人臉識別算法.

1 局部特征算法描述

1.1 圖像表示

對于任意一幅RGB彩色圖像f(x,y),將3個顏色通道分量作為四元數(shù)的虛部,則

f′(x,y)=ifR(x,y)+jfG(x,y)+kfB(x,y)

(1)

式中,fR(x,y),fG(x,y),fB(x,y)分別表示彩色圖像的紅、綠、藍(lán)分量.

1.2 特征提取

考慮到人臉圖像不同區(qū)域的識別能力不同,結(jié)合人臉圖像子塊的平均熵,提出了一種基于自適應(yīng)四元數(shù)pseudo-Zernike矩(AQPZMs)的局部特征表示方法.如果某個圖像子塊具有較大的熵,則使用較高階次的四元數(shù)pseudo-Zernike矩(QPZMs)描述其特征;反之,則使用較低階次的QPZMs.

1.2.1 彩色圖像的熵

對于一幅離散化的灰度圖像,熵定義為

(2)

式中,pi表示第i個灰度級出現(xiàn)的概率;s表示灰度級的數(shù)目,此處取s=256.

RGB彩色圖像由紅、綠、藍(lán)3個顏色分量構(gòu)成,那么RGB彩色圖像的熵H′可定義為顏色通道分量圖像熵的平均值,即

(3)

式中,HR,HG,HB分別表示紅、綠、藍(lán)顏色分量的熵.

1.2.2 局部QPZMs

對于圖像子塊fp, q(a,b),階次為n、重復(fù)度為m的四元數(shù)pseudo-Zernike矩[13]為

式中

Rn,m(r)=

(5)

1.2.3 局部特征提取

使用QPZMs提取人臉圖像子塊特征時,需建立圖像子塊平均熵與QPZMs階次之間的關(guān)系.

首先,根據(jù)訓(xùn)練樣本中的部分或者全部人臉圖像,計算得到平均人臉圖像.然后,根據(jù)平均人臉圖像熵,得到與圖像具有相同尺寸的熵圖像E(x,y),其計算式為

E(x,y)=H′(FS(x,y))

(6)

式中,FS(x,y)表示經(jīng)過(x,y)處像素點的窗口.

基于不同鄰域尺寸得到的歸一化熵圖像見圖1.圖中,S為鄰域尺寸.

(a)原圖像

(b) S=3×3像素

(c) S=5×5像素

(d) S=7×7像素

(e) S=9×9像素

圖1 歸一化熵圖像

將歸一化熵圖像分塊,(p,q)處圖像子塊的平均熵為

W2(q-1)+yb)

(7)

描述圖像子塊的特征時,根據(jù)子塊平均熵的大小,使用不同階次的QPZMs提取特征,其流程圖見圖2.

圖2 局部特征提取流程圖

2 分類器選擇

2.1 最近鄰分類器

在匹配識別階段,人臉圖像識別算法主要采用基于歐式距離的最近鄰分類器.對于2個維度均為n1的四元數(shù)特征向量v1,v2,其間距為

(8)

對于待識別的人臉圖像,分別計算其特征向量與所有訓(xùn)練樣本特征向量之間的距離,將最小距離所對應(yīng)的訓(xùn)練樣本類別作為待測樣本類別.

2.2 集成學(xué)習(xí)分類器

假設(shè)圖像劃分的子塊數(shù)量為Nb,將每個子塊作為單獨的分類器,則共計Nb個分類器.對于類別總數(shù)為L的識別問題,每個分類器生成L個置信度.

令Cl,k表示第k個圖像子塊屬于類別l的置信度,即

(9)

式中,α為歸一化系數(shù);σ為Dl,k對置信度的影響參數(shù);Dl,k為圖像子塊特征vk與類別l中樣本特征vc之間的最小F-范數(shù)距離,即

Dl,k=min(‖vk-vc‖F(xiàn))

(10)

對一幅圖像中所有子塊的置信度求和,從而得到待識別樣本屬于每個類別的總體置信度Cl,即

(11)

將最大總體置信度所屬的類別作為待測樣本的類別.當(dāng)存在多個最大總體置信度時,可以將其隨機(jī)地歸類于最大置信度所屬的類別.

3 實驗結(jié)果

為了驗證所提算法的性能,選擇不同的彩色人臉圖像庫進(jìn)行實驗.實驗中所選用的Aberdeen人臉圖像庫[14]共計377幅圖像,包括29個不同類別,每個類別包含13幅不同光照、表情下的正面圖像,部分圖像見圖3(a).所選用的GT人臉圖像庫[15]中共計750幅圖像,包括50個人,每個人包含15幅不同光照、表情下的正面圖像,部分圖像見圖3(b).

(a) Aberdeen

(b) GT

根據(jù)眼睛的位置對人臉圖像進(jìn)行裁剪,將其尺寸調(diào)整為160×128像素.對于2個圖像庫,均選取前10幅圖像作為訓(xùn)練集,其余圖像作為測試集.對人臉圖像按照W1×W2=160×64,80×128,80×64,53×128,53×64,53×42,40×128,40×64,40×42,40×32像素進(jìn)行分塊.實驗中集成學(xué)習(xí)分類器參數(shù)σ的取值范圍為1～100.

3.1 基于AQPZMs的彩色人臉識別

使用AQPZMs提取人臉圖像子塊的特征時,需要考慮以下2個因素:① 熵圖像鄰域的尺寸;② 圖像子塊的平均熵與QPZMs階次之間的關(guān)系.計算歸一化熵圖像時,首先根據(jù)訓(xùn)練樣本中每個類別的第1幅人臉圖像,得到平均人臉圖像,再根據(jù)彩色圖像熵的定義,采用不同的鄰域尺寸得到歸一化熵圖像.對于Aberdeen人臉圖像庫的熵圖像(S=5×5像素),不同分塊時的子塊平均熵見圖4.圖中,區(qū)域顏色越深表示子塊的平均熵數(shù)值越小.

(a) W1×W2=160×64像素

(b) W1×W2=80×128像素

(c) W1×W2=80×64像素

(d) W1×W2=53×128像素

(e) W1×W2=53×64像素

(f) W1×W2=53×42像素

(g) W1×W2=40×128像素

(h) W1×W2=40×64像素

(i) W1×W2=40×42像素

(j) W1×W2=40×32像素

結(jié)合采用QPZMs提取整體特征進(jìn)行識別時階次對識別率的影響和對人臉圖像進(jìn)行不同分塊時子塊平均熵的變化情況,根據(jù)實驗中平均熵與QPZMs階次的關(guān)系(見表1),提取人臉圖像子塊的特征.首先,利用最近鄰分類器,采用AQPZMs提取特征，對不同鄰域尺寸、分塊時的識別率進(jìn)行統(tǒng)計，結(jié)果見表2.由表可知，當(dāng)圖像分塊固定時,隨鄰域尺寸變化,識別率變化較平穩(wěn).GT人臉圖像庫上的結(jié)果與此類似.

利用集成學(xué)習(xí)分類器進(jìn)行判別,得到參數(shù)σ變化時2個圖像庫的識別率(見圖5).由圖可知,對于Aberdeen人臉圖像庫,最高識別率為94.25%;對于GT人臉圖像庫,最高識別率為89.60%.

表1 熵與QPZMs階次的關(guān)系

表2 Aberdeen人臉圖像庫的識別率 %

圖5 σ變化時2個圖像庫的識別率(S=5×5像素)

3.2 算法比較

為進(jìn)一步評估采用局部特征和集成學(xué)習(xí)分類器進(jìn)行人臉識別的優(yōu)勢,考察了基于不同特征、選用不同分類器所得的最高識別率,結(jié)果見表3.由表可知,與使用QPZMs,Q2DPCA提取整體特征的識別算法相比,采用AQPZMs進(jìn)行局部特征提取的識別算法的識別率更高.當(dāng)人臉圖像未分塊時,使用2種分類器得到的識別率一致;但在分塊情況下,使用集成學(xué)習(xí)分類器可以進(jìn)一步提高識別率.

表3 不同識別算法的最高識別率比較 %

4 結(jié)語

針對不同光照、表情等復(fù)雜條件下的彩色人臉識別問題,提出了一種基于局部特征和集成學(xué)習(xí)分類器的魯棒識別算法.首先,根據(jù)熵圖像的平均區(qū)域熵,使用不同階次的QPZMs提取人臉圖像子塊的特征;然后,利用集成學(xué)習(xí)分類器進(jìn)行匹配識別.實驗結(jié)果表明,與采用QPZMs或者Q2DPCA進(jìn)行整體特征提取的識別算法相比,所提算法的識別率更高.下一步的研究工作將考慮使用加權(quán)的局部特征進(jìn)行識別.

References)

[1]Yang J, Zhang D, Frangi A F, et al. Two-dimensional PCA: a new approach to appearance-based face representation and recognition [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2004, 26(1): 131-137.

[2]Zuo W M, Zhang D, Wang K Q. Bidirectional PCA with assembled matrix distance metric for image recognition [J].IEEETransactionsonSystems,ManandCybernetics:PartB:Cybernetics, 2006, 36(4): 863-872.

[3]Gottumukkal R, Asari V K. An improved face recognition technique based on modular PCA approach [J].PatternRecognitionLetters, 2004, 25(4): 429-436.

[4]Hsieh P C, Tung P C. A novel hybrid approach based on sub-pattern technique and whitened PCA for face recognition [J].PatternRecognition, 2009, 42(5): 978-984.

[5]Eftekhari A, Forouzanfar M, Abrishami M H, et al. Block-wise 2D kernel PCA/LDA for face recognition [J].InformationProcessingLetters, 2010, 110(17): 761-766.

[6]Wang H X. Block principal component analysis with L1-norm for image analysis [J].PatternRecognitionLetters, 2012, 33(5): 537-542.

[7]Cavalcanti G D C, Ren T I, Pereira J F. Weighted modular image principal component analysis for face recognition [J].ExpertSystemswithApplications, 2013, 40(12): 4971-4977.

[8]Mashhoori A, Jahromi M Z. Block-wise two-directional 2DPCA with ensemble learning for face recognition [J].Neurocomputing, 2013, 108: 111-117.

[9]Yan L, Pan J S, Chu S C, et al. Adaptively weighted sub-directional two-dimensional linear discriminant analysis for face recognition [J].FutureGenerationComputerSystems, 2012, 28(1): 232-235.

[10]Kanan H R, Faez K, Gao Y. Face recognition using adaptively weighted patch PZM array from a single exemplar image per person [J].PatternRecognition, 2008, 41(12): 3799-3812.

[11]Sun Y, Chen S, Yin B. Color face recognition based on quaternion matrix representation [J].PatternRecognitionLetters, 2011, 32(4): 597-605.

[12]Xu Y. Quaternion-based discriminant analysis method for color face recognition [J].PloSONE, 2012, 7(8): e43493-1-e43493-4.

[13]陳北京, 孫星明, 王定成, 等. 基于彩色圖像四元數(shù)表示的彩色人臉識別[J]. 自動化學(xué)報, 2012, 38(11): 1815-1823. Chen Beijing, Sun Xingming, Wang Dingcheng, et al. Color face recognition using quaternion representation of color image [J].ActaAutomaticaSinica, 2012, 38(11): 1815-1823. (in Chinese)

[14]2D face sets[EB/OL].[2014-08-25]. http://pics.stir.ac.uk/2D_face_sets.htm.

[15]Nefian A V. GT face database [EB/OL]. [2014-08-25]. http://www.anefian.com/research/face_reco.htm.

Robust color face recognition algorithm based on local features and ensemble learning

Shao Zhuhong Ouyang Junlin Liao Fan Shu Huazhong

(Laboratory of Image Sciences and Technology, Southeast University, Nanjing 210096, China)

To make full use of local information of face images and improve the recognition rate of the existing color face recognition algorithm based on global features, a robust color face recognition algorithm based on local features and ensemble learning classifier is proposed. In the feature extraction stage, the adaptive quaternion pseudo-Zernike moments (AQPZMs) are used to describe the features of image blocks. The features of image blocks with larger entropy are described by quaternion pseudo-Zernike moments (QPZMs) with higher order. On the contrary, the QPZMs with lower order are used to describe the features of image blocks with smaller entropy. In the classification stage, the ensemble learning classifier is used for identification. The experimental results of different color face datasets show that compared with the recognition algorithms exploiting QPZMs or quaternion two-dimensional principal component analysis (Q2DPCA) to extract global features, the proposed algorithm can achieve higher accuracy when the face images are affected by the factors such as illumination, facial expression and so on.

color face recognition;local feature;quaternion pseudo-Zernike moment;ensemble learning

10.3969/j.issn.1001-0505.2015.02.010

2014-10-15. 作者簡介: 邵珠宏(1986—),男,博士生;舒華忠(聯(lián)系人),男,博士,教授,博士生導(dǎo)師,shu.list@seu.edu.cn.

國家重點基礎(chǔ)研究發(fā)展計劃(973計劃)資助項目(2011CB707904)、國家自然科學(xué)基金資助項目(61073138,6110314,61201344,61271312).

邵珠宏， 歐陽軍林，廖帆，等.基于局部特征和集成學(xué)習(xí)的魯棒彩色人臉識別算法[J].東南大學(xué)學(xué)報:自然科學(xué)版,2015,45(2):251-255.

10.3969/j.issn.1001-0505.2015.02.010

TP391

A

1001-0505(2015)02-0251-05