李文洋，陳　云，華繼釗

（揚州大學(xué) 信息工程學(xué)院，江蘇 揚州　225127）

?

基于特征點鄰域SIFT描述子的人臉識別

李文洋，陳云，華繼釗

（揚州大學(xué) 信息工程學(xué)院，江蘇 揚州225127）

摘要：在人臉識別算法中，尺度不變的SIFT特征是人臉局部特征的重要描述方式之一。在傳統(tǒng)SIFT方法中，由于特征點的坐標是根據(jù)高斯差分空間的局部極值點來確定的，造成特征點匹配困難。通過基于回歸的局部二值特征對人臉進行校準，確定對人臉有意義的特征點位置。用SIFT特征描述子的不變特性描述人臉的局部特征，能夠有效地提高識別速度以及識別率。對特征點進行區(qū)域加權(quán)，能夠?qū)θ四樀淖藨B(tài)變化以及角度偏轉(zhuǎn)有一定的魯棒性。

關(guān)鍵詞：局部二值特征；線性回歸；特征點；SIFT特征描述子

0　引言

在網(wǎng)絡(luò)信息高速發(fā)展的今天，如何快速準確地對人的身份信息進行識別成為一個急待解決的問題。作為生物特征之一的人臉識別為這一問題提供新的解決思路。人臉識別也因為其非接觸式、采集設(shè)備簡單等優(yōu)點受到了廣泛關(guān)注[1]。目前，人臉識別方法主要有基于Harris角點[2]、局部二值模式（LBP）、尺度不變特征（SIFT）等的人臉局部特征描述，以及基于線性判別式分析[3]（LDA）、神經(jīng)網(wǎng)絡(luò)、支持向量機[4]（SVM）的人臉全局特征描述。盡管這些方法對正面人臉的識別有較好的效果，但是當人臉存在姿態(tài)變換或者角度偏轉(zhuǎn)時效果不盡人意。如何更好地解決這一問題已經(jīng)成為提高人臉識別率的關(guān)鍵問題。

基于統(tǒng)計特征的識別方法由于訓(xùn)練樣本的不確定性而存在差異；所以Lowe的尺度不變特征[5]（Scale In? variant Feature Transform，SIFT）的提出受到了廣泛的關(guān)注。其中特征描述子具有旋轉(zhuǎn)不變性和光照不變性，廣泛用于描述人臉的局部特征[6]。SIFT特征的特征點是根據(jù)高斯差分空間（DoG）的局部極值點確定；由于注冊人臉和待識別人臉圖像的不同，容易導(dǎo)致特征點數(shù)目的不確定性。且特征點沒有明顯的物理意義，從而增加了特征點匹配的難度。因此，本文采用基于回歸的局部二值特征方法進行人臉的校準，確定了與人臉幾何特征相關(guān)的特征點，如面部輪廓、眼睛、鼻子、嘴等附近?？紤]到人臉表情變化的區(qū)域主要集中在面部以及嘴部，因此對特征點進行區(qū)域加權(quán)。用特征點鄰域內(nèi)的SIFT特征描述子[7]表征人臉并組成特征向量，用于人臉的識別。

1　基于回歸的LBF的人臉校準

基于早期的Kass等提出的Snake模型[8]，1995年Cootes等人提出了主動形狀模型[9]（Active Shape Model，ASM）。此后Cootes等人在ASM算法的基礎(chǔ)上提出了主動表觀模型[10?11]（Active Appearance Model，AAM）的概念，與ASM不同的是AAM同時對形狀和紋理信息進行分析。近年來基于回歸的方法[12?13]被人們廣泛關(guān)注，在此基礎(chǔ)上任少卿等人提出的基于回歸的局部二值特征（Local Binary Features，LBF）的人臉校準算法[14]，在計算機以及手機上獲得良好的效果，受到了廣泛的關(guān)注。

人臉校準是通過對初始特征點模型S0的逐步修正（每級的修正量為ΔSt）得到最終的模型。每級的模型增量為：其中：St-1為上一級的特征點模型；Φt是一個映射矩陣，實現(xiàn)由圖像I特征點模型到LBF的映射，Φt可以分解為一組獨立的映射函數(shù)集[,,…,]，k為對應(yīng)特征點的個數(shù)；Wt表示線性回歸矩陣，實現(xiàn)由LBF到特征點模型增量的映射。

1.1LBF映射矩陣Φt的學(xué)習(xí)

1.2線性回歸矩陣Wt的學(xué)習(xí)

由于二值特征的維數(shù)很高且稀疏，需要使用雙坐標下降法[16]處理這一問題。式（3）中的λ表示了這一正則化過程。

通過上述訓(xùn)練方法得到了人臉校正的系統(tǒng)，對選定的人臉區(qū)域進行校正，得到人臉校正的結(jié)果如圖1所示。

2　特征點鄰域的SIFT表征

2.1SIFT描述子的生成

通過上述算法對人臉的校正，得到了對應(yīng)人臉特征的特征點位置。在構(gòu)造描述子時，僅特征點單個像素作為研究對象沒有足夠的信息，因此引入SIFT描述子采集特征點鄰域內(nèi)的信息。由于加入子區(qū)域內(nèi)的統(tǒng)計特性，從而提高了對圖像局部變形的適應(yīng)能力。

圖1　人臉校正后的特征點位置

對以特征點 Pk(x,y)為中心的16×16范圍內(nèi)鄰域（見圖2）計算圖像梯度的幅值與幅角，如式（4），式（5）所示。并將鄰域分成4×4個子區(qū)域，如圖3所示。

圖2　特征點P的16×16鄰域

圖3　特征點的子區(qū)域

為了強化中心區(qū)域的影響，同時淡化邊緣區(qū)域的影響，采用對幅值進行高斯加權(quán)：

從而提高了算法對幾何變形的適應(yīng)性，δ設(shè)為經(jīng)驗常數(shù)。

用直方圖統(tǒng)計鄰域像素的梯度方向權(quán)值，直方圖的范圍是0°~360°，其中每10°一個柱，總共36個柱。直方圖的峰值為該特征點處鄰域內(nèi)像素梯度的主方向，即作為該特征點的方向。

為了保持特征的旋轉(zhuǎn)不變性，將坐標軸旋轉(zhuǎn)為特征點的主方向。旋轉(zhuǎn)后新的坐標為：

對每個子區(qū)域分成8個方向，統(tǒng)計權(quán)值直方圖，16個子區(qū)域組成了128維特征向量。

再繼續(xù)將特征向量的長度進行歸一化：

則可以進一步去除光照變化的影響。最終得到了能夠表征人臉特征的k×128維的特征向量。

把特征點按區(qū)域分為5個，眉毛，眼睛，嘴部，鼻子和面部，面部輪廓，對各個獨立子區(qū)域的置信度進行統(tǒng)計，確定各個區(qū)域的權(quán)值比重。權(quán)值計算公式為：

2.2特征匹配算法

在得到特征向量后，需要對特征向量進行相似性度量，本文選擇了快速的直方圖相交法，兩個直方圖的相似度表示為：

則兩幅人臉的相似度表示為：

3　實驗結(jié)果及分析

實驗環(huán)境：CPU主頻為1.80 GHz，雙核四線程；操作系統(tǒng)Windows 8.1；算法通過Visual Studio 2010以及OpenCV244庫實現(xiàn)。采用FERET人臉數(shù)據(jù)庫的人臉圖像進行實驗，圖像大小為 382×256，人臉大小在200×200以上。每個人包含不同角度及表情的12個樣本。選取300人作為訓(xùn)練樣本得到閾值，200人作為觀測樣本進行識別率驗證，同時通過隨機交叉驗證，保證實驗的客觀性。

首先，根據(jù)文中提到的方法，把特征點分成5個不同的區(qū)域。通過實驗得到不同區(qū)域的置信度，表明不同區(qū)域?qū)θ四槄^(qū)分的貢獻情況，計算每個子區(qū)域應(yīng)占的權(quán)值比重，如表1所示。

表1　人臉子區(qū)域的編號與權(quán)值

使用相同的FERET人臉數(shù)據(jù)庫，在相同的實驗環(huán)境下，選取了Gabor局部二值模式（LGBP）算法[17]、SIFT算法、AAM+SIFT算法進行對比實驗。如表2所示，相比于AAM+SIFT算法，本文采用的基于回歸的LBF的人臉校準能夠?qū)μ卣鼽c進行更加快速的定位，加快了特征提取的速度。相比于SIFT算法，由于本文算法只對對應(yīng)的特征點進行對比，提高了匹配速度，從而提高了整體的識別速度。

表2　算法的耗時比較

由于通過人臉校準定位特征點，可以消除平面內(nèi)人臉位移對識別率的影響。采用不同偏轉(zhuǎn)角度的人臉進行實驗，如表3所示，隨著角度變化的增大，人臉算法的識別率都有所降低。相比LGBP算法與SIFT算法，本文算法對垂直平面的角度旋轉(zhuǎn)也具有魯棒性。

表3　角度變化識別率比較　%

LGBP算法對人臉圖像進行了多尺度方向的Gabor變換，然后再進行LBP的特征提取，使算法具有了對表情變化的魯棒性。采用具有表情變化的人臉進行實驗，如表4所示，由于采用對不同子區(qū)域進行加權(quán)，人臉的表情變化對本文算法的影響比LGBP算法小。

表4　表情變化識別率比較　%

4　結(jié)語

人臉的校準工作定位了人臉幾何特征的位置，為之后的人臉識別提供更加精準的人臉區(qū)域，對識別率的提高有著不可忽視的作用。人臉特征點定位算法的高效、快速，以及快速匹配算法的使用，提高了整體算法的識別速度。對特征點鄰域的梯度描述，提取出了足以能夠區(qū)分不同人臉的特征，通過對不同區(qū)域特征點的加權(quán)，提高了算法對姿態(tài)以及角度變化的魯棒性。由于遮擋等問題對局部人臉識別算法的影響較大，下一步的工作可以通過基于局部特征描述的本文算法和基于整體的人臉分類算法相融合，從而提高整體的識別率。

參考文獻

[1]吳巾一，周德龍.人臉識別方法綜述[J].計算機應(yīng)用研究，2009 （9）：3205?3209.

[2]HARRIS C.A combined corner and edge detector[C]//Procee?dings of the 4th Alvey Vision Conference.Manchester：[s.n.]，1988，3：147?151.

[3]BELHUMEUR P，HESPANHA P，KRIEGMAN D，et al.Re?cognition using class specific linear projection[C]//Procee?dings of 2006 Conference on Pattern Analysis and Machine In?telligence.[S.l.]：IEEE，1997：711?720.

[4]KADYROVA N O，PAVLOVA L V.Statistical analysis of big data：an approach based on support vector machines for classi?fication and regression problems[J].Biophysics，2014，59（3）：364?373.

[5]LOWE D G.Distinctive image features from scale?invariant key?points[J].International Journal of Computer Vision，2004，60 （2）：91?110.

[6]BICEGO M，LAGORIO A，GROSSO E，et al.On the use of SIFT features for face authentication[C]//Proceedings of 2006 Conference on Computer Vision and Pattern Recognition Work?shop.New York：IEEE，2006：35?41.

[7]王永明，王貴錦.圖像局部不變性特征與描述[M].北京：國防工業(yè)出版社，2010：130?135.

[8]KASS M，WITKIN A，TERZOPOULOS D.Snakes：active con?tour models[J].International Journal of Computer Vision，1988，1（4）：321?331.

[9]COOTES T F，TAYLOR C J，COOPER D H，et al.Active shape models?their training and application[J].Computer Vi?sion and Image Understanding，1995，61（1）：38?59.

[10]COOTES T F，EDWARDS G J，TAYLOR C J.Active appea?rance models[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23（6）：681?688.

[11]CRISTINACCE D，COOTES T F.Feature detection and tra?cking with constrained local models[C]//Proceedings of the British Machine Vision Conference.Edinburgh：[s.n.]，2006，41：929?938.

[12]GOOL L V.Real?time facial feature detection using conditional regression forests[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition.Rhode Island：IEEE，2012：2578?2585.

[13]DOLLAR P，WELINDER P，PERONA P.Cascaded pose re?gression[C]//Proceedings of 2010 IEEE Conference on Com?puter Vision and Pattern Recognition.San Francisco：IEEE，2010：1078?1085.

[14]REN S，CAO X，WEI Y，et al.Face alignment at 3000 FPS via regressing local binary features[C]//Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recogni?tion.Columbus：IEEE，2014：1685?1692.

[15]CAO X D，WEI Y C，WEN F，et al.Face alignment by ex?plicit shape regression[C]//Proceedings of 2012 Conference on Computer Vision and Pattern Recognition.Rhode Island：IEEE，2012：2887?2894.

[16]FAN R E，CHANG K W，HSIEH C J，et al.LIBLINEAR：a library for large linear classification[J].Journal of Machine Learning Research，2008，9（12）：1871?1874.

[17]ZHANG Wenchao，SHAN Shiguang，GAO Wen，et al.Local Gabor binary pattern histogram sequence（LGBPHS）：a novel non?statistical model for face representation and recognition [C]//Proceedings of the Tenth IEEE International Conference on Computer Vision.[S.l.]：IEEE，2005，1：786?791.

陳云（1987—），女，碩士研究生。研究領(lǐng)域為圖像處理、模式識別。

華繼釗（1968—），男，博士，副教授，研究生導(dǎo)師。研究方向為計算機應(yīng)用、模式識別。

中圖分類號：TN911.73?34；TP391.4

文獻標識碼：A

文章編號：1004?373X（2016）03?0023?04

doi：10.16652/j.issn.1004?373x.2016.03.006

收稿日期：2015?09?07

基金項目：國家自然科學(xué)基金項目（60875004）

作者簡介：李文洋（1990—），男，碩士研究生。研究方向為圖像處理、模式識別。

Face recognition based on SIFT descriptor in feature point neighbourhood

LI Wenyang，CHEN Yun，HUA Jizhao
（College of Information Engineering，Yangzhou University，Yangzhou 225127，China）

Abstract：The scale invariant feature transform（SIFT）in face recognition algorithm is one of the important descriptive ap?proaches of the face local features.In traditional SIFT method，because the coordinates of the feature points are determined ac?cording to the local extreme point of Gaussian difference space，which leads to difficult match of the feature point.The face is calibrated by local binary feature based on linear regression to determine the location of the feature point which is meaningful to the face.The face local feature is described by the invariant characteristic of SIFT feature descriptor，which can effectively im?prove the face recognition speed and recognition rate.The region weighing for feature point has certain robustness to the face pos?ture change and face angle deflection.

Keywords：local binary feature；linear regression；feature point；SIFT feature descriptor