楊　敏，賴(lài)惠成，董九玲，班俊碩，林憲峰

(新疆大學(xué) 信息科學(xué)與工程學(xué)院,烏魯木齊　830046)

?

改進(jìn)SIFT融合五官特征的旋轉(zhuǎn)人臉檢測(cè)算法

楊敏，賴(lài)惠成，董九玲，班俊碩，林憲峰

(新疆大學(xué) 信息科學(xué)與工程學(xué)院,烏魯木齊830046)

為了有效解決由于采集設(shè)備位置的不理想或被檢測(cè)者不知情等情況下，采集到的人臉圖像不是正面的，進(jìn)而造成人臉的誤檢和錯(cuò)檢等問(wèn)題；首先，將主成分分析(PCA)與尺度不變特征變換(SIFT)方法結(jié)合，分別利用PCA方法的降維和SIFT算法的旋轉(zhuǎn)、平移、縮放及部分仿射不變性快速完成旋轉(zhuǎn)人臉的初檢測(cè)；然后，利用人臉五官特征對(duì)人臉進(jìn)行矯正與標(biāo)定，提升檢測(cè)準(zhǔn)確率；最后，通過(guò)改進(jìn)AdaBoost方法訓(xùn)練人臉?lè)诸?lèi)器并計(jì)算關(guān)鍵點(diǎn)匹配率，完成旋轉(zhuǎn)人臉準(zhǔn)確檢測(cè)；實(shí)驗(yàn)結(jié)果表明：與傳統(tǒng)方法相比，該方法保證了高檢測(cè)率，同時(shí)錯(cuò)檢率也明顯下降。

SIFT特征；主成分分析；五官特征；改進(jìn)AdaBoost；人臉檢測(cè)

0　引言

圖像處理技術(shù)[1]是當(dāng)前熱點(diǎn)話題。其中包括人臉檢測(cè)[2]、人臉識(shí)別[3]和人臉圖像分割[4]等各類(lèi)問(wèn)題。人臉檢測(cè)為比較活躍地研究課題，其正確率會(huì)影響系統(tǒng)整體性能和效率。對(duì)于正面人臉檢測(cè)，當(dāng)前已經(jīng)有眾多方法可以快速而準(zhǔn)確地對(duì)其進(jìn)行檢測(cè)。但在實(shí)際應(yīng)用中，很多情況下會(huì)因?yàn)閳D像采集設(shè)備位置不佳以及被檢測(cè)者有意或無(wú)意的不配合造成采集到的人臉圖像不是正面圖像。所以，旋轉(zhuǎn)的人臉檢測(cè)[5]研究就顯得非常重要。而由于旋轉(zhuǎn)人臉特征復(fù)雜，與之對(duì)應(yīng)的研究相對(duì)比較缺乏。Li Stan Z[6]等人通過(guò)改進(jìn)AdaBoost方法來(lái)實(shí)現(xiàn)旋轉(zhuǎn)人臉檢測(cè)；Sayantan Thakur[7]等通過(guò)膚色空間的閾值作為限制條件進(jìn)行人臉檢測(cè)；孫圣鵬[8]等通過(guò)自旋圖描述對(duì)人物圖像采取角度的校正。以上幾種算法能夠很好的檢測(cè)正面人臉，但對(duì)于有一定偏轉(zhuǎn)角度的人臉來(lái)說(shuō)仍然有準(zhǔn)確率低和誤檢率高等問(wèn)題。因此，為了有效降低旋轉(zhuǎn)人臉檢測(cè)的漏檢率和誤檢率，利用SIFT算法[9-10]的旋轉(zhuǎn)不變性，結(jié)合人臉五官特征、PCA[11]及改進(jìn)的AdaBoost[12]方法訓(xùn)練出較優(yōu)地人臉?lè)诸?lèi)器，實(shí)現(xiàn)旋轉(zhuǎn)人臉準(zhǔn)確定位和檢測(cè)。

1　算法的基本原理

1.1SIFT算法

SIFT特征 (scale invariant feature transform，尺度不變特征變換) 作為計(jì)算機(jī)視覺(jué)的一種算法，用來(lái)檢測(cè)與描述影像之中的局部特征。由于旋轉(zhuǎn)人臉有小角度偏移、旋轉(zhuǎn)特性與五官位置相對(duì)不變等優(yōu)點(diǎn)，而SIFT自身有很強(qiáng)的匹配能力，能夠處理兩幅圖間的平移、旋轉(zhuǎn)等問(wèn)題。所以，利用SIFT特征方法提取人臉基本特征尤為合適，SIFT方法重點(diǎn)包括4個(gè)方面。

1.1.1關(guān)鍵點(diǎn)的檢測(cè)

為了簡(jiǎn)化計(jì)算提高效率，采用DoG(Difference of Gaussians，高斯差分算子)算子在計(jì)算上相鄰尺度高斯平滑后圖像相減原則近似代替了LoG(Laplacion of Gaussian)算子來(lái)建立圖像地差分尺度空間。在差分圖像及尺度3 維空間中搜索極值點(diǎn)并作為潛在尺度與旋轉(zhuǎn)不變特征點(diǎn)。尺度不相同的高斯函數(shù)與人臉圖像卷積運(yùn)算如式(1)，而想要更好檢測(cè)到穩(wěn)定關(guān)鍵點(diǎn)，用式(2)實(shí)現(xiàn)，具體過(guò)程如圖1所示。

(1)

(2)

其中：σ是高斯函數(shù)方差，σ足夠小就代表圖像平滑越少，尺度就越小，k是常數(shù)。

圖1　Gaussian 金字塔與DOG 金字塔建立過(guò)程

1.1.2關(guān)鍵點(diǎn)的精確定位

想要提升定位精度，就要對(duì)得到地所有候選關(guān)鍵點(diǎn)通過(guò)更進(jìn)一步檢驗(yàn)，排除掉邊緣點(diǎn)與低對(duì)比度點(diǎn)才可以準(zhǔn)確定位成特征點(diǎn)?？梢岳毛@取特征點(diǎn)處Hessian矩陣消除邊緣點(diǎn)。

1.1.3關(guān)鍵點(diǎn)的方向匹配

采用尺度不變性求得極值點(diǎn)，能夠讓它擁有縮放不變性，采用關(guān)鍵點(diǎn)鄰域像素梯度方向的分布特點(diǎn)，為所有關(guān)鍵點(diǎn)確定方向參數(shù)。再利用計(jì)算所有極值點(diǎn)的梯度給極值點(diǎn)指明方向。

關(guān)鍵點(diǎn)方向確定通過(guò)梯度直方圖統(tǒng)計(jì)法得到，方向直方圖生成過(guò)程如圖2所示。

圖2　方向直方圖的生成

1.1.4SIFT特征向量的生成

把坐標(biāo)軸旋轉(zhuǎn)成為特征點(diǎn)主方向，將特征點(diǎn)作為中點(diǎn)，取8×8窗口，再在4×4小塊上計(jì)算8個(gè)梯度方向累加值，得出各個(gè)方向的直方圖，由此得到一個(gè)特征描述子，具體如圖3。統(tǒng)計(jì)以特征點(diǎn)為中心地局部區(qū)域梯度，得到SIFT 特征向量。

圖3　SIFT 特征描述子的生成

由于是SIFT特征能較好地體現(xiàn)出圖片的特征，就會(huì)因?yàn)閭€(gè)體的人臉差異使得關(guān)鍵點(diǎn)分布很不相同。如圖4，箭頭起點(diǎn)是關(guān)鍵點(diǎn)，箭頭長(zhǎng)度和方向表示尺度和方向。可以看到，表情、發(fā)型等的不同都會(huì)對(duì)特征點(diǎn)產(chǎn)生影響。所以，單靠SIFT法很難很好地完成人臉檢測(cè)。另外，從圖中還可以看出，每張人臉的眼角，鼻側(cè)、嘴角等處的關(guān)鍵點(diǎn)有一定相似性，表明了這些關(guān)鍵點(diǎn)是可以表示人臉的公共信息的。因此，采用改進(jìn)的SIFT法并與其它方法完美結(jié)合是可以完成人臉檢測(cè)的。

圖4　人臉的SIFT特征

1.2通過(guò)PCA降維提高 SIFT 方法效率

PCA(principal component analysis)是常用的基于變量協(xié)方差矩陣對(duì)信息進(jìn)行處理與壓縮的可靠算法。算法的中心思想是：通過(guò)少量數(shù)據(jù)特征描述樣本完成降維。

盡管SIFT是一種能力非常強(qiáng)的算子，但算法的復(fù)雜度相對(duì)較高，對(duì)于每個(gè)特征點(diǎn)都用128維的向量表示，如果一幅圖特征較多，就會(huì)花費(fèi)較多時(shí)間。所以，考慮到利用降低維度的思想來(lái)提升效率。把PCA方法與SIFT方法互相結(jié)合起來(lái)節(jié)省處理時(shí)間。具體的處理方法是：在41×41的圖像塊上來(lái)計(jì)算39×39×2個(gè)梯度的導(dǎo)數(shù)，獲得3042維向量之后再利用PCA算法將其降到36維，這是與SIFT方法利用4×4×8描述子處理方法不相同的，也因此提高了運(yùn)算的速度。

2　融合五官特征的人臉檢測(cè)

人臉特征，特別是眼部和嘴部特征的精確定位是人臉檢測(cè)、人臉識(shí)別以及表情分析等研究的一個(gè)重要的環(huán)節(jié)。一般人臉檢測(cè)方法經(jīng)常會(huì)出現(xiàn)把背景或者其它不是人臉的區(qū)域錯(cuò)判為人臉區(qū)，就帶來(lái)了大量的誤檢和錯(cuò)檢問(wèn)題，極大地影響了準(zhǔn)確率。因此，本文也利用五官特征的眼部與嘴部特征的定位來(lái)提升人臉檢測(cè)正確率。

五官作為人臉主要的特征，我們可通過(guò)對(duì)比度裁減關(guān)鍵點(diǎn)。這樣就可以減少背景及其它非人臉區(qū)域?qū)θ四槞z測(cè)的影響，也減少了關(guān)鍵點(diǎn)的數(shù)量，提高了效率。在此利用對(duì)比度加權(quán)和模板融合法裁減關(guān)鍵點(diǎn)。要滿足旋轉(zhuǎn)人臉檢測(cè)，所需的模板也要能夠適合于不同角度的人臉，所以模板要具有旋轉(zhuǎn)對(duì)稱(chēng)性。而眼部和嘴部關(guān)鍵點(diǎn)對(duì)比度會(huì)由于光線強(qiáng)弱的不同而不同。這里利用環(huán)形模板來(lái)克服光照的影響，根據(jù)光照強(qiáng)度的不同改變內(nèi)圈權(quán)值，提高算法對(duì)光照的適應(yīng)度。

為了彌補(bǔ)加權(quán)后一些關(guān)鍵點(diǎn)過(guò)大或過(guò)小，利用高斯歸一化法來(lái)降低這種影響，具體如式(3)：

(3)

圖5　人眼、嘴部特征定位

3　改進(jìn)SIFT-AdaBoost的旋轉(zhuǎn)人臉檢測(cè)

通過(guò)SIFT特征得到的關(guān)鍵點(diǎn)分為個(gè)體和公共兩種關(guān)鍵點(diǎn)。需要留下公共關(guān)鍵點(diǎn)，而除去個(gè)體關(guān)鍵點(diǎn)。由于公共特征關(guān)鍵點(diǎn)含有一定的規(guī)律，因此，可以采用對(duì)關(guān)鍵點(diǎn)分類(lèi)地方式來(lái)獲取。

AdaBoost為一種迭代思想地方法，采用改變每個(gè)樣本權(quán)值實(shí)現(xiàn)，對(duì)分類(lèi)正確的樣本降低其權(quán)值，反之增大其權(quán)值，這樣可以加大對(duì)分類(lèi)困難樣本關(guān)注度，最終構(gòu)成一個(gè)強(qiáng)分類(lèi)器。通過(guò)多次迭代訓(xùn)練，最后得到一個(gè)包含人臉公共特征關(guān)鍵點(diǎn)集的公共人臉特征分類(lèi)器。具體實(shí)現(xiàn)分為以下4個(gè)過(guò)程：

1)采用遍歷的方法選擇檢測(cè)區(qū)域圖像，直到接近圖像的尺寸。

2)通過(guò)計(jì)算檢測(cè)區(qū)域SIFT特征值來(lái)裁剪關(guān)鍵點(diǎn)集，并且計(jì)算關(guān)鍵點(diǎn)方向。

3)將檢測(cè)區(qū)域的SIFT特征選擇的關(guān)鍵點(diǎn)與訓(xùn)練得到的特征集循環(huán)進(jìn)行匹配。

4)無(wú)論匹配成功與否，都會(huì)乘以置信權(quán)值，重要的關(guān)鍵點(diǎn)權(quán)值較大，對(duì)結(jié)果的影響較大。反之，對(duì)結(jié)果的影響較小。利用這種加權(quán)算法，有效解決了因?yàn)閭€(gè)體差異引起的檢測(cè)不穩(wěn)定的問(wèn)題。具體如式(4)：

(4)

其中：ωi是第i個(gè)關(guān)鍵點(diǎn)置信加權(quán)值，Si是第i個(gè)關(guān)鍵點(diǎn)相似度，S∈(0,1)是區(qū)域存在人臉的可能性，1代表存在人臉，0代表不存在人臉。通過(guò)實(shí)驗(yàn)驗(yàn)證得出該閾值取在0.6到0.7之間會(huì)得到很好的人臉檢測(cè)效果。另外，通過(guò)置信權(quán)值對(duì)關(guān)鍵點(diǎn)的加權(quán)計(jì)算，可以得到較準(zhǔn)確的旋轉(zhuǎn)角度，如式(5)。

(5)

其中：ωi是第i個(gè)關(guān)鍵點(diǎn)置信加權(quán)值，θi是關(guān)鍵點(diǎn)住方向，θm是人臉旋轉(zhuǎn)角度。通過(guò)此方法可以較好實(shí)現(xiàn)旋轉(zhuǎn)人臉檢測(cè)。

4　實(shí)驗(yàn)結(jié)果分析

本文算法全過(guò)程都是在VS2010+OpenCV2.3.1軟件下開(kāi)發(fā)實(shí)現(xiàn)的，為了檢驗(yàn)本文算法的旋轉(zhuǎn)人臉檢測(cè)性能，選擇了來(lái)自CMU旋轉(zhuǎn)測(cè)試集和視頻截圖、互聯(lián)網(wǎng)圖像和相機(jī)拍攝的旋轉(zhuǎn)圖像共145張，360個(gè)人臉。并與AdaBoost方法、FloatBoost方法、文獻(xiàn)[13]的方法作對(duì)比，對(duì)比效果如表1和表2。

表1　旋轉(zhuǎn)人臉檢測(cè)統(tǒng)計(jì)結(jié)果

表2　不同分辨率下的旋轉(zhuǎn)人臉檢測(cè)耗時(shí)統(tǒng)計(jì)結(jié)果

由表1可以看出，單純的AdaBoost方法、FloatBoost方法與膚色分割進(jìn)行旋轉(zhuǎn)人臉檢測(cè)是不精確的，本文創(chuàng)新之處在于采用改進(jìn)的SIFT-AdaBoost方法并融合了五官特征定位，錯(cuò)檢和漏檢率明顯減小，檢測(cè)率有了很大的提高，能夠克服復(fù)雜條件對(duì)圖像的影響并能正確檢測(cè)出旋轉(zhuǎn)人臉圖像中的全部人臉信息，對(duì)人臉的定位更加準(zhǔn)確。由表2可以看出，當(dāng)分辨率較低的時(shí)候，因?yàn)檫\(yùn)算量小，相比其它方法時(shí)間上的優(yōu)勢(shì)體現(xiàn)的并不明顯。當(dāng)提高分辨率時(shí)，因?yàn)楸疚姆椒〞?huì)直接分析特征，并且確定角度，所以，相比于其它算法，運(yùn)算量明顯降低，速率上有很大的提高。這就使得本文方法更適用于較高分辨率的實(shí)時(shí)監(jiān)控人臉的檢測(cè)與識(shí)別，并且能夠得到較高質(zhì)量的人臉圖像。更多的實(shí)驗(yàn)結(jié)果如圖6所示。

圖6　旋轉(zhuǎn)人臉檢測(cè)效果

由圖6可以看出，對(duì)于光照、復(fù)雜背景、有部分遮擋(胡須、眼鏡等)和不同大小等條件下的人物圖像，通過(guò)本文算法都能體現(xiàn)出很好的人臉檢測(cè)正確性與可靠性。

5　結(jié)束語(yǔ)

本文提出一個(gè)旋轉(zhuǎn)人臉檢測(cè)新方法。該方法先通過(guò)人臉五官特征對(duì)人臉進(jìn)行矯正和標(biāo)定。再將改進(jìn)的SIFT特征和AdaBoost方法完美融合，訓(xùn)練得出一個(gè)普遍適用的公共人臉SIFT特征集，并且利用SIFT的尺度不變性，完成圖像中多角度的人臉信息檢測(cè)。實(shí)驗(yàn)分析表明，本文的算法不但對(duì)旋轉(zhuǎn)人臉有很好的檢測(cè)效果，而且對(duì)于光照不均勻、多姿態(tài)表情、有部分遮擋(眼鏡、胡須等)影響和復(fù)雜背景等多種情況下的人臉也有較好的檢測(cè)效果，能較好處理漏檢與錯(cuò)檢問(wèn)題，具有較高準(zhǔn)確率、創(chuàng)新性與檢測(cè)速度，是一種有效實(shí)用的人臉檢測(cè)方法。未來(lái)工作將重點(diǎn)提高對(duì)極度旋轉(zhuǎn)人臉圖像檢測(cè)準(zhǔn)確率。

[1] 陳錢(qián). 紅外圖像處理技術(shù)現(xiàn)狀及發(fā)展趨勢(shì)[J]. 紅外技術(shù),2013,35(6): 311-318.

[2] Liu C H J,Yang J. ICA color space for pattern recognition [J].IEEE Trans. Neural Networks,2009,20 (2):248-257.

[3] Choi J Y,Ro Y M,Plataniotis K N. Boosting colorfeature selection for color face recognition [J]. IEEE Trans. Image Processing,2011,20(5): 1425-1434.

[4] Shoyaib M,Abdullah-Al-Wadud M,Chae O. A skin detection approach based on the Dempster-Shafer theory of evidence [J]. International Journal of Approximate Reasoning,2012,53(4):636-659.

[5] Li B,Yang A M,Yang J. Rotated face detection using AdaBoost [A]. 2010 2nd International Conference on Information Engineering and Computer Science (ICIECS)[C]. 2010:1-4.

[6] Li S Z，Zhang Z Q. Floatboost learning and statistical face detection [J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26( 9) : 1112-1123.

[7] Sayantan T. Face detection using skin tone segmentation [A]. Proceedings of 2011 World Congress on Information and Communication Technologies (WICT). Mumbai: Information and Communication Technologies Proceeding[C]. 2011: 53-60.

[8] 孫圣鵬，宋明黎，卜佳俊,等．鼻子區(qū)域檢測(cè)與三維人臉姿態(tài)自動(dòng)化校正 [J]．計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013，25(1) : 34-41.

[9] Song Zymanski J．Well-distributed SIFT features [J]． Electronics Letters，2009，45(6):308-310.

[10] Bastanlar Y,Temizel A，Yardmc Y． Improved SIFT matching for image pairs with scale difference [J]． Electronics Letters，2010，46(5) : 346-348.

[11] Yang J,Zhang D,Frangi A F,et al.Two-dimensional PCA: a new approach to appearance based face representation and recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(1): 131-137.

[12] Viola P，Jones M J. Robust real-time face detection[J].International Journal of Computer Vision. 2004，57(2):137-154.

[13] 王建國(guó)，王江濤，楊靜宇. 復(fù)雜背景彩色圖像中多角度人臉檢測(cè) [J]．計(jì)算機(jī)工程，2008，34(3): 210-212.

Face Detection Rotation Based on Improved SIFT Integration of facial features

Yang Min,Lai Huicheng,Dong Jiuling,Ban Junshuo,Lin Xianfeng

(College of Information Science and Engineering,Xinjiang University,Urumqi830046,China)

In order to effectively solve the location of acquisition device is not ideal,collected face image is not positive,and cause false detection and error detection. First,the principal component analysis (PCA) and the Scale Invariant Feature Transform (SIFT) algorithm combined,respectively rotary dimensionality reduction and SIFT algorithm PCA algorithm,pan,zoom,and quickly rotating part affine invariant face early detection. Then,using the facial features of a human face human face correction and calibration,improve face detection accuracy. Finally,the improved algorithm AdaBoost face classifier training and match rate calculation of key points,complete and accurate detection of the rotation face. The results showed that: compared with the traditional method false detection rate was significantly reduced, at the same time ensure a high detection rate.

SIFT features; principal component analysis; facial features; binary morphology; improved AdaBoost; face detection

1671-4598(2016)04-0189-04DOI：10.16526/j.cnki.11-4762/tp.2016.04.055

TP391

A

2015-10-17；

2015-11-10。

國(guó)家自然科學(xué)基金資助項(xiàng)目(61561048)； 新疆維吾爾自治區(qū)科學(xué)基金資助項(xiàng)目(2015211C257)。

楊敏(1990-)，男,陜西寶雞人，碩士研究生，主要從事通信與信息系統(tǒng)，圖像處理方向的研究。

賴(lài)惠成(1963-)，男，四川德陽(yáng)人，教授，碩士生導(dǎo)師，主要從事通信與信息系統(tǒng)，圖像處理等方向的研究。