阮曉虎, 李衛(wèi)軍, 覃鴻, 董肖莉, 張麗萍

（中國科學(xué)院半導(dǎo)體研究所 高速電路與神經(jīng)網(wǎng)絡(luò)實驗室，北京 100083）

?

一種基于特征匹配的人臉配準(zhǔn)判斷方法

阮曉虎, 李衛(wèi)軍, 覃鴻, 董肖莉, 張麗萍

（中國科學(xué)院半導(dǎo)體研究所 高速電路與神經(jīng)網(wǎng)絡(luò)實驗室，北京 100083）

現(xiàn)有的人臉識別應(yīng)用系統(tǒng)大都忽略了人臉配準(zhǔn)的檢查，造成“誤配準(zhǔn)災(zāi)難”，導(dǎo)致識別性能下降。因此，對規(guī)格化后的人臉圖像進(jìn)行判斷篩選，以保證只有正確配準(zhǔn)的人臉圖像才能用于后續(xù)識別。選用一定數(shù)量正確配準(zhǔn)的規(guī)格化人臉圖像平均值作為標(biāo)準(zhǔn)人臉，用SIFT關(guān)鍵點定位方法得到標(biāo)準(zhǔn)人臉的多個關(guān)鍵點，采用分塊的梯度方向直方圖統(tǒng)計方法提取關(guān)鍵點的鄰域圖像特征；然后，將標(biāo)準(zhǔn)人臉的關(guān)鍵點位置作為待檢測人臉的定位點，用同樣的方法提取定位點的鄰域圖像特征；計算待檢圖像與標(biāo)準(zhǔn)人臉圖像對應(yīng)關(guān)鍵點的特征矢量相似度，設(shè)定合理閾值判斷待檢測圖像是否配準(zhǔn)。實驗證明，該方法能有效去除誤配準(zhǔn)人臉圖像，有利于提高人臉識別系統(tǒng)的可靠性。

人臉識別；圖像規(guī)格化；配準(zhǔn)判斷；圖像特征；SIFT描述子；梯度方向直方圖；關(guān)鍵點定位；圖像匹配

人臉識別是利用計算機技術(shù)通過人臉的圖像信息辨別不同身份的技術(shù)，迄今已有近50年的歷史。人臉識別的一般步驟是采集圖像數(shù)據(jù)、圖像預(yù)處理、人臉定位、人臉圖像規(guī)格化、人臉特征提取、特征匹配。在單人臉識別或者人臉注冊等過程中，為了保證人臉特征庫和用于識別的人臉圖像特征的統(tǒng)一性，必須保證規(guī)格化后的人臉圖像在眼睛、鼻子、嘴巴等部位的相對位置與標(biāo)準(zhǔn)人臉精確配準(zhǔn)。人臉配準(zhǔn)問題首先是由山世光等提出[1]，是指在人臉識別過程中，測試圖片與訓(xùn)練圖片的關(guān)鍵部位的位置是否匹配。文獻(xiàn)[1]指出：大多數(shù)被錯誤識別的樣本完全可以通過精確調(diào)整眼睛的位置得到正確的識別結(jié)果，也就是說，識別性能的下降很大程度上是由于自動定位的眼睛位置不夠準(zhǔn)確造成的。在實際應(yīng)用中，由人臉誤配準(zhǔn)問題引起的識別率的下降時有發(fā)生。因此，在人臉識別系統(tǒng)中，保證規(guī)格化后用于識別的人臉圖像的正確配準(zhǔn)變得越來越重要。

1 相關(guān)工作

誤配準(zhǔn)對于人臉識別系統(tǒng)的不同階段有著不同的影響，對于人臉特征庫建模階段，誤配準(zhǔn)將導(dǎo)致人臉特征庫的信息不準(zhǔn)確，直接造成系統(tǒng)拒絕識別或者識別為他人，對于識別階段，誤配準(zhǔn)將導(dǎo)致識別率嚴(yán)重下降。文獻(xiàn)[2]討論了DAGR對誤配準(zhǔn)程度的魯棒性雖比Fisher face方法強，但還是一定程度的造成了“誤配準(zhǔn)災(zāi)難”。

解決“誤配準(zhǔn)災(zāi)難”問題有2條技術(shù)途徑：1）提高人臉圖像配準(zhǔn)的精確度及采用魯棒性強的特征，文獻(xiàn)[3-5]從精確人臉定位的方法入手，很大程度地改善了人臉配準(zhǔn)，文獻(xiàn)[6]通過構(gòu)建多層次人臉配準(zhǔn)算法，矯正了人臉圖像，文獻(xiàn)[7]比較分析了3種不同的技術(shù)ASM（active shape model）、CLM（constrained local model）、 AAM（active appearance model）用于自動高密集度標(biāo)記的人臉配準(zhǔn)方法，得到了較好的配準(zhǔn)效果，盡管如此，人臉定位仍然存在一定概率的錯誤，目前還不存在理想的人臉定位算法；2）在人臉識別系統(tǒng)的“特征提取”步驟之前，對規(guī)格化人臉圖像進(jìn)行配準(zhǔn)判斷，去除錯誤配準(zhǔn)的圖像，防止誤配準(zhǔn)圖像進(jìn)入后續(xù)流程而造成識別性能的下降。

本文從消除誤配準(zhǔn)的思路出發(fā)，提出一種人臉配準(zhǔn)的判斷方法，根據(jù)SIFT的關(guān)鍵點定位理論[9,14-16]，使用一種基于關(guān)鍵點鄰域分塊梯度方向直方圖統(tǒng)計的圖像特征提取方法提取待檢測圖像和標(biāo)準(zhǔn)人臉的特征，依據(jù)待檢測圖像與標(biāo)準(zhǔn)人臉圖像的特征匹配相似度來判斷人臉圖像是否正確配準(zhǔn)。

2 算法流程

2.1 算法框架

針對人臉識別中規(guī)格化完成后的人臉圖像，本算法通過比較待測圖像與標(biāo)準(zhǔn)人臉的特征相似度來實現(xiàn)配準(zhǔn)判斷，以篩選用于識別的定位正確的人臉圖像。算法步驟為：1）通過現(xiàn)有的人臉定位程序，對人臉庫中圖像進(jìn)行定位，經(jīng)過圖像分割規(guī)格化后選出500張正確配準(zhǔn)的人臉圖片，求平均人臉圖像作為標(biāo)準(zhǔn)人臉（此處選取定位正確的圖片是在統(tǒng)一光照條件下，去除了表情等因素影響的圖片，作為算法的先驗知識）；2）用SIFT關(guān)鍵點定位算法在標(biāo)準(zhǔn)人臉上確定關(guān)鍵點K（K的信息包含位置KL，個數(shù)P），并用本文基于關(guān)鍵點鄰域梯度方向直方圖統(tǒng)計的方法提取標(biāo)準(zhǔn)人臉圖像特征，將該特征作為標(biāo)準(zhǔn)矢量模板（記為ST）；3）將標(biāo)準(zhǔn)人臉的關(guān)鍵點應(yīng)用為待測試人臉圖像的定位點，同樣由本文基于關(guān)鍵點鄰域梯度方向直方圖統(tǒng)計的方法提取待測試人臉定位點的圖像特征（記為MT）；4）求標(biāo)準(zhǔn)人臉特征ST與待測試人臉特征MT的余弦相似度，標(biāo)記大于設(shè)定閾值的圖像為正確配準(zhǔn)的圖像，否則，標(biāo)記為錯誤配準(zhǔn)的圖像。算法流程如圖1所示。

圖1 本文算法流程

2.2 標(biāo)準(zhǔn)矢量模板的產(chǎn)生

2.2.1 標(biāo)準(zhǔn)人臉的產(chǎn)生

本算法中用到的標(biāo)準(zhǔn)人臉是定位正確人臉圖像的參考圖像，這決定了本算法的操作對象是預(yù)處理完成后與標(biāo)準(zhǔn)人臉具有相同規(guī)格的規(guī)格化人臉圖像。下面介紹一種人臉識別中關(guān)于人臉定位、切割及規(guī)格化的實現(xiàn)方法，也是本文實驗部分所使用的人臉預(yù)處理方法。

對于初步預(yù)處理完成的人臉圖像，采用文獻(xiàn)[17]中給出的基于圖像幾何復(fù)雜度的方法進(jìn)行人臉定位，獲得人臉的雙眼坐標(biāo)位置和臉部區(qū)域如圖2（a）所示。根據(jù)兩眼連線與圖像水平線的角度θ確定人臉是否為正面人臉，并旋轉(zhuǎn)有偏斜的人臉圖像使之成為正面人臉。根據(jù)文獻(xiàn)[5]中的人臉切分尺寸結(jié)合實驗修正，對旋轉(zhuǎn)完成后的人臉圖像按圖2（b）所示的尺寸對圖像做切割，其中d為眼矩（即雙眼之間的距離），圖像左右邊緣到眼睛的距離均為0.7d，上邊緣到兩眼中間距離為0.8d，下邊緣到兩眼中間距離為1.6d，切割完成的圖像如圖2（c）。對切割完成的人臉圖像規(guī)格化為40×40，如圖2（d）所示。

圖2 人臉切割

應(yīng)用上述方法，選擇500張定位正確的規(guī)格化后的圖像求得平均人臉，將該平均人臉設(shè)定為標(biāo)準(zhǔn)人臉。需要注意的是，當(dāng)使用不同的定位、切割及規(guī)格化方法時，標(biāo)準(zhǔn)人臉需要使用新的規(guī)格化圖像重新產(chǎn)生。

2.2.2 選取關(guān)鍵點

本文人臉定位配準(zhǔn)檢測的關(guān)鍵點采用標(biāo)準(zhǔn)人臉圖像的SIFT關(guān)鍵點。圖像的SIFT關(guān)鍵點由如下步驟得到，對圖像I，1）由式（1）構(gòu)建圖像的尺度空間L，即

L（x,y,σ）=G（x,y,σ）×I（x,y）

（1）

G（x,y,σ）=exp（-（x2+y2）/2σ2）/2πσ2

式中：I（x,y）為點（x,y）像素值，σ為尺度因子。2）建立圖像的高斯金字塔（difference of Gaussian, DOG），記為D（x,y,σ），在DOG空間中檢測局部極值。D（x,y,σ）由式（2）得到

D（x,y,σ）=（D（x,y,kσ）-D（x,y,σ））×I（x,y）=

L（x,y,kσ）-L（x,y,σ）

（2）

式中：k表示在尺度空間L中不同尺度級的索引，此處，kσ與σ表示差分的圖像尺度空間為2個相鄰的尺度級。在DOG空間中，如果檢測到某像素值在本層及相鄰層中是局部極值，即認(rèn)為該點是圖像的一個關(guān)鍵點。局部極值檢測如圖3所示。

圖3 DOG空間極值點檢測

用2.2.1節(jié)得到的標(biāo)準(zhǔn)人臉經(jīng)過以上SIFT關(guān)鍵點提取得到關(guān)鍵點K，表示為

關(guān)鍵點的選取基于這樣一個事實：對于定位正確的人臉，按統(tǒng)一的人臉切割方法得到的人臉圖像在眼睛、鼻子、嘴巴等關(guān)鍵部位必定有著相同的相對位置，相應(yīng)地，如果人臉定位超過一定偏差，剪切后的人臉圖像在上述關(guān)鍵部位與標(biāo)準(zhǔn)人臉必定無法配準(zhǔn)。需要注意的是，在不同的算法應(yīng)用中，標(biāo)準(zhǔn)人臉的SIFT關(guān)鍵點位置和數(shù)目可能不同。但是，選取標(biāo)準(zhǔn)人臉的SIFT關(guān)鍵點作為產(chǎn)生標(biāo)準(zhǔn)矢量模板的關(guān)鍵點，并對所有被檢測人臉圖像統(tǒng)一使用該關(guān)鍵點，在配準(zhǔn)判斷中具有統(tǒng)一性和可比性。同時，這種關(guān)鍵點的選擇具有SIFT關(guān)鍵點定位的理論依據(jù)，也符合一定的觀察經(jīng)驗。對于定位正確的人臉圖像，這些關(guān)鍵點位置總是特征信息最豐富的點。

2.2.3 提取特征向量

本文采用基于關(guān)鍵點鄰域梯度方向直方圖統(tǒng)計的特征提取方法提取人臉圖像特征。對圖像I和某一個關(guān)鍵點Kp，以關(guān)鍵點為中心取w×w的窗口（記為W）作為一個塊（Block），再將該窗口W劃分為m×m個單元（Cell），如圖4所示。

圖4 關(guān)鍵點塊和單元劃分

在圖像F中，像素點L（x,y）的梯度幅值和方向的計算公式為

A（x,y）=|L（x+1,y）-L（x-1,y）|+

計算各單元中像素點的梯度幅值A(chǔ)和方向O，將方向值量化到n個方向：

式中：n為方向個數(shù)劃分。然后，由中心點與關(guān)鍵點KP重合的高斯窗口函數(shù)Gw對窗口W內(nèi)梯度幅值A(chǔ)進(jìn)行加權(quán)：

Gw（x,y）=exp（-（x2+y2）/2σ）/2πσ2

AW（x,y）=A×G=A（x,y）exp（-（x′2+y′2）/2σ）

式中：σ為加權(quán)因子，取值σ=w/2， AW為加權(quán)后梯度幅值，（x,y）∈W，x′,y′∈[-w,w]。

對單元c，統(tǒng)計n個方向的加權(quán)梯度幅值A(chǔ)W形成方向梯度直方圖Tc。在單元c中掃描每個像素點梯度方向，則Tc為

The weather in Kunming is warmer than that in Beijing.（昆明的天氣比北京的暖和。）此句中介詞短語表示地點。

式中：k=0,1,···,n-1,i∈c，n為方向個數(shù)，i為單元c中像素點索引。將所有單元格Tc（c=1,2,···,m×m）組合起來即構(gòu)成了該關(guān)鍵點Kp的特征向量T（p）：

最后，將所有關(guān)鍵點的特征向量組合起來即得到標(biāo)準(zhǔn)矢量模板ST：

考慮算法不同的應(yīng)用，可以根據(jù)圖像的復(fù)雜程度和處理目標(biāo)的要求選取窗口大小w和方向個數(shù)n，需要突出細(xì)節(jié)信息時，選取較小的窗口w和較大的方向個數(shù)n，一般來說，塊、單元及方向劃分個數(shù)可以分別選擇w=16,m=4,n=8。

2.3 人臉圖像配準(zhǔn)判斷

對待測試圖像，配準(zhǔn)判斷是通過待檢測圖像特征矢量MT與標(biāo)準(zhǔn)矢量模板ST的匹配相似度來度量，該相似度也表示了待測試圖像與標(biāo)準(zhǔn)人臉圖像的相似性（文中圖像間的相似度均由對應(yīng)圖像的特征矢量間的相似度來表示），判斷時，該相似度達(dá)到設(shè)定閾值即判定為正確配準(zhǔn)人臉圖像，否則，即是誤配準(zhǔn)人臉圖像。待檢測圖像特征矢量MT的求取統(tǒng)一采用2.2節(jié)中產(chǎn)生標(biāo)準(zhǔn)矢量模板時用到的關(guān)鍵點K和特征向量的求取方法，得到P個關(guān)鍵點的特征向量Ttest，表示為

求出待檢測圖像特征矢量MT與標(biāo)準(zhǔn)矢量模板ST中各關(guān)鍵點對應(yīng)特征向量的余弦相似度Sp：

再根據(jù)各關(guān)鍵點對最終判決的貢獻(xiàn)大小γ對各相似度加權(quán)，得到待檢測圖像特征矢量MT與標(biāo)準(zhǔn)矢量模板ST的匹配相似度S：

在試驗中，可以發(fā)現(xiàn)對P個關(guān)鍵點的相似度求平均作為總體相似性時，S的值可以很好的實現(xiàn)分類，即對γ取值為γp=1/P（式中,p=1,2,···,P）。設(shè)判定閾值為Sthreshold，對于S≥Sthreshold的待測試圖像，判斷其為正確配準(zhǔn)人臉圖像，否則判斷為定位錯誤人臉圖像，實驗中，Sthreshold取值范圍為0.68～0.74。

2.4 算法分析和討論

人臉配準(zhǔn)判斷應(yīng)該引起足夠的重視，但是，該步驟的算法復(fù)雜度不應(yīng)大于人臉特征提取和識別等更重要的步驟，這一點限定了配準(zhǔn)判斷算法所允許的復(fù)雜度。

SIFT特征提取在圖像匹配方面表現(xiàn)出了優(yōu)良的性質(zhì)，例如：對旋轉(zhuǎn)、尺度、亮度變化的穩(wěn)定性、圖像特征描述的準(zhǔn)確性等。但是，關(guān)鍵點的尋找和方向的分配需要很大的計算開銷，很難進(jìn)行實時應(yīng)用。本文要解決的人臉配準(zhǔn)判斷，是針對正常人臉圖像通過定位剪切并規(guī)格化后的人臉圖片，通常規(guī)格為40×40。這些圖片的匹配有一些特點：對實時性有較高要求，需要高效的特征描述，圖像相對固定，不需要考慮旋轉(zhuǎn)、尺度和亮度等因子的變化。因此，本文算法基于SIFT關(guān)鍵點定位理論，對所有圖像都采用標(biāo)準(zhǔn)人臉的關(guān)鍵點，使用標(biāo)準(zhǔn)人臉特征作為比較模板，方便圖像的配準(zhǔn)判斷。圖像匹配過程中關(guān)鍵點位置的先驗性，大大降低了算法復(fù)雜度。在不存在旋轉(zhuǎn)和尺度變化而又有較高實時性要求的圖像匹配應(yīng)用中，這種改進(jìn)表現(xiàn)出了良好應(yīng)用效果。

圖像特征提取方法運用了SIFT在關(guān)鍵點選擇上的合理性，汲取方向梯度直方圖（histogram of oriented gradient, HOG）描述子的優(yōu)點[18]，將關(guān)鍵點的位置信息轉(zhuǎn)換成先驗知識，采用關(guān)鍵點鄰域梯度方向直方圖統(tǒng)計的圖像特征進(jìn)行配準(zhǔn)檢測，很好地實現(xiàn)了配準(zhǔn)判斷，這是本文算法應(yīng)用上的創(chuàng)新和特色。同時，舍棄SIFT尺度空間的建立和關(guān)鍵點方向的分配，極大降低了算法的復(fù)雜度，該復(fù)雜度可以表示為O（nwP），其中， n為方向個數(shù)，w為窗口大小，P為關(guān)鍵點個數(shù)，本文算法中n=8,w=16,P=10。

實驗證明，該算法花費了很小的計算開銷（約為一張人臉圖像識別過程總時間的1%，此處，一張人臉圖像的識別時間為圖像預(yù)處理，圖像特征提取及特征匹配和識別的總時間，實驗采用的相關(guān)算法是Local Gobar和主成分分析法（principal components analysis, PCA）結(jié)合的方法），保證了用于人臉注冊和識別的人臉圖像的配準(zhǔn)正確性。

3 實驗分析

3.1 人臉配準(zhǔn)判斷

實驗采用的人臉數(shù)據(jù)庫來自于我國深圳地區(qū)采集的不同人的正面人臉照片總共1 863張，人群為普通亞洲人，年齡段為16～80周歲。該數(shù)據(jù)庫圖片采用單色位圖格式，圖片尺寸為292×336，人臉面部細(xì)節(jié)清晰，姿態(tài)、表情單一，固定光照條件，示例如圖5。

圖5 實驗用人臉數(shù)據(jù)庫樣本

在實際人臉識別系統(tǒng)中，人臉經(jīng)過定位以后，需要進(jìn)行人臉剪切使得用于識別的圖片只包含人臉信息，如圖6（a）所示。但是由于定位算法的缺陷，人臉可能被錯誤定位，使剪切后的圖片與正確定位的人臉圖像存在偏離，出現(xiàn)錯誤配準(zhǔn)現(xiàn)象，如圖6（b）所示，因此，需要對定位剪切后的人臉圖像進(jìn)行配準(zhǔn)判斷和篩選。本實驗的目的是判斷人臉圖像是否配準(zhǔn)。實驗采用文獻(xiàn)[17]中給出的基于圖像幾何復(fù)雜度的方法定位人臉和眼睛，經(jīng)過統(tǒng)一的圖像分割和規(guī)格化處理，定位正確的圖像可以生成正確配準(zhǔn)圖像，否則，生成的圖像為錯誤配準(zhǔn)圖像。選取500張正確配準(zhǔn)圖像用于生成標(biāo)準(zhǔn)人臉，如圖6（c）所示，由2.2.2節(jié)方法得到的關(guān)鍵點位置和個數(shù)如圖6（d）所示。

圖6 規(guī)格化后的圖像

用數(shù)據(jù)庫中剩下的圖像重復(fù)試驗得到1 175張正確配準(zhǔn)人臉圖像和約170張錯誤配準(zhǔn)人臉圖像，并對圖像做標(biāo)準(zhǔn)人臉同樣的規(guī)格化和剪切處理。為了更全面地考慮錯誤配準(zhǔn)的情況，試驗中使用的錯誤配準(zhǔn)的人臉圖像除了程序自動定位時產(chǎn)生的錯誤配準(zhǔn)圖像，還加入了正確定位的圖像通過人為制造各個方向偏移、旋轉(zhuǎn)后的圖片，甚至包含少量不含人臉的圖片，并對實驗圖片做相同的亮度和尺寸規(guī)格化。最終錯誤配準(zhǔn)人臉圖像數(shù)量為350張。用第2節(jié)的方法提取標(biāo)準(zhǔn)矢量模板和各待測試圖像特征向量，計算1 175張正確配準(zhǔn)的人臉圖像特征向量與標(biāo)準(zhǔn)矢量模板的相似度，以及350張錯誤配準(zhǔn)的人臉圖像特征向量與標(biāo)準(zhǔn)矢量模板的相似度，用該相似度表示待測試圖像和標(biāo)準(zhǔn)人臉圖像的相似度。此處，定位正確（即正確配準(zhǔn)）的人臉圖像是指定位臉和眼睛位置偏差不大于圖片尺寸的5%，臉部區(qū)域偏轉(zhuǎn)角度小于5°的圖片，否則，就是定位錯誤的圖像。分析實驗數(shù)據(jù)，得到的結(jié)果如圖7所示，圖中縱坐標(biāo)表示相似度，對于正確配準(zhǔn)圖像與標(biāo)準(zhǔn)人臉圖像相似度曲線，橫坐標(biāo)表示大于曲線表示的相似度的圖像占所有正確配準(zhǔn)圖像的百分比，對于錯誤配準(zhǔn)圖像與標(biāo)準(zhǔn)人臉圖像相似度曲線，橫坐標(biāo)表示小于曲線表示的相似度的圖像占所有錯誤配準(zhǔn)圖像的百分比。

圖7 關(guān)鍵點平均相似性曲線

從圖中可以看出，采用關(guān)鍵點相似度平均值作為總體相似性，應(yīng)用于人臉數(shù)據(jù)庫的建模階段時，在全部排除錯誤配準(zhǔn)人臉圖片的情況下（對應(yīng)閾值為0.74），對正確配準(zhǔn)的人臉圖片的篩選率為 95.5%，即幾乎可以保留全部的正確配準(zhǔn)圖片。若應(yīng)用于人臉識別階段，在保證正確配準(zhǔn)圖像全部通過的情況下（對應(yīng)閾值為0.68），對錯誤配準(zhǔn)圖像的排除率為95.7%，即可以排除絕大部分錯誤配準(zhǔn)圖像。對圖7中處于曲線末端的數(shù)據(jù)（即與標(biāo)準(zhǔn)人臉相似度較低的正確配準(zhǔn)的人臉圖像和與標(biāo)準(zhǔn)人臉相似度較高的錯誤配準(zhǔn)的人臉圖像）進(jìn)行邊緣情況分析，發(fā)現(xiàn)在正確配準(zhǔn)的圖像中存在如圖8（a）所示的圖片，在錯誤配準(zhǔn)的人臉圖像中存在如圖8（b）所示的圖像。

圖8 邊緣情況分析

圖8（a）中的圖像雖然根據(jù)眼睛和臉判別為正確配準(zhǔn)圖像，但定位還是存在少量偏差，導(dǎo)致其相似度相對較低，只是這種偏差在允許的范圍之內(nèi)；相應(yīng)地，圖8（b）為定位偏差超出設(shè)定閾值的圖像，但是，由于偏差接近閾值，這些圖像與標(biāo)準(zhǔn)人臉的相似度相對較高。同時，一些圖像中的噪聲也可能導(dǎo)致其與標(biāo)準(zhǔn)人臉相似度的下降（例如：圖8（a）和圖8（b）中第3幅圖像），所以，該方法還可以排除被噪聲污染的圖像。

實驗中，正確配準(zhǔn)的人臉圖像與標(biāo)準(zhǔn)人臉的高相似性及錯誤配準(zhǔn)的人臉圖像與標(biāo)準(zhǔn)人臉的低相似性表明了該人臉配準(zhǔn)判斷方法的有效性。

同時，實驗在特征提取的速度方面也進(jìn)行了測試，對相同大小的人臉圖片，分別用SIFT特征提取方法和本文算法提取圖像特征，在選用同樣的關(guān)鍵點時，SIFT算法和本文算法的耗時情況如表1。

表1 算法的耗時比較Table 1 Time-consuming comparison

從以上結(jié)果看出，本文提取算法相對于SIFT來說，極大地降低了耗時，由此驗證了本文特征提取算法的高效性。

3.2 判別辨識度分析

實驗得到正確配準(zhǔn)的人臉圖像與標(biāo)準(zhǔn)人臉圖像的相似度（記為SR），可接受的最大定位偏移或最大偏轉(zhuǎn)角度下的人臉圖像與標(biāo)準(zhǔn)人臉圖像的相似度（記為SM），則定義人臉配準(zhǔn)判斷的辨識度（記為SD）為

SD=SR-SM

辨識度越大表明越容易判別出錯誤配準(zhǔn)的圖像。人臉定位偏移距離和偏轉(zhuǎn)角度定義為理論上正確人臉定位的位置和方向與實際人臉定位位置和方向間的距離和角度，可以接受的最大定位偏移和偏轉(zhuǎn)角度的圖像是指在不影響后續(xù)識別的情況下允許的最大定位偏差（偏移距離和偏轉(zhuǎn)角度），通常情況下，該偏移距離不大于圖像尺寸的5%[1]，而偏轉(zhuǎn)角度不大于5°。為了研究該人臉配準(zhǔn)判別方法的辨識度，該實驗分別將人臉定位偏移距離和圖像旋轉(zhuǎn)角度作為自變量，人為地偏移正確配準(zhǔn)的人臉圖像，如圖9所示，其中，圖9（a）為正確配準(zhǔn)的人臉圖像，圖9（b）～ （e）各組圖像中，第一張圖像均為最大允許偏移量，即偏移為2個像素，后續(xù)圖像偏移量分別為5個像素、10個像素；圖9（f）～ （g）各組圖像中，第一張均為最大允許偏轉(zhuǎn)角度，即偏轉(zhuǎn)5°，其余圖像偏轉(zhuǎn)量分別為30°、55°。

圖9 各偏移量對應(yīng)的圖像

分析各偏移量下圖像與標(biāo)準(zhǔn)人臉圖像的相似度變化，得到曲線如圖10所示。

圖10 各偏移量下的相似度

對各定位偏移的最大允許偏移量進(jìn)行討論，得到各定位偏移下的人臉配準(zhǔn)判斷辨識度如表2。

通過以上各偏移距離和偏轉(zhuǎn)角度下的相似度走勢及表2數(shù)據(jù)，可以看出，該方法的辨識度對每種偏移量均在0.1以上，可以很好地實現(xiàn)配準(zhǔn)判斷。從各相似度與偏移量的變化趨勢也可以看出本文方法判斷人臉配準(zhǔn)的有效性。

3.3 實驗結(jié)果分析

對人臉定位切分歸一化后的人臉圖像進(jìn)行分析，沒有加入本文方法的判斷篩選之前，這些圖像中包含一些錯誤配準(zhǔn)的圖像如圖11所示。用本文的算法進(jìn)行篩選，在選定合適閾值時，這些錯誤配準(zhǔn)的圖像均被剔除。通過實驗驗證，可以采用Local Gobar和主成分分析法相結(jié)合的算法，在3.1節(jié)用到的人臉數(shù)據(jù)庫上測試，加入該人臉篩選判斷后，識別率由96.5%提高到98.5%。

表2 各偏移量下辨識度Table 2 Resolution of the offsets

圖11 排除的錯誤配準(zhǔn)人臉圖像

以上試驗驗證了本文提出的判斷人臉配準(zhǔn)方法的有效性，同時，運用基于梯度方向直方圖統(tǒng)計的圖像特征提取及匹配方法也是一種新的嘗試。在圖像匹配中，這種特征提取方法得到的圖像特征能準(zhǔn)確地表達(dá)圖像信息，以向量相似性作為度量工具，可以在保持高匹配準(zhǔn)確性的同時極大地提高算法的效率。

4 結(jié)論

本文主要做了兩方面的工作：1）通過待檢測圖像與正確配準(zhǔn)的標(biāo)準(zhǔn)人臉的比較，解決了人臉配準(zhǔn)的判斷問題，這有利于提高人臉識別的識別率，增強算法的魯棒性；2）運用基于關(guān)鍵點鄰域梯度方向直方圖統(tǒng)計的圖像特征提取方法，分別提取待測試圖像和標(biāo)準(zhǔn)人臉特征，在該特征空間進(jìn)行相似度計算，提出了一種新的圖像匹配思路。

考慮算法的應(yīng)用條件，本文方法有以下有待改進(jìn)的方面：1）本文的方法需要一定數(shù)量正確配準(zhǔn)人臉圖像做訓(xùn)練樣本（得到標(biāo)準(zhǔn)人臉）才能進(jìn)行后續(xù)的人臉配準(zhǔn)判斷；2）圖像匹配選取的關(guān)鍵點為標(biāo)準(zhǔn)圖像的SIFT關(guān)鍵點，這決定了本算法只適用于人臉識別步驟中經(jīng)過人臉定位、剪切、規(guī)格化后的圖像，篩選正面人臉圖像，而對于多姿態(tài)多表情的人臉圖像配準(zhǔn)判斷，算法還需要做一定改進(jìn)。此外，對于人臉識別中人臉的“誤配準(zhǔn)災(zāi)難問題”，除了對規(guī)格化后的人臉圖像進(jìn)行判斷篩選操作外，研究能夠克服配準(zhǔn)偏差的識別算法是另一個途徑。

[1]山世光,高文,唱軼鉦,等. 人臉識別中的“誤配準(zhǔn)災(zāi)難”問題研究[J]. 計算機學(xué)報， 2005， 28（5）： 782-791. SHAN Shiguang, GAO Wen, CHANG Yizheng, et al. "Curse of mis-alignment" problem in face recognition[J]. Chinese Journal of Computers, 2005, 28 （5）: 782-791.

[2]唱軼鉦，山世光，高文，等. Gabor 特征判別分析人臉識別方法的誤配準(zhǔn)魯棒性分析[J]. 計算機工程與運用，2005（5）：56-59. CHANG Yizheng, SHAN Shiguang, GAO Wen, et al. Evaluation of gabor features for face recognition from the angle of robustness to mis-alignment[J]. Computer Engineering and Applications, 2005 （5）:56-59.

[3]JUNG C, SUN Tian, JIAO Licheng, et al. Eye detection under varying illumination using the retinex theory[J]. Elsevier Science, 2013, 113: 130-137.

[4]GU Jiayu, LIU Chengjun. Feature local binary patterns with application to eye detection[J]. Neurocomputing, 2013, 113: 138-152.

[5]WANG Shangfei, LIU Zhilei, SHEN Peijia, et al. Eye localization from thermal infrared images[J]. Pattern Recognition, 2013, 46:2613-2621.

[6]翟倩茹. 不同姿態(tài)人臉配準(zhǔn)方法研究[D]. 大連：大連海事大學(xué)， 2012： 1-12. ZHAI Qianru. Research on various poses face image registration[D]. Dalian:Dalian Maritime University, 2012:1-12.

[7]SETHURAM A, SARAGIH J, RICANEK K, et al. Extremely dense face registration: comparing automatic landmarking algorithms for general and ethno-gender models[C]//IEEE Fifth International Conference. Arlington VA, 2012： 135-142.

[8]LIN H, LIANG L, DU P, et al. Image registration based on Fourier-Mellin transform[J]. Geomatics and Information Science of Wuhan University, 2012, 37（6）: 649-652.

[9]劉小軍，楊杰，孫堅偉，等. 基于SIFT的圖像配準(zhǔn)方法[J]. 紅外與激光工程， 2008， 37（1）： 156-160. LIU Xiaojun, YANG Jie, SUN Jianwei, et al. Image registration approach based on SIFT[J]. Infrared and Laser Engineering, 2008, 37（1）: 156-160.

[10]FUMIHIKO S. Image matching based on relation between pixels located on the maximum and minimum gray-levels in local area[J]. IEEE Transactions on Electrical and Electronic Engineering, 2007, 12（2）: 169-178.

[11]TRAJKOCIC M, HEDLEY M. Fast corner detection[J]. Image and Vision Computing, 1998, 16（2）: 75-87.

[12]蘇延超,艾海舟,勞世竑,等. 基于非線性Boosting回歸的多視角人臉配準(zhǔn)[J]. 自動化學(xué)報, 2010, 36（4）: 522-527. SU Yanchao, AI Haizhou, LAO Shihong, et al. Non-linear boosting regression for multi-view face alignment[J]. Acta Automatica Sinica, 2010, 36（4）: 522-527.

[13]彭地.圖像配準(zhǔn)技術(shù)與優(yōu)化算法研究[D]. 上海：復(fù)旦大學(xué), 2011： 8-25. PENG Di. Image alignment technology and optimization algorithm research[D]. Shanghai:Fudan University, 2011: 8-25.

[14]LOWE D. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60（2）: 91-110.

[15]LOWE D. Object recognition from local scale invariant features[C]//International Conference on Computer Vision. Corfu, Greece, 1999: 1150-1157.

[16]LINDEBERG T. Scale-space theory: A basic tool for analysing structures at different scales[J]. Journal of Applied Statistics, 1994, 21（2）: 224-270.

[17]LI Weijun, XU Jian, WANG Shoujue. A fast eye location algorithm based on geometric complexity[C]//Proceedings of the 5th World Congress on Intelligent Control and Automation. Hangzhou, China, 2004: 4105-4107.

[18]DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, CA, USA, 2005, 1: 886-893.

阮曉虎，男，1986年生，碩士研究生，主要研究方向為圖像、視頻處理與模式識別。參與國家自然科學(xué)基金重大研究計劃1項，獲得專利1項。

李衛(wèi)軍,男，1975年生，研究員，博士生導(dǎo)師，博士，主要研究方向為高維形象計算、模式識別、計算機視覺，主要研究方向為仿生圖像處理技術(shù)、仿生模式識別理論與方法、近紅外光譜定性分析技術(shù)、高維信息計算。近年來主持國家自然科學(xué)基金項目2項，企業(yè)合作研究項目3項，發(fā)表學(xué)術(shù)論文18篇。

覃鴻，女，1977年生，工程師，博士，主要研究方向為智能信息處理、仿生信息學(xué)理論與技術(shù)應(yīng)用、模式識別。

An assessment method for face alignment based on feature matching

RUAN Xiaohu， LI Weijun， QIN Hong， DONG Xiaoli， ZHANG Liping

（Institute of Semiconductors, Chinese Academy of Sciences, Beijing 100083, China）

The lacking of confirmation for face alignment leads to an incorrect feature match. The decline of recognition rate in current application of face recognition is called "mis-alignment crash". Therefore, it is necessary to test and filter the normalized face images to make sure only the aligned face images can go through the recognition procedure. In the method, a bunch of right-alignment normalized face images were used to form a mean face which was defined as the standard face. The key points location theory of SIFT was used to get the key points of standard face and the features of neighboring images were extracted on the basis of blocked statistical histogram in gradient orientation. The location of key points of a standard face was taken as the positioning point of a face to be detected. Using the same method to extract the features of neighboring images showed that the similarities of the test images to the standard face were calculated according to their corresponding feature descriptors of the key points. A reasonable threshold was chosen to estimate and classify the images according to their similarities to standard face. The experiment proved that this method is effective in eliminating mis-aligned face image effectively and is beneficial for increasing the reliability of a face recognition system.

face recognition; image normalization; alignment assessment; image feature; SIFT descriptor; gradient orientation histogram; key point location; image matching

2013-12-31.

日期：2015-01-13.

國家自然科學(xué)基金資助項目（90920013）.

李衛(wèi)軍.E-mail: wjli@semi.ac.cn.

10.3969/j.issn.1673-4785.201312064

http://www.cnki.net/kcms/detail/23.1538.TP.20150113.1131.010.html

TP183

A

1673-4785（2015）01-0012-08

阮曉虎, 李衛(wèi)軍, 覃鴻, 等. 一種基于特征匹配的人臉配準(zhǔn)判斷方法[J]. 智能系統(tǒng)學(xué)報， 2015, 10（1）: 12-19.

英文引用格式：RUAN Xiaohu，LI Weijun，QIN Hong，et al. An assessment method for face alignment based on feature matching[J]. CAAI Transactions on Intelligent Systems, 2015, 10（1）: 12-19.