馬晶　金晶　蘇金善

摘 要：近年來，人臉檢測識別方法得到飛速發(fā)展，基于ASM特征的識別方法因具有定位精度高而得到廣泛應用。然而，當相鄰兩個特征點位于不同器官時，使用該方法時特征點間會產(chǎn)生連帶效應。本文提出基于特征綁定的ASM人臉檢測算法，克服了傳統(tǒng)ASM方法存在的連帶效應。由于使用該方法不需要直接檢測完整的人臉，因此其對人臉偏轉、部分人臉遮擋、用戶佩戴眼鏡等情況有較高的準確性和魯棒性。

關鍵詞：特征綁定;人臉檢測;ASM

中圖分類號：TP391141文獻標識碼：A文章編號：1003-5168（2020）07-0008-06

Abstract： In recent years， face detection and recognition methods have been developed rapidly. Recognition methods based on ASM features are widely used because of their high positioning accuracy. However， when two adjacent feature points are located in different organs， there will be joint effect between feature points when using this method. This paper proposed an ASM face detection algorithm based on feature binding， which overcame the joint effect of traditional ASM. Because this method does not need to detect the whole face directly， it has high accuracy and robustness for face deflection， partial face occlusion， users wearing glasses and so on.

Keywords： feature binding;face detection;ASM

1 研究背景

目前，人臉檢測[1-3]和識別[4]是圖像模式檢測領域的熱點問題，已有大量不同種類的算法應用于該領域，且有很多優(yōu)異的人臉檢測系統(tǒng)[5]和人臉識別系統(tǒng)[6]已經(jīng)得到研發(fā)。人臉檢測的相關算法主要分為四個類別：基于先驗知識的方法、基于特征不變性的方法、基于圖像模板匹配的方法和基于統(tǒng)計理論的方法。基于先驗知識的方法在極大程度上依賴于先驗知識，對存在一定變化的人臉沒有較好的檢測率;基于特征不變性的方法由于光照、噪聲和遮擋等使圖像特征被嚴重破壞，人臉的特征邊界被弱化，陰影可能引起很強的邊緣，而這些邊緣可能使得算法難以使用;基于圖像模板匹配的方法計算量較大，并且對存在旋轉和尺度變化的人臉識別率較差;基于統(tǒng)計理論的方法對前期用于訓練的樣本有一定要求，并且訓練時間過長，此外，此類算法的準確性依賴于訓練得到的每一個特征。

主動形狀模型（Active Shape Models，ASM）是模板匹配方法中最經(jīng)典的算法。它是一種參數(shù)模型，最先由Cootes等人于1995年提出[7]?；贏SM人臉檢測的優(yōu)點是人臉定位精度較高。但是，傳統(tǒng)的主動形狀模型檢測算法中，當相鄰兩個特征點位于不同器官時，彼此會產(chǎn)生連帶效應，使得兩個器官的位置互相影響。由此，有人提出了特征綁定（Feature Binding，F(xiàn)B）方法[8-9]。該方法適用于人臉檢測時將訓練得到的特征按照一定準則進行分組，并將每一組內(nèi)的所有特征綁定為一個整體，用該整體對相應的子目標（特征窗）進行檢測。最終人臉的判定及定位由所有特征窗的輸出結果及其相應權重的系數(shù)確定。同時，由于特征綁定方法是一個獨立的方法，并不依賴于某一種特定的特征，因此，理論上可以被應用在所有可以被分組的特征上。在特征選取上，由于人臉檢測需要具備實時性，需要快速確認人臉的位置，降低整個系統(tǒng)算法的時間復雜度，因此，不宜采取時間復雜度較高的特征和算法，應該在常數(shù)時間內(nèi)完成。

為了解決ASM算法中存在的連帶效應，本文在ASM檢測算法中增加了特征綁定，對人臉的各部分分別進行特征點的檢測。將特征綁定和ASM算法相結合，這是因為這些特征分布符合上述要求，單人臉檢測只需要涉及特征計算和查表操作，并且與人臉尺度無關，能較好地完成人臉檢測作為前置級的作用，同時不引入較高的時間復雜度，并對不同條件下的圖像均可以獲得較好的檢測效果。本文將在ASM特征中使用特征綁定方法，并與傳統(tǒng)Adaboost算法、傳統(tǒng)ASM算法、基于Haar的特征綁定方法進行定性及定量對比。

2 傳統(tǒng)ASM特征及算法

ASM的基本思想是選取一組訓練樣本，用一組特征點來描述樣本的形狀，然后對各樣本的形狀進行配準，使得形狀盡可能相似。對于這些配準后的形狀向量，利用主分量分析方法進行統(tǒng)計建模，得到物體形狀的統(tǒng)計學描述，最后利用建立的模型在新的圖像中搜索物體輪廓，從而定位出目標物體。ASM依靠一個由人工標定特征點的訓練集來得到一個平均的人臉形狀（Mean Shape）之后，在平均形狀點的鄰接區(qū)域進行搜索得到目標形狀。由ASM訓練得到的平均形狀模型能很好地覆蓋各種人臉幾何外形子空間，具有較高的定位精度，同時采用灰度和梯度信息指導形狀模型，可以加快收斂速度，提高收斂概率，并能大量減少所需的訓練樣本數(shù)。

在實際應用中，ASM包括訓練（建立模型）和搜索（擬合計算）兩個部分。本實驗中，筆者以人臉明顯特征器官及大拐點為標準，對每一個人臉模型選取[k=68]個關鍵點作為ASM特征點，并用這些點表示一張完整人臉，如圖1所示。

ASM模型是對象的形狀模型，在訓練過程中，每一個訓練樣本上的所有特征點的坐標組成特征向量，對所有人臉樣本提取模型并進行歸一化，即采用Procrustrs方法進行對齊，并進行PCA降維處理。圖2為本實驗中計算的歸一化前后訓練樣本人臉模型，其中圖2（a）為未進行歸一化前訓練樣本的形狀向量，圖2（b）為歸一化后的形狀向量。

在每一次迭代過程中，需要為每一個特征構建局部特征，從而為每個特征點更新位置。對所有[k]個特征點進行相同操作，可得到每個特征點的局部特征。

在通過樣本集進行訓練得到ASM模型后，即可對待檢測圖像進行ASM搜索。對各特征點附近搜索，匹配每個局部特征點，得到初步形狀;再利用形狀模型修正匹配結果;迭代直到收斂，達到模型實例與輸入圖像相擬合的目的，而最終得到的形狀控制點的位置就是待檢目標的特征點位置。

用上述包含68個特征點的ASM算法對人臉進行檢測定位，得到的效果如圖3所示。其中黑色矩形窗即為檢測得到的人臉窗。

3 基于特征綁定的人臉檢測算法概述

根據(jù)特征綁定一般模型，對人臉進行檢測，特征綁定示意圖如圖4所示。

由于人眼部分是人臉中最重要的特征，因此，筆者將左眼和右眼選定為兩個熱點區(qū)域，將所有落在這兩個區(qū)域內(nèi)的熱點特征分別綁定為兩個整體。同時，鼻子和嘴巴作為人臉的顯著特征，也被選為熱點區(qū)域，并分別綁定為兩個特征整體。在對待測目標進行檢測時，優(yōu)先用這些被綁定的整體進行計算，并將計算結果作為目標定位過程中的一個重要依據(jù)。每個特征有一個對應的特征值。對于每一個特征集，將其包含的所有特征的特征值利用一定方式計算后作為當前熱點區(qū)域的整體特征值，選取適當?shù)拈撝祷蚺卸藴省Ｈ魧嶋H檢測過程中計算出的整體特征值超過閾值或達到判定標準要求，則當前檢測區(qū)域被判定為相應的熱點區(qū)域，并稱為“特征窗”（Feature Window）。最終的檢測及定位結果由這些特征集及其對應的權重決定。針對不同重要性的特征集，其閾值和權重也不盡相同。在人臉檢測及定位中，左眼和右眼的特征整體具有最高的投票權重，鼻子和嘴巴的特征整體投票權重相對較低。

基于特征綁定的人臉檢測算法流程如圖5所示。與傳統(tǒng)人臉檢測的串聯(lián)強分類器不同，特征綁定的人臉檢測為并聯(lián)強分類器。對于人臉圖像，冗余區(qū)域的特征僅僅起到輔助性的作用，表示了一種普遍意義上的趨勢;而突變區(qū)域的特征，如眼睛、鼻子、嘴巴等，則可以更好地描述人臉信息，更有利于快速準確地標識人臉，具有十分重要甚至決定性的作用。也就是說，在人臉檢測的實際應用中，突變部分具有較高的應用價值，而冗余部分則更多被用來加快檢測速度或者為突變部分的獲取服務，在算法中被用作約束條件。

4 基于特征綁定的ASM人臉檢測算法

值得注意的是，特征綁定方法并不局限于某一種特定的特征。從理論上來說，特征綁定可以被應用于任意一種能通過一定準則進行分類的特征。例如，將特征綁定用于ASM特征點及算法，就可以獲得較好的檢測效果。

基于ASM的人臉檢測是一種基于特征點分布的檢測方法，主要考慮樣本中特征點附近的形狀信息。通過對人臉的形狀特征進行統(tǒng)計分析，建立對應的ASM模型。在檢測時，結合“搜索-比較-調整再搜索-再比較”的圖像擬合策略，實現(xiàn)快速而準確的人臉檢測。ASM的優(yōu)點是能根據(jù)訓練數(shù)量對參數(shù)的調節(jié)加以限制，從而可以靈活地改變模型的形狀以適應待檢目標形狀不確定的特性，并將形狀的變化控制在模型允許的范圍內(nèi)，以保證模型在改變的過程中不會擬合出不合理的形狀。

傳統(tǒng)的ASM檢測算法是將所有特征點串聯(lián)在一起，首先對整個人臉進行形狀模型的匹配，當對每個特征點進行迭代搜索最佳位置時，其前后兩個特征點的位置對當前點有一定影響。因此，當相鄰兩個特征點位于不同器官時，彼此會產(chǎn)生連帶效應，使得兩個器官的位置互相影響。為了解決這種連帶效應，筆者在ASM檢測算法中增加特征綁定，對人臉的各部分分別進行特征點的檢測。

將特征綁定用于ASM檢測算法的思想是：將通過上述ASM訓練得到的68個特征點按照其在訓練樣本人臉中的位置進行分類，如圖6所示。將左邊眉眼區(qū)域共11個ASM特征點作為左眼集;右邊眉眼區(qū)域共11個特征點作為右眼集;鼻子區(qū)域的11個特征點作為鼻子集;嘴巴區(qū)域的18個特征作為嘴巴集;其余的特征作為整體人臉的區(qū)域限制及各器官之間位置關系的約束條件。

對所有樣本中同一個特征點的所有形狀向量進行歸一化，從而消除訓練樣本中由于不同角度、距離、姿態(tài)等外界因素造成的非形狀干擾，使點分布模型更加有效。本實驗中采用Procrustes方法進行歸一化，即將一系列點分布模型通過適當?shù)钠揭啤⑿D、縮放變換，在不改變點分布模型的基礎上對齊到同一個點分布模型。經(jīng)過多次迭代直到收斂，可得到歸一化的左眼模型。

為了能在每一次迭代過程中為每個特征點更新位置，需要為每一個特征構建局部特征。對于第[i]個訓練樣本圖像中第[j]個特征點，沿著垂直于該點前后兩個特征點連線的方向上分別選擇[m]個像素，構成一個長度為[2m+1]的向量，對該向量所包含像素的灰度值求導，得到局部紋理[gij]，對訓練樣本集中的其他訓練樣本圖像上的第[j]個特征點進行同樣操作，便可得到第[j]個特征點的[n]個局部紋理[g1j，g2j，…，gnj]。計算其均值[見式（2）]和方差[見式（3）]：

為了計算每個特征點的新位置，將初始左眼模型覆蓋在圖像上，對于模型中第[j]個特征點，在垂直于其前后兩個特征點連線方向上以其為中心，兩邊各選擇[l]個像素，且滿足[l>m]。計算這些像素的灰度值導數(shù)并歸一化，從而得到一個包括[2（l-m）+1]個子局部特征的局部特征。計算這些子局部特征與當前特征點局部特征之間的馬氏距離，使得馬氏距離最小的子局部特征的中心為當前特征點的新位置，從而產(chǎn)生一個新的位移。為所有特征點找到新位置，并將其位移組成一個向量：

通過仿射變換并調整參數(shù)使當前特征點的位置[X]與對應的新的位置[X+dX]最為接近，同時可以得到仿射變換參數(shù)的變化量[dθ，ds，dX]，即參數(shù)更新過程為：[dX→（dθ，ds，dXc）→db]。對仿射變換參數(shù)和[b]做如下更新：

其中，[wc，wθ，ws，wb]為用于控制參數(shù)變化的權重。迭代更新直到各參數(shù)收斂或迭代次數(shù)達到指定閾值，即可得到每個特征點最終的檢測位置，使其和相對應的真正特征點最為接近。最終，可以在待檢測圖像中搜索出相應的左眼窗，并定位出左眼窗中各特征點的檢測位置。

同樣地，可以得到右眼窗、鼻子窗、嘴巴窗及各特征窗中相應特征點的位置，并通過約束條件最終確定人臉窗的位置。

圖7為人臉檢測的結果圖。其中黑色人臉窗為未使用特征綁定的ASM算法的定位結果，白色人臉窗為使用了基于特征綁定的ASM算法的定位結果，灰色小矩形窗分別為使用特征綁定后檢測到的四個特征窗。由此可以看出，使用了特征綁定后，人臉窗的定位比未使用特征綁定時更準確。

5 實驗結果及討論

由于在ASM算法中，將所有的特征點按照順序編號并構成特征向量，最終的檢測結果為相對所有特征點而言的最好的匹配位置;因此，若特征點的信息不完整，則每一次迭代的數(shù)據(jù)基礎也不完整，很容易造成匹配失準或匹配失敗。也就是說，無法利用部分人臉特征來獲得整體人臉的最佳匹配位置。而在使用了基于特征綁定的ASM算法后，由于四個特征窗分別作為一個獨立的形狀模型進行檢測，因此，即使被遮擋的部分使得一個或兩個特征窗無法檢測到匹配形狀，仍有其他特征窗可以投票為人臉。同樣地，將雙眼區(qū)域的權重相應增大，其他區(qū)域的權重相應減小，當被遮擋部分不包括眼睛時，由于左眼窗和右眼窗的檢測權重較高，仍可以成功檢測到人臉。

對于一組包含108幀的圖像序列，傳統(tǒng)ASM算法與基于特征綁定的ASM算法的人臉檢測結果如圖8所示。為了對比兩種算法檢測的準確性，在檢測過程中并未使用任何預測及跟蹤算法，每一幀圖像均單獨進行檢測，對前后幀的檢測結果不產(chǎn)生影響。

圖9為傳統(tǒng)ASM算法及基于特征綁定的ASM算法對上述圖像序列檢測結果的定量分析曲線。從圖9可以看出，基于特征綁定的ASM算法的檢測值具有更小的方差，因此準確率更高。

各種不同條件下的圖像，如不同面部表情、不同光照條件、存在部分遮擋的圖像，其人臉檢測檢測結果如圖10所示。

其中，[n]為圖像序列的長度;[Yi]為檢測結果;[Yi]為真實值。在人臉檢測中，選用人臉窗左上角坐標表示。當MSE越小時，表示算法性能越好。

對于上述圖像測試集，在PC機測試平臺（Intel i5-4590處理器，8GB內(nèi)存，MATLAB平臺）上，分別使用傳統(tǒng)Adaboost算法、基于Haar特征的特征綁定方法、傳統(tǒng)的ASM方法、基于特征綁定的ASM算法得到的人臉檢測結果如表1所示。

從表1可知，基于特征綁定的ASM算法與傳統(tǒng)ASM算法相比，具有更高的準確率及更低的均方誤差。然而，目前存在一個主要問題，即特征綁定的時間消耗略長。這是因為特征綁定需要對多個特征集進行檢測，按照本文所述規(guī)則進行綁定的方法中，需要對四個子區(qū)域進行檢測;而傳統(tǒng)的Adaboost算法及傳統(tǒng)的ASM算法只需要對整個人臉進行檢測。因此，基于特征綁定的ASM算法需要更長的時間消耗。理論上來說，解決方式之一是在每個特征集內(nèi)部建立瀑布式級聯(lián)結構[10]，迅速結束不相關區(qū)域的檢測，提高每個特征集內(nèi)部的檢測速度。

參考文獻：

[1] Torricelli D ， Conforto S ， Schmid M ， et al. A neural-based remote eye gaze tracker under natural head motion[J]. Computer Methods and Programs in Biomedicine， 2008（1）：66-78.

[2] Chai C C C ， Wang Y W Y . Face detection based on extended Haar-like features[C]// International Conference on Mechanical & Electronics Engineering. IEEE， 2010.

[3]何智翔，丁曉青，方馳，等.基于LBP和CCS-AdaBoost的多視角人臉檢測[J].浙江大學學報（工學版），2013（4）：622-629.

[4]袁正海.人臉識別系統(tǒng)及關鍵技術研究[D].南京：南京郵電大學，2013.

[5] Noureddin B ， Lawrence P D ， Man C F . A non-contact device for tracking gaze in a human computer interface[J]. Computer Vision and Image Understanding，2005（1）：52-82.

[6]馬寧.基于圖像的人臉識別中關鍵技術研究[D].長春：吉林大學，2016.

[7] Cootes T F， Taylor C J， Cooper D H， et al. Active Shape Models-Their Training and Application[J]. Computer Vision & Image Understanding，1995（1）：38-59.

[8] GE Jun-Feng， LUO Yu-Pin. A Comprehensive Study for Asymmetric AdaBoost and Its Application in Object Detection[J].Acta Automatica Sinica， 2009（11）：1403-1409.

[9] Yang M ， Crenshaw J ， Augustine B ， et al. AdaBoost-based face detection for embedded systems[J]. Computer vision and image understanding，2010（11）：1116-1125.

[10] Zhou J， Wang Y Q， Fan K F. Face detection method for real-time anti-interference[J]. Computer Engineering & Design，2013（4）：1399-1403.