魏爽

（江蘇科技大學計算機科學與工程學院，江蘇鎮(zhèn)江212000）

人臉特征點定位在自動化人臉理解和分析系統(tǒng)中起著至關重要的作用，如基于圖像或視頻的人臉識別、表情分析、三維人臉重建以及人臉動畫等[1-3]。常用的人臉特征點定位算法有主動形狀模型（Active Shape Model，ASM）[4]、主動表觀模型（Active Appearance Model，AAM）[5-7]和非參數(shù)化級聯(lián)回歸模型[8-9]等。與主動形狀模型和非參數(shù)化的級聯(lián)回歸模型不同的是，主動表觀模型可以同時對人臉圖像的形狀和紋理信息進行建模。主動表觀模型的匹配算法可以分為兩類：基于梯度下降的匹配算法和基于回歸的匹配算法。然而，基于梯度下降的匹配算法需要迭代計算目標函數(shù)的偏導數(shù)，從而導致算法的效率低下。傳統(tǒng)的基于線性回歸的主動表觀模型使用人臉圖像的灰度信息作為特征，對人臉的表觀變化較為敏感。近年來，深度學習[10-11]和張量分析[12]等方法也被陸續(xù)用到人臉特征點定位中，從而在不同的層面上提高了模型的表達能力和匹配精度。

近年來，大量研究表明，與傳統(tǒng)的全局紋理特征相比較，局部特征描述子對人臉的姿態(tài)、表情、光照和遮擋等問題更加魯棒[13-14]。為了進一步提高主動表觀模型的匹配精度，本文提出了一種結(jié)構化特征融合的主動表觀模型匹配算法。該方法將全局紋理特征和形狀相關局部特征進行融合，用于基于線性回歸主動表觀模型的匹配算法中。通過在XM2VTS[15]和BioID[16]上進行的實驗表明，本文算法可以有效的提高原有模型的匹配精度。

1 主動表觀模型

1.1 主動表觀模型建立

在主動表觀模型中，人臉的形狀用點分布模型進行表示。一個點分布模型是由若干個人臉特征點的二維坐標組成的向量：

其中，l表示特征點的個數(shù)，(xi,yi)表示第i個特征點的二維坐標。圖1展示了一個由68個人臉特征點構成的二維點分布模型。

圖1 點分布模型

給定一組用于模型訓練的人臉圖像和對應的人臉形狀，主動表觀模型首先對訓練集中的人臉形狀使用Procrustes方法進行歸一化處理，以去除由成像參數(shù)不同帶來的平移、縮放和旋轉(zhuǎn)對建模造成的影響[17]。對歸一化后的人臉形狀訓練樣本進行主成分分析，可以得到一個線性的統(tǒng)計形狀模型：

相對于主動形狀模型，主動表觀模型的一個重要特點就是充分利用了人臉形狀區(qū)域內(nèi)的紋理信息?？梢酝ㄟ^特定的掃描方式，對訓練集人臉圖像中的全局紋理進行掃描和提取，得到一個灰度值向量t∈Rm，m是指人臉形狀區(qū)域內(nèi)像素點的個數(shù)。不同的訓練樣本，其人臉區(qū)域的大小是不同的，因此獲取的人臉全局紋理向量具有不同的維數(shù)。主動表觀模型通過使用二維圖像映射的方法[18]，把訓練集中所有的人臉圖像的區(qū)域進行進一步歸一化處理，即將所有的人臉“拉伸”到平均形狀，然后提取灰度值信息，如圖2所示。與建立形狀模型的過程相似，對訓練集中所有的紋理向量進行主成分分析，可以得到線性的全局紋理模型：

圖2 紋理映射

得到形狀模型和紋理模型后，主動表觀模型可以通過改變其參數(shù)值生成不同的人臉樣本實例。

1.2 模型匹配算法

主動表觀模型的匹配算法也可以看作是一個參數(shù)優(yōu)化過程。給定一幅輸入圖像和訓練好的主動表觀模型，通過調(diào)節(jié)模型參數(shù)，最小化主動表觀模型構成的人臉實例和輸入圖像間的紋理差：

其中，I是輸入圖像，I(W(s;ps))是將輸入圖像當前形狀中的紋理映射到平均形狀后的紋理向量，W(s;ps)是從由統(tǒng)計形狀模型的參數(shù)ps生成的當前形狀到平均形狀的一個仿射變換函數(shù)，+Tpt是當前模型的紋理向量。對于上述優(yōu)化問題，最直接的解決方案是使用基于梯度下降的優(yōu)化算法。然而，該類方法需要多次計算偏導數(shù)，從而導致算法效率低下。為了解決這一問題，Cootes等人進一步提出了一種基于回歸模型的參數(shù)搜索策略。首先定義模型匹配誤差為當前模型和輸入圖像之間的紋理差：

其中c是統(tǒng)計形狀模型和全局紋理模型參數(shù)聯(lián)結(jié)起來組成的一個參數(shù)向量，，W是一個權重矩陣，用于調(diào)節(jié)形狀參數(shù)和全局紋理參數(shù)之間的差異。假設模型匹配誤差與參數(shù)更新量之間存在一定的線性關系，從而可以通過紋理差e(c′)去計算聯(lián)合參數(shù)的更新值δc。

其中，R是一個有關紋理差值和參數(shù)更新值的映射矩陣，可以通過一系列實例樣本學習獲得，如一個線性回歸模型[19]。給定一幅新的人臉圖像，可以計算當前模型與輸入圖像的紋理差，并通過學習得到的回歸模型。通過一個迭代的過程，更新主動表觀模型參數(shù)，直到匹配誤差收斂。

2 結(jié)構化特征融合的主動表觀模型

通過上面的介紹可以看出，主動表觀模型的優(yōu)化過程依賴于模型和輸入圖像之間的全局紋理差。然而，人臉圖像的全局紋理受姿態(tài)、光照、表情和遮擋等因素的影響較為嚴重，往往不能很好地表示其與模型參數(shù)更新之間的關系。為了進一步獲取更加魯棒的人臉圖像特征，本文使用了一種結(jié)構化特征融合的策略，即將全局紋理誤差和形狀相關局部特征進行融合用于模型參數(shù)更新的預測。

2.1 結(jié)構化特征融合策略

假設當前人臉的人臉形狀為s=[x1...xl,y1...yl]T，在每個特征點（x，y）周圍選取一塊尺寸為H×H矩形區(qū)域，用T(xi,yi)表示第i個人臉特征點附近的矩形區(qū)域。對每個矩形區(qū)域使用局部特征描述子進行特征抽取并標記為，其中l(wèi)是人臉特征點的個數(shù)。將局部紋理特征H和全局紋理差e(c′)連接起來，就可以得到融合了局部紋理特征和全局紋理特征的聯(lián)合向量，，如圖3所示。在訓練線性回歸模型時，使用該聯(lián)合向量，建立其與模型參數(shù)更新值之間的線性關系。

圖3 結(jié)構化特征融合

在模型優(yōu)化過程中，可以通過訓練得到的回歸模型計算模型參數(shù)更新值：

基于結(jié)構化特征融合的主動表觀模型優(yōu)化算法可以總結(jié)為：

1）初始化模型參數(shù)c’；

2）計算紋理誤差e(c′)；

3）計算當前形狀每個特征點附近的局部特征H；

4）將2）和3）得到的全局紋理誤差和局部特征融合，組成聯(lián)合向量G；

5）使用聯(lián)合向量計算主動表觀模型的參數(shù)更新值G→δc；

6）更新聯(lián)合主動表觀模型的參數(shù)值：c′←c′+δc；

7）重復 2）～6），直到參數(shù)更新值小于某個預先設定的很小的閾值。

給出了本文基于結(jié)構化特征融合的主動表觀模型優(yōu)化算法的流程圖。在每一個迭代過程中，根據(jù)當前的統(tǒng)計形狀模型和全局紋理模型計算主動表觀模型與輸入圖像之間的紋理差，再計算當前形狀模型下每個特征點附近的局部特征，融合局部特征和全局紋理差，通過映射矩陣求得主動表觀模型的參數(shù)更新值，更新主動表觀模型，圖4是基于結(jié)構化特征融合的主動表觀模型匹配過程的示意圖。由于融合了局部特征，增強了抽取出來的人臉特征的表達能力，尤其是每個人臉圖像特征點附近的細節(jié)進行了更好的描述。

圖4 基于結(jié)構化特征融合的主動表觀模型匹配過程

2.2 形狀相關局部特征描述

傳統(tǒng)的主動表觀模型中的全局紋理是對整個人臉區(qū)域紋理信息的描述，而人臉局部特征主要是對點分布模型中每個特征點周圍的紋理特征進行描述。因為點分布模型中每個特征點都具有特殊的語義信息，所以以特征點為中心的局部特征算子也都具有一定的代表性。在提取形狀相關局部紋理特征時，以每個人臉特征點為中心，提取一小塊區(qū)域的紋理特征信息，如圖5所示，然后將所有特征點附近的局部特征組合起來，作為當前人臉圖像的局部特征。具體見2.1節(jié)。

圖5 提取人臉特征點附近局部特征的示意圖

文中使用了3種不同的局部特征算子：歸一化的紋理信息、局部二值特征和HOG。其中，歸一化的紋理信息是對每一小塊的紋理信息進行歸一化處理，，其中h是該塊區(qū)域的像素點灰度值，μ和σ分別是該區(qū)域內(nèi)所有像素點灰度值的均值和方差。局部二值模式（Local Binary Pattern，LBP）特征是過閾值來標記中心點像素與其鄰域像素之間的差別，若周圍像素值大于中心像素值，則該像素點的位置被標記為1，否則為0，以此建立該區(qū)域的局部特征。方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征要將將圖片分成若干個“細胞”，計算局部區(qū)域內(nèi)每個像素點梯度值和梯度方向，最后將“細胞”每一個像素點的梯度方向加權投影到直方圖中進行統(tǒng)計。

3 實驗結(jié)果和分析

文中在XM2VTS[15]和BioID[16]人臉數(shù)據(jù)庫上對新算法進行了測試。其中，BioID有1 520張人臉圖像，每張人臉有20個特征點；XM2VTS有2 360張人臉圖像，每張人臉圖像有68個特征點。在實驗過程中，每個數(shù)據(jù)庫被隨機平均分為兩部分，一半進行訓練，另一半進行測試。重復上述步驟5次，并使用平均值作為測試結(jié)果。在測試集中，用于衡量人臉特征點定位精度的指標設置為真實人臉特征點和模型匹配得到的特征點之間的歐式距離：

其中，Xi=（xi，yi）T是模型最終匹配到的特征點的位置，Xj=（xj，yj）T是該特征點的標準位置。計算測試集中全部測試實例特征點歐式距離的均值，作為評判模型匹配精度的一個標準。

首先，在XM2VTS數(shù)據(jù)庫上對傳統(tǒng)的主動表觀模型和結(jié)構化特征融合的主動表觀模型進行測試。本實驗將測試3種局部特征，具體見2.2節(jié)。對每一個局部特征描述子，本實驗又設置了11*11、15*15、19*19 3個不同的大小的局部特征，以比較不同尺寸的局部特征對結(jié)構化特征的主動表觀模型匹配精度的影響。

表1 XM2VTS人臉數(shù)據(jù)庫

如表1所示，結(jié)構化特征融合的主動表觀模型，不管是HOG特征、LBP特征還是歸一化的局部紋理信息都比較顯著的提高了主動表觀模型的匹配精度，相比而言，HOG特征的結(jié)果最為理想。而就具體的一種局部特征而言，其局部特征尺寸大小也會影響到最終的匹配結(jié)果。不同的局部特征，其能達到最佳的匹配結(jié)果的尺寸可能會有差別，但總體來看局部特征尺寸越大，自然會包含更多的信息，但其中的干擾信息也會增加，每個特征點局部特征的代表性會被相應的弱化。下面所有的實驗，都將采取15*15的局部特征。

圖6 結(jié)構化特征融合的主動表觀模型測試結(jié)果誤差分布圖

圖6是結(jié)構化特征融合的主動表觀模型測試結(jié)果誤差分布圖，這里的誤差就是真實人臉特征點和模型匹配得到的特征點之間的歐式距離。圖5的橫坐標是誤差大小，縱坐標是誤差分布情況。結(jié)構化特征的融合對主動表觀模型提高是顯而易見的。將

局部特征和全局紋理信息相結(jié)合，為主動表觀模型增加了特征點附近更多的細節(jié)信息，提高了其對人臉特征點的定位能力。在3個局部特征算子中，HOG特征的結(jié)果是最理想的。

最后，在BioID數(shù)據(jù)庫上的對融入了不同局部特征的結(jié)構化特征融合主動表觀模型進行測試，如表2所示。BioID數(shù)據(jù)庫上測試的結(jié)果和XM2VTS數(shù)據(jù)庫上的結(jié)果是一致的。將局部特征與全局紋理信息相結(jié)合，提高了模型的匹配能力。對比不同的局部特征，HOG特征的匹配效果是最好的。

表2 BioID數(shù)據(jù)庫

4 結(jié) 論

通過將以HOG特征為代表的局部特征算子與全局紋理模型相結(jié)合，極大的提高了主動表觀模型的表現(xiàn)能力，增強了模型對于特征點定位的準確度。這其中，局部特征算子對光照、姿態(tài)、人臉上的遮蓋物等干擾信息，表現(xiàn)出來了極強的魯棒性。而不同的局部特征算子又有不同的特點。針對不同的研究目標，如何更加有效的使用局部特征算子，將它們各自的優(yōu)勢最大化，是可以繼續(xù)去探究的。

[1]楊武俊.基于神經(jīng)網(wǎng)絡的人臉圖像識別算法[J].網(wǎng)絡安全技術與應用，2016（1）:98.

[2]廖延娜，馬超.基于稀疏表示的人臉識別系統(tǒng)設計與實現(xiàn)[J].電子設計工程，2016（17）:153-155.

[3]Kittler J，Huber P，F(xiàn)eng Z H，et al.3D morphable face models and their applications[C]//International Conference on Articulated Motion and Deformable Objects，2016:185-206.

[4]施華，黃昶.一種改進的基于ASM模型的人臉跟蹤算法[J].信息技術，2015（7）:88-89.

[5]王長元，徐順等.主動表觀模型在人臉特征提取中的應用[J].電子測試，2014（3X）:31-32.

[6]Tzimiropoulos G，Pantic M.Fast algorithms for fitting active appearance models to unconstrained images[J].International Journal of Computer Vision，2016:1-17.

[7]鹿宏青，李錦濤.基于主動表觀模型的人臉特征點自動標定[J].電子技術與軟件工程，2016（1）:110-110.

[8]Xiong X，De la Torre F.Supervised descent method and its applications to face alignment[C]//IEEE conference on computer vision and pattern recognition，2013:532-539.

[9]Feng Z H，Hu G，Kittler J，et al.Cascaded collaborative regression for robust facial landmark detection trained using a mixture of synthetic and realimageswith dynamicweighting[J].IEEE Transactions on Image Processing，2015，24（11）:3425-3440.

[10]黃忠，胡敏，劉娟.基于AAM-SIFT特征描述的兩級SVM人臉表情識別[J].計算機工程與應用，2016，52（3）:178-183.

[11]Zhang Z，Luo P，Loy C C，et al.Facial landmark detection by deep multi- task learning[C]//European Conference on Computer Vision.2014:94-108.

[12]梅蓉蓉，吳小俊，馮振華.基于狀態(tài)估計的張量分解人臉識別方法[J].計算機工程與應用，2011，47（24）:143-145.

[13]劉明珠，武琪，李昌，等.基于2DDPCA的人臉識別算法[J].電視技術，2016，40（1）:122-126.

[14]胡敏，程天梅，王曉華，等.融合全局和局部特征的人臉識別[J].電子測量與儀器學報，2013，27（9）:817-822.

[15]Kumari J，Rajesh R.Facial expression recognition usinghistogramoforientedgradients[C]//International Conference on Recent Advances in Mathematics，Statistics and Computer Science.2016.

[16]Martins P，Henriques J，Rui C，et al.Bayesian constrained local models revisited.[J]. IEEE Transactionson Pattern Analysis& Machine Intelligence，2016:1-1.

[17]梅蓉蓉，吳小俊，馮振華.改進的動態(tài)模糊神經(jīng)網(wǎng)絡及其在人臉識別中的應用[J].計算機應用與軟件，2012，44（1）:465-469.

[18]Aurenhammer F，Klein R，Lee D T.Voronoi diagrams and delaunay triangulations[J].2013，19（3）:348.

[19]黃飛，譚守標等.基于改進主動表觀模型算法的人臉特征定位[J].計算機工程與應用，2015，51（16）:204-209.