賈項(xiàng)南，于鳳芹，陳 瑩

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院，江蘇無錫214100)

(*通信作者電子郵箱jxn0415@foxmail．com)

0 引言

人臉特征點(diǎn)定位是對(duì)一幅人臉圖片具有特殊語義的部位進(jìn)行定位的方法，例如眼睛、鼻子、嘴巴和輪廓。這一技術(shù)對(duì)于人臉識(shí)別［1］、人臉跟蹤［2］、人臉動(dòng)畫和 3D 人臉建模［3］至關(guān)重要。由于人臉表情豐富、光照變化較大和部分遮擋等因素，使得人臉特征點(diǎn)定位仍然存在巨大的挑戰(zhàn)。傳統(tǒng)的人臉特征點(diǎn)定位算法主要有主動(dòng)形狀模型(Active Shape Model，ASM)［4］、主動(dòng)外觀模型(Active Appearances Model，AAM)［5］和基于以上兩種方法的一系列改進(jìn)算法。傳統(tǒng)的算法實(shí)現(xiàn)了良好的定位效果，但是定位效率低，無法滿足實(shí)時(shí)性需求。

近幾年，人臉特征點(diǎn)定位取得了較大的進(jìn)步，有許多高效率、高準(zhǔn)確率的算法被提出，例如基于級(jí)聯(lián)回歸［6－9］、核密度估計(jì)、局部約束模型［10－11］以及神經(jīng)網(wǎng)絡(luò)［12］的人臉特征點(diǎn)定位算法?；诩?jí)聯(lián)回歸的方法通過學(xué)習(xí)一個(gè)回歸函數(shù)直接將人臉圖像的紋理特征映射到目標(biāo)輸出，具有較高的定位精度和效率。最具代表性的是顯式形狀回歸(Explicit Shape Regression，ESR)算法［8］，該算法采用級(jí)聯(lián)回歸作為算法的主體框架，以一幅人臉圖片和初始形狀為基準(zhǔn)，采用隨機(jī)蕨作為回歸器，從訓(xùn)練樣本中學(xué)習(xí)得到形狀增量，直接將人臉的紋理信息與形狀增量之間建立映射關(guān)系，定位精度高、速度快。但是該算法借助于人臉檢測(cè)得到的人臉檢測(cè)框作為形狀初始化的映射標(biāo)準(zhǔn)，當(dāng)人臉姿態(tài)偏轉(zhuǎn)較大時(shí)不能準(zhǔn)確地檢測(cè)到人臉，無法得到準(zhǔn)確的人臉初始形狀，從而導(dǎo)致算法精度低、收斂速度慢;顯式形狀回歸算法在構(gòu)造隨機(jī)蕨回歸器時(shí)采用像素特征，像素特征雖然計(jì)算簡單，但是易受光照影響，魯棒性較差;面對(duì)多次初始化得到的多個(gè)定位結(jié)果，顯式形狀回歸算法對(duì)多個(gè)定位結(jié)果取平均得到最終定位結(jié)果，然而有的定位結(jié)果對(duì)眼睛、鼻子區(qū)域定位較理想，有的定位結(jié)果對(duì)嘴巴、輪廓區(qū)域定位較理想，這樣簡單地取平均會(huì)忽略各個(gè)定位結(jié)果的優(yōu)劣，不能對(duì)多個(gè)定位結(jié)果進(jìn)行最佳融合。

針對(duì)以上問題，本文對(duì)顯式形狀回歸算法提出以下改進(jìn):首先利用已有的技術(shù)檢測(cè)出雙眼和嘴巴的中心形成三點(diǎn)人臉形狀來代替人臉檢測(cè)框作為人臉形狀初始化的映射標(biāo)準(zhǔn)，通過相似變換將最初的人臉形狀映射到人臉圖片上以得到更精確的初始形狀來提高算法的定位精度;然后采用像素塊特征代替像素特征，在人臉區(qū)域隨機(jī)選取一小塊區(qū)域并對(duì)該區(qū)域內(nèi)的所有像素取平均，得到平均灰度值作為隨機(jī)蕨的輸入特征，來對(duì)抗光照變化增加算法的魯棒性;最后采用多假設(shè)融合策略挑選出各個(gè)定位結(jié)果中定位效果較好的區(qū)域進(jìn)行最佳融合來進(jìn)一步提高算法的定位精度。

1 基本原理

給定一幅人臉圖片Ii，一個(gè)初始形狀，級(jí)聯(lián)回歸模型以逐步累加的方式結(jié)合T級(jí)回歸器(R1，…，R，…，RT)來進(jìn)行迭代回歸，每一個(gè)回歸器從圖像紋理特征計(jì)算得到一個(gè)形狀增量ΔS且以級(jí)聯(lián)方式更新人臉形狀:

其中:Ii表示第i個(gè)樣本，第t級(jí)的回歸器Rt通過更新上一級(jí)人臉形狀來得到新的人臉形狀，形狀回歸增量 Rt(Ii，取決于人臉圖像Ii和上一級(jí)評(píng)估的形狀。

ESR算法在級(jí)聯(lián)回歸框架的基礎(chǔ)上采用二級(jí)級(jí)聯(lián)回歸方式來計(jì)算形狀增量ΔS，一級(jí)回歸用來提取特征、更新形狀，二級(jí)回歸選擇特征，得到形狀增量。一級(jí)回歸的強(qiáng)回歸器Rt由二級(jí)回歸的K個(gè)弱回歸器(r1，r2，…，rK)組成，即Rt=(r1，r2，…，rK)，經(jīng)過多次迭代最終形成一系列的強(qiáng)回歸器(R1，R2，…，RT)。

ESR算法通過人臉檢測(cè)器檢測(cè)得到人臉檢測(cè)框，然后將最初的人臉形狀映射到人臉檢測(cè)框內(nèi)得到初始形狀，在人臉區(qū)域隨機(jī)選取P個(gè)像素點(diǎn)，計(jì)算每個(gè)像素點(diǎn)到所有特征點(diǎn)的歐氏距離，選擇歐氏距離最小的特征點(diǎn)作為選取的像素點(diǎn)的索引，P個(gè)像素點(diǎn)兩兩相減得到P×P個(gè)像素差值特征，并且采用相關(guān)性特征選擇的方法，從P×P像素差值中選擇出F個(gè)最具代表性的像素特征和閾值來構(gòu)造隨機(jī)蕨回歸器。隨機(jī)蕨回歸器看成是一個(gè)由F個(gè)決策節(jié)點(diǎn)組成的結(jié)構(gòu)，決策節(jié)點(diǎn)包含一對(duì)特征〈I1，I2〉和一個(gè)閾值τ。通過閾值τ將F對(duì)像素差值特征劃分成一串二進(jìn)制序列:

其中，I(i，j)表示像素點(diǎn)的灰度值，將二進(jìn)制序列轉(zhuǎn)化成十進(jìn)制數(shù)字b作為一個(gè)回歸容器的索引，b∈［0，2F－1］，b可以索引到2F個(gè)回歸容器中。任意一個(gè)訓(xùn)練樣本進(jìn)入隨機(jī)蕨回歸器，該樣本的F個(gè)特征節(jié)點(diǎn)決定了其最終的回歸歸屬。當(dāng)使用隨機(jī)蕨作為回歸器時(shí)，每一個(gè)回歸容器的輸出結(jié)果ΔSb由所落入該容器的訓(xùn)練樣本的平均估計(jì)誤差計(jì)算得到:

其中:S^表示第i個(gè)樣本的真實(shí)人臉形狀;S表示第i個(gè)樣本

ii當(dāng)前階段估計(jì)的形狀;表示落入回歸容器b中的樣本個(gè)數(shù);β是收斂參數(shù)，用來防止落入容器b中的樣本數(shù)量太少出現(xiàn)過擬合的問題。

本文從形狀初始化的映射標(biāo)準(zhǔn)、算法所采用的特征和最終定位結(jié)果的融合方式出發(fā)，對(duì)顯示形狀回歸人臉特征點(diǎn)定位算法進(jìn)行改進(jìn)。

1．1 基于三點(diǎn)定位的人臉形狀初始化

為了得到更精確的初始人臉形狀，提出了三點(diǎn)定位的人臉形狀初始化方法，通過已有技術(shù)對(duì)眼睛和嘴巴中心進(jìn)行定位［13］，形成三點(diǎn)人臉形狀，通過相似變換，對(duì)初始形狀進(jìn)行調(diào)整，通過平移、旋轉(zhuǎn)、縮放使其更接近真實(shí)人臉形狀，進(jìn)而提高人臉特征點(diǎn)定位的精度。

對(duì)于第i個(gè)樣本，通過已有技術(shù)檢測(cè)出雙眼和嘴巴3個(gè)部位的中心點(diǎn)，形成三點(diǎn)人臉形狀，從訓(xùn)練樣本中隨機(jī)選取最初的人臉形狀并提取雙眼和嘴巴的中心點(diǎn)得到三點(diǎn)人臉形狀為求解相似變換所需要的參數(shù)，使對(duì)齊于的相似變換過程如下:

以下是求解縮放因子、平移向量、旋轉(zhuǎn)矩陣過程。首先，計(jì)算得到的中心坐標(biāo)分別為m1、m2，通過以下計(jì)算可以得到平移向量t和縮放因子c:

其中conv(S)是形狀S的協(xié)方差矩陣。計(jì)算旋轉(zhuǎn)矩陣R時(shí)，需要將形狀歸一化到相同的尺寸下:

S'i1=［x1，y1;x2，y2;x3，y3］，S'i2=［u1，v1;u2，v2;u3，v3］。為了計(jì)算旋轉(zhuǎn)矩陣的參數(shù)，使形狀S'i2對(duì)齊于S'i1，即最小化式(9):

即可求得旋轉(zhuǎn)矩陣R。

通過以上求出的平移向量t、縮放因子c、旋轉(zhuǎn)矩陣R，即可將最初的人臉形狀經(jīng)過相似變換得到最終的初始形狀

將最初的人臉形狀通過雙眼和嘴巴形成的三點(diǎn)人臉形狀映射到人臉圖像上，得到一個(gè)更準(zhǔn)確的初始人臉形狀。對(duì)一幅圖片進(jìn)行M次初始化，即可得到M個(gè)初始人臉形狀{，

1．2 基于像素塊特征的人臉特征點(diǎn)定位

顯式形狀回歸算法采用的特征是像素差值特征，該特征計(jì)算簡單效率高，但是對(duì)于有遮擋和光照變化的人臉圖片魯棒性較差，會(huì)導(dǎo)致定位效果不理想。

為了解決以上問題，本文提出了像素塊差值特征。在人臉區(qū)域隨機(jī)選取P個(gè)3×3大小的像素塊，計(jì)算像素塊的中心到所有特征點(diǎn)的歐氏距離，選擇距離最小的特征點(diǎn)作為該像素塊的索引，計(jì)算像素塊的平均紋理灰度值，作為最終的像素塊特征，P個(gè)特征兩兩相減得到P×P個(gè)像素塊差值特征，采用相關(guān)性特征選擇方法［8］，從P×P個(gè)像素塊差值中選取F對(duì)判別性較高的像素塊差值特征和閾值構(gòu)造隨機(jī)蕨回歸器，像素塊差值特征計(jì)算公式如下:

其中:Ω1、Ω2表示兩個(gè)3×3的像素塊，I(i，j)表示圖像中(i，j)點(diǎn)的灰度值，再將像素塊差值特征與所選的閾值τ進(jìn)行比較:

F對(duì)像素塊差值特征和閾值τ即可構(gòu)成深度為F的隨機(jī)蕨回歸器，通過隨機(jī)蕨節(jié)點(diǎn)上的閾值τ將像素塊差值特征劃分為二進(jìn)制序列，并將二進(jìn)制序列轉(zhuǎn)化成十進(jìn)制數(shù)作為回歸器的索引得到形狀增量，進(jìn)而完成人臉特征點(diǎn)的定位。

1．3 基于多假設(shè)融合策略的人臉特征點(diǎn)定位

對(duì)于第i幅人臉圖像Ii進(jìn)行M次初始化得到M個(gè)初始人，通過計(jì)算得到M個(gè)預(yù)測(cè)結(jié)果{Si1，Si2，…，SiM}，并稱之為多假設(shè)，為了得到一個(gè)更精確的定位結(jié)果，提出了多假設(shè)融合策略。由于多假設(shè)融合策略計(jì)算復(fù)雜，本文采用區(qū)域融合策略，即人臉的同一部位的特征點(diǎn)定位總是來自同一個(gè)假設(shè)。

為了從多個(gè)融合結(jié)果中選擇出最佳的定位結(jié)果，需要定義一個(gè)選擇最佳結(jié)果的函數(shù)。正如文獻(xiàn)［14］描述的，定義一個(gè)映射矩陣W來得到多假設(shè)融合策略的最大輸出結(jié)果作為最佳的定位結(jié)果。

其中:Si是最終的輸出結(jié)果，Ψ表示特征，本文采用2．2節(jié)產(chǎn)生的二進(jìn)制序列作為Ψ特征。可以看出式(14)是一個(gè)標(biāo)準(zhǔn)的結(jié)構(gòu)化SVM問題。所以本文使用結(jié)構(gòu)化SVM算法［15－16］學(xué)習(xí)一個(gè)映射自動(dòng)融合多假設(shè)結(jié)果。針對(duì)本文的問題，定義一個(gè)預(yù)測(cè)形狀Si和真實(shí)性狀S^i之間的損失函數(shù)為:Δ(Si，S^i)=‖Si－S^i‖22。考慮到損失函數(shù)的復(fù)雜度，本文采用Matlab結(jié)構(gòu)化SVM包來解決多假設(shè)融合策略問題，從而得到一個(gè)最佳的定位結(jié)果。

2 算法實(shí)現(xiàn)步驟

本文算法具體步驟如下:

1)輸入訓(xùn)練圖片，通過文獻(xiàn)中的已有技術(shù)對(duì)人的眼和嘴巴中心點(diǎn)進(jìn)行定位成三點(diǎn)人臉形狀，從訓(xùn)練樣本中隨機(jī)抽取M個(gè)人臉形狀并通過相似變換求出每個(gè)初始形狀到檢測(cè)出的3個(gè)點(diǎn)的縮放因子c，平移向量t，旋轉(zhuǎn)矩陣R并將其映射到人臉圖片上得到一系列的初始形狀

2)在人臉圖片上隨機(jī)選擇P個(gè)像素點(diǎn)，并計(jì)算每一個(gè)像素到L個(gè)特征點(diǎn)的歐氏距離，選擇最近的特征點(diǎn)作為該像素點(diǎn)的索引，然后以這P個(gè)像素特征點(diǎn)為中心選取3×3區(qū)域求平均得到的值作為特征，P個(gè)像素塊特征兩兩作差即可得到P×P個(gè)像素塊差值特征。

3)對(duì)于步驟2)得到的像素塊特征，采用相關(guān)性特征選擇方式選擇出最具判別性的特征來構(gòu)造K個(gè)隨機(jī)蕨弱回歸器組成第一層的強(qiáng)回歸器Rt，得到形狀增量ΔS，更新當(dāng)前階段的人臉形狀，并進(jìn)入下一級(jí)迭代，直到預(yù)測(cè)誤差不再增加停止迭代。

4)通過步驟1)～3)，每一個(gè)訓(xùn)練樣本得到M個(gè)定位結(jié)果{Si1，Si2，…，SiM}，采用多假設(shè)融合策略對(duì)M個(gè)定位結(jié)果進(jìn)行最佳融合。

5)測(cè)試過程采用與訓(xùn)練過程同樣的初始化方法，并且采用訓(xùn)練過程中構(gòu)造好的隨機(jī)蕨回歸器，加載訓(xùn)練好的模型，通過一步一步的迭代使初始人臉形狀收斂于真實(shí)人臉形狀。最后對(duì)多個(gè)定位結(jié)果采用多假設(shè)融合策略來獲得最終的定位效果。

本文算法流程如圖1所示。

圖1 改進(jìn)的顯式形狀回歸人臉特征點(diǎn)定位算法流程Fig．1 Flow chart of improved explicit shape regression for face alignment

3 仿真實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)環(huán)境 Windows7 64位，Intel Core i3-2310M CPU處理器，6 GB內(nèi)存，Matlab R2016a仿真系統(tǒng)。實(shí)驗(yàn)數(shù)據(jù)采用本研究領(lǐng)域公認(rèn)的 三大數(shù)據(jù)庫 LFPW［17］、HELEN［18］、300-W［19］。LFPW庫中的圖片來源于網(wǎng)絡(luò)，包含了大量姿態(tài)、光照、表情變化較大的人臉圖片，可以更好地驗(yàn)證算法的性能，采用訓(xùn)練集中1100張人臉圖片中的800張作為訓(xùn)練圖片，測(cè)試集300張中的224張作為測(cè)試圖片。HELEN庫包含了2330張高分辨率的網(wǎng)絡(luò)圖片，采用2 000張作為訓(xùn)練樣本，330作為測(cè)試樣本。300-W庫具有極大的挑戰(zhàn)性，因?yàn)槠浒嗽谧藨B(tài)、表情、背景和圖片質(zhì)量方面大幅度變化的圖片。本文采用300-W 庫中包含的LFPW、HELEN、AFW庫作為訓(xùn)練樣本，將IBUG庫作為測(cè)試樣本。LFPW、HELEN、300-W這三個(gè)庫中的人臉圖片都包含了68個(gè)特征點(diǎn)，并作為真實(shí)人臉形狀來進(jìn)行有監(jiān)督學(xué)習(xí)。

參數(shù)設(shè)置 算法中初始化人臉形狀次數(shù)M為10，特征點(diǎn)數(shù)L為68，第一級(jí)回歸迭代次數(shù)T為10，第二級(jí)回歸器數(shù)量K為500，隨機(jī)在人臉區(qū)域選擇的像素特征數(shù)P為500，選擇出的最具判別性的特征數(shù)F為5，即隨機(jī)蕨深度為5。

衡量標(biāo)準(zhǔn) 在測(cè)試算法性能時(shí)，本文采用文獻(xiàn)［8］的衡量標(biāo)準(zhǔn)來評(píng)估人臉形狀誤差，由于圖片中人臉大小各不相同，采用雙眼間距離來標(biāo)準(zhǔn)化定位誤差，定位誤差計(jì)算公式如下:

其中:N表示樣本數(shù)量，L表示特征點(diǎn)個(gè)數(shù)，Si表示預(yù)測(cè)的人臉形狀，S^i表示真實(shí)人臉形狀，di表示雙眼間的距離。

為了驗(yàn)證本文算法的有效性，分別與文獻(xiàn)［6－8］中的算法在LFPW、HELEN人臉庫上進(jìn)行對(duì)比。文獻(xiàn)［6－8］是當(dāng)今人臉特征點(diǎn)定位領(lǐng)域定位效果較好的三種算法，本文算法就是在文獻(xiàn)［8］ESR算法基礎(chǔ)上進(jìn)行改進(jìn)得到的。從表1可知，本文算法在LFPW庫上比原算法ESR定位誤差降低了7．96%，在HELEN庫上降低了5．36%，在300-W庫上降低了1．94%，本文算法比ESR定位精度高的原因是通過精確的定位人臉和嘴巴來獲得更準(zhǔn)確的初始人臉形狀，并且采用像素塊特征，抗光干擾性較強(qiáng)，魯棒性好，本文算法在最后挑選出多個(gè)定位結(jié)果較好的區(qū)域進(jìn)行最佳組合，所以本文算法實(shí)現(xiàn)了較理想的定位效果。本文改進(jìn)的ESR算法比文獻(xiàn)［6－8］定位效果都要好，基本滿足人臉特征點(diǎn)定位的精度需求。

表1 各算法定位誤差比較Tab．1 Alignment error comparisons of algorithms

為了更好地體現(xiàn)本文定位算法的優(yōu)勢(shì)，對(duì)幾種算法的定位準(zhǔn)確率進(jìn)行對(duì)比。有些學(xué)者提出當(dāng)樣本誤差＜0．25時(shí)，表示樣本定位正確，還有更嚴(yán)格的評(píng)價(jià)標(biāo)準(zhǔn)，當(dāng)樣本誤差＜0．10時(shí)，表示樣本定位正確。從表2可知，當(dāng)采用樣本誤差＜0．10的標(biāo)準(zhǔn)時(shí)，幾種算法定位正確率均達(dá)到90%以上。本文算法隨著誤差標(biāo)準(zhǔn)的放寬，定位準(zhǔn)確率逐漸上升，并在樣本誤差＜0．15時(shí)，定位正確率率先達(dá)到100%。

表2 各算法LFPW庫定位正確率比較Tab．2 Alignment accuracy comparison on LFPW dataset of algorithms

從表3可知:文獻(xiàn)［6］的定位正確率處于遙遙領(lǐng)先的地位，是因?yàn)槲墨I(xiàn)［6］提出的算法主要用來解決人臉存在遮擋的問題，所以在有大量遮擋的HELEN庫中比本文算法的定位正確率更高;但本文算法比文獻(xiàn)［7］、文獻(xiàn)［8］定位正確率都高，基本滿足定位需求?？傮w上看，表3的定位正確率比表2要低，是因?yàn)長FPW庫中包含的人臉姿態(tài)中規(guī)中矩，利于定位，而在HELEN庫中卻包含著大量姿態(tài)變化、光照變化、表情變化較大和大面積遮擋的人臉圖片，定位起來比較困難。

圖2是本文算法在LFPW庫的最終定位效果圖。由圖2可知，本文算法對(duì)于具有挑戰(zhàn)性的人臉圖片能夠?qū)崿F(xiàn)良好的定位效果。主要是由于本文算法在初始化階段對(duì)于各種姿態(tài)的人臉圖片都能通過相似變換給定準(zhǔn)確的初始人臉形狀，在特征提取階段使用像素塊特征來對(duì)抗光照變化的影響，最后階段使用多假設(shè)融合策略將定位較好的結(jié)果進(jìn)行融合，最終實(shí)現(xiàn)了良好的定位效果。

表3 各算法HELEN庫定位正確率比較Tab．3 Alignment accuracy comparison on HELEN dataset of algorithms

圖2 LFPW庫上的實(shí)驗(yàn)結(jié)果Fig．2 Experimental results on LFPW dataset

圖3是本文算法與文獻(xiàn)［6－8］算法在HELEN庫上的實(shí)驗(yàn)效果比較。由圖3(a)可知，文獻(xiàn)［6－7］算法對(duì)于表情豐富的人臉圖片鼻子處定位失敗，文獻(xiàn)［8］算法對(duì)于圖片左上角的眉毛處定位失敗，而本文算法對(duì)于各個(gè)部位均實(shí)現(xiàn)了較準(zhǔn)確的定位。由圖3(b)可知，對(duì)于姿態(tài)偏轉(zhuǎn)較大的圖片，文獻(xiàn)［6－8］算法的定位效果均不太理想，尤其是左側(cè)臉頰，而本文算法采用了基于三點(diǎn)定位的初始化方法，對(duì)于大姿態(tài)的人臉圖片實(shí)現(xiàn)了良好的定位。圖3(c)是存在大量遮擋人臉圖片，幾種算法均實(shí)現(xiàn)了良好的定位，尤其是本文算法定位效果更接近真實(shí)人臉形狀。圖3(d)是既存在姿態(tài)偏轉(zhuǎn)又存在光照變化較大的人臉圖片，文獻(xiàn)［6］算法鼻子處定位失敗，文獻(xiàn)［8］算法鼻子和嘴巴均定位失敗，主要是由于這兩種算法對(duì)抗光照變化能力較弱，本文算法在鼻子處定位雖然也存在一定的誤差，但是更接近真實(shí)的定位效果。

4 結(jié)語

本文針對(duì)顯式形狀回歸人臉特征點(diǎn)定位算法存在的一些問題提出了改進(jìn)。首先，采用已有技術(shù)定位出雙眼和嘴巴三個(gè)部位的中心形成三點(diǎn)人臉形狀來作為形狀初始化的映射標(biāo)準(zhǔn)，以得到更精確的初始人臉形狀;然后采用像素塊特征來對(duì)抗光照變化增加算法的魯棒性;最后采用多假設(shè)融合策略來對(duì)多次初始化得到的多個(gè)定位結(jié)果進(jìn)行最佳融合進(jìn)一步提高算法的定位精度。仿真實(shí)驗(yàn)結(jié)果表明，與原算法相比，本文算法在LFPW、HELEN和300-W人臉庫上的定位精度分別提高了7．96%、5．36%和1．94%;但是本文的算法在處理具有大面積遮擋的人臉時(shí)，特征點(diǎn)定位效果不理想，這是今后需要重點(diǎn)研究的內(nèi)容。

圖3 HELEN庫上的實(shí)驗(yàn)結(jié)果Fig．3 Experimental results on HELEN dataset