劉 暢，畢篤彥，熊 磊，李岳云

（空軍工程大學(xué) 航空航天工程學(xué)院，陜西 西安710038）

0 引 言

當(dāng)前，跟蹤與記錄非剛體物體 （比如人臉）的形狀與外觀變化，仍然是一個(gè)十分具有挑戰(zhàn)性的問(wèn)題。經(jīng)過(guò)幾十年的探索，人們研究出了一系列高效而又準(zhǔn)確的方法，包括常用的主動(dòng)形狀模型 （active shape models，ASM）、主動(dòng)外觀模型 （active appearance models，AAM）以及受限局部 模 型 （constrained local models，CLM）［1］。若 干 衍 生的AAM［2，3］匹配方法中，一些具有實(shí)時(shí)的人臉跟蹤能力，這使得AAM 成為最常用的人臉跟蹤方法之一，然而該方法的特征點(diǎn)初始化準(zhǔn)確度對(duì)于最終匹配結(jié)果的精確度影響非常大。由此學(xué)者們又提出了AAM 的判別匹配方法［4，5］，它利用已有的訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)匹配更新模型，對(duì)于粗略的特征點(diǎn)初始化顯示出了很強(qiáng)的魯棒性，但是該算法在運(yùn)算效率方面差強(qiáng)人意［5］。

Cristinacce等提出的受限局部模型從某種程度上解決了這個(gè)問(wèn)題，之后Saragih創(chuàng)造性地提出了正則特征點(diǎn)均值漂移法 （regularized landmark mean－shift，RLMS），在特征點(diǎn)定位精確度方面已經(jīng)超越了AAM 算法，并且被認(rèn)為是在一般性人臉匹配情景下當(dāng)今最好的算法之一。Asthana等［6］提出了一種CLM 框架下的判別響應(yīng)圖匹配法 （discriminative response map fitting，DRMF），它 的 性 能 優(yōu) 于RLMS［1］和樹(shù)狀模型的算法［7］，并且實(shí)驗(yàn)顯示基于HOG 特征的塊專家方法能夠大幅提高CLM 框架下匹配的表現(xiàn)及其魯棒性。

本文對(duì)DRMF方法中的回歸算法進(jìn)行了進(jìn)一步優(yōu)化，可以實(shí)現(xiàn)魯棒的形狀參數(shù)更新，并大幅提高了算法的處理速度。

1 研究中存在的問(wèn)題

人臉可變形模型的目標(biāo)是對(duì)未知圖像中的人臉形狀進(jìn)行預(yù)測(cè)并用參數(shù)表示。人臉可變形模型大致可以被分為兩大類：①全局模型：利用全局紋理對(duì)人臉進(jìn)行表示；②局部模型：主要利用特征點(diǎn)周圍的局部圖像塊對(duì)人臉進(jìn)行表示。第一類中比較著名的模型有AAM［2］；第二類包括的模型有CLM［1］和樹(shù)狀模型［7］。

1.1 全局模型

全局模型首先需要建立一個(gè)形狀模型，通常先標(biāo)記n個(gè)面部基準(zhǔn)特征點(diǎn)x＝ ｛xi，yi｝T，i＝1，…，n 并把它們串聯(lián)成一個(gè)向量s＝ ｛x1，…，xn｝T，然后就可以對(duì)這些訓(xùn)練樣本點(diǎn)進(jìn)行PCA 降維并通過(guò)學(xué)習(xí)來(lái)建立一個(gè)統(tǒng)計(jì)的形狀模型，之后我們分別針對(duì)每個(gè)特征點(diǎn)建立一個(gè)局部的紋理特征，并在搜索過(guò)程中在形狀模型的約束下，利用建立好的紋理特征與目標(biāo)圖像進(jìn)行匹配來(lái)更新特征點(diǎn)位置，反復(fù)迭代從而獲得準(zhǔn)確地人臉特征點(diǎn)定位。

全局模型的缺點(diǎn)：①定義一個(gè)線性統(tǒng)計(jì)模型來(lái)說(shuō)明身份、表情、姿態(tài)、光照的變化比較困難；②同樣，由于面部紋理的巨大變化，實(shí)現(xiàn)紋理特征到形狀參數(shù)的回歸也很困難 （在最新的一個(gè)算法當(dāng)中利用隨機(jī)選擇的紋理樣本實(shí)現(xiàn)了全局形狀回歸［8］，但文中沒(méi)有提及具體的實(shí)現(xiàn)方法）；③部分遮擋問(wèn)題不容易處理；④由于需要對(duì)整個(gè)圖像定義一個(gè)翹曲函數(shù)，三維形狀模型也不易被合成，只能通過(guò)犧牲效率［9］或在代價(jià)函數(shù)中加入其它參數(shù)來(lái)實(shí)現(xiàn)。

1.2 局部模型

局部模型的主要優(yōu)點(diǎn)有：①因?yàn)槲覀冴P(guān)心的只有人臉區(qū)域，所以部分遮擋問(wèn)題可以很容易地解決；②由于不需要對(duì)翹曲函數(shù)進(jìn)行估計(jì)，三維的人臉模型可以直接進(jìn)行合成。通常來(lái)說(shuō)，利用局部模型表達(dá)人臉時(shí)，可以用M ＝｛S，D｝進(jìn)行表示，其中是一組面部特征的檢測(cè)器 （每個(gè)檢測(cè)器與形狀模型中的特征相對(duì)應(yīng)）。目前有許多種構(gòu)造局部模型的方法［1，7］，在本文當(dāng)中我們主要研究的是ASM 與CLM 的方法［1］。

CLM 的形狀模型可由下式表示

其中，R （通過(guò)俯仰rx、偏航ry和滾轉(zhuǎn)rz進(jìn)行計(jì)算），s和t＝ ［tx；ty；0］分別控制著形狀剛性的旋轉(zhuǎn)、尺度和平移變化，q控制著形狀的非剛性變換。因此形狀模型的參數(shù)就是p＝ ［s，rx，ry，rz，tx，ty，q］。另外，D 是一組用于檢測(cè)人臉n 個(gè)分塊的線性分類器，可以寫作D＝ ｛wi，，其中wi和bi是人臉第i 個(gè)分塊的線性檢測(cè)器 （例如嘴角檢測(cè)器），這些檢測(cè)器把第i個(gè)分塊與給定圖像L 中位置x被正確定位 （li＝1）定義為

式中：f（x； ）是從圖像 中以xi為中心的分塊中提取的特征。顯然，在x處沒(méi)有被正確定位的概率就是p（li＝－1｜x， ）＝1－p （li＝1｜x， ）。

ASM 和CLM 的目標(biāo)就是從參數(shù)p中建立一個(gè)形狀模型，使得模型中形狀與特征點(diǎn)的位置與圖像能夠準(zhǔn)確地對(duì)應(yīng)。用概率論的方法，我們可以通過(guò)求解下面的公式來(lái)找到形狀模型s（p）

在文獻(xiàn) ［1］中，通過(guò)假設(shè)一個(gè)等方差各向同性的高斯核密度對(duì)于每一個(gè)訓(xùn)練集的每一個(gè)分塊i都進(jìn)行估計(jì)，即p（li＝（xi（p）｜yi，p ）上面的優(yōu)化問(wèn)題可以被重寫為

先驗(yàn)概率p（p）起到規(guī)范的作用，一般選擇關(guān)于q的零均值高斯先驗(yàn)函數(shù) （p（p）＝ （q）｜0，Λ））。在文獻(xiàn)［1］中采用了期望最大化 （expectation maximization，EM）算法解決了上述優(yōu)化問(wèn)題。

2 判別響應(yīng)圖匹配

在本文當(dāng)中，我們借用了不同于1.2中RLMS中最大化重建概率的方法，在已知圖像中所有塊區(qū)域都被正確定位的條件下，用判別回歸的方法來(lái)估計(jì)模型參數(shù)p，找到一個(gè)形狀變化的響應(yīng)估計(jì)到形狀參數(shù)更新的映射。我們假設(shè)在訓(xùn)練集中引入一個(gè)形變?chǔ)，并且我們對(duì)每一個(gè)形變點(diǎn)周圍w×w 的區(qū)域進(jìn)行響應(yīng)估計(jì)，Ai（Δp）＝［p（li＝1｜x＋xi（Δp）］；然后從得到的響應(yīng)圖f（｛Ai（Δp））中，我們希望學(xué)習(xí)到一個(gè)函數(shù)f，滿足f（｛Ai（Δp））＝Δp，我們把這種方法就叫做判別響應(yīng)圖匹配 （DRMF）［6］。選擇這種方法主要是考慮到與紋理特征在基于全局回歸方法的AAM框架下不同，響應(yīng)圖有以下特點(diǎn)：①可以在參數(shù)集很小的情況下準(zhǔn)確地表示人臉；②具有學(xué)習(xí)能力的概率響應(yīng)圖字典可以非常忠實(shí)地重建出未知圖像的響應(yīng)圖。

總體來(lái)說(shuō)，DRMF方法的訓(xùn)練過(guò)程包含兩大步：首先，我們需要訓(xùn)練一個(gè)用于響應(yīng)圖近似的字典，用它來(lái)提取相關(guān)的特征來(lái)對(duì)更新的匹配模型進(jìn)行學(xué)習(xí)；然后通過(guò)一個(gè)改良的Boosting方法來(lái)進(jìn)行迭代學(xué)習(xí)更新模型，目的是學(xué)習(xí)弱分類器來(lái)對(duì)所有特征點(diǎn)響應(yīng)圖的聯(lián)合低維投影和形狀模型的更新參數(shù)Δp 之間的非線性關(guān)系進(jìn)行建模。

2.1 訓(xùn)練響應(yīng)塊模型

在進(jìn)入到學(xué)習(xí)步驟之前，我們首先要建立一個(gè)響應(yīng)圖的字典，使它可以對(duì)任何未知圖像的響應(yīng)圖進(jìn)行表示，也就是用很少的參數(shù)去表示Ai（Δp）。假設(shè)我們已經(jīng)獲得了一組包含著多種形狀變化的訓(xùn)練響應(yīng)數(shù)據(jù) ｛Ai（Δpj）｝j＝1，可以通過(guò)一個(gè)簡(jiǎn)單的方法來(lái)對(duì)第i個(gè)字典進(jìn)行學(xué)習(xí)：將訓(xùn)練響應(yīng)集向量化并列成一個(gè)矩 陣Xi＝［vec（Ai（Δp1）），...，vec（Ai（Δpn））］，然后進(jìn)行非負(fù)矩陣分解 （non－negative ma－trix factorization，NMF））得到我們需要處理的非負(fù)響應(yīng)。這樣矩陣就被分解為Xi≈ZiHi，Zi就是我們要求的字典，Hi表示對(duì)應(yīng)權(quán)重。在給定一個(gè)字典的條件下，響應(yīng)圖的對(duì)應(yīng)權(quán)重可以通過(guò)下式得到

公式的求解可以采用NMF的方法。之后，與之前直接在形變響應(yīng) ｛Ai（Δp）中計(jì)算回歸函數(shù)不同，本文是在低維的權(quán)重向量 ｛hi（Δp）中計(jì)算回歸函數(shù)來(lái) 更新參數(shù)Ltest。

根據(jù)實(shí)際需求考慮并且為了避免在匹配過(guò)程中對(duì)每個(gè)分塊進(jìn)行式 （5）的優(yōu)化求解，我們對(duì) ｛Ai（Δp）進(jìn)行PCA 處理。在對(duì)其進(jìn)行PCA 處理后，對(duì)應(yīng)的權(quán)重向量hi就可以通過(guò)在PCA 主成分中進(jìn)行簡(jiǎn)單的投影得到?？梢詮膱D一看出運(yùn)用PCA 響應(yīng)圖進(jìn)行重建的效率 （能捕捉到人臉85%的變化）。我們把這種字典稱作響應(yīng)塊模型

其中，mi和Vi分別是從n個(gè)特征點(diǎn)中得到的平均形狀向量和PCA 主成分。

2.2 訓(xùn)練參數(shù)更新模型

給定N 個(gè)訓(xùn)練圖像L 和對(duì)應(yīng)的形狀模型S，我們的目標(biāo)是對(duì)從響應(yīng)塊模型 ｛M，V｝當(dāng)中得到低維投影與參數(shù)更新之間的關(guān)系進(jìn)行迭代建模。使用改進(jìn)Boosting的方法在一個(gè)在預(yù)先標(biāo)定好的真實(shí)參數(shù)附近來(lái)采樣形狀模型參數(shù)空間，然后對(duì)當(dāng)前采樣形狀響應(yīng)塊的低維投影 （由第t個(gè)采樣形狀參數(shù)pt表示）和更新參數(shù)Δp（Δp＝pg－pt）之間的關(guān)系進(jìn)行迭代建模。詳細(xì)的訓(xùn)練步驟如下：

令T 為從形狀S中采樣得到的參數(shù)個(gè)數(shù)，初始采樣形狀參數(shù)集就可以用p（1）表示

式中：上標(biāo) “1”表示初始集 （第一次迭代）。然后提取出響應(yīng)塊 （用p（1）中的采樣形狀參數(shù)來(lái)表示），并用響應(yīng)塊模型 ｛M，V｝來(lái)計(jì)算其低維投影。之后將這些投影排列成一個(gè) 聯(lián) 合 低 維 投 影 向 量c（） ＝ ［h1（Δ），...，hn（）］T，與每個(gè)采樣形狀一一對(duì)應(yīng)，得到

其中，χ（1）表示從訓(xùn)練集中得到的初始聯(lián)合低維投影。通過(guò)訓(xùn)練集T（1）＝ ｛x（1），Ψ（1）｝，我們學(xué)習(xí)到了第一次迭代的匹配參數(shù)更新函數(shù)，也就是一個(gè)弱學(xué)習(xí)器

我們?cè)侔阉蠺（1）中的樣本通過(guò)F（1）來(lái)生成并去除掉）中已經(jīng)收斂的樣本來(lái)生成T（2）進(jìn)行第二次迭代，這里的收斂指的是預(yù)測(cè)形狀與標(biāo)定好的真實(shí)形狀之間的標(biāo)準(zhǔn)差小于某個(gè)閾值 （本文設(shè)此閾值為2）。

任何一種回歸都可以運(yùn)用到這個(gè)框架下，本文對(duì)這一環(huán)節(jié)進(jìn)行了具體的優(yōu)化，采用線性支持向量回歸（SVR）［10］方法。我們總共設(shè)置了16個(gè)形狀參數(shù)，包括6個(gè)全局形狀參數(shù)和重要性排名最靠前的10 個(gè)非剛性變化參數(shù)。基于結(jié)構(gòu)化的方法同樣也可以運(yùn)用到我們這個(gè)框架下，對(duì)于那些被去除的收斂樣本，我們從相同的圖像I中利用第一次收斂中被去除的樣本生成一個(gè)新的樣本集來(lái)替代。我們把這個(gè)新樣本通過(guò)F（1）繼續(xù)增殖并去除掉其中的收斂樣本來(lái)另外生成第二次迭代的替代訓(xùn)練集T（2）rep，第二次迭代的更新為

得到了第二次迭代得到的匹配參數(shù)更新函數(shù)，即弱學(xué)習(xí)器F（2）。在每次迭代中這種去除與替代的方法有兩層優(yōu)點(diǎn)：一是它可以保證匹配更新函數(shù)是利用在先前迭代中未收斂的樣本進(jìn)行訓(xùn)練，來(lái)增強(qiáng)模型的魯棒性；二是矯正之前迭代過(guò)程中因過(guò)度匹配而出現(xiàn)的樣本偏移。

上述的訓(xùn)練過(guò)程將會(huì)不斷迭代進(jìn)行直到訓(xùn)練樣本收斂或者到達(dá)我們所設(shè)置的最大迭代次數(shù)η。最終得到的匹配參數(shù)更新模型U 就是一個(gè)弱學(xué)習(xí)器的集合

整個(gè)訓(xùn)練過(guò)程如算法1所示。

算法1：訓(xùn)練參數(shù)更新模型輸入：PDM， ，S，｛M，V｝1 初始化形狀參數(shù)樣本集2 初始化聯(lián)合低維樣本集3 生成樣本集 （1），進(jìn)行第1次迭代4 for i＝1→ηdo 5 利用樣本集 （i）計(jì)算弱分類器 （i）6 通過(guò) （i）增殖 （i），生成 （i）new 7 消除 （i）new 中的收斂樣本，生成 （i＋1）8 if （i＋1）是空集 then 9 所有訓(xùn)練集收斂，停止訓(xùn)練。10 else 11 從步驟7被消除的樣本圖片中得到新的形狀參數(shù)樣本集12 計(jì)算步驟11中生成樣本集的聯(lián)合低維投影集13 生成新的替代訓(xùn)練集 （i）rep 14 for j＝1→i－1 do 15 通過(guò) （j）增殖 （i）rep 16 去除 （i）rep中收斂的樣本17 更新 （i＋1）← ｛ （i＋1）， （i）rep ｝輸出：匹配參數(shù)更新模型U

2.3 匹配過(guò)程

給定訓(xùn)練圖像Ltest，匹配參數(shù)更新模型U 就可以對(duì)參數(shù)更新Δp 進(jìn)行迭代計(jì)算。匹配結(jié)果的好壞由當(dāng)前形狀模型在當(dāng)前迭代步驟中對(duì)每個(gè)特征點(diǎn)的位置的匹配得分 （概率值）來(lái)評(píng)判，得分最高的就是最后的匹配形狀。

3 實(shí) 驗(yàn)

我們對(duì)算法在Multi－PIE 數(shù)據(jù)庫(kù)進(jìn)行一般性的人臉匹配實(shí)驗(yàn)。Multi－PIE是最常用的一般性人臉匹配實(shí)驗(yàn)數(shù)據(jù)庫(kù)，也是與前人算法進(jìn)行比較最常用的數(shù)據(jù)庫(kù)，并且其中包含有數(shù)千張不同人臉及各種表情、光照和姿態(tài)的圖片，也就更能突顯出DRMF算法在一般性人臉匹配當(dāng)中處理多種人臉變化的準(zhǔn)確性。本文選取樹(shù)狀模型作為對(duì)比算法，我們截取部分實(shí)驗(yàn)圖像如圖1～圖3 所示，結(jié)果表明本文提出的算法優(yōu)于樹(shù)狀模型。并且我們還發(fā)現(xiàn)在同等條件下在特征點(diǎn)定位方面CLM 的表現(xiàn)要比樹(shù)狀模型要好，我們猜測(cè)是因?yàn)闃?shù)狀模型并不是專門應(yīng)對(duì)人臉而建立的模型，它允許其它非人臉的結(jié)構(gòu)出現(xiàn)，這就使得在匹配過(guò)程中很難準(zhǔn)確的定位，特別是在處理人臉表情比較豐富的圖像時(shí)。另外，從表1 可以看出本文算法的匹配過(guò)程非常高效，可以實(shí)現(xiàn)對(duì)圖像的實(shí)時(shí)處理。在目前的MATLAB平 臺(tái)上，在Intel Xeon 3.80 GHz處理器上處理一張圖片只需要1s。

圖1 對(duì) “Psy”的定位結(jié)果比較

圖2 對(duì) “Obama”的定位結(jié)果比較

圖3 對(duì) “Blonde”的定位結(jié)果比較

表1 算法速度／s

4 結(jié)束語(yǔ)

我們提出了一種在CLM 框架下的判別響應(yīng)圖匹配法，該方法可以用很少的參數(shù)表示響應(yīng)圖并且高效地對(duì)未知的響應(yīng)圖進(jìn)行重構(gòu)并對(duì)其回歸方法進(jìn)行了優(yōu)化，實(shí)現(xiàn)魯棒的形狀參數(shù)更新，并大大提高運(yùn)算速度。我們?cè)谝话阈缘娜四樒ヅ洵h(huán)境（Multi－PIE）下進(jìn)行了深入的實(shí)驗(yàn)，結(jié)果表明DRMF方法對(duì)于非標(biāo)記的人臉圖像表述效果顯著并優(yōu)于目前流行的樹(shù)狀模型算法。而且DRMF方法在計(jì)算方面非常地高效，能夠達(dá)到實(shí)時(shí)處理的要求，其定位準(zhǔn)確度也有一定提高。

［1］Saragih J，Lucey S，Cohn J.Deformable model fitting by regularized landmark mean－shift ［J］.IJCV，2011，91 （2）：200－215.

［2］Asthana A，Asragih J，Wagner M，et al.Evaluating AAM fitting methods for facial expression recognition ［C］／／In ACII，2009.

［3］Tzimiropoulos G，Alabort－i－medina J，Zafeiriou S，et al.Generic active appearance models revisited ［C ］／／In ACCV，2012.

［4］Liu X.Discriminative face alignment ［J］.IEEE PAMI，2009，31 （11）：1941－1954.

［5］Saragih J，Goecke R.Learning AAM fitting through simulation ［J］.Pattern Recognition，2009，42 （11）：2628－2636.

［6］Asthana A，Zafeiriou S，Cheng S，et al.Robust discriminative response map fitting with constrained local models［C］／／In CVPR，2013.

［7］Zhu X，Ramanan D.Face detection，pose estimation and landmark localization in the wild ［C］／／In CVPR，2012.

［8］Cao X，Wei Y，Wen F，et al.Face alignment by explicit shape regression ［J］.International Journal of Computer Vision，2014，107 （2）：177－190.

［9］Albrecht T，Lüthi M，Vetter T.A statistical deformation prior for non－rigid image and shape registration ［C］／／In CVPR，2008.

［10］Ho C，Lin C.Large－scale linear support vector regression［J］.Journal of Machine Learning Research，2012，13：3323－3348.