林智能

摘要：人臉特征點定位對人臉分析等領域有著重要作用，為了提高人臉特征點定位的準確性及跟蹤的魯棒性，提出一種魯棒的長期人臉特征點跟蹤系統(tǒng)。該系統(tǒng)有效結合了人臉檢測、中值光流法和深度學習模型人臉特征點定位方法。首先，深度模型對當前幀的人臉進行特征點定位；其次，中值光流法跟蹤當前幀的特征點，通過有效的跟蹤的特征點評估下一幀的人臉位置；再次，通過提出的跟蹤校驗方法對跟蹤結果進行校驗；最后，利用深度模型對下一幀的人臉特征點進行修正。實驗結果表明，提出的動態(tài)方法在公開的數(shù)據(jù)集上取得更好的結果。

關鍵詞：人臉特征點跟蹤；人臉檢測；中值光流法；深度學習；跟蹤校驗

中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2017）08-0174-04

人臉特征點定位指的是通過監(jiān)督或半監(jiān)督的方式定位人臉關鍵點的技術，人臉關鍵點包括眼睛、鼻子、嘴巴、甚至是人臉下巴輪廓等。由于人臉的特征點蘊含了人臉的語義信息，對人臉識別、表情分析、人臉姿態(tài)估計等起著關鍵性作用而受到廣泛關注。目前研究比較廣泛人臉特征點定位方法可以分為兩類：生成模型和回歸模型。

生成模型的典型代表是主動外觀模型（AAM）vj和主動形狀模型（ASM），它們都通過迭代的方式優(yōu)化表觀參數(shù)并構建模型。ASM通過訓練集中人工標記得人臉形狀來構建全局形狀模型。AAM則在ASM的形狀模型基礎上，建立了全局的人臉紋理模型。ASM可以快速的定位到人臉特征點，而AAM可以定位到更精確的特征點。但在大姿態(tài)、光照影響造成的紋理不清晰等復雜背景下，兩者均較難得到最優(yōu)的人臉特征點。

回歸模型則通過直接學習人臉特征與人臉特征點之間的映射關系。Xiong等。提出監(jiān)督下降法（SDM）通過監(jiān)督學習的方式建立手工設計的人臉形狀特征與特征點之間的線性回歸模型。Kazemi等提出組合回歸樹的方法實現(xiàn)人臉對齊，并由于在靜態(tài)圖像人臉特征點定位中任務中具有準確實時特性，被用于人臉特征點跟蹤中。

近年來，深度學習成為熱門的研究，深度學習在分類、回歸分析等領域都取得了突破性進展。同樣，基于深度學習的方法比傳統(tǒng)的人臉特征點定位方法表現(xiàn)出更優(yōu)異的性能，因為深入學習可以利用原生大數(shù)據(jù)進行訓練，挖掘大數(shù)據(jù)內(nèi)在的數(shù)據(jù)結構，而不需要手動設計特征。Sun等提出級聯(lián)的深度卷積神經(jīng)網(wǎng)，并采用由粗到細的方式對人臉的五個關鍵特征點（眼睛中心、鼻尖和嘴角）進行定位。但該網(wǎng)絡結構很難拓展到大規(guī)模的人臉特征點定位中。Zhang等提出四層的層疊自動編碼器網(wǎng)絡，每層網(wǎng)絡都考慮到全局特征，充分挖掘了特征點之間的幾何約束，在遮擋情況有更好的魯棒性。

盡管人臉特征點定位在靜態(tài)圖像中取得很大成功，但在真實的非約束環(huán)境中，由于表情、光照、遮擋、姿態(tài)以及視頻質(zhì)量的原因，長期的人臉特征點跟蹤研究卻較少受到關注。幸運的是，300VW最近提出了一個新的特征點跟蹤的基準，涵蓋了在無約束的環(huán)境中的人臉特征點跟蹤，包含了各種照明條件下，在任意表達式，并可能被其他對象遮擋。

目前，人臉特征點跟蹤可以分為以下三種架構：

1）人臉檢測+特征點定位被稱為跟蹤一檢測（tracking-by-detection）。該方式將視頻序列視為由獨立的視頻序列組成，采用靜態(tài)圖像的處理方式，對視頻序列的每一幀先進行人臉檢測器來定位到人臉位置，再提取檢測到的人臉的特征點。該方式的優(yōu)點是不會產(chǎn)生漂移，特征點的定位比較準確和穩(wěn)定。盡管人臉檢測方法比較成熟，但仍然存在誤檢和漏檢問題，這一點在真實的非約束環(huán)境中體現(xiàn)尤為明顯。

2）目標跟蹤+特征點定位該方式對人臉目標進行跟蹤，并提取所跟蹤到目標的特征點。跟蹤算法雖可以彌補人臉檢測的不足，但由于跟蹤漂移問題，無法實現(xiàn)長期跟蹤。

3）混合系統(tǒng)混合系統(tǒng)有效結合現(xiàn)有的人臉檢測、跟蹤和人臉特征點定位算法來提高人臉特征點跟蹤的魯棒性。

OpenFace是一個集成人臉特征點跟蹤、頭部姿態(tài)估計、實現(xiàn)估計等功能的綜合人臉行為分析開源工具。OpenFace的人臉特征點跟蹤中，集成了現(xiàn)有的人臉檢測、跟蹤、人臉特征點定位方法。該論文表明在特征點跟蹤領域取得了最好的人臉特征點跟蹤效果。但現(xiàn)有的系統(tǒng)模型比較復雜，需要額外在線學習人臉分類器。同時，所采用特征點定位算法均為傳統(tǒng)的算法，特征點定位的精度仍有待提高。因此，本文提出了一種簡化的跟蹤系統(tǒng)，并且將深度學習模型引入系統(tǒng)中。

1人臉特征點跟蹤系統(tǒng)

提出的魯棒的長期人臉特征點跟蹤混合系統(tǒng)，如圖1所示。該系統(tǒng)可以分解為三個子任務：人臉檢測、人臉特征點定位和跟蹤；包括四個模塊：人臉檢測、人臉特征點定位、特征點跟蹤和跟蹤校驗。

跟蹤系統(tǒng)處理過程如下：

第一步：對視頻序列第一幀或需要重新初始化的視頻幀進行全局的人臉檢測定位到初始的人臉框。根據(jù)初始人臉框和目標人臉框的幾何關系，對初始人臉框做簡單的調(diào)整得到人臉特征點定位的人臉框。

第二步：利用訓練好的深度學習回歸模型對簡單調(diào)整后的人臉提取特征點，這個是準確地位人臉特征點的重要保障。

第三步：利用中值光流法跟蹤對上一幀提取到的人臉特征點，根據(jù)信賴的跟蹤點來估計當前幀的人臉位置。如果跟蹤失敗，返回第一步；如果跟蹤成功進入第四步。

第四步：利用人臉檢測方法只針對跟蹤到的人臉做局部校驗。如果校驗成功，提取校驗后的人臉的特征點；如果校驗失敗則提取跟蹤的人臉的特征點。

重復第二、三、四步。

1.1人臉檢測與跟蹤校驗

人臉檢測是人臉識別、人臉分析的首要任務；其關鍵性作用使其受到很多學者的重視，經(jīng)過長期研究也趨于成熟。其中，最具影響力的工作應屬Viola和Jones提出的基于Ada-boost的人臉檢測方法（簡稱VJ檢測器）。VJ檢測器的實時性得益于在積分圖中提取haar-like特征，并采用級聯(lián)的Adaboost框架提高了檢測準確性。所以，本文提出跟蹤系統(tǒng)的采用VJ人臉檢測器來初始化人臉位置。此外，在跟蹤失敗時，對人臉區(qū)域重新初始化。但所提出的跟蹤系統(tǒng)的人臉檢測方法不局限于VJ檢測器。

不同于人臉識別，即使人臉區(qū)域可以被正確檢測出來，但仍然無法實現(xiàn)大規(guī)模特征點定位。如圖1所示，在大規(guī)模人臉特征點定位任務中，人臉區(qū)域不僅需要覆蓋人臉的五官外，還需要包含人臉下巴。所以，需要對VJ檢測器檢測的結果做調(diào)整。由于在訓練人臉特征點定位的深度模型時，采用了數(shù)據(jù)增強技術，擺脫了對原始人臉標定區(qū)域和人臉檢測器的依賴，不需要利用VJ檢測器的檢測結果重新訓練深度模型。所以只需將檢測到的人臉區(qū)域向下平移使之包含紅色的區(qū)域。此外，將人臉框放大0.1倍，使之涵蓋更多的人臉信息，可以提高特征點檢測的準確性。

下框為人工標簽，而上框是Ⅵ檢測的結果。

由于跟蹤存在漂移現(xiàn)象，很難做到長期跟蹤。Kalal提出TLD目標跟蹤方法，采用跟蹤一校驗方式來提高跟蹤魯棒性.同時，Kalal將TLD用于人臉跟蹤，通過學習人臉分類器來校驗跟蹤結果。本文嘗試將現(xiàn)有的人臉檢測器用于跟蹤校驗過程。這樣不僅可以降低模型的復雜性，同時不需要為不同目標都學習一個人臉分類器。所以，人臉檢測器采用除了初試化人臉位置外，還用于跟蹤校驗。雖然，校驗過程會增加耗時，但只對跟蹤到人臉進行校驗，稱為局部跟蹤校驗。相比于全局的人臉檢測而言，在高分辨率的視頻中，其耗時可以忽略不計，但提高了跟蹤的魯棒性。

1.2跟蹤算法

人臉特征點跟蹤系統(tǒng)的跟蹤模塊采用中值光流法，該方法也被用于長期目標跟蹤框架TLD中。中值流光流法認為準確的跟蹤與時間流向無關，拓展金字塔Lucas Kannade光流法的單向跟蹤，并提出正向一反向誤差，提高了跟蹤穩(wěn)定性。

首先，通過金字塔Lucas Kannade光流法對當前幀定位到的人臉特征點xⁱ_t得到下一幀的人臉特征點xⁱ_t+1，并通過金字塔Lucas Kannade光流法反向跟蹤點xⁱ_t+1估計上一幀的人臉特征點xⁱ_t。稱xⁱ_t與xⁱ_t之間的歐式距離為正向反向誤差。其次，可以計算當前幀所有人臉特征點與當前幀估計的人臉特征點距離的中值，記為d_m。再次，過濾掉d_i>d_m的人臉特征點，同時，可以計算所有xⁱ_t與xⁱ_t的歸一化互相關，去除歸一化互相關大于歸一化互相關的中值的點。最后，通過剩余有效跟蹤的人臉特征點來評估下一幀的人臉框。

對于物體快速運動、被完全遮擋的情況，跟蹤算法可能會出現(xiàn)漂移現(xiàn)象。針對這種情況，如果d_m>JD則視為跟蹤失敗，需要重新初始化人臉位置。

不同于文獻，大規(guī)模的人臉特征點跟蹤不需要額外生成特征點來表征跟蹤目標；通過使用t時刻定位到的人臉特征點作為跟蹤點，從而通過光流法定位到t+1時刻的點。并且相比文獻網(wǎng)格法來生成跟蹤點，精準定位的人臉特征點更具有紋理特性，從而更容易跟蹤。

1.3特征點定位

不同于文獻，提出的跟蹤系統(tǒng)引入深度學習引方法。深度模型采用Zhang等提出四層的層疊自動編碼器網(wǎng)絡，第一層自動編碼器網(wǎng)絡先預測低分辨率人臉的特征點；其次，在第二層網(wǎng)絡中，以更大分辨率的人臉圖像中提取上一級網(wǎng)絡預測的人臉特征點局部特征作為輸入，對上一級的特征點進行微調(diào)，得到更準確的定位；第三層和第四層網(wǎng)絡類推。

基于深度學習的精準特征點定位方法離不開大數(shù)據(jù)，大數(shù)據(jù)是深度學習取得成功的重要原因之一。利用真實環(huán)境下無約束的靜態(tài)人臉特征點數(shù)據(jù)集LFPW訓練集，HELEN和AFW共同訓練深度模型，每個數(shù)據(jù)集均標注了68個人臉特征點。訓練集均采用ibug提供的人臉框作為初始人臉位置。由于人臉框是人工標定的，在實際應用中，使用其他的人臉檢測方法無法得到相同的人臉框。為了防止訓練模型過程中出現(xiàn)過擬合現(xiàn)象，采用數(shù)據(jù)增強（data augment）技術對訓練數(shù)據(jù)集進行拓展。平移、旋轉和尺度變化是特征點定位任務中常用的方式。數(shù)據(jù)增強不僅可以有效防止模型過擬合，并且擴充訓練數(shù)據(jù)，通過大數(shù)據(jù)的學習使得模型更加魯棒。

2實驗與結果分析

本節(jié)將通過實驗來驗證所提出的人臉特征點跟蹤系統(tǒng)。首先，會介紹評估的數(shù)據(jù)集和評價指標。最后，設計實驗并通過兩種評價標準對比跟蹤準確性更好的OpenFace。

數(shù)據(jù)集：300VW是第一個長時間人臉特征點跟蹤的基準。視頻都是從真實環(huán)境中捕獲到的，存在各種各樣的表情，姿勢和遮擋等情況，使得數(shù)據(jù)集非常具有挑戰(zhàn)性。視頻可分為以下三類：類別一由在沒有任何遮擋的光照良好的環(huán)境中捕獲的視頻組成；類別二包含無約束照明條件下的視頻。類別三在完全任意條件下捕獲的視頻，包括嚴重遮擋和極端照明。本文選取一段隸屬于300VW類別三的一段視頻，該視頻長度為1′2″，包含了1574幀，分辨率為1280*720。

評價指標：常見的評價指標由兩種，定性和定量。定性是由于沒有公開數(shù)據(jù)集的情況下，通過可視化的方式進行比較的通用方法。由于300VW最近提出了一個新的特征點跟蹤的基準，所以同樣采用定量的方式進行方法對比。歸一化均方根誤差（NRMSE）是用于測量估計預測人臉特征點與真實標簽的誤差。NRMSE首先計算所有預測特征點與真實值之間歐氏距離的均值誤差，并通過兩外眼角歐式距離進行歸一化。其計算公

其中，M表示人臉特征點數(shù)量，x_i，j表示視頻序列的第i幀的第j個特征點坐標，g_i，j表示真實的標簽。l_i和j_i分別表示左眼和右眼的外眼角坐標。

NRMSE用于評估估計點與真實值之間的誤差，而NRMSE的累積分布函數(shù)（cumulative distribution mrwtion，CDF）則可以展示誤差的分布情況。所以，使用NRMSE的CDF曲線作為最終的定量評價標準。

圖3展示了真實標簽、OpenFace和本文所提出的跟蹤系統(tǒng)的結果，可以看出本文提出的方法在遮擋的真實環(huán)境下比OpenFace具有更好的結果。特別需要說明的是，在圖3-c中，OpenFace出現(xiàn)較嚴重的漂移現(xiàn)象，在連續(xù)許多幀視頻序列均無法正確跟蹤人臉特征點，其原因可能是因為遮擋。NRMSE的CDF曲線如圖4所示，圖中展示了NRMSE誤差小于0.1的結果。橫軸表示NRMSE誤差，縱軸表示誤差占整個視頻序列的百分比，曲線越往上，說明小誤差的比例越高，整體誤差就越小，所以，本文提出的系統(tǒng)優(yōu)于OpenFace。

第一行為真實標簽；第二行為OpenFace跟蹤結果；第三行為本文提出的跟蹤系統(tǒng)的結果。

3結論

本文提出了一種長期的人臉特征點跟蹤系統(tǒng)，其有效結合了人臉檢測、跟蹤與人臉特征點定位算法。本文的貢獻在于：1）與其他跟蹤框架相比，該系統(tǒng)并不需要引入其他模塊，如在線學習分類器。通過有效的結合，可以取得更好的跟蹤準確度。2）引入了深度學習方法，充分利用深度學習對大數(shù)據(jù)的挖掘能力。通過深度學習充分利用了特征點之間幾何約束，對遮擋具有更好的魯棒性。實驗結果表明，提出的人臉特征點跟蹤系統(tǒng)準確性更好。由于VJ檢測器對大姿態(tài)變化的檢測性能差，所以對于長期大姿態(tài)偏轉的情況，由于長期無法對跟蹤結果進行校驗，容易出現(xiàn)漂移現(xiàn)象，需要研究該系統(tǒng)在其他人臉檢測方法的跟蹤魯棒性。