(中國科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院,合肥 230027)

0 概述

人臉關(guān)鍵點(diǎn)對于理解和分析人臉面部行為至關(guān)重要,人臉關(guān)鍵點(diǎn)定位的優(yōu)劣能夠直接影響人臉識別[1]、表情分析[2]或頭部姿態(tài)估計(jì)[3]等應(yīng)用的最終性能。人臉關(guān)鍵點(diǎn)跟蹤是計(jì)算機(jī)視覺領(lǐng)域一個(gè)重要且富有挑戰(zhàn)性的課題。隨著300-VW挑戰(zhàn)的推動以及300-VW數(shù)據(jù)集[4-6]的開放,人臉關(guān)鍵點(diǎn)跟蹤問題受到了越來越多的關(guān)注。

當(dāng)前,人臉關(guān)鍵點(diǎn)定位方法大致可分為3類:即基于主動外觀模型(Active Appearance Model,AAM)[7]的方法、基于約束局部模型(Constrained Local Model,CLM)[8]方法和級聯(lián)回歸方法[9]。后者在精度和速度兩方面都表現(xiàn)出比前兩者更好的性能,因而受到廣泛關(guān)注。然而,級聯(lián)回歸方法的主要局限性在于其具有初始化依賴性,即初始化的優(yōu)劣將對模型的定位精度產(chǎn)生重要影響。此外,利用深度學(xué)習(xí)的人臉關(guān)鍵點(diǎn)定位方法[10]盡管獲得了很高的精度,但由于所需計(jì)算資源過高,難以改變?yōu)閷?shí)時(shí)的人臉關(guān)鍵點(diǎn)跟蹤方法。

近幾年,一些人臉關(guān)鍵點(diǎn)跟蹤方法相繼被提出。文獻(xiàn)[11]在多視角AAM框架下,通過隨機(jī)森林和線性判別分析對跟蹤的人臉實(shí)時(shí)更新精確的姿態(tài)信息,但該方法泛化能力不佳,跟蹤速度慢。文獻(xiàn)[12]提出一種在線參考外觀模型,利用增量學(xué)習(xí)在線更新AAM的紋理模型和參考模型,在無需訓(xùn)練集的情況下實(shí)現(xiàn)人臉關(guān)鍵點(diǎn)跟蹤,但該方法跟蹤精度不高,魯棒性較差。文獻(xiàn)[13]將基于樹的可變形部件模型(Deformable Part Model,DPM)人臉關(guān)鍵點(diǎn)檢測器進(jìn)行調(diào)整,逐幀應(yīng)用靜態(tài)人臉關(guān)鍵點(diǎn)檢測器,使用卡爾曼濾波器獲取穩(wěn)定的人臉框并補(bǔ)償可能存在的人臉檢測器失敗,但該方法沒有利用視頻序列的幀間相關(guān)性,跟蹤魯棒性較差,速度慢。文獻(xiàn)[14]提出形狀擴(kuò)充回歸方法,為不同人臉形狀自動選擇回歸函數(shù)。該方法也沒有充分考慮視頻序列的幀間相關(guān)性。文獻(xiàn)[15]利用多視角級聯(lián)形狀回歸降低形狀回歸模型構(gòu)造過程中的形狀變化。該方法不能較好地處理復(fù)雜場景下的人臉關(guān)鍵點(diǎn)跟蹤。文獻(xiàn)[16]通過多步級聯(lián)回歸方法獲得了較穩(wěn)定的人臉關(guān)鍵點(diǎn)跟蹤。然而,該方法過于龐大的模型限制了該方法的實(shí)際應(yīng)用。

本文在上述研究的基礎(chǔ)上,對回歸局部二值特征(Local Binary Features,LBF)[17]算法進(jìn)行擴(kuò)展,為處理初始化敏感問題,利用顯著關(guān)鍵點(diǎn)選擇更魯棒的初始形狀,提出一種魯棒的人臉關(guān)鍵點(diǎn)實(shí)時(shí)跟蹤方法。

1 局部二值特征與初始形狀選擇

1.1 級聯(lián)回歸

Dollar等人[9]在2010年提出級聯(lián)姿態(tài)回歸(Cascaded Pose Regression,CPR)用于二維目標(biāo)姿態(tài)估計(jì)。由于級聯(lián)回歸方法具有快速精確的特點(diǎn),之后被廣泛用于預(yù)測人臉形狀。例如,文獻(xiàn)[18]提出顯示形狀回歸(Explicit Shape Regression,ESR)算法,文獻(xiàn)[17]利用回歸LBF獲得了快速精確的人臉關(guān)鍵點(diǎn)定位。

級聯(lián)形狀回歸的主要思想是:通過疊加的方式將一系列的回歸器組合起來,近似初始形狀與真實(shí)形狀之間復(fù)雜的非線性映射。級聯(lián)形狀回歸是一種迭代的回歸方法,以級聯(lián)的方式構(gòu)建L個(gè)關(guān)鍵點(diǎn)的形狀回歸,其第k-1級回歸的輸出被用于第k級回歸的輸入,每一級的回歸器依賴當(dāng)前估計(jì)形狀提取圖像特征,可表示如下:

Sk=Sk-1+rk(Φk(I,Sk-1))

(1)

級聯(lián)回歸預(yù)測人臉關(guān)鍵點(diǎn)形狀可進(jìn)一步簡化為:

SK=RK(I,S0)

(2)

其中,RK代表一個(gè)K級的級聯(lián)回歸器,該回歸器由一組弱回歸器rk(k=1,2,…,K)構(gòu)成,將圖像I和初始形狀S0輸入該回歸器,最終得到估計(jì)形狀SK。由式(2)不難看出,初始形狀的選擇對于級聯(lián)回歸方法的最終結(jié)果至關(guān)重要。

1.2 局部二值特征

(3)

(4)

1.3 初始形狀選擇

用于靜態(tài)圖像的人臉關(guān)鍵點(diǎn)檢測算法往往利用平均形狀或多個(gè)隨機(jī)形狀進(jìn)行初始化,若直接將之用于人臉關(guān)鍵點(diǎn)跟蹤,則忽視了視頻圖像序列相鄰幀之間的相關(guān)性,將導(dǎo)致人臉關(guān)鍵點(diǎn)跟蹤出現(xiàn)嚴(yán)重抖動、魯棒性差、速度慢等問題。

在之前的人臉關(guān)鍵點(diǎn)跟蹤中[14,21],通常直接將前一幀的人臉形狀直接作為當(dāng)前幀的初始形狀,這并不能保證能夠?yàn)楫?dāng)前幀提供一個(gè)好的初始化。在通常的回歸方法中,形狀約束信息被顯式地[14]或隱式地[17-18]嵌入在模型中,即關(guān)鍵點(diǎn)位置彼此相關(guān),因此,有些特征較少、難以準(zhǔn)確檢測的關(guān)鍵點(diǎn)(如人臉輪廓、眉毛和鼻梁上的關(guān)鍵點(diǎn))將會促使整個(gè)初始形狀很快偏移,進(jìn)而導(dǎo)致人臉關(guān)鍵點(diǎn)跟蹤惡化。

2 顯著關(guān)鍵點(diǎn)約束初始化的人臉關(guān)鍵點(diǎn)跟蹤

2.1 形狀規(guī)格化

利用相似變換最小化人臉形狀與平均形狀之間的L2距離,對人臉形狀對齊到平均形狀進(jìn)行規(guī)格化:

(5)

2.2 顯著關(guān)鍵點(diǎn)

注意到在人工標(biāo)注大量關(guān)鍵點(diǎn)時(shí),往往是先將一些判別特征明顯的關(guān)鍵點(diǎn)(如眼角、嘴角、鼻尖)標(biāo)注出來,而面部輪廓、鼻梁、眉毛處的關(guān)鍵點(diǎn)由于較難標(biāo)注,通常需要參考之前已經(jīng)確定的點(diǎn)再進(jìn)行標(biāo)注,即使所要標(biāo)注的是在具有挑戰(zhàn)性場景下的人臉圖片,這些較難標(biāo)注的點(diǎn)也可以利用之前標(biāo)注好的點(diǎn)進(jìn)行大致推斷,這實(shí)際上是一種簡單有效的關(guān)鍵點(diǎn)標(biāo)注策略。

本文選擇如圖1所示位于眼角、嘴角、鼻尖的7個(gè)關(guān)鍵點(diǎn)作為顯著關(guān)鍵點(diǎn)(用較粗圓點(diǎn)表示),這7個(gè)關(guān)鍵點(diǎn)具有明顯的特征,相對于人臉框的相對形狀也比較魯棒,且能粗略地代表整個(gè)人臉的位置。

顯著關(guān)鍵點(diǎn)具有更強(qiáng)的判別特征以及易于跟蹤的特點(diǎn),而金字塔Lucas-Kanade(LK)光流算法[22]對具有顯著局部外觀的特征點(diǎn)能進(jìn)行相對穩(wěn)定可靠的跟蹤,因此,本文利用金字塔的LK算法跟蹤7個(gè)顯著關(guān)鍵點(diǎn),利用這些關(guān)鍵點(diǎn)約束初始形狀,進(jìn)而為68個(gè)人臉關(guān)鍵點(diǎn)的跟蹤提供更魯棒的初始形狀。

2.3 顯著關(guān)鍵點(diǎn)約束初始化

從前一幀的估計(jì)形狀提取顯著關(guān)鍵點(diǎn)的形狀,即:

Spre7=Spre68°P68→7

(6)

其中,P68→7表示從前一幀的68個(gè)關(guān)鍵點(diǎn)位置中提取由7個(gè)顯著關(guān)鍵點(diǎn)位置組成的子集合。

通過最小化式(7)求相似變換矩陣MS7:

(7)

其中,P68→7表示從68個(gè)關(guān)鍵點(diǎn)平均形狀中提取7個(gè)顯著關(guān)鍵點(diǎn)的子平均形狀。

68個(gè)人臉關(guān)鍵點(diǎn)初始形狀的選擇過程如算法1所示。

算法1基于顯著關(guān)鍵點(diǎn)的初始形狀選擇

輸入前一幀68個(gè)人臉關(guān)鍵點(diǎn)組成的形狀Spre68

輸出當(dāng)前幀68個(gè)人臉關(guān)鍵點(diǎn)的初始形狀S0

1.從前一幀的估計(jì)形狀提取出顯著關(guān)鍵點(diǎn)的形狀,即:Spre7=Spre68°P68→7。

3.利用式(7)得到MS7。

2.4 人臉檢測與跟蹤

在對許多開源人臉檢測器(如OpenCV中的Viola-Jones人臉檢測器、Dlib人臉檢測器等)進(jìn)行測試之后,綜合考慮速度和準(zhǔn)確率,本文選擇文獻(xiàn)[23]開發(fā)的人臉檢測庫作為本文方法的人臉檢測器。

當(dāng)前性能較好的人臉檢測器在保持較低假正率的條件下,只能獲得大約75%～80%的真正率[4]。由于假正等人臉檢測器失敗情況的存在,對于無約束環(huán)境下的視頻,幾乎不可能為所有幀都提供正確的人臉框,因此有必要減輕對人臉檢測器的過度依賴。由于大多數(shù)的人臉檢測器檢測速度不夠快,其檢測速度在有挑戰(zhàn)性的環(huán)境下(如大姿態(tài)、遮擋、不良光照條件等)很難實(shí)現(xiàn)實(shí)時(shí)。逐幀利用人臉檢測器將很難實(shí)現(xiàn)實(shí)時(shí)的人臉關(guān)鍵點(diǎn)跟蹤,因此,為了保證效率,借助人臉跟蹤是有必要的。

由于本文所提方法可以獲得比較穩(wěn)定的人臉形狀,因此本文利用得到的人臉形狀粗略估計(jì)人臉框的位置,將估計(jì)得到的人臉框用作下一幀的人臉框,這將顯著降低人臉檢測所占用的時(shí)間,進(jìn)而提高人臉關(guān)鍵點(diǎn)跟蹤算法的速度,同時(shí)也減少了對人臉檢測器的過度依賴。由于嚴(yán)重遮擋和場景邊界等因素仍然會存在人臉關(guān)鍵點(diǎn)跟蹤失敗的情況,為避免因不良的人臉框估計(jì)而導(dǎo)致的的誤差累積,受文獻(xiàn)[20]提出的智能初始化啟發(fā),本文應(yīng)用一種人臉檢測器重啟機(jī)制,若當(dāng)前幀與前一幀形狀變化超過預(yù)先設(shè)定的閾值時(shí),將會觸發(fā)人臉檢測器(在特殊情況下,若人臉檢測器重啟后未能返回一個(gè)結(jié)果,假定1階馬爾科夫依賴,利用最近返回的人臉框作為當(dāng)前幀的人臉框)。

2.5 人臉關(guān)鍵點(diǎn)跟蹤

本文人臉關(guān)鍵點(diǎn)跟蹤方法的一般過程描述如算法2所示。

算法2人臉關(guān)鍵點(diǎn)跟蹤方法

輸入圖像I,人臉框B,模型RK,前一幀的估計(jì)形狀Spre68

輸出當(dāng)前幀的估計(jì)形狀Scur68

1.if B由人臉檢測器檢測得到

3.else #利用前一幀人臉形狀估計(jì)當(dāng)前幀的人臉框

4. 利用算法1得到初始形狀S0

5. 當(dāng)前幀的估計(jì)形狀:Scur68=RK(I,S0)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境及評估

3.1.1 實(shí)驗(yàn)環(huán)境

本文方法基于VS2013編譯環(huán)境實(shí)現(xiàn),實(shí)驗(yàn)測試平臺為Intel(R) Core(TM) i5-6200U CPU@2.30 GHz,8 GB RAM,操作系統(tǒng)為Windows 10 企業(yè)版64位。

3.1.2 數(shù)據(jù)集

為訓(xùn)練模型,本文使用300-W數(shù)據(jù)集中AFW、HELEN和LFPW的訓(xùn)練集,以及從300-VW數(shù)據(jù)集的訓(xùn)練視頻中取出的10%的幀用于模型訓(xùn)練,共計(jì)12 645幀。通過對每一幀訓(xùn)練圖像隨機(jī)選擇多個(gè)初始形狀實(shí)現(xiàn)訓(xùn)練集擴(kuò)充,進(jìn)而提高模型泛化能力。

實(shí)驗(yàn)所用測試集為300-VW測試集。300-VW測試集共包含64個(gè)測試視頻,被300-VW挑戰(zhàn)的組織者劃分為3個(gè)不同的場景。場景1包括31個(gè)在受控條件下記錄的視頻,場景2包含19個(gè)在嚴(yán)重照明變化的條件下記錄的視頻,場景3包括14個(gè)在完全無約束的場景下捕獲的視頻。

上文所提到的數(shù)據(jù)集均對68個(gè)人臉關(guān)鍵點(diǎn)進(jìn)行了標(biāo)注。

3.1.3 評估方法

(8)

其中,n表示所要計(jì)算誤差的關(guān)鍵點(diǎn)個(gè)數(shù),douter表示利用真實(shí)形狀計(jì)算的2個(gè)外眼角之間的歐幾里得距離,被用來歸一化誤差以使誤差結(jié)果與人臉實(shí)際大小或攝像機(jī)變焦等因素?zé)o關(guān)。誤差結(jié)果以累積誤差分布(Cumulative Error Distribution,CED)曲線和曲線下面積(Area Under Curve,AUC)的形式進(jìn)行概括匯總。

3.2 結(jié)果分析

如圖2所示為本文方法與其他幾種對比方法在3種不同的場景下,歸一化誤差在0.08以內(nèi)的累積誤差曲線(49個(gè)人臉關(guān)鍵點(diǎn)不包含面部輪廓上的點(diǎn),是68個(gè)關(guān)鍵點(diǎn)的子集)。Chehra[24]人臉關(guān)鍵點(diǎn)跟蹤器是300-VW挑戰(zhàn)的基線(Baseline)方法,該方法只跟蹤49個(gè)人臉關(guān)鍵點(diǎn)。本文對比方法的原始實(shí)驗(yàn)數(shù)據(jù)均來自對應(yīng)原作者。從圖2可直觀地看出,本文方法在3種場景下均明顯優(yōu)于基線方法以及文獻(xiàn)[13-14]方法,3種場景下均有90%以上的測試幀歸一化誤差小于0.08。對于文獻(xiàn)[15-16]方法,將在下文全部68個(gè)關(guān)鍵點(diǎn)上通過計(jì)算AUC值進(jìn)行定量比較。

圖2 49個(gè)人臉關(guān)鍵點(diǎn)累積誤差分布曲線對比

本文方法在小于某些特定誤差閾值下的歸一化平均誤差(49個(gè)人臉關(guān)鍵點(diǎn))如表1所示。

表1 不同誤差閾值下本文方法歸一化平均誤差1 %

從表1可知,本文方法在場景1測試集93.55%的測試幀上獲得了3.04%的平均誤差,在場景2測試集95.55%的測試幀上獲得了3.51%的平均誤差。值得注意的是,本文方法在難度最大的場景3測試集93.57%的測試幀上獲得了3.65%的平均誤差,表明本文人臉關(guān)鍵點(diǎn)跟蹤方法在無約束環(huán)境下仍較為魯棒。

由圖3和表2可以看出,對于68個(gè)人臉關(guān)鍵點(diǎn),不難得到類似于49個(gè)關(guān)鍵點(diǎn)的實(shí)驗(yàn)分析結(jié)果,此處不再贅述。值得注意的是,68個(gè)人臉關(guān)鍵點(diǎn)的實(shí)驗(yàn)結(jié)果比49個(gè)人臉關(guān)鍵點(diǎn)的實(shí)驗(yàn)結(jié)果稍差,這是因?yàn)?8個(gè)關(guān)鍵點(diǎn)所包含的面部輪廓上的點(diǎn)相對來說難度比較大。

圖3 68個(gè)人臉關(guān)鍵點(diǎn)累積誤差分布曲線對比

表2 不同誤差閾值下本文方法歸一化平均誤差2 %

文獻(xiàn)[15]在場景1中獲得結(jié)果最好,文獻(xiàn)[16]在場景2和場景3獲得結(jié)果最好。為與之比較,對于68個(gè)關(guān)鍵點(diǎn),分別計(jì)算3種方法歸一化誤差直到0.08為止的AUC值,如表3所示,其中加粗?jǐn)?shù)據(jù)表示較優(yōu)結(jié)果。可以看出,本文方法在場景3,即完全無約束環(huán)境下獲得了比文獻(xiàn)[15-16]更好的結(jié)果,在場景1和場景2獲得了與兩者可比較的實(shí)驗(yàn)結(jié)果。

表3 歸一化誤差到0.08為止的AUC值

利用3.1.1節(jié)所述實(shí)驗(yàn)環(huán)境,使用C++單線程編程實(shí)現(xiàn),本文人臉關(guān)鍵點(diǎn)跟蹤方法的速度達(dá)到30+f/s,能夠用于大多數(shù)人臉相關(guān)的實(shí)時(shí)應(yīng)用。

4 結(jié)束語

本文利用顯著點(diǎn)約束初始化對局部二值特征算法進(jìn)行擴(kuò)展,提出一種簡單有效的人臉關(guān)鍵點(diǎn)跟蹤方法。該方法在300-VW數(shù)據(jù)集的3種測試場景下性能均明顯優(yōu)于基線方法,且在無約束環(huán)境下仍較為魯棒。下一步將研究人臉檢測器重啟后不能返回人臉框時(shí)的處理方法,以及同時(shí)跟蹤多人的人臉關(guān)鍵點(diǎn)跟蹤方法。

[1] WAGNER A,WRIGHT J,GANESH A,et al.Toward a practical face recognition system:robust alignment and illumination by sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(2):372-386.

[2] ZENG Z,PANTIC M,ROISMAN G I,et al.A Survey of affect recognition methods:audio,visual,and spontaneous expressions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(1):39-58.

[3] MURPHY C E,TRIVEDI M M.Head pose estimation in computer vision:a survey[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(4):607-626.

[4] CHRYSOS G G,ANTONAKOS E,ZAFEIRIOU S,et al.Offline deformable face tracking in arbitrary videos[C]//Proceedings of IEEE International Conference on Computer Vision Workshops.Washington D.C.,USA:IEEE Press,2015:1-9.

[5] SHEN J,ZAFEIRIOU S,CHRSOS G G,et al.The first facial landmark tracking in-the-wild challenge:benchmark and results[C]//Proceedings of IEEE International Con-ference on Computer Vision Workshop.Washington D.C.,USA:IEEE Press,2015:1003-1011.

[6] TZIMIROPOULOS G.Project-out cascaded regression with an application to face alignment[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2015:3659-3667.

[7] COOTES T F,EDWARDS G J,TAYLOR C J.Active appearance models[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(6):681-685.

[8] CRISTINACCE D,COOTES T F.Feature detection and tracking with constrained local models[C]//Proceedings of BMVC’06.London,UK:[s.n.],2006:929-938.

[9] DOLLAR P,WELINDER P,PERONA P.Cascaded pose regression[C]//Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2010:1078-1085.

[10] PENG X,FERIS R S,WANG X,et al.A recurrent encoder-decoder network for sequential face alignment[C]//Proceedings of European Conference on Computer Vision.Berlin,Germany:Springer,2016:38-56.

[11] 黃 琛,丁曉青,方 馳.一種魯棒高效的人臉特征點(diǎn)跟蹤方法[J].自動化學(xué)報(bào),2012,38(5):788-796.

[12] 郭修宵,陳 瑩.非約束環(huán)境下人臉特征點(diǎn)的穩(wěn)定跟蹤[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2014,26(7):1135-1142.

[13] URICAR M,FRANC V,HLAVAC V.Facial landmark tracking by tree-based deformable part model based detector[C]//Proceedings of IEEE International Conference on Computer Vision Workshops.Washington D.C.,USA:IEEE Press,2015:10-17.

[14] WU Y,JI Q.Shape augmented regression method for face alignment[C]//Proceedings of IEEE International Conference on Computer Vision Workshops.Washington D.C.,USA:IEEE Press,2015:26-32.

[15] YANG J,DENG J,ZHANG K,et al.Facial shape tracking via spatio-temporal cascade shape regression[C]//Proceedings of IEEE International Conference on Computer Vision Workshops.Washington D.C.,USA:IEEE Press,2015:41-49.

[16] XIAO Shengtao,YAN Shuicheng,Kassim A A.Facial landmark detection via progressive initialization[C]//Proceedings of IEEE International Conference on Computer Vision Workshops.Washington D.C.,USA:IEEE Press,2015:33-40.

[17] REN S,CAO X,WEI Y,et al.Face alignment at 3 000 f/s via regressing local binary features[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2014:1685-1692.

[18] CAO X,WEI Y,WEN F,et al.Face alignment by explicit shape regression[J].International Journal of Computer Vision,2014,107(2):177-190.

[19] BREIMAN L.Random forests[J].Machine Learning,2001,45(1):5-32.

[20] BURGOS-ARTIZZU X P,PERONA P,DOLLAR P.Robust face landmark estimation under occlusion[C]//Proceedings of IEEE International Conference on Computer Vision.Washington D.C.,USA:IEEE Press,2013:1513-1520.

[21] XIONG X.Supervised descent method and its applications to face alignment[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2013:532-539.

[22] BOUGUET J Y.Pyramidal implementation of the Lucas Kanade feature tracker description of the algorithm[J].Opencv Documents,1999,22(2):363-381.

[23] Libfacedetection[EB/OL].[2014-02-15].https://github.com/ShiqiYu/libfacedetection.

[24] ASTHANA A,ZAFEIRIOU S,CHENG S,et al.Incremental face alignment in the wild[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2014:1859-1866.