姚世明，李維浩，李蔚清，蘇智勇

面向虛擬化身的人臉表情模擬技術(shù)

姚世明1，李維浩1，李蔚清2，蘇智勇1

(1. 南京理工大學(xué)自動化學(xué)院，江蘇 南京 210094；2.南京理工大學(xué)計算機(jī)科學(xué)與工程學(xué)院，江蘇 南京 210094)

為了實(shí)現(xiàn)基于增強(qiáng)現(xiàn)實(shí)的電子沙盤環(huán)境中的異地可視化交互功能，提出了一種面向虛擬化身的三維表情模擬技術(shù)。首先，使用RGB攝像頭跟蹤異地作業(yè)人員的表情，基于約束局部模型(CLM)提取人臉特征點(diǎn)數(shù)據(jù)后傳輸?shù)奖镜兀蝗缓?，采用基于徑向基函?shù)的插值算法計算虛擬化身面部網(wǎng)格點(diǎn)的坐標(biāo)，驅(qū)動模型模擬出與異地作業(yè)人員相同的表情；最后，為了提高變形算法的精度和效率，提出一種基于貪心算法與人臉肌群分布的插值控制點(diǎn)選取和分區(qū)域插值方法。實(shí)驗結(jié)果表明，該算法能夠滿足實(shí)際應(yīng)用對實(shí)時性和真實(shí)感的需求。

表情模擬；徑向基函數(shù)；形變模型；肌肉模型

電子沙盤是一種虛擬化的信息顯示手段，可以模擬三維、動態(tài)、可交互戰(zhàn)場態(tài)勢環(huán)境?；谠鰪?qiáng)現(xiàn)實(shí)(augmented reality, AR)的電子沙盤在態(tài)勢展現(xiàn)的直觀性、交互操作的便捷性以及協(xié)同研討的高效性方面都優(yōu)于傳統(tǒng)的電子沙盤。在AR電子沙盤的異地協(xié)同研討作業(yè)中引入虛擬化身技術(shù)，以虛擬人物的形式將身處異地的指揮員“投射”到同一環(huán)境，“面對面”進(jìn)行溝通交流，大大提升了指揮人員交流的充分性和高效性。人與人交流中，人臉表情是最主要和最直觀的表現(xiàn)形式，具有逼真表情的虛擬化身，使觀看者更有沉浸感。

三維人臉表情模擬技術(shù)主要包括表情動畫的跟蹤和模型驅(qū)動2部分。從上世紀(jì)70年代PARKE[1]建立第一個臉部模型到現(xiàn)在，三維人臉表情動畫跟蹤技術(shù)已經(jīng)較為成熟，但實(shí)現(xiàn)高實(shí)時性和高真實(shí)性的人臉動畫重構(gòu)技術(shù)仍是目前研究的難題。對于異地交互來說，表情模擬的實(shí)時性和真實(shí)感是重要指標(biāo)，本文重點(diǎn)研究如何提高表情重構(gòu)方法的效率和精度，從而滿足應(yīng)用所要求的實(shí)時性和真實(shí)感。

在人臉特征點(diǎn)跟蹤領(lǐng)域，國內(nèi)外研究人員提出了很多有效方法。WILLIAMS[2]提出在用戶面部貼有反光特性的標(biāo)記點(diǎn)來跟蹤人臉特征點(diǎn)運(yùn)動信息。此方法精度高，但用戶體驗差。何欽政和王運(yùn)巧[3]采用Kinect實(shí)現(xiàn)三維人臉表情參數(shù)的捕捉。但其像素較低，要求拍攝距離較近。此外，目前研究較多是基于RGB視頻的特征點(diǎn)檢測方法。CRISTINACCE和COOTES[4]提出了基于CLM形狀模型的特征點(diǎn)檢測法。BULAT和TZIMITOPOULOS[5]采用基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法實(shí)現(xiàn)了基于RGB視頻的三維人臉特征點(diǎn)實(shí)時跟蹤，由于訓(xùn)練數(shù)據(jù)的限制，檢測精度不高。考慮到本文應(yīng)用對表情模擬的實(shí)時性和真實(shí)感要求較高，且表情采集者處在小范圍移動中。以上方法中，采用高像素RGB攝像頭跟蹤特征點(diǎn)的方案較為合理。

在基于數(shù)據(jù)驅(qū)動的表情重構(gòu)技術(shù)領(lǐng)域，常見方法包括基于肌肉模型、基于表情基合成和基于形變算法等來實(shí)現(xiàn)表情動畫?；诩∪饽Ｐ偷姆椒m真實(shí)感強(qiáng)，但實(shí)時性差。而基于表情基合成的方法存在個性化特征不明顯的缺點(diǎn)。PIGHIN等[6]提出一種基于視頻的人臉表情模擬技術(shù)，采集到特征點(diǎn)運(yùn)動數(shù)據(jù)后，采用三維曲面插值算法驅(qū)動模型產(chǎn)生表情動畫。目前常用的人臉模型變形的算法有拉普拉斯變形算法和徑向基插值變形算法。拉普拉斯變形算法的效率高，局部細(xì)微表情的變形效果差[7]。徑向基插值變形算法的平滑性好，但應(yīng)用于復(fù)雜拓?fù)浣Y(jié)構(gòu)的人臉曲面時會出現(xiàn)局部失真現(xiàn)象，并且計算量較大[8]。SUWAJANAKORN等[9]提出了基于語音數(shù)據(jù)的表情重構(gòu)方法。GUO等[10]使用基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法實(shí)現(xiàn)了利用單張圖片對人臉實(shí)時重構(gòu)。但是該方法需要大量工作去建立帶三維特征點(diǎn)數(shù)據(jù)的數(shù)據(jù)庫，且對硬件性能要求較高。綜上分析，實(shí)現(xiàn)高實(shí)時性和高逼真度的人臉動畫重構(gòu)仍然是一項具有挑戰(zhàn)性的工作。

經(jīng)過對以上方法的對比分析，結(jié)合應(yīng)用背景，本文提出基于單目RGB視頻驅(qū)動的人臉表情模擬技術(shù)。首先基于約束局部模型CLM 跟蹤人臉特征點(diǎn)的運(yùn)動信息；然后采用基于徑向基函數(shù)(radial-basis function，RBF)的變形算法驅(qū)動人臉網(wǎng)格模型來輸出表情動畫；并基于人臉肌肉模型和貪心算法對RBF插值變形算法的效率和精度進(jìn)行了優(yōu)化，提出了基于人臉肌群分布的分區(qū)域插值算法和插值控制點(diǎn)選取算法，實(shí)現(xiàn)了AR電子沙盤環(huán)境中面向虛擬化身的表情模擬功能。

1 系統(tǒng)框架

本系統(tǒng)用于AR電子沙盤異地可視化交互中虛擬化身的表情模擬，主要實(shí)現(xiàn)跟蹤和重構(gòu)人臉的表情動畫。系統(tǒng)總流程如圖1所示：第1部分為數(shù)據(jù)預(yù)處理。讀取并記錄人臉網(wǎng)格模型頂點(diǎn)的索引和坐標(biāo)，選取插值控制點(diǎn)并與模型對應(yīng)網(wǎng)格點(diǎn)綁定，計算并保存各控制點(diǎn)與其他網(wǎng)格頂點(diǎn)的歐氏距離；第2部分為特征點(diǎn)的運(yùn)動跟蹤?；贑LM形狀模型在RGB攝像頭采集的視頻圖像中搜索定位出特征點(diǎn)坐標(biāo)；第3部分為插值出所有人臉網(wǎng)格模型頂點(diǎn)坐標(biāo)。用檢測到的插值控制點(diǎn)坐標(biāo)訓(xùn)練插值函數(shù)，插值出網(wǎng)格模型中除控制點(diǎn)以外的面部頂點(diǎn)坐標(biāo)；第4部分為模型的驅(qū)動。插值的結(jié)果傳遞給模型驅(qū)動腳本，驅(qū)動模型產(chǎn)生形變來輸出表情動畫。

圖1 系統(tǒng)總體流程

2 基于CLM模型的人臉特征點(diǎn)跟蹤

本文采用基于CLM形狀模型的特征點(diǎn)檢測方法，主要工作包括模型的訓(xùn)練和特征點(diǎn)定位，具體流程如圖2所示。特征點(diǎn)檢測工作一定程度上建立在SARAGIH等[11]工作的基礎(chǔ)上，采用了其訓(xùn)練好的CLM形狀模型。特征點(diǎn)定位包括人臉區(qū)域定位和特征點(diǎn)搜索定位2部分。采用經(jīng)典的VIOLA和JONES[12]人臉檢測器檢測出圖像中的人臉區(qū)域，以此縮小后續(xù)的特征點(diǎn)搜索范圍；然后基于CLM形狀模型對人臉區(qū)域中的特征點(diǎn)進(jìn)行擬合定位；最后采用mean-shift算法[13]跟蹤人臉特征點(diǎn)的運(yùn)動數(shù)據(jù)。

圖2 人臉特征點(diǎn)運(yùn)動的跟蹤過程

3 基于RBF插值的變形算法

如何利用檢測到的少數(shù)特征點(diǎn)運(yùn)動信息驅(qū)動具有大量網(wǎng)格點(diǎn)的人臉模型是本文主要解決的問題。本文選用RBF插值算法驅(qū)動模型形變產(chǎn)生表情動畫，插值控制點(diǎn)從檢測到的人臉特征點(diǎn)中選取，訓(xùn)練出人臉曲面插值函數(shù)，然后根據(jù)前一幀的模型頂點(diǎn)坐標(biāo)插值出當(dāng)前幀的頂點(diǎn)坐標(biāo)數(shù)據(jù)，生成平滑的人臉表情動畫。

3.1 RBF插值函數(shù)介紹

RBF[14]是一種3層的前向神經(jīng)網(wǎng)絡(luò)，包括輸入層、隱含層和輸出層。RBF的基本思想：以核函數(shù)構(gòu)成隱含層空間，并對輸入數(shù)據(jù)進(jìn)行變換，將低維非線性數(shù)據(jù)變換到高維空間，使其在高維空間線性可分。RBF具有結(jié)構(gòu)簡單、學(xué)習(xí)收斂速度快、能夠逼近任意非線性函數(shù)、有效克服局部極小值問題等優(yōu)點(diǎn)。RBF插值函數(shù)的數(shù)學(xué)表示為