楊金秋　童立靖　付孝琴

摘要：臉部建模是特效電影和電腦游戲中展現(xiàn)現(xiàn)代視覺(jué)效果的關(guān)鍵。本文針對(duì)三維人臉模型的動(dòng)態(tài)建模，提出一種基于特征提取的建模方法。對(duì)于捕獲的人臉圖像，首先定位其人臉區(qū)域，然后提取人臉區(qū)域的人臉特征點(diǎn)，同時(shí)根據(jù)提取得到的人臉特征點(diǎn)對(duì)標(biāo)準(zhǔn)三維人臉模型進(jìn)行形變處理，最后得到一個(gè)實(shí)時(shí)的三維人臉動(dòng)畫系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，該方法針對(duì)三維人臉建模能夠?qū)崟r(shí)穩(wěn)定地完成相應(yīng)表情的人臉建模，具有較高的實(shí)時(shí)性、準(zhǔn)確性。

關(guān)鍵詞：人臉建模；特征提??；徑向基函數(shù)網(wǎng)絡(luò)；動(dòng)畫系統(tǒng)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2018）09-0034-03

1 介紹

在人臉建模問(wèn)題上，Moeini A，Moeini H等人提出了一種三維面部表情通用彈性模型（3D FE-GEM）[1]，該模型僅使用具有面部表情的單個(gè)2D正面圖像來(lái)重構(gòu)當(dāng)前數(shù)據(jù)庫(kù)中每個(gè)人臉表情的3D模型。Guo，Yudong等人在提出了一種新穎的人臉數(shù)據(jù)生成方法[2]。Lin K，Wang X等人提出了一種視覺(jué)傳感器網(wǎng)絡(luò)中的協(xié)同多視圖非合作三維人臉重建方法[3]，提出了一種輕量級(jí)的人臉圖像質(zhì)量評(píng)估方法來(lái)搜索最優(yōu)人臉圖像并實(shí)現(xiàn)建模。

本文的算法思路為：首先將圖像中人臉定位出來(lái)，然后對(duì)人臉區(qū)域提取出特征點(diǎn)信息，同時(shí)根據(jù)提取得到的人臉特征點(diǎn)對(duì)標(biāo)準(zhǔn)三維人臉模型進(jìn)行形變處理，最后得到一個(gè)實(shí)時(shí)的三維人臉動(dòng)畫系統(tǒng)。本文的算法流程圖如圖1所示。

2 人臉定位

人臉定位是人臉特征點(diǎn)提取的第一步，也是關(guān)鍵一步，能否準(zhǔn)確定位出人臉區(qū)域是整個(gè)特征點(diǎn)提取過(guò)程的必要前提，本文使用的是檢測(cè)快速準(zhǔn)確的基于haar特征和圖像預(yù)處理相結(jié)合的人臉定位方法。具體操作是在調(diào)用檢測(cè)器前首先對(duì)圖像進(jìn)行預(yù)處理操作。首先將彩色圖像轉(zhuǎn)化為灰度圖像，然后進(jìn)行直方圖均衡化（Histogram Equalization）處理，最后顯示人臉定位的處理結(jié)果。本文方法處理流程如圖2所示。

在相同的實(shí)驗(yàn)環(huán)境下，本文分別采用傳統(tǒng)基于haar特征的人臉定位方法與本文提出的圖像預(yù)處理相結(jié)合的人臉定位方法進(jìn)行對(duì)比，結(jié)果如圖3所示。

從實(shí)驗(yàn)結(jié)果中可以看出，當(dāng)人臉角度發(fā)生偏轉(zhuǎn)、周圍環(huán)境燈光噪聲較多時(shí)，基于haar特征的方法產(chǎn)生的人臉定位結(jié)果發(fā)生錯(cuò)誤，而本文提出算法的定位結(jié)果是正確的。

3 人臉特征點(diǎn)提取

landmark算法具有計(jì)算速度快、性能穩(wěn)定特點(diǎn)，因此本文基于mark算法進(jìn)行了人臉特征點(diǎn)的提取，在算法中，采用多個(gè)回歸器級(jí)聯(lián)，每個(gè)回歸器的預(yù)測(cè)基于前一次圖像的預(yù)測(cè)得到。公式（1）中向量S表示形狀。我們使用來(lái)表示我們當(dāng)前對(duì)S的估計(jì)。級(jí)聯(lián)中的每個(gè)回歸γt （.，.）的預(yù)測(cè)值來(lái)自圖像的更新向量和添加到當(dāng)前形狀估計(jì)的值：

假設(shè)我們有訓(xùn)練數(shù)據(jù)（I1，S1），...，（In，Sn），其中每個(gè)Ii是一個(gè)臉部圖像和Si它自身的形狀向量。要學(xué)習(xí)在級(jí)聯(lián)中的第一個(gè)回歸函數(shù)r0我們要從訓(xùn)練數(shù)據(jù)三元組中得到一個(gè)人臉圖像，從而得到初始形狀估計(jì)和目標(biāo)更新步驟，對(duì)于一個(gè)訓(xùn)練集，學(xué)習(xí)率設(shè)為0

4 個(gè)性化人臉建模

個(gè)性化人臉模型建立在Candide-3中性人臉模型的基礎(chǔ)上，首先通過(guò)將視頻圖像中提取的人臉特征點(diǎn)與Candide-3模型中的五官的特征點(diǎn)進(jìn)行綁定，實(shí)現(xiàn)三維人臉模型特征點(diǎn)的初步位移，然后通過(guò)RBF插值算法對(duì)模型進(jìn)行細(xì)致形變最后附加紋理信息得到最終的富有真實(shí)感的三維人臉模型。

Candide-3中性模型中的每個(gè)頂點(diǎn)都對(duì)應(yīng)3個(gè)坐標(biāo)值x、y、z，頂點(diǎn)坐標(biāo)為）Pi=（xi，yi，zi），Candide-3模型可以用公式形式化的表示為：

為了能夠?qū)θ四樉W(wǎng)格模型經(jīng)行細(xì)致變形，本文使用徑向基函數(shù)網(wǎng)絡(luò)（Radial basis function network）[4]。首先需要選取有限的特征點(diǎn)并計(jì)算其位移，然后選取適當(dāng)?shù)纳y數(shù)據(jù)插值方法，通過(guò)求解適當(dāng)?shù)目臻g插值函數(shù)，來(lái)計(jì)算其他特征點(diǎn)的位移，這樣就完成了對(duì)整個(gè)人物頭像網(wǎng)格模型的彈性變形。

綁定紋理可以使模型效果更加形象逼真。本文采用的方法是調(diào)用openGl的綁定紋理函數(shù)。具體步驟是啟用紋理、載入紋理以及紋理的顯示。其中紋理的顯示部分如下：

（1）顯示某個(gè)紋理之前先綁定glBindTexture（GL_TEXTURE _2D，texGround）；

在進(jìn)行綁定之前對(duì)紋理圖像和Candide-3模型進(jìn)行對(duì)齊操作，保證五官的位置與模型中五官的位置與比例是相等的。

（2）指定繪制方法glBegin（GL_TRIANGLES）；

基于Candide-3模型是由三角網(wǎng)格構(gòu)成，故使用三角網(wǎng)格的形式進(jìn)行一一對(duì)應(yīng)的綁定。

（3）指定紋理坐標(biāo)和對(duì)應(yīng)頂點(diǎn)glTexCoord2f（0.0f， 0.0f）；gl Vertex3f（-8.0f， -8.0f， 0.0f）。

5 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)環(huán)境為：Inter（R） Core（TM） i7-6820HQ CPU @ 2.70 GHz，16 GB內(nèi)存，Windows 7 64位操作系統(tǒng)，Microsoft Visual Studio 2015。使用語(yǔ)言為C++、OpenGL和OpenCV。

圖4顯示了本文完成的三維人臉建模動(dòng)畫系統(tǒng)的運(yùn)行結(jié)果頁(yè)面。系統(tǒng)運(yùn)行后（需允許打開內(nèi)置或外接的攝像頭），隨著操作者的表情變化，即可實(shí)時(shí)得到相應(yīng)的三維人臉模型。

6 結(jié)語(yǔ)

本文針對(duì)人臉建模動(dòng)畫提出了一種基于特征提取的方法。對(duì)于捕獲的人臉圖像，首先定位其人臉區(qū)域，然后提取人臉特征點(diǎn)，同時(shí)根據(jù)提取得到的人臉特征點(diǎn)對(duì)標(biāo)準(zhǔn)三維人臉模型進(jìn)行形變處理，最后得到一個(gè)實(shí)時(shí)的三維人臉動(dòng)畫系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，該方法針對(duì)三維人臉建模能夠?qū)崟r(shí)穩(wěn)定地完成相應(yīng)表情的人臉建模，具有較高的實(shí)時(shí)性、準(zhǔn)確性。該技術(shù)在影視特效、電腦游戲以及虛擬現(xiàn)實(shí)等領(lǐng)域具有較好的應(yīng)用前景。

在本課題的研究過(guò)程中發(fā)現(xiàn)，在人臉表達(dá)細(xì)微表情時(shí)人臉的動(dòng)態(tài)建模發(fā)生了形變失真。針對(duì)形變失真問(wèn)題[5]，提出相應(yīng)的形變處理算法是下一步需要研究的具體內(nèi)容。

參考文獻(xiàn)

[1]Moeini， Ali （2015）Multimodal Facial Expression Recognition Based on 3D Face Reconstruction from 2D Images.Face and Facial Expression Recognition from Real World Videos.DOI： 10.1007/978-3-319-13737-7_5.

[2]Y. Guo， J. Zhang， J. Cai， B. Jiang and J. Zheng（2018）CNN-based Real-time Dense Face Reconstruction with Inverse-rendered Photo-realistic Face Images.IEEE Transactions on Pattern Analysis and Machine Intelligence.DOI：10.1109/s20182837742.

[3]Kuicheng Lin， Xue Wang， and Yuqi Tan（2016.）Self-adaptive morphable model based collaborative multi-view 3d face reconstruction in visual sensor network. Multimedia Tools Appl. 2016：11469-11491.

[4]Li Shuqin（2012）Research on 3D character avatar generation technology based on photos.Dissertation， North China University of Technology.

[5]Xia，Chen， Wang， XiaoHua （2018）Facial expression recognition under partial occlusion based on fusion of global and local features. Ninth International Conference on Graphic and Image Processing， Regal Oriental Hotel， Hong Kong，24-26 February 2018.