舒 文， 傅鈺雯， 楊健晟

（1 貴州大學(xué) 電氣工程學(xué)院， 貴陽(yáng) 550025； 2 貴州交通職業(yè)技術(shù)學(xué)院， 貴陽(yáng) 550025）

0 引 言

三維人臉表情合成在近年來(lái)得到了越來(lái)越多的關(guān)注，影視領(lǐng)域、仿人機(jī)器人、虛擬現(xiàn)實(shí)、三維游戲、三維人臉識(shí)別等多個(gè)領(lǐng)域都對(duì)三維表情人臉合成提出了更高的要求。

三維表情人臉的合成通常分為三維人臉重建與表情合成兩個(gè)部分。 目前，三維人臉重建方法主要分為基于設(shè)備的三維人臉重建與基于圖像的三維人臉重建。 基于設(shè)備的三維人臉重建利用高精度的三維掃描儀對(duì)人臉掃描，得到高質(zhì)量三維人臉數(shù)據(jù)。但該方法具有成本高、采集時(shí)間較長(zhǎng)、對(duì)采集過(guò)程中采集對(duì)象的姿態(tài)要求高等特點(diǎn)，使基于設(shè)備的方法通常僅在實(shí)驗(yàn)室中完成。 此外，基于設(shè)備的方法也由于采集的三維人臉數(shù)據(jù)僅為當(dāng)前采集表情人臉的數(shù)據(jù)，在表情合成上難以完成多種不同表情的轉(zhuǎn)換。 而基于圖像的三維人臉重建由于其成本低、靈活度高等特點(diǎn)，得到了大量研究者的青睞。 由于重建模型本身點(diǎn)云數(shù)的不同從而引起了模型精細(xì)程度不同，也使基于模型方法的三維表情合成中，基于不同模型的方法重建效果區(qū)別較大。 目前，國(guó)內(nèi)對(duì)于三維人臉表情的研究大部分通過(guò)FACS（Facial Action Coding System）表情編碼系統(tǒng)與簡(jiǎn)單三維人臉模型的結(jié)合完成。 但由于部分模型自身點(diǎn)云過(guò)少所帶來(lái)的模型細(xì)節(jié)表現(xiàn)較差問(wèn)題，也使最終三維人臉表情合成效果較差。 而更多細(xì)節(jié)表現(xiàn)良好的參數(shù)化模型中，對(duì)于三維表情合成的研究較少。一方面，利用FACS 系統(tǒng)對(duì)模型進(jìn)行改變時(shí)，并不如部份模型那樣，能夠通過(guò)較少的地標(biāo)點(diǎn)改變而達(dá)到效果；另一方面，合成更多的是通過(guò)人為調(diào)整參數(shù)的方式進(jìn)行表情的改變。

徐雪絨在單張正面照片的基礎(chǔ)上，結(jié)合CANDIDE－3 與FACS，完成對(duì)人臉的重建與三維表情合成。 郭帥磊利用Kinect 體感設(shè)備，采集多張人臉彩色圖像與深度圖像，在此基礎(chǔ)上結(jié)合FACS完成人臉表情的合成，相較于CANDIDE－3 模型最終使表現(xiàn)得到了改良，但靈活度較低，成本較高。Garrido提出了一種基于圖像的人臉視頻再現(xiàn)方法，對(duì)不同的兩個(gè)面部表情視頻進(jìn)行比較匹配，能夠在保留背景的前提下完成表情面部替換。 但該方法對(duì)數(shù)據(jù)集要求高、且僅完成面部替換，無(wú)法完成真正的三維表情合成。

在上述基礎(chǔ)上，本文提出一種基于表情特征點(diǎn)預(yù)測(cè)的三維人臉表情合成方法。 其方法在自然表情人臉的基礎(chǔ)上，對(duì)其它表情人臉特征點(diǎn)分布進(jìn)行預(yù)測(cè)；利 用 預(yù) 測(cè) 特 征 點(diǎn)， 在3DMM （3D Morphable Model）的基礎(chǔ)上，結(jié)合FaceWarehouse 三維人臉數(shù)據(jù)庫(kù)發(fā)布的表情基，完成對(duì)表情人臉的三維重建，從而完成了三維人臉的表情合成。 文章通過(guò)基于表情特征點(diǎn)預(yù)測(cè)的三維人臉表情合成方法，完成了對(duì)快樂(lè)表情與悲傷表情下的重建。 重建方法僅需要一張正面自然表情人臉圖像，就能夠完成多表情下的人臉三維模型合成。

1 基于3DMM 的三維人臉重建

基于3DMM 的三維人臉重建方法對(duì)單幅圖像中人臉的特征點(diǎn)進(jìn)行標(biāo)注，之后利用所標(biāo)注的特征點(diǎn)，結(jié)合參數(shù)化模型Basel Face Model （BFM）進(jìn)行人臉的三維重建。 方法在整個(gè)重建過(guò)程中僅需要一張人臉圖像，這也使得基于3DMM 三維人臉重建方法靈活度非常高，其整體流程如圖1 所示。

圖1 三維人臉重建流程Fig.1 3D face reconstruction flow chart

在基于特征點(diǎn)的三維人臉重建中，首先要對(duì)圖像中的人臉區(qū)域進(jìn)行提取，再對(duì)人臉區(qū)域進(jìn)行特征提取，最后利用三維人臉重建技術(shù)，結(jié)合提取的特征點(diǎn)完成人臉的三維重建。

人臉檢測(cè)利用Adaboost 結(jié)合Haar 特征，在AFLW2000－3D 數(shù)據(jù)集的基礎(chǔ)上，加入部分手動(dòng)標(biāo)記的生活人臉照片完成對(duì)新的數(shù)據(jù)集進(jìn)行處理。將所有的圖像處理為40*40 大小的灰度圖像，其處理方法如式（1）所示：

式中，（，） 為人臉區(qū)域中心點(diǎn)坐標(biāo)，、分別為區(qū)域的寬和高。

經(jīng)過(guò)處理后的部分樣本圖像如圖2 所示。

圖2 部分?jǐn)?shù)據(jù)處理樣例圖Fig.2 Part of the data processing sample diagram

將預(yù)處理后得到的新數(shù)據(jù)集作為正樣本數(shù)據(jù)集，利用無(wú)人臉的生活照與風(fēng)景照等作為負(fù)樣本，利用OpenCV 訓(xùn)練框架進(jìn)行訓(xùn)練，最終模型人臉區(qū)域提取結(jié)果如圖3 所示。

圖3 人臉區(qū)域提取示意圖Fig.3 Schematic diagram of face region extraction

特征點(diǎn)提取在ERT（Ensemble of Regression Trees）算法與ASM（Active Shape Models）算法基礎(chǔ)上，分別進(jìn)行了實(shí)驗(yàn)。 選用300 W 人臉數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集，在AFLW2000 部分?jǐn)?shù)據(jù)上進(jìn)行測(cè)試，對(duì)ERT 下 的3 棵 GBDT （Gradient BoostingDecision Tree）樹(shù)情況與ASM 分別進(jìn)行了實(shí)驗(yàn)，得到結(jié)果如圖4 所示。

圖4 ASM 算法與ERT 算法對(duì)比圖Fig.4 ASM algorithm and ERT algorithm comparison chart

由實(shí)驗(yàn)結(jié)果可見(jiàn)，ASM 算法相比ERT 算法而言，在特征點(diǎn)擬合上效果略差，在細(xì)節(jié)的擬合上ERT 更加的優(yōu)秀。 選擇在整個(gè)三維人臉重建上使用ERT 作為特征點(diǎn)提取方法。 后續(xù)對(duì)不同GBDT樹(shù)木下的ERT 算法進(jìn)行試驗(yàn)得到結(jié)果如圖5 所示。

圖5 ERT 不同樹(shù)木算法對(duì)比圖Fig.5 Comparison chart of ERT different tree algorithm

圖5 中按照順序分別是3 棵樹(shù)、5 棵樹(shù)、10 棵樹(shù)、20 棵樹(shù)下的特征點(diǎn)定位表現(xiàn)。 可以發(fā)現(xiàn)，隨著樹(shù)的增加其擬合效果也越來(lái)越好。 但是，樹(shù)的增加帶來(lái)了時(shí)效性的降低，而且在實(shí)驗(yàn)中10 棵樹(shù)之后收斂效果有限。 綜合考慮，最終采用10 棵樹(shù)下的迭代模型作為特征點(diǎn)定位模型。

3DMM 是應(yīng)用廣泛的一種參數(shù)化模型重建方法，共利用三維人臉數(shù)據(jù)結(jié)合PCA（主成分分析法）建立了一個(gè)三維人臉的參數(shù)化模型。 參數(shù)化模型的搭建依賴(lài)于BFM 數(shù)據(jù)集，通過(guò)對(duì)數(shù)據(jù)集進(jìn)行處理，模型得到了3*199 的特征向量矩陣。 其中，為BFM 數(shù)據(jù)集中每一張三維人臉的頂點(diǎn)數(shù)量，每一個(gè)頂點(diǎn)都有其對(duì)應(yīng)的3 個(gè)三維坐標(biāo)值與3 個(gè)RGB 紋理分量。 由于BFM 數(shù)據(jù)集缺少表情表達(dá)，利用FaceWarehouse 對(duì)3DMM 模型下的表情部分進(jìn)行補(bǔ)足，得到帶表情下的三維人臉重建模型：其3DMM參數(shù)化模型最終為：

式中，S為改變后的模型；ˉ為歸一化處理后的平均人臉（均人臉是平均中性人臉加上平均表情人臉后的分布）；是BFM 模型中經(jīng)過(guò)處理后的特征矩陣；是相對(duì)應(yīng)的特征值（通過(guò)改變則能夠得到不同的S分布）；為表情向量矩陣；為其對(duì)應(yīng)的特征值分布。

對(duì)應(yīng)的3DMM 中的紋理模型為：

式中，T是改變后的紋理；ˉ是平均紋理；是經(jīng)過(guò)處理過(guò)后的特征矩陣；是其相對(duì)應(yīng)的特征值矩陣；改變就能夠得到不同的紋理。

對(duì)AFLW2000 數(shù)據(jù)集下的部分圖像進(jìn)行三維人臉形狀重建，其效果如圖6 所示。

圖6 部分圖像三維人臉重建圖Fig.6 Partial image 3D face reconstruction

2 基于表情特征點(diǎn)預(yù)測(cè)的三維人臉表情合成

為了建立同一張人臉中當(dāng)前表情至其他表情的模型，需要先確定當(dāng)前人臉表情，在此基礎(chǔ)上建立自然表情人臉至高興表情人臉與悲傷表情人臉下的特征點(diǎn)預(yù)測(cè)模型。 其整體流程如圖7 所示。

圖7 整體流程圖Fig.7 Overall flow chart

如圖7 所示，文章在表情人臉的重建基礎(chǔ)上，加入了表情識(shí)別與表情特征點(diǎn)分布預(yù)測(cè)。 通過(guò)引進(jìn)這兩個(gè)模塊，從而完成了三維表情人臉的預(yù)測(cè)。

2.1 人臉表情識(shí)別

在當(dāng)前應(yīng)用較為廣泛的算法中，基于卷積神經(jīng)網(wǎng)絡(luò)CNN（Convolutional Neural Networks）的表情識(shí)別得到了很多的應(yīng)用。 然而，淺層CNN 在實(shí)際應(yīng)用中精度仍有提高的空間。 在CNN 的基礎(chǔ)上，牛津大學(xué)的視覺(jué)幾何組與Google DeepMind 公司的研究員共同提出了一種深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)VGGNet（Very Deep Convolutional Networks）。 VGGNet 在很多圖像處理應(yīng)用中，效果相比CNN 更為優(yōu)秀。 通過(guò)在fer2013 數(shù)據(jù)庫(kù)的基礎(chǔ)上加入了部分jaffe 數(shù)據(jù)庫(kù)與ck＋數(shù)據(jù)庫(kù)數(shù)據(jù)作為訓(xùn)練及測(cè)試數(shù)據(jù)，在不同的數(shù)據(jù)集中VGGNet 與CNN 的對(duì)比結(jié)果見(jiàn)表1。

表1 不同算法對(duì)比表Tab.1 Comparison table of different algorithms

可以看到，在不同的數(shù)據(jù)集中VGGNet 較CNN擁有更高的識(shí)別率。 其中，fer2013 中識(shí)別率相對(duì)較低的原因是fer2013 數(shù)據(jù)庫(kù)非常復(fù)雜，人眼對(duì)fer2013 的識(shí)別率也僅為65%左右。 綜合判斷下，VGGNet 模型在不同數(shù)據(jù)集中都有良好的識(shí)別效果。

由于最終目的是為了區(qū)分中性臉與表情臉，于是對(duì)表情臉識(shí)別率進(jìn)行融合，最終對(duì)于表情識(shí)別中，中性臉與表情臉進(jìn)行誤檢率與查準(zhǔn)率的計(jì)算。 文中誤檢率是指表情臉被識(shí)別為中性臉的比例，而查準(zhǔn)率是指中性臉被正確識(shí)別的比例。 在實(shí)驗(yàn)中，誤檢率越低則越好，也意味著越少表情臉被誤判為中性臉，而查準(zhǔn)率則越高越好。 其融合后的表現(xiàn)見(jiàn)表2。

表2 融合后不同數(shù)據(jù)集驗(yàn)證表Tab.2 Verification table for different data sets after fusion

最終表情預(yù)測(cè)效果如圖8 所示。

圖8 表情預(yù)測(cè)效果示意圖Fig.8 Schematic diagram of expression prediction effect

2.2 人臉表情特征點(diǎn)預(yù)測(cè)

特征點(diǎn)預(yù)測(cè)所采用的相關(guān)數(shù)據(jù)由ck＋人臉數(shù)據(jù)庫(kù)中得到。 在ck＋人臉數(shù)據(jù)庫(kù)中，共提供了包括中性臉在內(nèi)的8 種表情，從其視頻序列的表情庫(kù)中，選取其中的中性臉與表情臉中的笑臉與悲傷臉，分類(lèi)時(shí)利用ck＋數(shù)據(jù)庫(kù)提供的表情標(biāo)簽進(jìn)行分類(lèi)。

禪茶精品線(xiàn)路的設(shè)計(jì)：開(kāi)發(fā)禪茶需要遵循以下原則：第一，堅(jiān)持資源整合、優(yōu)勢(shì)共享的原則，借助廬山西海自身的資源優(yōu)勢(shì)，整合周邊的佛教資源和茶文化資源來(lái)進(jìn)行線(xiàn)路的設(shè)計(jì)；第二，堅(jiān)持旅游線(xiàn)路主體化，讓其成為以禪茶為主題的專(zhuān)題旅游線(xiàn)路。

在人臉表情特征點(diǎn)實(shí)際預(yù)測(cè)中，由于每一個(gè)人開(kāi)心或悲傷時(shí)表情變化的程度難以量化（如從微笑到大笑都可屬于開(kāi)心的表情），所以在數(shù)據(jù)分類(lèi)時(shí)，所有表情分類(lèi)時(shí)都選擇視頻序列中由中性臉變?yōu)橹付ū砬槟樦械淖罱K表情作為分類(lèi)依據(jù)，從而最大程度上避免了由于表情程度不同帶來(lái)的預(yù)測(cè)誤差。

其中部分樣本如圖9 所示。

圖9 CK＋數(shù)據(jù)庫(kù)部分樣本示意圖Fig.9 Schematic diagram of some samples of CK＋database

人臉特征點(diǎn)提取中共完成了68 個(gè)特征點(diǎn)的提取，特征點(diǎn)分布于二維坐標(biāo)系內(nèi)，所以68 個(gè)特征點(diǎn)共產(chǎn)生了136 個(gè)輸入。 對(duì)數(shù)據(jù)集中的部分樣本特征點(diǎn)進(jìn)行顯示，紅色為自然表情人臉特征點(diǎn)分布，黃色為對(duì)應(yīng)的表情人臉特征點(diǎn)分布，其特征點(diǎn)分布圖像如圖10 所示。

圖10 CK＋部分?jǐn)?shù)據(jù)特征點(diǎn)分布圖Fig.10 Distribution map of CK＋part of the data feature points

為了減小由于位置與角度帶來(lái)的誤差，文章對(duì)所有的人臉進(jìn)行歸一化處理，其歸一化處理步驟如下：

（1）設(shè)兩外眼角距離為、內(nèi)眼角，計(jì)算其平均距離。 計(jì)算方法如下：

計(jì)算其縮放比例為：

式中，為縮放比例，100 為可修改的參數(shù)，表示將經(jīng)過(guò)縮放變化到100 個(gè)像素的標(biāo)準(zhǔn)系下。 當(dāng)像素標(biāo)準(zhǔn)系參數(shù)越小，縮放變換后的特征點(diǎn)分布越密集。

（2）通常認(rèn)為正臉圖片中兩眼應(yīng)當(dāng)處于同一水平線(xiàn)，通過(guò)雙眼眼角的偏移角來(lái)計(jì)算特征點(diǎn)分布的旋轉(zhuǎn)角。特征點(diǎn)兩個(gè)內(nèi)眼角坐標(biāo)分別為（，）、（，），其內(nèi)眼角距離為，兩點(diǎn)距離原點(diǎn)坐標(biāo)分別為：

利用上式能夠解出旋轉(zhuǎn)后的新坐標(biāo)，最終計(jì)算其旋轉(zhuǎn)角為：

（3）在經(jīng)過(guò)縮放與旋轉(zhuǎn)后，將所有特征點(diǎn)平移至相同參考系之下，通過(guò)計(jì)算各個(gè)樣本特征點(diǎn)軸與軸的平均坐標(biāo)值，以平均點(diǎn)坐標(biāo)為原點(diǎn)建立新的坐標(biāo)系。 歸一化縮放以及旋轉(zhuǎn)公式為：

在與軸平移公式為：

通過(guò)上述歸一化后，將所有人臉特征點(diǎn)分布進(jìn)行對(duì)齊，其對(duì)齊的人臉表情特征分布如圖11 所示。

圖11 部分?jǐn)?shù)據(jù)特征點(diǎn)歸一化圖Fig.11 Normalized map of part of data feature points

歸一化后對(duì)同一人的不同表情特征分布分析發(fā)現(xiàn)：在實(shí)際表情變化中，特征點(diǎn)位置的變化僅出現(xiàn)在部分位置。 如圖11 中，（a）為開(kāi)心人臉與中性人臉的特征點(diǎn)分布對(duì)比；（b）為悲傷人臉與中性表情人臉特征點(diǎn)分布對(duì)比。 兩種表情中在表情變化時(shí)變化區(qū)域有所不同，而圖12 中能夠明顯看出，在不同表情變化中，有很大一部分的特征點(diǎn)幾乎沒(méi)有變化，其中變化的只是一部分。 本文希望通過(guò)盡量少的特征點(diǎn)表示完整的人臉表情變化，于是對(duì)不同表情下的變化區(qū)域進(jìn)行選取，選取方式為歐氏距離：

圖12 不同表情下變化區(qū)域選擇Fig.12 Selection of area under different expressions

通過(guò)實(shí)驗(yàn)，人為選取歐式距離小于0.25 的點(diǎn)，得到在開(kāi)心表情下變化的主要區(qū)域?yàn)樽彀拖骂M，悲傷表情下變化的主要區(qū)域?yàn)樽彀团c眉毛。

針對(duì)不同表情選取出不同的變化區(qū)域與其對(duì)應(yīng)的關(guān)鍵特征點(diǎn)后，利用神經(jīng)網(wǎng)絡(luò)與加權(quán)K 值最近鄰算法，分別建立表情特征點(diǎn)預(yù)測(cè)模型。 最終效果如圖13 所示。

圖13 不同算法下表情預(yù)測(cè)效果對(duì)比Fig.13 Comparison of expression prediction effects under different algorithms

圖13 中，A、B 為加權(quán)K 值最近鄰算法預(yù)測(cè)效果，C、D 為神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果。 在真實(shí)感上能夠看出，加權(quán)K 值最近鄰算法預(yù)測(cè)效果要優(yōu)于神經(jīng)網(wǎng)絡(luò)。 考慮是由于ck＋數(shù)據(jù)集數(shù)據(jù)量不足導(dǎo)致。

2.3 基于特征點(diǎn)預(yù)測(cè)的三維表情重建

結(jié)合表情特征點(diǎn)預(yù)測(cè)與三維人臉重建，對(duì)三維表情模型進(jìn)行預(yù)測(cè)，得到3 種表情下的三維人臉表情合成效果，如圖14 所示。

圖14 中，是利用特征點(diǎn)預(yù)測(cè)的方法結(jié)合三維人臉重建技術(shù)，達(dá)到了在僅有一張自然表情人臉的情況下，完成人臉其他表情下的三維人臉形狀重建。

圖14 三維人臉表情合成效果圖Fig.14 3D facial expression synthesis rendering

在基于參數(shù)化模型的人臉重建中，由于參數(shù)化模型的紋理信息來(lái)自有限的人臉，在實(shí)際應(yīng)用中與直接取得真實(shí)紋理相比，在真實(shí)感上仍然有著較大的欠缺。 然而，從二維圖像中直接取得紋理時(shí)，受到圖像人臉姿態(tài)影響較大，導(dǎo)致部分區(qū)域無(wú)法取得紋理時(shí)，會(huì)產(chǎn)生失真現(xiàn)象，如圖15 所示。

圖15 三維人臉真實(shí)紋理效果圖Fig.15 3D face real texture renderings

如圖15 所示，即便是正臉照片也存在部分遮擋帶來(lái)的失真現(xiàn)象。 若當(dāng)前姿態(tài)與正臉存在較大角度偏差時(shí)，情況會(huì)更加嚴(yán)重。 針對(duì)此種情況，本文提出了一種在耳部區(qū)域進(jìn)行紋理逐步變換的方法，對(duì)紋理進(jìn)行更新。 具體步驟如下：

（1）得到模型中耳朵的區(qū)域。

（2）對(duì)區(qū)域中的所有點(diǎn)，按照深度信息由低至高進(jìn)行排序，即與鼻尖的深度距離遠(yuǎn)的點(diǎn)會(huì)排在靠后的位置。

（3）按照順序?qū)y理進(jìn)行更新。 更新時(shí)，利用原始參數(shù)化模型中紋理模型來(lái)進(jìn)行。 記原始參數(shù)化模型中的平均紋理為，真實(shí)紋理模型紋理為，則有：

對(duì)紋理進(jìn)行更新后，效果如圖16 所示。

如圖16 所示，經(jīng)過(guò)紋理更新后失真的情況已經(jīng)得到了改善。

圖16 紋理更新圖Fig.16 Texture update map

最終，本文方法與文獻(xiàn)［22］中的Candide－3 模型結(jié)合FACS 系統(tǒng)算法進(jìn)行對(duì)比，如圖17 所示。

圖17 表情合成算法對(duì)比圖Fig.17 Comparison chart of expression synthesis algorithms

本文方法與其它表情合成與三維表情人臉建模方法比較結(jié)果見(jiàn)表3。

表3 不同算法對(duì)比Tab.3 Comparison of different algorithms

3 結(jié)束語(yǔ)

本文提出了一種基于特征點(diǎn)預(yù)測(cè)的三維表情人臉合成方法，實(shí)驗(yàn)表明，此方法相較于傳統(tǒng)的單幅表情圖像對(duì)應(yīng)單個(gè)三維表情人臉?lè)椒ǜ拥撵`活；相較于人工調(diào)節(jié)表情參數(shù)的方法，實(shí)現(xiàn)了自動(dòng)化合成；相較于candide－3 模型集合FACS 編碼系統(tǒng)的方法，重建效果更加良好。

由于表情特征點(diǎn)預(yù)測(cè)對(duì)數(shù)據(jù)集依賴(lài)較大，未來(lái)可能會(huì)建立一個(gè)標(biāo)準(zhǔn)較為統(tǒng)一且數(shù)據(jù)量更大的表情數(shù)據(jù)集，也希望利用模型完成在擁有一副正臉圖像的情況下，自動(dòng)生成人臉對(duì)應(yīng)的所有三維動(dòng)畫(huà)。