孫廣梅

(南首爾大學(xué)影像設(shè)計學(xué)院，忠清南道天安 31020)

0 引言

微表情是動畫人物基本情緒的表達，以及微妙情緒變化的直接反映，在動畫設(shè)計與動畫表演當中，有著重要的作用.將動畫人物的心理情緒，通過五官之下的細微變化表達出來，使動畫人物更加靈動逼真，將切實的情感變化傳達給觀眾.隨著經(jīng)濟全球化的發(fā)展趨勢，世界各國之間的文化交流頻繁，而動畫作為一種獨特的文化形式，消除了各國之間的語言障礙，成為了各國友好交流的一種媒介[1].近年來國內(nèi)的動畫市場發(fā)展迅速，動畫電影在電影市場當中占比較大，有著良好的發(fā)展前景.

三維動畫人物與二維平面動畫相比較，其畫面效果更加真實立體，人們?nèi)粘Ｉ畹目臻g屬于三維空間，對于人們而言，在自然中立體的影像才是真實存在的，為此觀眾在觀看動畫表演時，對三維動畫的專注度更高，更容易被人物及場景所吸引.傳統(tǒng)的二維動畫主要是以與現(xiàn)實世界的差異和距離感，吸引人們觀看；而在三維動畫的設(shè)計與表演中，其人物視覺效果更接近于現(xiàn)實中人們所看到的效果，這使人們對其表演形式更加嚴格與苛刻，三維動畫在設(shè)計中更容易受到約束[2-4].為此在設(shè)計三維動畫人物時，對于表情制作的分工明確細致，便于后續(xù)的多次修改優(yōu)化，板塊化的分工能夠讓動畫人物制作者有足夠的精力，去挖掘動畫角色的表情細節(jié)，單獨劃分出的動畫模塊，為三維人物微表情的制作提供更加完善的制作手段.

1 三維人物微表情制作對動畫設(shè)計的影響

1.1 三維人物微表情的重要性

三維人物通過微表情來表達自己的內(nèi)心感受.不同表情的人之間，或在某些表情中，臉部表情會“泄露”其它信息.微表情可以短到1/25秒.盡管無意識的表達可能只持續(xù)一段時間，但有時會表達相反的情感.微表情速度快，通常觀察的人很難察覺.很少人會注意到，相對于有意識的表達，“微表情”更能反映人物的真實情緒和動機.盡管人們會忽略“微表情”，但是人類大腦仍會受其影響，改變對他人表情的理解.所以，如果一個人表達一種“幸福”的感情，若能從“微表情”中察覺，那么就可以斷定他是幸福的.但如果有一張“微表情”會閃現(xiàn)“微笑”，除短程表達外，微表情指那些在日常中受到抑制的表達.舉例來說，在明顯悲傷的情景中，大部分的表情都是憂傷的，但他的嘴角是向上翹起的，則說明他的內(nèi)心真是感情是開心的，即微表情更能夠表達出動畫人物的真實想法.

1.2 三維模型特征提取

三維人物微表情特征是表情識別成功與否的關(guān)鍵，面部肌肉所發(fā)生的大幅度變化，反映在三維數(shù)據(jù)上的信息則是非剛性形變.通常在三維動畫的設(shè)計過程當中，都會選用任務(wù)的正面姿勢測試其表情設(shè)計效果，而在非正面測試當中，其精度將無法得到保障，為此需要縮短相同表情間的差距，并與此同時增加其間的差異性，即最小化類內(nèi)差距，最大化類間差距[5].為達到這一目的，則需要利用面部動作編碼系統(tǒng)，檢測人臉特征中所產(chǎn)生微小變化，面部動作編碼系統(tǒng)由四十四個以解剖學(xué)為基礎(chǔ)的動作單元所構(gòu)成，并利用行動單位完成對面部活動的具體描述，在上述基礎(chǔ)上利用LBP 算法，將原始圖像像素標記為fa(a=0,...,7)，利用中心像素fz將每個像素的鄰域閾值處理：

將處理結(jié)果視為二進制，得到LBP 算法具體表達式如下：

(1)

其中fa表示各鄰域像素點的灰度值，a表示鄰域中心像素點個數(shù)，fz表示中心像素點灰度值.

為每個S(fa-fz)分配一個二項式因子2a，則得到如下計算：

(2)

利用大小不同的鄰域，獲取不同尺度的主要特征信息，使LBP 算子得到擴展，由于所提取到的局部特征尚不完善，導(dǎo)致鄰域間的深度距離擴大，需要引入方向梯度直方圖特征彌補LBP描述子的不足，將原始動畫圖像劃分為相互連接的數(shù)個小單元格，并通過計算得出每個單元格邊緣方向的直方圖，使其通道分布在0-360度之間，將三維面部表情歸一化，再將常規(guī)網(wǎng)格當中的HOG特征提取出來[6].該網(wǎng)格是由圖像當中的初始單元格放置相等面片所構(gòu)成的，為此提取 HOG 特征的面片大小對信息獲取程度有著很大的影響，一旦出現(xiàn)多個面片重疊的情況，則會導(dǎo)致最終特征高度冗余，并在分類器不支持特征選擇時，受到過度擬合的嚴重影響.基于上述研究基礎(chǔ)，結(jié)合正面與側(cè)面的三維人物表情特征點，通過三維序列分析動態(tài)人臉，識別其微表情.

圖 2 面部動作效果圖Fig.2 Effect Drawing of Facial Action

1.3 人臉表情識別

三維人物的面部動態(tài)分析通常分為基于面部表面的動態(tài)分析，以及基于面部形變的動態(tài)分析兩種，而三維人物面部表情的分析，首先需要從表情序列中的各個三維幀當中提取三維地標，并通過三維地標所產(chǎn)生的信息數(shù)據(jù)創(chuàng)建出多模態(tài)融合的特征描述符，將人物的面部特征與頭部角度相結(jié)合，識別人物面部表情特征.采用鼻尖定位法估計頭部姿勢，在得到鼻尖位置的精準坐標后，創(chuàng)建三維地標.動畫人物微表情定位是指動畫人物微表情在已知環(huán)境信息的情況下，通過傳感器數(shù)據(jù)對動畫人物微表情進行估計.定位過程是一個帶有噪聲的多傳感器信息序列的融合過程，同時也是一個非線性非Gauss狀態(tài)的在線估計問題.

定位中采用的傳感器可以是：相機、激光雷達等.動畫人物微表情通過讀取傳感器的信息，從而完成自定位.當有N個數(shù)據(jù)，想要歸成k個類，用K-means聚類算法可以分為如下幾個步驟：

步驟1：隨機選取k個微表情中心點：c1,....,ck；

步驟2：對每一個微表情樣本，計算它與每個數(shù)據(jù)庫中的微表情的差距，取差距最小的作為它的歸類；

步驟3：重新計算每個類的主要微表情特征；

步驟4：如果每個微表情特征都差距很小，則算法收斂，退出；否則返回第2步.

根據(jù)人物面部表情在變化過程中的運動規(guī)律，將三維人物的面部劃分成多個區(qū)域，并確定各區(qū)域當中所存在的特征點，將面部區(qū)域動畫參數(shù)間的聯(lián)系減少，使其相互獨立[7].采用權(quán)值自適應(yīng)的插值方式，計算面部特征點影響區(qū)域內(nèi)的非特征點的運動因子，在此基礎(chǔ)上加以變形，增加三維人物表情的真實性.將參數(shù)化的人臉模型作為一個整體來考慮，采用人臉動畫定義表，定義面部動畫參數(shù)對三維人物面部網(wǎng)格變形的控制方式.每個人臉動畫定義表對于一個面部動畫參數(shù)，通過該參數(shù)描述人物面部的變形方式，獲取到第一組參數(shù)值后，將人物面部網(wǎng)格按照人臉動畫定義表變形，得到與之相對應(yīng)的人物面部表情.利用人物面部區(qū)域的縮放平移或旋轉(zhuǎn)等運動方式，得到三維比例因子，以此確定人物面部動畫的頂點，得到其參數(shù)值域范圍.將人物面部動畫相應(yīng)的特征點所對應(yīng)的影響區(qū)域加以控制，使運動因子相互疊加，得到最終的人物面部表情.

根據(jù)K-means能夠把已經(jīng)提取的大量微表情特征點聚類成一個含有k個微表情的集合.其類似于層次聚類，是K-means的直接擴展.假定有N個特征點，構(gòu)建一個深度為d、每次分叉為k的樹，做法如下：

步驟1：在根節(jié)點，用K-means把所有樣本聚成k類，這樣得到了第一層；

步驟2：對每一層的每個節(jié)點，把屬于該節(jié)點的樣本聚成k類，得到下一層；

步驟3：以此類推，最后得到葉子層，葉子層即所謂的動畫人物面部模型.

在獲取到三維人物面部模型以及其表情動畫參數(shù)后，需要參考真實的人臉表情變化，對三維動畫人物面部進行變形.由于真實人臉的生理結(jié)構(gòu)復(fù)雜，參數(shù)曲面無法表示拓撲結(jié)構(gòu)比較復(fù)雜的形體，需要利用多邊形存儲其相關(guān)信息，在變形的過程中移動特征點，控制人物面部表情的變形，使其具有較高的真實感.首先需要確定人物面部動畫參數(shù)所對應(yīng)的特征點，計算周邊區(qū)域內(nèi)的非特征點運動因子.

由于人物面部區(qū)域間的運動變形相互影響且相互限制，若某區(qū)域內(nèi)的參數(shù)設(shè)置失誤，則會導(dǎo)致周邊區(qū)域同樣受到影響，為此需要協(xié)調(diào)人物面部的動作表情，如圖2當中所示：

左側(cè)圖片為人物正常狀態(tài)下的面部動作情況，右側(cè)圖片為人物眉毛挑起時的，眼睛受到眉毛區(qū)域的影響，使其瞳孔變大眼皮上挑，能夠得知人物面部表情發(fā)生變化時，將會受到周邊區(qū)域的約束.而與此同時根據(jù)肌肉的分布與運動情況，將其按照基本規(guī)則劃分區(qū)域，建立一個插值函數(shù)，計算特征點影響區(qū)域內(nèi)，各個非特征點的運動因子.若特征點與非特征點之間的距離越短，則說明其兩者的運動因子越接近，非特征點在特征點作用下的運動因子表達式如下：

(3)

其中dm表示特征點與非特征點之間的距離；dmax表示影響區(qū)域內(nèi)，特征點與非特征點之間的最遠距離；e表示權(quán)重系數(shù)，且e∈(0,+)；fap表示特征點對應(yīng)的人物面部動畫參數(shù).

權(quán)重系數(shù)的設(shè)置是根據(jù)人臉模型的具體情況所調(diào)整的，若系數(shù)設(shè)置出現(xiàn)問題，將會導(dǎo)致人物面部表情的生成過程中，出現(xiàn)區(qū)域邊界處拉伸過度的情況.為避免這一問題，將人物面部模型的單元面片尺度假設(shè)為x，并將能夠影響邊界運動因子的模小于單元面片尺度：

‖r-m*fap‖

(4)

將權(quán)重系數(shù)設(shè)置恰當，以便得到平滑自然的人物表情效果，至此多個人物面部動畫參數(shù)，在共同作用下的非特征點運動因子得以確定，至此完成人臉表情的識別.

1.4 三維網(wǎng)格點紋理坐標定位

將三維人物面部區(qū)域按照不同的功能，劃分為平坦區(qū)域與凹凸區(qū)域，平坦區(qū)域的映射關(guān)系簡單，極少有紋理映射錯位的現(xiàn)象發(fā)生；而凹凸的部分則需要在圖像上標注多個特征點，并利用插值法獲取沒有對應(yīng)紋理的面部網(wǎng)格坐標[8].將該坐標變換成為柱面坐標，將平坦區(qū)域特征點當中的已知紋理坐標，獲取最大紋理坐標值以及最小紋理坐標值，對應(yīng)于三維人物面部模型中的相應(yīng)要映射的部位，獲取所對應(yīng)區(qū)域的坐標范圍，得到該區(qū)域所對應(yīng)特征點的紋理坐標.紋理圖像在映射到物體時可能會出現(xiàn)部分不協(xié)調(diào)，這些不協(xié)調(diào)可能會導(dǎo)致紋理貼圖受到局限，微表情作為一種重要的表現(xiàn)手段[9]，其制作手法必須注重人物角色的微弱變化，并將其作為角色內(nèi)心活動的重要表現(xiàn)形式，使動畫作品中短暫出現(xiàn)的微表情關(guān)鍵幀，給觀眾帶來的情感體驗是一致的.有些動畫人物設(shè)計僅針對五官的變化，將情緒表達融入五官當中，笑容作為各個表情中，感情表現(xiàn)范圍最廣的形態(tài)，能夠搭配不同的眼神狀態(tài)，給觀眾呈現(xiàn)出完全不同的動畫人物情緒.

采用概率回退對動畫人物微表情制作的初始狀態(tài)進行估計，利用窗口濾波對微表情集合進行更新，并動態(tài)更新微表情集合的大小，自適應(yīng)粒子濾波算法從計算復(fù)雜度和算法穩(wěn)健性上較好地解決了動畫人物微表情制作感情定位不準的問題.下面將給出算法實現(xiàn)的具體步驟：

步驟2：進行微表情集合更新，得到當前時刻的微表情集合St及其有效度W -和覆蓋的格點數(shù)bt；

步驟3：計算下一時刻的微表情集合St+1所含粒子數(shù)Nt+1；

步驟4：統(tǒng)計粒子數(shù)，鎖定微表情，準確表達感情.

由于三維動畫的原畫取景框面積較大，而微表情制作所需求的景別劃分較少，僅對人物面部表情設(shè)計刻畫.其動畫整體的光影變化豐富，而人物面部表情則多采用平涂色塊的設(shè)計方式，為使兩者之間相互協(xié)調(diào)，需要掌握該動畫的整體設(shè)計風(fēng)格，減小人物風(fēng)格所受到的約束.首先明確三維人物角色的面部線條與結(jié)構(gòu)動態(tài)，以此確保動畫人物的動作趨勢以及力度處于合適的范圍里，將動畫人物的微表情擬人化，無論是虛擬角色，動物角色或是其他角色，若仍采用其原有的結(jié)構(gòu)與運動規(guī)律，將會導(dǎo)致所呈現(xiàn)出的表達效果不清晰，無法向觀眾準確傳遞想要表達的情感，將其擬人化后，則能夠使觀眾更加容易理解與接受[10].動作表情作為人們意識的最直觀體現(xiàn)，將人物角色所擁有的情緒價值通過微表情傳遞，使角色性格更加飽滿.隨著時代的進步與發(fā)展，社會熱點事件，以及人們對事物的關(guān)注點也有所改變，而動畫制作若想吸引觀眾的關(guān)注度，則需要緊隨時代的腳步.動畫的設(shè)計與制作一開始雖然是為了突出個性表達自我觀點[11]，但經(jīng)過長久的發(fā)展，已經(jīng)形成了標準的規(guī)則與體系[12].人物表情的設(shè)計，受到模式化的影響，可能會與實際所想要表達的情感出現(xiàn)偏差，利用人物面部凹凸明顯區(qū)域中的網(wǎng)格點紋理坐標[13]，在相應(yīng)部位的邏輯網(wǎng)格中定位邊界點，得到三維人物面部的各網(wǎng)格坐標.

2 仿真實驗

在上述研究結(jié)束后，設(shè)計仿真對照實驗，分析三維人物微表情制作對動畫設(shè)計的影響，將微表情應(yīng)用前后的設(shè)計效果相比較，分析其兩者間的差異性，并得出實驗結(jié)論.

由于三維人物微表情制作隨著計算機硬軟件的支持發(fā)展快速，市面上的三維制作軟件層出不窮，為保證實驗過程的嚴謹性，需要分析下列軟件性能，選擇最為合適的三維制作軟件完成實驗?zāi)M：

表1 常用三維制作軟件性能對比Tab.1 Performance Comparison of Commonly Used 3D Production Software

通過上表當中的分析能夠得知，雖然三維動畫制作軟件多種多樣，但對于制作效果而言，Maya的三維動畫角色制作更加成熟，為此該實驗利用Maya來完成仿真模擬平臺的搭建.將三維人物面部模型的相關(guān)數(shù)據(jù)信息輸入制作界面，按照計算機程序中的網(wǎng)格點邏輯層次開始交互操作，采用常規(guī)制作方法將如下圖所示的六種基本表情輸入到程序中(如圖3)：得到如下所示的實驗結(jié)果(如圖4)：

將如下人物微表情輸入到計算機程序當中，將所得到的結(jié)果與常規(guī)制作方法相對比(如圖5)：

得到如下所示的實驗?zāi)M結(jié)果(如圖6)：

由上述的實驗結(jié)果對比能夠得知，當在動畫設(shè)計制作程序中輸入微笑、驚訝、氣憤、恐懼、厭惡以及悲傷六種基本表情后，所制作出的三維人物由于原始數(shù)據(jù)的不足，僅能夠?qū)Ρ砬閰?shù)值以及動畫顯示幀數(shù)進行調(diào)整，無法分區(qū)域調(diào)整人物面部動作，導(dǎo)致其生成效果生硬且不自然，無法滿足觀眾對三維動畫的期待值.將人物微表情制作加入動畫設(shè)計當中后，其設(shè)計素材得以豐富，能夠在各表情幀當中分解出人物情緒的細微變化，并將人物面部表情寫成函數(shù)形式，將面部區(qū)域按照規(guī)則劃分，并采用不同的字母數(shù)字命名，分別控制各區(qū)域的肌肉運動參數(shù)值，能夠使表情傳達更加準確，按照所需要表現(xiàn)的人物情緒，生成特定的人臉表情動畫.

3 結(jié)束語

人類的面部生理結(jié)構(gòu)復(fù)雜，是由三維曲面所構(gòu)成的可變形體，具有幾十塊面部神經(jīng)肌肉，其可塑性極強，能夠隨著情緒的變化產(chǎn)生不同的微表情，以此來按照情緒來表達與傳遞，是人們在日常的生活工作中，必不可少的交流方式.在三維動畫人物制作時，為提高動畫的真實性，使觀眾對其產(chǎn)生濃厚的興趣，將人臉表情應(yīng)用到動畫的設(shè)計制作當中.近年來計算機技術(shù)發(fā)展飛快，人們對多媒體的交互性能需求也隨之增長，利用計算機程序，將人臉表情動畫技術(shù)，應(yīng)用到人物設(shè)計當中，建立真實的三維人物面部模型，分析人物面部參數(shù)的獲取方法，以及在實際應(yīng)用當中的可行性，并利用具體參數(shù)生成人物微表情，利用人臉信息，建立三維表情數(shù)據(jù)庫，將真實人臉的表情狀態(tài)應(yīng)用到三維動畫人物制作.利用網(wǎng)格插值法，劃分特征點區(qū)域，通過自適應(yīng)權(quán)重設(shè)計，滿足三維人臉網(wǎng)格模型的需要，減小人物面部網(wǎng)格在變形過程中出現(xiàn)邊緣區(qū)域拉伸過度的情況發(fā)生，確保人臉網(wǎng)格的平滑.