近年來多部影片使用面部動作編碼系統(tǒng)（Facial Action Coding System,FACS）采集演員各種不同表情，形成表情庫，并在片場與演員的面部表情數(shù)據(jù)匹配后，形成逼真的數(shù)字演員。在2019年制作完成《阿麗塔：戰(zhàn)斗天使》后，制作公司維塔數(shù)字（Weta Digital）認(rèn)為FACS 系統(tǒng)存在諸多問題，如面部肌肉分離、覆蓋、大規(guī)模冗余等。例如，當(dāng)FACS 映射一個面部表情時，為了獲得足夠真實可信的效果，F(xiàn)ACS可能會綁定多達900個FACS 形狀。這是因為，F(xiàn)ACS 不是一個基于動態(tài)時間和對話動作的面部動畫系統(tǒng)，而僅僅是情感表達，只能從外部模擬一張臉，缺乏姿勢過渡信息。

圖1 APFS面部動畫系統(tǒng)

對此，維塔數(shù)字研發(fā)團隊決定重新處理整個面部制作系統(tǒng)。團隊開始從解剖學(xué)角度研究人臉肌肉，重點關(guān)注肌肉如何分布、彼此如何連接。團隊發(fā)現(xiàn)，做一個表情會激活一塊肌肉，而其他肌肉也被串聯(lián)激活，或被動拉動。由于肌肉的相互連接方式類似于神經(jīng)網(wǎng)絡(luò)，于是開發(fā)團隊決定構(gòu)建一個直接基于肌肉的人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network, ANN）系統(tǒng)，讓動畫師能夠直接控制臉部的每一塊肌肉，實現(xiàn)下巴、眼睛和肌肉的任意組合運動。

維塔數(shù)字新開發(fā)的面部動畫系統(tǒng)名為符合解剖學(xué)的面部系統(tǒng)（Anatomically Plausible Facial System,APFS），其基于肌肉纖維曲線作為解剖基礎(chǔ)，是一個以動畫師為中心、以解剖學(xué)為靈感的面部建模、動畫和重定位傳輸系統(tǒng)。APFS 基于178 條肌肉纖維曲線實現(xiàn)，這些曲線可以收縮或松弛，以提供細(xì)粒度的高保真面部表情。該系統(tǒng)既可由內(nèi)向外實現(xiàn)，面部由肌肉纖維曲線驅(qū)動，也可由外向內(nèi)，通過動畫師拖拽和移動面部來實現(xiàn)。該系統(tǒng)已成功應(yīng)用于電影《阿凡達：水之道》中。

1 面部重點區(qū)域：眼瞼、下巴與眼睛

APFS 系統(tǒng)中，每條肌肉曲線都有一個關(guān)聯(lián)的應(yīng)變值。肌肉曲線并沒有真正扭曲，但應(yīng)變值在其局部空間中提供了沿曲線的收縮或擴張。從某種意義上說，它是長度變化的百分比，每個應(yīng)變值獨立發(fā)揮作用。例如眨眼這一動作，涉及沿睫毛線的水平、垂直、上下以及眼睛周圍的肌肉曲線。這種情況下，水平曲線的實際應(yīng)變值變化不大，因為它在眼球上方旋轉(zhuǎn)，而垂直曲線的應(yīng)變值變化很大，更重要的是，垂直曲線沿著肌肉曲線的形狀縮放，與眼球的曲線相匹配。

因為對面部狀態(tài)的主要控制是下巴，尤其是在對話中，下顎不斷移動，是面部狀態(tài)的主要驅(qū)動力，因此在APFS 系統(tǒng)中下巴和嘴唇尤為重要。開發(fā)團隊注意到，所有人的下顎只能以盾牌的軌跡形狀移動，下頜骨或下顎骨通過顳下頜關(guān)節(jié)與顱骨相連，并由韌帶和肌肉固定。因此，可通過追蹤頜上的一組概念點來映射頜的運動范圍，當(dāng)系統(tǒng)將一組這樣的點映射到一個人所有可能的表情上時，就會得到一個盾牌形狀，被稱為盾牌。然后對演員進行數(shù)字頭骨擬合，再計算出下頜的運動范圍，最后使用立體頭戴裝置（HMC)進行求解以提取深度信息。

此系統(tǒng)的眼睛模型與演員的鞏膜、角膜和虹膜相匹配。通過旋轉(zhuǎn)眼球在每一幀中調(diào)整眼睛注視方向，使虹膜模型與角膜緣環(huán)和瞳孔對齊。由于眼睛晶狀體及其顯示的折射光線很難通過系統(tǒng)模擬，所以會使用多個相機角度來驗證對準(zhǔn)，確定角膜折射的光，以增強角色眼睛的真實感。

2 傳輸姿勢庫

動畫師習(xí)慣于使用姿勢庫，但姿勢庫不會對運動進行編碼，組合使用很容易脫離模型。對此，維塔團隊為動畫師構(gòu)建了基于應(yīng)變值的動作庫，結(jié)合使用一個自動編碼器，保證應(yīng)變向量保持在合理的面部動畫邊界內(nèi)，這種由外到內(nèi)的方法提供了曲線的反向映射，可直觀進行拉伸和收縮肌肉。

3 電影《阿凡達：水之道》中的定制化設(shè)計與應(yīng)用

在電影《阿凡達：水之道》中，許多演員都需要在水中進行表演捕捉，但他們的大部分面部動畫則需要在陸地上進行二次捕捉，然后與水下表演捕捉相融合。

在進行水下面部表情捕捉時，演員們需佩戴一個HMC，維塔團隊開發(fā)了一種名為Deep Shape 的可視化工具，用于提供可從任何角度觀看的演員實際表演的3D點云重建。該技術(shù)相當(dāng)于動畫師在演員面前架設(shè)一個虛擬攝影機，不會出現(xiàn)廣角失真，可準(zhǔn)確查看嘴唇和下巴的延伸，為比較和判斷APFS 仿真提供了面部真實性的關(guān)鍵參考。

為了最大程度實現(xiàn)演員與角色面部的匹配，維塔數(shù)字專門設(shè)計了角色模型訓(xùn)練過程，利用人工智能深度學(xué)習(xí)模型與算法，以學(xué)習(xí)演員的潛在肌肉行為。該系統(tǒng)使用用戶定義的權(quán)重圖精準(zhǔn)映射皮膚，分別處理眼睛和下巴區(qū)域，以便更準(zhǔn)確地傳遞面部關(guān)鍵部位的表情。這一過程中，考慮到納威人獨特的外形，還需將演員的下頜綁定與角色匹配，用來彌補牙齒和頭骨解剖的偏差。

曲線肌肉系統(tǒng)具有一組向下延伸到頸部區(qū)域的曲線，這樣可以與身體表演捕捉更好地結(jié)合。但耳朵的動畫獨立于這一系統(tǒng)，因為人類耳朵本身并不驅(qū)動任何面部肌肉，但對于納威人來說，他們的耳朵有著豐富的表現(xiàn)力，無法在人類身上表現(xiàn)，所以耳朵部分由一個單獨系統(tǒng)來控制。