米 娜

(安徽綠海商務(wù)職業(yè)學(xué)院科學(xué)與藝術(shù)學(xué)院,安徽 合肥 230006)

0 引 言

三維動畫是指通過計(jì)算機(jī)視覺技術(shù),將人體模型在虛擬空間中顯示出來的一種技術(shù)。在三維動畫中,表情是一個(gè)非常重要的元素,它可以直接反映出角色的內(nèi)心情感狀態(tài)。伴隨著科技的快速發(fā)展,面部三維表情仿真技術(shù)已經(jīng)成為虛擬現(xiàn)實(shí)、計(jì)算機(jī)視覺等領(lǐng)域不可回避的熱門課題,特別是在三維動畫電影、游戲等娛樂行業(yè)快速發(fā)展的情況下,人們對于三維表情模型的需求也在不斷增加[1]。然而,目前主流的以用戶表情為驅(qū)動的表情建模方法,大部分都是以包含深度信息的三維圖像為基礎(chǔ),所使用的圖像采集裝置主要是雙眼相機(jī)或紅外測距相機(jī),這種方式的成本很高,而且遠(yuǎn)不如常規(guī)的單眼相機(jī)普及[2-3]。為了解決這些問題,研究基于自適應(yīng)回歸模型和視頻面部跟蹤的三維動畫表情驅(qū)動研究,構(gòu)建了一種三維動畫表情驅(qū)動模型。首先通過融合自適應(yīng)回歸模型和視頻面部跟蹤技術(shù),然后將融合后的技術(shù)用于模型的構(gòu)建。最后將模型運(yùn)用到數(shù)據(jù)集中進(jìn)行訓(xùn)練,驗(yàn)證模型在三維動畫表情驅(qū)動中的性能。研究旨在為三維動畫表情驅(qū)動的研究提供新思路。

1 三維動畫表情驅(qū)動

三維動畫表情驅(qū)動是一種通過計(jì)算機(jī)技術(shù)來實(shí)現(xiàn)三維動畫的表情管理和驅(qū)動的方法。它可以幫助制作公司和電影、游戲等制作團(tuán)隊(duì)更好地展現(xiàn)三維動畫中人物的表情和情緒,從而提高動畫的質(zhì)量和效果[4]。目前,三維動畫表情驅(qū)動的研究一直在不斷發(fā)展和改進(jìn)。主要的研究成果有面部表情識別、肌肉運(yùn)動捕捉、骨骼蒙皮和情緒驅(qū)動。面部表情識別是指隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展,越來越多的研究者開始研究如何識別和提取三維動畫中人物的面部表情。其中一種方法是使用深度學(xué)習(xí)模型,如VGG網(wǎng)絡(luò)和ResNet等,來識別面部肌肉的運(yùn)動和表情。肌肉運(yùn)動捕捉是指利用計(jì)算機(jī)算法等來捕捉角色身體的運(yùn)動和表情。骨骼蒙皮是另一種常用的肌肉運(yùn)動捕捉方法,它將角色的骨骼模型和皮膚表面分開,使得制作團(tuán)隊(duì)可以更方便地控制角色的表情和情緒。情緒驅(qū)動是指將角色的表情與情緒相聯(lián)系,并通過驅(qū)動動畫參數(shù)來表現(xiàn)角色的情緒。這包括一些基于物理模型的方法,如Bayes方法和LT方法[5-6]?？偟膩碚f,三維動畫表情驅(qū)動研究是一個(gè)不斷發(fā)展和完善的領(lǐng)域,為制作高質(zhì)量的三維動畫作品提供了有力的支持。

2 融合自適應(yīng)回歸模型和視頻面部跟蹤的三維動畫表情驅(qū)動模型構(gòu)建

2.1 融合自適應(yīng)回歸和視頻面部跟蹤的三維動畫系統(tǒng)

自適應(yīng)回歸模型是一種機(jī)器學(xué)習(xí)算法,是在大規(guī)模數(shù)據(jù)集上訓(xùn)練一個(gè)高效的回歸模型,以根據(jù)輸入數(shù)據(jù)的類型和模式自動調(diào)整模型的參數(shù),以便對不同類型的數(shù)據(jù)進(jìn)行最有效的預(yù)測。自適應(yīng)回歸模型的基本思想是通過對輸入數(shù)據(jù)進(jìn)行建模,自適應(yīng)地學(xué)習(xí)輸入數(shù)據(jù)與目標(biāo)變量之間的關(guān)系,然后利用該關(guān)系來預(yù)測目標(biāo)變量的值[7-8]。在自適應(yīng)回歸模型中,通常會使用一種稱為“自適應(yīng)神經(jīng)網(wǎng)絡(luò)”的機(jī)器學(xué)習(xí)算法來進(jìn)行建模和預(yù)測。這些神經(jīng)網(wǎng)絡(luò)通常會使用不同的層來處理輸入數(shù)據(jù),例如圖像、語音或文本。自適應(yīng)回歸模型通常可以分為兩個(gè)步驟:數(shù)據(jù)準(zhǔn)備和模型訓(xùn)練。其中,數(shù)據(jù)準(zhǔn)備是指準(zhǔn)備輸入數(shù)據(jù)以供模型進(jìn)行預(yù)測;而模型訓(xùn)練則是指利用訓(xùn)練好的模型來預(yù)測未知的新數(shù)據(jù)。

視頻面部跟蹤是一種基于計(jì)算機(jī)視覺技術(shù)的任務(wù),在視頻面部跟蹤中,研究人員會通過對人臉進(jìn)行特征提取和匹配,來確定角色的身份和位置[9-10]。首先,研究人員會使用攝像頭將人臉圖像采集到計(jì)算機(jī)中。這可以通過掃描人臉識別軟件或使用攝像頭捕捉人臉圖像。其次,研究人員需要提取人臉圖像中的特征,例如眼睛、鼻子、嘴巴等特征。這些特征可以用來確定角色的身份和位置。最后,研究人員需要與已知數(shù)據(jù)進(jìn)行匹配,以確定角色的位置和身份。如果匹配成功,研究人員可以將其設(shè)置為新的面部圖像中的目標(biāo)角色。

融合自適應(yīng)回歸和視頻面部跟蹤的三維動畫系統(tǒng)是一個(gè)非常具有挑戰(zhàn)性的任務(wù),因?yàn)樾枰幚碓S多復(fù)雜的因素,如實(shí)時(shí)性、魯棒性和準(zhǔn)確性等。然而,隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展,這個(gè)問題已經(jīng)得到了有效的解決。三維動畫系統(tǒng)可以分為視頻面部跟蹤、自適應(yīng)回歸和表情驅(qū)動三個(gè)部分。視頻面部跟蹤是指通過攝像機(jī)或其他設(shè)備捕捉視頻中的面部表情和動作,并對這些面部表情進(jìn)行跟蹤和重建,以實(shí)現(xiàn)三維動畫。首先使用攝像頭捕捉視頻,然后使用深度學(xué)習(xí)技術(shù)對視頻中的表情進(jìn)行識別和重建,最后將三種技術(shù)進(jìn)行融合,以實(shí)現(xiàn)高效、準(zhǔn)確和自然的三維動畫效果。該系統(tǒng)的流程圖如圖1所示。

在視頻面部跟蹤過程中,由于物體的表面特性會受光照、變形、旋轉(zhuǎn)等多種因素的影響而產(chǎn)生較大的改變,因此,如何對圖像進(jìn)行自適應(yīng)的算法模型進(jìn)行更新顯得尤為重要。以增強(qiáng)對目標(biāo)形態(tài)特性改變的適應(yīng)能力。研究將自適應(yīng)回歸和視頻面部跟蹤技術(shù)進(jìn)行融合,提出一種三維動畫系統(tǒng),在三維動畫系統(tǒng)中要考慮目標(biāo)-背景直方圖模型的補(bǔ)償機(jī)制。此時(shí)每個(gè)目標(biāo)的置信度都由兩部分組成,分別是目標(biāo)圖的均值和濾波響應(yīng)最大值,可用公式(1)表示。

圖1 融合自適應(yīng)回歸模型和視頻面部跟蹤的三維動畫流程

ci=mean(Mi)max(yi)

(1)

公式(1)中,ci表示置信度;Mi表示第i個(gè)目標(biāo)圖像對應(yīng)的目標(biāo)概率圖。此時(shí)還需要滿足距離誤差和重疊率的要求,為了消除傳統(tǒng)中心距離誤差對目標(biāo)大小的敏感性,在三維系數(shù)中重新定義了一個(gè)中心距離誤差,可用公式(2)計(jì)算。

(2)

公式(2)中,x,y表示矩形的中心;ω表示目標(biāo)矩形的寬;h表示目標(biāo)矩形的高;G表示跟蹤真實(shí)目標(biāo)的結(jié)果;T表示算法跟蹤的結(jié)果。

2.2 基于三維動畫系統(tǒng)的表情驅(qū)動模型構(gòu)建

三維動畫系統(tǒng)可以將角色的動作和表情記錄在三維模型中,并通過捕捉場景中物體的運(yùn)動來驅(qū)動角色的動作。這種模型的優(yōu)點(diǎn)是它可以準(zhǔn)確地捕捉表情信息,并且可以在多個(gè)場景中使用。首先,可以使用特征提取算法來提取角色的表情特征。三維動畫系統(tǒng)通常會使用一些特定的算法來提取角色的特征,如眼睛、鼻子和嘴巴等。這些算法可以被用來識別角色的情緒和行為,從而驅(qū)動角色的表情。其次,可以使用機(jī)器學(xué)習(xí)算法來訓(xùn)練模型,這種方法基于對數(shù)據(jù)的學(xué)習(xí)和訓(xùn)練,使得模型能夠自動識別和理解不同種類的表情,并且能夠根據(jù)需要進(jìn)行調(diào)整。在模型中,表情信息被存儲在特征提取算法中,而動作則被驅(qū)動成角色的動作。此外,還可以使用機(jī)器學(xué)習(xí)算法來訓(xùn)練模型,從而使其能夠適應(yīng)不同的場景和要求。

為了構(gòu)建一個(gè)融合自適應(yīng)回歸模型和視頻面部跟蹤的三維動畫表情驅(qū)動模型,研究首先設(shè)計(jì)了一個(gè)高效的人臉特征提取網(wǎng)絡(luò),用于從視頻中提取角色的特征。然后再融合加入自適應(yīng)回歸模型,用于預(yù)測角色的表情和行為。在空間中,每一個(gè)的三維幾何特征都可以被看作一個(gè)空間矢量。當(dāng)選擇的三維幾何特征為空間三角形時(shí),三角形所在平面的法線方向?yàn)檫@個(gè)空間矢量的方向,三角形的面積就是表示矢量的大小。如果選取的是一條線段,則向量的方向是這條線段所在的那條線,兩個(gè)點(diǎn)之間的歐式距離就是這條線的幅值。從合力投影原理出發(fā),在任意一個(gè)姿勢空間中,通過一套3D幾何特征的線性加權(quán)組合,對其進(jìn)行擬合,并通過構(gòu)建不同姿勢空間中的映射關(guān)系,將不同姿勢下的表情關(guān)鍵特征映射到相同的姿勢空間中。由于視頻中圖像幀具有連續(xù)性,此時(shí)幀可以用公式(3)表示。

(3)

公式(3)中,ni表示幀的縮放比例;i-1表示參考幀;n0表示噪聲譜密度;S′表示幀指針。

圖2 三維表情驅(qū)動流程

3 模型實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證模型的應(yīng)用效果,研究利用模型方法與三維形狀回歸模型、局部約束模型在同一數(shù)據(jù)集中進(jìn)行仿真實(shí)驗(yàn),分別計(jì)算三個(gè)模型的誤差,通過回歸器運(yùn)行誤差來判斷模型方法在面部表情驅(qū)動的準(zhǔn)確率,結(jié)果如圖3。

圖3 不同模型的訓(xùn)練誤差

由圖3可知,模型方法在追蹤初期的誤差會增大,但隨著幀數(shù)的增加,誤差值趨于一個(gè)穩(wěn)定的波動狀態(tài),其中模型方法的誤差平均值為5.37%。局部約束模型和三維形狀回歸模型的誤差平均值分別為12.17%和9.89%。這說明模型方法在成功追蹤到頭部旋轉(zhuǎn)動作后還能處于一個(gè)較穩(wěn)定的狀態(tài)。為了驗(yàn)證模型實(shí)時(shí)性能,研究將模型方法與三維形狀回歸模型、局部約束模型在同一數(shù)據(jù)集中進(jìn)行訓(xùn)練,計(jì)算在運(yùn)行過程中處理每一幀所消耗的時(shí)間,結(jié)果如圖4所示。

圖4 不同模型的單幀處理時(shí)間

由圖4可知,模型方法追蹤單幀處理的平均耗時(shí)為35.17 ms,三維形狀回歸模型處理單幀的平均耗時(shí)為37.19 ms,而局部約束模型處理單幀的平均耗時(shí)為47.81 ms。三種方法在遇到較大頭部旋轉(zhuǎn)的處理時(shí),耗時(shí)均會增加,但模型方法處理耗時(shí)更短,這說明模型方法能夠有效地解決視頻中頭部的大幅旋轉(zhuǎn)。為了驗(yàn)證模型方法面部追蹤的準(zhǔn)確性,研究將不同的面部關(guān)鍵點(diǎn)位對同一組視頻中的面部圖像進(jìn)行識別、定位,并利用均方根誤差來表示定位的準(zhǔn)確程度,結(jié)果如圖5所示。

圖5 不同方法的定位準(zhǔn)確度對比

由圖5可知,在不同像素下,模型方法的RMSE值均為最大值。隨著像素的增加,模型方法的RMSE值越大,其次是傳統(tǒng)三維模型法和二流回歸模型法,最差的是光流法。在3像素條件下,模型方法、傳統(tǒng)三維模型法、二流回歸模型法和光流法的RMSE值分別為77.35%,62.85%,51.09%和24.39%。在5像素條件下,模型方法、傳統(tǒng)三維模型法、二流回歸模型法和光流法的RMSE值分別為83.67%,71.83%,56.48%和26.12%。在10像素條件下,模型方法、傳統(tǒng)三維模型法、二流回歸模型法和光流法的RMSE值分別為94.70%,86.74%,72.51%和63.85%,這說明模型方法在面部追蹤的過程中具有很高的準(zhǔn)確性。

4 結(jié) 語

研究提出了一種基于自適應(yīng)回歸模型和視頻面部跟蹤的三維動畫表情驅(qū)動方法。該方法使用自適應(yīng)回歸模型來預(yù)測用戶的其他面部表情,并通過視頻面部跟蹤來實(shí)時(shí)更新用戶的三維動畫表情。與現(xiàn)有的一些方法相比,本方法具有更高的準(zhǔn)確性和魯棒性,并且可以在大規(guī)模的三維動畫場景中應(yīng)用,且研究提出的方法還可以有效地降低計(jì)算成本,提高三維動畫表情驅(qū)動的效率和質(zhì)量。通過與三維形狀回歸模型、局部約束模型相比,模型方法具有更好的分辨和追蹤能力,說明研究提出的方法是一種有效的三維動畫表情驅(qū)動方法。