劉韻婷，靳佳暉，陳亮，張景異

(沈陽(yáng)理工大學(xué)自動(dòng)化與電氣工程學(xué)院 沈陽(yáng) 110159)

人臉表情生成技術(shù)是人工智能研究領(lǐng)域的熱點(diǎn)之一，由于不同人種之間臉部輪廓和不同年齡段人群皮膚紋理存在差異等問(wèn)題，給生成真實(shí)感的人臉表情任務(wù)帶來(lái)很大的挑戰(zhàn)。面部角度、光線、復(fù)雜的背景環(huán)境都會(huì)給生成效果帶來(lái)影響。

傳統(tǒng)的表情生成方法有多種，表情漸變技術(shù)使用幾何或參數(shù)插值方式在同一個(gè)人兩幅不同表情之間進(jìn)行控制面部表情[1-2]，插值的幀間形變函數(shù)根據(jù)表情任務(wù)的復(fù)雜度確定，線性插值由于簡(jiǎn)單而被廣泛使用。然而，在實(shí)際應(yīng)用中，通常會(huì)存在不同人之間表情轉(zhuǎn)換的需求，表情映射法可實(shí)現(xiàn)任意人物不同表情的合成，一般的表情映射需要兩個(gè)人物的中性表情，獲取同一個(gè)人的中性表情和目標(biāo)表情的特征差值作用到特定的中性人臉表情上[3]，該方法僅解決了新表情的生成，忽略了表情轉(zhuǎn)化引起皮膚的紋理變化，使生成的圖像缺少真實(shí)感。二維網(wǎng)格法綜合考慮了這兩個(gè)方面，頭部的幾何信息抽象出由三角形組成的網(wǎng)格結(jié)構(gòu)，并用參數(shù)化模型表示，改變表情肌肉群對(duì)應(yīng)的三角頂點(diǎn)位置參數(shù)合成新的表情。同時(shí)，為了完成皮膚細(xì)節(jié)的變化，對(duì)改變后的圖像像素進(jìn)行重新分配[4]。

隨著計(jì)算機(jī)硬件條件的提高，使用大規(guī)模參數(shù)運(yùn)算的深度學(xué)習(xí)變?yōu)榱餍校?014 年文獻(xiàn)[5-6]提出了生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks,GAN)，使生成對(duì)抗網(wǎng)絡(luò)在深度學(xué)習(xí)領(lǐng)域掀起了熱潮，圖像域間的轉(zhuǎn)換、臉部外觀改變等高質(zhì)量圖像的生成技術(shù)出現(xiàn)。與只考慮特定外觀修飾的面部屬性編輯相比，面部表情編輯是一項(xiàng)更具挑戰(zhàn)性的任務(wù)，因?yàn)樗ǔＩ婕拜^大的幾何變化，需要同時(shí)修改多個(gè)面部成分。

目前生成離散的面部表情模型居多，這些網(wǎng)絡(luò)基本可完成面部屬性變化的任務(wù)[7-9]。IcGAN 利用兩個(gè)Encoder 網(wǎng)絡(luò)分別對(duì)輸入圖像提取頭部基本特征向量和屬性特征[10]，將頭部屬性特征向量對(duì)應(yīng)位置的特征值進(jìn)行0-1 轉(zhuǎn)換，使其轉(zhuǎn)換為目標(biāo)向量。再與基本特征向量串聯(lián)輸入到生成網(wǎng)絡(luò)IcGAN。在生成離散表情領(lǐng)域里，StarGAN 是最成功的框架，可生成多屬性的高清人臉圖像。該網(wǎng)絡(luò)把表情作為其中一個(gè)目標(biāo)屬性域，使用單個(gè)生成器學(xué)習(xí)多領(lǐng)域圖像之間映射關(guān)系[11]。由于StarGAN 在屬性標(biāo)簽的基礎(chǔ)上完成圖像生成，生成的目標(biāo)表情受數(shù)據(jù)集表情標(biāo)簽限制，在數(shù)據(jù)集注釋粒度定義的離散屬性中改變面部一個(gè)特定的部分，在表情方面只能渲染離散的情緒類(lèi)別。

在實(shí)際的應(yīng)用中，希望模型可合成任意表情，然而表情幅度可控的高質(zhì)量圖像生成研究較少[12-14]，ExprGAN 是第一個(gè)基于GAN 模型且將允許連續(xù)地控制表情強(qiáng)度，該模型能夠分離地學(xué)習(xí)身份特征和表情表示，但每種表情僅允許5 個(gè)固定強(qiáng)度變化[15]。G2-GAN 使用面部幾何(基準(zhǔn)點(diǎn))作為可控制條件來(lái)指導(dǎo)具有特定表情的面部紋理合成，一對(duì)生成性對(duì)抗性子網(wǎng)絡(luò)被聯(lián)合訓(xùn)練做相反的任務(wù)：表情移除和表情合成。成對(duì)的網(wǎng)絡(luò)在無(wú)表情人臉和表情人臉之間之間形成一個(gè)映射循環(huán)，能很好地捕捉表情變化引起的面部紋理的變化，合成不同強(qiáng)度的表情[16]。GANimation 算法能夠在一個(gè)連續(xù)的區(qū)域內(nèi)生成具有解剖學(xué)意義的更廣泛的表情，無(wú)需預(yù)先計(jì)算輸入圖像中面部標(biāo)志點(diǎn)的位置[17]，通過(guò)編碼臉部肌肉運(yùn)動(dòng)單元AU(action unit)，調(diào)節(jié)臉部某些區(qū)域肌肉運(yùn)動(dòng)強(qiáng)度，從而實(shí)現(xiàn)復(fù)雜的面部表情合成。但是，該模型容易在表情密集區(qū)域產(chǎn)生偽影和模糊，提取的特征還原不到位，表情操控能力相對(duì)較弱，存在生成圖像達(dá)不到目標(biāo)表情要求的問(wèn)題。

為了解決這些問(wèn)題，對(duì)GANimation 生成器的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，在生成器的Decoder 中加入一層上采樣，保持?jǐn)?shù)據(jù)維度一致，且在生成器的Encoder 和Decoder 特征層之間以長(zhǎng)跳躍連接的方式引入4 個(gè)多尺度特征融合模塊(multi dimension feature fusion,MFF)，每個(gè)模塊融合來(lái)自當(dāng)前層的編碼特征和添加在下一層融合模塊的融合特征，提高圖像質(zhì)量和表情編輯性能。

1 連續(xù)表情生成模型的構(gòu)建

近年來(lái)，生成對(duì)抗網(wǎng)絡(luò)已經(jīng)在面部表情合成任務(wù)中取得了重大的進(jìn)展，改進(jìn)后的網(wǎng)絡(luò)使用符合人類(lèi)解剖學(xué)的面部動(dòng)作編碼系統(tǒng)(facial action coding system for human anatomy,FACS)，以肌肉動(dòng)作單元AU 向量來(lái)描述面部表情[18]。如圖1 的表情，由以下AU 激活產(chǎn)生：眉毛內(nèi)側(cè)向上拉起(AU1)、眉毛外側(cè)向上拉起(AU2)、上眼瞼提升(AU5)、嘴角向下拉肌肉(AU25)、AU26(下頜下垂)[19]。AU 輸入到網(wǎng)絡(luò)模型，通過(guò)控制其強(qiáng)度值實(shí)現(xiàn)連續(xù)面部表情的生成。

圖1 表情對(duì)應(yīng)的臉部肌肉區(qū)域

改進(jìn)后的連續(xù)表情生成網(wǎng)絡(luò)模型結(jié)構(gòu)由生成器G 和判別器D 組成，如圖2 所示。2 個(gè)G 網(wǎng)絡(luò)分別提取目標(biāo)表情AU 向量yg的操縱特征以合成目標(biāo)表情圖像和使用原表情AU 向量y0對(duì)生成表情進(jìn)行還原重構(gòu)。判別器D 判別圖像的真?zhèn)我约盎貧w目標(biāo)表情向量和。該算法采用無(wú)監(jiān)督的學(xué)習(xí)方式，即不需要同一個(gè)人不同表情的圖像對(duì)比，也不需要目標(biāo)圖像的已知。

圖2 改進(jìn)后連續(xù)表情生成模型結(jié)構(gòu)

1.1 多尺度特征融合模塊

生成器的Encoder 部分通過(guò)下采樣獲得表情動(dòng)作單元操縱的高級(jí)抽象，但是下采樣不可逆地降低空間分辨率和特征圖的細(xì)節(jié)，這些細(xì)節(jié)無(wú)法通過(guò)反卷積完全恢復(fù)，導(dǎo)致生成的面部缺失模糊，表情強(qiáng)度不夠。為了提高編輯結(jié)果的圖像質(zhì)量，本文構(gòu)建了多尺度特征融合模塊MFF[20]，在生成器的編碼與解碼網(wǎng)絡(luò)之間以跳躍連接的形式引入，用在不同的空間分辨率下增強(qiáng)圖像的修改特征。圖3 給出了一個(gè)多尺度特征融合模塊MFF 的輸入輸出，當(dāng)前層的編碼特征是指所加MFF 模塊對(duì)應(yīng)位置的編碼特征，輸出在不同空間大小下學(xué)習(xí)的融合特征。

圖3 多尺度特征融合模塊的輸入輸出

圖4 給出了多尺度特征融合模塊MFF 的內(nèi)部結(jié)構(gòu)。在不失一般性的前提下，以第i層的MFF 模塊為例，fi和fi+1分別表示來(lái)自編碼器第i層的圖像編碼特征和第i+1 層的MFF 模塊輸出的融合特征，兩個(gè)輸入并行計(jì)算，輸出融合后的特征為fi′。該模塊內(nèi)部操作有上采樣(trans conv)、下采樣(strided conv)和卷積單元(conv unit)，其中，下采樣層和上采樣層卷積核大小都為4×4，其余卷積層核大小為5×5。應(yīng)用卷積單元和上下采樣獲取不同空間大小的特征，下采樣特征與來(lái)自第i+1 層的MFF 模塊的高級(jí)特征連接，以多尺度的方式協(xié)作學(xué)習(xí)和轉(zhuǎn)換圖像特征。

1.2 數(shù)據(jù)維度一致

生成器的特征層通道數(shù)在結(jié)構(gòu)上保持對(duì)稱(chēng)，圖片編碼和解碼的信息內(nèi)容保持一致。改進(jìn)后的生成網(wǎng)絡(luò)通過(guò)包含上下采樣的生成器生成目標(biāo)表情圖像，下采樣在解碼時(shí)對(duì)重要圖像特征進(jìn)行選擇，可以增加對(duì)輸入圖像一些小擾動(dòng)的魯棒性，比如圖像平移、旋轉(zhuǎn)等，降低過(guò)擬合的風(fēng)險(xiǎn)，減少運(yùn)算量和增加感受的大小，上采樣把抽象的特征還原解碼到原圖的尺寸。當(dāng)在原網(wǎng)絡(luò)添加MFF 模塊時(shí)，第一個(gè)殘差模塊的卷積編碼特征與下一階段的融合特征通過(guò)MFF 模塊在輸出通道為64 的逆卷積進(jìn)行還原，在生成網(wǎng)絡(luò)Decoder 中增加一層輸出通道為256 的逆卷積(inverse convolution)，其卷積核大小為3×3，stride=1，padding=1。詳細(xì)的添加位置如圖4 中用虛線框標(biāo)出，其中，殘差模塊包含：2 次Conv2d，2 次InstanceNorm，1 次ReLU 函數(shù)激活，這樣也使得其特征層通道數(shù)在結(jié)構(gòu)上保持對(duì)稱(chēng)，圖片編碼和解碼的信息內(nèi)容保持一致。

圖4 多尺度特征融合模塊MFF

1.3 生成器總網(wǎng)絡(luò)結(jié)構(gòu)

在生成器Encoder-Decoder 的結(jié)構(gòu)中，加入4 個(gè)多尺度特征融合模塊MFF。作為跳躍單元，每個(gè)模塊融合了來(lái)自高分辨率和低分辨率的特征。其生成器總結(jié)構(gòu)如圖5 所示，圖中的數(shù)字64、128、256 等表示的是輸出特征層的維度。在生成器中嵌入了注意力機(jī)制，輸出的注意力掩碼特征為：

圖5 生成器網(wǎng)絡(luò)結(jié)構(gòu)

注意力掩碼A定義了每個(gè)像素的強(qiáng)度，指定擴(kuò)展源圖像的每個(gè)像素對(duì)最終渲染圖像的影響，其中較暗區(qū)域顯示了圖像中與每個(gè)目標(biāo)AU 相關(guān)的區(qū)域，較亮的區(qū)域從原始圖像中保留下來(lái)。顏色掩碼特征定義為：

注意力掩碼A和顏色掩碼特征C并行操作，二者的網(wǎng)絡(luò)結(jié)構(gòu)在最后一層的操作存在差異，具體為顏色掩膜采用卷積操作和Tanh 函數(shù)的激活，卷積核大小k=3×3，步長(zhǎng)stride=1，填充 pad=1，輸出維度o=3，注意力掩膜使用Sigmoid 激活函數(shù)，在卷積方面的區(qū)別是輸出維度是1。利用A和C合成新表情圖像Iyg：

1.4 判別器

判別器用來(lái)評(píng)估生成圖像的逼真度和期望表情完成度的網(wǎng)絡(luò)，分為DI和Dy并行訓(xùn)練，DI集成了PatchGan 網(wǎng)絡(luò)的組件，將輸入圖像映射到一個(gè)特征矩陣YI∈RH/26×W/26，YI[i,j]被用于計(jì)算真實(shí)圖像斑塊的分布與生成圖像的重疊斑塊i、j之間的EMD，判斷生成圖片Iy f的真實(shí)性。此外，Dy回歸估計(jì)生成圖像的表情向量AU 編碼值=(,···,)T，向量長(zhǎng)度為N，表示臉部N個(gè)區(qū)域，每個(gè)值的范圍從0～5 表示運(yùn)動(dòng)強(qiáng)度，與yg比較評(píng)估條件表情的完成度。兩個(gè)判別器公共部分為1 個(gè)對(duì)輸入圖像的卷積操作和6 個(gè)卷積核大小、k=4、stride=2、padding=1 的連續(xù)下采樣層。為了減少模型的參數(shù)數(shù)量，DI和Dy共享前5 層的權(quán)重。

2 網(wǎng)絡(luò)目標(biāo)優(yōu)化

為了讓生成圖的分布趨近于訓(xùn)練圖像的分布，使用對(duì)抗損失LI，包括兩部分，其中第一部分定義如下：

式中，Po為輸入圖像的數(shù)據(jù)分布，最大化生成圖像通過(guò)判別器DI得到的結(jié)果，最小化原始圖像通過(guò)判別器DI的結(jié)果，另外，為解決訓(xùn)練過(guò)程中梯度消失或爆炸問(wèn)題，在此基礎(chǔ)上給判別器增加一個(gè)梯度懲罰項(xiàng)：

式中，PI?是隨機(jī)插值分布；λgp是懲罰系數(shù)。LI總損失為：

由于模型數(shù)據(jù)沒(méi)有注意力掩碼的參考數(shù)值，掩碼A的強(qiáng)度值極易趨于過(guò)飽和狀態(tài)。因此，對(duì)注意力掩碼引入全差分損失L(A)：

式中，λTV是掩碼平滑的懲罰系數(shù)；Ai,j代表A的第[i,j]項(xiàng)；注意力掩碼特征A如式(1)。

為了避免同一個(gè)人在不同表情下成對(duì)圖像的訓(xùn)練需求，使用包含兩個(gè)生成網(wǎng)絡(luò)的雙向?qū)剐约軜?gòu)，完成對(duì)生成圖像的重構(gòu)任務(wù)，利用循環(huán)一致?lián)p失Ldit：

該損失與輸入圖像直接比較，保證生成的人臉和原始圖像對(duì)應(yīng)同一個(gè)人。

網(wǎng)絡(luò)中引入了目標(biāo)表情約束向量。為了保證生成網(wǎng)絡(luò)回歸標(biāo)簽的信息正確性，對(duì)約束條件施加損失Ly，Ly分為由生成網(wǎng)絡(luò)生成的假圖片回歸的AU 值編碼和由判別網(wǎng)絡(luò)在真實(shí)圖片中回歸的AU 值編碼兩個(gè)部分，表示如下：

為了生成目標(biāo)圖像，線性組合上面的損失來(lái)建立總損失函數(shù)L：

式中，λy、λA、λidt為調(diào)節(jié)總損失的權(quán)重系數(shù)。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文所提算法使用的實(shí)驗(yàn)數(shù)據(jù)是預(yù)處理后的CelebA 數(shù)據(jù)集[21]，根據(jù)圖片已有的臉部器官landmark 坐標(biāo)，使用幾何歸一化方法剪裁臉部圖片，進(jìn)行人臉對(duì)齊，統(tǒng)一r esize調(diào)整為128×128。再使用符合FACS 編碼標(biāo)準(zhǔn)的開(kāi)源面部行為分析工具OpenFace[22]，識(shí)別標(biāo)注肌肉表情運(yùn)動(dòng)單元AU，與表情相關(guān)的AU 共有17 個(gè)，自制的數(shù)據(jù)集需要滿足AU 標(biāo)簽分布均勻，保證復(fù)雜表情的生成精度，經(jīng)過(guò)各AU 統(tǒng)計(jì)、特定圖片篩選、AU 填充和剔除操作，整理出158374 張圖片。按照訓(xùn)練集與測(cè)試集9∶1 的比例隨機(jī)劃分，143000 張圖片用于訓(xùn)練，15374 張用于測(cè)試。圖6 展示了圖像各AU 的分布情況。各AU 的占比大致均在6%左右，分布較為均勻。有些AU 數(shù)量較少，但都大于4%，屬于合理范圍。

圖6 數(shù)據(jù)集各AU 占比

3.2 網(wǎng)絡(luò)訓(xùn)練

該模型通過(guò)Adam[23]優(yōu)化器對(duì)模型進(jìn)行訓(xùn)練，根據(jù)改進(jìn)后的網(wǎng)絡(luò)特點(diǎn)和研究者的經(jīng)驗(yàn)設(shè)置訓(xùn)練參數(shù)，如表1 所示。判別器網(wǎng)絡(luò)每執(zhí)行5 個(gè)訓(xùn)練步驟，生成器執(zhí)行一次優(yōu)化步驟。依據(jù)GANimation 原網(wǎng)絡(luò)損失各權(quán)重系數(shù)的制定，本文對(duì)網(wǎng)絡(luò)目標(biāo)總損失函數(shù)的權(quán)重分別設(shè)置為：λgp=10，λA=0.1，λTV=0.0001，λy=4000，λidt=10。

表1 訓(xùn)練參數(shù)

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 訓(xùn)練過(guò)程

實(shí)驗(yàn)中利用以上參數(shù)對(duì)改進(jìn)后的算法進(jìn)行訓(xùn)練，并與原網(wǎng)絡(luò)進(jìn)行對(duì)比，圖7 展示了訓(xùn)練過(guò)程中判別器對(duì)真實(shí)圖和生成圖表情向量的損失優(yōu)化過(guò)程。在訓(xùn)練期間，真實(shí)圖通過(guò)判別器提取表情向量與自身的真實(shí)向量做差比較，得到損失值d_cond，從圖7a 可以得出，改進(jìn)之后判別器對(duì)損失曲線的趨勢(shì)沒(méi)有較大的影響，但比具有原網(wǎng)絡(luò)的生成器收斂速度快，在經(jīng)過(guò)迭代運(yùn)算后，訓(xùn)練集L oss值下降到了0.145 左右。g_cond是使用同一判別器提取生成圖的表情向量與輸入目標(biāo)表情向量做差比較，驗(yàn)證表情生成的準(zhǔn)確性，由圖7b 所示，Loss值下降到了1.0 左右，網(wǎng)絡(luò)達(dá)到了很好的生成效果，MFF 機(jī)制帶來(lái)了明確的改進(jìn)。

圖7 通過(guò)判別器的表情向量損失

3.3.2 表情生成質(zhì)量評(píng)估

該算法使用PSNR(peak signal-to-noise ratio)[24]和FID(frechet inception distance)[25]指標(biāo)分別評(píng)估表情生成的準(zhǔn)確度和生成的圖像質(zhì)量。PSNR 是在計(jì)算同一身份的合成表情和對(duì)應(yīng)表情之間的均方誤差相對(duì)于255^2 的對(duì)數(shù)值，F(xiàn)ID 分?jǐn)?shù)是對(duì)預(yù)訓(xùn)練模型InceptionV3 提取真實(shí)人臉與合成人臉的特征層面進(jìn)行距離評(píng)價(jià)。如表2 所示。改進(jìn)后的GANimation 在celebA 數(shù)據(jù)集上測(cè)量PSNR和FID，生成質(zhì)量分別比最新方法提高了1.28 和2.52。

表2 與最先進(jìn)的算法定量比較

為了進(jìn)一步定量評(píng)估表情變化的準(zhǔn)確性，使用皮爾遜相關(guān)系數(shù)(PCC)計(jì)算目標(biāo)圖像和生成圖像各個(gè)AU 對(duì)應(yīng)點(diǎn)的相似度，生成圖像的AU 強(qiáng)度也使用OpenFace 預(yù)測(cè)。從測(cè)試集中隨機(jī)抽取含當(dāng)前要評(píng)估某AU 的圖片200 張作為目標(biāo)表情圖像，其標(biāo)記的AU 用作網(wǎng)絡(luò)的目標(biāo)標(biāo)簽，在剩余的測(cè)試集中再抽取3 張作為輸入的原圖像，每張圖片都要生成200 張的目標(biāo)的表情。圖8 顯示了17 個(gè)AU 強(qiáng)度之間的PCC，取值范圍為0～1，改進(jìn)后的網(wǎng)絡(luò)與GANimation 和StarGAN 進(jìn)行比較，StarGAN 僅在AU4 生成的準(zhǔn)確度高于GANimation，改進(jìn)的網(wǎng)絡(luò)有87.5%占比的AU 生成準(zhǔn)確度高于GANimation。

圖8 表情AU 強(qiáng)度的PCC

3.3.3 表情編輯對(duì)比

改進(jìn)后的網(wǎng)絡(luò)是在上面描述的公開(kāi)可用的面部表情數(shù)據(jù)集上進(jìn)行評(píng)估。表情編輯對(duì)比如圖9 所示，其中每列對(duì)應(yīng)一個(gè)表情編輯任務(wù)，對(duì)GANimation以及改進(jìn)后的網(wǎng)絡(luò)進(jìn)行比較。GANimation 方法容易模糊眼睛、鼻子和嘴巴周?chē)鷧^(qū)域，產(chǎn)生的偽影不同程度地破壞了面部圖像。而從改進(jìn)網(wǎng)絡(luò)的生成效果來(lái)看，除解決掉了這些問(wèn)題，其生成的圖像表情更銳利和清晰。更好的合成主要?dú)w功于包含了多尺度特征融合模塊，更好地保留與身份相關(guān)的特征和細(xì)節(jié)。

圖9 表情編輯對(duì)比

3.3.4 表情向量控制能力對(duì)比

圖10 展示了原網(wǎng)絡(luò)和改進(jìn)后網(wǎng)絡(luò)注意力掩碼的生成結(jié)果，注意力被設(shè)計(jì)用來(lái)引導(dǎo)網(wǎng)絡(luò)關(guān)注表情相關(guān)區(qū)域的轉(zhuǎn)換，反應(yīng)模型對(duì)表情向量的操縱能力。從實(shí)驗(yàn)結(jié)果看，原碼的注意力掩碼缺失嚴(yán)重，大部分出現(xiàn)在嘴和眼睛的附近，注意力表示的是面部像素的強(qiáng)度，顏色深的區(qū)域表示面部動(dòng)作部位，因此，動(dòng)作部位像素值不準(zhǔn)確或缺少導(dǎo)致面部表情控制能力減弱。圖10 第一行，原網(wǎng)絡(luò)注意力掩碼大部分缺失，且沒(méi)有明顯的明暗區(qū)分，眉間紋理無(wú)變化。第二、三行原碼生成的表情沒(méi)有變化。

圖10 表情向量控制能力對(duì)比

3.3.5 連續(xù)表情生成

為了更好地體現(xiàn)編輯連續(xù)表情的好處，在不同表情之間的AUs 進(jìn)行插值，并在圖11 中給出結(jié)果。第一列是輸入的原始表情圖像Iy0，最右一列是目標(biāo)表情Iyg，其余的列是通過(guò)對(duì)原始表情和目標(biāo)表情之間進(jìn)行線性插值來(lái)合成圖片。線性插值器根據(jù)αIyg+(1?α)Iyr(α∈0～1)計(jì)算生成器的結(jié)果，顯示了平滑和跨幀一致的轉(zhuǎn)換，驗(yàn)證了該模型在動(dòng)作單元空間的連續(xù)性和處理大間隙表情轉(zhuǎn)換的魯棒性，證明了該模型的泛化性能。

圖11 表情插值效果圖

4 結(jié)束語(yǔ)

本文提出了對(duì)GANimation 方法的改進(jìn)，將多尺度融合機(jī)制納入基于Encoder-Decoder 的任意面部表情編輯體系結(jié)構(gòu)中。特征融合模塊在很大程度上提高了模型性能，特別是對(duì)于動(dòng)作單元的保持、質(zhì)量重建和身份保持。作為一種簡(jiǎn)單有競(jìng)爭(zhēng)力的方法，與改進(jìn)前的GANimation 方法相比，在視覺(jué)質(zhì)量和操縱能力都取得了更好的實(shí)驗(yàn)結(jié)果。