近日，上海交通大學(xué)聯(lián)合研發(fā)了一款換臉框架SimSwap，使人臉交換的應(yīng)用更加靈活廣泛且真實(shí)度更高。以前的換臉框架要么缺乏概括任意身份的能力，要么無(wú)法保留面部表情和注視方向等屬性，這一框架能夠?qū)⑷我庠慈四樀纳矸蒉D(zhuǎn)換為任意目標(biāo)人臉，同時(shí)保留目標(biāo)人臉的屬性。

近日，上海交通大學(xué)聯(lián)合研發(fā)了一款換臉框架SimSwap，使人臉交換的應(yīng)用更加靈活廣泛且真實(shí)度更高。以前的換臉框架要么缺乏概括任意身份的能力，要么無(wú)法保留面部表情和注視方向等屬性，這一框架能夠?qū)⑷我庠慈四樀纳矸蒉D(zhuǎn)換為任意目標(biāo)人臉，同時(shí)保留目標(biāo)人臉的屬性。

人臉交換是一項(xiàng)前景良好的智能技術(shù)。它在保持目標(biāo)人臉的特征（如表情、姿態(tài)、光照等）不變的情況下，將源人臉的特征轉(zhuǎn)換為目標(biāo)人臉。在電影行業(yè)被廣泛應(yīng)用于制造不存在的雙胞胎等畫面。讓影迷記憶最深的當(dāng)屬2015年4月12日上映的《速度與激情7》中，原本于2013年便意外去世的保羅沃克通過(guò)換臉技術(shù)實(shí)現(xiàn)了“重生”，圓了影迷的一個(gè)夢(mèng)。

利用先進(jìn)的設(shè)備重建演員的人臉模型，重建場(chǎng)景的光照條件，這是大多數(shù)人無(wú)法企及的。

目前，人臉互換的主要困難有以下幾個(gè)方面：1）具有較強(qiáng)通用能力的人臉交換框架應(yīng)適用于任意人臉；2）合成后的面部的特征應(yīng)與源面孔特征相近；3）生成出來(lái)的人臉特征（如表情、姿勢(shì)、燈光等）應(yīng)與目標(biāo)人臉的特征一致。

相關(guān)論文

上海交通大學(xué)的科研團(tuán)隊(duì)從兩方面入手，首先，在框架中加入一個(gè)身份注入模塊（IIM）。其次，提出弱特征匹配損失。雙管齊下，將上述問(wèn)題迎刃而解。

身份注入模塊

首先，增加身份注入模塊（IIM）以實(shí)現(xiàn)算法框架的廣泛性應(yīng)用。任何臉都能使用同一算法進(jìn)行換臉，這一夢(mèng)想成為現(xiàn)實(shí)。

目前，以DeepFake為代表的換臉框架使用編碼器-解碼器架構(gòu)，只能針對(duì)兩個(gè)特定的面孔進(jìn)行交換，缺乏廣泛應(yīng)用的能力。

SimSwap通過(guò)在編碼器和解碼器之間添加額外的ID注入模塊來(lái)改進(jìn)該體系結(jié)構(gòu)。在特征層面將源臉的身份信息遷移到目標(biāo)臉，消除了原圖特征信息與解碼器的權(quán)重之間的相關(guān)性。

通過(guò)加入ID注入模塊，將原本局限于兩張?zhí)囟ㄈ四樀幕Q方法擴(kuò)展到任意人臉的互換上。且這一算法框架不用挑選特定朝向及表情的面部圖片也能實(shí)現(xiàn)換臉。每次換臉不再需要更換算法，節(jié)省了時(shí)間及財(cái)力。同一算法結(jié)構(gòu)應(yīng)用到任意人臉更換，其通用性得以實(shí)現(xiàn)。

弱特征匹配損失

在人臉交換任務(wù)中，修改應(yīng)只在五官特征部分進(jìn)行，目標(biāo)人臉的屬性（如表情、位置、燈光等）保持不變。但是，由于SimSwap是從整體的角度直接進(jìn)行人臉修改，包括目標(biāo)人臉的身份信息和屬性信息，屬性信息很可能受到特征嵌入的影響。

為了防止屬性失配，研究人員通過(guò)使用訓(xùn)練損失來(lái)約束它們。然而，顯式地約束所有屬性，因?yàn)樘鄬傩孕枰紤]，過(guò)程過(guò)于繁瑣。因此，SimSwap選用一種相對(duì)簡(jiǎn)潔的弱特征匹配損失進(jìn)行隱式約束。損失函數(shù)共有5項(xiàng)：身份損失、重建損失、對(duì)抗損失、梯度懲罰和弱特征匹配損失。

通過(guò)使用這種損失函數(shù)，即使沒(méi)有進(jìn)行顯式地網(wǎng)絡(luò)約束，算法框架也可以隱式地學(xué)習(xí)如何保留輸入目標(biāo)面孔的屬性。

通過(guò)與其他換臉?biāo)惴ǖ膶?duì)比，可以看出相較于DeepFakes和FaceShifter，SimSwap生成了可信的人臉交換結(jié)果，同時(shí)實(shí)現(xiàn)了更好的屬性保持性能。

相信在未來(lái)，通用型高保真人臉交換框架SimSwap因其高效低價(jià)的雙重優(yōu)勢(shì)，在影視等行業(yè)中得以充分應(yīng)用。 （摘自美《深科技》）