洛風(fēng)

最近，抖音平臺(tái)新上線了“變身漫畫”特效，它能將抖音視頻用戶的現(xiàn)實(shí)形象瞬間轉(zhuǎn)變成二次元漫畫形象。那么，這種能夠“動(dòng)起來”的二次元濾鏡，背后隱藏了怎樣的黑科技呢？

首先，我們來認(rèn)識(shí)一個(gè)新名詞——生成式對(duì)抗網(wǎng)絡(luò)。作為一種深度學(xué)習(xí)模型，生成式對(duì)抗網(wǎng)絡(luò)首次出現(xiàn)于前“谷歌大腦”科學(xué)家伊恩·古德費(fèi)洛及其團(tuán)隊(duì)發(fā)表的論文中，是機(jī)器學(xué)習(xí)中的新概念。通過生成式對(duì)抗網(wǎng)絡(luò)，我們可以將用戶的現(xiàn)實(shí)形象瞬間轉(zhuǎn)換為二次元漫畫形象。

機(jī)器學(xué)習(xí)的模型分為生成模型和判別模型兩種，顧名思義，其各自的功能分別是根據(jù)數(shù)據(jù)集來生成和判別模型。它們通過對(duì)抗過程估計(jì)生成模型的新框架，即將生成模型與判別模型放在一個(gè)矛盾的局面中，讓兩者進(jìn)行對(duì)抗，生成模型要盡可能地生成真實(shí)的圖片去欺騙判別模型。與此同時(shí)，判別模型要盡量把生成模型生成的圖片和原數(shù)據(jù)集區(qū)分開。

在這個(gè)過程中，生成網(wǎng)絡(luò)就像是一個(gè)畫畫的小孩，而判別網(wǎng)絡(luò)就像是一個(gè)嚴(yán)格的美術(shù)老師，負(fù)責(zé)給小孩的作品打分。判別網(wǎng)絡(luò)的任務(wù)其實(shí)很簡單，就是區(qū)分真假。何為真？自然拍攝的圖片就是真，而人工合成的圖片便是“假”。

首先，生成網(wǎng)絡(luò)會(huì)產(chǎn)生一批假數(shù)據(jù)，對(duì)判別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，剛開始生成的假數(shù)據(jù)很粗糙，肯定無法通過，所以判別網(wǎng)絡(luò)只需要具備初步的識(shí)別能力就可以鑒定出來，這算是一個(gè)“菜雞互啄”的階段。然后，當(dāng)判別網(wǎng)絡(luò)有了進(jìn)步，生成網(wǎng)絡(luò)也要迎頭趕上，再對(duì)生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練，目標(biāo)是生成更加擬真的數(shù)據(jù)，騙過當(dāng)前的判別網(wǎng)絡(luò)。這些新的數(shù)據(jù)又用來訓(xùn)練判別網(wǎng)絡(luò)，自己生產(chǎn)，自己消化，如此循環(huán)，互相博弈。

通過這種訓(xùn)練，兩個(gè)網(wǎng)絡(luò)的能力都得到了提升。如同武俠小說里的“梯云縱”，左腳踩右腳，右腳踩左腳，武功高強(qiáng)的大俠就能飛檐走壁。訓(xùn)練完成之后，判別網(wǎng)絡(luò)作為“工具人”就可以暫時(shí)休息了，留下生成網(wǎng)絡(luò)用以產(chǎn)生圖像。所以，這種機(jī)器之間自發(fā)的相互學(xué)習(xí)，可以說是非常智能了。

而生成式對(duì)抗網(wǎng)絡(luò)的種類也不少，其中最常見的如Cycle生成式對(duì)抗網(wǎng)絡(luò)。這套算法就是隱藏美圖軟件濾鏡后的幕后功臣，“LOMO風(fēng)格”“甜美日系”“黑白簡筆”“美白磨皮”都靠它才能一鍵搞定，完成瞬間“變身”。

不過，次元壁不是那么容易打破的，因?yàn)檎鎸?shí)人臉和卡通人臉之間的結(jié)構(gòu)差別太大，這兩個(gè)域的幾何結(jié)構(gòu)彼此非常不同，從而導(dǎo)致嚴(yán)重的失真和視覺偽影。所以，要想把手機(jī)拍攝的真人視覺形象轉(zhuǎn)化為相似的二次元紙片人，就要解決這個(gè)問題。這時(shí)，便需要運(yùn)用Cycle生成式對(duì)抗網(wǎng)絡(luò)特別版——面部特征輔助版Cycle生成式對(duì)抗網(wǎng)絡(luò)。

面部特征輔助版Cycle生成式對(duì)抗網(wǎng)絡(luò)能用不成對(duì)的訓(xùn)練數(shù)據(jù)將真實(shí)面孔轉(zhuǎn)換為卡通面孔，這時(shí)，AI就能根據(jù)真實(shí)用戶人臉“畫”出相應(yīng)的卡通形象了。簡單地說，它的訓(xùn)練機(jī)制就是：首先，每當(dāng)Cycle生成式對(duì)抗網(wǎng)絡(luò)提供一張人臉圖像，它就對(duì)臉部的關(guān)鍵點(diǎn)進(jìn)行標(biāo)記，根據(jù)這些標(biāo)記點(diǎn)生成最初的卡通形象;其次，把這些標(biāo)記輸入判別網(wǎng)絡(luò)，啟動(dòng)Cycle生成式對(duì)抗網(wǎng)絡(luò)中兩個(gè)圖像生成網(wǎng)絡(luò)，讓卡通形象和人臉形象之間不斷地互相識(shí)別，反映到屏幕上;最后，你就能看到一個(gè)和自己酷似的、惟妙惟肖的二次元形象了。