成都理工大學(xué)核技術(shù)與自動(dòng)化工程學(xué)院 張 衛(wèi) 馬 麗 黃 金

基于生成式對(duì)抗網(wǎng)絡(luò)的人臉識(shí)別開(kāi)發(fā)

成都理工大學(xué)核技術(shù)與自動(dòng)化工程學(xué)院 張 衛(wèi) 馬 麗 黃 金

目前人臉驗(yàn)證和識(shí)別在計(jì)算機(jī)科學(xué)應(yīng)用中仍然存在困難，依據(jù)側(cè)臉合成正臉一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)難題，而生成對(duì)抗網(wǎng)絡(luò)在圖像生成描述方面取得了一定突破，雙路徑對(duì)抗生成網(wǎng)絡(luò)通過(guò)單一側(cè)面照片合成高清晰的正面人臉圖像，能夠有效的保留身份特征，從而減小姿勢(shì)和光線(xiàn)對(duì)人臉識(shí)別的干擾，大大提高識(shí)別的正確率。

雙路徑生成對(duì)抗網(wǎng)絡(luò)；人臉識(shí)別；計(jì)算機(jī)視覺(jué)

一、雙路徑對(duì)抗生成網(wǎng)絡(luò)的技術(shù)背景

雖然目前在人臉識(shí)別這個(gè)問(wèn)題上，計(jì)算機(jī)視覺(jué)算法在多個(gè)基準(zhǔn)數(shù)據(jù)集上表現(xiàn)優(yōu)于人類(lèi)，但在實(shí)際應(yīng)用場(chǎng)景中，由于姿勢(shì)而引起的識(shí)別問(wèn)題仍然沒(méi)有得到很好的處理。在人類(lèi)視覺(jué)處理中，人們通常是通過(guò)觀察到的側(cè)臉，在以往的經(jīng)驗(yàn)上，推測(cè)出整張臉的結(jié)構(gòu)，然后再集中注意力到臉部的細(xì)節(jié)，比如五官的形狀結(jié)構(gòu)以及五官的位置關(guān)系，并將這些臉部細(xì)節(jié)描繪與剛才的臉部結(jié)構(gòu)圖上。

生成式模型在無(wú)監(jiān)督深度學(xué)習(xí)方面占據(jù)著重要位置，它可以通過(guò)學(xué)習(xí)真實(shí)數(shù)據(jù)的本質(zhì)特征，刻畫(huà)出樣本數(shù)據(jù)的分布特征，生成與訓(xùn)練樣本相似的新數(shù)據(jù)。生成對(duì)抗網(wǎng)絡(luò)（GANs）即是生成式模型的一種，由Goodfellow et al[1]提出，包括一個(gè)生成模型和一個(gè)判別模型，該模型訓(xùn)練時(shí)固定一方，更新另一方的參數(shù)，交替迭代，使得對(duì)方錯(cuò)誤最大化，最終估測(cè)出樣本數(shù)據(jù)的分布。深度GANs模型進(jìn)行圖片修補(bǔ)能依據(jù)缺失區(qū)域的周邊區(qū)域進(jìn)行語(yǔ)義層面的修補(bǔ)，比傳統(tǒng)的計(jì)算機(jī)近鄰法[2]，場(chǎng)景計(jì)算法[3]提供了更好的特征。

二、雙路徑對(duì)抗生成網(wǎng)絡(luò)的應(yīng)用提出

在人類(lèi)視覺(jué)認(rèn)知過(guò)程的基礎(chǔ)上，結(jié)合深度學(xué)習(xí)前沿對(duì)抗生成網(wǎng)絡(luò)（GAN）理論，提出一個(gè)基于全局和局部感知的雙路徑對(duì)抗生成網(wǎng)絡(luò)（TP-GAN），其中一條路徑專(zhuān)注于推理全局拓?fù)浣Y(jié)構(gòu)，另一條則專(zhuān)注于局部紋理的推理，兩條路徑分別生成特征圖。將這兩組特征圖融合用于人臉圖片的最終融合。在關(guān)注整體拓?fù)浣Y(jié)構(gòu)的同時(shí)，較好的處理人臉面部細(xì)節(jié)，在不同的角度和光照條件下都取得了比較好的效果。

此外通過(guò)將正面人臉特征的分布信息引入生成對(duì)抗網(wǎng)絡(luò)框架，在恢復(fù)過(guò)程中起到了很好的約束作用，以此確保生成的人臉圖像逼真自然，并且依據(jù)人臉的鏡像對(duì)稱(chēng)性這一自然特性，在模型中引進(jìn)對(duì)稱(chēng)主分量分析算法[4]，在不同視角，光照等干擾條件下進(jìn)行特征選擇，能夠增強(qiáng)人臉識(shí)別，顯著提高識(shí)別率。在整合人臉整體和局部特征關(guān)系的處理上，通過(guò)預(yù)訓(xùn)練的人臉特征提取網(wǎng)絡(luò)，在壓縮特征空間中使用了融合全局與局部特征的子空間人臉識(shí)別算法，先利用主成分分析提取人臉全局特征，針對(duì)人臉局部特征，提出依據(jù)各部分子塊的特征偏離程度度進(jìn)行自動(dòng)加權(quán)算法，最后基于模糊綜合的原理對(duì)全局和局部進(jìn)行數(shù)據(jù)融合，結(jié)合人臉圖像全局和局部的互補(bǔ)信息，給出最終的識(shí)別結(jié)果，在實(shí)現(xiàn)逼真，高清晰的正面臉部合成的同時(shí)，顯著提高人臉識(shí)別率。

圖1所示為T(mén)P-GAN總結(jié)構(gòu)示意圖，生成器由兩條路徑組成，其中一條負(fù)責(zé)全局結(jié)構(gòu)生成，另一條負(fù)責(zé)處理局部細(xì)節(jié)生成。判別器則同時(shí)在合成的人臉正面圖像和真實(shí)的側(cè)面圖像上訓(xùn)練。

圖1 TP-GAN總結(jié)構(gòu)示意圖

基于此方法的模型處理下能夠處理大量不同姿勢(shì)的照片，為強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)提供大量的訓(xùn)練樣本。此外由于側(cè)面人臉只含有正臉視圖的一部分信息，所以依據(jù)側(cè)面人臉合成正面人臉是一個(gè)病態(tài)問(wèn)題，在計(jì)算機(jī)視覺(jué)領(lǐng)域上一直是個(gè)難題。雙路徑對(duì)抗生成網(wǎng)絡(luò)的提出為解決此類(lèi)病態(tài)數(shù)學(xué)問(wèn)題提供了新的解決方向。

三、雙路徑對(duì)抗生成網(wǎng)絡(luò)的展望總結(jié)

無(wú)監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)將是機(jī)器學(xué)習(xí)下一階段研究的熱點(diǎn)，對(duì)抗生成網(wǎng)絡(luò)成了現(xiàn)階段無(wú)監(jiān)督學(xué)習(xí)的一個(gè)熱門(mén)技術(shù)，雙路徑對(duì)抗生成網(wǎng)絡(luò)模型作為生成模型的一種，在“無(wú)中生有”的場(chǎng)合：圖像復(fù)原，圖像修補(bǔ)，圖像超分辨等起到了關(guān)鍵突破的作用。

它提出了一個(gè)能夠像人類(lèi)一樣兼顧整體和局部信息的對(duì)抗生成網(wǎng)絡(luò)，不僅能夠依據(jù)側(cè)臉圖像合成正臉視圖，而且合成的視圖在逼真的基礎(chǔ)上很好的保留了身份特征。在應(yīng)對(duì)圖像維數(shù)轉(zhuǎn)換時(shí)固有的信息缺失問(wèn)題，將從對(duì)抗訓(xùn)練得來(lái)的數(shù)據(jù)分布與人臉領(lǐng)域知識(shí)結(jié)合起來(lái)，較精確的復(fù)原了缺失信息。再者，在大量不同姿勢(shì)下，特別是極端光照，角度的側(cè)臉圖像中，取得了目前較好的人臉識(shí)別結(jié)果，推動(dòng)了對(duì)抗生成網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)問(wèn)題中的應(yīng)用。作為一種生成模型，不直接估計(jì)數(shù)據(jù)樣本的分布，而是通過(guò)模型學(xué)習(xí)來(lái)估測(cè)潛在分布并且生成同分布的新樣本，在圖像和視覺(jué)計(jì)算領(lǐng)域具有重大的應(yīng)用價(jià)值。

[1]Goodfeiiow I,Pouget-Abadie J,Mirza M．Generative Adversarial Networks[DB/OL]．(2014-06-10)．http：//arxiv．org/abs/1406．2661．

[2]徐一峰．生成對(duì)抗網(wǎng)絡(luò)理論模型和應(yīng)用綜述[J]．金華職業(yè)技術(shù)學(xué)院學(xué)報(bào),2017,03：019．

[3]王蘊(yùn)紅,范偉,譚鐵牛．融合全局和局部特征的子空間人臉識(shí)別算法[J]．計(jì)算機(jī)學(xué)報(bào),2015,10(28)．

[4]王坤峰,荀超,段艷杰,林懿倫,鄭心湖,王飛躍．生成式對(duì)抗網(wǎng)絡(luò)GAN的研究進(jìn)展和展望[J]．自動(dòng)化學(xué)報(bào),2017,3(43)．

[5]楊瓊,丁曉青．對(duì)稱(chēng)主分量分析及其在人臉識(shí)別中的應(yīng)用[J]．計(jì)算機(jī)學(xué)報(bào),2003,9(26)．