成都理工大學(xué)核技術(shù)與自動化工程學(xué)院 張 衛(wèi) 馬 麗 黃 金

基于生成式對抗網(wǎng)絡(luò)的人臉識別開發(fā)

成都理工大學(xué)核技術(shù)與自動化工程學(xué)院 張 衛(wèi) 馬 麗 黃 金

目前人臉驗證和識別在計算機(jī)科學(xué)應(yīng)用中仍然存在困難，依據(jù)側(cè)臉合成正臉一直是計算機(jī)視覺領(lǐng)域的一個難題，而生成對抗網(wǎng)絡(luò)在圖像生成描述方面取得了一定突破，雙路徑對抗生成網(wǎng)絡(luò)通過單一側(cè)面照片合成高清晰的正面人臉圖像，能夠有效的保留身份特征，從而減小姿勢和光線對人臉識別的干擾，大大提高識別的正確率。

雙路徑生成對抗網(wǎng)絡(luò)；人臉識別；計算機(jī)視覺

一、雙路徑對抗生成網(wǎng)絡(luò)的技術(shù)背景

雖然目前在人臉識別這個問題上，計算機(jī)視覺算法在多個基準(zhǔn)數(shù)據(jù)集上表現(xiàn)優(yōu)于人類，但在實(shí)際應(yīng)用場景中，由于姿勢而引起的識別問題仍然沒有得到很好的處理。在人類視覺處理中，人們通常是通過觀察到的側(cè)臉，在以往的經(jīng)驗上，推測出整張臉的結(jié)構(gòu)，然后再集中注意力到臉部的細(xì)節(jié)，比如五官的形狀結(jié)構(gòu)以及五官的位置關(guān)系，并將這些臉部細(xì)節(jié)描繪與剛才的臉部結(jié)構(gòu)圖上。

生成式模型在無監(jiān)督深度學(xué)習(xí)方面占據(jù)著重要位置，它可以通過學(xué)習(xí)真實(shí)數(shù)據(jù)的本質(zhì)特征，刻畫出樣本數(shù)據(jù)的分布特征，生成與訓(xùn)練樣本相似的新數(shù)據(jù)。生成對抗網(wǎng)絡(luò)（GANs）即是生成式模型的一種，由Goodfellow et al[1]提出，包括一個生成模型和一個判別模型，該模型訓(xùn)練時固定一方，更新另一方的參數(shù)，交替迭代，使得對方錯誤最大化，最終估測出樣本數(shù)據(jù)的分布。深度GANs模型進(jìn)行圖片修補(bǔ)能依據(jù)缺失區(qū)域的周邊區(qū)域進(jìn)行語義層面的修補(bǔ)，比傳統(tǒng)的計算機(jī)近鄰法[2]，場景計算法[3]提供了更好的特征。

二、雙路徑對抗生成網(wǎng)絡(luò)的應(yīng)用提出

在人類視覺認(rèn)知過程的基礎(chǔ)上，結(jié)合深度學(xué)習(xí)前沿對抗生成網(wǎng)絡(luò)（GAN）理論，提出一個基于全局和局部感知的雙路徑對抗生成網(wǎng)絡(luò)（TP-GAN），其中一條路徑專注于推理全局拓?fù)浣Y(jié)構(gòu)，另一條則專注于局部紋理的推理，兩條路徑分別生成特征圖。將這兩組特征圖融合用于人臉圖片的最終融合。在關(guān)注整體拓?fù)浣Y(jié)構(gòu)的同時，較好的處理人臉面部細(xì)節(jié)，在不同的角度和光照條件下都取得了比較好的效果。

此外通過將正面人臉特征的分布信息引入生成對抗網(wǎng)絡(luò)框架，在恢復(fù)過程中起到了很好的約束作用，以此確保生成的人臉圖像逼真自然，并且依據(jù)人臉的鏡像對稱性這一自然特性，在模型中引進(jìn)對稱主分量分析算法[4]，在不同視角，光照等干擾條件下進(jìn)行特征選擇，能夠增強(qiáng)人臉識別，顯著提高識別率。在整合人臉整體和局部特征關(guān)系的處理上，通過預(yù)訓(xùn)練的人臉特征提取網(wǎng)絡(luò)，在壓縮特征空間中使用了融合全局與局部特征的子空間人臉識別算法，先利用主成分分析提取人臉全局特征，針對人臉局部特征，提出依據(jù)各部分子塊的特征偏離程度度進(jìn)行自動加權(quán)算法，最后基于模糊綜合的原理對全局和局部進(jìn)行數(shù)據(jù)融合，結(jié)合人臉圖像全局和局部的互補(bǔ)信息，給出最終的識別結(jié)果，在實(shí)現(xiàn)逼真，高清晰的正面臉部合成的同時，顯著提高人臉識別率。

圖1所示為TP-GAN總結(jié)構(gòu)示意圖，生成器由兩條路徑組成，其中一條負(fù)責(zé)全局結(jié)構(gòu)生成，另一條負(fù)責(zé)處理局部細(xì)節(jié)生成。判別器則同時在合成的人臉正面圖像和真實(shí)的側(cè)面圖像上訓(xùn)練。

圖1 TP-GAN總結(jié)構(gòu)示意圖

基于此方法的模型處理下能夠處理大量不同姿勢的照片，為強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)提供大量的訓(xùn)練樣本。此外由于側(cè)面人臉只含有正臉視圖的一部分信息，所以依據(jù)側(cè)面人臉合成正面人臉是一個病態(tài)問題，在計算機(jī)視覺領(lǐng)域上一直是個難題。雙路徑對抗生成網(wǎng)絡(luò)的提出為解決此類病態(tài)數(shù)學(xué)問題提供了新的解決方向。

三、雙路徑對抗生成網(wǎng)絡(luò)的展望總結(jié)

無監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)將是機(jī)器學(xué)習(xí)下一階段研究的熱點(diǎn)，對抗生成網(wǎng)絡(luò)成了現(xiàn)階段無監(jiān)督學(xué)習(xí)的一個熱門技術(shù)，雙路徑對抗生成網(wǎng)絡(luò)模型作為生成模型的一種，在“無中生有”的場合：圖像復(fù)原，圖像修補(bǔ)，圖像超分辨等起到了關(guān)鍵突破的作用。

它提出了一個能夠像人類一樣兼顧整體和局部信息的對抗生成網(wǎng)絡(luò)，不僅能夠依據(jù)側(cè)臉圖像合成正臉視圖，而且合成的視圖在逼真的基礎(chǔ)上很好的保留了身份特征。在應(yīng)對圖像維數(shù)轉(zhuǎn)換時固有的信息缺失問題，將從對抗訓(xùn)練得來的數(shù)據(jù)分布與人臉領(lǐng)域知識結(jié)合起來，較精確的復(fù)原了缺失信息。再者，在大量不同姿勢下，特別是極端光照，角度的側(cè)臉圖像中，取得了目前較好的人臉識別結(jié)果，推動了對抗生成網(wǎng)絡(luò)在計算機(jī)視覺問題中的應(yīng)用。作為一種生成模型，不直接估計數(shù)據(jù)樣本的分布，而是通過模型學(xué)習(xí)來估測潛在分布并且生成同分布的新樣本，在圖像和視覺計算領(lǐng)域具有重大的應(yīng)用價值。

[1]Goodfeiiow I,Pouget-Abadie J,Mirza M．Generative Adversarial Networks[DB/OL]．(2014-06-10)．http：//arxiv．org/abs/1406．2661．

[2]徐一峰．生成對抗網(wǎng)絡(luò)理論模型和應(yīng)用綜述[J]．金華職業(yè)技術(shù)學(xué)院學(xué)報,2017,03：019．

[3]王蘊(yùn)紅,范偉,譚鐵牛．融合全局和局部特征的子空間人臉識別算法[J]．計算機(jī)學(xué)報,2015,10(28)．

[4]王坤峰,荀超,段艷杰,林懿倫,鄭心湖,王飛躍．生成式對抗網(wǎng)絡(luò)GAN的研究進(jìn)展和展望[J]．自動化學(xué)報,2017,3(43)．

[5]楊瓊,丁曉青．對稱主分量分析及其在人臉識別中的應(yīng)用[J]．計算機(jī)學(xué)報,2003,9(26)．