王毛毛

(西安郵電大學，陜西 西安 710121)

引言

圖像生成技術一直以來都是計算機視覺領域研究的熱點問題。近些年，生成式對抗網絡[1]Generative Adversarial Network，GAN)的出現(xiàn)使得圖像生成技術取得了突破性進展。GAN 圖像生成模型借鑒博弈論中零和博弈的思想，由生成器和判別器兩部分構成，生成器生成擬合真實數(shù)據分布的樣本圖像，判別器鑒別生成圖像和真實圖像，二者交替訓練，相互對抗學習，最終達到納審平衡[2]即生成的樣本數(shù)據與真實的數(shù)據分布高度一致性。目前GAN 圖像生成模型已經成功應用到多個領域，圖像翻譯[3]，圖像風格遷移[4-5]，圖像超分辨率重建[6]圖像修復[7]，視頻預測[8]等。GAN 有著強大的建模能力，但仍然存在許多問題，訓練過程不穩(wěn)定，容易發(fā)生梯度消失，梯度爆炸；生成圖像分辨率低，精細度不足；生成圖像不具備可控性等。

本文針對于LSGAN 生成的圖像幾何特征不明顯，局部區(qū)域細節(jié)信息不豐富的問題，受自我注意力生成對抗網絡(Self-Attention GAN，SAGAN)思想的啟發(fā)，提出了結合自注意力機制的最小二乘生成式對抗網絡的圖像生成方法。創(chuàng)新之處在于將注意力圖同時應用于生成器和判別器中，加強生成圖像的整體幾何特征，加強鄰域特征與遠距離特征的之間的關聯(lián)度，提升生成圖像的逼真度和精細度。

1 相關理論

1.1 最小二乘生成對抗網絡

為了解決GAN 生成模型中訓練不穩(wěn)定，存在梯度消失的問題，Xudong Mao 等人將GAN 模型中交叉熵損失函數(shù)替換成最小二乘損失函數(shù)，并在判別器中使用最小平方損失函數(shù)，提高了模型的收斂性和穩(wěn)定性。目標函數(shù)如下：

公式(1)，(2)中a，b 和c 是生成器為了判斷生成的數(shù)據是真實分布數(shù)據而定的值，一般情況下，a=-1，b=1，c=0。

1.2 自注意力機制

注意力機制其原理是直接計算圖像中任意兩點之間的距離，從而獲得到圖像的全局幾何特征，這樣做可以較好的解決GAN 訓練數(shù)據集種類較多時，難以捕捉圖像幾何特征的問題。

2 結合注意力機制的最小二乘生成式對抗網絡

對于LSGAN 網絡模型生成的圖像精細度，逼真度不高，圖像的局部細節(jié)不明顯的問題。本文提出了一種基于結合注意力機制的最小二乘生成式對抗網絡模型(SA-GAN)。在LSGAN 的生成器和判別器中嵌入自注意力模塊。使得網絡在訓練過程中能夠迅速定位圖像的重點生成區(qū)域，抑制噪聲對模型訓練的干擾，提升網絡模型的訓練效率，增強網絡模型的性能，提升圖像的精細度以及逼真度。

2.1 判別器

基于注意力機制的最小二乘生成式對抗網絡的判別器由四個卷積層，兩個自注意力模塊組成，卷積層的通道數(shù)從左到右依次增大，大小為4*4，步長為2。輸入圖像為(64*64*3)，其中64*64 表示二維圖像，3 表示初始維度，圖片的數(shù)量是1，兩者組成一個四維張量(1,64,64,3)，經過第一次卷積運算后，提取圖像中的特征，將其送入自注意力模塊中，加強圖像的整體幾何特征提取，經過兩次卷積運算后，輸出變成了(1,16,16,128),(1,8,8,256)。再次將提取的特征送入注意力模塊中加強圖像特征與特征之間的關系，進行第四次卷積運算后，將所得到的特征圖拉長為8192 維向量。

2.2 生成器

基于注意力機制的最小二乘生成式對抗網絡的生成器一共有6 個卷積層，兩個自注意力模塊，每一層卷積核為3*3，其中第一三四五卷積層的卷積核步長為2，第二六層卷積層步長為1。從左到右卷積層的通道數(shù)逐步減少分別是256，256，128，64，32，3。初始時，隨機噪聲100 映射到判別器傳遞的8192 維特征向量當中，通過reshape 函數(shù)處理后作為轉置卷積的輸入即 (4*4*512) 通過第兩次卷積運算后，輸出為(8*8*256),將特征向量送入注意力網絡當中得到注意力特征圖，加強提取圖像的特征，在將輸出做3 次卷積運算得到(32*32*64)，將其送入到注意力模塊中再次加強遠距離特征之間聯(lián)系，把握圖像整體的幾何結構，最后在經過3 通道卷積最終得到一個64*64*3 的圖像。

3 實驗與分析

本文實驗在Cartoon 動漫人物頭像數(shù)據集上進行，實驗在Intel(R) Xeon(R) CPU E5-262 v4@ 2.10GHz 處理器，輸入模型的圖像像素是64×64，生成器與判別器的初始學習率都為0.0002，圖像批量大小為64。

如圖1 所示，SA-LSGAN 模型訓練后生成的卡通圖像相比較于GAN,WGAN,LSGAN 網絡模型生成的圖像，眼睛、鼻子、嘴巴、頭發(fā)等特征的紋理信息更加豐富，五官的空間位置整體分布，更加合理。證實了將注意力機制嵌入最小二乘生成式對抗網絡模型當中確實能夠加強網絡模型對于圖像幾何特征捕捉能力，增強圖像局部細節(jié)信息。

圖1 多種模型生成樣本數(shù)據對比圖

本實驗采用FID 圖像質量評價指標對圖像質量進行評估。它是通過計算真實圖像與生成圖像特征向量之間的距離的遠近來衡量圖像質量的高低。

如表1 所示, 本文提出的SA-LSGAN 網絡模型相比較于LSGAN 網絡模型FID 值在Carton 數(shù)據集上提升了0.7。上述數(shù)據表明，本論文提出的方法確實能夠增強圖像的整體幾何特征，加強圖像局部區(qū)域細節(jié)信息從整體上提升生成圖像的質量。

4 結論

本文提出的結合自注意力機制的最小二乘生成對抗網絡(SA-EGAN)模型，能夠在一定程度上增強圖像的質量，但是本文只是在和carton 數(shù)據集上做出驗證，并不能說明模型的魯棒性。