侯瓔真，翟俊海，2，申瑞彩

1(河北大學 數(shù)學與信息科學學院，河北 保定 071002) 2(河北大學 河北省機器學習與計算智能重點實驗室，河北 保定 071002) E-mail:mczjh@126.com

1 引 言

圖像生成是深度學習研究的一個重要領域，主流的生成技術是生成對抗網(wǎng)絡[1]和變分自編碼器[2].Goodfellow等提出的生成對抗網(wǎng)絡(GAN，Generative Adversarial Network)是一種隱式概率生成模型，GAN由生成器網(wǎng)絡和判別器網(wǎng)絡構成，通過這兩個網(wǎng)絡的對抗學習，實現(xiàn)用生成器網(wǎng)絡逼近圖像的分布，通過抽樣可生成似真的圖像.Radford等人[3]用卷積神經(jīng)網(wǎng)絡實現(xiàn)生成器和判別器，提出了DCGAN(Deep Convolutional GAN)，DCGAN用深度卷積神經(jīng)網(wǎng)絡以無監(jiān)督的方式學習圖像的特征，進而生成高質量的圖像.Yi[4]等人提出的DualGAN在原始的GAN模型基礎上開發(fā)了一種新型的雙重GAN機制，使圖像翻譯器可以從兩個領域的兩組未標記圖像中進行訓練.在DualGAN中，原始GAN學習將域U中的圖像翻譯成域V中的圖像，而雙GAN學習將任務反轉.原始任務和雙任務所做的閉環(huán)允許來自任一域的圖像被翻譯，然后重建.康云云等人[5]提出一種基于改進生成對抗網(wǎng)絡的法律文本生成模型ED-GAN，該模型將案情要素的關鍵詞序列編碼成隱含層向量，并結合各時間步的輸出生成文本序列，最后采用CNN網(wǎng)絡來鑒別真假文本的差距，該模型的出現(xiàn)為法律文本的自動生成提供了新思路.Karras等人[6]提出了一種稱為StyleGAN的生成對抗網(wǎng)絡，他們將風格遷移至生成器網(wǎng)絡中，StyleGAN生成的人臉圖像能夠自動地進行姿勢和風格轉換.在StyleGAN的基礎上，Abdal等人[7]提出一種稱為Image2StyleGAN的生成對抗網(wǎng)絡，Image2StyleGAN能夠將一幅給定的圖像嵌入到StyleGAN的潛在空間中.Larsen等人[8]將VAE(Variational Auto-Encoder)和GAN合并為一個無監(jiān)督生成模型，同時學習編碼、生成和測量樣本相似性.通過學習編碼器網(wǎng)絡能夠生成視覺逼真的圖像.石志國等人[9]通過對棧式自編碼器深度學習算法進行研究，提出了一種深度學習降維信息損失度量方法，為深度學習算法的改進提供了數(shù)據(jù)支撐.Bao等人[10]提出了一種將變分自編碼器與生成對抗網(wǎng)絡相結合的通用框架CVAE-GAN，用于合成細粒度類別的圖像.在CVAE-GAN中，將圖像建模為一個概率模型中標簽和潛伏屬性的組成，通過改變輸入到生成模型中的細粒度類別標簽，可以在特定類別中生成具有隨機抽取的潛伏屬性向量值的圖像，能夠生成真實的、具有細粒度類別標簽的多樣化樣本.一般而言，從已有的邊緣分布中得出的聯(lián)合分布有多種，Liu等人[11]提出了一種“共享潛在空間”的假定，假設不同域中的對偶圖像可以映射到共享潛在空間中的相同潛伏對象.基于這個假設，作者提出了基于GAN和VAE的無監(jiān)督圖像轉換的框架UNIT.Tan[12]針對單幅圖像去霧算法無法有效處理天空區(qū)域的問題提出了一種天空識別的改進暗通道先驗去霧算法，該算法不僅能對圖像中的景物和天空進行準確的去霧處理，而且還顯著的減少了運行時間.從這些工作可以看出，在圖像生成領域，單一圖像的生成問題研究的較多，取得了較好的發(fā)展，但是圖像元組的問題卻少有人研究.本文重點研究生成具有不同屬性的圖像元組問題，提出了耦合變分自動編碼器(CoVAE，Coupled Variational AutoEncoder).

現(xiàn)有的數(shù)據(jù)集以及圖像生成方法生成的圖像大多都是單一的圖像，無法生成兩個具有不同屬性的圖像(比如微笑的人臉和不微笑的人臉)元組，為了生成圖像元組，提出的CoVAE，通過訓練耦合變分自編碼器學習不同屬性圖像的特征表示，最后通過訓練好的神經(jīng)網(wǎng)絡學習的特征表示生成具有不同屬性的人臉元組.本文的貢獻有如下3點:

1)提出了耦合變分自編碼器，做出了模型上的創(chuàng)新.

2)通過學習不同屬性的特征表示更精確的生成圖像元組.

3)用模型實現(xiàn)了無監(jiān)督的人臉屬性轉換以及圖像相互轉換.

CoVAE包含兩個VAE元組，為了降低訓練的復雜度，我們共享兩個VAE的參數(shù).在實現(xiàn)生成不同屬性人臉元組時，我們用不同屬性的數(shù)據(jù)集分別訓練兩個VAE元組，訓練好的VAE元組可以學習到不同屬性的特征表示，通過這個特征表示可以更精確嚴格的生成不同屬性的人臉元組.變分自編碼器可以用屬性標簽實現(xiàn)人臉屬性轉換，我們用完整數(shù)據(jù)集訓練好的耦合變分自編碼器分別訓練兩個不同屬性的人臉數(shù)據(jù)集，不用屬性標簽而是用兩個VAE分別取平均值相減求得屬性表示，從而實現(xiàn)無監(jiān)督的人臉屬性轉換.同時發(fā)現(xiàn)也可以用訓練好的耦合變分自編碼器實現(xiàn)人臉圖像的相互轉換.

2 基礎知識

本文的工作基礎是耦合生成對抗網(wǎng)絡(CoGAN，Coupled Generative Adversarial Networks)[13]，下面簡要介紹CoGAN的基本思想.

CoGAN是Liu等人提出的一種學習多域圖像聯(lián)合分布的生成模型，CoGAN旨在學習兩個不同域的聯(lián)合分布.它由兩個GAN模型組成(如圖1所示)，每個GAN負責在一個域中生成圖像，通過生成器與判別器的部分權值共享在兩個域中學習聯(lián)合分布，從而生成圖像元組.

圖1 耦合生成對抗網(wǎng)絡結構示意圖Fig.1 Structural sketch of coupled generative adversarial networks

(1)

(2)

假設f1和f2是GAN1和GAN2的判別器，分別用下面的公式(3)和公式(4)判別兩個域的真假樣本.

(3)

(4)

判別器將輸入圖像映射到概率分布，以估計輸入是真實樣本的可能性.因為生成器的前k層解碼高級語義，后面的層解碼低級細節(jié)，判別器前k層提取低級特征，而后面的層提取高級特征，所以將生成器的前幾層權重共享，將判別器的最后幾層權重共享.這種權重共享約束使CoGAN無需監(jiān)督即可學習圖像的聯(lián)合分布.訓練好的CoGAN可用于合成成對的對應圖像，這些對應圖像共享相同的高級抽象特征，但具有不同的低級細節(jié).

損失函數(shù)由的公式(5)定義.

(5)

其中，函數(shù)V由公式(6)定義.

V(f1，f2，g1，g2)=EX1～PX1[-logf1(X1)]+

Ez～Pz[-log(1-f1(g1(z)))]+EX2～PX2[-logf2(X2)]+

Ez～Pz[-log(1-f2(g2(z)))]

(6)

3 耦合變分自編碼器

受CoGAN的啟發(fā)，本文提出了耦合變分自編碼器模型(CoVAE)，旨在學習不同屬性圖像的高級特征表示，用于生成不同屬性的圖像元組.由于VAE可以學習圖像的高級特征表示，具有堅實的數(shù)學基礎，我們可以通過耦合變分自編碼器學習不同屬性圖像的特征表示，從而更準確的生成不同屬性的圖像元組.CoVAE的結構如圖2所示.

圖2 耦合變分自編碼器結構示意圖Fig.2 Structural sketch of CoVAE

CoVAE模型包括兩個VAE(VAE1和VAE2)，VAE1和VAE2中的編碼器網(wǎng)絡分別記為q1和q2，VAE1和VAE2的解碼器網(wǎng)絡分別記為p1和p2.

編碼器負責通過兩個卷積神經(jīng)網(wǎng)絡擬合出專屬于每個輸入圖像Xk的均值和方差，

μk=f1(Xk)

(7)

logσk2=f2(Xk)

(8)

再經(jīng)過重采樣算出Zk，

Zk=μk+σk*ε

(9)

其中，ε～N(0，1).

設X1，X2分別是兩個不同屬性數(shù)據(jù)集中的圖像，X1～PX1，X2～PX2，編碼器求出兩個數(shù)據(jù)集分別對應的潛變量Z1、Z2.

(10)

(11)

(12)

(13)

CoVAE的損失函數(shù)如下:

LCoVAE=LVAE1+LVAE2

(14)

LVAE1=Lreg1+Lrecon1=DKL(q(Z1|X1)‖p1(Z1))-

Eq(Z1|X1)[logp1(X1|Z1)]

(15)

LVAE2=Lreg2+Lrecon2=DKL(q(Z2|X2)‖p2(Z2))-

Eq(Z2|X2)[logp2(X2|Z2)]

(16)

(17)

VAE的損失函數(shù)等于兩部分之和，將LVAE分成兩部分來看:Eq(Z|X)[logp(X|Z)]的期望和DKL(q(Z|X)‖p(Z))的期望，問題變成了兩個損失值分別最小化.但是這樣計算并不能達到理想的效果，DKL(q(Z|X)‖p(Z))=0表明Z沒有任何辨識度，所以-Eq(Z|X)[logp(X|Z)]不可能小(效果不好);而如果-Eq(Z|X)[logp(X|Z)]小則logp(X|Z)大(效果好)，此時DKL(q(Z|X)‖p(Z))不會小，所以這兩部分的損失值是相互對抗的.應該從整體的看LVAE，整體的LVAE越小模型就越接近收斂，而不能單純觀察某一部分的損失值，而且VAE1和VAE2共享權重，不能分開計算損失函數(shù)，所以將CoVAE的損失函數(shù)設計為一個整體損失函數(shù)，即LCoVAE.

4 實驗結果及分析

4.1 數(shù)據(jù)集

為了驗證提出的模型的有效性，使用Celeba數(shù)據(jù)集集中進行了測試，該數(shù)據(jù)集包含了202599張人臉圖片，每張人臉圖片有40個屬性標簽，例如可區(qū)分是否微笑、戴眼鏡、發(fā)色、性別、長短發(fā)等屬性特征標簽.某張圖片具有該屬性則屬性標簽為1，否則為-1，我們按照想要實現(xiàn)的實驗效果對數(shù)據(jù)集按照屬性標簽做任意劃分以訓練CoVAE模型.數(shù)據(jù)集中的圖片輸入尺寸標準化成固定尺寸為128×128×3，潛變量空間設置成200維.本文的實驗分成兩部分，都是通過CoVAE模型實現(xiàn)，主要的實驗是通過CoVAE模型生成不同屬性的人臉元組，另一個實驗是通過CoVAE模型實現(xiàn)無監(jiān)督的人臉特征轉換以及人臉相互轉換.最后通過在MNIST數(shù)據(jù)集上的實驗并與其他模型比較以證明其優(yōu)勢.

4.2 實現(xiàn)細節(jié)及結果分析

在第1個實驗中，我們希望CoVAE模型生成不同屬性的人臉元組，強調在訓練集中的不同域中沒有對應的圖像，我們以不同屬性的人臉數(shù)據(jù)集分別訓練兩個VAE.訓練良好的CoVAE可以學習不同屬性數(shù)據(jù)集的高級特征表示，最后輸入任意一張人臉圖片，CoVAE模型都可以生成不同屬性的人臉元組.我們按照不同的屬性將Celeba數(shù)據(jù)集分為兩部分，第1部分記為數(shù)據(jù)集1，將人臉圖片標準化成固定尺寸為128×128×3輸入VAE1，第2部分記為數(shù)據(jù)集2，將人臉圖片標準化成固定尺寸為128×128×3輸入VAE2.兩個數(shù)據(jù)集:一個是具有該屬性的圖片數(shù)據(jù)集，一個是不具有該屬性的圖片數(shù)據(jù)集，它們之間不存在任何對應關系或配對.我們輸出了200維潛變量空間的前12維的正態(tài)分布圖像如圖3所示.生成的不同屬性人臉元組如圖4所示.

圖3 潛變量空間的前12維的正態(tài)分布圖像Fig.3 First 12-dimensional normal distribution image of latent variable space

圖4 微笑、眼鏡、發(fā)色的人臉元組圖像Fig.4 Smile，glasses，hair color face tuple image

從圖3中可以看到200維潛變量的前12維的正態(tài)分布，每一維都是一個正態(tài)分布，這些所有的分布加起來是當前圖片的高級特征，所以人臉圖片的高級特征可以理解為是一個多元正態(tài)分布.

從圖4中可以看到訓練良好的CoVAE可以成功的捕獲每個人臉的高級特征-比如是否微笑，是否帶眼鏡，發(fā)色.圖4中，第1組圖片中，VAE1可以捕獲人臉笑的高級特征，VAE2可以捕獲人臉不笑的高級特征，所以輸入1張人臉圖片，訓練良好的CoVAE就可以生成不同屬性的人臉元組，即第1組圖像中第1行微笑的人臉圖像，和第2行不笑的人臉圖像，上下圖像為同一個人對應微笑和不微笑的人臉元組.同樣，第2組圖像中，第1行是CoVAE生成的戴眼鏡的人臉圖像，第2行是第1行中的每個人臉分別對應的不帶眼鏡的圖像.第3組圖像中，CoVAE生成了第1行淺發(fā)色的人臉圖像，第2行圖像為第1行每個人臉分別對應的深發(fā)色圖像.類似于此，訓練良好的CoVAE可以生成任意屬性的人臉元組.

此外，我們發(fā)現(xiàn)CoVAE模型可以實現(xiàn)無監(jiān)督的人臉特征轉換以及人臉相互轉換效果.單個VAE可以通過屬性標簽學習實現(xiàn)人臉特征轉換，在本文實驗中，我們發(fā)現(xiàn)可以應用CoVAE模型中兩個VAE的特點不需要屬性標簽也可以實現(xiàn)人臉特征轉換，即用CoVAE模型實現(xiàn)無監(jiān)督人臉特征轉換.使用完整的Celeba數(shù)據(jù)集訓練CoVAE模型，訓練良好的CoVAE模型可以生成任意屬性特征的人臉圖片，然后將數(shù)據(jù)集按照不同屬性劃分為兩個數(shù)據(jù)集，分別將兩個數(shù)據(jù)集輸入兩個VAE，每個VAE提取出來對應數(shù)據(jù)集的高級特征表示Z，再以兩個Z相減求出對應屬性的特征向量，從而對任意輸入人臉圖片就可以實現(xiàn)該屬性的加減變換.用VAE1實現(xiàn)該屬性的相加，用VAE2實現(xiàn)該屬性的相減.用CoVAE模型實現(xiàn)人臉屬性相加及人臉屬性相減結果如圖5所示.隨后又用訓練良好的CoVAE模型實現(xiàn)了人臉的相互轉換，實驗結果如圖6所示.

圖5 微笑、發(fā)色、性別的人臉屬性加減圖像Fig.5 Smile，hair color，gender face attributes plus or minus images

從圖5的第1組圖片中可以看出，CoVAE中VAE1實現(xiàn)了微笑屬性特征的相加，VAE2實現(xiàn)了微笑屬性特征的相減，并且是對同一張人臉圖像進行特征加減，是同一張人臉圖像的不同屬性元組.中間一組和下邊一組的圖片分別實現(xiàn)了發(fā)色和性別的屬性加減.第1組圖像中，第1行圖片人臉圖像從不笑到笑，第2行人臉圖像從笑到不笑;第2組圖像中，第1行人臉圖像發(fā)色從黑色到棕色，第2行人臉圖像發(fā)色從棕色到黑色圖片;第3組圖像中，第1行人臉圖像從性別女到男，第2行人臉圖像從性別男到女.可以清楚的看到，即使在潛空間中將一個特征移動很遠的距離，除了我們想操控的這個特征，圖像的核心幾乎沒有改變.這證明了CoVAE在捕獲和調節(jié)圖像中高級特征的強大能力.

從圖6中的3組圖片可以看到CoVAE中VAE1實現(xiàn)了左邊圖片到右邊圖片的轉化，VAE2實現(xiàn)了反向的轉化，并且轉化的時候包含了多種特征屬性(比如微笑，發(fā)色，性別等).這個實驗顯示了CoVAE的潛空間中應該是一個連續(xù)的空間分布，才能轉化和嘗試去生成一個多種屬性的不同人臉.

圖6 人臉圖像的相互轉換Fig.6 Face image conversion

本文使用卷積網(wǎng)絡來實現(xiàn)CoVAE，兩個編碼器、解碼器具有相同的結構，為了減少訓練參數(shù)加快訓練速度我們共享兩個VAE的編碼器解碼器權重，每一個卷積層之后都有一個歸一化層去加快訓練.訓練人臉的CoVAE層數(shù)如表1所示.使用ADAM算法進行訓練，學習率設置為0.0005，最小批量設置為32.并對CoVAE進行了200次迭代訓練.

表1 生成人臉的CoVAETable 1 CoVAE for face generation

本文最后將模型應用于MNIST數(shù)據(jù)集并與相關模型作比較，根據(jù)指標顯示，CoVAE模型生成圖像優(yōu)于其他模型.我們選用的評價指標包括SSIM、PSNR、MSE、NRMSE.SSIM是一種衡量兩幅圖像相似度的指標，用均值作為亮度估計，標準差作為對比度估計，協(xié)方差作為結構相似程度的度量.PSNR是峰值信號的能量與噪聲的平均能量之比.MSE是真實值與預測值的差值的平方然后求和平均.NRMSE就是將MSE的值開方后變成(0，1)之間.我們將正域和負域的MNIST數(shù)據(jù)集分別訓練兩個VAE，數(shù)字圖像在潛變量空間分布如圖7所示，生成圖像如圖8所示.我們將CoVAE模型與其他比較流行的模型作比較，CoVAE模型優(yōu)于其他的模型生成效果，結果數(shù)值如表2所示.

圖7 正域及負域數(shù)據(jù)在潛變量空間的分布圖Fig.7 Distribution diagram of positive and negative domain data in latent variable space

圖7中的三角形的點代表正域數(shù)字圖像在潛變量空間中的分布，圓形的點代表負域數(shù)字圖像在潛變量空間中的分布，這些點中每個點都代表了原圖像在潛變量空間中的坐標，就是提取出來的高級特征，我們通過這個特征可以重構圖像.圖8中每組圖片第1行的圖像都是CoVAE中VAE1生成的正域數(shù)字圖像，第2行的圖像是VAE2生成的負域數(shù)字圖像.

圖8 CoVAE生成正負域的數(shù)字圖像Fig.8 CoVAE generated digital images of positive and negative fields

在表2中，結構相似性SSIM數(shù)值越接近于1，相似度越高，代表融合質量越好;峰值信噪比PSNR用于衡量圖像有效信息與噪聲之間的比率，能夠反映圖像是否失真，PSNR值越大融合圖像質量越好;均方誤差MSE反映的是變量間的差異程度，用于衡量融合圖像與理想圖像之間的差異，MSE越小，表示融合圖像質量越好;歸一化均方根誤差NRMSE是將一個翻譯空間細節(jié)信息的評價指標的值變成(0，1)之間，越小越好.我們可以從上表數(shù)值得知，在生成數(shù)字圖像上CoVAE的性能優(yōu)于其他模型，分析原因其一是因為變分自編碼器在提取圖像高級特征上表現(xiàn)的強大能力，利用兩個卷積神經(jīng)網(wǎng)絡擬合出來對應的均值方差，經(jīng)過重采樣求出對應的潛變量，正如同數(shù)學函數(shù)一樣準確嚴謹，精致迂回的數(shù)學推導使其相對于生成對抗網(wǎng)絡粗狂的對抗訓練更準確;其二CoVAE將潛變量維度擴展為100維，更多維的潛變量意味著更加準確的多維正態(tài)分布，每一維正態(tài)分布都對應了圖像的一維特征，多維的正態(tài)分布更能細致精準的刻畫每一張圖像的高級特征，所以生成的數(shù)字圖像更清楚準確.

表2 MNIST數(shù)據(jù)集上不同模型的相關指標結果Table 2 Correlation index results of different models on MNIST data set

5 結 論

受CoGAN思想的啟發(fā)，提出了用于生成不同屬性人臉元組的CoVAE模型.該模型學習不同屬性數(shù)據(jù)集高級特征的表示，從而更精確的生成不同屬性的人臉元組，嚴格控制元組中人臉主體的一致性，相較于CoGAN生成的人臉圖像元組結果更精準.此外，本文也實現(xiàn)了CoVAE在無監(jiān)督人臉屬性轉換及人臉相互轉換的應用.但是VAE在生成人臉圖像上并不是很清楚，這也是本文需要進一步研究提高的地方.