張營(yíng)營(yíng)

（1.中國(guó)科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所上海200050；2.上?？萍即髮W(xué)上海201210；3.中國(guó)科學(xué)院大學(xué)北京100049）

近年來(lái)，深度學(xué)習(xí)在很多領(lǐng)域的都取得了突破性進(jìn)展，但大家似乎發(fā)現(xiàn)了這樣的一個(gè)現(xiàn)實(shí)，即深度學(xué)習(xí)取得突破性進(jìn)展的工作基本都是判別模型相關(guān)的。2014年 Goodfellow等人啟發(fā)自博弈論中的二人零和博弈，開(kāi)創(chuàng)性地提出了生成對(duì)抗網(wǎng)絡(luò)[5]（GAN）。生成對(duì)抗網(wǎng)絡(luò)包含一個(gè)生成模型和一個(gè)判別模型。其中，生成模型負(fù)責(zé)捕捉樣本數(shù)據(jù)的分布，而判別模型一般情況下是一個(gè)二分類器，判別輸入是真實(shí)數(shù)據(jù)還是生成的樣本。這個(gè)模型的優(yōu)化過(guò)程是一個(gè)“二元極小極大博弈”[1]問(wèn)題，訓(xùn)練時(shí)固定其中一方（判別網(wǎng)絡(luò)或生成網(wǎng)絡(luò)），更新另一個(gè)模型的參數(shù)，交替迭代，最終，生成模型能夠估測(cè)出樣本數(shù)據(jù)的分布。生成對(duì)抗網(wǎng)絡(luò)的出現(xiàn)對(duì)無(wú)監(jiān)督學(xué)習(xí)[15]，圖片生成[16]的研究起到極大的促進(jìn)作用。生成對(duì)抗網(wǎng)絡(luò)已經(jīng)從最初的圖片生成，被拓展到計(jì)算機(jī)視覺(jué)的各個(gè)領(lǐng)域，如圖像分割[2]、視頻預(yù)測(cè)[3]、風(fēng)格遷移[4]等。

1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)（GAN）包含一個(gè)生成模型[6]G和一個(gè)判別模型[7]D，其結(jié)構(gòu)如圖1所示。生成對(duì)抗網(wǎng)絡(luò)的目的是學(xué)習(xí)到訓(xùn)練數(shù)據(jù)的分布pg，為了學(xué)習(xí)該分布，首先定義一個(gè)輸入噪聲變量pz(z)，接下來(lái)將其映射到數(shù)據(jù)空間G(z;θg)，這里的G就是一個(gè)以θg作為參數(shù)的多層感知網(wǎng)絡(luò)構(gòu)成的生成模型。此外，定義一個(gè)判別模型D(x;θd)用來(lái)判斷輸入的數(shù)據(jù)是來(lái)自生成模型還是訓(xùn)練數(shù)據(jù)，D的輸出為x是訓(xùn)練數(shù)據(jù)的概率。最后訓(xùn)練D使其盡可能準(zhǔn)確地判斷數(shù)據(jù)來(lái)源，訓(xùn)練G使其生成的數(shù)據(jù)盡可能符合訓(xùn)練數(shù)據(jù)的分布。

圖1 生成對(duì)抗網(wǎng)絡(luò)模型結(jié)構(gòu)圖

算法1生成對(duì)抗網(wǎng)絡(luò)的批隨機(jī)梯度下降方法.

換句話說(shuō)，D和G的優(yōu)化過(guò)程是一個(gè)二元極小極大問(wèn)題，其目標(biāo)函數(shù)可以表示為：

值得說(shuō)明的是，D和G的優(yōu)化必須交替進(jìn)行，因?yàn)樵谟邢薜挠?xùn)練數(shù)據(jù)情況下，如果先將D優(yōu)化完成會(huì)導(dǎo)致過(guò)度擬合，從而模型不能收斂。訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)的算法偽代碼參考算法1。

2 生成對(duì)抗網(wǎng)絡(luò)的各種變體

2.1 條件生成對(duì)抗網(wǎng)絡(luò)

條件生成對(duì)抗網(wǎng)絡(luò)（CGAN）是生成對(duì)抗網(wǎng)絡(luò)的一個(gè)擴(kuò)展，其結(jié)構(gòu)圖如圖2所示，它的生成模型和判別模型都基于一定的條件信息y。這里的y可以是任何的額外信息，例如，類別標(biāo)簽或者數(shù)據(jù)屬性等。這樣生成模型G就有兩個(gè)輸入：pz(z)和y。一般情況下，pz(z)和y以隱藏節(jié)點(diǎn)連接的方式結(jié)合在一起。因此，該二元極小極大問(wèn)題的目標(biāo)函數(shù)就變?yōu)椋?/p>

圖2 條件生成對(duì)抗網(wǎng)絡(luò)模型結(jié)構(gòu)圖

條件生成對(duì)抗網(wǎng)絡(luò)可以根據(jù)輸入條件不同生成相應(yīng)類型的圖片。

2.2 深度卷積生成對(duì)抗網(wǎng)絡(luò)

深度卷積生成網(wǎng)絡(luò)（DCGAN）將卷積神經(jīng)網(wǎng)絡(luò)（CNN）[12]引入到了生成模型和判別模型當(dāng)中，使得生成性能有了質(zhì)的提升，以至于后來(lái)很多工作都在該網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)。該網(wǎng)絡(luò)結(jié)構(gòu)的幾個(gè)設(shè)計(jì)要點(diǎn)為：1）將卷積網(wǎng)絡(luò)中的池化層[14]用相應(yīng)步長(zhǎng)的卷積層代替；2）在生成模型和判別模型中都使用了批歸一化層[13]；3）去掉了網(wǎng)絡(luò)中的全連接層[11]；4）在生成模型中采用ReLU[7]激活函數(shù)；5）在判別模型中采用LeakyReLU[9]激活函數(shù)。其生成模型結(jié)構(gòu)圖如圖3所示。深度卷積生成網(wǎng)絡(luò)相對(duì)于一般的生成對(duì)抗網(wǎng)絡(luò)而言具有更強(qiáng)大的生成能力，同時(shí)訓(xùn)練起來(lái)更加穩(wěn)定、容易，生成樣本更加多樣化等優(yōu)點(diǎn)。深度卷積生成網(wǎng)絡(luò)生成的圖片足以以假亂真，但缺點(diǎn)是生成圖像分辨率比較低（64*64），這也是目前各種生成對(duì)抗網(wǎng)絡(luò)及其變體所具有的共同問(wèn)題，因此，如何生成高質(zhì)量、高分辨率圖像將會(huì)是一個(gè)熱門研究方向。

圖3 深度卷積生成網(wǎng)絡(luò)中生成模型結(jié)構(gòu)圖

2.3 半監(jiān)督生成對(duì)抗網(wǎng)絡(luò)

半監(jiān)督生成對(duì)抗網(wǎng)絡(luò)（SGAN）的判別模型不僅僅判斷圖像的來(lái)源（由G生成或者來(lái)自訓(xùn)練數(shù)據(jù)）同時(shí)判斷圖像的類別，這樣使得判別模型具有更強(qiáng)的判別能力，其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4所示。另一方面，輸入網(wǎng)絡(luò)的類別信息也在一定程度上提高了生成模型生成圖片的質(zhì)量，因此半監(jiān)督抗網(wǎng)絡(luò)的性能要比普通的生成對(duì)抗網(wǎng)絡(luò)的性能略好一些。

圖4 半監(jiān)督生成對(duì)抗網(wǎng)絡(luò)生成結(jié)果生成

2.4 信息生成對(duì)抗網(wǎng)絡(luò)

信息生成對(duì)抗網(wǎng)絡(luò)[10]（InfoGAN），其結(jié)構(gòu)圖如圖5所示，它在一般的生成對(duì)抗網(wǎng)絡(luò)的基礎(chǔ)上增加了一個(gè)潛在編碼c，其中c可以包含多種變量，比如在MNIST中，c可以一個(gè)值來(lái)表示類別，一個(gè)高斯分布的值來(lái)表示手寫體的粗細(xì)。網(wǎng)絡(luò)中生成模型的輸入pz(z)和y，輸出為G(z,c)。為了避免網(wǎng)絡(luò)沒(méi)有監(jiān)督使用c，信息生成對(duì)抗網(wǎng)絡(luò)在優(yōu)化的目標(biāo)函數(shù)中增加了一項(xiàng)：I(c;G(z,c))用來(lái)表示共同信息的程度。因此該網(wǎng)絡(luò)的目標(biāo)函數(shù)為：

圖5 信息生成對(duì)抗網(wǎng)絡(luò)模型結(jié)構(gòu)圖

信息生成對(duì)抗網(wǎng)絡(luò)可以通過(guò)改變潛在編碼c的值來(lái)控制生成圖片的屬性，例如生成不同傾斜度或者粗細(xì)的數(shù)字。

3 生成對(duì)抗網(wǎng)絡(luò)及其變體性能的比較

目前對(duì)于生成圖像的質(zhì)量好壞的評(píng)價(jià)沒(méi)有一個(gè)量化的標(biāo)準(zhǔn)，主要依靠個(gè)人感官評(píng)價(jià)。最早Goodfellow等人提出的生成對(duì)抗網(wǎng)絡(luò)其實(shí)生成圖像的能力非常有限，生成模型和判別模型都采用多層感知器，而且是首次提出該理論，實(shí)驗(yàn)調(diào)參經(jīng)驗(yàn)缺乏一定的積累。但對(duì)后續(xù)發(fā)展的貢獻(xiàn)是巨大的，因?yàn)檫@是一個(gè)理論從無(wú)到有的過(guò)程，無(wú)論后續(xù)的工作取得什么樣的成就，都是最初生成對(duì)抗網(wǎng)絡(luò)理論的基礎(chǔ)上做的改進(jìn)。半監(jiān)督生成對(duì)抗網(wǎng)絡(luò)和條件生成對(duì)抗網(wǎng)絡(luò)是緊接著出現(xiàn)的改進(jìn)工作，它們的性能比原始的生成對(duì)抗網(wǎng)絡(luò)略好。深度卷積生成對(duì)抗網(wǎng)絡(luò)的出現(xiàn)是一個(gè)里程碑意義的工作，它使得生成對(duì)抗網(wǎng)絡(luò)的性能有了質(zhì)變，它首次將深度卷積網(wǎng)絡(luò)引入生成對(duì)抗網(wǎng)絡(luò)，而且為穩(wěn)定訓(xùn)練網(wǎng)絡(luò)提供一套比較完整的參數(shù)配置。在后續(xù)工作中絕大多數(shù)模型參數(shù)配置都采用它的配置。信息生成對(duì)抗網(wǎng)絡(luò)的主要貢獻(xiàn)是引入了一個(gè)能夠控制生成圖像屬性的潛在編碼，從而讓網(wǎng)絡(luò)生成人為規(guī)定特殊屬性的圖像。

4 生成對(duì)抗網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)領(lǐng)域的幾個(gè)應(yīng)用

4.1 圖像分割

圖像分割是指將圖像的中的內(nèi)容根據(jù)不同的語(yǔ)義分割開(kāi)來(lái)。絕大多數(shù)分割的方法是將圖像的每個(gè)像素進(jìn)行分類，這樣就忽略了空間一致性這個(gè)重要信息。生成對(duì)抗網(wǎng)絡(luò)做圖像分割時(shí)，生成模型被圖像像素分類的網(wǎng)絡(luò)替換，判別模型用于判斷是網(wǎng)絡(luò)的分類產(chǎn)生的分割圖（Class predictions）還是標(biāo)準(zhǔn)的分分割圖（Ground truth）。其流程圖如圖6所示。

圖6 生成對(duì)抗網(wǎng)絡(luò)應(yīng)用于圖像分割的流程圖

4.2 視頻預(yù)測(cè)

視頻預(yù)測(cè)是根據(jù)當(dāng)前的幾幀視頻預(yù)測(cè)接下來(lái)的一幀或者多幀視頻。一般常用的做法是用最小二乘回歸視頻幀的逐個(gè)像素值，這樣做的一個(gè)問(wèn)題就是生成視頻幀存在動(dòng)作模糊（Motion blur）。一種采用生成對(duì)抗網(wǎng)絡(luò)的做法是，將現(xiàn)有視頻幀改變不同尺寸輸入生成模型G，讓其輸出接下來(lái)的真值幀（Ground truth frame）。圖7給出了生成對(duì)抗網(wǎng)絡(luò)應(yīng)用于視頻預(yù)測(cè)時(shí)生成網(wǎng)絡(luò)部分示意圖。判別模型和一般生成對(duì)抗網(wǎng)絡(luò)相同，即判斷視頻幀是生成的還是訓(xùn)練數(shù)據(jù)原有的。

圖7 視頻預(yù)測(cè)生成對(duì)抗網(wǎng)絡(luò)生成模型示意圖

4.3 風(fēng)格遷移

風(fēng)格遷移是指將目標(biāo)圖像的風(fēng)格遷移到源圖像當(dāng)中，使得源圖像保留內(nèi)容的同時(shí)具有目標(biāo)圖像的風(fēng)格，比如將卡通人物的風(fēng)格遷移到真實(shí)人臉圖像使其成為卡通頭像。生成對(duì)抗網(wǎng)絡(luò)用于圖像風(fēng)格遷移時(shí)其特點(diǎn)有3個(gè)：1）將源圖像輸入生成網(wǎng)絡(luò)后，生成網(wǎng)絡(luò)輸出目標(biāo)圖像風(fēng)格的圖片；2）生成圖像和源圖像特征相同（或者說(shuō)保持內(nèi)容）；3）當(dāng)把目標(biāo)圖像輸入生成網(wǎng)絡(luò)后，生成網(wǎng)絡(luò)仍然輸出目標(biāo)圖像（相當(dāng)于單位映射）。風(fēng)格遷移生成對(duì)抗網(wǎng)絡(luò)的結(jié)構(gòu)如圖8所示。

圖8 風(fēng)格遷移生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)圖

5 結(jié) 論

生成對(duì)抗網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)的各個(gè)領(lǐng)域具有廣泛的應(yīng)用前景，雖然經(jīng)過(guò)幾年的發(fā)展其性能有了很大程度的提升，但仍然存在以下幾個(gè)問(wèn)題：1）缺乏一個(gè)量化的評(píng)價(jià)結(jié)果好壞的標(biāo)準(zhǔn)；2）生成圖片的分辨率有限，很難生成高清圖像；3）網(wǎng)絡(luò)訓(xùn)練對(duì)參數(shù)配置敏感，不穩(wěn)定。因此，如何構(gòu)建一個(gè)訓(xùn)練容易，能夠生成高質(zhì)量高分辨率圖像的網(wǎng)絡(luò)是接下的研究熱點(diǎn)之一。鑒于目前學(xué)術(shù)界對(duì)于生成對(duì)抗網(wǎng)絡(luò)綜述的文章非常少，本文分析比較了生成對(duì)抗網(wǎng)絡(luò)及其變體，對(duì)其做了一個(gè)總結(jié)和概述，同時(shí)分析了目前存在的一些問(wèn)題，展望了該領(lǐng)域未來(lái)的研究趨勢(shì)。本文的目的是方便研究者對(duì)生成對(duì)抗網(wǎng)絡(luò)有一個(gè)總體的認(rèn)識(shí)和把握，希望對(duì)大家在生成對(duì)抗網(wǎng)絡(luò)相關(guān)領(lǐng)域的科研有所幫助或啟示。

參考文獻(xiàn)：

[1]王海軍.集值型兩個(gè)函數(shù)的極小極大定理[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)，2015（8）：293-298.

[2]宋熙煜，周利莉，李中國(guó)，等.圖像分割中的超像素方法研究綜述[J].中國(guó)圖象圖形學(xué)報(bào)，2015，20（5）：599-608.

[3]齊美彬，陳秀麗，楊艷芳，等.高效率視頻編碼幀內(nèi)預(yù)測(cè)編碼單元?jiǎng)澐挚焖偎惴╗J].電子與信息學(xué)報(bào)，2014（7）：1699-1705.

[4]蔡興泉，郭天航.面向手機(jī)應(yīng)用的圖像色彩風(fēng)格遷移系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].信息通信，2016（6）：139-140.

[5]Ian J.G，Jean P，Shah，Mehdi M，Bing X，Yoshua B.Generative adversarial nets.[C]//NIPS.2014：2672-2680.

[6]王軍，夏利民，夏勝平.利用生成模型的人體行為識(shí)別[J].國(guó)防科技大學(xué)學(xué)報(bào)，2016，38（2）：68-74.

[7]黃利文.一種判別模型的擇優(yōu)方法[J].江西理工大學(xué)學(xué)報(bào)，2013，34（1）：96-99.

[8]Zeiler M D，Ranzato M，Monga R.On rectified linear units for speech processing[C]//ICASSP 2013：3517-3521.

[9]Maas A L，Hannun A Y，Ng A Y.Rectifier nonlinearities improve neural network acoustic models.[C]//ICML.2013：1152-1160.

[10]Chen X，Duan Y，Houthooft R.Infogan：Interpreta?ble representation learning by information maximiz?ing generative adversarial nets.[C]//NIPS.2016：2172-2180.

[11]李玉鑑，張婷，胡海鶴.基于多層感知器的深度核映射支持向量機(jī)[J].北京工業(yè)大學(xué)學(xué)報(bào)，2016，42（11）：1652-1661.

[12]Krizhevsky A，Sutskever I，Hinton G E.Imagen?et classification with deep convolutional neural net?works[C]//NIPS.2012：1097-1105.

[13]Ioffe S，Szegedy C.Batch Normalization：Accelerat?ing Deep Network Training by Reducing Internal Covariate Shift[C]//ICML.2015：448-456.

[14]李丹，沈夏炯，張海香，等.基于Lenet-5的卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)算法[J].計(jì)算機(jī)時(shí)代，2016（8）：4-6.

[15]王建新，錢宇華.符號(hào)數(shù)據(jù)的無(wú)監(jiān)督學(xué)習(xí)：一種空間變換方法[J].計(jì)算機(jī)科學(xué)，2016，43（1）：89-93.

[16]陳中貴，歐陽(yáng)永昇，曹娟.特征保持的馬賽克圖像生成方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2014，26（4）：520-527.