汪美琴，袁偉偉，張繼業(yè)

(1.中國航天科工集團第二研究院 七〇六所，北京 100854；2.中國人民解放軍 32180部隊，北京 100012)

0 引 言

隨著科技的進步和智能化技術的發(fā)展，國內外都掀起了“智能化”的狂潮，人工智能和深度學習成為最近幾年的熱詞。一般來說，根據數據集是否被標注，機器學習算法大致可以分為監(jiān)督學習和無監(jiān)督學習兩類[1]。有監(jiān)督學習需要依賴已知帶標記的數據，雖然取得了不錯的成績，但是成本較高，因此無監(jiān)督學習受到了越來越多的關注[1]。在無監(jiān)督學習任務中，生成模型是最有前途的技術之一，早期的生成模型有受限玻爾茲曼機、深度信念網絡、變分自動編碼器、深度玻爾茲曼機等，然而由于泛化性沒有很好，影響了它們的性能和結果。Goodfellow等[2]引入了生成模型領域的一個新概念，即生成對抗網絡(generative adversarial networks，GAN)，它是一種類似于對抗博弈游戲的訓練網絡，來源于博弈論中的二人零和博弈思想，通過讓兩個神經網絡相互博弈的方式進行學習，在不斷地優(yōu)化迭代之后，使模型達到最優(yōu)，即納什平衡狀態(tài)。GAN作為一種新興的無監(jiān)督學習的生成模型一經提出便備受關注，在許多領域使用GAN的愿望也越來越大[3]。迄今為止，GAN在圖像生成、語音合成、目標檢測、風格遷移、隱私保護等方面已經有一些研究和應用。

本文首先介紹了基本GAN模型的結構和優(yōu)點，并分析了其存在的問題，接著對GANs的衍生模型進行了總結歸納，隨之對其在不同領域尤其是計算機視覺和信息安全領域的潛在應用進行了綜述，最后對GAN未來的發(fā)展趨勢和研究提出了一些展望。

1 基本GAN模型簡介

1.1 基本GAN模型的結構

生成對抗網絡由兩個重要部分組成，即判別器D和生成器G，生成器G通過機器生成數據，目的是學習真實樣本的分布，生成相似度逼近真實樣本的偽樣本[4]，而判別器D的作用是區(qū)分從數據獲取的真實樣本和由生成器G生成的偽樣本。兩個模型通過不斷地對抗訓練來迭代優(yōu)化，使生成器G生成的數據分布最大可能接近于真實數據分布，當判別器D每次輸出的概率基本為1/2，即判別器相當于隨機猜測樣本是真是假，便說明模型達到了納什均衡，即最優(yōu)狀態(tài)，這就是GAN的對抗性思想，如圖1所示為GAN的模型結構，GAN模型的訓練過程可以分為3個階段，第一階段：固定判別器D，訓練生成器G，第二階段：固定生成器G，訓練判別器D，然后循環(huán)階段一和階段二，不斷進行訓練。

圖1 基本GAN模型結構

形式上，生成器G和判別器D的優(yōu)化過程可以定義為二元極小極大博弈問題，其目標函數如下所示

式中：Pdata(x)代表真實的數據分布，Pz(x)代表生成的數據分布，訓練生成器以最小化目標函數，而訓練判別器以使其最大化，最終使生成器生成類似于真實數據的數據[5]。

1.2 基本GAN模型的優(yōu)點

由于生成器是一個簡單的、確定的前饋網絡[6]，因此GAN可以用簡單的方式對生成的數據進行采樣，而無需利用馬爾科夫鏈和變分界線，也無需在學習過程中進行推斷，因此在采樣上計算較快且準確率較高。此外，GAN模型可以并行生成樣本，而無需利用與輸入維數成比例的運行時間。再者，GAN能夠更好建立數據分布的模型，且已廣泛應用于圖像處理領域，因為事實證明能夠很好的與圖像配合使用[7]，能生成更清晰逼真銳利的圖像。理論上，GAN能夠訓練任何一種生成器網絡，具有更加靈活的框架，與傳統(tǒng)神經網絡需要構建一個損失函數相比，GAN可以學習損失函數。

1.3 基本GAN模型存在的問題

盡管GAN有許多優(yōu)點，但是出于訓練的目的，如何尋找納什平衡解是一個挑戰(zhàn)和難點，在實際訓練中容易出現判別器D收斂、生成器G發(fā)散的現象，兩個網絡之間很難出現很好的同步，因此GAN面臨著難訓練、不穩(wěn)定的問題。

GAN存在模式崩潰現象，當生成器G學習到一個參數設置，可以生成對判別器D而言特別逼真的樣本，由于此樣本很容易騙過判別器D，所以生成器G可能會一次又一次的生成相同的偽樣本，最終始終生成同樣的樣本點，出現模式缺失，無法繼續(xù)學習。

梯度消失也是GAN存在的問題之一，如果判別器D始終能夠正確判斷真實樣本為真和生成樣本為假，那么無論生成器G生成的樣本多么好，判別器D都可以把它們分類為假樣本，此時損失降為零，導致生成器G沒有學習，就產生了梯度消失現象。

2 GAN的發(fā)展及其衍生模型

針對基本GAN模型存在的難訓練、不穩(wěn)定、梯度消失、模式崩潰等問題，研究者們采用了許多方法去加以改進以期望解決這些問題，也隨之出現了越來越多的衍生模型，有基于目標函數進行優(yōu)化的，有基于架構進行優(yōu)化的，這些方法雖然取得了一定的效果，但也是有著一定的代價的，接下來是具體的幾種改進方式。

2.1 基于目標函數優(yōu)化的GANs

上文提到，生成器的目標是生成與真實數據分布接近的數據，GAN的實質是生成器和判別器的對抗博弈問題，那么目標函數就是影響到基本GAN模型的直接因素。最初的GAN是通過最小化Jensen-Shannon(JS)散度來實現的，以最小化生成器的損失函數[1]，然而JS散度由于其自身函數域的問題，容易在訓練中發(fā)生梯度消失的現象，導致生成數據真實數據分布差異較大。為了解決這類問題，文獻[8]提出了f-GAN，認為可以根據任意凸函數下的f-散度來構建GAN的目標函數，達到增強GAN穩(wěn)定性的效果，但是實驗結果表明，f-GAN的結果具有較大的不確定性，更多的是一種推論，大部分問題仍然沒有得到解決。

為了避免使用JS散度造成的梯度為0的問題，文獻[9]提出了LSGAN(least square GAN)，使用最小二乘損失函數代替?zhèn)鹘y(tǒng)GAN模型中的交叉熵損失函數，在判別器達到最優(yōu)的時候，將生成器優(yōu)化的目標變成了皮爾森卡方散度，解決了GAN模型中梯度消失的問題，并且在整個學習過程中比基本GAN模型更加穩(wěn)定。但盡管如此，LSGAN使用的還是屬于f-散度，在衡量兩個分布的相似程度時，仍然避不開零測集的問題，訓練依然有可能不穩(wěn)定。

針對散度距離問題，以及訓練不穩(wěn)定的情況，文獻[10]提出了WGAN(Wasserstein GAN)，它沒有使用Jen-sen-Shannon(JS)散度，而是使用Earth-Mover距離來計算真實數據的概率分布與生成數據的相似度，能夠解決訓練不穩(wěn)定、梯度消失的問題，但是由于判別器使用了權值裁剪的方法，WGAN有可能出現產生的數據樣本質量較低，甚至在收斂過程中有時會失敗的問題。

基于WGAN的不足，文獻[11]提出了WGAN-GP，通過用懲罰機制代替了權重裁剪以強制執(zhí)行Lipschitz約束，以此來解決WGAN中權重剪裁導致的梯度消失、參數不集中等問題，相比WGAN有更好的穩(wěn)定性和更多的多樣性，但是該方法收斂速度慢，可能需要訓練多次才能達到收斂狀態(tài)。此外，文獻[12]提出了WGAN-LP，它使用了一個新的懲罰項來實施Lipschitz約束，能夠進一步提高網絡訓練的穩(wěn)定性[1]，但是梯度懲罰增加了計算復雜度。

為了使模型訓練更加穩(wěn)定，與WGAN類似，均值和協方差特征匹配GAN(McGAN[13])引入了新的積分概率度量標準(integral probability metrics，IPM)進行訓練[14]，對判別器的二階矩陣進行了約束，但是由于裁剪的使用最終限制了模型的容量，且需要張量分解，因此難以擴展到高階矩匹配。

2.2 基于架構優(yōu)化的GANs

雖然采用目標函數優(yōu)化的方法，能夠有效改善基本GAN模型梯度消失、訓練不穩(wěn)定等問題，但是這些方法或多或少都存在一些缺陷，于是研究者們從架構的角度進行考慮和優(yōu)化，與其它的模型和算法進行結合，并取得了一些成果，下面將列舉一些常見的優(yōu)化變體。

2.2.1 基于條件優(yōu)化的GANs

為了控制基本GAN模型生成過程過于自由的問題，文獻[15]提出了條件生成對抗網絡(CGAN)，在基本GAN模型的基礎上增加了約束條件，提供了一個附加參數(標簽)和潛在空間來改變生成器，判別器則以真實圖像和標簽作為輸入，這種改進使得網絡能夠朝著既定的方向生成樣本。但是CGAN僅僅是添加了約束條件，模型訓練的穩(wěn)定性仍然是不足的。

輔助分類器GAN(auxiliary classifier GANs，ACGAN[16])，在基本GAN模型的基礎上增加了一個分類器能夠對類別標簽進行分類，從而達到輔助訓練的目的，能夠以半監(jiān)督的方式生成多樣化和高分辨率的可分辨圖像，但是當訓練數據較少時，訓練的圖片多樣性不足，仍然可能出現梯度消失等問題。

在基本GAN模型中，生成器的輸入是一段噪聲z，因此很難控制z與生成數據的語義特征的對應關系，為了增加GAN模型的可解釋性，文獻[17]提出了信息生成對抗網絡(InfoGAN)，在隨機噪聲中添加了可解釋性的潛在編碼，從而能夠幫助控制數據的生成。但是由于添加了解釋性信息，增加了計算的負擔，使得生成圖像的多樣性也不足。

DCGAN[18](deep convolutional GAN)的提出為GAN的發(fā)展做出了突出貢獻，它將卷積神經網絡CNN和GAN結合起來，填補了CNN在有監(jiān)督學習和無監(jiān)督學習成功之間的差距[19]。實驗結果表明，DCGAN在大部分場景中都能學習到特征，并能利用學習到的特征來完成新的任務，在大多數訓練下是穩(wěn)定的。但是DCGAN只對結構進行了改進，沒有對優(yōu)化方法進行改進，還有一定的改進空間。

為了使模型訓練更穩(wěn)定，BigGAN[20]通過對生成器應用正交正則化使其可以使用簡單的“截斷技巧”，從而通過減小生成器輸入的方差來精確控制樣本的保真度和多樣性之間的權衡[20]。該方法雖然能使得生成圖像的品質更好，但是成本較高。

2.2.2 基于自編碼器優(yōu)化的GANs

除了添加約束條件之外，利用其它模型的優(yōu)點來結合優(yōu)化GAN模型也是非常好的方向，目前已有將GAN與VAE、RBM等融合在一起的諸多研究，其中基于VAE的優(yōu)化則更為常見。

對抗自動編碼器(adversarial autoencoders，AAE[21])結合了GAN與自動編碼器的思想，通過將自編碼器的隱藏層編碼向量的聚合后驗與任意先驗分布匹配，利用GAN來執(zhí)行變分推論，這種方法能使得生成的圖像質量更高，生成結果更加可控。但是由于很難把AAE擴展到高分辨率圖片數據上，并且解碼器是以重構誤差為目的進行訓練，而非GAN那樣以騙過判別器為目的，因此可能更難生成非常新的圖像。

BiGAN(bidirectional GAN[22])結合了編碼器和判別器的結構來進行優(yōu)化，將實際數據的概率分布映射到隱空間，從而有助于學習如何提取相關特征。但是由于BiGAN新增了一個編碼器，增加了優(yōu)化函數的計算復雜性。

BEGAN(boundary equilibrium GAN[23])使用自動編碼器架構作為判別器，該方法是從Wasserstein距離得出的損失來匹配自動編碼器的損失分布，而不是直接匹配數據分布，所以BEGAN收斂很快，但是在超參數的選取上有一定的難度。

2.2.3 GANs的其它優(yōu)化

除了以上提到的兩種架構優(yōu)化方法外，還有將GAN與其它領域知識結合從而對GAN進行優(yōu)化的研究。文獻[24]提出了對抗網絡的拉普拉斯金字塔(LAPGAN)，該方法在金字塔框架內使用級聯的卷積網絡，以從粗到精的方式生成圖像。在金字塔的每個級別，都使用生成對抗網絡技術來訓練單獨的生成卷積模型。LAPGAN模型收斂速度快，能夠生成分辨率高的樣本，但是必須在有監(jiān)督的情況下進行訓練。

2.3 未來GAN衍生的改進方向

GAN是一個持續(xù)進行的研究領域，因此，要研究出單個能夠改善所有不足的衍生模型是一項挑戰(zhàn)，關于GAN的變體未來還有一定的研究空間。經過綜合比較和分析上述提到的GAN不同衍生模型的優(yōu)化方法、優(yōu)勢、不足，以及適合的應用場景(表1)，本文對未來GAN衍生的改進方向提出以下建議：

(1)從基本GAN模型內部結構的角度進行優(yōu)化，嘗試替換某個函數或者計算方法，從而實現對目標函數的改進，得到優(yōu)化的GAN模型；

(2)嘗試在基本GAN模型的基礎上附加一些方法或者輔助工具，來控制GAN模型的結果朝目標方向改進；

(3)嘗試結合其它模型的優(yōu)點，來改進GAN訓練不穩(wěn)定等不足，比如目前有VAE、RBM與GAN的結合，未來可以根據應用需要，綜合對算法進行優(yōu)化；

(4)可以從多層次的角度進行改進，比如可以整體框架是GAN模型，而內部框架的實現可以采用其它框架或方法，每一級別也可以采用另外的框架或方法。

表1 GANs的分析與比較

3 GAN的典型應用領域

由于GAN具有更靈活的框架，可以學習損失函數，即不需要為特定的應用去構建特定的損失函數，所以GAN在圖像、視頻、文本、安全、自然語言處理等諸多領域都有著廣泛的應用。

3.1 圖 像

GAN具有很好的數據分布建模能力，而且其在圖像領域的應用起步較早，所以目前已經取得了可觀的成果，主要包括圖像生成、圖像翻譯、圖像修復等方面的應用。

3.1.1 圖像生成

通過學習任何數據集的數據分布，GAN可以對與原始數據集相似的新樣本進行建模，加之端到端的工作方式，使得GAN相比傳統(tǒng)的機器學習算法能更好地學習真實樣本的特征分布和映射關系，因此在生成高分辨率圖像方面具有更好的性能。Yang等[25]提出了一種對抗性的圖像生成模型(LR-GAN)，它通過考慮場景結構和上下文來生成清晰的圖像，整個模型不受監(jiān)督，并使用梯度下降法以端到端的方式進行訓練。實驗結果表明，LR-GAN優(yōu)于DCGAN，但是可能會出現輸出圖像與原始圖像差異較大，或者圖像失真的結果。為了生成更逼真的圖像，Wang等[26]提出了一種樣式和結構模型(S2-GAN)，它有兩個組成部分，Structure-GAN用于生成圖像結構，Style-GAN將生成的圖像結構作為輸入以考慮圖像樣式。該模型首先對兩個GAN進行獨立訓練，然后通過聯合學習將它們合并在一起。雖然該方法生成效果較好,但是與最鄰近的相比，生成的圖像可能具有不同的風格和結構。

3.1.2 圖像翻譯

圖像翻譯是指將圖像從一個域映射到另一域中的對應圖像[27]。早期基于神經網絡的圖像翻譯是采用卷積神經網絡來實現的，但是其訓練效率比較低，由于GAN算法不受形式約束，使用靈活，可以同時解決許多不同的任務，研究者們嘗試將GAN應用到圖像翻譯領域。Isola等[28]提出了基于CGAN的有監(jiān)督學習模型(Pix2pixGAN)，用來完成成對的圖像轉換。Pix2pixGAN不僅學習從輸入圖像到輸出圖像的映射，而且學習損失函數來訓練該映射。結果表明，該方法生成的樣本更真實，訓練速度更快。但是該模型是監(jiān)督模型，仍然需要帶有標簽和標記的數據，于是針對許多任務的配對的訓練數據不可用的情形，Zhu等[29]提出了一種無監(jiān)督學習模型(CycleGAN)，它可以學習將圖像從源域X轉換為目標域Y，并且不需要成對的圖片作為訓練數據。雖然該模型生成的圖像質量不如Pix2pixGAN，但是其應用場景更豐富靈活。

3.1.3 圖像修復

傳統(tǒng)的圖像修復方法通常是根據周圍的像素點估計待修復的像素點，但是這種算法大多比較復雜，而且對于大面積的圖像損毀很難修復。由于GAN是通過對抗博弈的方式來進行訓練的，所以在圖像修復方面不用受限于可用的圖像統(tǒng)計信息，且能使得修復效果更加自然。Yu等[30]提出了一種生成式圖像修復系統(tǒng)，可以使用自由形式的掩模和輸入來完成圖像。該系統(tǒng)基于從數百萬張圖像中學習的門控卷積，無需額外的標記工作，解決了將所有輸入像素都視為有效像素的問題。此外，還提出了基于補丁的GAN丟失(SN-PatchGAN)，用于使訓練快速穩(wěn)定。但由于GAN模型本身存在的問題，導致在修復圖像時，可能會出現過度平滑或模糊的情況。

3.2 其它應用

隨著GAN的發(fā)展，除了在圖像領域外，在目標檢測、視頻預測、文本合成圖像、隱私保護、醫(yī)學圖像分割等方面也有著很好的表現。

3.2.1 目標檢測

目標檢測雖然已經取得了長遠的發(fā)展，但是其中的小目標、大姿態(tài)等問題仍然是經典難題，傳統(tǒng)的方法可能出現由于丟失高頻造成的模糊等現象，而GAN良好的生成性能以及在圖像領域優(yōu)秀的表現，使得用GAN來解決此類問題成為可能。Li等[31]提出了一種新的感知生成網絡(perceptual GAN)模型，通過縮小小對象與大對象之間的表示差異來改善小對象的檢測，實驗結果表明，該方法產生的對抗塊擾動大、攻擊效果好。但是缺陷在于犧牲了視覺保真度。

3.2.2 視頻生成

傳統(tǒng)的視頻生成方法很難輕松地處理好幀不連續(xù)性的問題以及無文本的生成方案。為了提高生成結果的連續(xù)性，Tulyakov等[32]提出了用于視頻生成的運動和內容分解的生成對抗網絡(MoCoGAN)框架,通過將隨機向量序列映射到視頻幀序列來生成視頻。該方法表明利用GAN來進行視頻生成能夠有效的進行建模，但可能會缺乏對語義的理解。

3.2.3 文本合成圖像

在文本合成圖像方面，主要目標是將視覺概念從字符轉化為像素，生成具有逼真的細節(jié)的高分辨率圖像。由于GAN模型能夠更加充分的利用文本信息，對細節(jié)特征關注更多，所以能通過更細粒度的約束來提升生成效果。Zhang等[33]提出了堆棧式生成對抗網絡(StackGAN)，使用GAN架構從文字描述中合成圖像，將兩個GAN疊加進行分段式訓練，盡管這種分段式模式可能會出現每個任務找不到重點，最終導致生成失敗的情況，但是該方法提高了合成圖像的多樣性，并加強了GAN訓練的穩(wěn)定性。

3.2.4 信息安全

GAN是深度學習領域的一項重大突破，信息安全領域的學者們也對其展開了相應的研究，相比于傳統(tǒng)的方法而言，GAN以半監(jiān)督的方式訓練檢測器，有助于解決帶標簽樣本少的問題，而且GAN通過學習實際的數據分布，在對實際的高維和復雜數據建模時具有更好的優(yōu)勢。Kim等[34]提出了一種稱為轉移深度卷積生成對抗網絡(tDCGAN)的新方法，能夠生成偽造的惡意軟件，并將其與真實的惡意軟件區(qū)分開，該方法使用深度自動編碼器(DAE)作為生成器，再將經過訓練的判別器通過遷移學習用于惡意軟件的檢測。

3.3 GAN應用問題的改善方法

由上文可以發(fā)現，針對不同的領域和問題，GAN相對于傳統(tǒng)的方法具有一定的優(yōu)勢，但是仍然存在一些問題沒有解決，許多應用仍處于起步階段，在未來還有較大的研究空間。下面就預期的解決方案和發(fā)展方向提出一些建議：

(1)解決資源限制問題。由于GAN的訓練是有資源限制的，所以它的安全性是小范圍的，沒有泛化，未來可以試圖解決資源限制問題，提高GAN的普適性；

(2)解決對抗樣本對GAN性能、精度、穩(wěn)定性的影響。加了擾動的生成樣本原本沒有達到和真實樣本一樣的程度，但是由于添加了擾動，騙過了判別器，使得GAN網絡訓練出來的圖像或者目標沒有達到最優(yōu)的效果便停止了；

(3)結合其它的機器學習算法。綜合改進GAN的目標函數和結構框架，建立準確合理的生成模型，并且考慮不同領域結合時的安全性和魯棒性，多嘗試并且能夠反推，突破往往是無意中發(fā)現的；

(4)數據集的選取和創(chuàng)新。不同的數據集對訓練結果會有一定的影響，未來可以嘗試在數據集的選取方面進行研究和創(chuàng)新。

4 GAN未來的發(fā)展方向

隨著GAN模型的不斷探索，生成對抗模型極大地促進了圖像處理領域的快速發(fā)展，同時它們在安全和醫(yī)學等其它領域中也發(fā)揮著越來越重要的作用。雖然目前GAN的發(fā)展仍然面臨著諸多挑戰(zhàn)。但是相信經過更多的嘗試和努力，GAN會具有更廣闊的應用前景，下面對該領域未來的發(fā)展和研究方向提出一些展望：

(1)通用的度量標準。目前尚未實現能夠全面評估GAN模型的度量標準，不同的衍生模型在不同方面各有各的優(yōu)勢，因此無法絕對評判一個模型的好壞，新的模型層出不窮，制定一個通用、合理化、標準的度量標準有助于引導新的研究成果前進的方向，是急需解決的問題。

(2)完善的理論體系。雖然GAN一經提出，其“對抗訓練”的思想便受到廣大研究學者的歡迎，關于其研究也越來越多，但其存在的梯度消失、模式崩潰、訓練不穩(wěn)定等問題還是沒有得到完美的解決，或許未來可以考慮從其最基本的模型結構出發(fā)，找到這些問題的根本原因，研究并完善其理論體系。

(3)結構拓展。雖然目前有許多衍生模型將其它的算法應用到GAN領域，但更多的是簡單的疊加使用，如何將GAN與其它理論研究更完美的融合在一起，使GAN的應用范圍更廣泛，是未來需要考慮的問題。

5 結束語

本文對基本GAN模型的結構進行了介紹，并分析了GAN的優(yōu)缺點。其次，分類總結了基于目標函數優(yōu)化和基于架構優(yōu)化的衍生模型，并通過觀察GAN的不同變體的發(fā)展歷程，對未來GAN衍生的發(fā)展方向提出了一些建議。然后介紹了GAN模型的一些典型的應用模型，包括圖像生成、圖像翻譯、圖像修復、視頻生成、文本合成、信息安全等領域，并著重分析了這些模型的應用相比于傳統(tǒng)方法的優(yōu)勢、存在的問題，就這些問題提出了一些改善方法。接著對GAN未來發(fā)展方向進行了展望，希望能為讀者在研究主題或開發(fā)方法時提供指引。最后對本文進行了總結。