喬秀明 趙鐵軍

摘 要： 生成式對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks， GAN）是一種非常簡(jiǎn)單易行的生成式模型，不依賴任何先驗(yàn)假設(shè)，通過(guò)采樣的方式生成似真數(shù)據(jù)，且生成速度快。近年來(lái)，生成式對(duì)抗網(wǎng)絡(luò)在圖像處理及自然語(yǔ)言處理任務(wù)中得到了廣泛的應(yīng)用。但是，生成式對(duì)抗網(wǎng)絡(luò)同樣存在缺點(diǎn)，比如訓(xùn)練過(guò)程中不穩(wěn)定、生成數(shù)據(jù)過(guò)程中出現(xiàn)模式坍塌現(xiàn)象等。本文從網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)定義出發(fā)來(lái)分析GAN，并介紹其在自然語(yǔ)言處理中的應(yīng)用。

關(guān)鍵詞： 生成式對(duì)抗網(wǎng)絡(luò); 自然語(yǔ)言處理; 序列生成; 遷移學(xué)習(xí)

文章編號(hào)： 2095-2163（2021）03-0181-05 中圖分類號(hào)：TP391;TH166 文獻(xiàn)標(biāo)志碼：A

【Abstract】Generative Adversarial Networks （GAN） is a kind of simple generative model， for it does not rely on any prior probability and can generate real-like data using sampling with high speed. Recently， GAN is used widely in tasks of image processing and Natural Language Processing（NLP）. However， GAN has many disadvantages such as instability in training process and mode collapse in generation process. This paper will analyze GAN from the architectures and loss functions， and introduce its applications in NLP.

【Key words】 Generative Adversarial Networks; Natural Language Processing; sequence generation; transfer learning

0 引 言

生成式模型是機(jī)器學(xué)習(xí)算法中重要的組成部分，可有效地學(xué)習(xí)數(shù)據(jù)真實(shí)分布pdata（x）的參數(shù)θ。生成式模型越來(lái)越多地用于估計(jì)高維信號(hào)數(shù)據(jù)的結(jié)構(gòu)并人工生成多樣化的數(shù)據(jù)，如圖像、視頻、音頻、文本序列等。生成式模型可用于表示學(xué)習(xí)[1]、半監(jiān)督學(xué)習(xí)[2]、領(lǐng)域遷移[3]、圖文轉(zhuǎn)換[4]、超分辨率[5]、圖像增強(qiáng)[6]等等。生成式模型可分為隱式和顯式兩種類型，顯式生成式模型，例如VAE（Variational Autoencoders），以最大化其似然或最下界為目標(biāo)函數(shù)，需要獲取顯式密度概率函數(shù)。但是，很多情況下難以獲取并表示高維數(shù)據(jù)的真實(shí)分布[7]。隱式生成模型不需要顯式的密度概率，例如生成式對(duì)抗網(wǎng)絡(luò)利用采樣機(jī)制生成新數(shù)據(jù)。

生成式對(duì)抗網(wǎng)絡(luò)由Goodfellow等人[8]提出，因其不依賴于對(duì)數(shù)據(jù)分布的任何假設(shè)，并且可以生成特別相似的假樣本，受到越來(lái)越多的關(guān)注。GAN廣泛應(yīng)用在圖像增強(qiáng)、風(fēng)格轉(zhuǎn)換、圖像翻譯、序列生成等任務(wù)中。

本文的框架如下：首先介紹生成式對(duì)抗網(wǎng)絡(luò)的結(jié)構(gòu)原理及損失函數(shù)定義，然后探討對(duì)生成式對(duì)抗網(wǎng)絡(luò)在度量函數(shù)及網(wǎng)絡(luò)結(jié)構(gòu)上進(jìn)行改進(jìn)的版本，再給出GAN在自然語(yǔ)言處理中的應(yīng)用，最后是本文的研究結(jié)論。

1 生成式對(duì)抗網(wǎng)絡(luò)

生成式對(duì)抗網(wǎng)絡(luò)一般包含一個(gè)生成器G和一個(gè)判別器D，結(jié)構(gòu)如圖1所示。給定數(shù)據(jù)x，判別器D負(fù)責(zé)判斷x是真實(shí)數(shù)據(jù)、還是假數(shù)據(jù)，并輸出各自的概率值。給定服從分布pz的噪聲數(shù)據(jù)z，生成器G生成假的數(shù)據(jù)用來(lái)欺騙D。生成器嘗試獲取真實(shí)數(shù)據(jù)的分布pdata，使其生成數(shù)據(jù)x的分布px與pdata越來(lái)越近。

給定真實(shí)數(shù)據(jù)x，判別器D的目標(biāo)是最大化其輸出log D（x），當(dāng)輸入的是生成的數(shù)據(jù)G（z），判別器的目標(biāo)是最小化log D（G（z））。從生成器G的角度，目標(biāo)是使得log D（G（z））最大。訓(xùn)練過(guò)程中，生成器G和判別器D依據(jù)函數(shù)V（D，G）進(jìn)行min-max博弈，函數(shù)V（D，G）在二元分類問(wèn)題中， 常為二元交叉熵?fù)p失函數(shù)。 具體數(shù)字定義公式為：

基于判別器D的輸出，D和G均進(jìn)行參數(shù)優(yōu)化。如果判別器D預(yù)測(cè)生成的數(shù)據(jù)G（z）為假數(shù)據(jù)，那么G會(huì)調(diào)整參數(shù)使其生成的數(shù)據(jù)更接近真實(shí)數(shù)據(jù)來(lái)欺騙D。反之，如果判別器D預(yù)測(cè)生成的數(shù)據(jù)G（z）為真數(shù)據(jù)，判別器D會(huì)更新其參數(shù)，避免犯此錯(cuò)誤，使其具有更好的分類性能。生成器G和判別器D不斷進(jìn)行博弈，直到最終達(dá)到納什均衡（Nash equilibrium）。不同的訓(xùn)練場(chǎng)景中，每次迭代中二者優(yōu)化的步數(shù)可設(shè)置為不同的值。

當(dāng)生成器G固定時(shí)，給定真實(shí)數(shù)據(jù)x，最佳判別器D的輸出為：

KL散度用來(lái)衡量2個(gè)分布之間的差異程度，也稱為相對(duì)熵。也就是說(shuō)，生成器的訓(xùn)練目標(biāo)是使生成的數(shù)據(jù)盡可能地接近真實(shí)數(shù)據(jù)的分布。

2 GAN的演變

隨著研究的進(jìn)展，原始版本的GAN不能滿足日益變化的需求，GAN-Zoo（https：//deephunt.in/the-gan-zoo-79597dc8c347）不斷添加更新的GAN，迄今為止，已有幾百個(gè)版本。本節(jié)主要從度量函數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)上闡釋解析GAN的改進(jìn)版。

2.1 度量函數(shù)

生成器的目標(biāo)是最小化生成數(shù)據(jù)pdata和真實(shí)數(shù)據(jù)pg之間的差異，所以選擇合適的度量函數(shù)非常重要。很多研究者嘗試了不同類別的度量函數(shù)，其中一種為f-divergence Df（pdata||pg），要求f是一個(gè)凸函數(shù)且f（1）=0，例如KL散度、JS散度、逆KL散度、Jefferey等[9]。以f-divergence為度量函數(shù)的GAN可稱為f-GAN，比如LSGAN、EBGAN等。其對(duì)應(yīng)的數(shù)學(xué)公式為：

另外一類度量函數(shù)為IPM（Integral probability metric），度量2個(gè)概率分布之間的距離，包括Wasserstein距離、Dudley度量、最大均值差異（maximum mean discrepancy，MMD）等。Wasserstein距離可以看作從分布pdata移動(dòng)到pg花費(fèi)的最小代價(jià)，也稱Earth-Mover（EM）距離，使用Wasserstein距離作為目標(biāo)函數(shù)的GAN稱為Wasserstein GAN（WGAN）[10]。

此外，有一些輔助的函數(shù)可作為GAN的目標(biāo)函數(shù)，比如重構(gòu)損失、二元分類交叉熵?fù)p失等等。自編碼器可以作為GAN的判別器，從而重構(gòu)錯(cuò)誤可用于計(jì)算損失函數(shù)，比如Energy Based GAN （EBGAN）[11]、Boundary Equilibrium GAN （BEGAN）[12] 、Margin Adaptation GAN （MAGAN）[13]。該類GAN的判別器可以看作能量函數(shù)，而不是區(qū)分輸入真?zhèn)蔚母怕誓Ｐ汀?/p>

AEGAN[14]將自編碼器AE（Autoencoders）和GAN進(jìn)行結(jié)合，分別對(duì)數(shù)據(jù)x和隱變量z計(jì)算對(duì)抗損失和重構(gòu)損失，既緩解GAN訓(xùn)練的不穩(wěn)定性，又緩解重構(gòu)損失帶來(lái)的模糊效應(yīng)。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

深度卷積生成式對(duì)抗網(wǎng)絡(luò)（Deep Convolution Generative Adversarial Networks，DCGAN）是GAN的一種變體，在判別器和生成器中分別采用了卷積層和轉(zhuǎn)置卷積層[1]。DCGAN的判別器包含跨距卷積層、批歸一化層、帶泄露修正線性單元（Leaky ReLU），生成器包含轉(zhuǎn)置卷積層、批歸一化層、修正線性單元層。和原始GAN對(duì)比，DCGAN的結(jié)構(gòu)大大提高了GAN訓(xùn)練的穩(wěn)定性。因此，在結(jié)構(gòu)上對(duì)GAN進(jìn)行改善的版本，多將DCGAN作為基線系統(tǒng)進(jìn)行對(duì)比。

除了改進(jìn)判別器和生成器的結(jié)構(gòu)以外，還可以將多個(gè)判別器與生成器進(jìn)行堆疊，比如CoGAN[15]、StackedGAN[16]、CycleGAN[17]等。

3 GAN在自然語(yǔ)言處理中的應(yīng)用

當(dāng)GAN處理離散符號(hào)時(shí)，有一定的局限性，因?yàn)殡y以完成梯度回傳。因此，應(yīng)用在自然語(yǔ)言處理中的GAN多采用強(qiáng)化學(xué)習(xí)中的策略梯度、Wasserstein距離度量等方式克服該問(wèn)題。

3.1 序列生成

SeqGAN[18]是第一個(gè)生成離散符號(hào)的生成式對(duì)抗網(wǎng)絡(luò)，結(jié)構(gòu)如圖2所示。SeqGAN將生成器G建模為強(qiáng)化學(xué)習(xí)中的隨機(jī)策略，生成器G基于LSTM（Long Short Term Memory Network）網(wǎng)絡(luò)，生成token等序列。判別器D基于卷積網(wǎng)，負(fù)責(zé)對(duì)完整的生成序列進(jìn)行分類，判斷是生成的序列還是真實(shí)的序列，將分類的概率值以獎(jiǎng)勵(lì)返回給生成器。SeqGAN在詩(shī)歌、語(yǔ)言、音樂(lè)等生成任務(wù)上得到了應(yīng)用。

MaskGAN[19]采用基于actor-critic的條件GAN，將原有序列按照比例進(jìn)行掩碼，根據(jù)其上下文預(yù)測(cè)候選詞，以完形填空的方式克服模式崩塌的問(wèn)題。MaskGAN的架構(gòu)包括生成器、判別器和actor-critic網(wǎng)絡(luò)，其中生成器和判別器基于Seq2Seq模型結(jié)構(gòu)。MaskGAN采用了策略梯度，判別器的輸出作為獎(jiǎng)勵(lì)值，且對(duì)每一步生成均有獎(jiǎng)勵(lì)值。實(shí)驗(yàn)證明MaskGAN可以提高生成序列的質(zhì)量。

TreeGAN[20]可生成具有句法意識(shí)的序列，比如SQL語(yǔ)句，其中判別器和生成器中均給定一定規(guī)模的真實(shí)序列以及一系列預(yù)先定義的文法規(guī)則。生成器采用RNN（Recurrent Neural Network）網(wǎng)絡(luò)構(gòu)造一棵句法樹(shù)，判別器采用TreeLSTM判斷序列是生成的還是真實(shí)的。TreeGAN可為任何上下文無(wú)關(guān)文法生成樹(shù)。

生成式對(duì)抗網(wǎng)絡(luò)也用于對(duì)話生成[21]。給定相應(yīng)對(duì)話歷史，生成器利用Seq2Seq模型輸出針對(duì)性的回復(fù)，判別器針對(duì)每步輸出的獎(jiǎng)勵(lì)值回傳給生成器，使得生成器生成與人工回復(fù)無(wú)區(qū)分的回復(fù)序列。相似的思路也用于提高基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯任務(wù)中[22]。

RankGAN[23]的生成器基于LSTM網(wǎng)絡(luò)生成句子，判別器基于CNN對(duì)句子進(jìn)行排名，判別器的目標(biāo)是使得人工書寫的句子比自動(dòng)生成的句子排名靠前，而生成器的目標(biāo)則相反。

3.2 其他

除了序列生成類的任務(wù)，GAN還應(yīng)用在信息檢索、學(xué)習(xí)隱變量表示、領(lǐng)域遷移、文本風(fēng)格遷移等任務(wù)上。IRGAN[24]中的生成器為查詢q生成或者選擇最相關(guān)的文檔d，判別器采用打分函數(shù)計(jì)算元組（q，d）的匹配度，判別器的目標(biāo)是使得生成文檔的分?jǐn)?shù)比真實(shí)文檔的分?jǐn)?shù)要低，IRGAN采用策略梯度訓(xùn)練生成器。

在遷移學(xué)習(xí)任務(wù)中，GAN的生成器將源領(lǐng)域的特征替換成目標(biāo)領(lǐng)域的數(shù)據(jù)特征，判別器D負(fù)責(zé)區(qū)分真實(shí)的數(shù)據(jù)和生成的數(shù)據(jù)。文獻(xiàn)[25]采用WGAN學(xué)習(xí)領(lǐng)域一致的詞表示，有針對(duì)性地提高自然語(yǔ)言處理任務(wù)的領(lǐng)域遷移性能。文獻(xiàn)[26]在沒(méi)有平行語(yǔ)料的情況下，采用數(shù)據(jù)增強(qiáng)訓(xùn)練CGAN（Conditional GAN），分別對(duì)生成的句子進(jìn)行風(fēng)格分類和內(nèi)容分類，從而完成句子的風(fēng)格遷移。文獻(xiàn)[27]輸入源領(lǐng)域數(shù)據(jù)，通過(guò)GAN生成目標(biāo)領(lǐng)域的數(shù)據(jù)，完成情感分類任務(wù)的領(lǐng)域遷移。

4 GAN的優(yōu)點(diǎn)及缺點(diǎn)

GAN的優(yōu)點(diǎn)是不需要先驗(yàn)密度函數(shù)、生成數(shù)據(jù)速度快。相對(duì)于VAE（Variational Autoencoders），GAN不需要引入下界來(lái)近似似然，但VAE可以計(jì)算重構(gòu)損失，因此GAN與VAE結(jié)合使用未嘗不是好的選擇[28]。

GAN的缺點(diǎn)是訓(xùn)練過(guò)程不穩(wěn)定、模式坍塌、梯度消失問(wèn)題。如果判別器性能較弱，生成器生成的數(shù)據(jù)多樣性較弱，如果判別器性能較強(qiáng)，生成器越容易出現(xiàn)梯度消失問(wèn)題。GAN的穩(wěn)定性不單單由生成器或判別器來(lái)決定，而是二者對(duì)抗訓(xùn)練的交互過(guò)程決定的。需要根據(jù)具體任務(wù)決定生成器和判別器的網(wǎng)絡(luò)結(jié)構(gòu)，以及訓(xùn)練過(guò)程中的技巧，比如梯度截?cái)唷⑸善髋c判別器訓(xùn)練的步數(shù)、損失函數(shù)及學(xué)習(xí)率的選擇等等。

5 結(jié)束語(yǔ)

生成式對(duì)抗網(wǎng)絡(luò)是一個(gè)無(wú)需顯式密度概率的無(wú)監(jiān)督生成式模型，模型的訓(xùn)練過(guò)程為判別器與生成器的min-max博弈，最終達(dá)到納什均衡點(diǎn)。本文介紹了GAN的結(jié)構(gòu)及其在自然語(yǔ)言處理中的應(yīng)用，包括序列生成、領(lǐng)域遷移等，并分析了GAN的優(yōu)缺點(diǎn)。未來(lái)期待更多的工作，研究如何解決GAN的模式坍塌以及訓(xùn)練中的穩(wěn)定性問(wèn)題。

參考文獻(xiàn)

[1] RADFORD A， METZ L， CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks[C]//ICLR. Puerto， Rico：dblp， 2016：1-16.

[2]DENTON E L， GROSS S， FERGUS R. Semi-supervised learning with context-conditional generative adversarial networks[J]. CoRR， abs/1611.06430， 2016.

[3]GANIN Y， USTINOVA E， AJAKAN H， et al. Domain adversarial training of neural networks[J]. Journal of Machine Learning Research， 2016，17（59）：1-35.

[4]REED S E， AKATA Z， YAN Xinchen， et al. Generative adversarial text to image synthesis[J]. CoRR， abs/1605.05396， 2016.

[5]LEDIG C， THEIS L， HUSZAR F， et al. Photo-realistic single image super-resolution using a generative adversarial network[J]. CoRR， abs/1609.04802， 2016.

[6]ZHANG He， SINDAGi V， PATEL V M. Image de-raining using a conditional generative adversarial network[J]. CoRR， abs/1701.05957， 2017.

[7]NGUYEN A M， DOSOVITSKIY A， YOSINSKI J， et al. Synthesizing the preferred inputs for neurons in neural networks via deep generator networks[J]. CoRR， abs/1605.09304， 2016.

[8]GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets[C]// NIPS'14： Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge， MA， USA：NIPS Foundation，2014， 2：2672-2680.

[9]NOWOZIN S， CSEKE B， TOMIOKA R. f-GAN： Training generative neural samplers using variational divergence minimization[C]// NIPS'16：Proceedings of the 30th International Conference on Neural Information Processing System. Barcelona， Spain：NIPS ??Foundation，2016：271-279.

[10]ARJOVSKY M， CHINTALA S， BOTTOU L. Wasserstein GAN[J]. CoRR， abs/1701.07875， 2017.

[11]ZHAO Junbo， MATHIEU M， LECUN Y. Energy-based generative adversarial network[J]. CoRR， abs/1609.03126， 2016.

[12]BERTHELOT D， SCHUMM T， METZ L. BEGAN： Boundary equilibrium generative adversarial networks[J]. CoRR， abs/1703.10717， 2017.

[13]WANG Ruohan， CULLY A， CHANG H J， et al. MAGAN： Margin adaptation for generative adversarial networks[J]. CoRR， abs/1704.03817， 2017.

[14]LAZAROU C. Autoencoding generative adversarial networks[J]. arXiv preprint arXiv：2004.05472， 2020.

[15]XU Juefei， BODDETI V N， SAVVIDES M. Gang of gans： Generative adversarial networks with maximum margin ranking[J]. CoRR， abs/1704.04865， 2017.

[16]HUANG Xun， LI Yixuan， POURSAEED O， et al. Stacked generative adversarial networks[J]. CoRR， abs/1612.04357， 2016.

[17]ZHU Junyan， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[J]. CoRR， abs/1703.10593， 2017.

[18]YU Lantao， ZHANG Weinan， WANG Jun， et al. Seqgan： Sequence generative adversarial nets with policy gradient[J]. CoRR， abs/1609.05473， 2016.

[19]FEDUS W， GOODFELLOW I， DAI A M. Maskgan： Better text generation via filling in the ____[J].arXiv preprint arXiv：1801.07736， 2018.

[20]LIU Xinyue， KONG Xiangnan， LIU Lei， et al. Treegan： Syntax-aware sequence generation with generative adversarial networks[J]. CoRR， abs/1808.07582， 2018.

[21]LI Jiwei， MONROE W， SHI Tianlin， et al. Adversarial learning for neural dialogue generation[J]. CoRR， abs/1701.06547， 2017.

[22]YANG Zhen， CHEN Wei， WANG Feng， et al . Improving neural machine translation with conditional sequence generative adversarial nets[C]//Proceedings of the 2018 Conference of the North American Chapter of the Association for Computa- tional Linguistics： Human Language Technologies， Volume 1 （Long Papers）. ?New Orleans， Louisiana：Association for Computational Linguistics ，2018：1346-1355 .

[23]LIN K， LI Dianqi， HE Xiaodong， et al. Adversarial ranking for language generation[C]// Advances in Neural Information Processing Systems. Long Beach， CA：NIPS Foundation， 2017： 3155-3165.

[24]WANG J， YU L， ZHANG W， et al. Irgan： A minimax game for unifying generative and discriminative information retrieval models[C]// 40th International ACM SIGIR Conference on Research and Development in Information Retrieval.Tokyo，Shinjuku：ACM， 2017：515-524.

[25]QIAO Xiuming， ZHANG Yue， ZHAO Tiejun. Learning domain invariant word representations for parsing domain adaptation[C]// International Conference on Natural Language Processing and Chinese Computing（ NLPCC）. Dunhuang， China：dblp，2019： 801-813.

[26]YIN Di， HUANG Shujian， DAI Xinyu， et al. Utilizing non-parallel text for style transfer by making partial comparisons[C]//Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence（IJCAI-19）. Macao，China： IJCAI， 2019：5379-5386.

[27]TAO Qian， ZHOU Yuchen， HUANG Jie， et al. A GAN-based transfer learning approach for sentiment analysis[C]// Proceedings of the 2019 International Conference on Artificial Intelligent and Computer Science. New York， USA： Association For Computing Machinery，2019：364-368.

[28]LARSEN A B L， SNDERBY S K， ?LAROCHELLE H， et al. Autoencoding beyond pixels using a learned similarity metric[J]. arXiv preprint arXiv：1512.09300， 2015.