陳佛計(jì)，朱 楓，吳清瀟，郝穎明，王恩德

（1.中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所，沈陽(yáng) 110016；2.中國(guó)科學(xué)院機(jī)器人與智能制造創(chuàng)新研究院，沈陽(yáng) 110016；3.中國(guó)科學(xué)院大學(xué)，北京 100049；4.中國(guó)科學(xué)院光電信息處理重點(diǎn)實(shí)驗(yàn)室，沈陽(yáng) 110016）

（*通信作者電子郵箱1754208529@qq.com）

0 引言

近年來(lái)，基于深度學(xué)習(xí)的方法在很多領(lǐng)域取得了良好的表現(xiàn)，但是很大程度上依賴于海量標(biāo)數(shù)據(jù)。在某些條件下，標(biāo)注紅外數(shù)據(jù)很難獲取，而且需要大量的人力成本。因此，針對(duì)紅外數(shù)據(jù)少、數(shù)據(jù)難以獲得的問(wèn)題，基于現(xiàn)有的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)是一種比較好的、獲取更多數(shù)據(jù)的方法。目前，數(shù)據(jù)增強(qiáng)的方法有兩種：基于有監(jiān)督的方式和基于無(wú)監(jiān)督的方式。有監(jiān)督方式的數(shù)據(jù)增強(qiáng)是采用預(yù)設(shè)的規(guī)則，在已有的數(shù)據(jù)上進(jìn)行數(shù)據(jù)的擴(kuò)增，包括幾何變換類和顏色變換類等方法。但是，基于有監(jiān)督方式進(jìn)行數(shù)據(jù)增強(qiáng)并沒(méi)有對(duì)數(shù)據(jù)集進(jìn)行實(shí)質(zhì)性的改變；而無(wú)監(jiān)督數(shù)據(jù)增強(qiáng)是通過(guò)模型學(xué)習(xí)數(shù)據(jù)所服從的分布，隨機(jī)生成與樣本集分布一致的數(shù)據(jù)，該方法可以使得數(shù)據(jù)集覆蓋更多的模式，更有利于提高模型的性能。生成模型是無(wú)監(jiān)督學(xué)習(xí)任務(wù)中最為關(guān)鍵的技術(shù)，目前比較常用模型有基于有向圖模型的赫姆霍茲?rùn)C(jī)（Helmholtz Machines）［1］、深度信念網(wǎng) 絡(luò)（Deep Belief Network，DBN）［2］、變分自動(dòng)編碼器（Variational Auto-Encoder，VAE）［3］；基于無(wú)向圖模型的受限玻爾茲曼機(jī)（Restricted Boltzmann Machine，RBM）［4］、深度玻爾茲曼機(jī)（Deep Boltzmann Machine，DBM）［5］、自回歸模型（AutoRegressive model，AR）［6］以及基于零和博弈的生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［7］等。AR 和VAE是通過(guò)一種顯示方式對(duì)數(shù)據(jù)進(jìn)行建模，但是AR 是按照像素點(diǎn)去生成圖像，導(dǎo)致計(jì)算成本太高，而且在并行性上受到限制，在處理大分辨率圖像的時(shí)候有一定的困難。VAE 雖然在圖像生成上是可并行的，但是其生成的圖像比較模糊。相較于顯示建模方式，隱式建模方法GAN 不僅避免了難解的推斷，而且還可以生成高質(zhì)量的圖像；并且由于其擬合高維數(shù)據(jù)分布的能力，以及在圖像生成方面的優(yōu)良表現(xiàn)，GAN 是生成模型中目前較好的一種方法。

生成紅外圖像模型的總體結(jié)構(gòu)如圖1 所示，GAN 由生成器和鑒別器兩個(gè)部分組成。生成器的目的是生成和樣本數(shù)據(jù)所服從分布一致的新樣本來(lái)騙過(guò)鑒別器；而鑒別器的目的是鑒別輸入的圖像是否來(lái)自于真實(shí)數(shù)據(jù)分布。通過(guò)對(duì)抗訓(xùn)練，生成器和鑒別器的性能不斷提升，最終達(dá)到納什平衡狀態(tài)。林懿倫等［8］對(duì)生成對(duì)抗網(wǎng)絡(luò)的基本思想以及其常見的模型架構(gòu)和訓(xùn)練方式進(jìn)行了詳細(xì)的介紹，并且對(duì)其一些應(yīng)用場(chǎng)景進(jìn)行了介紹。曹仰杰等［9］對(duì)生成對(duì)抗網(wǎng)絡(luò)的優(yōu)點(diǎn)和缺點(diǎn)進(jìn)行了總結(jié)和歸納，并且對(duì)其在高質(zhì)量圖像生成和圖像翻譯等領(lǐng)域的研究現(xiàn)狀和未來(lái)的發(fā)展方向進(jìn)行了闡述。因此，本文的目標(biāo)是基于生成對(duì)抗網(wǎng)絡(luò)的方法生成更多的類似于真實(shí)紅外圖像樣本的數(shù)據(jù)。最近有很多工作基于GAN 來(lái)作圖像生成，一種方式是基于服從某一分布的隨機(jī)向量生成圖像，該方法的基本思想是用一個(gè)多層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)一個(gè)非線性的映射，該映射可以將采樣的隨機(jī)向量映射為目標(biāo)域中的圖像?；谠撍枷氲哪Ｐ陀袠?biāo)準(zhǔn)GAN、集成高斯混合模型的條件生成對(duì)抗網(wǎng)絡(luò)［10］、信息最大化生成對(duì)抗網(wǎng)絡(luò)（Info-GAN）［11］、自注意力生成對(duì)抗網(wǎng)絡(luò)（Self-Attention Generative Adversarial Network，SAGAN）［12］等。另一種方式是圖像到圖像的轉(zhuǎn)換，該方法的基本思想是用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)域之間的映射關(guān)系，基于該映射可以將圖像從一個(gè)域轉(zhuǎn)換到目標(biāo)域，而且變換前后的圖像在內(nèi)容上是一致的，基于該思想的模型有圖像翻譯生成對(duì)抗網(wǎng)絡(luò)（Pix2Pix）［13］、循環(huán)一致性對(duì)抗網(wǎng)絡(luò)（Cycle-GAN）［14］、輔助分類器生成對(duì)抗網(wǎng)絡(luò)（Auxiliary Classifier Generative Adversarial Network，ACGAN）［15］、星型生成對(duì)抗網(wǎng)絡(luò)（Star-GAN）［16］等。在實(shí)際項(xiàng)目中，有些場(chǎng)景和目標(biāo)的紅外圖像很難獲取，而且數(shù)據(jù)量少，但是可以獲取目標(biāo)和場(chǎng)景大量彩色圖像，為了得到大量紅外圖像數(shù)據(jù)，因此將彩色圖像轉(zhuǎn)換為紅外圖像是進(jìn)行數(shù)據(jù)增強(qiáng)的一種很好的思路。在對(duì)抗網(wǎng)絡(luò)之前主要是基于仿真的技術(shù)將圖像從彩色域轉(zhuǎn)換到紅外域，例如：許洪等［17］研究的紅外多光譜圖像的仿真生成；陳珊等［18］進(jìn)行的基于可見光圖像的紅外場(chǎng)景仿真。但是仿真的方法是一個(gè)復(fù)雜的過(guò)程，需要大量計(jì)算和建立復(fù)雜的模型。而生成對(duì)抗網(wǎng)絡(luò)可以基于神經(jīng)網(wǎng)絡(luò)強(qiáng)大的擬合能力學(xué)習(xí)一個(gè)端到端的映射，基于該映射直接將圖像從彩色域轉(zhuǎn)換到紅外域，從而避免仿真方法那些復(fù)雜的計(jì)算。因此，針對(duì)紅外數(shù)據(jù)少的問(wèn)題，基于GAN 將彩色圖像轉(zhuǎn)換成紅外圖像是一種解決該問(wèn)題很好的方法。

圖1 生成紅外圖像模型的總體結(jié)構(gòu)Fig.1 Overall structure of infrared image generation model

本文將重點(diǎn)關(guān)注如何基于彩色圖像來(lái)生成紅外圖像，從而為深度學(xué)習(xí)模型提供更多的訓(xùn)練數(shù)據(jù)。首先，基于編碼器-解碼器的神經(jīng)網(wǎng)絡(luò)架構(gòu)來(lái)構(gòu)建生成對(duì)抗網(wǎng)絡(luò)中的生成器，它通過(guò)解碼從編碼器得到的隱變量來(lái)生成紅外圖像，而鑒別器是通過(guò)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。其次，基于Wasserstein 距離來(lái)度量生成分布和真實(shí)分布之間的距離，并且基于此構(gòu)建模型的損失函數(shù)。為了很好地約束模型生成更高質(zhì)量的圖像，在損失函數(shù)中還加入了L1 正則化項(xiàng)。最后，基于由彩色圖像和紅外圖像成對(duì)數(shù)據(jù)構(gòu)成的數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練，并且驗(yàn)證了將彩色圖像轉(zhuǎn)換成紅外圖像方法的有效性。

1 相關(guān)工作

基于深度神經(jīng)網(wǎng)絡(luò)的生成對(duì)抗網(wǎng)絡(luò)是生成模型中生成圖像質(zhì)量最好的一種方法，按照生成器輸入量的不同，目前基于生成對(duì)抗網(wǎng)絡(luò)做圖像生成主要分為基于隨機(jī)向量生成圖像和基于圖像轉(zhuǎn)換生成圖像兩種方法，下面分別對(duì)其介紹。

1）基于隨機(jī)向量生成圖像。標(biāo)準(zhǔn)GAN 通過(guò)Kullback-Leibler散度對(duì)真實(shí)樣本數(shù)據(jù)服從的分布和生成樣本數(shù)據(jù)服從的分布之間的相似性進(jìn)行度量，但是由于Kullback-Leibler 散度固有的缺陷，導(dǎo)致模型會(huì)出現(xiàn)梯度消失和模式崩潰的問(wèn)題，最終使得生成圖像的質(zhì)量不是很理想。因此瓦瑟斯坦生成對(duì)抗網(wǎng)絡(luò)（Wasserstein Generative Adversarial Network，WGAN）［19］采用瓦瑟斯坦距離來(lái)對(duì)真實(shí)分布和生成分布之間的距離進(jìn)行度量，該方式很好地避免了梯度消失的問(wèn)題。在標(biāo)準(zhǔn)GAN中，輸入向量通常會(huì)被生成器進(jìn)行過(guò)度耦合的處理，導(dǎo)致隱向量中每一個(gè)維度的量沒(méi)有足夠明確的語(yǔ)義信息。因此，Info-GAN［11］將輸入向量分解為隱變量和條件變量?jī)蓚€(gè)部分，并且將其一起送入生成器，在訓(xùn)練過(guò)程中通過(guò)加入互信息正則化的約束項(xiàng)來(lái)實(shí)現(xiàn)變量之間的解耦，從而使得輸入向量中的某些維度可解釋性。在構(gòu)造生成對(duì)抗網(wǎng)絡(luò)生成器的時(shí)候，小的卷積核使得網(wǎng)絡(luò)難以發(fā)現(xiàn)圖像中的依賴關(guān)系，大的卷積核會(huì)導(dǎo)致喪失計(jì)算上的效率。因此，SAGAN［12］通過(guò)引入自注意力機(jī)制來(lái)捕捉數(shù)據(jù)或特征的內(nèi)部相關(guān)性，并且全局信息也會(huì)被很好地利用去生成質(zhì)量更好的圖像。基于SAGAN［12］，大規(guī)模生成對(duì)抗網(wǎng)絡(luò)（BIG-GAN）［20］通過(guò)增加Batch的大小、模型的容量以及共享嵌入核正交正則化等技巧進(jìn)一步改善了生成圖像的質(zhì)量和多樣性。

2）基于圖像轉(zhuǎn)換生成圖像。計(jì)算機(jī)視覺(jué)和圖像處理中的很多問(wèn)題都可以被看作是圖像轉(zhuǎn)換的問(wèn)題。圖像轉(zhuǎn)換的問(wèn)題經(jīng)常被很多模型看作是像素的分類或者是回歸問(wèn)題，這些模型以輸出的每一個(gè)像素條件獨(dú)立于輸入圖像中的所有像素為條件，逐個(gè)生成圖像的每一個(gè)像素，但是這些模型生成的圖像一般都比較模糊。Pix2Pix［13］模型通過(guò)學(xué)習(xí)一個(gè)條件生成模型，在對(duì)抗損失函數(shù)和重構(gòu)損失項(xiàng)的約束下，基于條件輸入圖像來(lái)生成相應(yīng)的圖像。在Pix2Pix［13］模型的基礎(chǔ)上，Pix2pixHD［21］基于實(shí)例分割圖像，使用多尺度的生成器和鑒別器來(lái)生成高分辨率的圖像。Cycle-GAN［14］通過(guò)在損失函數(shù)中加入循環(huán)一致性損失，基于不成對(duì)的數(shù)據(jù)來(lái)生成圖像。Star-GAN［16］實(shí)現(xiàn)了基于一個(gè)生成器來(lái)進(jìn)行多域之間圖像的轉(zhuǎn)換，該模型以圖像和目標(biāo)域的類標(biāo)簽作為輸入，將輸入圖像轉(zhuǎn)換到由類標(biāo)簽指明的域。為了增加生成圖像的多樣性，ACGAN［15］在網(wǎng)絡(luò)架構(gòu)中加入輔助分來(lái)器，來(lái)約束模型生成更多種類的圖像。

2 圖像生成方法

基于GAN 進(jìn)行圖像轉(zhuǎn)換主要包含目標(biāo)函數(shù)的設(shè)計(jì)、生成器架構(gòu)的設(shè)計(jì)、鑒別器架構(gòu)的設(shè)計(jì)以及訓(xùn)練算法的設(shè)計(jì)四個(gè)部分，下面對(duì)每一個(gè)部分進(jìn)行詳細(xì)介紹。

2.1 目標(biāo)函數(shù)

GAN 最終目的是最小化生成數(shù)據(jù)分布PG和真實(shí)數(shù)據(jù)分布PData之間的距離，而度量該距離的方式有兩種，分別是f散度和積分概率度量（Integral Probability Metric，IPM）。相較于f散度，IPM 度量標(biāo)準(zhǔn)不會(huì)受到數(shù)據(jù)高維度的影響，并且即使是兩個(gè)分布之間的支撐集沒(méi)有相應(yīng)的交集時(shí)，該方式也不會(huì)出現(xiàn)梯度消失的問(wèn)題。因此，采用IPM 度量標(biāo)準(zhǔn)中的Wasserstein 距離來(lái)對(duì)PG和PData之間的差異進(jìn)行度量，并且該距離被定義為如式（1）所示：

式（2）表示評(píng)價(jià)函數(shù)f在滿足k利普希茨連續(xù)性約束的條件下(f(x))的上確界就等價(jià)于PG和PData之間的Wasserstein 距離。并且式（2）中的f函數(shù)可以用一個(gè)w參數(shù)化的，最后一層神經(jīng)網(wǎng)絡(luò)不用非線性激活函數(shù)的多層神經(jīng)網(wǎng)絡(luò)fw來(lái)實(shí)現(xiàn)，其實(shí)際上就是對(duì)應(yīng)對(duì)抗網(wǎng)絡(luò)中的鑒別器。通過(guò)約束神經(jīng)網(wǎng)絡(luò)的參數(shù)w不超過(guò)某個(gè)范圍的條件下，PG和PData間的Wasserstein距離可以表示成如下形式：

由于生成器的目標(biāo)是最小化PG和PData之間的瓦瑟斯坦距離，而鑒別器的目標(biāo)是最大化PG和PData之間的瓦瑟斯坦距離。因此，該模型的損失函數(shù)可以被設(shè)計(jì)成式（4）和式（5）所示的形式。

生成器Loss：

鑒別器Loss：

由于基于成對(duì)的數(shù)據(jù)來(lái)對(duì)模型進(jìn)行訓(xùn)練，為了更好地保持輸入圖像和輸出圖像之間內(nèi)容上的一致性，在生成器的損失函數(shù)部分加入了由生成樣本和真實(shí)樣本差的1 模實(shí)現(xiàn)的正則化項(xiàng)，可以表示成如下形式：

其中：y代表真實(shí)的樣本數(shù)據(jù)；G(x')表示生成的樣本數(shù)據(jù)；x'表示生成器的輸入彩色樣本數(shù)據(jù)。

2.2 生成器網(wǎng)絡(luò)

生成器的目的是基于輸入的彩色圖像生成服從于真實(shí)數(shù)據(jù)分布PData的紅外圖像。因?yàn)樯善鞯妮斎牒洼敵鲈趦?nèi)容上、物體的位置上是一致的，僅僅在表面上是不一樣的，所以兩者的高維特征是一致的?；谶@樣的構(gòu)想，采用Encoder-Decoder［22］的神經(jīng)網(wǎng)絡(luò)架構(gòu)來(lái)實(shí)現(xiàn)生成器。Encoder 和Decoder 都是基于卷積塊（卷積運(yùn)算-批量正則化-ReLu 激活函數(shù)）和轉(zhuǎn)置卷積塊（轉(zhuǎn)置卷積運(yùn)算-批量正則化-Leak-ReLu激活函數(shù)）來(lái)實(shí)現(xiàn)。Encoder的作用是將輸入的彩色圖像映射成一個(gè)高維特征向量，而Decoder的作用是將這個(gè)高維特征向量解碼成和輸入圖像內(nèi)容一致的紅外圖像。由于生成器輸入和輸出的許多低層信息是一致的，為了更好地利用輸入圖像的這些低層信息，在Encoder 和Decoder 之間加入了跳躍連接來(lái)更好地共享這些信息。生成器的網(wǎng)絡(luò)架構(gòu)如圖2 所示，具體說(shuō)明如表1所示。

圖2 生成器的網(wǎng)絡(luò)架構(gòu)Fig.2 Network architecture of generator

表1 生成器的編解碼神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 Encoder-decoder neural network structure of generator

2.3 鑒別器網(wǎng)絡(luò)

鑒別器的目的是區(qū)分真實(shí)紅外圖像樣本和生成紅外圖像樣本，其作用等價(jià)于一個(gè)二分類的問(wèn)題，因此，可以基于一個(gè)多層的卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)鑒別器。為了更好地捕捉圖像中的高頻信息，將圖像分成N小塊，然后讓鑒別器鑒別小塊圖像是來(lái)自于真實(shí)數(shù)據(jù)分布PData還是來(lái)自于生成數(shù)據(jù)分布pG，最后將鑒別器對(duì)N小塊圖像的平均輸出作為最終鑒別器的輸出。鑒別器的網(wǎng)絡(luò)結(jié)構(gòu)如圖3和表2說(shuō)明所示。

圖3 鑒別器的網(wǎng)絡(luò)架構(gòu)Fig.3 Architecture of discriminator

表2 鑒別器的二分類神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Tab.2 Two-classification neural network structure of discriminator

2.4 訓(xùn)練算法

在訓(xùn)練過(guò)程中為了更好地減小生成樣本和真實(shí)樣本之間的差距，必須先擁有一個(gè)優(yōu)良的鑒別器，因此，在訓(xùn)練對(duì)抗網(wǎng)絡(luò)的過(guò)程中更新鑒別器參數(shù)k次，才更新生成器參數(shù)1次。同時(shí)，使用批量正則化都的技巧來(lái)解決初始化差的問(wèn)題，在一定程度上緩解生成器過(guò)擬合，并且防止生成器將所有的樣本都收斂到樣本空間中的一點(diǎn)。該節(jié)對(duì)訓(xùn)練模型的算法進(jìn)行詳細(xì)的說(shuō)明，其偽代碼形式如算法1所示。

算法1 紅外圖像生成模型訓(xùn)練算法。

參數(shù)設(shè)置：初始化生成器的參數(shù)θG和鑒別器的參數(shù)θD，迭代次數(shù)N和步數(shù)k是在訓(xùn)練鑒別器的時(shí)候會(huì)用到的超參數(shù)。

3 實(shí)驗(yàn)和結(jié)果分析

為了驗(yàn)證該模型的有效性和泛化性能，在多個(gè)數(shù)據(jù)集上對(duì)該模型進(jìn)行了測(cè)試。其中一個(gè)數(shù)據(jù)集RGB-INR 是由成對(duì)彩色圖像和近紅外圖像組成的針對(duì)自然場(chǎng)景的數(shù)據(jù)集。該數(shù)據(jù)集包含9 個(gè)類別477 張圖像［23］，自然場(chǎng)景類別包括鄉(xiāng)村、田地、森林、室內(nèi)、山地、建筑物、街道、城市以及水等。另一個(gè)數(shù)據(jù)集VEDAI［24］也是基于成對(duì)彩色圖像和紅外圖像組成的空對(duì)地拍攝的場(chǎng)景圖像，該數(shù)據(jù)集中的目標(biāo)除了有尺度大小變化外，還包含多方位、光照、陰影和阻擋的變化。同時(shí)，該數(shù)據(jù)集對(duì)同一場(chǎng)景采集了不同波段和分辨率的圖像。

3.1 分析目標(biāo)函數(shù)

在實(shí)驗(yàn)中為了探索不同正則化對(duì)生成圖像質(zhì)量的影響。分別設(shè)計(jì)了不帶正則化、帶有L1 正則化以及帶有L2 正則化的三種不同損失函數(shù)。如圖4 所示，圖中右邊的三列分別對(duì)應(yīng)三種損失函數(shù)下生成器生成的紅外圖像，通過(guò)對(duì)比可以看出，當(dāng)目標(biāo)函數(shù)沒(méi)有正則化的時(shí)候，生成的圖像比較模糊。當(dāng)帶有正則化時(shí)，生成器可以很好地捕捉圖像中的細(xì)節(jié)信息，并且生成圖像的質(zhì)量比較高。

圖4 不同損失函數(shù)下的實(shí)驗(yàn)結(jié)果Fig.4 Experimental results under different loss functions

3.2 定量評(píng)估

對(duì)生成圖像的質(zhì)量進(jìn)行評(píng)估是一個(gè)比較難的問(wèn)題。傳統(tǒng)的像素均方誤差評(píng)估標(biāo)準(zhǔn)無(wú)法對(duì)實(shí)驗(yàn)結(jié)果的聯(lián)合統(tǒng)計(jì)進(jìn)行評(píng)估，因此沒(méi)法對(duì)損失函數(shù)想要捕捉的結(jié)構(gòu)進(jìn)行合理的測(cè)量。所以新的方法FID（Fréchet Inception Distance）［25］被用于對(duì)生成圖像的質(zhì)量和多樣性進(jìn)行評(píng)估。該方法的基本思想基于Inception網(wǎng)絡(luò)［26］的卷積特征層將真實(shí)數(shù)據(jù)分布PG和生成數(shù)據(jù)分布PData建模為一個(gè)均值為μx、μg，方差為Σx、Σg的多元高斯分布?；谶@些信息，F(xiàn)ID 這種度量方式可以被表示成如下形式：

該度量方式的思想與人類的判斷相似，該指標(biāo)的值越小，表示生成圖像的質(zhì)量和多樣性越好。同時(shí)該度量方式對(duì)噪聲不是很敏感，并且可以很好地反映模式崩潰的問(wèn)題?；谠撛u(píng)估方式對(duì)生成圖像的定量評(píng)估結(jié)果如表3所示。

表3 對(duì)實(shí)驗(yàn)結(jié)果的FID定量評(píng)估Tab.3 Quantitative evaluation of FID on experimental results

通過(guò)上述定量評(píng)估指標(biāo)的比較，可以發(fā)現(xiàn)加入正則化使得FID 的數(shù)值降低，也就意味著模型在正則化的約束下，生成圖像的質(zhì)量有所提高，并且L1 正則化的作用比L2 正則化更加有效。

3.3 與基于紅外仿真方法生成圖像的比較

基于仿真技術(shù)生成的紅外圖像，如圖5 所示，通過(guò)與相應(yīng)場(chǎng)景真實(shí)的紅外圖像比較，發(fā)現(xiàn)基于紅外仿真技術(shù)生成的圖像丟失了場(chǎng)景中海水表面的一部分信息，而且場(chǎng)景中艦艇目標(biāo)的形狀相較于真實(shí)紅外圖像中艦艇目標(biāo)的形狀發(fā)生了改變。而基于生成對(duì)抗網(wǎng)絡(luò)生成的紅外圖像，如圖5 所示，很好地保留了原始圖像中各種目標(biāo)的形狀、紋理等信息，同時(shí)生成的紅外圖像和原始紅外圖像比較接近。但是，基于對(duì)抗網(wǎng)絡(luò)生成的紅外圖像會(huì)存在局部模式崩潰的現(xiàn)象，而基于仿真方法生成的紅外圖像不會(huì)出現(xiàn)模式崩潰的現(xiàn)象。

圖5 真實(shí)紅外圖像和對(duì)抗網(wǎng)絡(luò)生成的紅外圖像以及仿真技術(shù)生成的紅外圖像Fig.5 Real infrared images，infrared images generated by adversarial neural network and infrared images generated by simulation technology

4 結(jié)語(yǔ)

針對(duì)實(shí)際項(xiàng)目中紅外圖像少的問(wèn)題，本文提出了一種基于生成對(duì)抗網(wǎng)絡(luò)將彩色圖像轉(zhuǎn)變?yōu)榧t外圖像的方法，從而為模型的訓(xùn)練提供更多可用的訓(xùn)練樣本。通過(guò)成對(duì)的數(shù)據(jù)訓(xùn)練該模型，使得基于編碼器-解碼器神經(jīng)網(wǎng)絡(luò)架構(gòu)的生成器具有在高維空間中將彩色圖像映射為紅外圖像的能力，而且通過(guò)實(shí)驗(yàn)證明，該方法可以生成高質(zhì)量的紅外圖像。目前該方法只是針對(duì)分辨率比較小的圖像，實(shí)際中可能要求更大分辨率的圖像，因此后續(xù)將繼續(xù)改進(jìn)該方法，進(jìn)一步對(duì)生成紅外圖像有更加深入的研究。同時(shí)，在模型的訓(xùn)練過(guò)程中生成器生成的圖像存在模式崩潰的現(xiàn)象，而且目前對(duì)生成對(duì)抗網(wǎng)絡(luò)生成圖像的評(píng)估還沒(méi)有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)，因此，希望研究者們?cè)趯?lái)的研究中對(duì)以上兩個(gè)問(wèn)題有更加深入的研究。