李海軍，孔繁程，牟俊杰，劉霄，杜貞斌，林云

（1 海軍航空大學(xué) 岸防兵學(xué)院，山東 煙臺(tái) 264001）

（2 煙臺(tái)大學(xué) 計(jì)算機(jī)學(xué)院，山東 煙臺(tái) 264005）

（3 煙臺(tái)大學(xué) 教務(wù)處，山東 煙臺(tái) 264005）

0 引言

紅外成像制導(dǎo)相對(duì)于傳統(tǒng)紅外制導(dǎo)方式抗干擾能力強(qiáng)，動(dòng)態(tài)范圍更明顯，是當(dāng)前精確制導(dǎo)武器主要制導(dǎo)手段之一，精確制導(dǎo)的主要目標(biāo)是精準(zhǔn)發(fā)現(xiàn)，精確打擊，因此紅外制導(dǎo)的關(guān)鍵因素在于目標(biāo)的檢測(cè)。傳統(tǒng)紅外目標(biāo)檢測(cè)一般先對(duì)圖像區(qū)域進(jìn)行選擇，利用尺度不變性特征變換（Scale Invariant Feature Transform，SIFT）和方向梯度直方圖（Histogram of Oriented Gradient，HOG）等方法進(jìn)行特征提取，通過(guò)一系列的邏輯運(yùn)算，然后再使用分類(lèi)器進(jìn)行區(qū)分，這樣的方法需手工設(shè)計(jì)，時(shí)間復(fù)雜度高，并且魯棒性差。近年來(lái)，隨著計(jì)算機(jī)視覺(jué)領(lǐng)域的不斷發(fā)展，深度學(xué)習(xí)逐漸應(yīng)用在目標(biāo)檢測(cè)領(lǐng)域中，根據(jù)實(shí)際領(lǐng)域需求，不斷發(fā)展成單階段和兩階段的目標(biāo)檢測(cè)算法。當(dāng)前，將深度學(xué)習(xí)應(yīng)用至紅外目標(biāo)檢測(cè)領(lǐng)域越來(lái)越受到關(guān)注，紅外目標(biāo)檢測(cè)大多通過(guò)可見(jiàn)光領(lǐng)域的算法實(shí)現(xiàn)，模型的訓(xùn)練對(duì)于數(shù)據(jù)的數(shù)量和質(zhì)量的要求很高，而復(fù)雜環(huán)境下的完整紅外艦船圖像難以獲取，所以對(duì)基于深度學(xué)習(xí)的紅外艦船檢測(cè)精度有所影響。近年來(lái)出現(xiàn)基于人工智能的深度生成模型，包括變分編碼器（Variational Auto-Encoders，VAE）［1］、深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）［2］、生成式對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）［3］等，其中GAN 可以通過(guò)無(wú)監(jiān)督學(xué)習(xí)實(shí)現(xiàn)對(duì)目標(biāo)特征的提取，在生成模型中其具有較強(qiáng)的泛化能力，已發(fā)展出多種變體［4-7］，基于GAN 的圖像生成成為研究熱點(diǎn)。針對(duì)使用GAN 對(duì)小樣本進(jìn)行圖像生成訓(xùn)練時(shí)易出現(xiàn)過(guò)擬合的問(wèn)題，UTKARSH O 等［8］提出基于錨點(diǎn)的策略，增強(qiáng)潛在空間對(duì)于圖像中不同區(qū)域擁有不同的真實(shí)感，能夠保持源圖像和生成圖像的差異性和相對(duì)相似性。LIU R 等［9］通過(guò)引入同框架相兼容增強(qiáng)潛在的對(duì)比損失，使得相鄰潛在空間生成的圖像相似度高，而不同潛在空間生成的圖像差異性高，生成圖像能夠保證視覺(jué)質(zhì)量且更加多樣化。SAR 圖像中存在相干斑噪聲，導(dǎo)致其條件生成對(duì)抗網(wǎng)絡(luò)模型（Conditional Generative Adversarial Nets，CGAN）出現(xiàn)崩潰，GUO J Y 等［10］通過(guò)歸一化相干斑噪聲解決了模型崩潰的問(wèn)題。

目前，利用GAN 進(jìn)行數(shù)據(jù)生成的研究對(duì)象仍是以可見(jiàn)光圖像為主［11］，紅外圖像生成領(lǐng)域的研究方法集中于可見(jiàn)光圖像轉(zhuǎn)紅外圖像，通過(guò)紅外圖像進(jìn)行生成處理的研究較少，對(duì)紅外背景下艦船數(shù)據(jù)生成的研究更是少之又少。由于實(shí)地采集紅外艦船圖像難度較大、費(fèi)效比高、數(shù)據(jù)量較少，為能更好地提升基于深度學(xué)習(xí)的紅外目標(biāo)檢測(cè)精度和效果，本文提出基于樣式的生成對(duì)抗網(wǎng)絡(luò)（Style Generative Adversarial Nets，StyleGAN）的紅外艦船圖像生成算法，通過(guò)訓(xùn)練生成式對(duì)抗網(wǎng)絡(luò)模型，得到高質(zhì)量紅外艦船圖像，能夠提供紅外艦船數(shù)據(jù)。根據(jù)紅外艦船圖像特點(diǎn)，采用StyleGAN 作為基礎(chǔ)架構(gòu)，在生成器引入自注意力機(jī)制，增強(qiáng)艦船圖像細(xì)節(jié)，精簡(jiǎn)噪聲模塊，以免圖像風(fēng)格混亂；同時(shí)，調(diào)整模塊分辨率大小，使模型更適合本文圖像；利用小波判別器通過(guò)小波分解提取圖像特征，減少圖像偽影的產(chǎn)生，使用雙時(shí)間尺度更新規(guī)則和Adam 優(yōu)化器優(yōu)化.訓(xùn)練過(guò)程，同時(shí)再引入WGAN-gp 損失函數(shù)提升收斂效率。

1 算法原理與網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

1.1 生成式對(duì)抗網(wǎng)絡(luò)

生成式對(duì)抗網(wǎng)絡(luò)GAN 本質(zhì)是對(duì)抗雙方生成器和判別器通過(guò)零和博弈不斷學(xué)習(xí)、不斷改進(jìn)，最終生成能夠以假亂真的本不存在的數(shù)據(jù)。生成器主要進(jìn)行樣本偽造，訓(xùn)練過(guò)程中要不斷提高偽造水平，盡可能與真實(shí)樣本相同；判別器用來(lái)判斷生成器生成樣本的真實(shí)性，通過(guò)計(jì)算生成樣本與真實(shí)樣本的差值去引導(dǎo)生成器不斷減小差異。GAN 基本結(jié)構(gòu)如圖1 所示。

圖1 生成式對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Generative adversarial network structure diagram

原始GAN 中目標(biāo)優(yōu)化函數(shù)為

式中，D表示判別器，G表示生成器，x～pdata表示x來(lái)源于真實(shí)分布，Z～pz表示隨機(jī)噪聲z來(lái)源于模擬分布，Ex～pata[lnD(x)]表示判別器損失，EZ～pzln {1-D[G(z)]}表示生成器損失。

訓(xùn)練結(jié)束時(shí)，對(duì)抗雙方達(dá)到納什平衡，判斷器無(wú)法識(shí)別生成圖像的真?zhèn)巍Ｔ糋AN 訓(xùn)練過(guò)程中生成器從隨機(jī)噪聲中取樣，存在生成樣本圖像狀態(tài)不可控的問(wèn)題，近年來(lái)不斷改進(jìn)，其中KARRAS T 等提出基于樣式的生成式對(duì)抗網(wǎng)絡(luò)（StyleGAN）［12］，StyleGAN 移除傳統(tǒng)隨機(jī)噪聲，將潛向量（latent code）作為初始輸入，采用無(wú)監(jiān)督學(xué)習(xí)對(duì)圖像中的語(yǔ)義進(jìn)行解耦，并采用樣式傳遞方式解決生成圖像不可控的問(wèn)題。

1.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

StyleGAN 模型在高分辨率圖像生成以及樣式風(fēng)格變換上有良好的性能，網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，因此，以StyleGAN 為基礎(chǔ)結(jié)構(gòu)，針對(duì)數(shù)據(jù)集的特點(diǎn)，對(duì)其生成器結(jié)構(gòu)進(jìn)行改進(jìn)。StyleGAN 能夠在可見(jiàn)光自然.圖像的紋理細(xì)節(jié)方面有很好的表現(xiàn)，對(duì)于紅外艦船圖像來(lái)說(shuō)，其圖案形狀、顏色豐富程度以及樣式種類(lèi)遠(yuǎn).不及可見(jiàn)光自然圖像，直接將結(jié)構(gòu)復(fù)雜的StyleGAN 應(yīng)用在紅外圖像生成上難以得到理.想的生成圖像。因此，在原始StyleGAN 基礎(chǔ)上對(duì)模型進(jìn)行修改，提出紅外艦船增強(qiáng)StyleGAN（Infrared Ship Enhancement StyleGAN，ISE-StyleGAN）模型，以顯著提高模型訓(xùn)練的穩(wěn)定性并獲取高質(zhì)量生成樣本。

圖2 StyleGAN 生成器結(jié)構(gòu)Fig.2 StyleGAN generator structure

1.2.1 基于自注意力機(jī)制的生成器

1）StyleGAN 中的感受野大小受限于卷積核，在訓(xùn)練過(guò)程中難以從全局角度捕捉紅外艦船圖像內(nèi)容，導(dǎo)致圖像部分內(nèi)部信息和長(zhǎng)距離像素關(guān)聯(lián)信息丟失，但是如果使用全連接層獲取全局信息，會(huì)使模型冗余增加，計(jì)算量激增。所以，考慮通過(guò)引入自注意力機(jī)制解決此問(wèn)題。自注意力生成對(duì)抗網(wǎng)絡(luò)（Self-Attention Generative Adversarial Networks，SAGAN）［13］首次將自注意力機(jī)制引入生成式對(duì)抗網(wǎng)絡(luò)中，生成模型的效果得到極大提升。本文將自注意力引入生成器中，使算法能夠在全局領(lǐng)域進(jìn)行操作，學(xué)習(xí)到圖像中更多的細(xì)節(jié)和長(zhǎng)距離像素關(guān)聯(lián)信息。

如圖3 所示，自注意力機(jī)制將特征映射為三部分，第一部分f(x)和第三部分h(x)使用1×1 卷積模塊進(jìn)行f(x)=W線性變換，第二部分g(x)進(jìn)行通道壓縮，即

圖3 自注意力機(jī)制Fig.3 Self-attention

式中，Wf、Wg、Wh、Wv表示四個(gè)1×1 卷積層權(quán)重矩陣。

然后將f(x)、g(x)轉(zhuǎn)換為矩陣形式，進(jìn)行轉(zhuǎn)置相乘，經(jīng)過(guò)softmax 處理得到注意力權(quán)重βi，j為

式中，βj，i表示第i個(gè)位置對(duì)生成第j個(gè)位置的關(guān)系權(quán)重，N表示輸入特征圖中含有特征的位置數(shù)量。

再將h(x)與得到的注意力權(quán)重βj，i相乘，再經(jīng)過(guò)1×1 卷積層處理得到自注意力特征映射oj為

最后將自注意力特征映射與一比例參數(shù)相乘，再同輸入特征圖加權(quán)相加得到最終輸出zi為

式中，γ是初值為0 的預(yù)定義系數(shù)。

2）由于紅外艦船圖像具有色彩單一、樣式結(jié)構(gòu)樸素的特點(diǎn)，所以，對(duì)生成器進(jìn)行針對(duì)性簡(jiǎn)化，將生成器最后一個(gè)模塊的分辨率大小設(shè)定為256×256，使生成器更適合本文提供的數(shù)據(jù)需求，在確保生成圖像質(zhì)量的前提下，能夠減少網(wǎng)絡(luò)所需參數(shù)量，提高生成器的運(yùn)算效率。

3）減少隨機(jī)噪聲的輸入數(shù)量。由于紅外艦船圖像的紋理細(xì)節(jié)特征沒(méi)有可見(jiàn)光圖像豐富，按照原始StyleGAN 模型進(jìn)行圖像生成時(shí)，噪聲過(guò)多會(huì)引入較多噪點(diǎn)，影響自適應(yīng)實(shí)例歸一化［14］的進(jìn)行，進(jìn)而導(dǎo)致生成圖像質(zhì)量下降。因此，生成器每個(gè)不同分辨率網(wǎng)絡(luò)模塊的噪聲輸入均只引入一個(gè)噪聲模塊。最終改進(jìn)生成器結(jié)構(gòu)如圖4 所示。噪聲模塊N的生成方法表示為

圖4 改進(jìn)的生成器結(jié)構(gòu)Fig.4 Improved generator architecture

1.2.2 小波判別器

使用小波判別器［15］（Wavelet discriminator）進(jìn)行偽影抑制。由于實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)，在64×64 分辨率的早期訓(xùn)練階段，可以觀察到阻塞偽影，但隨著訓(xùn)練的進(jìn)行，它們逐漸消失。由于判別器判別失敗，偽影會(huì)使高分辨率合成缺失高頻細(xì)節(jié)，因此需要使用更強(qiáng)的鑒別器來(lái)抑制偽影的產(chǎn)生。

小波判別器結(jié)構(gòu)如圖5 所示，在每一個(gè)分辨率模塊中，使用一個(gè)基于跳躍連接的網(wǎng)絡(luò)從小波分解中提取特征，并將它們合并到從更高分辨率塊派生的特征表示中。判別器對(duì)輸入圖像分層，進(jìn)行雙線性下采樣降尺度處理，并在每個(gè)尺度上檢測(cè)離散小波分解位置與真實(shí)圖像的頻率差異。這樣的小波鑒別器在對(duì)抗阻塞偽影方面效果顯著。同時(shí)，它對(duì)分布匹配沒(méi)有任何負(fù)面影響，可有效引導(dǎo)生成器生成豐富的圖像細(xì)節(jié)。

圖5 小波判別器結(jié)構(gòu)Fig.5 Structure of wavelet discriminator

1.2.3 損失函數(shù)

使用WGAN-gp［16］損失函數(shù)提升收斂效率，以此將生成圖像z同真實(shí)樣本x的Wasserstein-1 距離輸入至判別器，并基于WGAN 的損失標(biāo)準(zhǔn)，用梯度懲罰項(xiàng)替換權(quán)重裁剪項(xiàng)，避免梯度爆炸。最終損失函數(shù)為

1.2.4 雙時(shí)間尺度更新規(guī)則

訓(xùn)練時(shí)采用雙時(shí)間尺度更新規(guī)則（TTUR）［17］。TTUR 提出新的訓(xùn)練參數(shù)更新策略，將生成器G和判別器D自動(dòng)設(shè)置不同的學(xué)習(xí)率，讓D的收斂速度加快，并且能夠平衡兩者的訓(xùn)練速度。訓(xùn)練過(guò)程是根據(jù)生成器和判別器損失函數(shù)LG、LD的隨機(jī)梯度來(lái)進(jìn)行的，其中θ是生成器中的學(xué)習(xí)變量參數(shù)，ω是判別器的學(xué)習(xí)變量參數(shù)。由于梯度是隨機(jī)的，從圖像數(shù)據(jù)集Pdata(x)中隨機(jī)選擇m個(gè)真實(shí)樣本x(i)，1 ≤i≤m，和生成圖像數(shù)據(jù)集PG(z)中m個(gè)隨機(jī)選擇的生成樣本z(i)，1 ≤i≤m。如果實(shí)際梯度為h(θ，ω)=?θ LG和g(θ，ω)=?ω LD，那么就用隨機(jī)變量M(ω) 和M(θ) 定 義和。因此梯度隨機(jī)近似于實(shí)際梯度。TTUR 一般假設(shè)生成器和判別器更新的學(xué)習(xí)率為a（n）和b（n），則

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)的獲取采用網(wǎng)絡(luò)爬蟲(chóng)方式，主要是通過(guò)網(wǎng)絡(luò)檢索“艦船”、“貨輪”等軍用民用船只，共4 284 張紅外艦船圖像，其中艦船數(shù)量為7 196 艘。首先按照8∶2 的比例將圖片劃分成訓(xùn)練集和測(cè)試集，然后從測(cè)試集中隨機(jī)抽取一半作為驗(yàn)證集，實(shí)驗(yàn)前不對(duì)紅外圖像進(jìn)行任何處理。

2.2 實(shí)驗(yàn)配置

本文所有實(shí)驗(yàn)均在Ubuntu20.04 操作系統(tǒng)中進(jìn)行，CPU 是core i9-12900KF，GPU 為顯存12G 的NVIDIA GeForce RTX 3080ti，python 版本為3.7.11，開(kāi)發(fā)工具是pycharm2020.1，框架使用Pytorch1.9.0。實(shí)驗(yàn)前首先將自建紅外艦船數(shù)據(jù)集進(jìn)行批處理，訓(xùn)練參數(shù)設(shè)置如表1 所示。學(xué)習(xí)率使用TTUR，批訓(xùn)練數(shù)設(shè)置為32，單次實(shí)驗(yàn)訓(xùn)練900 個(gè)Epochs，使用Adam 優(yōu)化器。

表1 實(shí)驗(yàn)訓(xùn)練參數(shù)Table 1 Experimental training parameters

2.3 算法訓(xùn)練過(guò)程

ISE-StyleGAN 算法實(shí)現(xiàn)過(guò)程為：

2.4 圖像生成效果評(píng)價(jià)

2.4.1 目視判斷評(píng)價(jià)

為全面展示生成的紅外圖像，圖6 中選取了某一圖像在各個(gè)迭代生成階段的生成效果?？梢?jiàn)在Epoch=100 時(shí)，圖像像素化嚴(yán)重并存在失真現(xiàn)象，無(wú)法辨別出艦船圖像；當(dāng)Epoch=300 時(shí)，圖像網(wǎng)格基本消失，但在圖像中央已能大致看出艦船輪廓；當(dāng)Epoch=600 時(shí)，艦船圖像開(kāi)始顯現(xiàn)，輪廓已接近真實(shí)清晰，但圖像背景略微模糊；當(dāng)Epoch=900 時(shí)，整體生成的紅外圖像非常接近真實(shí)圖像，艦船目標(biāo)已能夠通過(guò)目視判讀出。

由圖6 可以看到，在Epoch 從100 到900 的訓(xùn)練過(guò)程中，能夠得到不同分辨率的紅外艦船圖像。因此，可以通過(guò)利用低分辨率圖像得到艦船的整體輪廓以及部分艦船特征，以此來(lái)對(duì)艦船目標(biāo)進(jìn)行檢測(cè)識(shí)別，并持續(xù)跟蹤目標(biāo)；利用高分辨率圖像可識(shí)別出艦船中的細(xì)節(jié)特征，因此，可以更具針對(duì)性地進(jìn)行艦船目標(biāo)的細(xì)粒度識(shí)別，比如，可對(duì)艦船中的駕駛室、雷達(dá)、水線等要害部位進(jìn)行識(shí)別定位，利用反艦導(dǎo)彈進(jìn)行精確打擊。

圖6 ISE-StyleGAN 訓(xùn)練過(guò)程Fig.6 The training process of ISE-StyleGAN

為進(jìn)一步驗(yàn)證算法的生成圖像質(zhì)量，對(duì)圖像中顯著位置天線桅桿進(jìn)行放大對(duì)比。圖7 展示了兩幅圖的原圖、艦船天線桅桿放大圖以及ISE-StyleGAN 生成圖像。從圖7（b）、（d）中可以看到雖然生成圖像的天線桅桿略有模糊，并且中間的桅桿和右邊的桅桿中部橫桿一小部分不相同，但是圖像整體形狀、桅桿位置分布以及其他細(xì)節(jié)部分基本一致，并且整體的亮度以及對(duì)比度比較符合人眼要求。相比圖7（f），圖7（h）也略微模糊，整體亮度偏灰暗，天線桅桿形狀大致相同，能夠看出輪廓邊緣，較好地區(qū)分出天線桅桿和海面背景。綜上，通過(guò)將原圖和生成圖像中顯著位置進(jìn)行對(duì)比看出，盡管在整體亮度以及模糊程度上略有差別，但是生成圖像能夠較好地生成圖像局部特征，基本還原出原圖的效果。

圖7 原圖與生成圖像的對(duì)比Fig.7 Compare of the original images with the generated images

基于相同實(shí)驗(yàn)條件、不同場(chǎng)景進(jìn)行實(shí)驗(yàn)，隨機(jī)選擇不同背景的生成紅外圖像如圖8 所示，對(duì)比原數(shù)據(jù)、DCGAN、CycleGAN、StyleGAN 和ISE-StyleGAN 的實(shí)驗(yàn)結(jié)果。DCGAN 生成圖像背景部分同原圖像相差較多，并且該算法生成的第一張圖像中目標(biāo)尺度大小存在問(wèn)題，第二張圖像中存在空間扭曲，說(shuō)明仍然存在訓(xùn)練不穩(wěn)定、模型坍塌的現(xiàn)象；CycleGAN 的生成圖像對(duì)于曝光度較低的背景部分具有較好的生成效果，但是整體的灰度分布、灰度等級(jí)存在著較大差異并且有顏色偏移的現(xiàn)象。StyleGAN 也能生成表面光滑、質(zhì)量較好的自然圖像，但是部分圖中夾雜著一些明顯與原始圖像特征不符的缺陷特征，存在風(fēng)格混亂的問(wèn)題，該算法生成的第一張圖中艦船位置顛倒，第四張圖中海面出現(xiàn)黑色條紋，圖像缺乏真實(shí)性。

圖8 不同生成式對(duì)抗網(wǎng)絡(luò)算法生成圖像對(duì)比Fig.8 Comparison of images generated by different generative adversarial network algorithms

根據(jù)紅外圖像的先驗(yàn)知識(shí)以及目視判讀得到：1）本文算法在白天、黑夜、云霧等各種氣象條件下都能得到較好的艦船和背景的紅外成像效果；2）本文算法在艦船目標(biāo)不同尺度不同數(shù)量的條件下也能有較好的紅外成像效果；3）圖中展示的生成圖像滿足艦船的大多數(shù)特征要求，輪廓清晰可辨，圖像紋理細(xì)節(jié)較明顯，整體的灰度分布同真實(shí)圖像的紅外效果非常接近，僅僅在整體亮度以及色差上略有差別。

通過(guò)目視圖像中特征顯著位置對(duì)比以及主觀評(píng)價(jià)生成圖像可得：使用本文算法所得紅外圖像能基本展示出艦船的輪廓以及紋理細(xì)節(jié)，在灰度分布上與真實(shí)圖像大致相同，整體上兩幅圖片的相似度很高，通過(guò)目視以及主觀判斷，生成的紅外艦船圖像表現(xiàn)較好。

2.4.2 客觀指標(biāo)評(píng)價(jià)

為進(jìn)一步驗(yàn)證實(shí)驗(yàn)生成圖像的有效性，通過(guò)客觀性能指標(biāo)峰值信噪比（Peak Signal to Noise Ratio，PSNR）和多層級(jí)結(jié)構(gòu)相似性（Multi-Scale Structural Similarity Index，MS-SSIM）［18］對(duì)生成圖像進(jìn)行定量分析。PSNR 指標(biāo)基于原始圖像和生成圖像中對(duì)應(yīng)像素點(diǎn)的誤差大小，主要是衡量生成圖像失真程度，分值越高，圖像越逼真。由于數(shù)據(jù)集中圖像尺度豐富多樣，所以另一個(gè)評(píng)估指標(biāo)采用MS-SSIM。同SSIM 程序相同，MS-SSIM 也是進(jìn)行原始與生成圖像的分辨率、亮度、對(duì)比度以及相關(guān)結(jié)構(gòu)的比較，得到比較分?jǐn)?shù)然后進(jìn)行積累，對(duì)圖像進(jìn)行下采樣，整個(gè)過(guò)程重復(fù)迭代，以此來(lái)進(jìn)行不同圖像尺度的多SSIM 評(píng)價(jià)。

表2 和表3 給出了各個(gè)模型對(duì)各種背景、尺度的紅外艦船圖像生成客觀指標(biāo)評(píng)價(jià)結(jié)果，可以看到ISEStyleGAN 的PSNR 值以及MS-SSIM 值在各種類(lèi)型的目標(biāo)下都是最高，說(shuō)明本文提出的改進(jìn)算法相比幾種經(jīng)典生成式對(duì)抗網(wǎng)絡(luò)方法生成的紅外艦船圖像更加逼真，質(zhì)量更好。同時(shí)，ISE-StyleGAN 生成的艦船輪廓和細(xì)節(jié)同原始圖像更相似，因此，可以推斷出ISE-StyleGAN 生成的艦船圖像特征同原始圖像特征更相似。

表2 生成式對(duì)抗網(wǎng)絡(luò)模型PSNR 指標(biāo)結(jié)果Table 2 PSNR index results of generative adversarial network model

表3 生成式對(duì)抗網(wǎng)絡(luò)模型MS-SSIM 指標(biāo)結(jié)果Table 3 MS-SSIM index results of generative adversarial network model

2.4.3 目標(biāo)檢測(cè)算法測(cè)試

生成紅外艦船圖像旨在解決由于紅外數(shù)據(jù)量不足影響目標(biāo)檢測(cè)精度的問(wèn)題。所以，可以通過(guò)將生成數(shù)據(jù)集應(yīng)用至艦船檢測(cè)任務(wù)來(lái)進(jìn)一步驗(yàn)證生成圖像的有效性。驗(yàn)證過(guò)程采用不同的數(shù)據(jù)集，包括原始紅外艦船數(shù)據(jù)集，原始數(shù)據(jù)集同常規(guī)增廣的數(shù)據(jù)組合數(shù)據(jù)集，DCGAN、CycleGAN、StyleGAN、ISE-StyleGAN 生成圖像組合數(shù)據(jù)集分別進(jìn)行艦船檢測(cè)訓(xùn)練，數(shù)據(jù)集具體設(shè)計(jì)如表4 所示。常規(guī)增廣包括圖像平移變換、隨機(jī)縮放、隨機(jī)裁剪等方法，檢測(cè)算法采用YOLOv3、SSD、Faster R-CNN、Centernet，epoch=50，使用平均精確率（mAP）作為評(píng)價(jià)指標(biāo)。

表4 目標(biāo)檢測(cè)測(cè)試數(shù)據(jù)集構(gòu)成Table 4 Data set composition of object detection test

圖9 給出了四種算法訓(xùn)練在不同數(shù)據(jù)集中的mAP 變化曲線，對(duì)比可知，使用原始數(shù)據(jù)集進(jìn)行目標(biāo)檢測(cè)，精度結(jié)果都不是很理想，并且不同檢測(cè)算法使用這1 000 張圖片得到的結(jié)果相差較大，說(shuō)明不同檢測(cè)算法對(duì)數(shù)據(jù)集依賴(lài)程度不同。對(duì)原始數(shù)據(jù)集進(jìn)行擴(kuò)充后無(wú)論是使用常規(guī)增廣還是通過(guò)算法數(shù)據(jù)生成，目標(biāo)檢測(cè)精度均能得到一定程度的提升，同時(shí)，不同生成式對(duì)抗網(wǎng)絡(luò)算法得到的擴(kuò)充數(shù)據(jù)集在相同目標(biāo)檢測(cè)模型中運(yùn)行，可比較出各個(gè)模型的性能差異。使用常規(guī)增廣方法在不同檢測(cè)算法上有8%左右的精度提升，其他主流生成算法能將精度提升10%左右，但是，存在使用生成算法的效果不如常規(guī)增廣的情況。對(duì)比表5 中序號(hào)2和序號(hào)5 的YOLOv3 算法檢測(cè)精度，常規(guī)增廣的檢測(cè)效果提升更明顯，對(duì)比序號(hào)2 和序號(hào)4 使用SSD 算法，也是常規(guī)增廣效果更好。因此，雖然主流生成算法能夠豐富紅外艦船特征多樣性，但是使用該數(shù)據(jù)集生成的圖像質(zhì)量不高，存在風(fēng)格混亂以及缺陷特征的問(wèn)題，會(huì)造成海雜波的虛檢。從表5 可以看出本文算法生成的數(shù)據(jù)使用四種目標(biāo)檢測(cè)算法測(cè)試都能有較好的檢測(cè)效果，魯棒性較強(qiáng)。例如在YOLOv3 算法中，ISEStyleGAN 擴(kuò)充后的目標(biāo)檢測(cè)網(wǎng)絡(luò)與原始數(shù)據(jù)集相比在平均精確率上提升15%左右，驗(yàn)證了基于ISEStyleGAN 生成紅外艦船圖像的有效性和可行性。

圖9 各數(shù)據(jù)集用不同算法得到的mAP 值Fig.9 mAP value of each dataset by different algorithms

表5 各數(shù)據(jù)集目標(biāo)檢測(cè)的mAP 值Table 5 mAP value of target detection in each dataset

3 結(jié)論

本文針對(duì)紅外艦船數(shù)據(jù)難以獲取的問(wèn)題，提出ISE-StyleGAN 紅外艦船圖像生成算法，通過(guò)目視判讀以及客觀評(píng)價(jià)指標(biāo)對(duì)原始圖像以及DCGAN、CycleGAN、StyleGAN、ISE-StyleGAN 生成圖像進(jìn)行對(duì)比實(shí)驗(yàn)。結(jié)果表明，本文算法生成的紅外艦船圖像質(zhì)量較好，同真實(shí)紅外圖像相似度較高；再經(jīng)過(guò)4 種經(jīng)典目標(biāo)檢測(cè)算法測(cè)試，本文算法生成圖像構(gòu)建的數(shù)據(jù)集檢測(cè)效果均最優(yōu)。因此，該方法可用于紅外圖像生成，為紅外艦船數(shù)據(jù)提供來(lái)源。