徐亦欣，胡清平，熊 張，張曉暉

一種水上目標可見光圖像生成紅外圖像的方法

徐亦欣，胡清平，熊 張，張曉暉

（海軍工程大學 兵器工程學院，湖北 武漢 430034）

紅外警戒系統(tǒng)、紅外成像制導導彈等軍事裝備在進行性能評估和模擬訓練過程中都需要大量紅外仿真圖像，但目前紅外仿真軟件普遍存在生成紅外仿真圖像逼真度差、軟件普適性不好等問題，且國外技術封鎖造成我國紅外仿真軟件發(fā)展緩慢。因此，針對國內可見光圖像仿真技術日趨成熟的現(xiàn)狀，為提高紅外仿真圖像質量，本文提出了一種采用循環(huán)生成對抗網(wǎng)絡、由可見光圖像生成紅外仿真圖像的方法，并通過實驗驗證該算法是有效可行的。該算法首先通過區(qū)域生長算法從采集的可見光圖像中提取水上目標，建立了水上目標可見光圖像生成紅外圖像的訓練數(shù)據(jù)集；然后利用訓練好的網(wǎng)絡生成紅外仿真圖像。測試實驗表明，采用這種方法所生成的水上目標紅外仿真圖像視覺效果接近真實紅外圖像，可實際應用于海軍紅外軍事裝備模擬試驗和訓練系統(tǒng)。

紅外圖像仿真；圖像風格遷移；循環(huán)生成對抗網(wǎng)絡；區(qū)域生長算法

0 引言

當前，以紅外成像技術為基礎的紅外警戒系統(tǒng)、紅外制導導彈等軍事裝備已經(jīng)在現(xiàn)代戰(zhàn)爭中逐漸占據(jù)重要地位[1]。這些裝備在性能測試階段，通常需要通過外場試驗來對其目標跟蹤能力、抗干擾能力和虛警率等性能指標進行測試與評估[2]，但紅外成像系統(tǒng)受試驗環(huán)境和氣象條件等因素的影響較大，依據(jù)單次外場試驗的結果難以對裝備在不同作戰(zhàn)環(huán)境和氣象條件下的性能指標作出客觀精確的測試和評估，需要采用紅外圖像仿真技術來模擬戰(zhàn)場環(huán)境和軍事目標進行多次可重復的測試試驗[3]；而為了保證紅外裝備能在戰(zhàn)時發(fā)揮最大的作戰(zhàn)效能，也需要生成大量軍事目標在不同作戰(zhàn)環(huán)境和氣象條件下的紅外仿真圖像來對作戰(zhàn)人員進行模擬訓練[4]。因此，早在20世紀70年代，國外就通過外場試驗結合理論建模對紅外圖像仿真技術展開了研究，先后研發(fā)出Vega Prime、SE Workbench等較為完善的紅外視景仿真軟件[5]，但存在逼真度差、普適性不好的問題。而且由于存在技術封鎖，國內紅外視景仿真軟件發(fā)展緩慢，主要以自建模型和依托仿真軟件包建模渲染為主[6]。

近年來，深度學習技術異軍突起，涌現(xiàn)出許多基于神經(jīng)網(wǎng)絡的仿真圖像生成技術，特別是Goodfellow等人率先提出的生成對抗網(wǎng)絡（Generative Adversarial Networks，GAN）[7]可以實現(xiàn)圖像風格的遷移?？紤]到國內可見光圖像仿真技術比較成熟，而且軍事目標在不同作戰(zhàn)環(huán)境和氣象條件下的可見光圖像遠比紅外圖像豐富，本文將建立在GAN網(wǎng)絡基礎上、但無需使用配準圖像進行訓練的循環(huán)一致生成對抗網(wǎng)絡（Cycle Generative Adversarial Networks，CycleGAN）[8]引入到紅外圖像仿真領域，提出了一種水上目標可見光圖像生成紅外仿真圖像的方法。

1 基于循環(huán)生成對抗網(wǎng)絡的紅外仿真圖像生成方法

要生成效果出色的紅外仿真圖像，仿真結果不僅需要滿足紅外圖像的風格分布，還需要保持與可見光圖像對應的內容特征。CycleGAN是一種基于GAN發(fā)展而來的無監(jiān)督機器學習?？朔薌AN結果不可控的缺點，繼承了Pix2Pix[9]定向生成特定分布圖像優(yōu)勢的同時突破了數(shù)據(jù)集配準的限制。

本文以水上目標的可見光與紅外圖像為數(shù)據(jù)集，對CycleGAN網(wǎng)絡模型不斷訓練優(yōu)化得到訓練模型，可通過輸入新的水上目標可見光圖像生成相應效果出色的紅外仿真圖像。如圖1所示，CycleGAN在傳統(tǒng)GAN的基礎上額外增加一個生成器和判別器構成對稱的環(huán)形網(wǎng)絡。兩個GAN共享兩個生成器、，并各帶一個判別器D、D。在本文中，訓練集為水上目標的可見光數(shù)據(jù)集，訓練集為水上目標的紅外數(shù)據(jù)集?！时硎究梢姽鈹?shù)據(jù)集中圖像樣本，∈表示紅外數(shù)據(jù)集中圖像樣本。將訓練集和中圖像數(shù)據(jù)、作為輸入，為提高訓練效率，對每張圖像按照像素大小256×256、步長3像素進行裁剪。以前向循環(huán)→圖像處理流程為例：可見光圖像通過生成器生成具有紅外風格的生成圖像()，加入紅外訓練集。生成器首先對進行3層卷積，第一層卷積提取可見光圖像中船舶目標特征，卷積核大小為7×7、步長設置為1，邊界補充設為SAME。得到的結果依次進行批規(guī)范化處理加速收斂并激活，得到尺度為1×256×256×64的結果0。第二層卷積對0進行特征提取，卷積核大小為3×3、步長為2、邊界補充設為SAME，將特征圖下采樣到一半得到結果1，尺度為1×128×128×128；第三層卷積對第二層輸出特征圖進行高級特征提取，參數(shù)設置與第二測定相同，再次將特征圖下采樣到原尺寸一半，增大卷積核對輸入特征圖的感受域，卷積結果2尺度為1×64×64×256。網(wǎng)絡中還包含非線性激活層，激活函數(shù)Relu()＝max(0,)。

圖1 循環(huán)生成對抗網(wǎng)絡原理

判別器D用以判定訓練集中出現(xiàn)的圖像樣本真假。因為只需要構建高頻信息，不需要將整張圖片作為輸入，判別器繼承pix2pix的PatchGAN網(wǎng)絡，先對圖像進行若干次patches塊大小70×70的隨機剪裁，將剪裁后圖像輸入判別器得到30×30的特征圖，特征圖的每一個點對應原圖片上一個patch，將特征圖降維取均值來衡量生成圖像的每一個patch與真圖像的差異。

同時()通過生成器生成風格圖像(())加入訓練集，判別器D判定(())標簽并計算與中真實圖像的損失。

后向循環(huán)→圖像處理流程與此類似。通過兩組生成器與判別器相互博弈，最終生成使判別器無法判別真假的圖像()、()時，模型達到訓練效果。

2 建立數(shù)據(jù)集

由于缺乏公開的船舶紅外圖像數(shù)據(jù)集，本文自建了江面船舶可見光與紅外數(shù)據(jù)集。原始圖像數(shù)據(jù)為在武漢市鸚鵡洲長江大橋實地晴好天氣下，采集了江面行駛的集裝箱船、干散貨船、輪渡船、巡邏艇等多種船舶圖像。在深度學習中，訓練數(shù)據(jù)集規(guī)模和質量直接影響模型性能。訓練集越豐富，質量越高，模型訓練性能越好[10]。因采集地點為橋梁附近，數(shù)據(jù)集中原始圖像場景中存在大量橋墩以及兩岸樓房、堤岸等復雜物體，若圖像中同時存在船舶目標與干擾物體，該圖像作為訓練集會降低模型準確率。

本文采用區(qū)域生長算法對原始圖像進行目標識別和分割提取，去除了復雜背景的干擾。

2.1 區(qū)域生長算法

區(qū)域生長算法（region seeds growing, RSG）是一種圖像分割技術，能將具有相同特征的聯(lián)通區(qū)域分割出來，并提供良好的邊界信息和分割結果。在無先驗知識可利用時可以取得最佳性能，常用于分割較為復雜的圖像[11]。

其基本思想是將有相似性質的像素點合并起來構成聯(lián)通區(qū)域。首先對需要分割的區(qū)域選取一個種子像素作為生長起點，然后根據(jù)事先確定的生長準則將種子像素周圍領域中與種子有相同或相似性質的像素合并到種子像素所在區(qū)域中。新像素作為種子繼續(xù)向四周生長，直到?jīng)]有滿足條件的像素為止。

2.2 數(shù)據(jù)處理

本文采用區(qū)域生長算法進行目標識別與分割，篩選出完整船舶的圖像輪廓，最終獲得可見光船舶圖片6285張，紅外船舶圖片8246張。對可見光和紅外圖像預處理結果示例如圖2所示。

3 模型訓練

模型訓練階段，按照訓練集、驗證集2:1的比例劃分數(shù)據(jù)，經(jīng)預處理和篩選后最終劃分可見光圖像訓練集圖像樣本3346張，驗證集圖像樣本1672張；紅外圖像訓練集圖像樣本3744張，驗證集圖像樣本1871張。參數(shù)設置如表1所示，模型訓練時將所有圖像縮放成256×256像素，優(yōu)化器選擇基于低階矩的自適應估計Adam（adaptive moment estimation）算法優(yōu)化梯度。前100輪迭代（N_epochs）保持初始學習率，第100輪迭代后學習率開始線性衰減，每隔50輪迭代衰減一次（decay iters），第200代時衰減到0（N_epochs decay）。

圖2 可見光、紅外圖像預處理

表1 模型參數(shù)值

模型訓練過程中有兩個損失函數(shù)，對抗損失和循環(huán)一致?lián)p失。前者盡可能讓生成器生成的數(shù)據(jù)分布接近于真實的數(shù)據(jù)分布，后者用于保證兩生成器可以實現(xiàn)互逆，即互相迭代回自身。

設、為可見光數(shù)據(jù)集和紅外數(shù)據(jù)集，表示可見光數(shù)據(jù)集中圖像樣本，表示紅外數(shù)據(jù)集中圖像樣本，對生成器:→和它的判別器D，對抗損失函數(shù)為：

循環(huán)一致?lián)p失函數(shù)是CycleGAN的核心，也是實現(xiàn)無配對圖像相互轉換的核心，為了盡可能保證循環(huán)一致性。cyc設定為兩個相似的結構：

式中：||×||1表示1范數(shù)。綜上所述，CycleGAN網(wǎng)絡的總損失函數(shù)為：

CycleGAN＝GAN(,D,,)＋GAN(,D,,)

＋cyc(,) (4)

式中：為平衡對抗損失和循環(huán)一致?lián)p失的權重，一般取10。

如圖3所示，當網(wǎng)絡模型進行20輪迭代時，已經(jīng)能夠實現(xiàn)從可見光圖像生成初具紅外特征的仿真圖像，但是存在的問題是仿真圖像中船舶邊緣模糊，內部紋理與真實紅外風格存在偏差，水面波紋呈現(xiàn)的灰度變化更接近可見光圖像風格；當進行到40輪迭代時，船舶目標邊緣逐漸清晰，目標內部呈現(xiàn)較為符合紅外特征風格的灰度分布，水面紋理表征更為自然；進行到120輪迭代時，可以生成視覺上較為逼真的紅外仿真圖像；但進行到140輪迭代后，生成圖像會出現(xiàn)偽影現(xiàn)象。經(jīng)過對比，本文選擇第120輪作為截止代際。

4 實驗驗證

4.1 驗證方案

利用訓練好的網(wǎng)絡對測試集進行測試，在耗時95h后得到訓練模型。統(tǒng)計表明轉換單張可見光圖像平均時間約為0.2s，可在短時間大量生成紅外仿真圖像。圖4展示了江面部分型號的集裝箱船、干散貨船的可見光圖像及生成的紅外圖像。

圖3 原始可見光圖像經(jīng)過不同迭代次數(shù)生成的紅外仿真圖像

圖4 紅外圖像仿真測試結果

為驗證算法有效性，本文從圖像真實度、質量、相似度3個方面評價實驗結果。

驗證方案示意圖如圖5所示，首先將水上目標的原始可見光（Visible image）和紅外圖像（Infrared image）送入訓練好的CycleGAN模型獲取紅外仿真圖像（Infrared simulation）。從3個方面對紅外仿真圖像進行評價：

圖5 驗證方案示意

1）真實度：采用主觀視覺效果評價生成的紅外圖像真實度；

2）相似度：采用結構相似性指數(shù)（structural similarity index measure, SSIM）評估紅外仿真圖像與原可見光圖像的圖像相似度，SSIM的取值范圍是[－1,1]，越接近1，表明生成的紅外圖像與原可見光圖像的相似度越高；

3）質量：采用信息熵（entropy）、平均梯度（average gradient）、邊緣強度（edge intensity）、標準差（standard deviation）和空間頻率（spatial frequency）5個指標評價生成的紅外圖像的質量，并與紅外數(shù)據(jù)庫中圖像進行質量比較。

4.2 實驗結果分析

從主觀視覺效果上看，本文中生成的紅外圖像真實度較高。紅外仿真圖像中船舶目標的幾何形狀和空間關系與可見光圖像基本一致，目標與背景溫差明顯，邊界清晰。紅外仿真圖像內部細節(jié)豐富，區(qū)別于其他區(qū)域，船只內部溫度較高的部件，如船艙動力系統(tǒng)、排氣系統(tǒng)等，在仿真圖像中表現(xiàn)為灰度值較大。紅外仿真圖像水面波紋與船舶尾流效果較好，與可見光圖像相符。

評價紅外仿真圖像與原始可見光圖像相似度時，本文在模型訓練結束后計算測試集生成的紅外仿真圖像與相匹配的可見光圖像的SSIM。紅外仿真圖像與相匹配的可見光圖像SSIM均值為0.5194。參考從公共數(shù)據(jù)集中獲取的21張已配準的紅外與可見光圖像，SSIM均值為0.3749，其結果表明與真實紅外圖像相比，本文生成的紅外圖像與可見光圖像結構相似度較高，圖像相似性高。

本文將生成紅外仿真圖像與原始數(shù)據(jù)集中所有真實紅外圖像樣本進行對比，從信息熵、平均梯度、邊緣強度、標準差、空間頻率5個維度對生成圖像質量進行評價，評價結果如圖6所示。生成的紅外圖像信息熵均值為5.46，數(shù)據(jù)庫內紅外圖像信息熵均值為6.03，結果表明仿真圖像與紅外圖像平均信息量上較為接近；平均梯度反映圖像中的微小細節(jié)反差和紋理變化特征，生成的紅外圖像平均梯度均值為4.81，數(shù)據(jù)庫內紅外圖像平均梯度均值為8.92，這是由于仿真圖像是基于可見光圖像生成的，轉化過程中紋理信息有部分損失，仍需進一步提高；仿真圖像邊緣強度均值為8.52，數(shù)據(jù)庫內紅外圖像邊緣強度均值8.58，兩者邊緣強度相近，反映仿真圖像邊緣清晰程度達到紅外圖像水平；標準差反映了圖像清晰程度，生成的紅外圖像標準差均值為28.53，數(shù)據(jù)庫內紅外圖像標準差均值36.68，清晰度差別不大。圖像空間頻率反應圖像灰度在空間中的變化情況，生成的紅外圖像空間頻率均值為9.41，數(shù)據(jù)庫內紅外圖像空間頻率均值為15.23，生成的紅外圖像變化較慢，灰度值分布平坦，但仍能基本滿足需求。

圖6 圖像評價指標參數(shù)比較：(a) 結構相似性指數(shù)；(b)信息熵；(c) 平均梯度；(d) 邊緣強度；(e) 標準差；(f) 空間頻率

綜上所述，本文中生成的紅外圖像真實度較高，與可見光圖像結構相似度高，保持了目標對應內容特征，圖像質量接近真實紅外圖像，細節(jié)豐富程度較高，基本符合紅外圖像的風格分布特征。

5 結論

本文圍繞快速生成水上目標紅外圖像問題，通過區(qū)域生長算法識別提取目標，結合循環(huán)生成對抗網(wǎng)絡將可見光圖像轉換為紅外圖像，在無監(jiān)督的情況下，可短時間內將大量可見光圖像轉換為紅外仿真圖像。紅外仿真圖像在圖像質量、圖像真實性和圖像相似性上均有不錯表現(xiàn)，可以用作裝備性能測試時的紅外信號源頭，具有一定實用價值。該方法可彌補當前與水上目標可見光圖像同軸紅外圖像數(shù)據(jù)庫不足的問題，也可以推廣應用于其他目標，解決紅外圖像采集困難的問題。

[1] 羅海波, 史澤林. 紅外成像制導技術發(fā)展現(xiàn)狀與展望[J].紅外與激光工程, 2009, 38(4):565-573

LUO H B, SHI Z L. Status and prospect of infrared imaging guidance technology[J]., 2009, 38(4): 565-573.

[2] 董敏周. 用于紅外成像系統(tǒng)抗干擾性能評估的紅外圖像仿真[D]. 西安: 西北工業(yè)大學, 2004.DONG M J. Infrared Image Simulation for Anti-Jamming Performance Evaluation of Infrared Imaging System[D]. Xi'an: Northwest University of Technology, 2004.

[3] 張靜元, 趙非玉, 吳剛剛, 等. 國內外紅外對抗仿真及模型研究[J].光電技術應用, 2021, 36(2): 5-9. ZHANG J Y, ZHAO F Y, WU G G. Research on Simulation and model of infrared countermeasure at home and abroad[J]., 2021, 36(2): 5-9.

[4] ZHAO C, YANG H. A survey on development trends and key technologies of infrared guidance systems [J]., 2008(5): 48-53.

[5] 于偉杰, 劉華, 彭群生. 計算機紅外成像仿真[J]. 計算機應用與軟件, 2004(7): 1-2.YU W J, LIU H, PENG Q S. Computer simulation of infrared image[J]., 2004(7): 1-2.

[6] 周方方, 司斌, 王暉. 紅外圖像仿真的發(fā)展綜述[J].航空兵器, 2013(2): 29-37.ZHOU F F, SI B, WANG H. Review for simulation system of infrared image[J]., 2013(2): 29-37.

[7] Goodfellow I, Pouget Abadie J, Mirza M, et al. Generative adversarial nets[J]., 2020(11): 139-144.

[8] ZHU J Y, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//, 2017: 2223-2232.

[9] Isola P, Zhu J Y, Zhou T, et al. Image-to-image translation with conditional adversarial networks[C]//, 2017: 1125-1134.

[10] Mnih V, Kavukcuoglu K, Silver D, et al. Human-level control through deep reinforcement learning[J]., 2015, 518(7540): 529-533.

[11] FAN J, ZENG G, Body M, et al. Seeded region growing: an extensive and comparative study[J]., 2005, 26(8): 1139-1156.

Method for Generating Infrared Image from Visible Image of Water Surface Targets

XU Yixin，HU Qingping，XIONG Zhang，ZHANG Xiaohui

(College of Weaponry Engineering, Naval University of Engineering, Wuhan 430033, China)

Military equipment, such as infrared warning systems and infrared image-guided missiles, requires a number of infrared simulation images during performance evaluation and simulation training. However, the infrared simulation image generated by infrared simulation software has some problems, such as poor fidelity and poor universality. The domestic infrared simulation technology is hampered by foreign technology blockade. Currently, the development situation is difficult in meeting the requirement of the application. To solve this problem, this experiment proposed a visible-infrared image transform method. First, the region seeds growing (RSG) algorithm was used to extract the water target from the collected image. Subsequently, the visible and infrared image water target datasets were established. Finally, the trained cycle generative adversarial network (CycleGAN) was used to generate the infrared simulation image from the visible image. The test results show that the visual effect of the infrared simulation image generated by this method is close to that of the real infrared image and can be applied to the naval infrared military equipment simulation test and training system.

infrared image simulation, image style migration, CycleGAN, RSG

TP391

A

1001-8891(2022)09-0929-07

2021-11-12；

2022-04-01.

徐亦欣（1995-），女，碩士研究生，主要研究方向為軍用目標探測與信息感知技術。E-mail：724902343@qq.com。

張曉暉（1965-），女，教授，主要研究方向為軍用光電工程。E-mail：xiaoyan6481@sina.com。