林仁浦，張 力，馬晨暉，劉 軒，張 豪

改進的深度反投影網(wǎng)絡(luò)紅外圖像超分辨率重建

林仁浦1，張 力1，馬晨暉1，劉 軒1，張 豪2

（1. 火箭軍工程大學(xué)，陜西 西安 710025；2. 31608部隊，福建 廈門 361023）

深度反投影網(wǎng)絡(luò)在可見光圖像的超分辨率重建中具有優(yōu)異的表現(xiàn)，本文探索將深度反投影網(wǎng)絡(luò)應(yīng)用到紅外圖像超分辨率重建中。針對紅外圖像對比度低、圖像質(zhì)量不高的特點，在深度反投影網(wǎng)絡(luò)框架上作如下改進：在上采樣模塊之前添加串聯(lián)層，將前一次的下采樣輸出和原始低分辨率預(yù)處理圖像串聯(lián)作為上采樣模塊的輸入，以此提高網(wǎng)絡(luò)獲取圖像高頻信息的能力，增強生成圖像的細節(jié)信息。實驗結(jié)果證明，本文算法較改進前能夠得到細節(jié)更加豐富、視覺效果更加良好的紅外超分辨率重建圖像。

紅外圖像；超分辨率；深度反投影網(wǎng)絡(luò)

0 引言

紅外圖像是利用探測器捕獲物體紅外輻射所呈現(xiàn)出的圖像，自然界中不存在絕對零度的物體，任何物體都會向外輻射紅外線。物體輻射紅外線的強度受物體的溫度、材料、形狀等影響，物體輻射紅外線強度的差異，在紅外探測設(shè)備上得以表現(xiàn)，進而將這種差異用于區(qū)分成像物體。紅外圖像反映的是被觀測物體和背景之間的溫度差，這一特性使得紅外圖像通常不受天候的影響，因而紅外圖像常被用于夜間的監(jiān)控和偵察。受制于紅外硬件系統(tǒng)的客觀發(fā)展，紅外圖像在實際應(yīng)用中都會涉及到分辨率較低的問題，提高紅外圖像的分辨率在遙感、目標檢測識別等領(lǐng)域具有迫切的應(yīng)用需求[1]。

當前，圖像的超分辨率重建技術(shù)是一個熱點研究方向，超分辨率重建技術(shù)通常被分為3類：基于插值的算法[2]、基于重建的算法[3]和基于深度學(xué)習(xí)的算法[4]?；诓逯档姆椒ㄍǔ＠脠D像相鄰像素之間的統(tǒng)計特征處理圖像，這種方法雖然能夠增強圖像分辨率，但圖像的邊緣會比較模糊。基于重建的算法主要用于恢復(fù)圖像的高頻信息，對于結(jié)構(gòu)復(fù)雜的圖像，處理效果較差?；谏疃葘W(xué)習(xí)的算法通過對大量數(shù)據(jù)樣本的學(xué)習(xí)，能夠建立高分辨率圖像和低分辨率圖像之間的非線性映射關(guān)系，目前此類方法在超分辨率重建中取得了較好的應(yīng)用效果。

Dong等[5]首次提出用于解決圖像超分辨率重建的卷積神經(jīng)網(wǎng)絡(luò)SRCNN（Super-Resolution Convolutional Neural Networks），該網(wǎng)絡(luò)主要由3個卷積層構(gòu)成，由于卷積操作無法對圖像進行放大，所以在使用SRCNN網(wǎng)絡(luò)時，首先需要利用雙三次插值算法對圖像進行預(yù)處理，將低分辨率圖像放大至目標大小。之后Dong等又提出改進型算法FSRCNN[6]（Faster Super-Resolution Convolutional Neural Networks），在FSRCNN結(jié)構(gòu)中引入反卷積操作作為圖像放大的手段，替代雙三次插值的預(yù)處理。Kim等[7]提出用于圖像超分辨率的深度卷積神經(jīng)網(wǎng)絡(luò)VDSR（Very Deep Convolutional Networks），該方法利用梯度剪裁來解決由網(wǎng)絡(luò)結(jié)構(gòu)過深而引起的梯度消失和梯度爆炸。Haris等[8]提出深度反投影網(wǎng)絡(luò)DBPN（Deep Back-Projection Networks），該網(wǎng)絡(luò)包含相互依賴的上-下采樣模塊，通過這樣的方式提供錯誤反饋機制，同時利用深度級聯(lián)的方式將不同的圖像退化和超分辨率組件包含在網(wǎng)絡(luò)中，DBPN相對于SRCNN、FSRCNN、VDSR等算法在圖像超分辨率重建質(zhì)量上有較明顯的提升，但在實際訓(xùn)練中DBPN從原始低分辨率圖像上只進行了一次信息獲取，一旦前面的上下采樣層丟失細節(jié)信息較多，那么該網(wǎng)絡(luò)的特征提取能力就會顯著下降。目前神經(jīng)網(wǎng)絡(luò)算法在可見光領(lǐng)域中的超分辨率重建中取得了一定的技術(shù)性突破，探究將這類算法改進運用到紅外圖像的超分辨率重建中，將會推動紅外圖像成像技術(shù)的發(fā)展。

考慮到DBPN在可見光圖像超分辨率重建算法中相較其他圖像重建算法效果更加優(yōu)異，本文探索在DBPN算法結(jié)構(gòu)的基礎(chǔ)上，提出一種可以適合紅外圖像超分辨率重建的方法。

1 本文算法

本文針對紅外圖像的特征，在DBPN算法的基礎(chǔ)上提出改進型算法，提高網(wǎng)絡(luò)對紅外圖像高頻信息的獲取能力。

1.1 深度反投影網(wǎng)絡(luò)

深度反投影網(wǎng)絡(luò)由Haris等人[8]于2018年提出，該網(wǎng)絡(luò)結(jié)構(gòu)包含數(shù)個串聯(lián)的上下采樣層，通過不斷地對圖片進行退化和超分辨率重建來提取圖片中的空間細節(jié)信息。深度反投影網(wǎng)絡(luò)主要包括初始化特征提取模塊，反投影模塊，以及重建模塊，具體框架結(jié)構(gòu)，如圖1所示。改進型算法是在原先的算法基礎(chǔ)上添加了融合通道，融合預(yù)處理圖像和網(wǎng)絡(luò)處理過程中的中間變量。

1.1.1 初始化特征提取模塊

初始化特征提取模塊由兩個卷積層組成，其中第一個卷積層的卷積核大小kernel＝3，卷積操作的步長stride＝1，零填充padding＝1，經(jīng)過該層卷積操作圖像的尺寸大小沒有發(fā)生改變，但是卻可以根據(jù)實驗需求改變圖像的通道數(shù)；第二層卷積操作是一個卷積核大小kernel＝1的卷積操作，該層操作主要是修改圖像的通道數(shù)，生成與原始圖像相同通道數(shù)的圖片。初始化特征提取模塊通過卷積操作提取圖像中的特征細節(jié)。

1.1.2 反投影模塊

反投影模塊由多個上下采樣層相互連接組成，這種連接方式使得網(wǎng)絡(luò)能夠在不同深度獲取HR（High-Resolution）的特征，同時上下采樣層可以使用不同類型的圖像退化和超分辨率組件，從而能夠更加豐富地獲取圖像細節(jié)信息。

圖1 深度反投影網(wǎng)絡(luò)結(jié)構(gòu)圖，主要包括初始化特征提取、反投影和重建3個部分

如圖2所示，深度反投影網(wǎng)絡(luò)的向上反投影單元，主要經(jīng)過反卷積操作、卷積操作和反卷積操作，具體步驟如下：

放大：

縮?。?/p>

殘差計算：

殘差結(jié)果放大：

輸出特征圖：

如圖3所示，深度反投影網(wǎng)絡(luò)的向下反投影單元，主要經(jīng)過卷積操作、反卷積操作和卷積操作，具體步驟如下：

縮小：

放大：

殘差計算：

殘差結(jié)果縮小：

輸出特征圖：

式中：p－1￠代表反卷積操作；g－1￠代表卷積操作。

1.1.3 重建模塊

重建模塊包含一個串聯(lián)層和卷積層，串聯(lián)層將所有上采樣層的輸出進行串聯(lián)，這使得網(wǎng)絡(luò)能夠充分利用前面所有的高分辨率特征圖，最后通過卷積層來融合所有特征圖的特征信息，并歸一化圖片的通道。

1.1.4 融合通道

如圖4所示，本文提出的改進算法在原算法的基礎(chǔ)上，在上反投影單元之前添加串聯(lián)層，將經(jīng)過預(yù)處理的圖像Lpre和下反投影單元的輸出串聯(lián)后輸入到上反投影單元，通過這樣的方式不斷強化網(wǎng)絡(luò)獲取高頻信息的能力。反投影模塊中的上下反投影單元采用不同的HR和LR（Low-Resolution）算法，融合通道為不同的上下反投影單元提供了細節(jié)信息更加豐富的輸入圖像，由于不同HR、LR算法在圖像紋理信息獲取能力不同，引入融合通道能夠結(jié)合不同HR、LR算法的特點，圖5為添加了融合通道的改進型算法模型。

圖2 深度反投影網(wǎng)絡(luò)的向上反投影單元

圖3 深度反投影網(wǎng)絡(luò)中的向下反投影單元

2 實驗

2.1 數(shù)據(jù)

本文數(shù)據(jù)采用CVC-09以及CVC-14紅外公開數(shù)據(jù)集[9]，選用CVC-09數(shù)據(jù)集中的7000張紅外圖像作為訓(xùn)練集，選用CVC-14中的部分紅外圖像作為測試集，在進行訓(xùn)練前，分別對訓(xùn)練集和測試集圖像進行下采樣操作獲得用于訓(xùn)練和測試的低分辨率數(shù)據(jù)集，下采樣因子為4。使用主觀評價方法和峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structural Similarity，SSIM）[10]3種評價方法對本文算法效果進行評估，同時選用Bicubic[11]、SRCNN和DBPN算法作為本文算法的對比算法。

2.2 實驗設(shè)置

本文神經(jīng)網(wǎng)絡(luò)訓(xùn)練平臺采用pytorch，GPU采用GTX1080ti，設(shè)定的學(xué)習(xí)速率為0.0001，采用Adam模型優(yōu)化，迭代次數(shù)50000次。

2.3 質(zhì)量評價標準

圖像質(zhì)量評價標準是衡量超分辨率圖像重建算法的重要指標，目前圖像質(zhì)量評價標準主要分為客觀評價方法與主觀評價方法?？陀^評價方法是通過設(shè)計系統(tǒng)的算法，依據(jù)圖像的客觀數(shù)據(jù)衡量超分辨率圖像的質(zhì)量。主觀評價方法是通過人眼觀測圖像，并對圖像質(zhì)量進行評判的方法。

2.4 實驗結(jié)果討論

實驗選用了CVC-14中的圖片作為測試集，在網(wǎng)絡(luò)模型放大因子為4的基礎(chǔ)上，將本文算法的結(jié)果與Bicubic、SRCNN、DBPN的重建結(jié)果進行比較，并利用主觀和客觀兩類評價指標進行對比。

2.4.1 主觀評價效果

我們從實驗數(shù)據(jù)中選取了4張圖片，在4倍放大因子的基礎(chǔ)上，對比不同算法的實際重建效果，具體情況如圖6、圖7、圖8、圖9所示。

圖4 改進后的深度反投影網(wǎng)絡(luò)

圖5 改進后的上采樣層

圖6 行車圖像使用不同超分辨率重建方法的重建結(jié)果對比

圖7 行人圖像使用不同超分辨率方法的重建結(jié)果對比

圖9 馬路圖像使用不同超分辨率方法的重建結(jié)果對比

圖6表示的是行駛中汽車的街景圖片，對比本文提出的算法和其他算法，放大街景圖片中的長凳，本文所提算法能夠清晰地還原出長凳的細節(jié)，從細節(jié)對比來看，本文算法相比其他算法具有一定的優(yōu)勢；圖7表示的是街邊的行人圖片，放大街邊建筑物的細節(jié)后進行觀察對比，可以看出本文提出的算法在紋理細節(jié)上更加豐富；圖8拍攝的是斑馬線圖片，截取圖片中的建筑物細節(jié)，可以發(fā)現(xiàn)本文算法能夠比較逼真的還原原始圖像的細節(jié)；圖9表示的是行駛過程中拍攝的馬路圖片，放大遠處的物體，本文提出的算法能夠較平滑地還原物體細節(jié)。因此，我們可以推斷本文算法在與Bicubic、SRCNN、DBPN等算法相比，在圖像超分辨率重建方面具有明顯的優(yōu)勢。

2.4.2 客觀評價效果

本文采用的客觀圖像指標有PSNR和SSIM。峰值信噪比是對比兩幅圖像對應(yīng)像素之間的誤差，通過誤差值判斷圖像的失真程度，峰值信噪比的數(shù)值越大表明生成圖像越接近原始高分辨率圖像，圖像的重建質(zhì)量越好。結(jié)構(gòu)相似度用來衡量圖像的相似程度，該指標數(shù)值越接近1，則表明生成的超分辨率圖像越接近原始高分辨率圖像，超分辨率重建效果越好。

在4倍放大因子的條件下，選用CVC-14中的4張圖片，對比本文算法和Bicubic、SRCNN、DBPN在PSNR和SSIM標準下的重建效果。如表1和表2所示，本文算法在PSNR和SSIM評價標準下都能夠取得優(yōu)于其它算法的實驗結(jié)果，因此可以證明本文算法要優(yōu)于其它算法。

表1 不同重建方法的PSNR評價效果對比

表2 不同重建方法的SSIM評價效果對比

3 結(jié)論

本文通過改進深度反投影網(wǎng)絡(luò)算法，獲得了一種可以應(yīng)用到紅外圖像超分辨率重建的模型。在DBPN的網(wǎng)絡(luò)模型中引入融合通道，提高了上采樣層對高頻信息的獲取能力，較原始網(wǎng)絡(luò)結(jié)構(gòu)能夠獲取更豐富的紋理信息。實驗結(jié)果表明該方法能夠重建出細節(jié)信息豐富的紅外圖像，具有較好的視覺感知效果。最后通過主觀和客觀圖像質(zhì)量評估方法，證明了本文改進算法在重建紅外圖像上的實際效果。

[1] DONG W, SHI G, LI X, et al. Image reconstruction with locally adaptive sparsity and nonlocal robust regularization[J]., 2012, 27(10): 1109-1122.

[2] YANG H, HUANG Z. Fast image interpolation algorithm based on gradient[J]., 2013, 32(10): 2821-2823.

[3] Papyan V, Elad M. Multi-Scale Patch-Based Image Restoration[J]., 2015, 25: 249-261.

[4] 王威, 張彤, 王新. 用于圖像超分辨率重構(gòu)的深度學(xué)習(xí)方法綜述[J]. 小型微型計算機系統(tǒng), 2019, 40(9): 1891-1896.

WANG Wei, ZHANG Tong, WANG Xin. Survey of Single Image Super-resolution Based on Deep Learning[J]., 2019, 40(9): 1891-1896.

[5] DONG C , LOY C C , HE K , et al. Image Super-Resolution Using Deep Convolutional Networks[J]., 2016, 38(2): 295-307.

[6] DONG C, LOY C C, TANG X. Accelerating the super-resolution convolutional neural network[C]//, 2016: 391-407.

[7] KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[C]//, 2016: 1646-1654.

[8] Haris M, Shakhnarovich G, Ukita N. Deep Back-Projection Networks for Super-Resolution[C]//, 2018: 1664-1673.

[9] SOCARRAS Y, RAMOS S, VAZQUEZ D, et al. Adapting Pedestrian Detection from Synthetic to Far Infrared Images[C]//–, 2013: 1-3.

[10] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: From error visibility to structural similarity[J]., 2004, 13(4): 600-612.

[11] ZHANG L , WU X. An edge-guided image interpolation algorithm via directional filtering and data fusion[J]., 2006, 15(8): 2226-2238.

Improved Super-resolution Reconstruction of Infrared Images Based on Deep Back-projection Networks

LIN Renpu1，ZHANG Li1，MA Chenhui1，LIU Xuan1，ZHANG Hao2

(1. Rocket Force University of Engineering, Xi’an 710025, China;2. 31608 Troops, Xiamen 361023, China)

Deep back-projection networks have excellent performance in the super-resolution reconstruction of visual images. This paper explores the application of deep back-projection networks to the super-resolution reconstruction of infrared images. In view of the characteristics of low infrared image contrast and low image quality, the following improvements were made in the framework of the deep back-projection network: adding a concatenation layer before the upsampling module, cascading the previous downsampling output and the original low-resolution preprocessed image as the input of the upsampling module. This was designed to improve the network's ability to obtain high-frequency information of the image and enhance the detail of the generated image. The experimental results proved that the proposed algorithm could create infrared super-resolution reconstructed images with richer details and improved visual effects.

infrared images, super-resolution, deep back-projection networks

TP183

A

1001-8891(2020)09-0873-07

2020-06-15；

2020-09-03.

林仁浦（1991-），男，碩士，主要從事數(shù)字圖像處理和超分辨率研究工作。E-mail:18752659887@163.com