牟新剛，崔 健，周 曉

基于全卷積網絡的紅外圖像非均勻性校正算法

牟新剛，崔 健，周 曉

（武漢理工大學 機電工程學院，湖北 武漢 430070）

針對紅外成像系統在經過兩點校正后，隨時間漂移仍然會出現的非均勻性噪聲，提出一種基于全卷積深度學習網絡的紅外圖像非均勻性校正算法，使用子網絡與主網絡相結合的方式進行非均勻性校正。該算法設計了非均勻性等級估計子網絡，將含有非均勻性噪聲的紅外圖像輸入子網絡后，輸出非均勻性等級估計圖，并和待校正紅外圖像一并輸入校正主網絡。子網絡生成的非均勻性等級估計圖作為一個參數輸入校正主網絡，避免了網絡只針對同一等級非均勻性產生過擬合。經過實驗驗證，該算法克服了傳統的基于場景的算法所產生的邊緣模糊問題，對條紋狀非均勻性噪聲校正效果較好，經過校正后的紅外圖像清晰度高、細節(jié)豐富、邊緣清晰、圖像質量良好。

非均勻性等級估計子網絡；紅外圖像；非均勻性校正；深度學習

0 引言

近年來，隨著紅外焦平面陣列分辨率不斷增大，紅外成像技術從工業(yè)、農業(yè)、軍事和消防領域，逐漸擴展到如體溫測量、自動駕駛等民用領域。在紅外成像系統中，由于系統設計、元器件的半導體材料和制造工藝等多方面原因，引入非均勻性噪聲是無法避免的，這也是影響紅外成像技術應用的關鍵問題。

紅外圖像非均勻性校正算法主要分為3類。應用最廣泛的是基于標定的校正算法，如兩點校正法[1]。該類算法校正時需要參考輻射源，設備需要周期性停機校正。基于場景的校正算法如時域高通濾波法[2]，對于固定的噪聲有效，但會將背景中的低頻部分作為噪聲濾除，并會產生“鬼影”問題。Zuo等人[3]改進了時域高通濾波法，將雙邊濾波引入算法。Qian等人[4]提出了基于空域低通的時域高通濾波算法，進一步改善了“鬼影”問題和細節(jié)丟失的問題。Harris等人[5]首次提出使用恒定統計平均法進行非均勻性校正。但基于場景的各類算法，均存在適用條件苛刻以及“鬼影”問題?；谏窠浘W絡和深度學習的算法近年來不斷發(fā)展，Kuang等人[6]提出使用三層神經網絡進行非均勻性校正，趙春暉等人[7]對神經網絡的濾波器進行改進。由于這些算法的神經網絡層數少，算法的校正能力有限。張龍等人[8]將神經網絡與雙邊濾波算法結合，一定程度上提高了校正效果。Mou等人[9]使用了層數更多的神經網絡，并提出使用殘差連接提高算法的校正效果[10]。He等人[11]在訓練深度學習網絡時，對數據集添加模擬的條紋狀非均勻性噪聲。

隨著計算機的計算能力不斷發(fā)展，深度學習算法使用層數更多的神經網絡來提高算法精度。目前基于深度學習的紅外圖像非均勻性校正算法的研究較少，算法存在校正效果不佳，圖片過度平滑和適應性不強的問題。本文借鑒CBDnet網絡使用噪聲估計子網絡的思想，設計了一種全卷積深度學習網絡，該網絡包含非均勻性等級估計子網絡和校正主網絡兩部分，子網絡對圖片的非均勻性等級進行估計，并將非均勻性等級估計圖作為參數輸入主網絡，避免出現過擬合問題，以提高網絡的校正效果和適應性。

1 非均勻性噪聲分析

紅外探測器的核心元器件是紅外焦平面陣列，其探測單元的響應可以使用線性數學模型表示為：

y,j()＝A,j,j()＋B,j() (1)

式中：,j為紅外焦平面陣列單個像元的輸入；y,j為對應像元的輸出；A,j為像元增益；B,j為像元偏置。

由于半導體材料的電學特性和生產工藝的限制，紅外焦平面陣列會隨著使用時間的延長而發(fā)生漂移現象，從而導致紅外成像系統得到的紅外圖像產生非均勻性噪聲。由于紅外焦平面陣列縱向的所有像元共用一個放大器，當成像系統產生漂移時，紅外圖像就會產生非常明顯的縱向條紋狀噪聲。

2 基于全卷積網絡的校正算法總體設計

Zhang等人[12]使用全卷積網絡對可見光圖像高斯分布點狀噪聲去噪時，將噪聲等級估計圖作為輸入，提高了網絡去噪效果。Guo等人[13]通過進一步研究發(fā)現，當噪聲等級估計圖與圖片真實噪聲等級匹配時，去噪效果良好，如果產生低估，去噪效果變差。Guo等人針對可見光高斯分布點狀噪聲去噪任務提出了噪聲等級估計子網絡，本文首次將該思路引入紅外圖像條紋狀非均勻性校正算法，設計了非均勻性等級估計子網絡和校正主網絡相結合的新網絡。經過訓練后，該子網絡根據輸入圖像產生非均勻性等級估計圖，估計圖作為單獨的數據通道，與待校正圖片一起輸入主網絡，提高網絡對不同等級非均勻性的適應性，從而提高網絡的校正效果。

深度學習網絡使用的全連接層常用于分類任務，全連接層的設計要求輸入圖像尺寸固定，并且全連接層會使網絡的權重參數變多，網絡的訓練和識別速度降低。文中網絡采用全卷積設計，網絡支持不同尺寸的圖片作為輸入，相比于全連接層，全卷積網絡減少了網絡的權重參數數量，提高了網絡的訓練和識別速度。

文中算法的實施流程如圖1所示。首先將子網絡和主網絡同時在數據集上進行訓練。待模型收斂后，將待校正圖片輸入模型，得到非均勻性校正后的圖片。

3 全卷積網絡結構及參數設計

網絡包含非均勻性等級估計子網絡和校正主網絡兩個部分。兩部分均采用全卷積設計，不含全連接層。含有非均勻性噪聲的輸入紅外圖像表示為，非均勻性等級估計子網絡表示為s，校正主網絡表示為m。非均勻性等級估計子網絡的任務是得到非均勻性等級估計圖s()，并將其作為一個參數與待校正紅外圖片一起輸入校正主網絡，最終得到校正后的紅外圖片m[,s()]。

主網絡如果只接受含有非均勻性噪聲的紅外圖像作為參數，容易發(fā)生針對數據集非均勻性強度的過擬合現象，而實際紅外圖像的非均勻性強度往往與數據集不一致，導致神經網絡只針對數據集中的非均勻性強度產生良好的效果，而在對實際紅外圖像進行非均勻性校正時表現不佳。文中網絡采用了一個非均勻性等級估計子網絡，經過迭代訓練后，可以對非均勻性等級進行估計，輸出非均勻性等級估計圖，并將估計的結果作為一個輸入參數輸入主網絡。當實際含有非均勻性噪聲的紅外圖片輸入網絡后，先經過子網絡對其非均勻性等級進行估計，并將估計的結果與原圖像一起輸入主網絡，可以有效提高網絡非均勻性校正效果。網絡整體結構如圖2所示。

圖2 全卷積神經網絡結構

3.1 非均勻性等級估計子網絡

由于子網絡的任務是對非均勻性等級進行估計，并不參與最終的校正任務，所以子網絡不需要層數過多，且考慮到紅外圖像均為單通道灰度圖，沒有彩色圖片R，G，B三通道中的顏色信息，所以網絡的通道數不宜過多。最終設計的網絡為4層，32通道。網絡結構如圖3所示。

圖3 非均勻性等級估計子網絡

子網絡為4層全卷積結構，每層通過尺寸為3×3的卷積核進行卷積操作，生成32通道的特征圖。每層卷積層后使用ReLU激活函數。為了保證子網絡輸出的非均勻性等級估計圖尺寸與原圖片保持一致，子網絡不使用池化層，并對邊緣進行補0操作。子網絡的詳細參數如表1所示。

3.2 校正主網絡

校正主網絡同樣采用全卷積的結構。網絡共有12層，每一層包含一個尺寸為3×3大小的卷積核，生成64通道的特征圖。在網絡訓練過程中，隨著網絡參數的更新，更新參數的這一層神經網絡，會導致上一層網絡輸入數據的分布發(fā)生變化，隨著網絡加深，這種變化會層層疊加，導致網絡難以收斂，所以在設計層數較多的主網絡時使用批歸一化[14]操作。

表1 子網絡參數

網絡的第1層使用3×3大小的卷積核，經過ReLU激活函數后輸出。網絡的第2層到第11層，特征圖經過3×3大小的卷積核后，先進行批歸一化操作后，再經過ReLU激活函數輸出。網絡的最后一層只有3×3大小的卷積層，不進行批歸一化操作，也不經過激活函數，得到最終的輸出圖片。為保證輸入圖片和輸出圖片的尺寸保持一致，對邊緣采取補0操作。校正主網絡的結構圖如圖4所示，網絡的具體參數如表2所示。

圖4 校正主網絡

3.3 目標函數

文中網絡的目標函數分為二部分，第一部分是非均勻性等級估計子網絡s輸出的非均勻性等級估計圖s()與給定的非均勻性等級圖之間的關系，第二部分是校正主網絡m輸出校正后的圖片m[,s()]與不含非均勻性噪聲的理想紅外圖像之間的關系。

子網絡的任務是輸出準確的非均勻性等級估計圖，所以子網絡的目標函數s為：

表2 校正主網絡參數

校正主網絡接收子網絡輸入的非均勻性等級估計圖s()和輸入圖像后，得到最終校正后的紅外圖像，主網絡的目標函數m為：

網絡整體的損失函數為：

＝ss＋mm(4)

式中：s和m分別為子網絡損失函數系數和主網絡損失函數系數，反映二者在訓練中所占權重。

4 實驗與結果分析

4.1 數據集

由于紅外探測器可以在多種場景中使用，為了防止神經網絡出現過擬合現象，數據集應當包含豐富的場景。從FLIR和LTIR公開數據集中隨機挑選不同場景的紅外圖片900張，挑選由實驗室自主研發(fā)的基于氧化釩非制冷型IRFPA的長波紅外探測器收集的不同場景紅外圖像100張，裁剪成256×256大小，作為文中算法的訓練集。該訓練集包含常見的生活場景，如街道、公園、野外、室內、車輛、人像、建筑等。

由于包含真實非均勻性噪聲的紅外圖像難以收集，所以根據紅外焦平面陣列響應的數學模型，為訓練集添加標準差分別為{0，0.05，0.1，0.15}，均值為1的高斯分布增益噪聲，標準差為{0，0.05，0.1，0.15}，均值為0的高斯分布偏置噪聲。

測試集同樣從FLIR和LTIR公開紅外數據集中選取，添加與訓練集相同的高斯分布噪聲。同時添加由實驗室自主研發(fā)的長波紅外探測器收集的2段1000幀的紅外圖像序列，其中1000幀添加與訓練集相同的噪聲。其余1000幀為該紅外探測器經過兩點校正后，隨使用出現條紋狀非均勻性噪聲時收集的紅外圖像序列，每幀圖像均含有真實的非均勻性噪聲。

4.2 模型訓練

文中深度學習網絡選擇基于GPU的Tensorflow深度學習框架，使用Keras深度學習庫編寫網絡模型程序，訓練的硬件環(huán)境為Intel(R)Core(TM)i5-8300H型號的CPU和GeForce GTX 1050Ti型號的GPU。

由于訓練集圖片數量有限，使用隨機旋轉90°、180°、270°和鏡像的方式進行數據集擴充，提高模型的泛化性，防止訓練結果過擬合。

4.3 校正效果評價標準

文中算法使用主觀評價和客觀評價兩種評價標準?？陀^評價采用峰值信噪比（peak signal to noise ratio，PSNR），結構相似性（structural similarity ，SSIM）和粗糙度（roughness）。

峰值信噪比公式為：

式中：為圖片的比特數。MSE表示圖片的均方誤差，其公式為：

式中：表示校正后的紅外圖像；表示不含非均勻性噪聲的理想紅外圖像；和表示圖片的寬和高。峰值信噪比數值越高，表示算法非均勻性校正效果越好。

結構相似性公式為：

SSIM(,)＝(,)×(,)×(,) (7)

式中：表示圖片的亮度；表示圖片的對比度；表示圖片的結構。結構相似性越接近于1，說明非均勻性校正效果越好。

粗糙度公式為：

式中：為圖像像素值；矩陣為[1,－1]的水平模板；T為的轉置矩陣，表示垂直模板；‘*’表示圖像的卷積計算。粗糙度計算只需要當前圖像的像素值，真實含有非均勻性的紅外圖像由于無法取得對應的理想圖像，適合使用粗糙度來評價。粗糙度值越小說明圖像越平滑，可以認為非均勻性校正效果越好。

主觀評價是校正效果評價重要的一部分。主觀評價需要通過肉眼觀察校正后的圖片是否清晰，邊緣是否發(fā)生模糊，條紋狀噪聲校正效果是否良好，是否引入新的噪聲如“鬼影”等，圖片細節(jié)保留是否良好等，補充客觀指標無法反映的圖片特征。

4.4 實驗結果與分析

子網絡與主網絡同時訓練，需要明確定義非均勻性等級圖，用于計算子網絡部分的損失函數。非均勻性等級與紅外圖像的增益噪聲和偏置噪聲有關，所以將非均勻性等級圖定義為：

式中：為人為添加的增益噪聲的標準差值；為偏置噪聲的標準差值。

對比算法包括傳統基于場景的算法：基于雙邊濾波的時域高通濾波算法（bilateral filter based temporal high-pass filter nonuniformity correction, BFTH-NUC）[3]；傳統基于單幀的算法：中值直方圖均衡化算法（median histogram equalization, MHE）[15]；深度學習算法：DLS（Deep-learning single-image-based nonuni- formity correction）[11]、DMRN（Deep multiscale residual network）[16]。對比方法包括客觀評價和主觀評價，客觀評價使用PSNR（Peak Signal to Noise Ratio）和SSIM（Structural Similarity）兩個指標。

首先對測試集中人為添加非均勻性噪聲的1000幀紅外圖像序列進行校正效果對比。MHE算法、DLS算法、DMRN和文中算法不需要先驗信息，可以基于單幀圖片進行校正，但BFTH算法需要經過一定時間收斂，所以選取了算法校正效果穩(wěn)定后的100幀圖片的客觀數據進行對比。各算法的平均PSNR和SSIM值如表3所示。PSNR對比結果如圖5所示，SSIM對比結果如圖6所示。

表3 各算法平均PSNR和SSIM

BFTH算法的PSNR值和SSIM值兩項指標在4種算法中最差，表明非均勻性校正效果最差。MHE算法客觀評價指標好于BFTH，但是數據的波動較為明顯。DLS和DMRN兩種基于深度學習的算法的客觀指標明顯高于兩種傳統算法。本章算法在5種對比算法中表現最佳，在PSNR和SSIM兩項指標中均得到最好效果，且數據波動較小，說明本章算法校正后的紅外圖像與理想紅外圖像更加接近，校正效果更好更穩(wěn)定。

圖5 測試集PSNR圖

圖6 測試集SSIM圖

圖7展示了各算法對測試集其中一幀的校正效果。圖7(a)代表含有模擬非均勻性噪聲的輸入圖片。圖7(b)背景明顯變暗，且畫面中出現了殘余的條紋狀非均勻性噪聲。圖7(c)和圖7(d)背景中出現了明顯的殘余非均勻性噪聲。圖7(e)背景純凈，非均勻性噪聲基本被去除，但從局部放大圖中可以觀察到明顯的模糊，人物腿部邊緣的細節(jié)出現丟失現象。圖7(f)為文中算法的校正效果圖，非均勻性噪聲基本被去除，觀察局部放大圖可以發(fā)現，人物邊緣清晰可辨，細節(jié)豐富。

為了進一步驗證文中算法在真實情況下的校正效果，將測試集中含有真實非均勻性噪聲的1000幀紅外圖像序列，使用4種算法進行校正。校正前的其中一幀圖片如圖8所示。

圖像中可以觀察到非常明顯的條紋狀非均勻性噪聲，背景中的小目標、樹木和建筑物等細節(jié)已經無法分辨，嚴重干擾紅外圖像信息傳遞。使用5種對比算法校正后的圖像如圖9所示。

圖7 各算法校正效果

圖8 原始圖片

圖9(a)是含有真實非均勻性噪聲的輸入圖像。圖9(b)非均勻性噪聲基本被去除，但背景出現了明顯的變暗。圖9(c)～(f)沒有出現背景變暗的現象。從對人物的局部放大圖中可以發(fā)現，圖9(c)出現了明顯的殘余非均勻性噪聲。圖9(d)人物的邊緣出現了模糊，細節(jié)丟失較為嚴重。圖9(e)和(f)校正效果整體更好，非均勻性噪聲基本被去除，從局部放大圖中可以發(fā)現，相比于圖9(e)，圖9(f)中人物的邊緣更加清晰銳利，人物與背景的對比度更高，非均勻性校正效果表現最好。

各算法在含有真實非均勻性噪聲的紅外圖像序列上的平均粗糙度值如表4所示，基于深度學習的算法粗糙度值更小，文中算法粗糙度值在對比算法中最低，表明文中算法的校正效果表現最佳。

經過對比實驗發(fā)現，文中算法在客觀評價和主觀評價中均取得了最好的校正效果，非均勻性噪聲基本被去除，畫面沒有出現變暗和細節(jié)丟失的現象，也沒有出現模糊。校正后的圖片清晰銳利，細節(jié)豐富，說明文中算法在含有模擬非均勻性噪聲和含有真實非均勻性噪聲的紅外圖像序列中，均取得了良好的校正效果。

圖9 各算法校正效果

表4 各算法平均粗糙度

5 結論

提出一種全卷積神經網絡，該網絡包含一個非均勻性等級估計子網絡和一個非均勻性校正主網絡。將含有噪聲的紅外圖像輸入子網絡后，子網絡對其非均勻性等級進行估計，生成非均勻性等級估計圖，并與原輸入圖片一同輸入主網絡。由于算法將非均勻性等級圖作為參數輸入主網絡，避免了網絡針對數據集中含有的非均勻性等級產生的過擬合現象，在實際非均勻性校正使用中適應性更好。經過實驗驗證，文中算法與傳統的基于場景的算法和其他基于深度學習的算法相比，校正后的圖像邊緣清晰，細節(jié)豐富，峰值信噪比、結構相似性和粗糙度指標均有明顯提升，圖片質量高，校正效果良好。

[1] ZHOU Huixin, LI Qing, LIU Shangqian, et al. Nonuniformity and its correction principle of infrared focal plane arrays[J]., 2003, 3(6): 46-48.

[2] Scribner D A, Sarkady K A, Kruer M R, et al. Adaptive nonuniformity correction for IR focal-plane arrays using neural networks[C]//, 1991: 100-109.

[3] ZUO C, CHEN Q, GU G, et al. New temporal high-pass filter nonuniformity correction based on bilateral filter[J]., 2011, 18(2):197-202.

[4] QIAN W, CHEN Q, GU G. Space low-pass and temporal high-pass nonuniformity correction algorithm[J]., 2010, 17(1): 24-29.

[5] Harris J G, Chiang Y M. Nonuniformity correction using the constant-statistics constraint: analog and digital implementations[C]//, 1997, 3061: 895-905.

[6] KUANG Xiaodong, SUI Xiubao, CHEN Qian, et al. Single infrared image stripe noise removal using deep convolutional networks[J]., 2017, 9(4): 1-13.

[7] 趙春暉, 劉振龍. 改進的紅外圖像神經網絡非均勻性校正算法[J]. 紅外與激光工程, 2013, 42(4): 1079-1083.

ZHAO Chunhui, LIU Zhenlong. Improved infrared image neural network non-uniformity correction algorithm[J]., 2013, 42(4): 1079-1083.

[8] 張龍, 董峰, 傅雨田. 基于神經網絡的紅外圖像非均勻性校正[J]. 紅外技術, 2018, 40(2):164-169.

ZHANG Long, DONG Feng, FU Yutian. Non-uniformity correction for infrared image using neural networks[J]., 2018, 40(2):164-169.

[9] MOU Xingang, LU Junjie, ZHOU Xiao, et al. Single frame infrared image adaptive correction algorithm based on residual network[C]//11th(SOPO), 2018: 17-23.

[10] 牟新剛, 陸俊杰, 周曉. 基于殘差編解碼網絡的紅外圖像自適應校正算法[J]. 紅外技術, 2020, 42(9): 833-839.

MOU Xingang, LU Junjie, ZHOU Xiao. Adaptive correction algorithm of infrared image based on encoding and decoding residual network[J]., 2020, 42(9): 833-839.

[11] HE Zewei, CAO Yanpeng, DONG Yafei, et al. Single-image-based nonuniformity correction of uncooled long-wave infrared detectors: a deep-learning approach[J]., 2018, 57(18):155-164

[12] ZHANG Kai, ZUO Wangmeng, ZHANG Lei. Ffdnet: Toward a fast and flexible solution for CNN based image denoising[C]//, 2017: 4608-4622.

[13] GUO Shi, YAN Zifei, ZHANG Kai, et al. Toward convolutional blind denoising of real photographs[C]//(CVPR), 2019:1712-1722.

[14] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//, 2015: 448-456.

[15] QIAN W, CHEN Q, GU G. Space low-pass and temporal high-pass nonuniformity correction algorithm[J]., 2010, 17(1): 24-29.

[16] CHANG Y, YAN L, LIU L, et al. Infrared Aerothermal nonuniform correction via deep multiscale residual network[J]., 2019, 16(7):1120-1124.

Infrared Image Non-uniformity Correction Algorithm Based on Full Convolutional Network

MOU Xingang，CUI Jian，ZHOU Xiao

(School of Mechanical and Electronic Engineering, Wuhan University of Technology, Wuhan 430070, China)

The infrared imaging system will still exhibit non-uniform noise after two-point correction. An infrared image non-uniformity correction algorithm based on a fully convolutional deep learning network was proposed in response to this problem. This algorithm combines the subnetwork and main network for non-uniformity correction. The network contains a nonuniformity-level estimation subnetwork. After inputting the infrared image with non-uniform noise into the non-uniformity level estimation subnetwork, the outputted non-uniformity level estimation map is input into the main network together with the original noise infrared image. The non-uniformity level estimated map generated by the subnetwork prevents the network from overfitting only for the non-uniformity of the same grade. After experimental verification, the algorithm overcomes the problem of edge blur generated by the scene-based algorithm. The algorithm will not appear blurred, the images have high definition and rich details, and the quality of images is good.

non-uniformity level estimation subnetwork, infrared image, non-uniformity correction, deep learning

TN219；TN911.73

A

1001-8891(2022)01-0021-07

2021-02-08；

2021-04-25.

牟新剛（1982-），男，博士，副教授，主要研究方向光電成像與信息處理、紅外圖像處理。E-mail: sunnymou@whut.edu.cn。

國家自然科學基金項目（61701357）；中央高校基本科研業(yè)務費專項資金資助（183204007）。