郝建新,張亦馳,王 力

(1.中國民航大學(xué) 工程技術(shù)訓(xùn)練中心,天津 300300；2.中國民航大學(xué)電子信息與自動化學(xué)院,天津 300300；3.中國民航大學(xué)職業(yè)技術(shù)學(xué)院,天津 300300)

1 引 言

紅外技術(shù)的快速發(fā)展使其在軍用及民用領(lǐng)域受到了廣泛的關(guān)注。靈敏度高、動態(tài)范圍大及晝夜可見等優(yōu)點使其在熱分析、視頻監(jiān)控、設(shè)備檢測、醫(yī)學(xué)成像、無損檢測與故障診斷等領(lǐng)域取得了令人矚目的成果。但受限于紅外攝像儀自身特性,紅外圖像噪聲大、分辨率低、細節(jié)模糊、視覺效果較差且層次不分明[1],嚴(yán)重影響后續(xù)的高層次開發(fā)與應(yīng)用。以基于紅外技術(shù)的PCB故障診斷為例,PCB紅外圖像分辨率較低,芯片紋理及邊緣模糊,直接利用感興趣區(qū)域紅外圖像進行故障診斷與定位的難度較大。選擇高熱靈敏度、高分辨率紅外攝像儀提高圖像分辨率使得硬件系統(tǒng)成本較高[2],為此本文將致力于PCB紅外圖像的超分辨率(Super-resolution,SR)重建算法模型的研究,以實現(xiàn)低分辨率(Low-resolution,LR)紅外圖像到高分辨率(High-resolution,HR)紅外圖像的轉(zhuǎn)換[3]。

當(dāng)前,主流SR重建算法包括雙三次內(nèi)插法(bicubic interpolation,BI)、壓縮感知法(Compressed Sensing,CS)和深度學(xué)習(xí)法(Deep Learning,DP)三類?；贐I[4]的重建算法簡單直觀,但重建結(jié)果常帶有明顯的塊效應(yīng)和鋸齒邊緣,故本文主要對基于CS與DP的重建算法進行回顧。

圖像稀疏性使傳統(tǒng)SR突破了奈奎斯特采樣定理限制,出現(xiàn)了大量性能較好的基于CS的重建算法。Zhang[5]等針對卷積稀疏編碼特征映射的準(zhǔn)確性問題,提出了一種基于卷積稀疏自編碼的圖像超分辨率算法；Zhang[6]等人訓(xùn)練兩個稀疏字典分別重建圖像的主體與高頻殘差部分；Yang[7]等人利用訓(xùn)練數(shù)據(jù)結(jié)構(gòu)特征差異性而對多個字典對進行學(xué)習(xí)以完成圖像重建；但CS理論在處理實際應(yīng)用中的非凸問題時常受到先驗假設(shè)的限制,且算法耗時較大。

隨著深度學(xué)習(xí)的方法的快速發(fā)展,Dong[8]等人最早提出了基于SRCNN的圖像重建算法,簡單的結(jié)構(gòu)與優(yōu)秀的性能使其受到了極大的關(guān)注；Wang[9]等繼而以級聯(lián)稀疏編碼代替映射層的方法完成了SRCNN的優(yōu)化；針對紅外圖像,Choi[10]等利用可見光數(shù)據(jù)集訓(xùn)練SRCNN,取得了較好的重建效果； Han[11]等將紅外與可見光圖像同時輸入深度網(wǎng)絡(luò),利用可見光細節(jié)信息輔助紅外圖像完成重建。

上述方法較好地表征了復(fù)雜圖像細節(jié)信息,但隨著網(wǎng)絡(luò)的加深遇到了梯度消失與爆炸。受殘差網(wǎng)絡(luò)啟發(fā),Kim[12]等成功處理了梯度爆炸問題,網(wǎng)絡(luò)的深度與性能均得到了提高；Ahn[13]等將局部與全局殘差進行連接,通過促進前后級圖像信息的有效傳遞而提高了重建性能；為了進一步利用圖像中層次特征,Tong[14]等人提出了基于DenseNet的圖像重建模型；Jia[15]等人利用殘差密集對抗式生成網(wǎng)絡(luò)實現(xiàn)紅外圖像的SR重建。但上述模型中密集連接塊的增加使得訓(xùn)練參數(shù)也急劇增加,模型效率降低。

基于前人的研究,本文針對PCB紅外圖像提出了一種基于混合殘差密集網(wǎng)絡(luò)的SR重建算法模型,以改善原PCB紅外圖像邊緣不清晰、細節(jié)紋理表現(xiàn)差、感興趣區(qū)域?qū)哟胃腥醯膯栴}。實驗結(jié)果表明,本文算法模型能夠有效提高重建后PCB紅外圖像分辨率,使PCB圖像的細節(jié)信息得到改善,視覺效果得到提升。

2 基于深度學(xué)習(xí)的圖像超分重建

2.1 基于CNN的超分辨率重建

模型采用均方誤差(Mean squared error,MSE)作為重建損失函數(shù),如式(1)所示：

(1)

式中,Θ為需要優(yōu)化的網(wǎng)絡(luò)參數(shù)；n為訓(xùn)練樣本數(shù)據(jù)量；F3為第三層卷積輸出的特征。

采用隨機梯度下降和標(biāo)準(zhǔn)反向傳播更新模型參數(shù),以最小化重構(gòu)圖像與真實圖像之間的損失值,完成圖像的重建。

2.2 基于DenseNet的圖像SR重建

DenseNet網(wǎng)絡(luò)最早于2017年由Gao[16]等人基于ResNet提出,以解決網(wǎng)絡(luò)不斷加深而出現(xiàn)的梯度消失問題。與傳統(tǒng)卷積前饋網(wǎng)絡(luò)和ResNet相比,DenseNet采用了更為密集的連接機制,即密集連接模塊(Dense block,DB),如圖1所示。

圖1 密集連接塊結(jié)構(gòu)圖

各DB間建立的快捷連接使信息在深層網(wǎng)絡(luò)中的流動性增強,實現(xiàn)了特征的重用。該結(jié)構(gòu)緩解了梯度消失問題且提高了訓(xùn)練效率,其數(shù)學(xué)描述如式(2)所示:

xl=Hl([x0,x1,…xl-1])

(2)

式中,x0,x1,…xl-1為網(wǎng)絡(luò)各層輸出的特征映射；Hl(·)為包括了批處理(Batch Normalization,BN)、ReLU激活及卷積(Convolution,Conv)在內(nèi)的復(fù)合非線性轉(zhuǎn)換函數(shù)。

DenseNet網(wǎng)絡(luò)基于DB建立,模型如圖2所示,包括:淺層特征提取、深層特征提取、參數(shù)融合、轉(zhuǎn)置卷積上采樣與圖像重建。

圖2 DenseNet圖像超分辨率重建結(jié)構(gòu)圖

鑒于本文工作重點為研究如何通過引入殘差、多路徑密集連接和全局融合完成對原始DenseNet網(wǎng)絡(luò)的優(yōu)化與改進,因此本節(jié)對DenseNet只做網(wǎng)絡(luò)結(jié)構(gòu)的宏觀表述,細節(jié)內(nèi)容將在本文3.2小節(jié)詳述。

3 本文算法

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的基于混合殘差密集網(wǎng)絡(luò)的紅外圖像SR重建算法模型結(jié)構(gòu)如圖3所示,包括:淺層特征提取(Shallow feature extraction,SFE)、混合殘差密集連接塊(Hybrid residual dense blocks,HRDBs)、全局密集特征融合(Global dense feature fusion,GDFF)和高分辨率重建(HR reconstruction,HRR)。其中,GDFF由全局特征融合(Global Feature Fusion,GFF)與全局殘差學(xué)習(xí)(Global Residual Learning,GRL)組成。

圖3 混合殘差密集網(wǎng)絡(luò)結(jié)構(gòu)圖

網(wǎng)絡(luò)的執(zhí)行步驟如下:

Step1:提取LR圖像Y的淺層特征F0和F1；

Step2:將F1送入HRDBs,依次提取圖像的多個深層特征F2,F3,…,Fn；

Step3:對層次特征F1,F2,F3,…,Fn做全局特征融合,獲取融合后的特征映射FDF；

Step4:對圖像的淺層特征F0與融合特征FDF做全局殘差學(xué)習(xí),獲取用于在HR空間進行重建的特征映射FGDF；

Step5:對FGDF進行卷積-反卷積-卷積操作,在HR空間實現(xiàn)圖像的超分辨率重建。

3.2 混合殘差密集塊

本文提出的算法核心為HRDBs,如圖4所示。每個HRDB由若干個多樣性密集連接塊(Variant Dense Block,VDB)、局部特征融合(Local Feature Fusion,LFF)層以及局部殘差學(xué)習(xí)(Local Residual Learning,LRL)層組成。

圖4 混合殘差密集塊體系圖

VDB:參考DenseNet[14]中的連接方式,通過改變DB內(nèi)各卷積核尺寸、排列方式以及各卷積核所占比例而創(chuàng)建多個VDB。對于每個VDB,其第i層所產(chǎn)生的特征映射Si可以由式(3)表示:

Si=σ(wi*[S1,S2,…Si-1]+bi)

(3)

式中,wi和bi分別表示VDB中第i層的權(quán)重和偏置；S1,S2,…,Si-1表示由VDB內(nèi)第i層之前各層所提取的特征映射；σ(·)為ReLU激活函數(shù)。

卷積核尺寸與排列順序的差異導(dǎo)致每個VDB將提取出不同的特征映射。為了在同一個層級獲得更為豐富的特征,則將多個VDB以多路徑的方式連接,表1為n=4時VDB的設(shè)置方式。參照表1,通過改變核尺寸與卷積排列順序,即可獲得多種功能的VDB以提取特征映射。

表1 多路徑結(jié)構(gòu)下VDB核尺寸設(shè)置實例

LFF:在多路徑下,VDB提取了大量的不同類型特征,可能導(dǎo)致特征的冗余和利用不充分。為此,本文采用1×1的卷積組成LFF層,將各路徑下VDB提取的特征映射(Feature-1～Feature-n)均連接到LFF,自適應(yīng)的實現(xiàn)局部特征融合,降低特征映射維度,其數(shù)學(xué)描述如式(4)所示:

F′=σ(w1×1×[f1,f2,…,fn-1,fn]+b1×1)

(4)

式中,f1,f2,…,fn-1,fn為各路徑下VDB提取的特征映射;w1×1,b1×1,F′分別為LFF層的權(quán)重、偏置和輸出。

LRL:由于每個VDB中存在多個卷積操作,為了進一步改善網(wǎng)絡(luò)中的信息流,促進信息與梯度的傳遞,在LFF層后增加LRL層,因此第i個HRDB的最終輸出可表示為:

Fi=Fi-1+F′

(5)

式中,Fi-1和Fi分別為HRDB的輸入和輸出；“+”表示殘差學(xué)習(xí)中的“快捷連接”。

3.3 全局密集特征融合(GDFF)

圖像SR重建的基礎(chǔ)是LR圖像與HR圖像之間的信息相關(guān)性,充分利用LR空間提取到的層次特征至關(guān)重要。為此,本文在網(wǎng)絡(luò)中建立了GDFF(包括GFF與GRL),在全局層面上融合所有HRDBs提取的層次特征信息。

GFF層采用核尺寸為1×1的卷積對HRDBs輸出的不同層次的特征進行融合,依據(jù)式(6)獲取全局特征:

FDF=σ(w1×1*[F1,F2,…,Fn-1,Fn]+b1×1)

(6)

式中,F1,F2,…,Fn-1,Fn為網(wǎng)絡(luò)中HRDBs輸出的特征映射；FDF為經(jīng)過GFF后得到的全局特征映射。

最后,通過GRL操作獲取最終用于重建HR圖像的特征映射,如式(7)所示:

FGDF=F0+FDF

(7)

式中,F0為淺層的特征映射。FGDF將最終被送入至HR空間,完成重建。

4 實驗結(jié)果與分析

4.1 實驗數(shù)據(jù)集

鑒于自建數(shù)據(jù)集中(Self-collected databases,SCD)PCB紅外圖像數(shù)據(jù)量有限,實驗中優(yōu)先使用公共數(shù)據(jù)集(Open databases,OD)LTIR與IRdata對重建算法模型進行訓(xùn)練、驗證和測試,然后再用自建數(shù)據(jù)集對算法模型有效性做進一步的驗證。

以公共數(shù)據(jù)集中的紅外圖像作為原始的HR圖像,利用Matlab中imresize函數(shù)bicubic選項對原始HR圖像做factor=3的雙三次插值下采樣以模擬LR圖像。LR與HR圖像組成訓(xùn)練圖像對,隨機抽取80 %的圖像對用于訓(xùn)練；10 %的圖像對用于交叉驗證；10 %圖像對用于重建測試。類似的,將PCB紅外圖像的原始圖像(320×256)做同樣操作,以用于重建模型有效性的進一步驗證。

4.2 模型訓(xùn)練設(shè)置

在Tensorflow 2.0框架下,依據(jù)表2設(shè)置HRDN重建網(wǎng)絡(luò)的參數(shù),其中G,P,H分別表示VDB輸出的增長率、連接VDB的路徑數(shù)量以及HRDB數(shù)量；除了GFF增長率取G0=64的固定值外,G,P,H的值將通過實驗獲??；每個訓(xùn)練批次中隨機抽取16張尺寸為32×32的LR紅外圖像的部分圖像塊作為輸入,通過隨機的水平、垂直翻轉(zhuǎn)和90°的轉(zhuǎn)動操作增加圖像塊數(shù)量,每1000次迭代作為一個epoch,參考文獻[17]初始化網(wǎng)絡(luò)中的各個權(quán)重與偏置,使用Adam[18]優(yōu)化方法,設(shè)定初始學(xué)習(xí)律為10-4。在NVIDIA GPU RTX3080、16GRAM、Intel(R)Core(TM)i5-10600 環(huán)境下進行模型的訓(xùn)練與測試。

表2 HRDN主要參數(shù)設(shè)置

4.2 評價指標(biāo)

本文依據(jù)定性與定量兩類指標(biāo)對重建算法模型的性能進行評價。其中,定性指標(biāo)是指通過重建后的紅外圖像視覺效果進行評估；定量指標(biāo)是指通過峰值信噪比(peak signal-to-noise ratio,PSNR)和結(jié)構(gòu)相似性指數(shù)(structural similarity index,SSIM)對重建結(jié)果進行評估,兩個定量指標(biāo)的數(shù)學(xué)表達式如式(8)和式(9)所示:

(8)

式中,MSE為均方誤差。

(9)

在定量指標(biāo)中,PSNR越大,表示重建圖像與原始圖像越接近,算法性能越好；SSIM越接近1,表示重建圖像與原始圖像相似性越高,算法性能越好。

4.3 結(jié)果分析

4.3.1 參數(shù)P,G,H分析

通過表2中網(wǎng)絡(luò)參數(shù)設(shè)置可以發(fā)現(xiàn),參數(shù)P,G,H并未確定,將通過實驗,綜合參考訓(xùn)練中PSNR指標(biāo)和網(wǎng)絡(luò)的復(fù)雜度后而確定。

圖5為P,G,H取不同參數(shù)值時重建圖像的PSNR收斂曲線。如圖5(a)所示,由于采用了多路徑結(jié)構(gòu)使得網(wǎng)絡(luò)提取圖像特征能力顯著增強,并且隨著P值的增加指標(biāo)性能也有提高,但提高的并不十分顯著；如圖5(b)所示,G=16和G=32時PSNR的值并未出現(xiàn)顯著的變化,但是當(dāng)G=64時,PSNR的值出現(xiàn)了顯著的提高。而且,由于采用了局部特征融合,網(wǎng)絡(luò)訓(xùn)練負(fù)擔(dān)并不會因G的提高而急劇增加,因而為選擇更大的G值以促進重建性能提供了可能性；如圖5(c)所示,由于HRDB數(shù)量直接關(guān)系網(wǎng)絡(luò)的深度與復(fù)雜度,因此指標(biāo)并沒有隨著H的提高而向更好的性能收斂。以重建性能作為首要參考指標(biāo),同時考慮訓(xùn)練負(fù)擔(dān)與網(wǎng)絡(luò)復(fù)雜度等因素,最終本文采用P=8,G=64,H=16作為重建網(wǎng)絡(luò)參數(shù)值。

圖5 參數(shù)P,G,H對重建性能的影響

為了進一步說明模型的有效性,在參數(shù)值P=8,G=64,H=16時,獲取模型訓(xùn)練與驗證集的損失函數(shù)曲線,如圖6所示。可以發(fā)現(xiàn),訓(xùn)練與驗證損失曲線收斂一致,說明訓(xùn)練模型不存在過擬合,可以用于進一步的重建測試。

圖6 訓(xùn)練與驗證損失

4.3.2 不同算法的測試結(jié)果對比

使用雙三次插值法、SRCNN、ESPCN與本文算法分別對公共數(shù)據(jù)測試集中的遠景建筑物紅外圖像和自建數(shù)據(jù)測試集中空客A320氣象雷達PCB紅外圖像進行重建,重建結(jié)果如圖7和圖8所示。

通過圖7可以發(fā)現(xiàn),雙三次內(nèi)插法的重建結(jié)果中,圖像中信息發(fā)生了改變,尤其高頻特征,表現(xiàn)為樓宇邊緣輪廓出現(xiàn)了嚴(yán)重形變；SRCNN與ESPCN重建結(jié)果中,樓宇間豎向的清晰度有所提升且形變減小,但是圖像中明顯出現(xiàn)了大量的椒鹽噪聲,框體內(nèi)放大圖像的橫向窗戶的細節(jié)特征未能體現(xiàn)；相比上述重建結(jié)果,本文重建圖像放大區(qū)域樓宇間豎向輪廓最為清晰,橫向輪廓也有所加強,重建后的圖像中噪聲小,視覺效果與原圖最為接近。觀察圖8所示電路板紅外圖像的重建結(jié)果可以發(fā)現(xiàn),相比與其他算法的重建結(jié)果,本文結(jié)果噪聲最小,芯片的邊緣細節(jié)表現(xiàn)的最為清晰,本文的重建結(jié)果與原始圖像最為接近,能夠?qū)⑿酒陌l(fā)熱層次清晰的展現(xiàn)出來(框體內(nèi)所示),使得能夠通過人眼即可對發(fā)熱區(qū)域的溫度差異進行分辨,更好地還原了圖像中的高頻細節(jié)。

圖7 不同方法重建效果對比

圖8 不同方法重建效果對比

為進一步說明本文算法的優(yōu)勢,分別計算了不同算法在公共數(shù)據(jù)測試集和自建數(shù)據(jù)測試集下重建圖像的定量指標(biāo),如表3所示?？梢园l(fā)現(xiàn),本文算法得到的重建性能指標(biāo)均高于列舉的其他算法,這說明本文算法能夠使重建結(jié)果更接近原圖,獲得與原圖更高的相似性。

表3 不同方法重建結(jié)果定量指標(biāo)對比

4.3.3 真實圖像的超分辨率重建

為了說明本文算法的實用性,對真實的未經(jīng)過退化的PCB紅外圖像(320×256)進行SR重建,與基于雙三次插值法、SRCNN、ESPCN的重建結(jié)果進行對比,如圖9所示。

圖9 真實紅外圖像重建效果對比

可以發(fā)現(xiàn),與列舉的其他算法相比,本文重建結(jié)果中芯片的發(fā)熱區(qū)域的邊緣與細節(jié)展現(xiàn)更為清晰,能夠?qū)⒃瓐D中未能明顯體現(xiàn)的差異性發(fā)熱區(qū)域突出顯示出來,從而為依據(jù)視覺判斷芯片的發(fā)熱異常提供有力的支撐；另外,實驗結(jié)果也進一步說明了本文算法能夠更好的學(xué)習(xí)紅外圖像的多樣性層次特征,即使對于真實的分辨率較低的紅外圖像依然具有較好的重建性能,展現(xiàn)出較強的魯棒性。

5 結(jié) 論

為了提高PCB紅外圖像的超分辨率重建性能,本文提出了一種基于混合殘差密集網(wǎng)絡(luò)的紅外圖像超分辨率重建算法模型。模型基于CNN與DenseNet結(jié)構(gòu)進行設(shè)計,對流程與特征提取網(wǎng)絡(luò)進行了改進與優(yōu)化,主要表現(xiàn)為以下幾個方面:

(1)構(gòu)建混合殘差密集連接塊(HRDBs)用于LR紅外圖像的特征提取與局部特征融合。首先,在HRDB內(nèi)采用多路徑結(jié)構(gòu)連接多個VDB,提高模型提取多樣性紅外圖像特征的能力；其次,在HRDB內(nèi)添加LFF實現(xiàn)局部特征融合與降維,減少訓(xùn)練參數(shù)量并降低模型的計算復(fù)雜度。

(2)建立全局特征融合層(GFF),結(jié)合全局殘差學(xué)習(xí)(GRL)實現(xiàn)HRDBs輸出特征的融合與降維。

(3)對模型中的P,H,G參數(shù)進行實驗分析,綜合考慮重建性能指標(biāo)與模型復(fù)雜度,確定具體參數(shù)值,構(gòu)建最優(yōu)重建模型。

分別使用公共數(shù)據(jù)集、自建數(shù)據(jù)集、未經(jīng)退化的PCB紅外圖像數(shù)據(jù)進行算法重建性能測試,結(jié)果顯示,在相同下采樣因子的退化模型下,本文算法模型獲取的重建圖像不僅在視覺效果和高頻細節(jié)方面優(yōu)于列舉出的其他算法,其重建的定量性能指標(biāo)也體現(xiàn)出同樣的優(yōu)勢；對于真實的未退化的PCB紅外圖像,本文算法依然可以具備良好的重建性能,在紋理與邊緣的清晰度上依然優(yōu)于列舉出的其余算法,表現(xiàn)出較強的魯棒性。

綜上所屬,本文提出的重建模型對于PCB紅外圖像具備較強的重建性能,具備一定的泛化能力,可以應(yīng)用于基于紅外的機載電子系統(tǒng)PCB維修中,具有繼續(xù)深入研究的意義。