張錦航,孫立輝,姜軍強

(1.河北經(jīng)貿(mào)大學(xué)信息技術(shù)學(xué)院,河北 石家莊 050061;2.西安科技大學(xué)機械工程系,陜西 西安 710054)

1 引 言

隨著紅外成像技術(shù)的迅速發(fā)展,紅外成像技術(shù)開始應(yīng)用于各個領(lǐng)域,并占有重要的地位。紅外成像通過不同對象的紅外熱輻射強度不同來形成圖像,無需使用外部可見光也可以成像,相較于可見光成像,紅外成像可以實現(xiàn)夜視成像,成像結(jié)果直觀,抗干擾能力強,適用于復(fù)雜特殊環(huán)境的同時還具有可成像距離遠、穿透能力強等諸多優(yōu)勢。紅外成像設(shè)備發(fā)展到現(xiàn)在,已經(jīng)實現(xiàn)了便攜式的設(shè)計,方便攜帶,操作簡單。紅外成像技術(shù)已經(jīng)廣泛應(yīng)用于工業(yè),軍事[1]等眾多領(lǐng)域,然而拍攝期間鏡頭的抖動或目標(biāo)的快速移動會導(dǎo)致紅外成像時產(chǎn)生運動模糊,降低了紅外圖像的清晰度,對紅外圖像在這些領(lǐng)域的應(yīng)用造成了嚴(yán)重影響。在相機曝光的時間段里鏡頭發(fā)生了移動,導(dǎo)致采集的像素點發(fā)生了變化,所以在得到的圖像中場景和物體會看起來模糊或晃動,這被稱為運動模糊。圖像去模糊技術(shù)被廣泛用于工業(yè)制造,醫(yī)學(xué)影像等領(lǐng)域。紅外圖像去模糊的主要目的是去除模糊偽影以提高圖像質(zhì)量,在運動模糊的圖像中提取有用的信息,對紅外圖像去模糊的研究具有重要價值。

傳統(tǒng)的圖像去模糊方法[2-4]通過使用約束條件,引入圖像先驗知識對圖像模糊進行表征,但是現(xiàn)實中運動模糊情況多數(shù)是非均勻模糊,從而無法估計模糊核,因此這些傳統(tǒng)圖像去模糊方法在實際應(yīng)用中的效果并不理想。近年來隨著深度學(xué)習(xí)算法的發(fā)展,基于深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的方法被大量用于圖像去模糊領(lǐng)域。相比于傳統(tǒng)的圖像去模糊算法,深度學(xué)習(xí)算法可以做到更好的去模糊效果,過去的幾年里已經(jīng)提出了許多深度學(xué)習(xí)去模糊模型。Nah等提出了一種端到端的多尺度卷積神經(jīng)網(wǎng)絡(luò)DeepDeblur[5]用于圖像去模糊,分別在三個尺度不同的層對圖像進行去模糊,把低層輸出的結(jié)果作為高層的輸入,增加了收斂性。Tao等提出了SRN-Deblur[6]采用尺度循環(huán)結(jié)構(gòu)進行圖像去模糊。Kupyn等提出了DeblurGAN[7]首次將生成對抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)用于圖像去模糊,通過訓(xùn)練輸入的模糊圖像來生成高質(zhì)量圖像,隨后他們又提出了DeblurGANv2[8],使用特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)[9]提取圖像特征并且結(jié)合了全局和局部兩個尺度的判別器損失,運行速度快并且有一定的去模糊效果。還有許多關(guān)于多幀去模糊[10]和特定領(lǐng)域去模糊[11]的工作。然而基于深度學(xué)習(xí)的去模糊模型通常直接學(xué)習(xí)模糊圖像和清晰圖像之間的映射函數(shù),在跨領(lǐng)域應(yīng)用時泛化能力弱,魯棒性差,并且將深度學(xué)習(xí)的方法用于紅外圖像去模糊的研究較為缺乏,大部分紅外圖像去模糊的研究使用的紅外數(shù)據(jù)集也并非現(xiàn)實拍攝中的模糊核所生成的紅外模糊圖像,這就導(dǎo)致這些深度學(xué)習(xí)模型只能處理由簡單模糊核產(chǎn)生的模擬紅外模糊圖像,無法處理真實場景中的模糊算子[12],在面對真實場景下的紅外模糊圖像時沒有效果。

針對上述問題本文提出了一種基于模糊算子的紅外圖像去模糊方法,采用深度自編碼網(wǎng)絡(luò)對由清晰圖像和模糊圖像組成的數(shù)據(jù)集中的模糊算子進行編碼,通過編碼后的模糊算子去逼近一個真實未知的模糊算子并搜索對應(yīng)的清晰圖像,這樣可以處理真實場景下紅外圖像的運動模糊,實現(xiàn)真實場景下紅外圖像去模糊,同時避免了使用復(fù)雜的模糊核手工先驗。此外本文還設(shè)計了合成模糊的結(jié)構(gòu),實現(xiàn)了將現(xiàn)實中通過鏡頭運動等方式產(chǎn)生的模糊轉(zhuǎn)移到另一個圖像來生成真實模糊圖像的功能,將現(xiàn)有數(shù)據(jù)集的運動模糊轉(zhuǎn)移到紅外圖像上,制作紅外圖像的數(shù)據(jù)集對,解決了紅外圖像難以收集配對數(shù)據(jù)的問題,在完善模糊圖像數(shù)據(jù)集并將技術(shù)推廣至紅外圖像領(lǐng)域有著重要的意義。實驗結(jié)果表明,該方法能有效提高紅外圖像的質(zhì)量,去除運動模糊后可以得到較為清晰的紅外圖像。

2 基于模糊算子的紅外圖像去模糊算法

模糊算子是一種模糊關(guān)系合成運算,在模糊圖像生成的過程中,模糊算子對模糊核和清晰圖像進行合成運算從而生成模糊圖像。由清晰圖像x和模糊核k生成模糊圖像y的模型通常被公式化表示為:

y=f(x,k)+η≈f(x,k)

(1)

其中,f(x,k)是帶有模糊核k的模糊算子;η是噪聲。

若干模糊算子組成了模糊算子集合[12],通過模糊核能夠調(diào)用模糊算子集合中的模糊算子。本文設(shè)計了一種模糊核提取器用來提取清晰圖像和對應(yīng)模糊圖像之間的模糊核,同時本文設(shè)定了包含模糊算子集合和模糊核提取器的顯式表示的公式如下:

y=F(x,k)

(2)

k=G(x,y)

(3)

其中,F為模糊算子集合;G為模糊核提取器。模糊算子集合F中的每個特定的模糊算子f(x,k)都對應(yīng)著一個特定的模糊核k,當(dāng)F的函數(shù)形式固定時,可以通過k引用F中的f(x,k)。圖像去模糊的目標(biāo)是在給定模糊圖像y的情況下找到清晰的圖像x,當(dāng)訓(xùn)練好模糊算子集合F之后,通過模糊核k引用F中的模糊算子f(x,k),使f(x,k)不斷逼近y上的真實模糊算子,從而找到滿足上述公式的x和k來對模糊圖像y進行去模糊,去模糊算法流程如表1所示。

表1 去模糊算法流程

3 基于模糊算子的紅外圖像去模糊算法實現(xiàn)

3.1 總體結(jié)構(gòu)

模糊算子集合F可用于在給定模糊核k的情況下生成模糊圖像,模糊核提取器G可用于提取模糊核k,本文通過兩個神經(jīng)網(wǎng)絡(luò)來實現(xiàn)F和G,使用一個帶有跳躍連接[13]的深度自編碼網(wǎng)絡(luò)實現(xiàn)F,使用一個殘差網(wǎng)絡(luò)[14]實現(xiàn)G。首先從數(shù)據(jù)集中采樣清晰圖像和對應(yīng)的模糊圖像,將這些圖像拼接起來輸入給模糊核提取器G,生成相應(yīng)的編碼模糊核向量k。然后將清晰圖像x輸入模糊算子集合F,在編碼器部分清晰圖像x被編碼為瓶頸結(jié)構(gòu)嵌入向量,在瓶頸結(jié)構(gòu)部分將嵌入向量x與模糊核向量k拼接成一個新的向量。最后在解碼器部分對新的向量進行解碼以獲得合成的模糊圖像,通過使合成模糊圖像F(x,k)和真實模糊圖像y之間差距最小化的損失函數(shù)H(y,(x,k))來訓(xùn)練模糊算子集合F。合成模糊模型結(jié)構(gòu)如圖1所示。

圖1 合成模糊模型結(jié)構(gòu)

模糊算子集合F固定之后,可將其用于圖像去模糊。給定模糊圖像y,在去模糊的過程中,設(shè)定兩個標(biāo)準(zhǔn)正態(tài)隨機向量z1和z2分別作為模糊核提取器G和模糊算子集合F的輸入,模糊核提取器G輸出隨機模糊核向量k,模糊算子集合F輸出隨機清晰圖像向量x,因為F的形式已經(jīng)固定,所以只需要找到清晰圖像向量x和模糊核向量k使損失函數(shù)H最小化,從而找到清晰圖像x。去模糊過程中使用迭代優(yōu)化的方法來優(yōu)化H,交替進行以下兩個步驟:(1)固定模糊核k并優(yōu)化潛在清晰圖像x。(2)固定潛在清晰圖像x并優(yōu)化模糊核k。去模糊的模型結(jié)構(gòu)如圖2所示。

圖2 去模糊模型結(jié)構(gòu)

3.2 模糊算子集合設(shè)計

模糊算子集合F由預(yù)處理模塊和深度自編碼網(wǎng)絡(luò)構(gòu)成,預(yù)處理模塊由卷積層和十個殘差塊組成,在網(wǎng)絡(luò)頭部通過預(yù)處理模塊先對輸入圖像進行簡單特征提取,將輸入圖像轉(zhuǎn)換為特征圖,方便后續(xù)編碼器部分進行更深層的特征提取。在網(wǎng)絡(luò)尾部使用變換卷積層和殘差塊位置的預(yù)處理模塊將特征圖轉(zhuǎn)換為輸出圖像。先使用預(yù)處理模塊對輸入圖像進行兩次下采樣,輸出將輸入圖像轉(zhuǎn)換為64通道的特征圖到編碼器(Encoder)和解碼器(Decoder)部分。編碼器和解碼器部分各包含五個卷積層,采用多個3×3卷積,每個卷積后都添加LReLU激活函數(shù),有助于增大網(wǎng)絡(luò)稀疏性,增強了網(wǎng)絡(luò)的泛化能力。在相同維度的卷積層之間增添跳躍連接,增強了特征信息在網(wǎng)絡(luò)中的傳遞,確保了特征信息的可重用性,并且避免了梯度消失的問題。編碼器對特征圖進行多次下采樣,每次下采樣將通道數(shù)變?yōu)榍耙粚油ǖ罃?shù)的一半,輸出為512×2×2大小的向量,輸出向量與模糊核向量拼接之后作為解碼器的輸入,解碼器對拼接向量進行多次上采樣重建輸出特征圖。最后在網(wǎng)絡(luò)尾部使用預(yù)處理模塊對解碼器輸出的特征圖上采樣,將64通道的特征圖轉(zhuǎn)換回輸出圖像。詳細網(wǎng)絡(luò)層次結(jié)構(gòu)如表2所示。

表2 自編碼網(wǎng)絡(luò)模型參數(shù)

3.3 模糊核提取器設(shè)計

模糊核提取器G由卷積層和殘差模塊構(gòu)成,殘差模塊包含了兩個卷積層和一個LRelu激活函數(shù),通過添加殘差模塊增加了網(wǎng)絡(luò)深度,避免產(chǎn)生梯度消失和梯度爆炸的問題。該網(wǎng)絡(luò)的輸入是清晰圖像和模糊圖像拼接而成的向量,輸出一個大小為512×2×2的模糊核向量,詳細網(wǎng)絡(luò)層次結(jié)構(gòu)如表3所示。

表3 提取器模型參數(shù)

3.4 損失函數(shù)

損失函數(shù)用來指導(dǎo)模型訓(xùn)練,對訓(xùn)練效果有著不可忽視的影響。本文采用的損失函數(shù)h是Charbonnier損失[15],Charbonnier損失是一種較為穩(wěn)定的改良版L1范數(shù)損失,收斂速度快,處理異常的能力強,性能提升大,目前在超分領(lǐng)域應(yīng)用較多。Charbonnier損失用于計算合成模糊圖像F(xi,G(xi,yi))和對應(yīng)真實模糊圖像yi之間的差距。表示為:

(4)

為了使優(yōu)化過程更加穩(wěn)定,得到更好的去模糊效果,在損失函數(shù)中添加兩個正則化項,在模糊核k上添加一個正則化項使優(yōu)化過程更穩(wěn)定,在清晰圖像x的圖像梯度上使用超拉普拉斯先驗[16],加大梯度的稀疏性,減少噪聲并獲得更自然的圖像x。添加正則化之后的損失函數(shù)如下:

(5)

其中,gu和gv分別是水平方向和垂直方向上的導(dǎo)數(shù);μ,β,α是可調(diào)的超參數(shù)。

4 實驗結(jié)果及分析

4.1 實驗環(huán)境

本文設(shè)計了模糊合成與紅外圖像去模糊兩部分實驗來驗證本文提出基于模糊算子的方法是否有效,紅外圖像去模糊實驗采用自制紅外圖像數(shù)據(jù)集,模糊合成實驗采用公開的GOPRO數(shù)據(jù)集[7]。在配有RTX2080SGPU,32GB內(nèi)存,Intel Xeon e5-2640CPU,操作系統(tǒng)為windows10的聯(lián)想P900工作站上進行實驗,使用基于Pytorch的深度學(xué)習(xí)框架進行訓(xùn)練和測試,所有實驗均在相同的環(huán)境下進行。

4.2 實驗數(shù)據(jù)集和參數(shù)設(shè)置

自制紅外圖像數(shù)據(jù)集是采用Xcore MicroⅡ系列非制冷紅外機芯組件在不同場景下拍攝而成的。其中訓(xùn)練集是由拍攝的清晰圖像和使用本文模糊合成方法生成的模糊圖像組成的,包含了5568張清晰圖像和模糊圖像,每張圖像分辨率為640×512。測試集是通過鏡頭移動或晃動等方式拍攝出的241張真實紅外模糊圖像,用于測試去模糊效果。

GOPRO數(shù)據(jù)集中的圖像是采用GOPRO4相機拍攝的每秒240幀的高速視頻中的視頻幀,用來模擬運動模糊圖像。該數(shù)據(jù)集包含3214對清晰圖像和模糊圖像,其中訓(xùn)練集為2103對,測試集為1111對,每張圖像分辨率為1280×720。

兩次實驗分別使用自制紅外圖像數(shù)據(jù)集和GOPRO數(shù)據(jù)集去訓(xùn)練模糊算子集合和模糊核提取器組成的模型,在使用訓(xùn)練集前要將每對模糊圖像和清晰圖像在同樣的位置裁剪出分辨率為256×256的圖像,兩次訓(xùn)練均使用相同的參數(shù),實驗采用Adam優(yōu)化器[17],參數(shù)設(shè)置為b1=0.9,b2=0.99,設(shè)定batchsize為4,將模糊核上正則化的權(quán)重設(shè)為1×10-4,將超拉普拉斯先驗的權(quán)重設(shè)為1×10-2,設(shè)定初始學(xué)習(xí)率為1×10-4,并采用余弦退火算法[18]逐步衰減學(xué)習(xí)率。實驗總共迭代6×106次。實驗結(jié)果選用峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和結(jié)構(gòu)相似度(Structural Similarity,SSIM)[19]兩項指標(biāo)進行衡量。峰值信噪比數(shù)值高表示圖像質(zhì)量較好,引入噪聲較少,失真較小。結(jié)構(gòu)相似度的數(shù)值越高表示生成的清晰圖像越接近真實清晰圖像,兩幅圖像的結(jié)構(gòu)越相似。

4.3 實驗結(jié)果

4.3.1 模糊合成

模糊合成實驗是為了驗證使用本文提出的方法生成的模糊圖像,能否替代真實的模糊圖像。在原數(shù)據(jù)集中選取清晰圖像x和對應(yīng)模糊圖像y,再隨機選取清晰圖像x1,使用從(x,y)中提取的模糊核在x1上生成模糊圖像y1,然后使用由(x1,y1)組成的合成數(shù)據(jù)集去訓(xùn)練深度學(xué)習(xí)去模糊模型,最終比較使用原數(shù)據(jù)集訓(xùn)練的模型和使用合成數(shù)據(jù)集訓(xùn)練的模型之間的性能。

本文在GOPRO數(shù)據(jù)集上進行模糊合成實驗。通過使用GOPRO數(shù)據(jù)集訓(xùn)練出的模型生成模糊圖像,原清晰圖像和新生成的模糊圖像組成了合成數(shù)據(jù)集之后,使用原數(shù)據(jù)集和合成數(shù)據(jù)集分別訓(xùn)練去模糊模型DeblurGANv2[8],評價指標(biāo)值和實驗效果圖如表4和圖3所示。從實驗結(jié)果可以看到使用原數(shù)據(jù)集和合成數(shù)據(jù)集訓(xùn)練出的模型在PSNR和SSIM性能指標(biāo)上幾乎沒有差異,使用本文提出的方法生成的模糊圖像可以替代真實模糊圖像。

表4 訓(xùn)練結(jié)果

圖3 合成模糊圖像效果

4.3.2 紅外圖像去模糊

本文在自制紅外圖像數(shù)據(jù)集上進行去模糊對比實驗。采用DeepDeblur[5],SRN-Deblur[6],DeblurGANv2[8]三種常見的去模糊算法與本文算法進行對比,先使用自制紅外圖像數(shù)據(jù)集去訓(xùn)練模型,最后在測試集上測試去模糊效果,所有算法均采用相同的訓(xùn)練樣本和測試樣本,評價指標(biāo)值和實驗效果圖如表5和圖4所示。DeepDeblur處理之后的模糊圖像產(chǎn)生了畸變,存在嚴(yán)重失真的現(xiàn)象。SRN-Deblur處理之后的模糊圖像雖然清晰度有了較大提升,但是局部細節(jié)不夠清晰。DeblurGANv2處理之后的模糊圖像產(chǎn)生了噪聲,圖像質(zhì)量較為粗糙。本文算法處理之后的圖像得到了清晰明了的邊緣輪廓,豐富的局部細節(jié)信息,圖像質(zhì)量顯著提高,在視覺上更接近清晰圖像,有效提升了紅外模糊圖像的清晰度并且取得了高于其他方法的PSNR和SSIM性能指標(biāo)。

表5 紅外圖像去模糊評價指標(biāo)值

圖4 紅外圖像去模糊效果

5 總 結(jié)

由于深度學(xué)習(xí)去模糊模型在跨領(lǐng)域應(yīng)用時表現(xiàn)不佳,對真實場景下紅外模糊圖像沒有效果,本文提出了一種基于模糊算子的紅外圖像去模糊方法。通過深度自編碼網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)實現(xiàn)了模糊算子集合和模糊核提取器,該方法可以處理真實場景下紅外圖像的運動模糊,恢復(fù)出邊緣結(jié)構(gòu)更清晰,局部細節(jié)更豐富的清晰紅外圖像。該模型還可以對清晰圖像進行模糊合成,解決了紅外圖像難以收集配對數(shù)據(jù)的問題。實驗結(jié)果表明,本文提出的方法取得了有說服力的圖像去模糊效果,顯著提升了模糊圖像的清晰度。