張潤琦，楊 波，夏麗昆，趙燦兵，蘇俊波

弱環(huán)境輻射下中短波雙波段紅外圖像融合方法

張潤琦1，楊 波1，夏麗昆2，趙燦兵1，蘇俊波1

（1. 昆明物理研究所，云南 昆明 650223；2. 陸軍裝備部駐重慶地區(qū)軍事代表局駐昆明地區(qū)第一軍事代表室，云南 昆明 650032）

本文介紹了一種用于弱環(huán)境輻射下紅外中、短波雙波段的紅外圖像融合方法。該方法先采用單尺度Retinex（Single Scale Retinex，SSR）方法處理短波圖像，分別對(duì)處理后的短波圖像和中波圖像采用均值濾波和雙邊濾波得到細(xì)節(jié)層和背景層，再利用基于Spectral Residual（SR）顯著性和引導(dǎo)濾波的權(quán)重映射，對(duì)短波圖像和中波圖像的細(xì)節(jié)層和背景層進(jìn)行加權(quán)融合，得到融合圖像。經(jīng)過實(shí)驗(yàn)仿真，并與基于小波、拉普拉斯金字塔的多種算法做了比較，該方法在各場(chǎng)景下的主觀與客觀評(píng)價(jià)均表現(xiàn)良好。

中短波紅外，圖像融合，雙波段，弱環(huán)境輻射，引導(dǎo)濾波

0 引言

隨著科技的不斷發(fā)展，各國對(duì)紅外探測(cè)成像技術(shù)的要求也越來越高。由于傳統(tǒng)單波段紅外成像技術(shù)難以解決復(fù)雜背景下真?zhèn)文繕?biāo)識(shí)別等難題，雙波段及多波段紅外技術(shù)成了未來的發(fā)展方向。其中融合算法是多波段成像技術(shù)中極為重要的一部分，在這一領(lǐng)域，國內(nèi)外學(xué)者已進(jìn)行了大量的研究工作，包括像素級(jí)、特征級(jí)及決策級(jí)融合算法。像素級(jí)融合主要方法有基于金字塔變變換、小波變換和神經(jīng)網(wǎng)絡(luò)方法等，特征級(jí)融合算法包括基于聚類分析、信息熵的方法等，決策級(jí)融合算法包括基于神經(jīng)網(wǎng)絡(luò)、貝葉斯估計(jì)等的方法[1]。

這些方法有效但需要針對(duì)應(yīng)用場(chǎng)景加以改進(jìn)，在制定融合策略時(shí)需要根據(jù)波段特性進(jìn)行設(shè)計(jì)。相對(duì)于中長波紅外融合領(lǐng)域，中短波融合研究較少，且短波紅外與中、長波有很大的成像效果差異。短波紅外的波長范圍為0.75～3mm，其主要利用環(huán)境中的輻射成像，而自然環(huán)境中的輻射源主要為太陽輻射及反射，成像效果類似于可見光圖像，擁有更多的紋理細(xì)節(jié)，但對(duì)比度在環(huán)境輻射弱的時(shí)候較低。中波紅外的波長范圍為3～5mm，其主要靠物體自身輻射成像，在濕熱環(huán)境下探測(cè)能力更強(qiáng)，熱目標(biāo)更明顯[2]。圖1展示了中短波雙波段探測(cè)器在下午3:00采集到的一組圖片，此時(shí)自然環(huán)境中輻射較強(qiáng)，可以看出短波圖像擁有更多的紋理細(xì)節(jié)，圖片內(nèi)包含的更多是太陽輻射反射帶來的信息，效果和可見光類似。中波圖像缺少紋理信息，但對(duì)熱目標(biāo)更敏感。圖2展示了同一臺(tái)紅外探測(cè)器在傍晚7:30采集到的圖像，此時(shí)自然環(huán)境中輻射非常弱，短波圖像細(xì)節(jié)信息較白天弱了很多，對(duì)比度也降低了很多，而中波圖像目標(biāo)和背景輪廓更鮮明。針對(duì)以上中短波特性，本文提出了一種針對(duì)弱背景輻射條件下的中短波雙波段融合算法。

1 算法分析

根據(jù)人眼成像特點(diǎn)，Edwin Land通過研究其逆過程，提出了Retinex理論，并成功用于圖像增強(qiáng)、去霧等多個(gè)領(lǐng)域[3]。對(duì)比傳統(tǒng)直方圖均衡的方法，基于Retinex理論的方法克服了原始圖像多個(gè)灰度級(jí)在處理過程中合成一個(gè)灰度造成細(xì)節(jié)丟失的問題。Retinex模型中，將圖像分解為亮度圖像和反射圖像，通過改變亮度圖像和反射圖像之間的比例來達(dá)到圖像增強(qiáng)的目的[4]。基于Retinex理論的增強(qiáng)算法已在可見光圖像增強(qiáng)領(lǐng)域中廣泛使用，短波圖像與可見光圖像相似，擁有更多的細(xì)節(jié)，但在外界輻射光源較微弱的時(shí)候，總體像素值普遍偏低，呈現(xiàn)畫面較暗對(duì)比度較低，因此適合采用單尺度Retinex圖像增強(qiáng)算法做融合前的增強(qiáng)處理?；叶葓DSSR實(shí)現(xiàn)原理如公式(1)、(2)、(3)所示：

(,)＝ln(,)－ln[(,)*(,)] (1)

弱背景輻射下的短波圖像經(jīng)過SSR處理后如圖3所示，可以看到原圖在經(jīng)過SSR增強(qiáng)后，圖像對(duì)比度有了較大改善，左上角物體和右側(cè)細(xì)節(jié)更為清晰地展現(xiàn)在了人眼面前，經(jīng)過SSR增強(qiáng)后的短波圖像更有利于提取顯著性特征以及高頻細(xì)節(jié)信息。

分別對(duì)短波圖像和中波圖像濾波提取高頻細(xì)節(jié)圖層和低頻背景圖層，對(duì)短波圖像采取均值濾波，但由于中波圖像缺乏細(xì)節(jié)但具有更分明的輪廓信息，因此對(duì)中波圖像采用雙邊濾波。如高斯濾波等傳統(tǒng)濾波器在濾波的同時(shí)會(huì)濾除為高頻信號(hào)的圖像邊界，因此圖像包括邊界在內(nèi)的整體都會(huì)模糊。雙邊濾波則同時(shí)關(guān)注濾波窗口中心點(diǎn)與其他點(diǎn)之間的灰度相似程度，同時(shí)也關(guān)注他們之間幾何鄰近度，因此雙邊濾波具有良好的保邊特性。雙邊濾波定義表達(dá)式如公式(4)、(5)、(6)、(7)所示：

圖1 白天短波（左）和中波（右）圖像對(duì)比

Fig.1 Short wave by daylight(left) and medium wave(right) contrast

圖2 傍晚短波（左）和中波（右）圖像對(duì)比

圖3 短波圖像原圖（左）與經(jīng)過SSR增強(qiáng)后的圖像（右）

式中：

上面方程中，＝(1,2)為區(qū)域中心像素點(diǎn)位置坐標(biāo)；＝(1,2)為區(qū)域相鄰像素點(diǎn)位置坐標(biāo)；BF()為輸出圖像；權(quán)重d(,)和r(,)分別度量了區(qū)域中心像素點(diǎn)與鄰近像素點(diǎn)的幾何鄰近度與灰度相似度；d和r分別為空間距離權(quán)系數(shù)參數(shù)和圖像灰度權(quán)系數(shù)，d,r為歸一化系數(shù)[6]。

對(duì)中波原圖和經(jīng)過SSR增強(qiáng)后的短波圖像進(jìn)行顯著性分析，本文采用的顯著性計(jì)算模型是由上海交大侯曉迪在CVPR上提出的SR模型[7]，該模型核心思想如下：人們的視覺對(duì)信號(hào)的變化部分更為敏感，視覺系統(tǒng)抑制頻繁出現(xiàn)的特征，但對(duì)非常規(guī)的特征保持敏感，圖像可分解為如公式(8)所示兩個(gè)部分。

(原圖)＝(非常規(guī)變化)＋(常規(guī)變化) (8)

侯曉迪[7]發(fā)現(xiàn)在圖像樣本非常大的時(shí)候，經(jīng)過傅里葉變換后的振幅譜取對(duì)數(shù)平均值正比于它們的頻率，因此單獨(dú)一幅圖像的振幅譜取對(duì)數(shù)后減去大量圖像樣本平均振幅譜取對(duì)數(shù)的值即為該圖像的顯著性部分。

對(duì)獲得的兩幅顯著性圖像每個(gè)像素點(diǎn)都取兩個(gè)矩陣中大的值，就得到了一幅顯著值圖，再用這兩個(gè)圖分別和這個(gè)顯著值圖去比較，如果某點(diǎn)的像素值相等，那顯著權(quán)重圖就是1，否則就是0，得到二值顯著權(quán)值圖像。使用二值顯著權(quán)值作為引導(dǎo)圖像，分別對(duì)中波原圖和經(jīng)過SSR增強(qiáng)的短波圖像進(jìn)行引導(dǎo)濾波得到兩個(gè)波段的權(quán)重圖。He等人在2010年首次提出了引導(dǎo)濾波（Guide Filter）算法[8]，2013年Li等人也將基于顯著性的引導(dǎo)濾波用于圖像融合[9]。引導(dǎo)濾波將濾波過程當(dāng)作一個(gè)加權(quán)和過程，可由公式(9)表示：

式中：為輸出圖像；為引導(dǎo)圖像；為輸入圖像。

將引導(dǎo)圖像和輸出圖像用一個(gè)線性模型表示，如公式(10)所示：

R＝aI＋b,"∈w(10)

式中：w表示以像素點(diǎn)為中心，大小為(2＋1)×(2＋1)的窗口。,的值由公式(11)所示的代價(jià)函數(shù)(a,b)進(jìn)行窗口w最小化所確定，由公式(11)可以解出公式(12)和公式(13)：

式中：||為窗口內(nèi)的像素個(gè)數(shù)；和2為輸入圖像在窗口內(nèi)的均值和方差；為平滑因子；為濾波輸入圖像[10-11]。

使用二值顯著圖作為引導(dǎo)圖像引導(dǎo)濾波得到的權(quán)重圖對(duì)低頻背景圖層和高頻細(xì)節(jié)層加權(quán)和，得到最終融合圖像。該算法總體流程框架如圖4所示。

2 仿真及結(jié)果分析

本文采用320×256中短波雙波段紅外探測(cè)器，采集到了4組較為典型的場(chǎng)景圖片進(jìn)行仿真展示，場(chǎng)景一為下午3:00陽光充足背景輻射較強(qiáng)時(shí)所拍攝的天空與建筑圖片，此時(shí)短波圖像細(xì)節(jié)豐富，天空云層次分明。場(chǎng)景二為與場(chǎng)景一相近場(chǎng)景于晚上8:30所拍攝到的圖片，此時(shí)太陽完全落山，環(huán)境輻射極弱，由于短波成像特點(diǎn)，此時(shí)短波圖像對(duì)比度極低，細(xì)節(jié)損失極大。場(chǎng)景三為下午6:30所拍攝到的建筑群及屋頂?shù)奶柲馨搴吞柲軣崴?，此時(shí)太陽已快落山，環(huán)境輻射較白天弱，可以看到中波和短波由于成像機(jī)理差異，太陽能板和太陽能熱水器上所呈現(xiàn)的像素值截然相反。場(chǎng)景4同樣為晚上8:30所拍攝的照片，短波圖像基本失去清晰成像能力。

作為對(duì)比所使用的融合算法包括小波融合算法（Wavelet Fusion），基于Retinex的拉普拉斯金字塔融合算法（Single Scale Retinex Laplacian）[12]，拉普拉斯金字塔（Laplacian Pyramid）融合方法和基于五株采樣的提升小波融合法（Lifting Scheme Quincunx）[13]，分別簡(jiǎn)稱為“WF”、“SSRL”、“LELP”與“LISQ”。上述算法與本文提出算法融合圖像在4個(gè)場(chǎng)景下效果對(duì)比如圖5，圖6，圖7和圖8所示。

圖4 本文算法總體流程框架

圖5 場(chǎng)景一融合效果對(duì)比

圖6 場(chǎng)景二融合效果

圖7 場(chǎng)景三融合效果

圖8 場(chǎng)景四融合效果

從上面圖像觀感對(duì)比可以看出，相較于其他算法，本文算法處理得到的融合圖像細(xì)節(jié)豐富，對(duì)比度較大，且圖像灰度過渡均勻。在場(chǎng)景一中，可以看出在白天陽光充足背景輻射強(qiáng)時(shí)，各算法表現(xiàn)均良好，由于本文算法短波圖像經(jīng)過SSR增強(qiáng)處理，在對(duì)比度和細(xì)節(jié)上表現(xiàn)更好一些。但在場(chǎng)景二中，此時(shí)環(huán)境輻射弱，短波圖像只有少部分太陽能熱水器的信息，除了本文算法和傳統(tǒng)小波算法，其他融合均出現(xiàn)了因融合灰度巨大反差形成的灰度過渡不均勻現(xiàn)象，但傳統(tǒng)小波融合由于其本身融合機(jī)理，呈現(xiàn)塊效應(yīng)。本文融合算法則很好地保留了中波圖像的邊界輪廓信息，圖像看上去更加自然。場(chǎng)景三和場(chǎng)景四本文算法相比其他算法輪廓更清晰，對(duì)比度更大，圖像更均勻，場(chǎng)景與目標(biāo)過渡也更自然。

目前為止，沒有一種可以全方位評(píng)價(jià)融合圖像質(zhì)量的客觀指標(biāo)，且單一指標(biāo)也無法適用于所有目標(biāo)場(chǎng)景。因此下面使用了7個(gè)常用的圖像融合的客觀評(píng)價(jià)指標(biāo)來評(píng)價(jià)上面5種算法好壞，包括相對(duì)標(biāo)準(zhǔn)差（RelativeStandard Deviation）、信息熵（Entropy）、均方根誤差（Mean-root-square Error）、峰值信噪比（Peak Signal-to-noise Ratio）、互信息（Mutual Information）、結(jié)構(gòu)相似性（Structural Similarity）和交叉熵（Cross Entropy），分別記為“RSTD”、“IE”、“MSE”、“PSNR”、“MI”、“SSIM”和“CE”。相對(duì)標(biāo)準(zhǔn)差與均方誤差反映了融合圖像與源圖像灰度相似程度，評(píng)價(jià)值越小，說明融合圖像越相似。信息熵用于衡量融合圖像中信息豐富程度，評(píng)價(jià)值越大說明融合圖像信息越豐富。峰值信噪比用于衡量有效信息與噪聲之間的比率，評(píng)價(jià)值越大說明圖像有效信息更多。結(jié)構(gòu)相似度衡量融合圖像與源圖像的相似性，評(píng)價(jià)值越大說明融合圖像亮度、對(duì)比度和結(jié)構(gòu)越相似，融合質(zhì)量越好。交叉熵反映了融合圖像與源圖像所含信息量的相對(duì)衡量，評(píng)價(jià)值越大，融合圖像與源圖像相似性越大?；バ畔⒍攘苛巳诤蠄D像保留了源圖像信息量的多少，評(píng)價(jià)值越大說明融合效果越好[14]。4個(gè)場(chǎng)景各個(gè)融合算法的上述7個(gè)客觀評(píng)價(jià)指標(biāo)統(tǒng)計(jì)如表1，表2，表3和表4所示。

表1 場(chǎng)景一各評(píng)價(jià)指標(biāo)

表2 場(chǎng)景二各評(píng)價(jià)指標(biāo)

表3 場(chǎng)景三各評(píng)價(jià)指標(biāo)

表4 場(chǎng)景四各評(píng)價(jià)指標(biāo)

可以看出，在以上所拍攝的試驗(yàn)場(chǎng)景中，本文融合算法的信息熵、結(jié)構(gòu)相似度、互信息、均方誤差、峰值信噪比幾個(gè)指標(biāo)較其他算法有明顯優(yōu)勢(shì)，說明本文算法更好地獲取了兩個(gè)波段的細(xì)節(jié)，尤其在弱環(huán)境輻射背景下比其他算法有著更多的信息。

3 結(jié)論

隨著當(dāng)今成像技術(shù)向著雙波段甚至多波段、多光譜趨勢(shì)發(fā)展，多種雙波段及多波段的融合算法也相繼被提出，但這些算法針對(duì)弱環(huán)境輻射下的紅外中短波雙波段較少。本文基于紅外中短波兩個(gè)波段的圖像特點(diǎn)，提出了一種適用于弱環(huán)境輻射的圖像融合方法，該方法原理簡(jiǎn)單，并使用中短波碲鎘汞紅外探測(cè)器實(shí)際采圖，與其他算法做了對(duì)比試驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該方法較好地保留了兩個(gè)波段各自的顯著性特點(diǎn)，增強(qiáng)了融合圖像中的短波細(xì)節(jié)，擴(kuò)大了整體對(duì)比度，保留了中波圖像輪廓信息，且不會(huì)產(chǎn)生基于拉普拉斯相關(guān)融合算法在有些場(chǎng)景出現(xiàn)融合效果不自然的現(xiàn)象。

[1] 李朝陽. 紅外多波段圖像融合算法研究[D]. 成都: 中國科學(xué)院大學(xué)(中國科學(xué)院光電技術(shù)研究所), 2018.

LI Zhaoyang. Research on multi band infrared image fusion algorithm[D]. Chengdu: University of Chinese Academy of Sciences(Institute of Optics and Electronics, Chinese Academy of Sciences), 2018.

[2] 朱小紅. 多波段紅外圖像差異特征形成機(jī)理研究[D]. 太原: 中北大學(xué), 2016.ZHU Xiaohong. Research on the forming mechanism of multi-band infrared images’difference features[D]. Taiyuan: North University Of China, 2018.

[3] Jobson D J, Rahman Z, Woodell G A. Properties and performance of acenter/surround retinex[C]//,, 2002, 6(3): 451-462.

[4] Meylan L , Süsstrunk, Sabine. Color Image Enhancement Using A Retinex-Based Adaptive Filter[C]//, 2004: 359-363

[5] 付國文. 基于Retinex的圖像增強(qiáng)算法研究及實(shí)現(xiàn)[D]. 上海: 上海交通大學(xué).

FU Guowen. Research of Image Enhancement Algorithms Based On Retinex And Implementation[D]. Shanghai: Shanghai Jiao Tong University.

[6] 蔣輝. 雙邊濾波理論及其在遙感圖像處理中的應(yīng)用研究[D]. 成都: 西南交通大學(xué), 2014.

JIANG Hui. Research For Bilateral Filtering Theory And ItsApplication In Remote Sensing Image Processing[D]. Chengdu: Southwest JiaoTong University, 2014.

[7] HOU Xiaodi, ZHANG Liqing. Saliency Detection: A Spectral Residual Approach[C]//,, 2007, 17(27): 1063-6919.

[8] HE K, SUN J, TANG X.[M]. Berlin: Computer Vision–ECCV Springer Berlin Heidelberg, 2010.

[9] LI S, KANG X, HU J. Image Fusion With Guided Filtering[C]//, 2013, 22(7): 2864-2875.

[10] 姚吉. 基于引導(dǎo)濾波的NSCT域圖像融合方法研究[D]. 南昌: 南昌航空大學(xué), 2018.

YAO Ji. Research on Image Fusion Based on Guide Filter in NSCT domain[D]. Nanchang: Nanchang Hangkong University, 2018.

[11] 李甜甜.基于導(dǎo)向?yàn)V波和多尺度分析的圖像融合算法研究[D]. 西安: 西安電子科技大學(xué), 2015.

LI Tiantian. Image fusion based on Guided filter and Multi-scale analysis[D]. Xi’an: Xidian University, 2015.

[12] WU R, YU D, WU H, et al. An Improve Fusion Method For Infrared And Low-Light Level Visble Image [R]. ICCWAMTIP, 2017.8301467

[13] 祝青, 劉斌. 提升五株形小波在多光譜圖像融合中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用, 2012, 48(11): 170-177.

ZHU Qing, LIU Bin. Application of lifting quincunx in multispectral image fusion[J]., 2012, 48(11): 170-177.

[14] 張小利, 李雄飛, 李軍.融合圖像質(zhì)量評(píng)價(jià)指標(biāo)的相關(guān)性分析及性能評(píng)估[J]. 自動(dòng)化學(xué)報(bào), 2014, 40(2): 306-315.

ZHANG Xiaoli, LI Xiongfei, LI Jun. Validation and Correlation Analysis of Metrics for Evaluating Performance of Image Fusion[J]., 2014, 40(2): 306-315.

Infrared Image Fusion Method for Medium-wave and Short-wave Images in Weak Ambient Radiation

ZHANG Runqi1，YANG Bo1，XIA Likun2，ZHAO Canbing1，SU Junbo1

(1.,650223,; 2.,650032,)

This study introduces a method of infrared image fusion for the infrared medium- and short-wave dual band. This method uses the single scale retinex(SSR) method for processing the short-wave image. Following this, the short-wave and medium-wave images are processed to obtain the details and background layers by average filtering and bilateral filtering, respectively. Using the weight map based on spectral residual significant and guided filter, the background and details layers of the short-wave and medium-wave images are fused to obtain the final fused image. From the results of the experimental simulation and a comparison with various fusion algorithms based on wavelet and the Laplacian pyramid, the method proposed in this work is observed to be simple and performs well in most scenarios.

medium and short wave infrared image, image fusion, dual band, low environmental radiation, guided filter

TP391.41

A

1001-8891(2020)05-0440-07

2019-09-05；

2020-04-26.

張潤琦（1994-），男，碩士研究生，研究方向?yàn)榧t外圖像處理。E-mail: 451404920@qq.com。