楊孫運(yùn)，奚崢皓，王漢東，羅 曉，闞 秀

（上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201620）

0 引言

圖像融合是將兩個(gè)或多個(gè)圖像的相關(guān)信息結(jié)合成一個(gè)綜合圖像的過(guò)程，可以認(rèn)為是對(duì)原始場(chǎng)景的一種新的解釋。由于單個(gè)視覺(jué)傳感器在信息采集過(guò)程中往往具有局限性，實(shí)際中通常采用兩種或多種傳感器采集信息，并對(duì)信息數(shù)據(jù)進(jìn)行融合處理，從而得到一個(gè)清晰完整的圖片信息?？紤]到實(shí)際應(yīng)用中的可操作性，近年來(lái)采用紅外傳感器和可見(jiàn)光傳感器相結(jié)合的方式進(jìn)行視覺(jué)圖像采集與融合的研究越來(lái)越多，特別是在環(huán)境感知和視頻監(jiān)控領(lǐng)域[1]。

紅外視覺(jué)傳感器可以通過(guò)紅外輻射捕獲明顯的目標(biāo)信息，然而獲取的紅外圖像普遍存在場(chǎng)景信息丟失、分辨率低的缺點(diǎn)[2]。可見(jiàn)光視覺(jué)傳感器可以獲取豐富的細(xì)節(jié)和紋理信息，但在較差的照明條件下，或目標(biāo)顏色和空間特征與背景相似時(shí)，獲取的可見(jiàn)光圖像往往較差[3]。將紅外和可見(jiàn)光圖像融合可以克服單一類型傳感器只能提取特定方面信息的缺點(diǎn)，且融合后圖像既保留了紅外圖像的目標(biāo)高亮區(qū)域，又包含了可見(jiàn)光圖像的紋理細(xì)節(jié)信息，利于人類視覺(jué)感知與分析處理[4]。

現(xiàn)有的紅外圖像和可見(jiàn)光圖像融合的方法可以分為：變換域方法[5]、空間域方法[6]、深度學(xué)習(xí)方法[7]和其他的方法[8]?；诙喑叨茸儞Q的方法是最典型的變換域方法，且多尺度變換理論是多種圖像融合場(chǎng)景中最流行的工具。常用的多尺度變換工具有金字塔變換[9]、小波變換[10]、輪廓波變換[11]和NSCT 等[12-13]。但是，金字塔變換融合后容易出現(xiàn)模糊現(xiàn)象，小波變換只能捕獲水平、垂直和對(duì)角方向的信息，輪廓波變換容易產(chǎn)生頻譜混疊。NSCT 具有多尺度和多方向特性，分解結(jié)果具有平移不變性，并克服了頻譜混疊問(wèn)題，融合結(jié)果具有更好的邊緣、細(xì)節(jié)信息。

綜合以上分析，根據(jù)紅外圖像和可見(jiàn)光圖像的特點(diǎn)，并從實(shí)際視覺(jué)特征識(shí)別與分析的角度出發(fā)，本文設(shè)計(jì)了一種新的融合算法實(shí)現(xiàn)對(duì)紅外圖像和可見(jiàn)光圖像的有效融合，采用最小化-局部平均梯度規(guī)則進(jìn)行融合處理，并在3 組公共數(shù)據(jù)集基礎(chǔ)上與5 種經(jīng)典融合算法進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證本文所設(shè)計(jì)算法的實(shí)用性和有效性。

1 NSCT 理論

NSCT 是由多尺度分解和多方向分解兩部分組成，使用非下采樣金字塔濾波器組和非下采樣方向?yàn)V波器組實(shí)現(xiàn)，由于沒(méi)有圖像下采樣的步驟，一幅圖像經(jīng)N級(jí)分解后，可以得到個(gè)與原圖像相同大小的子帶圖像，這其中源圖像的低頻近似圖像為1 個(gè)，高頻子帶圖像為個(gè)，kr是尺度r上的方向分解級(jí)數(shù)。NSCT 具體變換過(guò)程如圖1[14]所示。

2 改進(jìn)的圖像融合算法

紅外與可見(jiàn)光圖像融合的思想是在充分地保留可見(jiàn)光圖像豐富的背景信息基礎(chǔ)上，進(jìn)一步保留紅外圖像中顯著的目標(biāo)信息，使得融合結(jié)果更符合人類的視覺(jué)感知。源圖像經(jīng)NSCT 分解后得到低頻子帶和高頻子帶，低頻子帶包含大量源圖像的能量信息，用以描述圖像的目標(biāo)和背景特征。高頻子帶包含豐富的邊緣和紋理信息，用以描述圖像的細(xì)節(jié)輪廓特征。

圖1 NSCT 分解圖Fig.1 NSCT decomposition figure

2.1 低頻子帶系數(shù)融合

本文采用最小化規(guī)則進(jìn)行低頻子帶系數(shù)融合，將m行n列的紅外圖像和可見(jiàn)光圖像低頻系數(shù)的對(duì)應(yīng)每一列分別進(jìn)行融合，其融合規(guī)則表述為如下最小化問(wèn)題：

式中：Il和Vl分別是紅外圖像和可見(jiàn)光圖像低頻系數(shù)矩陣中對(duì)應(yīng)的列向量；是融合的列向量；p表示像素的位置；||?||2表示2 范數(shù)；W表示對(duì)角元素為權(quán)重值Wp的m×m對(duì)角矩陣。兩項(xiàng)分別控制融合列向量與Il以及與Vl具有相同的像素強(qiáng)度，權(quán)重矩陣W控制著這兩項(xiàng)之間的平衡關(guān)系，顯然權(quán)重值Wp對(duì)融合方法的性能影響較大，合理定義權(quán)重值Wp也顯得尤為重要。

對(duì)于式(1)的求解，參考文獻(xiàn)[15]，將式(1)改寫(xiě)成如下形式：

令M(Z)＝(Z－Il)T(Z－Il)＋W(Z－Vl)T(Z－Vl)，進(jìn)一步令M(Z)關(guān)于Z的導(dǎo)數(shù)等于0，可得：

式中：E為m×m的單位矩陣。經(jīng)矩陣運(yùn)算得：

通過(guò)式(4)將紅外圖像低頻系數(shù)和可見(jiàn)光圖像的低頻系數(shù)直接融合得到列向量，再將所有的融合列向量組合成m×n的低頻融合系數(shù)矩陣L：

基于紅外傳感器獲取的圖像具有目標(biāo)信息明顯的特點(diǎn)，使用亮度對(duì)比度（Luminance Contrast，LC）的顯著性檢測(cè)方法提取紅外圖像中目標(biāo)信息。定義紅外圖像I中某個(gè)像素Ip的顯著性為Ip與I中其他所有像素在灰度上的距離之和，即全局的亮度對(duì)比可表示為：

式中：S(Ip)表示像素Ip的顯著性值；Ii取值范圍為[0,255]，將式(6)展開(kāi)可得：

式中：N表示圖像中像素的數(shù)量。

鑒于圖像中不同位置可能具有相同的像素值，故式(7)可進(jìn)一步改寫(xiě)為：

式中：Nb表示圖像I中像素值等于b的像素總數(shù)。圖2 給出了一個(gè)紅外圖像和其對(duì)應(yīng)的顯著圖。

圖2 紅外圖像和顯著性檢測(cè)圖Fig.2 Infrared image and significance detection diagram

下面，重點(diǎn)考慮融合算法中的權(quán)重值Wp的設(shè)計(jì)問(wèn)題。現(xiàn)有算法大多采用如下權(quán)重值函數(shù)：

將像素值進(jìn)行歸一化處理至[0,1]范圍。如果選用如式(9)所構(gòu)造的權(quán)重值，如圖3所示，當(dāng)S(Ip)值逼近0 時(shí)，權(quán)重值Wp趨于無(wú)窮大，且過(guò)程曲線斜率變化劇烈，直接導(dǎo)致融合圖像出現(xiàn)嚴(yán)重的偽影及明暗分布不均現(xiàn)象。為克服這一問(wèn)題，本文給出一種新的權(quán)重值設(shè)計(jì)方法，定義融合算法中的權(quán)重值Wp為：

式中：a為一個(gè)未知可調(diào)參數(shù)，用于調(diào)控圖像質(zhì)量，對(duì)于每一個(gè)圖像，選取客觀評(píng)價(jià)中的一個(gè)或若干個(gè)指標(biāo)，通過(guò)迭代計(jì)算分析以獲取一個(gè)最優(yōu)值。

取a＝0.02，得到如圖4所示權(quán)重值函數(shù)圖像，從圖中可以看出當(dāng)紅外圖像中p處的顯著性值S(Ip)越大，權(quán)重值Wp越小，由式(1)可知，得到的圖像中p處的像素從紅外圖像中轉(zhuǎn)移的較多；當(dāng)紅外圖像中p處的顯著性值S(Ip)越小，權(quán)重值Wp越大，得到的圖像中p處的像素從可見(jiàn)光圖像中轉(zhuǎn)移的較多，達(dá)到融合圖像目標(biāo)和背景均清楚的目的。即本文所設(shè)計(jì)的權(quán)重函數(shù)不僅可以實(shí)現(xiàn)對(duì)權(quán)重范圍的控制，還可以通過(guò)控制權(quán)重實(shí)現(xiàn)對(duì)紅外圖像和可見(jiàn)光圖像中每個(gè)像素在融合圖像中作用的調(diào)節(jié)，從而實(shí)現(xiàn)對(duì)融合圖像質(zhì)量的控制。

圖3 式(9)函數(shù)對(duì)應(yīng)表達(dá)Fig.3 The corresponding expression of equation (9) is the function

圖4 式(10)函數(shù)對(duì)應(yīng)表達(dá)Fig.4 The corresponding expression of equation (10) is the function

根據(jù)式(1)中定義的融合規(guī)則，分別使用式(9)和式(10)中設(shè)計(jì)的權(quán)重值函數(shù)，得到改進(jìn)前后的融合結(jié)果如圖5所示，原算法的融合結(jié)果存在偽影和明暗分布不均的問(wèn)題，改進(jìn)后算法所得融合結(jié)果的清晰度和明暗度明顯改善很多。

圖5 改進(jìn)前后的融合結(jié)果對(duì)比圖Fig.5 Comparison before and after improvement

2.2 高頻系數(shù)融合

本文采用局部平均梯度規(guī)則進(jìn)行高頻子帶系數(shù)融合。

令X方向的梯度為：

令Y方向的梯度為：

令圖像中(i,j)處的梯度：

故局部平均梯度計(jì)算公式如下：

式中：M、N為滑動(dòng)窗口的寬和高。本文選擇使用3×3 大小的滑動(dòng)窗口，窗口內(nèi)9 個(gè)像素梯度的平均值作為窗口內(nèi)中心像素的平均梯度。定義如下形式的高頻系數(shù)局部平均梯度融合規(guī)則：

2.3 圖像融合

將低頻系數(shù)L和高頻系數(shù)H進(jìn)行NSCT 逆變換得到融合圖像F，具體融合過(guò)程如圖6所示。

3 實(shí)驗(yàn)分析

本章將使用UN Camp、Kaptein_1123 和Quad 這3對(duì)已經(jīng)過(guò)嚴(yán)格配準(zhǔn)的紅外與可見(jiàn)光圖像進(jìn)行實(shí)驗(yàn)，其中UN Camp 和Kaptein_1123 來(lái)自TNO 數(shù)據(jù)集，Quad來(lái)自英國(guó)布里斯托大學(xué)博士Stavri Nikolov 拍攝的“Bristol Quees Road”紅外與可見(jiàn)光圖像序列圖。通過(guò)與低通比率金子塔（low pass ratio pyramid，LPRP）[16]、交叉雙邊濾波（cross bilateral filter，CBF）[17]、曲波變換（curvelet transform，CT）[18]、雙樹(shù)復(fù)合小波變換（dual-tree complex wavelet transform，DTCWT）[19]和非下采樣輪廓波變換-均值（non-subsampled contourlet transformmean，NSCT-M）5 種融合算法進(jìn)行對(duì)比試驗(yàn)，驗(yàn)證本文所提算法的有效性。

實(shí)驗(yàn)在Intel Core I5-4200M@2.50 GHz 雙核8 G 內(nèi)存，Win7 操作系統(tǒng)，Matlab 2018b 環(huán)境下實(shí)現(xiàn)。NSCT分級(jí)級(jí)數(shù)設(shè)置為3，每一級(jí)方向級(jí)數(shù)分別為[2,3,2]，a設(shè)置為0.02，圖像大小均調(diào)整為120×100 像素。

圖6 圖像融合流程圖Fig.6 Schematic diagram of image fusion

3.1 性能評(píng)估

為了定量分析融合算法的性能，本文選用信息熵（information entropy，IE）[20]、平均梯度（average gradient，AG）[20]、標(biāo)準(zhǔn)差（standard deviation，SD）[20]、空間頻率（spatial frequency，SF）[21]、互信息（mutual information，MI）[22]、視覺(jué)信息保真度（visual information fidelity，VIF）[23]和邊緣相似性度量（edge based on similarity measure，QABF）[23]作為綜合評(píng)價(jià)指標(biāo)。其中，IE 衡量圖像信息的豐富程度，熵值越大，融合圖像的信息越豐富；AG 表征融合圖像的細(xì)節(jié)和紋理的表現(xiàn)能力，用于評(píng)價(jià)圖像的清晰度，值越大圖像清晰度越高；SD 衡量樣本分布均勻性，值越大表示圖像具有更高的對(duì)比度；SF 表征圖像細(xì)節(jié)的明確性和圖像的空間變化程度，值越大邊緣和紋理越豐富；MI 值越大融合圖像包含源圖像的信息越多；VIF 和QABF衡量融合圖像質(zhì)量，值越大融合圖像質(zhì)量越好。

3.2 實(shí)驗(yàn)結(jié)果

利用3 組圖像對(duì)6 種算法進(jìn)行融合實(shí)驗(yàn)，結(jié)果如圖7～圖9所示，雖然6 種算法都做到了保留源圖像中重要的信息，并對(duì)互補(bǔ)信息做了較好的融合，但是仍存在一定的差異。在圖7 中，與(c)、(d)、(e)、(f)和(g) 5 幅融合結(jié)果圖像相比，本文所提算法的融合結(jié)果明顯具備對(duì)比度高且目標(biāo)突出的特點(diǎn)。在圖8 中，(c)、(d)、(e)和(g) 4 幅融合結(jié)果圖像目標(biāo)不夠突出，融合圖像(f)中背景昏暗，本文所提算法的融合結(jié)果目標(biāo)更為突出，且背景細(xì)節(jié)信息清晰。在圖9 中，(c)、(d)和(g) 3 幅融合結(jié)果圖像對(duì)比度偏低，融合圖像(e)明顯模糊，融合圖像(f)中存在偽影，本文所提算法對(duì)比度較好且目標(biāo)更為清晰。

圖7 “UN Camp”圖像的融合結(jié)果Fig.7 “UN Camp”image fusion results

圖8 “Kaptein_1123”圖像的融合結(jié)果Fig.8 “Kaptein_1123”image fusion results

圖9 “Quad”圖像的融合結(jié)果Fig.9 “Quad”image fusion results

為更為直觀地評(píng)判各種算法的融合效果，表1～表3 給出在前述7 個(gè)性能評(píng)價(jià)指標(biāo)下的具體客觀數(shù)據(jù)，表中每一行中的最優(yōu)值采用黑體加粗標(biāo)記，次優(yōu)值數(shù)據(jù)下采用橫線標(biāo)記。由表1 和表2 可以得出，本文所設(shè)計(jì)算法在除互信息MI 外的6 個(gè)性能評(píng)價(jià)指標(biāo)下均表現(xiàn)最優(yōu)，MI 評(píng)價(jià)結(jié)果為次優(yōu)值且與最優(yōu)值相差不大。由于“Quad”圖像組本身目標(biāo)多樣細(xì)節(jié)復(fù)雜等特點(diǎn)，6 種算法中沒(méi)有任何一種算法在7 個(gè)性能指標(biāo)下均表現(xiàn)優(yōu)秀，本文所設(shè)計(jì)算法表現(xiàn)為3 個(gè)最優(yōu)值，2 個(gè)次優(yōu)值，且其他2 個(gè)值與最優(yōu)值相差較小，整體性能相比其他算法仍然表現(xiàn)良好。

為進(jìn)一步說(shuō)明各種算法在7 個(gè)評(píng)價(jià)指標(biāo)下的整體性能表現(xiàn)，用每一行中的各個(gè)數(shù)據(jù)除以該行中的最優(yōu)值得每個(gè)數(shù)據(jù)的目標(biāo)達(dá)成度[24]，最后統(tǒng)計(jì)算出各算法的總目標(biāo)達(dá)成度（total goal attainment，TGA）。目標(biāo)達(dá)成度公式如下：

式中：Q表示目標(biāo)達(dá)成度；P表示表中的數(shù)據(jù)；N表示與P同行數(shù)據(jù)中的最優(yōu)值。

表4～表6 給出了各種算法在7 個(gè)性能評(píng)價(jià)指標(biāo)下的整體目標(biāo)達(dá)成度，由表4～表6 的數(shù)據(jù)可以看出，本文所設(shè)計(jì)算法整體目標(biāo)達(dá)成度最優(yōu)，且遠(yuǎn)好于次優(yōu)的算法。故本文所設(shè)計(jì)算法在應(yīng)用中具有穩(wěn)定性好魯棒性強(qiáng)的特點(diǎn)。

表1 “UN Camp”圖像融合結(jié)果的客觀評(píng)價(jià)數(shù)據(jù)Table 1 Objective evaluation data of fusion results of “UN Camp” image

表2 “Kaptein_1123”圖像的融合結(jié)果的客觀評(píng)價(jià)數(shù)據(jù)Table 2 Objective evaluation data of fusion results of "Kaptein_1123" image

表3 “Quad”圖像的融合結(jié)果客觀評(píng)價(jià)數(shù)據(jù)Table 3 Objective evaluation data of fusion results of “Quad” image

表4 “UN Camp”融合圖像的達(dá)成度Table 4 Degree of “UN Camp” fusion image

表5 “Kaptein_1123”融合圖像的達(dá)成度Table 5 degree of “Kaptein_1123” fusion image

表6 “Quad”融合圖像的達(dá)成度Table 6 degree of “Quad” fusion image

4 結(jié)論

本文給出了一種新的基于NSCT 變換方法的紅外圖像和可見(jiàn)光圖像的融合方法。改進(jìn)權(quán)重函數(shù)并結(jié)合紅外圖像的顯著性信息，得到新的權(quán)重值，采用最小化原則進(jìn)行低頻系數(shù)部分融合，得到對(duì)應(yīng)低頻融合系數(shù)。采用局部平均梯度規(guī)則進(jìn)行高頻系數(shù)部分融合，得到對(duì)應(yīng)高頻融合系數(shù)，利用所得融合系數(shù)進(jìn)行NSCT 逆變換得到融合圖像。選取5 種經(jīng)典算法在3個(gè)公共數(shù)據(jù)集中進(jìn)行比較實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本文所提算法綜合表現(xiàn)明顯優(yōu)于其他5 種算法且獲得的圖像對(duì)比度高、細(xì)節(jié)清晰、目標(biāo)顯著，說(shuō)明了本文所設(shè)計(jì)算法的合理性和有效性。