高永光，宋志娜，蔡肖芋

（1.61683部隊(duì)，北京 100094；2.武漢大學(xué) 遙感信息工程學(xué)院，湖北 武漢 430079；3.武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079）

基于NSCT的自適應(yīng)可見(jiàn)光與紅外圖像融合方法

高永光1，宋志娜2，蔡肖芋3

（1.61683部隊(duì)，北京 100094；2.武漢大學(xué) 遙感信息工程學(xué)院，湖北 武漢 430079；3.武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079）

針對(duì)可見(jiàn)光與紅外圖像的融合問(wèn)題，基于 NSCT 多方向、多尺度分解和平移不變性等優(yōu)點(diǎn)，提出了一種基于NSCT的自適應(yīng)可見(jiàn)光與紅外圖像的融合方法。通過(guò) NSCT 對(duì)可見(jiàn)光與紅外圖像進(jìn)行分解，在各分解層上根據(jù)圖像質(zhì)量評(píng)價(jià)指標(biāo)來(lái)選取融合規(guī)則，并通過(guò)評(píng)價(jià)指標(biāo)的自適應(yīng)控制 NSCT 分解層數(shù)使最終融合圖像具有最優(yōu)的效果。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)融合算法相比，該方法在主觀和客觀評(píng)價(jià)方面均優(yōu)于其他融合方法。

紅外圖像；圖像融合；NSCT；質(zhì)量評(píng)價(jià)

圖像融合是將多個(gè)圖像傳感器或同一圖像傳感器以不同工作模式獲取的關(guān)于同一場(chǎng)景的圖像信息加以綜合，以獲得更準(zhǔn)確的場(chǎng)景描述[1]?？梢?jiàn)光影像是由傳感器接收地物反射的可見(jiàn)光波段光譜來(lái)成像，具有空間分辨率高、細(xì)節(jié)豐富的特點(diǎn)，但可見(jiàn)光影像受云層狀況、成像時(shí)間等天氣條件影響。 與可見(jiàn)光影像的成像機(jī)理不同，紅外影像是將紅外傳感器接收到的紅外輻射映射成灰度值并轉(zhuǎn)化為紅外影像。紅外傳感器是被動(dòng)工作方式，具有抗干擾性強(qiáng)、目標(biāo)識(shí)別能力強(qiáng)、能全天候工作的特點(diǎn)。但紅外影像也有對(duì)比度低、邊緣模糊、信噪比低、成分復(fù)雜等缺點(diǎn)，受大氣熱輻射、作用距離遠(yuǎn)、探測(cè)器噪聲等因素影響。因此通過(guò)圖像融合使得融合圖像中既包含可見(jiàn)光圖像中的豐富細(xì)節(jié)信息，又包含了紅外圖像中的目標(biāo)信息，從而便于識(shí)別和后續(xù)分析處理，具有很重要的現(xiàn)實(shí)意義[2-4]。

近些年來(lái)出現(xiàn)了多尺度分析工具——非下采樣Contourlet變換NSCT（nonsubsampled contourlet trasnform），該工具來(lái)源于Contourlet變換，具有多方向、多尺度分解和平移不變性，能夠很好地捕捉圖像中潛在的幾何結(jié)構(gòu)信息，應(yīng)用在可見(jiàn)光與紅外圖像融合中具有較強(qiáng)優(yōu)勢(shì)[5-7]。但現(xiàn)有基于NSCT的多源圖像融合方法多數(shù)是將NSCT分解后的子帶圖像劃分為低頻部分和高頻部分，忽略了高頻部分包含的細(xì)節(jié)信息；另一方面，現(xiàn)有圖像融合的一般流程為圖像融合完成后再對(duì)圖像進(jìn)行質(zhì)量評(píng)價(jià)，很少將圖像效果評(píng)價(jià)的信息加入到融合規(guī)則的選取和參數(shù)的選擇過(guò)程中?？紤]到上述兩個(gè)方面，本文將質(zhì)量評(píng)價(jià)指標(biāo)應(yīng)用在低頻、次高頻和高頻部分的融合規(guī)則選取中，提出了一種基于 NSCT變換的自適應(yīng)可見(jiàn)光與紅外圖像融合算法，將圖像質(zhì)量評(píng)價(jià)指標(biāo)應(yīng)用到NSCT變換的規(guī)則選取中，通過(guò)自適應(yīng)的方式得到最優(yōu)表示的融合圖像。

1 NSCT變換理論

NSCT變換由非下采樣金字塔濾波器組（nonsubsample pyramid filter banks，NSPFB）和非下采樣方向?yàn)V波器組（non-subsample pyramid directional banks，NSDFB）組成，是借鑒Atrous算法實(shí)現(xiàn)的一種多尺度變換方法[8]。NSCT變換首先由NSPFB進(jìn)行多尺度、多分辨率變換，再由NSDFB進(jìn)行多方向變換，且兩組濾波器都可以重構(gòu)。NSCT變換能完成對(duì)圖像多尺度、多方向的分解和重構(gòu)，適合于多尺度圖像處理。

圖1 NSCT分解結(jié)構(gòu)圖

NSCT變換過(guò)程中對(duì)分解濾波器先作上采樣操作，再將信號(hào)輸入分解濾波器；在NSCT變換的重構(gòu)過(guò)程中對(duì)合成濾波器先作上采樣操作，再將信號(hào)輸入合成濾波器。由于NSCT變換的分解和重構(gòu)是對(duì)相應(yīng)的分解濾波器和合成濾波器作上采樣操作，所以使NSCT變換具有平移不變的特性，并且經(jīng)過(guò)NSCT變換后的子帶信號(hào)與原始輸入信號(hào)大小是相同的。

2 基于NSCT的自適應(yīng)可見(jiàn)光與紅外圖像融合

2.1 NSCT分解層數(shù)對(duì)融合結(jié)果的影響

在基于NSCT變換的多源圖像融合中，如果分解級(jí)數(shù)K取值過(guò)小，NSCT變換相對(duì)于其他多尺度分析工具的優(yōu)勢(shì)就得不到體現(xiàn)；如果K取值過(guò)大，NSCT算法在程序運(yùn)行過(guò)程就會(huì)占用較大內(nèi)存，從而導(dǎo)致運(yùn)算效率低，因此正確選取分解級(jí)數(shù)K對(duì)圖像融合有著直接的影響?？偨Y(jié)其他研究成果，分解級(jí)數(shù)K的取值范圍一般為 2＜K＜7。本文采用循環(huán)迭代自適應(yīng)的方法來(lái)確定K的取值，當(dāng)K的取值滿足以下三個(gè)條件其中一個(gè)時(shí)停止迭代，并得到最終的融合圖像。

1）NSCT變換分解級(jí)數(shù)K達(dá)到某一上限，即當(dāng)K=7。

2）當(dāng)K=n和K=n+1時(shí)的二次圖像融合效果質(zhì)量評(píng)價(jià)指標(biāo)

3）E（K）取值達(dá)到最優(yōu)。E（K）計(jì)算公式如下：

其中，SSIM為基于結(jié)構(gòu)相似度的融合圖像評(píng)價(jià)指標(biāo)[9]，該指標(biāo)反映的是圖像的亮度、對(duì)比度和結(jié)構(gòu)3個(gè)方面的信息；Q為基于邊緣信息傳遞量的因子[10]，反映的是圖像中的邊緣信息。

2.2 融合規(guī)則的選取

源圖像經(jīng)過(guò)NSCT變換分解的低通子帶部分包含了圖像的大部分信息，為了使融合的圖像更清晰，并且保留兩幅圖像中的細(xì)節(jié)信息，低頻子帶部分采用平均梯度加權(quán)方法來(lái)作為融合規(guī)則。如果直接采用兩幅圖像的平均梯度作為選取規(guī)則，難免會(huì)將高頻部分的信息當(dāng)作低頻選取的依據(jù)，故在此構(gòu)建平均梯度矩陣并對(duì)該矩陣進(jìn)行NSCT分解，取其低頻部分系數(shù)作為源圖像低頻部分融合規(guī)則選取的依據(jù)。平均梯度矩陣的構(gòu)成規(guī)則如下：

式中，f (x, y)位于邊框位置。

源圖像經(jīng)過(guò)NSCT分解后的次高頻部分既包含了圖像中的邊緣信息，又包含了一部分的細(xì)節(jié)信息。本文次高頻部分的融合規(guī)則選取對(duì)NSCT分解后的次高頻子帶系數(shù)采用局部方差取大的方法，能最大限度地保留源圖像中的邊緣信息和細(xì)節(jié)信息，計(jì)算方法為：

式中，M1（x，y）和 M2（x，y）分別為可見(jiàn)光與紅外圖像經(jīng)過(guò) NSCT 分解后的次高頻子帶系數(shù)，局部方差范圍選擇5×5的窗口。

質(zhì)量評(píng)價(jià)指標(biāo)因子Q反映了融合圖像中保留源圖像邊緣信息量的多少，因此為了使融合圖像保留更多的源圖像邊緣信息并方便后續(xù)目標(biāo)信息的提取，源圖像經(jīng)NSCT分解后的高頻子帶系數(shù)融合采用Q因子作為選取依據(jù)。在融合過(guò)程中，為了確定是從源圖像X還是Y中提取的信息以及提取了多少，構(gòu)建了非歸一化的Qxy/y和Qyy/x矩陣。該矩陣反映了源圖像X相對(duì)Y和源圖像Y相對(duì)X所包含的邊緣信息量的大小。矩陣經(jīng)NSCT分解后的高頻子帶系數(shù)記作C1（x，y）和 C2（x，y），圖像經(jīng)NSCT分解后的高頻系數(shù)融合計(jì)算方法為：

其中，H1（x，y）和H2（x，y）分別為可見(jiàn)光圖像和紅外圖像經(jīng) NSCT 分解后的高頻子帶系數(shù)。

2.3 自適應(yīng)可見(jiàn)光與紅外圖像融合

基于NSCT變換的自適應(yīng)可見(jiàn)光與紅外圖像融合算法的步驟為：

1）對(duì)源圖像可見(jiàn)光圖像和紅外圖像進(jìn)行N層NSCT變換，并構(gòu)建平均梯度和Q因子矩陣，分別得到源圖像分解的低頻子帶部分、次高頻子帶部分和高頻子帶部分。

2）對(duì)第一步構(gòu)建的平均梯度矩陣和Q因子矩陣同樣進(jìn)行NSCT變換，并對(duì)各個(gè)子帶部分采取不同的融合規(guī)則重構(gòu)圖像，然后以圖像質(zhì)量評(píng)價(jià)指標(biāo)SSIM和Q因子構(gòu)建一個(gè)新的質(zhì)量評(píng)價(jià)指標(biāo)Evaluation，并以此作為NSCT變換分解層數(shù)的控制參數(shù)。

3）當(dāng)新的質(zhì)量評(píng)價(jià)指標(biāo)E（K）達(dá)到最優(yōu)時(shí)停止迭代，并得到最終的融合圖像。

3 實(shí)驗(yàn)與分析

本次實(shí)驗(yàn)選取了兩組實(shí)驗(yàn)數(shù)據(jù)，第一組為L(zhǎng)andsat7衛(wèi)星ETM+傳感器獲取的全色波段0．4～0．9 μm影像，空間分辨率為30 m；紅外影像為熱紅外波段10～14 μm影像，空間分辨率為60 m。第二組數(shù)據(jù)為西安閻良機(jī)場(chǎng)地區(qū)的可見(jiàn)光與機(jī)載紅外圖像數(shù)據(jù)，其中可見(jiàn)光圖像為全色波段8 bit的灰度圖像（波段范圍為0．4～0．9 μm），紅外圖像為單波段16 bit的灰度圖像（波段范圍為3～5 μm），兩幅圖像空間分辨率均為1 m。將本文提出的方法與簡(jiǎn)單加權(quán)平均（WA）[11]、小波變換融合（WT）、NSCT 變換融合方法進(jìn)行對(duì)比[6,12]，并進(jìn)行客觀質(zhì)量評(píng)價(jià)來(lái)驗(yàn)證本文方法的優(yōu)越性。融合圖像的質(zhì)量采用均值、信息熵、標(biāo)準(zhǔn)差、SSIM和Q因子作為評(píng)價(jià)指標(biāo)。融合結(jié)果如圖2、圖3所示。

圖2 實(shí)驗(yàn)一融合結(jié)果

圖3 實(shí)驗(yàn)二融合結(jié)果

從融合結(jié)果圖可以看出，本文的算法結(jié)果不僅包含了可見(jiàn)光影像中豐富的細(xì)節(jié)信息，也使得紅外圖像的熱目標(biāo)信息得以凸顯。相比加權(quán)平均法，本文方法更能捕捉圖像的細(xì)節(jié)信息，驗(yàn)證了多尺度分析工具用于圖像融合的優(yōu)越性；與小波變換法、NSCT 變換融合相比較，NSCT 變換融合方法有著更好的視覺(jué)效果，而本文的融合算法主觀上比 NSCT 變換融合算法更優(yōu)。

本文從均值、信息熵、標(biāo)準(zhǔn)差、SSIM和Q因子共5個(gè)圖像質(zhì)量評(píng)價(jià)指標(biāo)對(duì)上述實(shí)驗(yàn)結(jié)果進(jìn)行客觀評(píng)價(jià)，表1、表2為質(zhì)量評(píng)價(jià)結(jié)果。圖像均值反映了對(duì)圖像在平均亮度上的要求，信息熵反映了對(duì)圖像細(xì)節(jié)表現(xiàn)能力的要求，標(biāo)準(zhǔn)差反映了對(duì)圖像灰度分布上的要求，SSIM反映了圖像結(jié)構(gòu)相似程度，Q因子為圖像質(zhì)量因子。從表中結(jié)果可以看出，本文算法在信息熵、標(biāo)準(zhǔn)差、SSIM、Q因子指標(biāo)上均優(yōu)于其他算法，取得了最佳的融合效果，統(tǒng)計(jì)數(shù)據(jù)得到的評(píng)價(jià)結(jié)果與理論分析、視覺(jué)效果一致，驗(yàn)證了本文算法的有效性。

表1 實(shí)驗(yàn)1圖像質(zhì)量評(píng)價(jià)

表2 實(shí)驗(yàn)2圖像質(zhì)量評(píng)價(jià)

4 結(jié) 語(yǔ)

本文針對(duì)可見(jiàn)光與紅外圖像的融合問(wèn)題，充分利用了NSCT變換的優(yōu)勢(shì)并采用圖像質(zhì)量評(píng)價(jià)體系作為指導(dǎo)，提出了一種基于NSCT的自適應(yīng)可見(jiàn)光與紅外圖像的融合方法，該方法將圖像質(zhì)量評(píng)價(jià)指標(biāo)應(yīng)用于圖像融合規(guī)則的選取過(guò)程中，并通過(guò)最終的圖像質(zhì)量評(píng)價(jià)指標(biāo)控制NSCT變換的分解層數(shù)，使得融合圖像達(dá)到最佳的效果。在實(shí)際圖像融合過(guò)程中，隨著傳感器種類的增多，多源圖像、多種融合方法相結(jié)合得到更好的融合效果將是今后重要的研究方向。

[1] 敬忠良,肖剛,李振華．圖像融合:理論與應(yīng)用[M]．北京:高等教育出版社,2007

[2] TOWNSEND D W, BEYER T． A Combined PET/CT Scanner: the Path to True Image Fusion [J]．British Journal of Radiology, 2002, 75(9): 24-30

[3] 田思．微光與紅外圖像實(shí)時(shí)融合關(guān)鍵技術(shù)研究[D]．南京：南京理工大學(xué),2010

[4] 李俊山,楊威,張雄美．紅外圖像處理、分析與融合[M]．北京：科學(xué)出版社,2009

[5] 向靜波,蘇秀琴,陸陶．基于Contourlet變換和形態(tài)學(xué)的圖像增強(qiáng)方法[J]．光子學(xué)報(bào),2009,38(1):224-227

[6] 張強(qiáng),郭寶龍．一種基于非采樣 Contourlet 變換紅外圖像與可見(jiàn)光圖像融合算法[J]．紅外與毫米波學(xué)報(bào),2007,26(6):476-480

[7] 劉興淼,王仕成,趙靜．結(jié)合統(tǒng)計(jì)分布和非下采樣Contourlet變換的紅外小目標(biāo)檢測(cè)[J]．光學(xué)精密工程,2011,19(4):908-915

[8] DO M N, VETTERLI M． The Finite Ridgelet Transform for Image Representation [J]． IEEE Transactions on Image Processing, 2003, 12(1):16-28

[9] STARCK J L,MURTAGH F, CANDèS E J,et al． Gray and Color Image Contrast Enhancement by the CurveletTransform [J]．IEEE Transactions on Image Processing, 2003, 12(6): 706-717

[10] BURT P J, ADELSON E H． The Laplacian Pyramid as a Compact Image Vode [J]．IEEE Transactions on Communications, 1983, 31(4): 532-540

[11] 李偉．像素級(jí)圖像融合方法及應(yīng)用研究[D]．廣州：華南理工大學(xué),2006

[12] 劉倩,杜宏．一種基于小波變換的可見(jiàn)光與紅外圖像融合算法研究[J]． 車(chē)輛與動(dòng)力技術(shù),2011(3): 73-80

P237

B

1672-4623（2016）12-0030-03

10.3969/j.issn.1672-4623.2016.12.011

高永光，博士，工程師，研究方向?yàn)檫b感應(yīng)用。

2015-06-29。

項(xiàng)目來(lái)源：國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展規(guī)劃項(xiàng)目（2012CB719906）；國(guó)家高技術(shù)研究發(fā)展計(jì)劃資助項(xiàng)目（SS2013AA122301）。