李 茜，郭 佳，郭小云

引 言

隨著現(xiàn)代科學(xué)技術(shù)的發(fā)展，單一傳感器提供的信息已不能全面反映探測(cè)對(duì)象的目標(biāo)特性，單一的探測(cè)模式也逐漸向多波段多頻譜協(xié)同探測(cè)模式發(fā)展。其中，紅外成像傳感器和可見光成像傳感器是兩種常用波段的傳感器，采用兩者數(shù)據(jù)融合處理技術(shù)，利用信息的互補(bǔ)性，可提高系統(tǒng)的空間分辨率、全天候工作能力以及目標(biāo)檢測(cè)和抗干擾能力，有效擴(kuò)展系統(tǒng)目標(biāo)探測(cè)的空間和時(shí)間覆蓋范圍［1］。

近年來，對(duì)同一場(chǎng)景的可見光與紅外圖像的融合已成為國(guó)際上的研究熱點(diǎn)，各種方法不斷出現(xiàn)。對(duì)于像素級(jí)圖像融合，其算法主要可分為以下三種：簡(jiǎn)單算法，塔形分解基礎(chǔ)上的圖像融合及小波分解基礎(chǔ)上的圖像融合。本文在論述以上方法理論的基礎(chǔ)上，針對(duì)現(xiàn)有的紅外與可見光圖像融合方法的不足，提出了一種基于邊緣檢測(cè)的小波變換圖像融合方法，并對(duì)融合效果進(jìn)行了評(píng)價(jià)。

1 圖像融合算法

1.1 圖像融合的簡(jiǎn)單方法

圖像融合的簡(jiǎn)單方法是直接對(duì)參加融合的各對(duì)應(yīng)像素進(jìn)行選擇、平均、加權(quán)平均等簡(jiǎn)單處理后，融合得到新的圖像。它是一種典型的圖像融合算法，其特點(diǎn)是不對(duì)各源圖像進(jìn)行任何的分解或變換。

簡(jiǎn)單的融合方法主要有：

（1）選大像素灰度值；

（2）選小像素灰度值；

（3）像素灰度值的平均或加權(quán)平均（簡(jiǎn)稱加權(quán)平均）。

由于簡(jiǎn)單的圖像融合方法會(huì)造成融合圖像對(duì)比度下降，因此它的使用范圍及其有限，只適合對(duì)圖像質(zhì)量要求不高的場(chǎng)合，并且該算法的融合過程參雜了人工的干預(yù)，對(duì)目標(biāo)的自動(dòng)識(shí)別造成一定影響［2］。

1.2 基于塔形分解的圖像融合方法

圖1所示為基于塔形分解的融合過程，這種圖像融合方法的特點(diǎn)是多尺度、多分辨率，且其融合過程是在不同尺度、不同空間分辨率、不同分解層上分別進(jìn)行的。

基于塔形分解的圖像融合方法主要有：

（1）基于比率塔形分解；

（2）基于梯度塔形分解；

（3）基于對(duì)比度塔形分解；

（4）基于拉普拉斯塔形分解。

與圖像融合的簡(jiǎn)單方法相比，經(jīng)該方法融合的圖像質(zhì)量有了明顯的改善，但是，使用該方法進(jìn)行融合后的圖像，圖像數(shù)據(jù)總量有所增加，這是由于在進(jìn)行塔形分解的過程中產(chǎn)生了冗余分解。其中，圖像的比率、拉普拉斯和對(duì)比度塔形分解沒有方向性［3－4］。

1.3 基于小波分解的圖像融合方法

如圖2所示為基于小波分解的圖像融合方法，是一種圖像的多尺度、多分辨率分解方法。小波分解是非冗余的，因此，經(jīng)過小波分解后不會(huì)增加圖像數(shù)據(jù)總量。小波分解還具有方向性，這使得在針對(duì)人眼的視覺特性對(duì)不同方向的高頻分量具有不同分辨這一視覺特性時(shí)，獲得的圖像的視覺效果顯著增加［5－6］。

圖1 基于塔形分解的圖像融合過程Fig.1 Image fusion based on pyramid decomposition

圖2 基于小波分解的圖像融合處理方法Fig.2 Image fusion based on wavelet decomposition

基于小波分解的圖像融合方法具體過程如下：

（1）分別對(duì)每一幅參加融合的圖像進(jìn)行小波分解，進(jìn)而形成圖像的多尺度表示，采用不同的基小波或者小波變換方式，將得到不同的、具有多分辨的圖像；

（2）分別對(duì)各分解層進(jìn)行融合處理，每一個(gè)分解層具有其唯一的融合算子，融合后將得到多尺度圖像。不同的融合規(guī)則、規(guī)則的優(yōu)劣性將會(huì)對(duì)融合速度與質(zhì)量產(chǎn)生直接影響；

（3）采用小波逆變換對(duì)圖像進(jìn)行處理變換，即第一步的逆變換后獲得融合圖像。

2 一種基于邊緣檢測(cè)的小波變換圖像融合方法

前面所敘述的融合方法是針對(duì)整幅圖像進(jìn)行，沒有考慮到區(qū)域信息，而圖像的邊緣是圖像最重要的特征，邊緣像素雖然只占少數(shù)部分，但卻包含了圖像的大部分信息。因此，圖像邊緣的檢測(cè)和提取一直是圖像融合的研究熱點(diǎn)，本文在現(xiàn)有的紅外與可見光圖像融合方法的基礎(chǔ)上［7］，提出了一種新的小波變換圖像融合方法，此方法基于邊緣檢測(cè)，主要針對(duì)紅外與可見光圖像進(jìn)行融合處理。具體融合方法如下：

（1）設(shè)A 可見光圖像，B為已配準(zhǔn)的紅外圖像，分別對(duì)其進(jìn)行小波分解，得到各自的多分辨率結(jié)構(gòu)；

（2）對(duì)小波分解后的A、B圖像的頂層低頻近似分量取加權(quán)平均值，作為融合圖像在該尺度上的低頻分量；

（3）選取垂直邊緣檢測(cè)因子、水平邊緣檢測(cè)因子、45°對(duì)角線邊緣檢測(cè)因子、－45°對(duì)角線邊緣檢測(cè)因子分別對(duì)變換后不同尺度下的高頻系數(shù)在對(duì)應(yīng)的不同方向上對(duì)邊緣進(jìn)行檢測(cè)，得到不同尺度下高頻系數(shù)的邊緣圖像；

（4）圖像融合的關(guān)鍵在于高頻成分的融合，圖像進(jìn)行小波分解后，其豐富的邊緣信息包含于高頻子帶中。為了使參加圖像融合的所有邊緣特征都包含在融合圖像中，即實(shí)現(xiàn)邊緣點(diǎn)的融合，將對(duì)相應(yīng)尺度下的邊緣圖進(jìn)行或運(yùn)算，參加運(yùn)算的兩幅圖像所有邊緣點(diǎn)都會(huì)全部存在于融合結(jié)果中；

（5）對(duì)已確定的低頻分量和高頻分量按照步驟1進(jìn)行小波逆變換，即可得到最終的融合圖像。

圖3為可見光圖像，圖4為經(jīng)過增強(qiáng)配準(zhǔn)后的紅外圖像，選取db6小波作為基小波對(duì)圖3和圖4分別基于小波分解和本文算法進(jìn)行融合試驗(yàn)，其結(jié)果如圖5、圖6所示。

圖3 可見光圖像Fig.3 Visible light image

圖4 經(jīng)增強(qiáng)配準(zhǔn)后的紅外圖像Fig.4 Infrared image after enhancement and registration

圖5 紅外與可見光圖像基于小波分解的融合結(jié)果Fig.5 Fusion result of infrared and visible light image based on wavelet decomposition

圖6 紅外與可見光圖像基于本文算法的融合結(jié)果Fig.6 Infrared image of infrared and visible light image based on this algorithm

通過融合效果的對(duì)比可以看出，采用本文提出的算法融合圖像，結(jié)果中不僅包含了可見光圖像的特征信息（直升飛機(jī)機(jī)身以及背景的細(xì)節(jié)信息），而且包含了紅外圖像的特征信息（由于直升機(jī)螺旋槳下端的發(fā)動(dòng)機(jī)在工作中會(huì)發(fā)熱，因此在紅外圖像中體現(xiàn)出高灰度值的特征），提高了圖像的分辨效果和人眼對(duì)場(chǎng)景目標(biāo)的發(fā)現(xiàn)和識(shí)別概率，融合效果較為理想。

3 圖像融合效果評(píng)估

評(píng)價(jià)圖像融合效果的方法主要有客觀評(píng)價(jià)法和主觀評(píng)價(jià)法兩種。以人作為觀察者，對(duì)圖像質(zhì)量的好壞做出主觀定性的評(píng)價(jià)方法為主觀評(píng)價(jià)法［8］。如表1所示為紅外與可見光圖像融合的五級(jí)質(zhì)量尺度和妨礙尺度評(píng)分表。

參考主觀評(píng)價(jià)尺度評(píng)分表，對(duì)上述方法融合結(jié)果，通過專業(yè)與非專業(yè)人員的主觀評(píng)價(jià)統(tǒng)計(jì)，得到主觀評(píng)價(jià)為5分的四種方法，分別為像素值灰度值選大、db6小波變換、sym6小波變換和基于邊緣檢測(cè)的小波變換。然而主觀評(píng)價(jià)受到心理因素、觀察人員水平、觀察條件與環(huán)境等多方面影響，因此需要引入客觀評(píng)價(jià)作為對(duì)主觀評(píng)價(jià)正確性的補(bǔ)充。

通過建立融合圖像與理想圖像之間的量化評(píng)價(jià)公式，客觀評(píng)價(jià)可以增強(qiáng)判斷的準(zhǔn)確性和提高判斷速度。同時(shí)，為了彌補(bǔ)各種方法的缺陷，可引入多量化判據(jù)，獲得更客觀的結(jié)論。選取以上四種主觀評(píng)價(jià)為5分的融合方法，依據(jù)其圖像的信息熵、平均交叉熵MCE、均方根交叉熵RCE、標(biāo)準(zhǔn)差、平均梯度以及峰值信噪比PSNR（基準(zhǔn)圖像選取可見光圖像）六個(gè)參數(shù)對(duì)其進(jìn)行客觀評(píng)價(jià)［9］，其結(jié)果如表2所示。

從表2中可以看出，針對(duì)可見光與紅外圖像融合，經(jīng)本文提出的圖像融合方法融合后的圖像，其圖像信息熵較大，含有更為豐富的信息量；MCE 和RCE 較小，融合圖像時(shí)可以提取更多的信息；融合圖像的平均梯度和標(biāo)準(zhǔn)差較大，對(duì)比度以及清晰度更高；同時(shí)，其PSNR 也較大，融合圖像中噪聲得到了較好的抑制。

表1 紅外與可見光圖像融合的主觀評(píng)價(jià)尺度評(píng)分表Tab.1 Subjective evaluation scale rating form of infrared and visible light image fusion

表2 紅外與可見光圖像融合的客觀評(píng)價(jià)參數(shù)表Tab.2 Objective evaluation parameter list of infrared and visible light image fusion

4 結(jié) 論

在現(xiàn)有的紅外與可見光圖像融合方法之上，提出了一種新的圖像融合方法，該方法是基于邊緣檢測(cè)的小波變換方法。同時(shí)，論文針對(duì)融合效果進(jìn)行了評(píng)價(jià)。實(shí)驗(yàn)結(jié)果表明，經(jīng)該方法對(duì)紅外與可見光圖像的融合可以提供更多、更有效的信息，提高了圖像的分辨效果和人眼對(duì)場(chǎng)景目標(biāo)的發(fā)現(xiàn)和識(shí)別概率，融合效果較為理想。

［1］ 佘二永.多源圖像融合方法研究［D］.湖南：國(guó)防科學(xué)技術(shù)大學(xué)，2005.

［2］ 馬金福.多源圖像融合技術(shù)及應(yīng)用研究［D］.西安：西安科技大學(xué)，2009.

［3］ 程英蕾，趙榮椿，李衛(wèi)華，等.基于像素級(jí)的圖像融合方法研究［J］.計(jì)算機(jī)應(yīng)用研究，2004（5）：169－172.

［4］ 王文武.像素級(jí)圖像融合技術(shù)研究［D］.武漢：華中科技大學(xué)，2005.

［5］ 劉貴喜，楊萬海.基于小波分解的圖像融合方法及性能評(píng)價(jià)［J］.自動(dòng)化學(xué)報(bào)，2002，28（6）：927－934.

［6］ 甘重斗.基于圖像處理技術(shù)的自動(dòng)報(bào)靶系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［D］.蘭州：蘭州大學(xué)，2007.

［7］ 劉 坤，郭 雷，李暉暉.像素級(jí)多傳感器圖像融合的研究［J］.計(jì)算機(jī)工程與應(yīng)用，2007，43（12）：59－61.

［8］ 殷兵云.多傳感器圖像融合方法研究［D］.西安：西安電子科技大學(xué)，2009.

［9］ 景娟娟，呂群波，周錦松，等.圖像融合效果評(píng)價(jià)方法研究［J］.光子學(xué)報(bào)，2007，36（增刊）：313－316.