郭立強(qiáng)，范志祥

(淮陰師范學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇淮安 223300)

近年來，隨著成像傳感器芯片工藝的提高，圖像的獲取已經(jīng)從以往單一模式的可見光傳感器發(fā)展到今天的紅外、近紅外、紫外等多個(gè)波段。不同成像傳感器所獲取的圖像具有信息互補(bǔ)的特點(diǎn)，因此需要圖像融合技術(shù)將多個(gè)圖像融合成為一幅圖像。圖像融合是指將同一場(chǎng)景的多幅圖像合并成為一幅圖像的過程。但合并后的圖像應(yīng)該包含原始圖像中的有用信息，視覺感知進(jìn)一步增強(qiáng)，便于后續(xù)的特征提取與處理。圖像融合技術(shù)[1]按照信息表征層次不同，由低到高可分為像素級(jí)圖像融合、特征級(jí)圖像融合和決策級(jí)圖像融合。像素級(jí)圖像融合水平較低，但處理的效果是最好的。該算法有很多，例如基于HIS變換的圖像融合算法[2]、基于主成分分析(PCA)的算法[3]、基于小波變換的算法[4-6]等。本文重點(diǎn)關(guān)注像素級(jí)圖像融合算法。

紅外傳感器與可見光傳感器是兩類最常用的成像傳感器。紅外傳感器是通過被拍攝目標(biāo)的熱輻射差異來成像的，能夠識(shí)別出被遮擋的物體，例如隱藏在衣服里的金屬物品，具有“透視”作用。但紅外圖像的亮度和分辨率較低，無法呈現(xiàn)被拍攝目標(biāo)的紋理等細(xì)節(jié)信息?？梢姽鈧鞲衅魉@得的圖像具有分辨率高，圖像細(xì)節(jié)信息豐富等優(yōu)點(diǎn)。但容易受到外界光照、天氣因素的影響。

由上述兩種類型的成像傳感器所獲取的紅外圖像和可見光圖像具有信息互補(bǔ)的特性。通過紅外圖像與可見光圖像融合,能進(jìn)一步提高圖像的質(zhì)量、穩(wěn)定性和可靠性，減少圖像的信噪比影響，形成一幅更為全面、準(zhǔn)確、可靠的融合圖像。目前，紅外與可見光圖像融合被廣泛地應(yīng)用于航空、軍事、醫(yī)療和監(jiān)控等領(lǐng)域。

現(xiàn)有的紅外與可見光圖像融合算法在效果上存在諸多問題。如加權(quán)平均算法，算法復(fù)雜度最小，同時(shí)效果是最差的，融合后的圖像上存在物體模糊現(xiàn)象，細(xì)節(jié)信息丟失。圖像像素灰度值選取法(最大法，最小法)所得到的融合圖像，會(huì)失去可見光圖像的物體的細(xì)節(jié)信息(最大法)，或失去紅外圖像的隱藏物體的細(xì)節(jié)信息(最小法)。傳統(tǒng)的基于小波變換的圖像融合算法能夠較好地克服上述算法所存在的缺點(diǎn)，但融合后的圖像仍會(huì)出現(xiàn)部分邊緣信息丟失的問題。針對(duì)上述問題，本文提出的基于區(qū)域特性量測(cè)的小波變換圖像融合算法，對(duì)紅外與可見光圖像進(jìn)行融合，該算法的優(yōu)點(diǎn)的是圖像的細(xì)節(jié)信息丟失少，圖像清晰。

1 基于區(qū)域特性量測(cè)的小波變換圖像融合

1.1 融合算法流程

本文提出的基于區(qū)域特性量測(cè)的小波變換的圖像融合算法如圖1所示。①對(duì)原始紅外和可見光圖像分別進(jìn)行2層的小波分解，獲得6個(gè)高頻子圖像和1個(gè)低頻子圖像。②高頻子圖像是原始細(xì)節(jié)部分在對(duì)應(yīng)于高頻率系數(shù)的急劇變化，反映圖像中物體的細(xì)節(jié)信息，例如線、邊界和邊緣等，因此對(duì)高頻子圖像采用基于區(qū)域特性量測(cè)的融合規(guī)則。低頻子圖像反映圖像的整體亮度信息，因此對(duì)低頻子圖像采用取最大值方法，獲取紅外圖像中隱藏物體的信息。③對(duì)融合后所得小波金字塔進(jìn)行小波逆變換來獲得融合圖像。

圖1 基于區(qū)域特性量測(cè)的小波變換的圖像融合流程圖

1.2 融合規(guī)則

在圖像融合過程中，融合規(guī)則的選取至關(guān)重要。本文融合算法中，對(duì)高頻子圖像采用的融合規(guī)則是區(qū)域特性量測(cè)[7]。首先,計(jì)算圖像相應(yīng)分解層上對(duì)應(yīng)局部區(qū)域的“能量”值，其計(jì)算公式如下：

(1)

y(i,j)=x(i,j)2.

(2)

(3)

其中，公式(1)是一個(gè)3×3模版，公式(2)是對(duì)x的值進(jìn)行的逐點(diǎn)平方運(yùn)算，公式(3)是y與3×3模版w的卷積運(yùn)算。

其次，計(jì)算兩幅圖像對(duì)應(yīng)局部區(qū)域的匹配度，并定義匹配閾值，D1和D2表示紅外圖像與可見光圖像高頻子圖像的“能量”值，計(jì)算公式如下：

y(i,j)=x1(i,j)*x2(i,j).

(4)

(5)

T=0.75.

(6)

接下來判斷匹配度和匹配閾值的大小，如果匹配度小于匹配閾值，說明兩幅圖像對(duì)應(yīng)局部區(qū)域匹配度低，所以直接選取兩幅圖像中對(duì)應(yīng)區(qū)域“能量”值較大的區(qū)域,運(yùn)算流程如圖2所示。

圖2 選取“能量”值較大區(qū)域算法的流程圖

圖3 加權(quán)融合算法的流程圖

如果匹配度大于匹配閾值，說明兩幅圖像對(duì)應(yīng)局部區(qū)域匹配度較高，兩幅圖像采用加權(quán)的融合算法。運(yùn)算流程如圖3所示。

2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提出的基于區(qū)域特性量測(cè)的小波變換的圖像融合算法的效能，選用兩幅不同物體的紅外圖像與可見光圖像，進(jìn)行兩組試驗(yàn)。源圖像如圖4所示。

圖4 源圖像

為了對(duì)比融合的效果，將本文算法與加權(quán)平均、PCA和DWT三種融合算法結(jié)果進(jìn)行比較。融合結(jié)果如圖5和圖6所示。通過這兩組融合圖像的對(duì)比分析，發(fā)現(xiàn)本文算法在提高圖像整體對(duì)比度的同時(shí)能很好地保留細(xì)節(jié)信息。觀察圖5的右上角山丘區(qū)域，本文算法在處理物體邊緣細(xì)節(jié)時(shí)能夠很好地保留細(xì)節(jié)信息。觀察圖中人物區(qū)域可以看出，在處理人物整體時(shí)，相比較加權(quán)平均算法和PCA算法，本文算法能夠更好地突出顯著目標(biāo)的信息。從圖6可以看出，本文算法相比較加權(quán)平均、PCA和DWT三種融合算法，使背景圖像的對(duì)比度有很好的提升，局部細(xì)節(jié)信息得到了很好的增加，對(duì)背景的刻畫更加清晰。

圖5 Camp圖像不同融合算法性能比較

圖6 Octec圖像不同融合算法性能比較

以上是對(duì)各種算法所得到的融合圖像進(jìn)行主觀評(píng)價(jià)，接下來進(jìn)行客觀評(píng)價(jià)。通過一些量化指標(biāo)，可以從客觀角度對(duì)本文算法和其他算法進(jìn)行分析。本文所用的客觀評(píng)價(jià)指標(biāo)有[8-14]：平均互信息、平均梯度、邊緣強(qiáng)度、灰度標(biāo)準(zhǔn)差、信息熵。平均互信息是融合圖像與兩幅原圖像的互信息的均值，平均互信息越大，表示融合圖像從源圖像中提取的信息越豐富，融合效果越好。平均梯度，又稱圖像清晰度，可以敏感地反映圖像中的微小細(xì)節(jié)，同時(shí)還可以反映出圖像的紋理變換特征，通常平均梯度越大，表示圖像層次越多，圖像也越清晰。邊緣強(qiáng)度，反映圖像邊緣信息，值越大，邊緣越清晰?；叶葮?biāo)準(zhǔn)差，反映圖像灰度相對(duì)灰度平均值的離散情況，融合圖像的標(biāo)準(zhǔn)差越大，圖像的灰度級(jí)分布越分散，融合效果越好。信息熵，信息熵值的大小反映融合圖像信息量的多少，通常信息熵值越大，表示融合圖像從源圖像提取的信息越多，融合質(zhì)量越好。

表1和表2是兩組融合圖像的客觀評(píng)價(jià)結(jié)果。對(duì)表1和表2中的結(jié)果進(jìn)行分析，可以看出本文算法的互信息、平均梯度、邊緣強(qiáng)度、灰度標(biāo)準(zhǔn)差和信息熵這些指標(biāo)均優(yōu)于其他三種算法。

表1 源圖像Camp評(píng)價(jià)數(shù)據(jù)

表2 源圖像Octec評(píng)價(jià)數(shù)據(jù)

本文所提出的基于區(qū)域測(cè)量小波變換的紅外與可見光圖像融合算法在圖像細(xì)節(jié)信息處理上達(dá)到了較好的效果，其融合效果優(yōu)于加權(quán)平均算法、PCA算法和傳統(tǒng)的離散小波算法。

3 結(jié)語

為了解決現(xiàn)有紅外與可見光圖像融合算法存在細(xì)節(jié)信息表現(xiàn)不足等問題，本文提出了基于區(qū)域特性量測(cè)的小波變換圖像融合算法。實(shí)驗(yàn)結(jié)果表明，本文算法所得到的融合圖像，其視覺效果最好。同時(shí)，一些客觀評(píng)價(jià)指標(biāo)如平均互信息、平均梯度、邊緣強(qiáng)度、灰度標(biāo)準(zhǔn)差和信息熵均優(yōu)于傳統(tǒng)經(jīng)典圖像融合算法。