孫學(xué)蕾，高宏偉

(沈陽(yáng)理工大學(xué) 自動(dòng)化與電氣工程學(xué)院，沈陽(yáng)110159)

從傳統(tǒng)意義上看，可見(jiàn)光圖像存在很好的細(xì)節(jié)信息；而紅外圖像對(duì)目標(biāo)輪廓更加清晰，但并不利于人眼觀(guān)察獲取具體信息，基于這種情況，圖像融合在近年來(lái)飛速發(fā)展，在軍事領(lǐng)域尤為突出。圖像融合技術(shù)作為信息融合技術(shù)的一種，紅外與可見(jiàn)光圖像的融合方法按層次的高低可劃分為像素級(jí)融合、特征級(jí)融合及決策級(jí)融合[1]；其中像素級(jí)融合最常見(jiàn)，像素級(jí)融合包括基于空間域的融合方法和基于變換域的融合方法。近幾年，紅外與可見(jiàn)光圖像融合技術(shù)飛速發(fā)展，沈英等[2]提出了基于稀疏表示(Sparse Representation，SR)圖像融合方法，其重點(diǎn)在于過(guò)完備字典的構(gòu)造和稀疏系數(shù)分解算法。為滿(mǎn)足高實(shí)時(shí)性需求，GUO Kanghui等[3]提出多尺度多方向性的剪切波變換，但其仍不具備平移不變特性，且相比于非下采樣輪廓波變換(Nonsubsampled Contourlet，NSCT)擁有更高的計(jì)算效率。KONG Weiwei等[4]在NSST融合方法的基礎(chǔ)上，引入?yún)^(qū)域平均能量和局部對(duì)比度的融合規(guī)則，將空間域分析和多尺度幾何分析的優(yōu)點(diǎn)最大程度地融合在一起。郝永平等[5]將近紅外圖像的高頻部分、低頻部分與可見(jiàn)光圖像進(jìn)行加權(quán)分配后，在矩陣維度上進(jìn)行連接，傳入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行通道壓縮與整合；但該方法僅對(duì)紅外與可見(jiàn)光圖像在通道上進(jìn)行堆疊，雙頻融合信息在空間和語(yǔ)義上的高維特征關(guān)系并未得到體現(xiàn)。小波變換的概念最早由Grossman A等[6]于1984年提出，之后Mallet S G[7]根據(jù)信號(hào)分解和重建的塔式算法建立了基于小波變換的多分辨率分解理論。

本文針對(duì)不同光照條件下的紅外與可見(jiàn)光坦克圖像，采用IHS[8]圖像模型和離散小波變換(Discrete Wavelet Transformation，DWT)及不同的高低頻融合規(guī)則進(jìn)行融合[9]，并與主成分分析(Principal Component Analysis，PCA)方法[10]對(duì)比進(jìn)行指標(biāo)評(píng)價(jià)。

1 改進(jìn)的DWT變換高低頻圖像融合

傳統(tǒng)的RGB(R：紅色，G：綠色，B：藍(lán)色)圖像模型在生活中最為常見(jiàn)，但RGB圖像模型在變換域的融合中不易被單獨(dú)處理；而IHS模型(I：亮度，H：色度，S：飽和度)各自分量之間的相關(guān)性較低，不同的光照會(huì)導(dǎo)致I、H、S三個(gè)不同分量的強(qiáng)度產(chǎn)生變化，能夠單獨(dú)處理。

本文以IHS圖像模型和DWT算法為核心。第一階段，紅外圖像進(jìn)行圖像增強(qiáng)，可見(jiàn)光圖像進(jìn)行IHS轉(zhuǎn)化，提取強(qiáng)度分量，紅外圖像增強(qiáng)處理；第二階段，分別對(duì)可見(jiàn)光圖像的I分量和紅外圖像通過(guò)不同的Harr小波基函數(shù)進(jìn)行兩次小波分解；第三階段，分別對(duì)高頻分量進(jìn)行局部能量準(zhǔn)則融合，對(duì)低頻分量進(jìn)行系數(shù)絕對(duì)值最大規(guī)則法融合，對(duì)高頻和低頻的融合結(jié)果進(jìn)行增強(qiáng)處理；第四階段，進(jìn)行小波重構(gòu)，將IHS圖像轉(zhuǎn)換為RGB圖像。其中，高頻分量進(jìn)行局部能量準(zhǔn)則融合和低頻分量進(jìn)行系數(shù)絕對(duì)值最大規(guī)則法融合的兩種融合規(guī)則在小波變換中同時(shí)應(yīng)用是本文的改進(jìn)之處。本文算法在紅外圖像和可見(jiàn)光圖像嚴(yán)格配準(zhǔn)的條件下才可實(shí)現(xiàn)，算法完整流程見(jiàn)圖1所示。

圖1 本文的融合算法流程

算法的具體流程如下。

(1)對(duì)紅外圖像進(jìn)行對(duì)數(shù)灰度變換，公式為

IA(x，y)=Clg(1+IB(x，y))

(1)

式中：IB(x，y)為灰度變換前的圖像；IA(x，y)為灰度變換后的圖像。

(2)對(duì)可見(jiàn)光圖像進(jìn)行圓柱體IHS變換，得到I、H、S三個(gè)分量，分別為

(2)

(3)對(duì)可見(jiàn)光的強(qiáng)度分量和已處理過(guò)的紅外圖像進(jìn)行Haar小波分解，分別對(duì)高頻和低頻子帶分量進(jìn)行融合。本文選用Haar小波基函數(shù)[11]作為小波變換函數(shù)；二維圖像Haar小波基處理過(guò)程見(jiàn)圖2所示。

圖2 Haar小波變換

Haar變換從水平和垂直兩個(gè)方向進(jìn)行高通和低通濾波處理，得出水平方向、豎直方向及對(duì)角方向的信息[12]，并輸出圖像信息。圖2中l(wèi)1為水平方向處理結(jié)果，h1為豎直方向處理結(jié)果，c1為對(duì)角方向處理結(jié)果，g為下采樣。

小波分解后的高頻和低頻部分存在各自的特性[13]，高頻部分是圖像融合的關(guān)鍵，該部分反映整個(gè)圖像的信息較多，包括區(qū)域細(xì)節(jié)、邊界信息及亮度突變等[14]，因此對(duì)高頻部分應(yīng)用局部能量準(zhǔn)則的融合方法。

局部能量準(zhǔn)則選取區(qū)域能量的大小作為融合準(zhǔn)則，由于高頻部分反映亮度突變信息較大，因此選用局部能量較大的小波系數(shù)作為圖像融合的小波系數(shù)[15]。源圖像為IA和IB，局部能量的融合規(guī)則公式為

(3)

(4)

低頻部分反映圖像的整體信息，其包含的大部分弱能量信息反映出圖像的平均信息，這部分采用系數(shù)絕對(duì)值最大規(guī)則法進(jìn)行融合[16]。

采用滑窗技術(shù)將LA和LB圖形塊轉(zhuǎn)換為列向量，用OMP算法和低頻系數(shù)的訓(xùn)練字典計(jì)算出稀疏系數(shù)βA和βB，利用系數(shù)絕對(duì)值最大規(guī)則獲得低頻系數(shù)融合決策圖MAPLm，其計(jì)算公式為

(5)

βF=MAPLm×βA+(1-MAPLm)×βB

(6)

式中：βA、βB為稀疏系數(shù)；m為圖像塊序號(hào)；MAPLm為決策圖，初始為0；βF為加權(quán)融合獲得的系數(shù)值。

利用加權(quán)融合方法獲得βF，分塊重構(gòu)低頻融合圖像，計(jì)算公式為

LF=MAPLmβF

(7)

式中LF為重構(gòu)后的完整圖像。

(4)進(jìn)行小波重構(gòu)及IHS逆變換，完成紅外與可見(jiàn)光的融合。

2 實(shí)驗(yàn)結(jié)果及融合指標(biāo)

2.1 評(píng)價(jià)指標(biāo)

圖像融合常用的評(píng)價(jià)指標(biāo)有圖像平均梯度(AG)、圖像的空間頻率、峰值信噪比等。

(1)AG用來(lái)評(píng)價(jià)圖像的清晰度[17]。梯度作為一種常用的運(yùn)算方法，在圖像應(yīng)用領(lǐng)域的定義為

(8)

融合圖像清晰的評(píng)價(jià)公式為

(9)

(2)圖像的空間頻率(SF)也是描述圖像清晰度的一種常用方法，反映出融合后灰度圖像的空間變化率。一般來(lái)說(shuō)，圖像的空間頻率越高，圖像的融合效果越好，圖像越清晰，空間頻率公式為[18]

(10)

式中：SF為空間頻率函數(shù)；RF、LF分別為融合圖像的行頻率和列頻率。

(3)峰值信噪比(PSNR)通過(guò)均方誤差(MSE)進(jìn)行定義，可用來(lái)評(píng)價(jià)圖像融合質(zhì)量。MSE表達(dá)式為

(11)

峰值信噪比PSNR為

(12)

式中MAXI為圖片可能的最大像素值。

2.2 實(shí)驗(yàn)結(jié)果

彩色圖像由于其自身的特點(diǎn)，比較適合采用主觀(guān)的評(píng)價(jià)方法；灰度圖像比較適合客觀(guān)評(píng)價(jià)的方法。實(shí)驗(yàn)結(jié)果經(jīng)過(guò)灰度化處理顯示進(jìn)行指標(biāo)評(píng)價(jià)分析[18]。采用Intel i5 CPU、MVIDIA GeForce 620的計(jì)算機(jī)作為實(shí)驗(yàn)平臺(tái)，利用VS C++語(yǔ)言和Opencv視覺(jué)庫(kù)進(jìn)行融合實(shí)驗(yàn)；采用Matlab 2018a進(jìn)行圖像融合指標(biāo)評(píng)價(jià)，以觀(guān)察算法融合圖像和在不同光照條件下的融合效果。本文的圖像融合處理結(jié)果見(jiàn)圖3和圖4所示。

圖3 本文方法第一組融合結(jié)果

圖4 本文方法第二組融合結(jié)果

本文算法通過(guò)兩組紅外與可見(jiàn)光圖像融合的對(duì)比試驗(yàn)來(lái)進(jìn)行指標(biāo)評(píng)價(jià)，從平均梯度(AG)、空間頻率(SF)、峰值信噪比(PSNR)、均方誤差(MSE)、信息熵(EN)等幾個(gè)方面進(jìn)行融合評(píng)價(jià)，結(jié)果見(jiàn)表1和表2所示。

表1 本文方法第一組融合評(píng)價(jià)指標(biāo)

表2 本文方法第二組融合評(píng)價(jià)指標(biāo)

表1、表2中從圖a～圖c為光照強(qiáng)度依次增強(qiáng)的融合結(jié)果。從表1的第一組融合指標(biāo)中可以看出，融合后圖像的平均梯度(AG)、空間頻率(SF)、峰值信噪比(PSNR)及信息熵(EN)隨著光照增強(qiáng)數(shù)值依次增大，均方誤差(MSE)依次減?。槐砻麟S著光照由黑暗到明亮?xí)r，融合效果更好，說(shuō)明光照強(qiáng)度對(duì)融合效果起決定性作用，該影響主要作用于可見(jiàn)光圖像。從表2的融合指標(biāo)中可以看出，圖4a和圖4b符合光照越好，融合效果越好的規(guī)律；但圖4c則相反，在圖4c中，目標(biāo)為白色物體，在光照特別好的情況下，白色物體的反光能力較強(qiáng)，融合效果較差；由此可知，光照為主要影響因素，目標(biāo)物體的反光能力也決定著融合效果。在圖像融合領(lǐng)域，除了光照及目標(biāo)物體的顏色外，溫度等物理?xiàng)l件也對(duì)其有一定影響。此外，還應(yīng)用PCA算法進(jìn)行實(shí)驗(yàn)，得出相應(yīng)的處理結(jié)果及指標(biāo)，見(jiàn)圖5和圖6所示。

圖5 PCA方法第一組融合結(jié)果

圖6 PCA方法第二組融合結(jié)果

融合評(píng)價(jià)指標(biāo)見(jiàn)表3和表4所示。

表3 PCA融合第一組評(píng)價(jià)指標(biāo)

表4 PCA融合第二組評(píng)價(jià)指標(biāo)

應(yīng)用PCA算法進(jìn)行圖像融合，符合本文算法的光照強(qiáng)弱影響規(guī)律，也符合物體顏色的影響規(guī)律，在表4的圖6c中，同樣也是白色物體的影響導(dǎo)致融合效果較差。通過(guò)將表1與表3的數(shù)據(jù)進(jìn)行對(duì)比，在黑暗條件下，本文的融合算法所實(shí)現(xiàn)的融合效果明顯好于PCA算法的融合效果。

3 結(jié)論

通過(guò)分析圖像融合中的影響因素，對(duì)比不同環(huán)境下(主要為光照和目標(biāo)顏色)所采集到的紅外與可見(jiàn)光圖像進(jìn)行融合和指標(biāo)評(píng)價(jià)，得出光照與目標(biāo)物體對(duì)紅外與可見(jiàn)光圖像融合的影響。實(shí)驗(yàn)結(jié)果表明，光照越好，融合效果越好；白色物體融合效果較差，主要是由于可見(jiàn)光反射能力較強(qiáng)。通過(guò)與PCA紅外與可見(jiàn)光圖像融合算法對(duì)比，在黑暗條件下，本文算法的融合效果更好。