姜寒雪, 郭立強(qiáng)

(淮陰師范學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 江蘇 淮安 223300)

0 引言

圖像融合是指將多幅圖像通過一定的數(shù)學(xué)方法處理融合為一幅圖像的過程,而紅外與可見光圖像融合是圖像融合領(lǐng)域的一大研究熱點(diǎn),在醫(yī)學(xué)、軍事、遙感以及計(jì)算機(jī)視覺、目標(biāo)識別和情報(bào)獲取等方面應(yīng)用廣泛[1]．由于單傳感器采集信息時(shí)具有一定的局限性,在實(shí)際應(yīng)用中通常采用多傳感器在同一時(shí)間、同一場景獲取多個(gè)圖像信息,對獲取到的圖像采用合適的方法進(jìn)行融合得到完整清晰的圖像．紅外傳感器環(huán)境適應(yīng)性強(qiáng),能夠識別出隱藏的熱目標(biāo),并且能夠適應(yīng)惡劣環(huán)境,全天無休地工作[2]．但是紅外圖像存在信噪比低、對比度低、分辨率差、圖像模糊等問題．而可見光圖像紋理特征明顯且具有較高的分辨率與對比度,將二者融合可以得到細(xì)節(jié)豐富、目標(biāo)顯著、更適合人類感知的圖像[3]．

近年來,紅外與可見光圖像融合研究取得了長足的進(jìn)步．典型的融合方法有:多尺度變換分析方法、稀疏表示方法、顯著性特征提取方法、深度學(xué)習(xí)方法、模糊理論方法等．其中,多尺度變換分析方法在紅外與可見光領(lǐng)域應(yīng)用廣泛．多尺度變換方法是將原始的圖像分解為不同尺度的分量,每個(gè)分量代表每個(gè)尺度的子圖像．一般來說,基于多尺度分解的紅外可見光融合圖像有三個(gè)步驟,首先將源圖像分解為多個(gè)尺度圖像,采用合適的融合規(guī)則對源圖像各個(gè)尺度的圖像進(jìn)行融合． 最后,采用相應(yīng)的逆變換獲取融合圖像．常見的多尺度變換分析方法有金字塔變換[4](PT)、小波變換[5](WT)、contourlet變換[6]、非下采樣輪廓波變換[7](NSCT)等算法．金字塔分解冗余度較大,小波變換細(xì)節(jié)信息不足,contourlet變換缺乏平移不變性．NSCT不但保留了contourlet變換多尺度、多方向的優(yōu)點(diǎn),還能有效避免圖像的分解和重構(gòu)造成的頻譜混疊問題．

為了獲取更好的圖像融合效果,本文提出了基于NSCT和對比度拉伸的紅外與可見光圖像融合方法．首先對源圖像進(jìn)行NSCT分解得到高低頻子帶,然后采用絕對值取大和窗口系數(shù)絕對值取大的高頻融合規(guī)則[8]以及基于局部拉普拉斯能量的低頻融合規(guī)則處理高低頻子帶系數(shù)[9]．通過NSCT算法得到初步融合圖像．為了更好的保留融合圖像中的邊緣信息,采用SUSAN算子對源圖像進(jìn)行邊緣檢測,再將邊緣信息進(jìn)行對比度拉伸,然后進(jìn)行NSCT變換來獲取邊緣融合圖像．接下來重復(fù)執(zhí)行對比度拉伸和NSCT,將初步融合圖像和邊緣融合圖像進(jìn)行整合得到最終的融合圖像．實(shí)驗(yàn)結(jié)果表明,本文提出的算法融合所得的圖像邊緣清晰,細(xì)節(jié)信息更為豐富．

1 相關(guān)背景

1.1 NSCT方法

NSCT由非下采樣塔式濾波器組(NSPFB)和非下采樣方向?yàn)V波器(NSDFB)組成,用于對圖像進(jìn)行不同方向上的多尺度分解[10]．使用非下采樣輪廓波對圖像進(jìn)行分解所得的子帶與源圖像尺寸相同,具有平移不變性．NSPFB是雙通道濾波器,分解得到一個(gè)高頻子帶和多個(gè)低頻子帶,這一分解過程減少了傳統(tǒng)采樣形式濾波器組所帶來的失真問題,同時(shí)獲得了平移不變性．利用NSDFB對經(jīng)過NSPFB分解的各級高頻子帶進(jìn)行分解可以得到2l個(gè)方向各不相同的子帶．NSCT的突出優(yōu)點(diǎn)是能夠較好地保留圖像中的細(xì)節(jié)信息．

1.2 SUSAN邊緣檢測

SUSAN(Smallest Univalue Segment Assimilating Nucleus)是一種基于窗口的檢測方法,針對邊緣和角點(diǎn)進(jìn)行檢測,檢測時(shí)不需要計(jì)算微分,因此噪聲的魯棒性更大[11-14]．SUSAN選用一個(gè)近似圓形的窗口在圖像上進(jìn)行移動,如果窗口內(nèi)像素灰度及核灰度值小于一定的閾值,則判定該點(diǎn)為邊緣點(diǎn)．

2 基于NSCT和對比度拉伸的圖像融合方法

本文選用非下采樣輪廓波(NSCT)對紅外與可見光源圖像進(jìn)行分解得到高頻分量和低頻分量,選取合適的融合規(guī)則處理高低頻分量[15-18]．低頻分量包含圖像的輪廓信息及源圖像的大部分能量,為了更好地去除高頻信息,保留源圖像的能量及輪廓信息,采用加權(quán)局部能量及WSEML作為融合規(guī)則．高頻分量包含噪聲和細(xì)節(jié),故采用絕對值取大和窗口系數(shù)絕對值取大的方法作為高頻分量的融合規(guī)則．SUSAN算子簡單高效并且能去除噪聲,應(yīng)用SUSAN算子提取特征再使用上述NSCT方法融合特征和初步處理圖像可以獲得信息更為豐富的圖像．

本文算法的具體實(shí)施步驟如下．

1) 使用非下采樣輪廓波分解紅外與可見光圖像得到低頻系數(shù)和高頻系數(shù)；

2) 對低頻系數(shù)采用加權(quán)局部能量和WSEML相結(jié)合的融合規(guī)則進(jìn)行融合；

3) 對高頻系數(shù)運(yùn)用絕對值取大和窗口系數(shù)絕對值取大的融合規(guī)則進(jìn)行融合；

4) 對步驟2和步驟3得到的高低頻子帶進(jìn)行NSCT逆變換得到初步融合圖像；

5) 使用SUSAN算子對源圖像進(jìn)行邊緣檢測得到邊緣圖像,對邊緣圖像進(jìn)行整體的對比度拉伸,拉伸因子取值為1.1;然后使用上述NSCT算法對拉伸后的邊緣信息進(jìn)行融合,得到邊緣融合圖像;

6) 針對步驟4得到的初步融合圖像和步驟5得到的邊緣融合圖像,再重復(fù)使用對比度拉伸和NSCT算法來得到最終的融合圖像．

2.1 高頻子帶

高頻子帶包含圖像的邊緣及紋理信息,本文采用絕對值取大和窗口系數(shù)絕對值取大的融合規(guī)則[16],絕對值取大,按式(1)計(jì)算

(1)

式中IA(a,b)、IB(a,b)是圖像的高頻系數(shù)．

窗口系數(shù)絕對值取大選取大小為5×5的窗口,選取窗口中最大值最為該像素點(diǎn)的值．

2.2 低頻子帶

圖像的能量主要集中在低頻子帶,對融合效果有著重大的影響．為了充分過濾圖像的高頻信息,保留圖像的近似信息．本文選取加權(quán)局部能量和WSEML作為判準(zhǔn)準(zhǔn)則,充分保留了圖像的結(jié)構(gòu)和細(xì)節(jié)信息．加權(quán)局部能量E(X,Y)的計(jì)算公式如下

(2)

其中W(a,b)是加權(quán)系數(shù)矩陣,I(X,Y)是圖像的低頻系數(shù)矩陣,本算法中矩陣的大小為3×3．

WSEML的計(jì)算公式為[18]

(3)

式中W(a,b)和式(1)具有相同定義的加權(quán)系數(shù)矩陣．

EML按照式(4)計(jì)算

EML(x,y)=|2S(a,b)-S(a-1,b)-S(a+1,b)|+

|2S(a,b)-S(a,b-1)-S(a,b-1)|+

(4)

式中S∈{A,B}．

低頻系數(shù)，通過如下規(guī)則進(jìn)行計(jì)算

(5)

其中LA(a,b)，LB(a,b)是紅外與可見光源圖像的低頻系數(shù).EA,EB是加權(quán)局部能量歸一化后的系數(shù)矩陣,WSEMLA,WSEMLB是WSEML歸一化后的矩陣[18]．

3 實(shí)驗(yàn)結(jié)果與分析

3.1 評價(jià)方法

圖像融合的評價(jià)方法主要分為主觀評價(jià)和客觀評價(jià)．本文使用的客觀評價(jià)指標(biāo)如下：

1) 基于視覺信息保真度的指標(biāo)(VIFF)

VIFF是基于視覺信息保真度的評價(jià)指標(biāo),復(fù)雜度低且更接近人類視覺感知[19]．值越大,圖像的視覺效果越好．

2)信息熵(EN)

信息熵用來衡量圖像包含信息的多少.值越大,圖像所包含的信息越豐富[20],表達(dá)式為

(6)

3)平均梯度(AG)

平均梯度用來衡量融合圖像的清晰度.值越大,圖像細(xì)節(jié)信息越豐富[21],表達(dá)式為

(7)

4) 邊緣強(qiáng)度(EI)

邊緣信息對于人眼感知圖像起著重要作用.值越大,圖像邊緣信息越豐富,圖像質(zhì)量越高．

5) 清晰度(FD)

清晰度采用基于Sobel算子的Tenengrad梯度函數(shù)提取圖像水平與豎直方向的梯度,值越大,圖像越清晰,表達(dá)式為

(8)

3.2 融合結(jié)果分析

為驗(yàn)證本文提出的基于NSCT和對比度拉伸的圖像融合算法的有效性,選取了四組紅外與可見光圖進(jìn)行測試,測試圖像來源于標(biāo)準(zhǔn)圖像數(shù)據(jù)庫．選取ADF[22]、TIF[23]、BGR[24]、CNN[25]這四種經(jīng)典圖像融合算法進(jìn)行對比．ADF算法是一種基于各向異性擴(kuò)散和PCA變換的圖像融合算法．利用各向異性擴(kuò)散將源圖像分解為基礎(chǔ)層和細(xì)節(jié)層,對細(xì)節(jié)層和基礎(chǔ)層采用PCA變換和加權(quán)線性疊加的方式生成融合圖像．TIF算法是一種基于視覺顯著性檢測和兩尺度分解的圖像融合方法,能夠較好地突出源圖像的視覺顯著性信息且快速高效．BGR算法利用四叉樹分解和貝塞爾插值來重建紅外背景,然后提取紅外圖像的特征信息并將其添加到可見光圖像中獲得融合圖像．CNN算法是一種深度學(xué)習(xí)算法,通過學(xué)習(xí)CNN模型實(shí)現(xiàn)源圖像和焦點(diǎn)圖像的直接映射得到融合圖像．實(shí)驗(yàn)結(jié)果如圖1—4所示．

圖1 第一組融合圖像

圖2 第二組融合圖像

圖3 第三組融合圖像

第一組圖像是戶外圖像,紅外圖像樹木模糊,可見光圖像人像模糊．本文算法融合后的圖像對比其他算法融合的圖像來看,圖像亮度較高,人像及房屋邊緣清晰,視覺效果優(yōu)越．第二組圖像是湖面的輪船,可見光圖像山體模糊,本文算法融合后的圖像山體紋理細(xì)節(jié)以及船體邊緣輪廓較其他算法更為清晰．第三組圖像是夜晚的街道,可見光圖像亮度較低,細(xì)節(jié)信息難以觀察,前幾種算法在亮度以及廣告牌的處理效果較差,而本文算法處理后的圖像亮度適中,廣告牌、行人和車輛等細(xì)節(jié)更為清晰．第四組圖像是林子中的人,紅外圖像樹葉不夠清晰,可見光圖像人像模糊,前幾種算法人像不夠清晰,尤其是ADF算法整體視覺效果不佳,本文提出的算法在亮度、圖像清晰度方面有較好的視覺效果．

為了進(jìn)一步評價(jià)所提出算法的有效性,本文還使用了VIFF、EN、AG、EI、FD這五種客觀評價(jià)指標(biāo)對圖像的融合效果進(jìn)行評判,具體數(shù)值結(jié)果如表1—4所示．

表1 第一組圖像客觀指標(biāo)評價(jià)

表2 第二組圖像客觀指標(biāo)評價(jià)

結(jié)合表1—4的客觀評價(jià)指標(biāo),表明本文算法的“EN” “AG” “EI”和“FD”這四個(gè)指標(biāo)均明顯好于經(jīng)典算法,也就是本文算法所獲取的融合圖像,其邊緣信息較其他算法而言更為豐富．此外,本文算法的“VIFF”指標(biāo)也具有一定的優(yōu)勢,說明本文提出的算法視覺效果優(yōu)異．綜合主客觀評價(jià)結(jié)果可以看出本文所提出融合算法的有效性,在邊緣細(xì)節(jié)以及視覺感知上均有較大的提升．

表3 第三組圖像客觀指標(biāo)評價(jià)

表4 第四組圖像客觀指標(biāo)評價(jià)

4 結(jié)語

提出了一種基于對比度拉伸和NSCT的圖像融合算法．使用NSCT分解得到高低頻系數(shù),采用絕對值取大和窗口絕對值取大規(guī)則處理高頻系數(shù)可以降低圖像噪聲,采用加權(quán)局部能量和WSEML規(guī)則處理低頻系數(shù)能夠更好地保留圖像的能量以及邊緣細(xì)節(jié)信息．對高低頻系數(shù)采用NSCT逆變換得到初步融合圖像．此外,SUSAN算子具有較好的邊緣提取特性,對得到的邊緣信息使用上述對比度拉伸和NSCT算法融合得到邊緣信息,并將該邊緣信息和初步融合圖像重復(fù)執(zhí)行上述操作得到最終的融合圖像．實(shí)驗(yàn)結(jié)果表明,本文所提出的算法無論是在主觀定性分析還是在客觀的定量計(jì)算上,均優(yōu)于現(xiàn)有經(jīng)典算法．后續(xù)工作將思考如何進(jìn)一步降低所提出算法的計(jì)算復(fù)雜度,便于實(shí)際的工程應(yīng)用．