陳芯蕊,郭立強(qiáng),2

(1.淮陰師范學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,江蘇 淮安 223300;2.淮陰師范學(xué)院 淮安市大數(shù)據(jù)智能計(jì)算與分析重點(diǎn)實(shí)驗(yàn)室,江蘇 淮安 223300)

0 引言

圖像融合技術(shù)是多傳感器信息數(shù)據(jù)融合的重要分支,隨著計(jì)算機(jī)技術(shù)和傳感器技術(shù)的高速發(fā)展,此項(xiàng)技術(shù)的使用范圍也越來越廣泛.當(dāng)前,圖像融合技術(shù)在遙感、醫(yī)學(xué)、軍事等領(lǐng)域以及計(jì)算機(jī)視覺、目標(biāo)識(shí)別和情報(bào)獲取等方面發(fā)揮著十分重要的作用.圖像融合是指對(duì)多個(gè)傳感器獲得的同一個(gè)目標(biāo)背景的圖像進(jìn)行合并,獲得一副更易觀察與理解的圖像[1].紅外傳感器獲得的紅外圖像可以不受到光線的影響,但具有對(duì)比度低、視覺效果模糊、信息量少的缺點(diǎn).而可見光圖像蘊(yùn)含相當(dāng)多的細(xì)節(jié)、較高的空間分辨率和明暗對(duì)比,其很符合人的視覺感知.但可見光圖像也容易受到光線的影響,導(dǎo)致目標(biāo)信息很難分辨和提取.紅外與可見光的圖像具有互補(bǔ)的特性,從而融合出了信息豐富、目標(biāo)準(zhǔn)確的融合圖像[2].

紅外與可見光圖像的經(jīng)典融合方法主要可以分為:基于多尺度的變換域融合方法、基于像素的空間域融合方法、基于模型的融合方法等[3].其中,基于像素的空間域融合方法一般是直接對(duì)圖像的像素值進(jìn)行處理,以獲得融合圖像.Zhang等人[4]根據(jù)在源圖像中找到的散焦區(qū)域和聚焦區(qū)域之間的邊界,將圖像分為不同的聚焦區(qū)域,然后選擇每組區(qū)域中較大聚焦度量的像素點(diǎn)組合成最終的融合圖像.基于模型的融合方法是使用數(shù)學(xué)模型來自適應(yīng)提取源圖像中的特征信息,再根據(jù)特征信息來融合圖像.張洲宇等人[5]提出了一種前饋式的基于多層卷積稀疏表示的圖像融合網(wǎng)絡(luò).該方法有效解決了稀疏表示應(yīng)用于圖像融合時(shí)出現(xiàn)的信息缺失和對(duì)錯(cuò)誤匹配容忍度低等問題.多尺度融合方法因融合效果更符合視覺感知[6]而被廣泛使用,而金字塔變換是最早應(yīng)用于圖像融合中的多尺度變換方法.金字塔變換可以分析圖像中的不同尺度的特征,其頂層是低分辨率的圖像,其余各層是每個(gè)尺度的高分辨率圖像.根據(jù)金字塔變換的構(gòu)造原理,其方法有:拉普拉斯金字塔[7]、梯度金字塔[8]、對(duì)比度金字塔[9]、比率低通金字塔[10]和形態(tài)學(xué)金字塔[11]等.金字塔變換可以突出圖像的特征信息,但是融合后圖像的細(xì)節(jié)信息會(huì)受到噪聲的影響而丟失.

為了得到更優(yōu)的融合效果,本文提出了一種基于拉普拉斯金字塔和局部二值模式的紅外與可見光圖像融合算法.首先,對(duì)兩幅待融合圖像進(jìn)行拉普拉斯金字塔分解,然后利用LBP對(duì)每層高斯濾波后的圖像提取細(xì)節(jié)特征,將提取到的信息加到對(duì)應(yīng)層的金字塔上,加強(qiáng)圖像的細(xì)節(jié)信息.然后,使用取最大值和基于區(qū)域特性量測(cè)的融合規(guī)則分別對(duì)兩幅圖像的高頻系數(shù)和低頻系數(shù)進(jìn)行融合.最后,對(duì)融合好的拉普拉斯金字塔進(jìn)行重構(gòu),得到融合圖像.經(jīng)過實(shí)驗(yàn)的驗(yàn)證,本文的算法豐富融合了圖像的信息,提升了融合效果.

1 背景知識(shí)

1.1 拉普拉斯金字塔

拉普拉斯金字塔的基礎(chǔ)是高斯金字塔.高斯金字塔在運(yùn)算的時(shí)候,圖像做卷積操作會(huì)導(dǎo)致一些高頻信息的丟失.為了描述這些丟失的高頻細(xì)節(jié)信息,便產(chǎn)生了拉普拉斯金字塔.拉普拉斯金字塔變換的主要步驟如下.將原始圖像G0進(jìn)行高斯低通濾波并隔行隔列的下采樣得到中間結(jié)果圖像G1,再將G1插入一個(gè)合適的值并進(jìn)行上采樣得到E1,E1與原始圖像的大小相同.然后用原始圖像減去E1得到第一層的拉普拉斯金字塔圖像.接下來,針對(duì)G1重復(fù)上述步驟,多次迭代后就得到了整個(gè)拉普拉斯金字塔[12].

1.2 多分辨率的LBP特征提取

LBP(Local Binary Pattern)算子是由Ojala提出的一種紋理描述方法,在計(jì)算機(jī)視覺中有著廣泛的應(yīng)用[13],可以對(duì)圖像中的任意一點(diǎn)及其周圍的灰度值來表示圖像的局部特征.基本LBP算子是用一個(gè)3*3的矩陣為模板,以中間點(diǎn)為閾值,與周圍八個(gè)值進(jìn)行比較,獲得鄰域的二進(jìn)制編碼.將此編碼轉(zhuǎn)為十進(jìn)制數(shù)便為中間點(diǎn)的LBP值.為了解決此原始方法無法滿足不同頻率和尺寸紋理的需求,提出了多分辨率的LBP算子[14].其將方形鄰域變?yōu)閳A形鄰域,從3*3領(lǐng)域拓展到任意鄰域,可以在半徑為R(R>0)的圓形鄰域中包含P個(gè)采樣點(diǎn).用相同的方法求出中心點(diǎn)的LBP值,得出LBP圖像.此方法對(duì)光照的變化具有魯棒性,能較好地提取圖像細(xì)節(jié)紋理特征.

YIN 等人[15]提出了基于LBP度量的多聚焦圖像融合算法.該算法是應(yīng)用LBP來構(gòu)建聚焦測(cè)度,從而評(píng)估原始圖像中對(duì)應(yīng)像素點(diǎn)的清晰度并構(gòu)造初始權(quán)重圖,對(duì)初始權(quán)重圖采用連通區(qū)域分析法來減少圖像中的噪聲,然后通過權(quán)重圖加權(quán)融合得到最終圖像.而本文的紅外與可見光圖像融合算法則直接應(yīng)用LBP提取拉普拉斯金字塔中每層高斯低通濾波子圖像的細(xì)節(jié)信息并疊加到當(dāng)前層,這樣一來能夠有效解決傳統(tǒng)圖像融合算法存在的細(xì)節(jié)信息丟失,對(duì)比度低等問題.本文算法和Yin等人算法雖然都使用了LBP,但在應(yīng)用的角度以及融合機(jī)理方面則是完全不同.

1.3 基于LP和LBP的圖像融合算法

1) 圖像融合算法流程

本文的圖像融合具體步驟如下:

① 對(duì)紅外和可見光圖像分別進(jìn)行四層拉普拉斯金字塔變換,并使用LBP對(duì)每一層的高斯低通濾波圖提取細(xì)節(jié)特征信息,將提取到的細(xì)節(jié)信息加到對(duì)應(yīng)層的拉普拉斯金字塔上.

② 將源圖像分解出的金字塔的各層分別進(jìn)行融合.金字塔的高頻信息中包含大量的細(xì)節(jié)信息,因此對(duì)高頻信息采用基于區(qū)域特性量測(cè)的方法進(jìn)行融合,而低頻信息融合采用絕對(duì)值取大的方法.

③ 將融合后的拉普拉斯金字塔進(jìn)行反變換,得到融合后的圖像.

2) 圖像融合規(guī)則

假設(shè)紅外和可見光圖像分別為A、B,融合的結(jié)果為L(zhǎng)Fk(0≤k≤4)使用拉普拉斯金字塔進(jìn)行分解并疊加LBP細(xì)節(jié)特征信息后得到的圖像為L(zhǎng)Ak、LBk(0≤k≤4).最高層圖像LA4、LB4和高斯金字塔的一致,是圖像低頻信息.此層圖像使用絕對(duì)值取大的方法進(jìn)行融合,其公式如下:

(1)

當(dāng)0≤k<4時(shí),LAk、LBk為圖像的高頻信息,采用區(qū)域特性量測(cè)的融合規(guī)則[16].其融合步驟如下:

① 計(jì)算LAk、LBk(0≤k<4)的局部區(qū)域能量,其表達(dá)式如下:

(2)

(3)

(4)

上式中,p和q定義了區(qū)域的大小,這里選取p=1,q=1,LAk、LBk表示金字塔的第k層,ω(m,n)低通濾波器.

② 計(jì)算LAk、LBk(0≤k<4)的局部區(qū)域匹配度,其表達(dá)式如下:

(5)

③ 定義匹配閾值T=0.8.當(dāng)局部區(qū)域匹配度大于閾值時(shí),表明兩幅圖像的局部能量比較相近,因此采用加權(quán)的方式融合.否則,選用區(qū)域能量較大的中心像素當(dāng)作此區(qū)域融合后的中心像素,其公式如下:

當(dāng)Mk(i,j)≥T時(shí),

(6)

當(dāng)Mk(i,j)

(7)

其中加權(quán)算子的公式為

(8)

經(jīng)過以上步驟得到融合后的四層金字塔后,再應(yīng)用拉普拉斯金字塔逆變換獲得最終的融合圖像.

2 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文算法的有效性,從TNO圖像數(shù)據(jù)集[17]中選用了三組不同的紅外與可見光圖像進(jìn)行測(cè)試.同時(shí)選取傳統(tǒng)拉普拉斯金字塔融合算法(LP)[18]、比率低通金字塔算法(RLP)、基于輪廓波變換算法(Curvelet)[19]、基于非下采樣輪廓波變換算法(NSCT)[20]和基于潛在低秩表示的算法(LatLRR)[21]與本文算法進(jìn)行對(duì)比.具體的實(shí)驗(yàn)對(duì)比結(jié)果如圖1-3所示.

圖1 第一組圖像

圖2 第二組圖像

圖3 第三組圖像

第一組圖像為夜晚街景圖像.由于光線不足,可見光圖像只有燈周圍的圖像清晰.本文算法的融合圖像與其他5種融合圖像相比,圖像亮度較為均衡,車輛、人、廣告牌的細(xì)節(jié)信息清晰,更利于辨別目標(biāo)對(duì)象.第二組圖像為房子外的一角,紅外圖像灌木細(xì)節(jié)模糊,可見光圖像人的位置不清晰.本文算法的融合圖像人像及灌木細(xì)節(jié)清晰,房子上方的天空的亮度更符合人類的視覺認(rèn)知.第三組圖像為戶外圖像.紅外圖像云、車的細(xì)節(jié)信息比較豐富,但樹木不夠清晰,可見光圖像樹木和房屋的細(xì)節(jié)信息較多.本文算法合成的圖像在亮度和細(xì)節(jié)信息的清晰度都有良好的視覺效果.

綜合以上所述的三組圖像融合結(jié)果來看,本文的算法在亮度、細(xì)節(jié)信息和目標(biāo)識(shí)別度都要優(yōu)于其他的融合算法,視覺效果有了較大提升.為了進(jìn)一步驗(yàn)證本算法的有效性,本文采用了一些客觀評(píng)價(jià)指標(biāo)來與其他4種算法的融合圖像進(jìn)行比較.選取的客觀評(píng)價(jià)指標(biāo)為:信息熵(IE)[22]、視覺信息保真度(VIFF)[23]、基于結(jié)構(gòu)相似性(Qy)[24]、互信息(MI)[24]、灰度標(biāo)準(zhǔn)差(SD)[25].信息熵用于計(jì)算圖像中信息的豐富程度,指標(biāo)值越大,表明融合圖像中的信息越豐富.視覺信息保真度主要計(jì)算融合圖像中提取了源圖像中多少的有效視覺信息,值越大表明提取的有效信息越多.基于結(jié)構(gòu)的相似性測(cè)量了融合圖像與源圖像的結(jié)構(gòu)相似性,值越大表明其與源圖像的結(jié)構(gòu)越相似.互信息計(jì)算了源圖像提取了多少信息到融合圖像中,互信息越大表明轉(zhuǎn)移的信息越多.灰度標(biāo)準(zhǔn)差表明了圖像灰度相對(duì)于平均灰度的離散情況,標(biāo)準(zhǔn)差的值越大表明灰度級(jí)越分散,圖像的反差越大,其中可利用的信息越多,圖像融合的效果越好.

由表1-3可知,本文算法的信息熵(IE)、視覺信息保真度(VIFF)、互信息(MI)、基于結(jié)構(gòu)相似性(Qy)和灰度標(biāo)準(zhǔn)差(SD)這五個(gè)指標(biāo)均優(yōu)于其他五個(gè)算法,說明融合后的圖像保留了源圖像更多的細(xì)節(jié)信息、辨識(shí)度高.綜合以上主客觀的評(píng)價(jià)結(jié)果,本文提出的算法是有效的,在圖像細(xì)節(jié)信息保留及人類視覺感知上均有提升.

表1 第一組圖客觀指標(biāo)

表2 第二組圖客觀指標(biāo)

表3 第三組圖客觀指標(biāo)

3 結(jié)語

提出了一種基于LP和LBP的圖像融合算法.在圖像分解時(shí)(四層分解),對(duì)每一層高斯濾波后的子圖像進(jìn)行LBP特征提取,將提取到的細(xì)節(jié)特征信息加到對(duì)應(yīng)層的拉普拉斯金字塔上.此外,本文采用區(qū)域特性量測(cè)的方法融合高頻信息,而低頻信息融合采用絕對(duì)值取大方法進(jìn)行融合.最后對(duì)融合后的金字塔進(jìn)行逆變換得到融合圖像.實(shí)驗(yàn)結(jié)果表明,本文提出的算法與其他5種經(jīng)典的算法相比,在主觀視覺感知和客觀指標(biāo)上均有明顯的提升.