(北京科技大學(xué) 信息工程學(xué)院， 北京 100083)

摘 要：目前基于融合的方法能夠改善紅外圖像的視覺效果，但局限于簡單的直接融合，忽略了背景等因素所含噪聲的影響及各部分細(xì)節(jié)信息。對此做了進(jìn)一步研究工作，改進(jìn)了現(xiàn)有方法的融合規(guī)則，提出先將目標(biāo)從背景中提取出來再以溫度閾值為依據(jù)分層融合，并加入實(shí)時溫度信息，可隨時得到融合圖像的溫度數(shù)據(jù)，從而在細(xì)節(jié)上極大地改善了目標(biāo)的視覺效果及信息含量，提高了效率；最后對融合效果進(jìn)行了定量評價和比較。實(shí)驗結(jié)果證明處理后的圖像能夠比原圖像獲得更豐富的視覺信息。

關(guān)鍵詞：可見光圖像；紅外圖像；目標(biāo)提取；溫度閾值；分層融合

中圖分類號：TP391文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695(2009)04-1549-03

Infrared and visible image fusion based on multilayer feature extraction

ZHANG Yu，F(xiàn)U Dong-mei，LI Xiao-gang，KONG Wei-gong

(School of Information Engineering， University of Science Technology Beijing， Beijing 100083， China)

Abstract:Though the presented method of fusion can improve the visual effect of infrared image， it is still confined to single and direct fusion which neglect the influence of background’s yawp factor.The paper made farther research on the respect， improved the existence fusion’s regulation through proposed a method that firstly extracted the objective， then fused the images layered which based on temperature threshold，and joined temperature of the infrared image in the fusion result real-time.Thereby improved the specific ofvisual and effect largely. Finally， evaluated the effect of the result through objective method.The result shows that the method can obtain more information than the original image.

Key words:visible image；infrared image；objective extraction；temperature threshold；multilayer fusion

當(dāng)待觀察區(qū)域內(nèi)光線條件很差，但是有較大溫度梯度或背景與目標(biāo)有較大熱對比度時，肉眼難以分辨的低可視目標(biāo)很容易在紅外圖像中看到，但它只是物體表面溫度場分布的圖像，紋理特征淡化、視覺立體感差，不符合觀察習(xí)慣，這在很大程度上限制了紅外熱像儀的適用范圍和使用效果。與紅外圖相比，可見光圖能夠提供更多的目標(biāo)細(xì)節(jié)，紋理特征明顯，符合人眼的觀察習(xí)慣，如圖1所示。解決紅外圖紋理特征淡化的辦法就是將紅外與可見光圖像融合，從而能夠使融合圖像極大限度地包含所需信息，改善紅外圖像的視覺效果，并能夠顯示溫度的分布，同時紋理清晰易辨識。這在醫(yī)學(xué)面癱的診斷、工業(yè)電機(jī)設(shè)備故障檢測、軍事目標(biāo)識別上有著廣泛的應(yīng)用[1]。常用的圖像融合方法很多，但都有許多不足之處，效率不高；且都是簡單預(yù)處理后直接對源圖像進(jìn)行融合，融合過程易受背景噪聲的影響，融合效率低、效果差；在融合圖像的細(xì)節(jié)方面還有所欠缺，融合結(jié)果不理想。本文的研究目的就是首先通過特征提取，去除非感興趣的背景區(qū)域的噪聲對融合過程產(chǎn)生的不良影響，并在基于溫度區(qū)域分層次思想的指導(dǎo)下對各溫度層區(qū)域內(nèi)的部分提取逐層進(jìn)行處理，對不同溫度層次的圖像采用不同的融合算法進(jìn)行處理，并將每層最好的結(jié)果加以拼接，最后將清晰的可見光背景傳遞給拼接后的圖像，輔助判斷目標(biāo)所處的環(huán)境。該方法進(jìn)一步改善了融合效果，提高了效率，并在融合基礎(chǔ)上加入溫度數(shù)據(jù)使之能夠?qū)崟r顯示，從而使得處理后的圖像達(dá)到了信息的最大化。

1 問題描述

在環(huán)境溫度為21.2℃下對目標(biāo)進(jìn)行紅外拍攝，其頭像部分溫度高于環(huán)境溫度。從紅外圖中可以清晰地分辨出圖像中的高低溫分布區(qū)域，但是目標(biāo)的面部特征不明顯，五官模糊不清，辨識困難?？梢姽鈭D像雖然紋理清晰，但是無法分辨出圖像各區(qū)域的溫度分布信息，這就需要綜合兩者中的有用信息，即將可見光中最為重要的紋理信息傳遞給紅外圖像。原理如圖2所示。

本文一改現(xiàn)有無論是基于空域或者頻域都是對兩幅原圖像直接進(jìn)行融合變換的方法，提出在對兩幅圖像進(jìn)行預(yù)處理配準(zhǔn)的基礎(chǔ)上對目標(biāo)進(jìn)行提取，進(jìn)而人為設(shè)定不同的感興趣區(qū)域的溫度閾值，分層次地對處于不同溫度閾值之間的紅外部分傳遞抽取到的紋理信息，再將各部分最好的融合結(jié)果加以拼接，從而進(jìn)一步改善了紅外紋理淡化問題，提高了效率。

2 圖像融合

紅外與可見光融合原理圖如圖3所示。由圖3可見，傳感器之間的冗余數(shù)據(jù)增加了融合系統(tǒng)的可靠性，傳感器之間的互補(bǔ)數(shù)據(jù)擴(kuò)展了單一傳感器的性能。融合后的系統(tǒng)將具有以下優(yōu)點(diǎn)[2]：a)提高了系統(tǒng)的可靠性和魯棒性;b) 擴(kuò)展了時間和空間上的觀測范圍;c)增強(qiáng)了數(shù)據(jù)的可信任度;d)增強(qiáng)了系統(tǒng)的分辨能力。

實(shí)驗發(fā)現(xiàn)，對毛發(fā)服裝部分采用PCA融合效果較好，而對面部采用高斯金字塔效果較好。

2.1 PCA融合

主成分分析(PCA)是統(tǒng)計學(xué)中分析數(shù)據(jù)的一種有效方法， 也是模式識別判別分析中最常用的一種線性映射方法，其主要目的是降維[3]。將原來的R維空間投影到M維空間(R≥M)去除源圖像中的冗余信息，并且在降維后保存了原數(shù)據(jù)中的主要信息及相應(yīng)的特征值，從而使數(shù)據(jù)更易于處理。

對于樣本的N個特征X=(x1，x2，…，xN)T， X的協(xié)方差矩陣C為

C=

σ11…σ1j…σ1N



σi1…σij…σiN



σN1…σNj…σNN(1)

其中σ2ij為X的方差：

σ2ij=（1/n）n-1i=0

(xi-i)(xj-i)(2)

其中i為第i個向量的平均值。

求出C的所有特征值λ1，λ2，…，λN及對應(yīng)的特征向量u1，u2，…，uN。其中λ1≥λ2≥…≥λN≥0。主成分λi的貢獻(xiàn)率ηi由下式表示：

ηi=λi/(λ1+λ2+…+λN)(3)

其中λi較小的主成分被認(rèn)為包含的是噪聲，分析時不使用這些變量引入模型。

求出新的特征向量，Y=(y1，y2，…，yN)T滿足Y=UTX，y1的方差最大，包含了原特征的大量信息，逆變換為X=UY。

2.2 高斯金字塔融合

設(shè)原圖像為G0，將G0作為高斯金字塔的初始層(零層)，圖像的高斯金字塔的第l層圖像Gl構(gòu)造方法如下:

將第l-1層圖像Gl-1和一個具有低通特性的窗口函數(shù)w(m，n)進(jìn)行卷積，再把卷積結(jié)果作隔行隔列的降采樣，即

Gl=2m=-22n=-2w(m，n)Gl-1(2i+m，2j+n)(4)

其中:0＜l≤N，0≤i＜Cl，0≤j＜Rl；N為高斯金字塔頂層層號；Rl、Cl為高斯金字塔第l層的行列數(shù)；w(m，n)為窗口函數(shù)，一般采用5×5的矩陣。

為了保持圖像采樣和擴(kuò)展后亮度平滑，沒有接縫效應(yīng)，窗口函數(shù)w(m，n)的選擇很重要，應(yīng)符合如下準(zhǔn)則[4]：

a)可分離性

w(m，n)=w~(m)w~(n) m∈[-2，2]，n∈[-2，2]（5）

b)歸一化性 

2-2w~(n)=1（6）

c)對稱性 

w~(n)=w~(-n)（7）

d)奇偶項等貢獻(xiàn)性

w~(-2)+w~(2)+

w~(0)=w~(-1)+w~(1)（8）

滿足這些約束條件的典型窗口為

row-2 -1 0 1 2 column

w=(1/256)14641

41624164

62436246

41624164

14641 -2-1012

為了簡化書寫，引入縮小算子reduce，式(4)可簡寫為

Gl=reduce(Gl-1)(9)

由G0，G1，…，GN就形成了高斯金字塔。其中：G0為金字塔的底層；GN為金字塔的頂層。高斯金字塔的總層數(shù)為N+1。

3 基于Sobel邊緣檢測的目標(biāo)提取

為了將目標(biāo)與背景區(qū)分開來，去除不感興趣的背景區(qū)域中所含噪聲對融合結(jié)果與效率的影響，對原圖像進(jìn)行邊緣提?。?］。Sobel算子3×3鄰域模板[6]為

x方向卷積核：121000

-1-2-1；y方向卷積核：

10-120-2

10-1

基于Sobel邊緣圖像如圖4所示。由圖4可見，處理后的圖像去除了非感興趣的背景區(qū)域，從而極大限度地限制了背景所含噪聲對融合圖像的影響。

4 以溫度為閾值的分層融合

4.1 溫度閾值的確定

將溫度的分布信息顯示在坐標(biāo)系中，如圖5所示?？梢钥闯黾t外圖像的溫度分布大致是21℃～36℃，取不同的門限[7]可以分層次地將面部高溫區(qū)域、毛發(fā)及服裝區(qū)域確定出來。

g(m，n)=1 f(m，n)＞T

0 其他(10)

同時將溫度數(shù)據(jù)加入紅外圖像中，建立關(guān)聯(lián)關(guān)系，并使之可以實(shí)時地顯示出來，如圖6所示，以便輔助確定不同層次區(qū)域的溫度值。

由圖5可以測試出需要進(jìn)行紋理傳遞的區(qū)域溫度在24℃～36℃，進(jìn)而又可細(xì)分為毛發(fā)及服裝部分溫度在24℃～28℃，面部溫度大致分布在30℃～36℃。以此為依據(jù)，設(shè)定不同層次的閾值，分別對不同閾值界限以內(nèi)的區(qū)域有針對性地采用不同的融合算法進(jìn)行融合。

4.2 基于溫度分層的特征分割

由于毛發(fā)和服裝部分的區(qū)域溫度極為接近，將其分為一類；同時將30℃之上的面部區(qū)域分為一類。掃描紅外圖像，對其不同溫度層進(jìn)行提取，再由得到的紅外圖像各部分提取配準(zhǔn)過的對應(yīng)可見光部分，分層提取結(jié)果如圖7所示。

對分層次提取出來的兩部分的紅外與可見光圖像采用不同的融合算法進(jìn)行紋理傳遞，并對其中最好的結(jié)果加以保留，最后，對各部分最優(yōu)融合結(jié)果進(jìn)行拼接并恢復(fù)到可見光的背景中去。仿真結(jié)果如圖8所示。

5 程序仿真及評價分析

由圖8可見，本文介紹的分層次融合的方法與直接融合方法相比，效果得到進(jìn)一步改善，邊緣及紋理更加清晰，從細(xì)節(jié)上極大地改善了以前方法存在的一些問題，并且去除了不感興趣的背景區(qū)域的噪聲對融合結(jié)果產(chǎn)生的不良影響；目標(biāo)的可識別性大大提高，目標(biāo)的高溫區(qū)域也清晰可見；同時保留了原始可見光背景，使得目標(biāo)所處環(huán)境得以判斷，這對醫(yī)學(xué)面癱的診斷、設(shè)備的各類熱故障診斷，尤其是熱故障定位將大有好處。

客觀定量的效果評價如表1所示。

表1 兩種方法的融合效果評價指標(biāo)

方法指標(biāo)熵平均交叉熵標(biāo)準(zhǔn)差互信息量

前人方法4.8011.282 045.6724.022 1

本文方法5.1880.966 148.5134.601 5

由表1可以看出，本文提出的基于特征的溫度分層方法融合后熵值、標(biāo)準(zhǔn)差、互信息量較大，平均交叉熵較小，融合效果要比以前的直接融合方法好[8]。

6 結(jié)束語

針對紅外與可見光融合領(lǐng)域，本文提出了一種新的基于溫度特征的分層次融合方法，將去除背景后的目標(biāo)按溫度信息再細(xì)分為不同的區(qū)域，最后將各個區(qū)域中最好的融合結(jié)果加以拼接得到最終的融合圖像，并對其加入實(shí)時溫度信息。實(shí)驗結(jié)果表明，這種方法極大限度地去除了背景噪聲對融合結(jié)果產(chǎn)生的影響，對于增強(qiáng)圖像的融合效果、改善融合后圖像在細(xì)節(jié)方面的一些信息是非常有效的。常用的圖像融合方法很多，但都有許多不足之處。采用這種方法對圖像進(jìn)行融合處理，兼有濾除噪聲和增強(qiáng)目標(biāo)細(xì)節(jié)的雙重作用，較為理想地達(dá)到了預(yù)期目的。

參考文獻(xiàn)：

［1］

劉松濤，周曉東.圖像融合技術(shù)研究的最新進(jìn)展[J].激光與紅外，2006，36(8):627-631.

[2]趙慶建，陳森發(fā).基于紋理分析的多源信息融合方法的研究[J].電子與信息學(xué)報，2007，36(2):160-164.

[3]SINGH S，GYAOURVA A，BEBIS G，et al.Infrared and visible image fusion for face recognition[EB/OL].（2004）.http://www.cs.unr.edu/~bebis/fusefaceSPIE04.pdf.

[4]玉振明，高飛.基于金字塔方法的圖像融合原理及性能評價[J].計算機(jī)應(yīng)用研究，2004，21(10):128-130.

［5］ 韓曉萍，付冬梅.基于形態(tài)學(xué)的遮擋目標(biāo)提取的區(qū)域生長法研究[J].計算機(jī)應(yīng)用研究，2007，24(10):158-160.

[6]KOVALEVSKY V A.Image pattern recognition[M].New York:Springer-Verlag，1980.

[7]HARISHWARAN H，KOSCHAN A，ABIDI B，et al.Fuision of visible and infrared images using empirical mode decomposition to improve face recognition[C]//Proc of IEEE International Conference on Image Processing.2006:2049-2052.

[8]羅軍輝，馮平，哈力旦A.MATLAB 7.0在圖像處理中的應(yīng)用[M].北京：機(jī)械工業(yè)出版社，2005：131.