摘 要： 針對紅外（IR）和可見光（VL）圖像融合中邊緣紋理和細(xì)節(jié)特征融合不理想等問題，提出了一種基于Tetrolet變換的紅外和可見光圖像的融合方法。將Tetrolet變換后的紅外和可見光圖像的低通子帶采用基于加權(quán)平均的融合方法得到低通融合系數(shù)，而對高通子帶提出了一種基于自適應(yīng)鄰域方差加權(quán)（AWNV）的融合規(guī)則得到高通融合系數(shù)，最后通過Tetrolet逆變換得到融合圖像。采用多種圖像進(jìn)行融合實驗，實驗結(jié)果表明，經(jīng)該方法得到的融合圖像信息量更大，特征紋理更為豐富，能夠得到比較好的融合效果。

關(guān)鍵詞： Tetrolet變換； 圖像融合； 紅外和可見光圖像； 鄰域方差

中圖分類號： TN911.73?34 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2015）13?0046?04

Abstract： Since the fusion of edge texture and detail feature in infrared （IR） and visible light （VL） images fusion is unsatisfactory， a Tetrolet conversion based fusion method of IR and VL images is proposed. With the fusion method based on weighted and average， the low?pass fusion coefficient is obtained from the low?pass sub?bands of IR and VL images converted by Tetrolet. As for high?pass sub?bands， a fusion rule based on adaptive weighted neighborhood variance （AWNV） is presented to obtain the high?pass coefficient. Finally， fusion image is obtained by Tetrolet inverse conversion. The results of multi?image fusion experiments show that fusion images obtained by the proposed method have more information quantity and more abundant texture features， and the method can get better fusion effect.

Keywords： Tetrolet conversion； image fusion； infrared and visible light image； neighborhood variance

0 引 言

可見光與紅外傳感器是最常用的兩類傳感器，能夠得到互補(bǔ)的圖像信息。將兩種圖像進(jìn)行融合，有利于綜合紅外圖像較好的目標(biāo)特性和可見光圖像清晰的場景信息，提高不同圖像的信息利用率，從而獲取信息更豐富的融合圖像。

近年來，基于多尺度分解的圖像融合技術(shù)有了很大的發(fā)展，各方面的理論已經(jīng)比較成熟，主要有小波變換、輪廓波變換等。小波變換由于其局限性，對于細(xì)節(jié)紋理豐富的圖像處理結(jié)果不是很理想；非下采樣輪廓波?脈沖偶和神經(jīng)網(wǎng)絡(luò)融合方法[1]（NSCT?PCNN）可以得到比較理想的融合效果，但由于變換采用非下采樣技術(shù)，并且高頻中插入脈沖神經(jīng)網(wǎng)絡(luò)提取融合系數(shù)，計算復(fù)雜度較高，融合時間相對較長。沈瑜等提出基于Tetrolet變換的紅外與可見光融合[2]，對高頻Tetrolet系數(shù)采用偽隨機(jī)傅里葉矩陣和CoSaMP優(yōu)化算法迭代出融合后的Tetrolet系數(shù)，計算也相對比較復(fù)雜。本文在Tetrolet變換[3?4]的理論基礎(chǔ)上，提出了一種基于自適應(yīng)鄰域方差加權(quán)（Adaptive Weighted Neighborhood Variance，AWNV）的高頻融合規(guī)則，實驗結(jié)果表明，該方法在降低計算復(fù)雜度、減少圖像融合時間和數(shù)據(jù)冗余的同時，能夠得到比較好的融合效果。

1 Tetrolet變換

1.1 Tetrolet簡介

Tetrolet變換是一種新的自適應(yīng)Haar類型小波變換，它的基函數(shù)具有不相關(guān)性和平移不變性，其變換是簡單有效的，并且非常適用于圖像的稀疏表示。它是一種基于四格拼板（Tetromino）的變換[3?5]，其中的每一個數(shù)據(jù)都可看成一個正方形單元。四格拼板的5種基本形式如圖1所示。

1.2 變換思想

設(shè)輸入源圖像為：[a0=（a[i，j]）N-1i，j=0，][N=2J，]在第[r]（[r=][1，2，…，J-1]）級分解中執(zhí)行如下操作：

（1） 將源圖像或上一級分解得到的低通分量[ar-1]分為[4×4]大小的塊[Qi，j，][i，j=0，1，2，…，N4r-1。]

（2） 計算每個塊[Qi，j]的117種四格拼板覆蓋系數(shù)[c。]對于每個[c，][c=1，2，…，117。]對每塊[Qi，j]應(yīng)用Haar小波變換，可獲得4個低通分量和12個Tetrolet高通分量，如下所示：

低通分量：

[ar，（c）=（ar，（c）[s]）3s=0，ar，（c）[s]=（m，n）∈I（c）sε[0，L（m，n）]ar-1[m，n]] （1）

高通分量（[l=1，2，3]）：

[wr，（c）l=（wr，（c）l[s]）3s=0，wr，（c）l[s]=（m，n）∈I（c）ssε[l，L（m，n）]ar-1[m，n]] （2）

接著尋找一個最優(yōu)覆蓋系數(shù)[c*，]使得12個Tetrolet高通分量有最小[l1]?范數(shù)，即滿足：

[c*=argmincl=13wr，（c）ll=argmincl=13s=03wr，（c）l[s]] （3）

于是每個塊[Qi，j]的最佳Tetrolet變換為[[ar，（c*），wr，（c*）1，wr，（c*）2，wr，（c*）3]]。

（3） 當(dāng)找到每塊[Qi，j，][i，j=0，1，2，…，N4r-1]的最佳Tetrolet變換后，用矩陣[arwr2wr1wr3]來代替低通圖像，并存儲高通分量[wlr=wrlQi，jN4r-1i，j=0，][l=1，2，3]和每塊的覆蓋系數(shù)[c*，]并對低通分量[ar=arQi，jN4r-1i，j=0]進(jìn)行下一級的Tetrolet變換。

（4） 最后進(jìn)行圖像的重構(gòu)。為了重構(gòu)圖像，需要最上一級的低通分量，每一級的Tetrolet高通分量，以及對應(yīng)的所有圖像塊的覆蓋系數(shù)。

2 Tetrolet圖像融合算法

2.1 融合流程

下面以兩幅配準(zhǔn)的紅外與可見光原始圖像為例，描述融合算法的實現(xiàn)流程[6]，如圖2所示。

（1） 對兩幅源圖像IR和VL進(jìn)行Tetrolet變換，得到其在不同尺度和不同方向下的低通子帶[ar，（c*）i，][ar，（c*）v]和高通子帶[wr，（c*）il，][wr，（c*）vl。]

（2） 針對變換后的低通和高通子帶的結(jié)構(gòu)特點采用不同的融合規(guī)則，得到融合后的低通子帶[ar，（c*）f]和高通子帶[wr，（c*）fl。]

（3） 對融合后的子帶進(jìn)行Tetrolet逆變換得到融合圖像F。

2.2 融合規(guī)則

低通子帶：由于低通子帶代表的是圖像的近似信息，而明顯的，可見光圖像包含的圖像近似信息更多，所以采用加權(quán)平均的方法得到融合后的低通子帶。加權(quán)系數(shù)由兩者的低通系數(shù)決定，加權(quán)系數(shù)[?=avav+ai]。則融合低通子帶為：[ar，（c*）f=?av+（1-?）ai]。

高通子帶：高通子帶代表的是圖像的特征和細(xì)節(jié)信息。而紅外和可見光圖像的融合更多的是將圖像的細(xì)節(jié)信息融合在一起，從而使融合圖像獲得更大的信息量[7?8]。這里選擇的高通子帶融合規(guī)則是基于鄰域方差的方法。

對于[M×N]圖像[a]中一點[ai，j]，有：

[var（i，j）=1M×Ni=1Mj=1Nai，j-a2] （4）

其中：

[a=1M×Ni=1Mj=1Nai，j]

選取圖像中一點的[3×3]鄰域的方差平均數(shù)作為該點的方差，得到源圖像IR和VL的鄰域方差：

[vari（i，j）=13×3s=-11t=-11aii+s，j+t] （5）

以及：

[varv（i，j）=13×3s=-11t=-11avi+s，j+t] （6）

那么，基于鄰域方差最大的融合規(guī)則如下所示：

[wr，（c*）fl=wr，（c*）ilvari（i，j）>varv（i，j）wr，（c*）vlvari（i，j）

前文提到，Tetrolet變換是一種非常適用于圖像稀疏表示的自適應(yīng)Harr類型小波變換，其分解簡單高效，能夠保留非常理想的高頻細(xì)節(jié)信息，同時，Tetrolet變換的數(shù)據(jù)處理方式與傳統(tǒng)小波變換也大不相同[3?5]，這使得圖像融合時高頻系數(shù)的選擇至關(guān)重要。當(dāng)[wr，（c*）il]和[wr，（c*）vl]相差較大時，上述方法具有較好的效果。但是，當(dāng)[wr，（c*）il]和[wr，（c*）vl]相差不大時，會造成像素點附近一幅圖像覆蓋另一幅圖像中的高通分量信息，從而丟掉一部分有用信息，產(chǎn)生方塊效應(yīng)[9]。為了解決這一問題，本文提出了一種基于自適應(yīng)鄰域方差加權(quán)的融合規(guī)則[10?11]，即選取一個閾值thevar（其值通過實驗仿真調(diào)試得到，這里選擇0.25）。首先定義[β=wr，（c*）il-wr，（c*）vlwr，（c*）il+wr，（c*）vl，]當(dāng)[β≥thevar]時，選擇上述基于鄰域方差最大的融合方法；當(dāng)[β

[wr，（c*）fl=wr，（c*）ilwr，（c*）il+wr，（c*）vlwr，（c*）il+wr，（c*）vlwr，（c*）il+wr，（c*）vlwr，（c*）il] （8）

3 實驗結(jié)果與分析

圖像融合希望得到的是更大的信息量，更多的特征、細(xì)節(jié)。融合規(guī)則的選擇非常重要。在本文中，對于低通子帶采用最常用并且非常有效的基于加權(quán)平均的圖像融合方法，而對于高通子帶則分別比較鄰域方差取大法和自適應(yīng)鄰域方差加權(quán)的方法作為高通子帶的融合規(guī)則。

實驗結(jié)果如圖3，圖4所示。圖中采用了3組不同的圖像進(jìn)行分析比較。由圖3（d）和圖4（d）局部放大圖可以看到，鄰域方差取大法局部存在一些方塊效應(yīng)，而自適應(yīng)鄰域方差加權(quán)的方法則明顯好轉(zhuǎn)，可以得到比較好的融合效果。實驗結(jié)果表明，本文基于自適應(yīng)鄰域方差加權(quán)的高通子帶融合方法是有效可行的。

本文在確定了融合方法的基礎(chǔ)上，分別與離散小波變換融合方法（Discrete Wavelet Transform，DWT）、非下采樣輪廓波變換—脈沖偶和神經(jīng)網(wǎng)絡(luò)融合方法（NSCT?PCNN）進(jìn)行比較，實驗結(jié)果如圖5所示。其中，圖5（a）和圖5（b）為VL和IR源圖像，圖5（c）～圖5（e）分別為DWT、NSCT?PCNN和本文方法融合結(jié)果，由圖中DWT融合結(jié)果可明顯看出，DWT對于邊緣紋理和細(xì)節(jié)特征豐富的圖像融合效果不理想，實驗參數(shù)比較如表1所示[12]。

由表1可以看出，本文Tetrolet融合方法在信息熵、平均梯度，特別是標(biāo)準(zhǔn)差等參數(shù)上相較DWT具有明顯的優(yōu)勢，這是由于Tetrolet變換會分解得到12個高頻分量，而非傳統(tǒng)小波的4個，能夠更好地提煉高頻信息，從而更好地表征細(xì)節(jié)紋理和特征信息； NSCT?PCNN融合方法也較DWT有一定的優(yōu)勢；但從融合時間分析，由于NSCT?PCNN融合方法應(yīng)用非下采樣操作，并且在高頻中加入脈沖偶和神經(jīng)網(wǎng)絡(luò)來優(yōu)化高頻融合系數(shù)，所以計算復(fù)雜度較高，融合時間明顯過長，而本文采用的Tetrolet變換由于本身的稀疏表示特性，能保證很好的融合時間。

4 結(jié) 論

本文首先介紹了紅外和可見光圖像融合及Tetrolet變換的理論基礎(chǔ)，在加深對Tetrolet變換認(rèn)識的基礎(chǔ)上，提出一種基于Tetrolet變換的紅外和可見光圖像的融合方法。相對于其他傳統(tǒng)小波變換等圖像融合方法，本文方法在較快地得到融合圖像的同時，能夠較好地保證融合效果，在信息熵、標(biāo)準(zhǔn)差、平均梯度等參數(shù)上都有比較明顯的優(yōu)勢。但是，由于國內(nèi)外關(guān)于Tetrolet變換的理論以及基于Tetrolet變換的圖像融合資料比較少，所以在融合算法的研究上尚處于起步階段。另外，從融合圖像的效果來看，Tetrolet變換自身存在的方塊效應(yīng)還沒有得到完全地抑制和解決，閾值和鄰域大小的選擇也有待進(jìn)一步分析比較和研究改進(jìn)，這些都是下一步的研究內(nèi)容和努力方向。

參考文獻(xiàn)

[1] 趙景朝，曲仕茹.基于Curvelet變換與自適應(yīng)PCNN的紅外與可見光圖像融合[J].西北工業(yè)大學(xué)學(xué)報，2011（6）：849?853.

[2] 沈瑜，黨建武，馮鑫，等.基于Tetrolet變換的紅外與可見光融合[J].光譜學(xué)與光譜分析，2013（6）：1506?1511.

[3] KROMMWEH J. Tetrolet transform： a new adaptive Harr wavelet algorithm for sparse image representation [J]. Journal of Visual Communication Image Representation， 2009， 21（4）： 364?374.

[4] KROMMWEH J， PLONK G. Directional Haar wavelet frames on triangles [J]. Applied and Computational Harmonic Analysis， 2009， 27（2）： 215?234.

[5] KROMMWEH J， MA Jianwei. Tetrolet shrinkage with anisotropic total variation minimization for image approximation [J]. Signal Processing， 2010， 90（8）： 529?539.

[6] 延翔，秦翰林，劉上乾，等.基于Tetrolet變換的圖像融合[J].光電子·激光，2013，24（8）：1629?1633.

[7] Rafael C Gonzalez，Richard E Woods.數(shù)字圖像處理[M].3版.北京：電子工業(yè)出版社，2011.

[8] 岡薩雷斯.數(shù)字圖象處理[M].北京：電子工業(yè)出版社，2003.

[9] 張凌曉，劉克成，李財蓮.Tetrolet變換方塊效應(yīng)改善算法[J].紅外與激光工程，2014（5）：1679?1684.

[10] 李財蓮，孫即祥，康耀紅.基于Tetrolet變換的自適應(yīng)閾值去噪[J].海南大學(xué)學(xué)報：自然科學(xué)版，2010（4）：348?352.

[11] 李洪均，梅雪，林錦國.基于NSCT自適應(yīng)閾值的紅外圖像去噪算法[J].計算機(jī)工程與設(shè)計，2008，29（12）：3230?3233.

[12] 王曉文，趙宗貴，湯磊.一種新的紅外與可見光圖像融合評價方法[J].系統(tǒng)工程與電子技術(shù)，2012（5）：871?875.

[13] DO M N， VETTERLI Martin. The contourlet transform： an efficient directional multiresolution image representation [J]. IEEE Transactions on Image Processing， 2005， 14（12）： 2091?2106.

[14] 彭洲，唐林波，趙保軍，等.基于Tetrolet變換的圖像稀疏逼近算法[J].系統(tǒng)工程與電子技術(shù)，2011（11）：2536?2539.