吳 川

1.中國科學院 航空光學成像與測量重點實驗室，長春 130033

2.中國科學院 長春光學精密機械與物理研究所 圖像室，長春 130033

1 引言

圖像融合技術就是把多個傳感器得到的圖像信息按照一定規(guī)則結合起來，得到信息互補的圖像。圖像融合技術廣泛應用于偽裝偵察、戰(zhàn)場感知、遙感、醫(yī)學圖像處理當中。圖像融合方法可分為基于像素級的融合方法、基于特征級的融合方法、基于決策級的融合方法，其中基于像素級的融合方法已經(jīng)得到廣泛的研究。如趙鵬等[1]介紹了一種采用形態(tài)學算子、Top-hat變換及Bottom-hat變換相結合的方法把圖像分解成不同尺度的圖像，分別進行不同尺度的圖像融合，最后再重構出融合圖像，該方法適用于多聚焦圖像及具有高噪聲圖像。Zhang等人[2]采用選擇性融合和加權平均融合方法把不同尺度的圖像融合在一起，計算比較簡單，但融合圖像失真和對比度信息損失的缺點比較明顯。類似的把圖像分解成不同尺度的圖像分別進行融合的方法，還有李燕等人提出的采用梅花采樣方向濾波器組的多光譜圖像融合方法[3]。近年來小波變換的方法也被引入圖像融合中[4-8]，如宗思光等提出的利用多尺度形態(tài)學濾波器對源圖像進行分解，對分解后的圖像采用樹狀小波變換進行融合，該類方法在艦載紅外目標的檢測中得到很好的應用，但其融合過程較為復雜；楊建惠等利用átrous小波-NSCT變換對遙感圖像進行處理，得到的圖像在光譜扭曲以及與原始圖像相似度方面都取得了較好的效果，但該方法涉及到時域與頻域間的變換與反變換同樣過程較為復雜；此外趙澄東等利用一種概率方法進行圖像融合，胡燕翔等利用不同曝光圖像中融合目標灰度分布的不同進行圖像融合[9-10]，在圖像融合方面也都取得了一定進展。

Tomasi等人提出了一種雙邊濾波的低通濾波器[11-12]，該方法在保留圖像邊緣及圖像的大尺度信息的前提下，能夠有效濾掉圖像噪聲點。鑒于雙邊濾波器在圖像濾波方面的良好表現(xiàn)，Eric、Durand分別把雙邊濾波思想應用到圖像融合當中，并獲得信噪比高，圖像細節(jié)豐富的彩色圖像[13-14]。但應用雙邊濾波進行圖像融合的不足之處在于采用的雙邊濾波核函數(shù)復雜，人為設計參數(shù)過多，處理時間較長。針對雙邊濾波方法存在的問題，本文對雙邊濾波器的核函數(shù)進行改進，改進后的核函數(shù)計算復雜度降低，設計參數(shù)減少。本文將改進后的雙邊濾波器和高斯濾波器結合起來，對彩色圖像和近紅外進行濾波，得到多個尺度的圖像，然后把不同尺度的圖像按不同權重重構出融合圖像，通過該方法可獲得成像細節(jié)比原彩色圖像更為清晰的融合圖像。這里在權重的選擇上提出一種基于融合像素鄰域均值相似度的權值選擇方法。

2 雙邊濾波圖像濾波器

本章首先對雙邊濾波算法的原理進行介紹，針對其不足之處，對現(xiàn)有濾波器的核函數(shù)進行改進，提出一種計算簡單，設計參數(shù)少的核函數(shù)。

2.1 雙邊濾波算法

雙邊濾波算法最早由Tomasi等人在1998年提出，應用在圖像濾波中，具有保留圖像邊緣，減少圖像噪聲的優(yōu)點，如式（1）所示。式中h(s)表示濾波后s點的像素值，s表示要濾波點的位置，p表示濾波點的鄰域像素值位置，D(p，s)表示要濾波點和其鄰域像素點的差，Ip表示p點像素值，Is表示s點像素值，Ω表示濾波子窗口。濾波函數(shù)g稱為濾波器的核函數(shù)，多采用高斯函數(shù)形式如式（3）所示，式中σ為設計參數(shù)，選取不同σ可得到不同尺度的濾波圖像。從公式（1）可以看出，雙邊濾波器同高斯濾波器相比采用了兩個高斯核函數(shù)，因此有兩個設計參數(shù)σ，為了區(qū)分兩個設計參數(shù)，這里分別采用下標h和i相區(qū)分。其中g(‖‖p-s，σh)反映了p點像素和s點像素之間距離對s的影響，隨著p點像素離s點像素越遠，其對s點像素的影響越小，即p點在對s點濾波中所占的權重較小。g(D(p，s)，σi)反映了p點和s點像素之間的相似程度對s的影響，當p點和s點像素差值較小時即二者較為相似，則該項可提高p點在對s點濾波中所占的權重。p點像素值對s點像素值的作用受二者距離及相似度的綜合影響，在對圖像濾波時可有效保持圖像邊緣。而高斯濾波器在濾波時只考慮到像素間的距離，它在濾波時不僅對噪聲進行濾除，對邊緣也做了平滑。

2.2 雙邊濾波核函數(shù)的改進

雙邊濾波器的核函數(shù)為高斯函數(shù)，在計算過程中涉及到指數(shù)運算、乘方運算、除法運算、加法運算、減法運算，而且濾波過程中存在迭代過程，因此計算量較大，此外應用高斯函數(shù)不可避免的要人為設計一些參數(shù)。針對雙邊濾波器上述特點，本文對其核函數(shù)進行改進，改進后公式如式（4）～（7）所示。從公式中可以看出，用公式（7）代替公式（3），公式（3）和公式（7）的三維網(wǎng)格圖如圖1所示，圖中x軸表示中心點到濾波像素X方向距離，單位為像素個數(shù)，y軸表示中心點到濾波像素Y方向距離，單位為像素個數(shù)，z軸表示核函數(shù)輸出值。從圖中可以看出二者變化趨勢一致，只是公式（7）的下降趨勢要緩一些，因此可以利用公式（7）近似取代公式（3）。

圖1 兩種核函數(shù)的網(wǎng)格圖

從公式（5）、（7）可以看出，隨著p點和s點的相似度減小g(D(p，s))值減小，反之增大，當Ip=Is時，即p點和s點像素值相同，這時g(D(p，s))值為1，即認為p點像素在濾波過程中起的作用與s點相同。從公式（6）和（7）可以看出，隨著p點像素離s點像素越遠，g(‖‖p-s)值減小，反之增大，當p=s時，g(‖‖p-s)表示s點本身在濾波中所占權重，這時認為它的權重應在參與濾波的所有像素中最大的，因此設為1。由此可見改進的雙邊濾波方法能起到公式（1）相同的作用，但其計算形式要簡單得多。

3 基于雙邊濾波的多尺度圖像融合

3.1 基于雙邊濾波的多尺度圖像的獲得

雙邊濾波器在平滑圖像的同時具有保留圖像邊緣的特性，因此這里可以利用雙邊濾波器結合高斯濾波器得到彩色圖像和近紅外圖像的不同尺度圖像。

針對彩色圖像分別采用高斯濾波器和雙邊濾波器對圖像進行濾波，濾波后的圖像分別定義為IG和ID。IG為高斯濾波后圖像，它保留了圖像的大尺度信息，即低頻信息，這里稱為低頻圖像；ID為雙邊濾波后的圖像，它同高斯濾波圖像相比除了保留了圖像的大尺度信息外還保留了圖像的邊緣特征。用ID減去IG得到只含有邊緣信息的圖像用IEdge表示，定義如式（8）所示：

近紅外圖像同可見光圖像相比由于其成像波段較寬，既包括可見光部分又包括近紅外部分，因此其圖像中包含的圖像細節(jié)較可見光圖像更為豐富。這里可通過對近紅外圖像進行雙邊濾波，然后同原近紅外圖像進行相減得到尺度相對較小的細節(jié)圖像。為了敘述方便用IR代表近紅外圖像，IRD代表近紅外圖像進行雙邊濾波后的圖像，IRDetail代表細節(jié)圖像，如式（9）所示：

則融合圖像可用公式（10）表示：

這里α、β為權重參數(shù)。

3.2 融合圖像權值的選取

這里，權重的選擇沒有只考慮需要融合的像素，而是以需要融合像素的鄰域均值作為權重取值的參考因素，好處在于可以削弱噪點對融合圖像的影響，使融合圖像在保持圖像邊緣、細節(jié)比原彩色圖像豐富的同時，極大地抑制了噪聲點對圖像的影響。

3.3 參與融合的圖像分量選取

在彩色圖像和灰度圖像融合的算法中，主要有兩種方式：一種是彩色圖像的RGB分量分別與灰度圖像進行融合，融合后即得到新的彩色圖像，這種方法需要RGB三個分量都參與計算，因此計算量大；另一種方式對RGB圖像進行顏色空間轉換把彩色圖像的顏色分量和亮度分量分開，用亮度分量和灰度圖像進行融合，然后把融合后的圖像同顏色分量重構出彩色圖像。這種方式計算量較小，因此這里采用這種方式。

此外由于彩色相機和近紅外相機的成像原理、傳感器敏感度、成像波段不同，如果直接把近紅外圖像作用于彩色圖像亮度分量上，將導致色彩嚴重失真。因此在把兩者融合之前，需要把近紅外圖像映射到彩色圖像亮度分量上，稱映射后的近紅外圖像為標準化圖像，其計算公式參考文獻[8]表示如下，式中IR′(x，y)為標準化圖像：

IR源(x，y)為近紅外源圖像，IR源D(x，y)表示對IR源(x，y)進行雙邊濾波后的圖像；ID(x，y)表示對彩色圖像亮度分量進行雙邊濾波后的圖像。在融和算法中所用的近紅外圖像均為標準化后的圖像。

4 實驗設計與結果分析

圖2 使用幾種融合方法得到的效果圖

圖3 針對低對比度圖像融合效果圖

本文針對不同源圖像進行算法驗證。使用的計算機CPU為雙核的P8700，主頻為2.53 GHz，采用的編程環(huán)境為VC++2008。為了驗證算法的有效性，選取兩組可見光彩色圖像和近紅外圖像進行融合實驗，其中第一組圖像尺寸為1 392像素×1 040像素，第二組圖像尺寸為1 024像素×768像素。它們的共同特點是可見光圖像為彩色圖像，由R、G、B三個色帶組成，三個色帶具有分光作用，因此圖像細節(jié)信息同近紅外圖像相比較少；不同點在于第二組圖像的可見光圖像對比度更低。采用主分量變換法、相關系數(shù)法、Eric的方法[13]、本文方法進行融合實驗，融合效果如圖2和圖3所示。由于圖像尺寸過大，只給出了局部圖像的融合效果圖。為了確定算法優(yōu)劣，引入了平均梯度這一客觀指標對圖像效果進行評價[15]。該指標描述了圖像的清晰度，它的值越大表明圖像越清晰，其公式如式（16），式中ΔIx和ΔIy分別表示圖像在x和y方向的差分。

表1給出應用不同算法進行圖像質量評價的結果；表2給出了不同算法計算時間對比結果。

表1 不同融合算法結果評價

表2 不同算法計算時間對比結果

從結果可以看出，Eric方法和本文提出的方法融合效果要優(yōu)于主分量變換法和相關系數(shù)法。通過人眼觀察也可以看出，圖2中采用Eric的融合方法和本文方法的兩幅圖像融合效果近似，而從色彩和圖像細節(jié)上均優(yōu)于主分量變換法和相關系數(shù)法；圖像3中采用主分量變換法和相關系數(shù)法得到的融合圖像色彩失真較大，而Eric的方法局部有飽和現(xiàn)象，本文提出的方法得到的圖像效果要優(yōu)于上述三種方法得到的圖像。該觀察結果同客觀評價方法得出的結論相同，因此可以看出本文提出的方法具有一定的實用價值。

5 結論

為了實現(xiàn)彩色圖像和近紅外圖像的融合，得到成像更為清晰的彩色圖像，提出一種基于雙邊濾波的多尺度圖像融合算法。本文算法同Eric采用的雙邊濾波融合算法相比，簡化了核函數(shù)的形式，在融合過程中，采用了一種自適應的融合系數(shù)選擇法；在融合系數(shù)選擇上沒有單純的對某一對參與融合的像素進行考慮，而是把采用融合的像素對的鄰域進行綜合考慮，選取融合系數(shù)，有效地避免把噪聲帶人融合圖像。

實驗結果表明，本文提出的融合方法能夠提高彩色圖像的清晰度，且運算時間要少于Eric的方法，有一定應用價值。

[1]趙鵬，王霓虹，浦昭邦.基于多尺度形態(tài)學濾波器的圖像融合新方法[J].光學技術，2006，32（S）：207-211.

[2]Zhang Z，Blum R S.A categorization of multiscale-decomposition-based image fusion schemes[J].Proc of the IEEE，1999，87（8）：1315-1326.

[3]李燕，劉斌.采用梅花采樣方向濾波器組的多光譜圖像融合[J].計算機工程與應用，2012，48（5）：183-185.

[4]彭啟民，賈云得.基于小波變換的全向圖像分辨率增強方法[J].電子學報，2004，32（11）：1875-1879.

[5]晁銳，張科，李言俊.一種基于小波變換的圖像融合算法[J].電子學報，2004，32（5）：157-159.

[6]Candes E J，Donoho D L.Curvelets and curvilinear integrals[J].Joural of Approximation Theory，2001，113：59-62.

[7]楊建惠，白超.átrous小波-NSCT遙感圖像融合[J].計算機工程與應用，2013，49（5）：170-173.

[8]許開宇，李雙一.基于小波變換的圖像融合算法的實現(xiàn)[J].紅外技術，2007，29（8）：455-458.

[9]趙澄東，王旭輝，楊靜宇.一種基于改進的概率圖像融合方法[J].計算機工程與應用，2012，48（8）：182-184.

[10]胡燕翔，萬莉.大動態(tài)范圍多曝光圖像融合方法[J].計算機工程與應用，2014，50（1）：153-155.

[11]Tomasi C，Manduchi R.Bilateral filtering for gray and color image[C/OL].（1998）[2012-12-01].http：//ieeexplore.ieee.org/stamp/.

[12]Petschnigg G，Agrawala M.Digital photography with flash and no-flash pairs[J].ACM Trans on Graph，2004，23（3）：661-669.

[13]Eric P，John L，Leonard M.Multispectral bilateral video fusion[J].IEEE Trans on Image Proc，2007，16（5）：1185-1194.

[14]Durand F，Dorsey J.Fast bilateral filtering for the display of high-dynamic range images[J].ACM Trans on Graph，2002，21（3）：257-266.

[15]郭雷，李暉暉，鮑永生.圖像融合[M].北京：中國電子工業(yè)出版社，2008：53-54.