楊秀林，陳 曦，曹 科，秦國瑾

（四川九洲北斗導(dǎo)航與位置服務(wù)有限公司技術(shù)中心，成都 610000）

圖像融合是通過某種融合系統(tǒng)，將2 個(gè)或多個(gè)互補(bǔ)的波段、傳感器的有用信息綜合成統(tǒng)一圖像或綜合圖像特征以供觀察或進(jìn)一步處理，達(dá)到對目標(biāo)或場景更為精確、全面的識別、分析和判決的圖像處理方法。

目前圖像融合的熱點(diǎn)主要是基于多尺度變換的融合[1-3]，其通過多尺度分解得到圖像的低頻信息，并提取圖像在多個(gè)尺度上的細(xì)節(jié)（高頻）信息。基于多尺度變換圖像融合主要是采用小波、超小波、形態(tài)小波等進(jìn)行變換，針對低頻信息、高頻信息表示的不同物理意義，分別進(jìn)行融合。

目前，非抽樣形態(tài)小波在一維信號特征提取中很普遍，例如，文獻(xiàn)[4]將其用于主減速器振動(dòng)特征提取，文獻(xiàn)[5]將其用于輪對軸承復(fù)合故障信號檢測，文獻(xiàn)[6]結(jié)合形態(tài)非抽樣小波與DCT 高階奇異熵來提取液壓泵退化特征信號。近年來，基于非抽樣形態(tài)小波的圖像融合研究也取得了一定的研究成果，例如，文獻(xiàn)[7]將非抽樣形態(tài)小波變換應(yīng)用于圖像融合，并提出了將膨脹腐蝕的平均作為分析算子，但是顯著目標(biāo)附近出現(xiàn)了邊緣增厚的現(xiàn)象。文獻(xiàn)[8]提出了一種S-變換的非抽樣形態(tài)小波并用于多種類型的圖像融合，該形態(tài)小波是二維四通道的，通過增加通道和引入增強(qiáng)效果，提高圖像融合效果。非抽樣形態(tài)小波從一維信號特征提取拓展到圖像處理應(yīng)用，從雙通道拓展到多通道，特征提取能力逐步增強(qiáng)。

1 相關(guān)研究

1.1 形態(tài)學(xué)圖像處理

在生物學(xué)中，形態(tài)學(xué)[9-10]常用來研究動(dòng)、植物形態(tài)和結(jié)構(gòu)，已形成了一個(gè)較完善的學(xué)科；在數(shù)字圖像處理中，形態(tài)學(xué)被用來提取可表達(dá)某種區(qū)域形狀（連通分量、邊界、骨架等）的圖像分量。數(shù)學(xué)形態(tài)學(xué)中，圖像被看作是一個(gè)大的集合，圖像中不同的對象被看作是小的集合，形態(tài)學(xué)就是采用不同的形態(tài)算子提取對圖像處理有用的集合。

膨脹和腐蝕在形態(tài)學(xué)中簡單而重要，因?yàn)槠渌乃阕佣际窃谄浠A(chǔ)上變化而來。設(shè)A和B是z2 中的集合，A被B膨脹定義為

式中：先對B取補(bǔ)運(yùn)算，并保證B的補(bǔ)集中至少有一個(gè)值是屬于A的，以z進(jìn)行位移，所有位移后的值就是A被B膨脹的結(jié)果。B被稱為結(jié)構(gòu)元素，其尺寸與形狀具有重要的物理含義，可針對不同的圖像處理任務(wù)來選擇合適的結(jié)構(gòu)元素，常使用方形的結(jié)構(gòu)元素、圓盤的結(jié)構(gòu)元素和鉆石形的結(jié)構(gòu)元素等。集合B腐蝕集合A的定義為

式中：點(diǎn)z是B中包含于A中的點(diǎn)之一，平移所有這樣的z點(diǎn)得到的值就是腐蝕的結(jié)果。A腐蝕B結(jié)果的補(bǔ)集等于A的補(bǔ)集膨脹B的反射，如下所示

開運(yùn)算和閉運(yùn)算被膨脹運(yùn)算和腐蝕運(yùn)算的組合所定義。在處理過程中，圖像中的對象往往被膨脹運(yùn)算所擴(kuò)大，圖像中的對象往往被腐蝕運(yùn)算所侵蝕縮小。圖像中狹窄的間斷和細(xì)的突出物往往被開運(yùn)算所斷開和消除，所得的輪廓變得平滑；狹窄的間斷、細(xì)長的鴻溝、小的空洞往往會被閉運(yùn)算所消除，輪廓線中的斷裂往往會被閉運(yùn)算所填補(bǔ)，輪廓線變得更加光滑。開運(yùn)算和閉運(yùn)算的結(jié)果都讓圖像的輪廓變得平滑，但意義和效果不一樣。開運(yùn)算定義為

開運(yùn)算就是B先腐蝕后膨脹A，閉運(yùn)算就是B先膨脹后腐蝕A，閉運(yùn)算定義為

與二值圖像處理相比，灰度圖像的處理更加普遍?，F(xiàn)在介紹灰度圖像的形態(tài)學(xué)處理。假設(shè)f（x，y）是輸入圖像，b（x，y）是結(jié)構(gòu)元素，它們都是離散的表達(dá)形式，圖像f的灰度級是整數(shù)且是以二維坐標(biāo)（x，y）的灰度值函數(shù)。結(jié)構(gòu)元素b膨脹灰度圖像f定義為

Df是輸入圖像f的定義域，Db是結(jié)構(gòu)元素b的定義域。位移量x和y必須在結(jié)構(gòu)元素b的定義域內(nèi)，（s-x）和（t-y）必須在f的定義域內(nèi)?；叶扰蛎浭褂米畲笾颠\(yùn)算來取代二維卷積的求和運(yùn)算，使用加法運(yùn)算來取代二維卷積的乘積運(yùn)算?；叶雀g定義為

類似地，位移量x和y必須在b的定義域內(nèi)，（s+x）和（t+y）必須在f的定義域內(nèi)?；叶雀g使用“最小值”運(yùn)算來替代灰度膨脹的“最大值”運(yùn)算，使用減法運(yùn)算來替代加法運(yùn)算?；叶扰蛎浐透g比二維卷積運(yùn)算計(jì)算速度快?；叶葓D像的膨脹運(yùn)算和腐蝕運(yùn)算也是關(guān)于函數(shù)求補(bǔ)和映射相關(guān)相互對偶的。

灰度開運(yùn)算定義為

灰度閉運(yùn)算定義為

灰度開運(yùn)算和閉運(yùn)算同樣是關(guān)于函數(shù)求補(bǔ)和映射相關(guān)對偶的，關(guān)系為

圖像處理中，灰度開運(yùn)算先灰度腐蝕后灰度膨脹，灰度腐蝕去除了微小的圖像細(xì)節(jié)使其有所變暗；灰度膨脹使圖像整體亮度增強(qiáng)，但是灰度腐蝕去除的細(xì)節(jié)不被再引入了?；叶乳]運(yùn)算先灰度膨脹后灰度腐蝕，灰度膨脹去除了圖像中的暗細(xì)節(jié)并使其亮度增強(qiáng)；灰度腐蝕不會使去除的信息再引入?；叶乳_運(yùn)算常用來去除小而亮的圖像細(xì)節(jié)并保持整體灰度級和明亮區(qū)域相對不變?；叶乳]運(yùn)算常用來去除圖像中較小而暗的細(xì)節(jié)并保持明亮部分相對不變。

1.2 高帽變換

1.1 節(jié)中依次介紹了二值形態(tài)學(xué)、灰度形態(tài)學(xué)的基本操作：膨脹、腐蝕、開運(yùn)算和閉運(yùn)算。開運(yùn)算和閉運(yùn)算被膨脹和腐蝕的組合操作所定義，高帽變換被開運(yùn)算和閉運(yùn)算所定義。高帽（Top Hat） 變換包括白帽（White Hat）變換和黑帽（Black Hat）變換。假設(shè)灰度圖像和結(jié)構(gòu)元素分別為A和B，白帽變換和黑帽變換定義為

由式（11）、（12）可以看出，白帽變換是由原圖與經(jīng)過開運(yùn)算結(jié)果的差值運(yùn)算得來的，黑帽變換是由原圖與經(jīng)過閉運(yùn)算結(jié)果的差值運(yùn)算得來的。開運(yùn)算或閉運(yùn)算不具有自對偶性。開運(yùn)算可以平滑圖像亮的特征，因此，白帽變換可以提取圖像的亮細(xì)節(jié)（尖峰信號）[11]；閉運(yùn)算可以平滑圖像暗的特征，因此，黑帽變換可以提取圖像的暗細(xì)節(jié)（低谷信號）[11]。如果在圖像處理中同時(shí)采用白帽變換和黑帽變換來提取不同的細(xì)節(jié)信號、進(jìn)行分別的處理，那么通過互補(bǔ)原理就可以對信號進(jìn)行更好的分析。

1.3 非抽樣形態(tài)小波的一般框架

與線性尺度空間相比，非線性尺度空間能更好地描述圖像的性質(zhì)，圖像被多尺度分解后依然能更好地保持邊緣等重要的物理特性。形態(tài)小波應(yīng)用于圖像融合雖然具有非線性、計(jì)算實(shí)現(xiàn)簡單的優(yōu)點(diǎn)，但是下采樣會產(chǎn)生吉布斯效應(yīng)，通常只分解1 層，分解2 層以上均不能取得好地融合效果。文獻(xiàn)[12]提出了一種構(gòu)造非抽樣形態(tài)小波的基本方法并定義為

式中：id為等同算子，φj為第j個(gè)尺度上的尺度分析算子，ωj是第j個(gè)尺度的細(xì)節(jié)分析算子；ψj是第j個(gè)尺度上的綜合算子。使用T（）來表示形態(tài)學(xué)算子，可根據(jù)實(shí)際需求選擇基本算子或組合使用某些算子。在這個(gè)框架下，研究者提出了多種非抽樣形態(tài)小波的構(gòu)造方法，例如，文獻(xiàn)[4]在主減速器振動(dòng)特征提取過程中，采用開閉級聯(lián)的分析算子來構(gòu)造UMW，分析算子為

式中：n為信號分解的尺度，尺度j+1 上的低頻信號yj+1 等于分別對尺度j上的信號xj進(jìn)行開運(yùn)算和閉運(yùn)算所得結(jié)果的平均，尺度j+1 上的細(xì)節(jié)信號yj+1等于xj與xj+1兩者之差。由于開運(yùn)算和閉運(yùn)算具有冪等性，研究中采用了大小隨尺度遞增的結(jié)構(gòu)元素，Bn的定義為

文獻(xiàn)[8]提出了采用膨脹與腐蝕的平均作為分析算子，記為DE-UMW，并用于圖像融合，獲得了不錯(cuò)的融合效果，如式（16）所示

式中：n為信號分解的尺度，尺度j+1 上的低頻信號xj+1等于分別對尺度j上的信號xj進(jìn)行膨脹和腐蝕所得結(jié)果的平均，尺度j+1 上的細(xì)節(jié)信號yj+1等于xj與xj+1兩者之差。為了增大尺度之間的差異性，該文中也采用了大小隨尺度遞增的結(jié)構(gòu)元素。由上面的討論可以知道，非抽樣形態(tài)小波的框架比較簡單，有優(yōu)良的尺度特性和非?？斓姆纸夂椭貥?gòu)速度，在圖像融合方面具有潛在的優(yōu)勢。

2 基于非抽樣形態(tài)小波的圖像融合方法

2.1 三通道的形態(tài)非抽樣小波

由前面的知識可以知道，UMW 實(shí)際上是用數(shù)學(xué)形態(tài)學(xué)算子構(gòu)成的非線性濾波器T（）來替代不可分離àtrous小波變換中的低通濾波器hi，和àtrous 小波一樣是二維雙通道的。UMW 變換和反變換的流程圖如圖1 所示。

圖1 UMW 變換與反變換過程

在圖像融合中，采用DE-UMW 取得的融合效果較好，但是其不能很好地滿足形態(tài)學(xué)尺度空間的局部極值保持和縮減的空間屬性[8]。本文仔細(xì)分析了UMW 的表達(dá)形式，從另外一個(gè)角度來構(gòu)造新的UMW。DEUMW 方法采用腐蝕與膨脹的平均作為UMW 的分析算子，如公式（17）—（19）所示。

公式（17）表示尺度j+1 上的低頻圖像，式（18）表示尺度j+1 上的細(xì)節(jié)圖像，式（19）表示由低頻圖像和細(xì)節(jié)圖像重構(gòu)回上一個(gè)尺度的圖像?？梢钥闯?，細(xì)節(jié)圖像中的系數(shù)相當(dāng)于某種意義上的梯度算子，即一種導(dǎo)數(shù)方向可以自適應(yīng)改變的二階導(dǎo)數(shù)。這種自適應(yīng)改變的梯度使輸入圖像中灰度級的階躍變得更為劇烈，這與提高融合圖像與源圖像的相似程度是不相符的。因此，本節(jié)將細(xì)節(jié)信號中的二階梯度進(jìn)行拆分，分解為2 個(gè)一階的梯度，該方法記為DE-3CUMW，如公式（20）—（23）所示。

式中：低頻圖像較DE-UMW 方法沒有任何改變，如公式（20）所示。細(xì)節(jié)信號分解為某種程度上的一階梯度的形式，如公式（21）、（22）所示。顯然，一階梯度不會使輸入圖像的灰度階躍像二階梯度那樣劇烈。公式（23）將低頻圖像和細(xì)節(jié)圖像重構(gòu)回上一個(gè)尺度的圖像。

本節(jié)給出了3CUMW 分解與重構(gòu)過程如圖2 所示，采用了3 個(gè)分析濾波器T、T1 和T2，增加了1 個(gè)通道的存儲空間，且較UMW 方法增加了1 次加法、1 次減法和1 次除法運(yùn)算。

圖2 三通道的非抽樣形態(tài)小波變換分解與重構(gòu)過程

如果采用開閉運(yùn)算的平均作為非抽樣形態(tài)小波的分析算子，記為OC-UMW，將其拓展為三通道的非抽樣形態(tài)小波，記為OC-3CUMW，如公式（24）—（27）所示。

注意，公式（25）是多尺度白帽變換，公式（26）是多尺度黑帽變換。同樣，低頻圖像和原來一樣。細(xì)節(jié)圖像分解為2 個(gè)細(xì)節(jié)圖像：由白帽變換提取的亮細(xì)節(jié)（尖峰信號）圖像；由黑帽變換提取的暗細(xì)節(jié)（低谷信號）圖像。細(xì)節(jié)圖像中既有亮細(xì)節(jié)又有暗細(xì)節(jié)，在融合時(shí)就更有針對性了。因?yàn)榻Y(jié)構(gòu)元素對增強(qiáng)陰影的細(xì)節(jié)很有用處[10]，所以O(shè)C-3CUMW 采用圓形的結(jié)構(gòu)元素。

2.2 實(shí)驗(yàn)步驟

本節(jié)將DE-3CUMW 和OC-3CUMW 兩種方法應(yīng)用于圖像融合，并與DE-UMW 和OC-UMW 進(jìn)行對比，使用1 組紅外線和微光圖像，1 組多聚焦圖像和1組不同季節(jié)的遙感圖像進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)過程如下：第一步分解源圖像，得到相應(yīng)的低頻圖像和各個(gè)尺度上的細(xì)節(jié)圖像；第二步融合系數(shù)，將分解所得的低頻加權(quán)平均，所得的高頻選擇絕對值較大的系數(shù)；第三步反變換，將融合后的低頻系數(shù)與高頻系數(shù)進(jìn)行UMW 反變換以獲得融合圖像。為了進(jìn)行公平的比較，除3CUMW 分解2 層外，各種方法都采用5 層分解；OC-3CUMW 使用圓形的結(jié)構(gòu)元素，其他方法使用方形的結(jié)構(gòu)元素，所有的結(jié)構(gòu)元素遞增以增加各個(gè)尺度之間的差異。

3 實(shí)驗(yàn)及分析

本節(jié)使用信息熵EN、互信息MI、平均梯度AvG、邊緣保持度Qabf 和結(jié)構(gòu)相似度SSIM[9]等客觀指標(biāo)來評價(jià)融合圖像。

3.1 紅外可見光圖像融合

本節(jié)使用一組像素為632×496 的紅外和可見光圖像，源圖像和各方法的融合結(jié)果如圖3 所示。圖3（a）是紅外圖像，圖3（b）是可見光圖像。圖3（c）中的顯著目標(biāo)出現(xiàn)了邊緣增厚的現(xiàn)象，圖3（d）情況類似；圖3（f）較圖3（e）更清晰，視覺效果更好。

圖3 紅外可見光圖像融合結(jié)果

與各方法的融合結(jié)果相對應(yīng)的評價(jià)指標(biāo)見表1。

表1 紅外與可見光圖像的融合客觀評價(jià)指標(biāo)

計(jì)算表1 所得的數(shù)據(jù)發(fā)現(xiàn)，DE-3CUMW 比DEUMW 的平均梯度下降13.7%，信息熵增加了，度量圖像相似度的MI、Qabf 和SSIM 相應(yīng)增加了。較OCUMW 方法，OC-3CUMW 方法的融合圖像平均梯度降低了4%，信息熵有所增加，度量圖像相似度的MI、Qabf 和SSIM 相應(yīng)增加了。DE-3CUMW 方法有3 個(gè)指標(biāo)優(yōu)于OC-3CUMW，但存在邊緣增厚的現(xiàn)象。綜上所述，OC-3CUMW 的融合效果綜合評價(jià)更好。

3.2 多聚焦圖像融合

本節(jié)使用一組像素為512×512 的多聚焦圖像，源圖像和各方法的融合結(jié)果如圖4 所示，圖4（a）是左聚焦圖像，圖3（b）是右聚焦圖像。圖4（c）中的顯著目標(biāo)出現(xiàn)了邊緣增厚的現(xiàn)象，圖4（d）情況類似；圖4（f）較圖3（e）更清晰，視覺效果更好。

圖4 多聚焦圖像的融合結(jié)果

與各方法的融合結(jié)果相對應(yīng)的評價(jià)指標(biāo)見表2。

表2 多聚焦圖像的融合客觀評價(jià)指標(biāo)

同樣，由表2 的數(shù)據(jù)計(jì)算，DE-3CUMW 比DEUMW 的平均梯度降低了12%，信息熵有所降低，度量圖像相似度的MI、Qabf 和SSIM 相應(yīng)增加了。較OCUMW 方法，OC-3CUMW 方法的融合圖像平均梯度降低了5.8%，信息熵有所降低，度量圖像相似度的MI、Qabf 和SSIM 相應(yīng)增加了。OC-3CUMW 方法有4 個(gè)指標(biāo)優(yōu)于DE-3CUMW，OC-3CUMW 的融合效果綜合評價(jià)最好。

3.3 遙感圖像融合

本節(jié)使用一組像素為512×512 的某地區(qū)不同季節(jié)的遙感圖像，源圖像和各方法的融合結(jié)果相應(yīng)的評價(jià)指標(biāo)見表3，而融合結(jié)果如圖5 所示。

表3 遙感圖像的融合客觀評價(jià)指標(biāo)

圖5 遙感圖像的融合結(jié)果

類似地，由表3 可以看出，3CUMW 方法的融合圖像平均梯度比UMW 方法相應(yīng)減少了，信息熵有所增加，度量圖像相似度的MI、Qabf、SSIM 相應(yīng)增加了。OC-3CUMW 方法有5 個(gè)指標(biāo)優(yōu)于DE-3CUMW，OC-3CUMW 的融合效果綜合評價(jià)最好。

綜上所述，DE-3CUMW 與DE-UMW 進(jìn)行比較，OC-3CUMW 與OC-UMW 進(jìn)行比較得出以下結(jié)論：①由于通道的擴(kuò)展，需要的存儲空間增多；②DE-3CUMW 將二階的細(xì)節(jié)形式拆為2 個(gè)一階的形式，降低了融合圖像的平均梯度；③融合圖像與源圖像更加相似且融合效果更佳；④OC-3CUMW 的融合效果最好；⑤三通道的非抽樣形態(tài)小波適合多種類型的圖像融合應(yīng)用，且計(jì)算簡單可以用于實(shí)時(shí)圖像融合。

4 結(jié)束語

本文提出一種三通道的非抽樣形態(tài)小波的構(gòu)造方法，并應(yīng)用于圖像融合。通過紅外與可見光圖像、多聚焦圖像、遙感圖像的圖像融合實(shí)驗(yàn)，證明了該方法的有效性。目前，低頻信息融合、高頻信息融合采用取均值的方法，研究基于三通道非抽樣形態(tài)小波變換下低頻信息、高頻信息的融合策略將是下一步目標(biāo)。