沈鄭燕

基于移不變形態(tài)中點(diǎn)小波的多聚焦圖像融合

沈鄭燕

為解決不同聚焦深度下多幅圖像的信息融合問題，提出一種變換域處理方法。首先基于非線性的中點(diǎn)濾波器，以非抽樣方式構(gòu)造出具有移不變性的形態(tài)中點(diǎn)小波變換。然后對(duì)形態(tài)中點(diǎn)小波變換進(jìn)行提升，從而改善算法性能。最后，利用提升后的形態(tài)中點(diǎn)小波分解待融合圖像，選取合適的融合規(guī)則處理變換域系數(shù)，通過反變換重構(gòu)得到融合后的圖像。計(jì)算機(jī)仿真實(shí)驗(yàn)表明，移不變形態(tài)中點(diǎn)小波多分辨率分析方法能有效融合多聚焦圖像，與傳統(tǒng)線性小波變換或其他較流行的小波變換相比，得到的整個(gè)場(chǎng)景更加完整清晰。

圖像融合是圖像處理技術(shù)的研究熱點(diǎn)之一，在刑事偵查、物證檢驗(yàn)分析等公安工作中發(fā)揮著巨大作用。其中，多聚焦圖像融合的處理對(duì)象來自于同一個(gè)傳感器，往往以消除圖像中不同聚焦深度下的圖像模糊為目的，因此如何更好地保持多聚焦圖像的細(xì)節(jié)成為融合問題的關(guān)鍵。小波分析是一種多分辨率分析方法，具有良好的時(shí)頻局部性和稀疏性，能夠捕捉細(xì)微的、非平穩(wěn)的信號(hào)特征，這有利于實(shí)現(xiàn)多聚焦圖像融合。特別是在第二代小波變換出現(xiàn)后，提升框架降低了小波變換的復(fù)雜度，使通過構(gòu)造新的小波變換解決圖像處理問題的可行性大大提高。然而，傳統(tǒng)的小波變換從數(shù)學(xué)實(shí)現(xiàn)上講仍是一種各向同性的線性變換，在保持圖像的邊緣細(xì)節(jié)信息方面具有局限性。近年來的許多研究對(duì)此進(jìn)行改進(jìn)，一部分研究成果集中在小波變換的方向性擴(kuò)展上，利用各向異性的尺度關(guān)系逼近圖像細(xì)節(jié)，實(shí)現(xiàn)多方向的二維小波（如曲波、輪廓波等）；另一部分研究成果主要對(duì)小波框架進(jìn)行非線性擴(kuò)展，其中，Heijmans和Goutsias提出的結(jié)合形態(tài)學(xué)濾波器構(gòu)建形態(tài)小波分析方案最具有代表性。這些新的多分辨率分析理論在信號(hào)處理領(lǐng)域得到了廣泛的認(rèn)可，并成功應(yīng)用于圖像融合。由于形態(tài)小波變換運(yùn)算簡(jiǎn)單高效、分析圖像結(jié)構(gòu)能力強(qiáng)，本文利用其進(jìn)行多聚焦圖像融合。但是，經(jīng)典的形態(tài)小波分析方法不具有平移不變性，受分解層數(shù)、數(shù)據(jù)量化等的影響，處理后的圖像往往存在明顯的塊狀效應(yīng)，而常用的形態(tài)Haar小波也不具有普適性，處理效果有時(shí)不盡如人意，因此，本文基于中點(diǎn)濾波器，構(gòu)造出一種具有移不變性的形態(tài)中點(diǎn)小波變換，探討其在多聚焦圖像融合中的應(yīng)用價(jià)值。

形態(tài)中點(diǎn)小波的構(gòu)造

移不變形態(tài)中點(diǎn)小波

形態(tài)小波分析是一種極具兼容性的小波分析框架，在考慮數(shù)學(xué)形態(tài)學(xué)特點(diǎn)的同時(shí)，保留了小波變換多分辨率分析的優(yōu)勢(shì)，是對(duì)傳統(tǒng)小波分析的非線性擴(kuò)展。在完備重構(gòu)條件的約束下，以灰度圖像f為例，通過非抽樣方式構(gòu)造形態(tài)中點(diǎn)小波。首先定義中點(diǎn)濾波算子如下：

則形態(tài)中點(diǎn)小波的信號(hào)分析算子?↑和細(xì)節(jié)分析算子ù↑有如式（2）所示的形式，其中ωh，ωv，ωd分別對(duì)應(yīng)水平、垂直和對(duì)角方向的細(xì)節(jié)信號(hào)。圖像f經(jīng)過移不變形態(tài)中點(diǎn)小波分解后，得到一個(gè)低頻分量和三個(gè)方向上的高頻分量，由于采用非抽樣分解，每個(gè)分量的數(shù)據(jù)量與原圖像相同。相應(yīng)的信號(hào)合成算子ψ↓和細(xì)節(jié)合成算子ω↓如式（3）所示。

由此，式（1）－（3）就確定了移不變形態(tài)中點(diǎn)小波分析方案。非抽樣方式可以提高形態(tài)中點(diǎn)小波變換的冗余度，使變換具有移不變性，避免圖像處理后出現(xiàn)塊狀效應(yīng)。為了進(jìn)一步驗(yàn)證，分別用抽樣形態(tài)中點(diǎn)小波（MMW）和非抽樣的移不變形態(tài)中點(diǎn)小波（SIMMW）對(duì)一幅測(cè)試圖像進(jìn)行分析，不同分解層上尺度信號(hào)的重構(gòu)結(jié)果如圖1所示。從圖1可以看出，MMW由于不具有移不變性，尺度信號(hào)的重構(gòu)結(jié)果出現(xiàn)塊狀效應(yīng)，而且隨著分解層數(shù)的增加，粗尺度空間的塊狀效應(yīng)會(huì)越來越明顯；相比之下，SIMMW具有移不變性，不同尺度的信號(hào)重構(gòu)都有效避免了塊狀效應(yīng)的產(chǎn)生，這對(duì)于圖像融合處理有重要意義。

移不變形態(tài)中點(diǎn)小波的提升

圖1 形態(tài)中點(diǎn)小波分析的移不變性比較

得到基本的SIMMW后，考慮對(duì)其進(jìn)行提升，通過提升得到新的形態(tài)中點(diǎn)小波分析方案，進(jìn)一步改善處理性能。形態(tài)小波的提升一般分為兩種方式：預(yù)測(cè)提升和更新提升。預(yù)測(cè)提升改變?cè)行螒B(tài)小波的細(xì)節(jié)分析算子和信號(hào)合成算子；而更新提升改變?cè)行〔ǖ男盘?hào)分析算子和細(xì)節(jié)合成算子。本文考慮使用更新提升方法，結(jié)合每一分解層的細(xì)節(jié)信息改變尺度信號(hào)，從而進(jìn)一步提高算法的細(xì)節(jié)保持能力，改善圖像融合效果，具體的更新算子為：

則基于更新提升格式的信號(hào)分析及細(xì)節(jié)分析算子表示為：

信號(hào)合成及細(xì)節(jié)合成算子表示為：

由此，便得到了本文用于多聚焦圖像融合的提升格式移不變形態(tài)中點(diǎn)小波（LSIMMW），經(jīng)過提升后，圖像分解過程中的低頻細(xì)節(jié)保持能力得到了一定程度的提高，如圖2所示。

多聚焦圖像融合

利用本文提出的移不變形態(tài)中點(diǎn)小波進(jìn)行的圖像融合屬于像素級(jí)融合，主要步驟基本與傳統(tǒng)線性小波圖像融合相同，具體步驟描述如下：

（1）圖像信號(hào)的延拓。由于使用非抽樣方式構(gòu)造形態(tài)小波變換，為了保持信號(hào)分解和重構(gòu)過程中的數(shù)據(jù)量，需要對(duì)待融合圖像信號(hào)進(jìn)行延拓，在基本的信號(hào)延拓方式中，選擇對(duì)稱延拓，若分解L層，則延拓2L?1位；

（2）待融合圖像的分解。使用SIMMW或LSIMMW分別對(duì)N幅待融合圖像進(jìn)行L層分解，得到N個(gè)低頻分量和3＊L＊N個(gè)高頻分量；

圖2 更新提升前后的圖像分解比較

（3）系數(shù)融合處理。選取合適的融合規(guī)則對(duì)分解后的形態(tài)小波系數(shù)進(jìn)行融合處理，其中N個(gè)低頻分量的系數(shù)對(duì)應(yīng)取平均，3 ＊ L＊N個(gè)高頻分量取對(duì)應(yīng)位置上系數(shù)的最大絕對(duì)值，從而得到融合圖像的小波系數(shù)；

（4）融合圖像的重構(gòu)。將融合后的系數(shù)進(jìn)行L層SIMMW或LSIMMW合成，得到最終的融合結(jié)果。

為了驗(yàn)證移不變形態(tài)中點(diǎn)小波融合算法的有效性，需要對(duì)融合結(jié)果進(jìn)行評(píng)價(jià)。通常根據(jù)觀察者的主觀感受即可分辨出融合算法的效果，但結(jié)合客觀指標(biāo)來評(píng)價(jià)更有意義，有利于進(jìn)一步的圖像分析。一般可使用標(biāo)準(zhǔn)差、平均梯度和信息熵對(duì)融合結(jié)果進(jìn)行客觀評(píng)價(jià)。標(biāo)準(zhǔn)差、平均梯度和信息熵分別反映圖像的對(duì)比度、清晰度和攜帶的信息量。這三個(gè)指標(biāo)的數(shù)值越大，融合圖像的對(duì)比度和清晰度越高，所含信息量越多，融合效果越好。

實(shí)驗(yàn)結(jié)果與分析

對(duì)兩幅典型的多聚焦圖像進(jìn)行融合實(shí)驗(yàn)，待融合圖像如圖3（a）和圖3（b）所示，圖像大小512′512，由于聚焦深度不同，一幅圖像前景物體清楚，背景物體模糊，另一幅則相反?，F(xiàn)使用sym4線性小波（LW）、二代曲波（SC）、本文提出的SIMMW和LSIMMW分別對(duì)這兩幅圖像進(jìn)行融合處理，從而得到完整清晰的場(chǎng)景。融合過程中，小波分解層數(shù)都為5層，融合規(guī)則都是低頻系數(shù)對(duì)應(yīng)取平均，高頻系數(shù)對(duì)應(yīng)取最大絕對(duì)值，四種方法得到的融合結(jié)果分別如圖3（c）－圖3（f）所示。通過觀察對(duì)比可知，四種方法都有效融合了兩幅圖像，前景物體和背景物體都清晰可見，其中，本文的SIMMW和LSIMMW融合方法都沒有出現(xiàn)塊狀效應(yīng)，LSIMMW融合的整體效果最好。四種方法融合結(jié)果的局部放大圖如圖4所示，LW融合后，圖像存在振鈴現(xiàn)象，細(xì)節(jié)信息受到干擾，SC和SIMMW融合效果較好，而LSIMMW融合的清晰度和對(duì)比度更高。

圖3 圖像融合效果比較

圖4 融合圖像的局部放大效果比較

圖5 標(biāo)準(zhǔn)差、平均梯度和信息熵隨分解層數(shù)的變化

下面分別統(tǒng)計(jì)圖3中各圖像的標(biāo)準(zhǔn)差、平均梯度和信息熵，對(duì)融合方法進(jìn)行客觀評(píng)價(jià)，統(tǒng)計(jì)結(jié)果列于表1中。表中數(shù)據(jù)再次證明了四種方法的有效性，融合后圖像的三種指標(biāo)較待融合圖像都有所提高，從具體數(shù)值上來看，SC融合方法雖然與LW融合方法接近，但其視覺效果更勝一籌，本文的SIMMW和LSIMMW方法則表現(xiàn)更好，由于采用提升格式進(jìn)行細(xì)節(jié)保持，LSIMMW融合方法所得結(jié)果的信息熵尤為突出。另外，考慮到小波分解層數(shù)對(duì)融合效果有一定影響，故統(tǒng)計(jì)不同分解層數(shù)下，表1中數(shù)據(jù)的變化趨勢(shì)并進(jìn)行比較，得到圖5。圖5中，LW和SW融合方法所得融合結(jié)果的標(biāo)準(zhǔn)差、平均梯度和信息熵都隨著分解層數(shù)的增加而增大，而且逐步趨于平穩(wěn)，融合圖像的效果也逐漸穩(wěn)定，幾乎沒有變化。本文的SIMMW和LSIMMW融合方法所得融合結(jié)果，平均梯度隨分解層數(shù)增加而平穩(wěn)增大，標(biāo)準(zhǔn)差從第6層開始增速提高，而信息熵卻急劇減小，通過觀察融合圖像，第6層之后融合圖像的視覺效果越來越差。因此，本文所提融合算法要注意分解層數(shù)的選擇。

表1 圖像融合效果的客觀比較

結(jié)語

在形態(tài)小波框架下，基于中點(diǎn)濾波器構(gòu)造出具有移不變性的形態(tài)中點(diǎn)小波變換，通過提升改善其信號(hào)處理的性能并應(yīng)用于多聚焦圖像融合，在有效融合整個(gè)場(chǎng)景的同時(shí)盡可能的保留了圖像細(xì)節(jié)，且沒有出現(xiàn)塊狀效應(yīng)。與傳統(tǒng)線性小波變換和較流行的曲波變換相比，本文提出的移不變形態(tài)中點(diǎn)小波變換在多聚焦圖像融合中更具優(yōu)勢(shì)，視覺效果良好。

然而，本文的融合方法還有很大的提升空間，首先，由于采用非抽樣方式獲取移不變性，其代價(jià)是信號(hào)處理中的數(shù)據(jù)量有所增加，因此，進(jìn)一步的工作可以嘗試數(shù)據(jù)量的壓縮和算法簡(jiǎn)化；在融合規(guī)則和分解層數(shù)的選擇上，可以利用一些自適應(yīng)的選擇方法；另外，還可以考慮使用其他濾波器或其他提升運(yùn)算，從而構(gòu)造出性能更好的非線性形態(tài)小波變換。

沈鄭燕

河南警察學(xué)院刑事科學(xué)技術(shù)系

沈鄭燕，女，博士，河南警察學(xué)院講師，主要研究方向?yàn)樾淌聢D像處理和語音信號(hào)處理。

河南省教育廳科學(xué)技術(shù)研究重點(diǎn)項(xiàng)目（14A620003）資助

10.3969/j.issn.1001-8972.2016.09.024