袁金樓，吳 謹(jǐn)，劉 勁

?

基于NSCT與DWT的壓縮感知圖像融合

袁金樓，吳 謹(jǐn)，劉 勁

（武漢科技大學(xué) 信息科學(xué)與工程學(xué)院，湖北 武漢 430081）

針對基于非下采樣輪廓波變換（NSCT）的壓縮感知圖像融合算法，存在融合圖像局部細(xì)節(jié)信息表達不足的問題，提出一種基于NSCT與離散小波變換（DWT）的壓縮感知圖像融合算法。首先，對圖像進行NSCT變換，得到低頻系數(shù)和高頻系數(shù)；然后，對高頻系數(shù)進行壓縮融合，并通過重構(gòu)算法恢復(fù)融合的高頻系數(shù)；而對低頻系數(shù)，采取基于小波變換的融合方法；最后，對融合的高頻系數(shù)和低頻系數(shù)進行NSCT逆變換，得到最終的融合圖像。實驗結(jié)果表明：本文算法使融合圖像的質(zhì)量，在主觀和客觀方面都得到了明顯改善，最終的融合圖像具有更多的細(xì)節(jié)特征和更清晰的邊緣輪廓。

非下采樣輪廓波變換；小波變換；壓縮感知；圖像融合

0 引言

圖像融合（Image Fusion）[1-2]是指將多個傳感器獲取的同一場景的圖像進行融合，使融合后圖像有更加豐富的信息。該技術(shù)廣泛應(yīng)用于識別、軍事、醫(yī)學(xué)等領(lǐng)域。

通常在將圖像進行融合之前，需要先對圖像進行多分辨率分析。其中，DWT[3-4]和NSCT[5]是常用的兩種多分辨率圖像分析法。DWT是對基本小波的尺度和平移進行離散化，具有多尺度性和局部性，能較好地捕捉到圖像的局部細(xì)節(jié)信息。但DWT只能將圖像進行有限方向的分解，無法有效地提取圖像的邊緣輪廓信息。Cunha等人在輪廓波變換（CT）[6]的基礎(chǔ)上，去掉采樣操作，提出了NSCT。相對于小波變換，NSCT增添了各向異性和平移不變性，能夠分解出更多的方向信息。然而，NSCT捕捉細(xì)節(jié)的能力較弱，容易遺漏圖像的局部細(xì)節(jié)信息。

本文結(jié)合NSCT能將圖像進行多方向分解，以及DWT能有效提取圖像局部細(xì)節(jié)信息的優(yōu)點，對基于NSCT的壓縮感知圖像融合算法進行了改進，提出了一種基于NSCT與DWT的壓縮感知圖像融合算法，使融合后的圖像既能較好地保留原圖像的邊緣輪廓信息，又能較好地保留原圖像的局部細(xì)節(jié)信息。

1 圖像的NSCT變換

圖1 圖像NSCT分解

2 CS理論

壓縮感知（CS）[8]是由Donoho等人提出。該理論指出，對可壓縮信號，以遠小于Nyquist采樣率的標(biāo)準(zhǔn)來采集數(shù)據(jù)，然后通過非線性重構(gòu)算法，能夠恢復(fù)原信號。

假設(shè)一個實值有限長離散信號?R，可看作是一個×1維列向量，其中元素為[],＝1, 2, 3,…,。如果該信號是稀疏[9]的，那么就可以表示為公式(1)：

＝(1)

式中：是一個×的正交基，是一個僅含有個非零系數(shù)的×1維列向量，其中?。和是等價的，但屬于空間域或時間域，而屬于域。在CS理論中，沒有直接對進行度量和編碼，而是采取了壓縮測量，即下式：

＝＝＝(2)

式中：?R；是×的測量矩陣；＝是×的投影矩陣?？梢钥醋飨∈栊盘?；在投影矩陣下的測量值。

當(dāng)＜時，原信號的重構(gòu)成為一個求解欠定性方程組的問題。但當(dāng)投影矩陣滿足約束等距性（RIP）條件時，可將其轉(zhuǎn)化為1范數(shù)的最優(yōu)化求解問題，即下式：

CS的理論框架如圖2所示。

3 基于NSCT與DWT的壓縮感知圖像融合

基于NSCT與DWT的壓縮感知圖像融合算法流程圖如圖3所示。其主要思路是：首先，對原圖像進行NSCT變換。然后，對高頻系數(shù)進行壓縮融合，并通過重構(gòu)算法恢復(fù)融合的高頻系數(shù)。而對低頻系數(shù)，采取基于小波變換的融合方法。最后，對融合好的高低頻系數(shù)進行NSCT逆變換，得到最終的融合圖像。

圖3 基于NSCT與DWT的壓縮感知圖像融合算法流程圖

基于NSCT與DWT的壓縮感知圖像融合算法的具體步驟如下：

Step 1：對經(jīng)過配準(zhǔn)的尺寸為×的圖像1和圖像2分別進行NSCT變換，得到圖像1、2的低頻系數(shù)1(,)、2(,)以及高頻系數(shù)1(,)、2(,)，其中＝1, 2, …,，表示圖像進行NSCT分解的級數(shù)。

Step 2：生成大小為×的測量矩陣。

Step 3：用測量矩陣，對圖像1、2的高頻系數(shù)1(,)、2(,)分別進行采樣壓縮，結(jié)果如下式：

Step 4：對測量值1(,)和2(,)進行融合，得到融合后的測量值M(,)。

Step 5：對融合后的測量值M(,)進行重構(gòu)，得到融合的高頻系數(shù)D(,)。

Step 6：對低頻系數(shù)1(,)、2(,)，進行基于小波變換的融合，即：首先對低頻系數(shù)進行多層小波分解，得到高頻部分和低頻部分。然后按照一定的融合準(zhǔn)則，分別對高頻部分和低頻部分進行融合。最后對融合后的高頻部分和低頻部分進行小波逆變換，從而得到最終的融合低頻系數(shù)A(,)。

Step 7：對D(,)和A(,)進行NSCT逆變換，從而得到最終的融合圖像。

4 實驗結(jié)果及分析

本實驗分別采用基于DWT的壓縮感知圖像融合算法、基于NSCT的壓縮感知圖像融合算法和本文算法，對3類圖像進行融合，并將結(jié)果對比分析。

實驗中，基于DWT的壓縮感知圖像融合算法采用的小波基是“haar”，進行的是單層分解。NSCT采用的金字塔濾波器是“9-7”，方向濾波器是“pkva”，多尺度分解級數(shù)為1，方向分解級數(shù)為2。3種算法的高頻系數(shù)融合采用的都是絕對值最大法。對于基于DWT的壓縮感知圖像融合算法和基于NSCT的壓縮感知圖像融合算法，低頻系數(shù)融合采用的都是取平均法。對于本文算法，低頻系數(shù)融合采用的是基于小波變換的融合方法。其中小波變換采用的小波基是“db6”，進行的是3層分解。分解后的高頻部分融合采用的是絕對值最大法，低頻部分融合采用的是取平均法。本實驗采用的測量矩陣是部分哈達瑪測量矩陣[10]，采樣率是0.5，恢復(fù)重構(gòu)算法是OMP[11]算法。

融合圖像的質(zhì)量是從主觀和客觀兩方面來進行對比。主觀方面是看融合圖像的紋理、對比度、清晰度等。客觀方面是通過圖像的客觀評價指標(biāo)來衡量融合圖像的質(zhì)量。本文采用的指標(biāo)包括信息熵（IE）、標(biāo)準(zhǔn)差（SD）、空間頻率（SF）和平均梯度（AG）[12-13]。

4.1 多聚焦圖像融合對比實驗

多聚焦圖像融合是對同一場景不同聚焦圖像融合，使融合后圖像更加清晰。實驗中右聚焦圖像和左聚焦圖像融合的結(jié)果如圖4所示。

圖4 多聚焦圖像融合

從主觀上分析，NSCT-DWT融合圖像相對于DWT融合圖像和NSCT融合圖像，時鐘的邊緣輪廓更加突顯，時鐘的刻度也更加清晰。

客觀評價指標(biāo)結(jié)果如表1所示。從表中可以看出，NSCT-DWT融合圖像在信息熵、標(biāo)準(zhǔn)差、空間頻率和平均梯度上，均優(yōu)于DWT融合圖像和NSCT融合圖像。相對于NSCT融合圖像，NSCT-DWT融合圖像的信息熵約提高了0.7%，標(biāo)準(zhǔn)差約提高了2.5%，空間頻率約提高了25.1%，平均梯度約提高了22.6%。

表1 多聚焦圖像融合的評價結(jié)果

4.2 紅外和可見光圖像融合對比實驗

紅外和可見光圖像融合是將紅外圖像與可見光圖像融合，使融合后圖像包含更多有效信息。實驗中將紅外圖像和可見光圖像進行融合的結(jié)果如圖5所示。

從主觀上分析，NSCT-DWT融合圖像相對于DWT融合圖像和NSCT融合圖像，熱感人物更突出，背景信息更豐富，融合圖像的整體清晰度更好。

客觀評價指標(biāo)結(jié)果如表2所示。從表中可以看出，相對于DWT融合圖像和NSCT融合圖像，NSCT-DWT融合圖像在四項客觀評價指標(biāo)上都是最好的。相對于NSCT融合圖像，NSCT-DWT融合圖像的信息熵約提高了3.0%，標(biāo)準(zhǔn)差約提高了10.1%，空間頻率約提高了31.6%，平均梯度約提高了29.8%。

圖5 紅外和可見光圖像融合

表2 紅外和可見光圖像融合的評價結(jié)果

4.3 醫(yī)學(xué)圖像融合對比實驗

在醫(yī)學(xué)上，常常需要將不同成像模式的醫(yī)學(xué)圖像進行融合，以提供更加全面的病人信息，便于醫(yī)生準(zhǔn)確地進行醫(yī)學(xué)診斷。實驗中將CT圖像和MR圖像進行融合的結(jié)果如圖6所示。

圖6 醫(yī)學(xué)圖像融合

從主觀上分析，NSCT-DWT融合圖像相對于DWT融合圖像和NSCT融合圖像，邊緣輪廓更加清晰，輪廓內(nèi)的細(xì)節(jié)信息得到了更好的保存。

客觀評價指標(biāo)結(jié)果如表3所示。從表中可以看出，NSCT-DWT融合圖像，在4項客觀評價指標(biāo)上，比DWT融合圖像和NSCT融合圖像都要好。相對于NSCT融合圖像，NSCT-DWT融合圖像的信息熵約提高了5.0%，標(biāo)準(zhǔn)差約提高了14.9%，空間頻率約提高了53.1%，平均梯度約提高了55.0%。

表3 醫(yī)學(xué)圖像融合的評價結(jié)果

4.4 實驗分析

在上述實驗中，本文算法在主觀和客觀方面，均優(yōu)于基于DWT的壓縮感知圖像融合算法和基于NSCT的壓縮感知圖像融合算法。其主要原因在于，DWT變換雖具有良好的局部化特性，但其無法將圖像進行多方向分解；NSCT雖能夠有效地提取圖像的邊緣輪廓信息，但其對圖像局部細(xì)節(jié)信息表達不足。而本文算法結(jié)合了NSCT能夠分解出更多的方向信息，以及DWT能夠較好地捕捉局部細(xì)節(jié)信息的優(yōu)點，所以融合后圖像的質(zhì)量得到了明顯改善。

5 結(jié)論

NSCT雖具有良好的各向異性，但其對細(xì)節(jié)信息捕捉能力較差，而DWT具有較強的多分辨率和局部化特性，能較好地分解出圖像的細(xì)節(jié)信息，本文對基于NSCT的壓縮感知圖像融合算法進行改進，提出了基于NSCT與DWT的壓縮感知圖像融合算法。實驗結(jié)果表明，本文算法使融合圖像具有更多的細(xì)節(jié)特征和更清晰的邊緣輪廓。該算法的不足之處在于耗時較長，如何降低其時間復(fù)雜度有待進一步研究。

[1] 范文濤. 基于小波變換的圖像融合技術(shù)研究[D]. 鄭州: 河南大學(xué), 2010.

[2] Smith M I, Heather J P. Review of image fusion technology in 2005[C]//, 2005, 5782: 29-45.

[3] 楊文采, 施志群, 侯遵澤, 等. 離散小波變換與重力異常多重分解[J]. 地球物理學(xué)報, 2001, 44(4): 534-541.

[4] Burrus C S, Gopinath R A, Guo H.[M]. New Jersey: Prentice hall, 1998.

[5] 邢雅瓊, 王曉丹, 畢凱, 等. 基于非下采樣輪廓波變換和壓縮感知的圖像融合方法[J]. 控制與決策, 2014, 29(4): 585-592.

[6] 練秋生, 陳書貞. 基于解析輪廓波變換的圖像稀疏表示及其在壓縮傳感中的應(yīng)用[J]. 電子學(xué)報, 2010, 38(6): 1293-1298

[7] 吳巧玲, 倪林, 何德龍. 基于非下采樣 contourlet 變換的壓縮感知圖像重建[J]. 中國科學(xué)技術(shù)大學(xué)學(xué)報, 2012, 42(2): 87-91.

[8] Donoho D L. Compressed sensing[J]., 2006, 52(4): 1289-1306.

[9] 薛模根, 劉存超, 徐國明, 等. 基于多尺度字典的紅外與微光圖像融合[J]. 紅外技術(shù), 2013, 35(11): 696-701．

[10] 吳赟. 壓縮感知測量矩陣的研究[D]. 西安: 西安電子科技大學(xué), 2012.

[11] Tropp J A, Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J]., 2007, 53(12): 4655-4666.

[12] 王海暉, 彭嘉雄, 吳巍, 等. 多源遙感圖像融合效果評價方法研究[J]. 計算機工程與應(yīng)用, 2003, 25(7): 33-37.

[13] 王宇慶, 王索建. 紅外與可見光融合圖像的質(zhì)量評價[J]. 中國光學(xué), 2014, 7(3): 396-401.

Image Fusion Based on Compressed Sensing of NSCT and DWT

YUAN Jin-lou，WU Jin，LIU Jin

(,,438001,)

For lacking of details of image fusion based on compressed sensing of non-subsampled contourlet transform（NSCT）, an algorithm of image fusion based on compressed sensing of NSCT and discrete wavelet transform（DWT）is presented. First, the images are decomposed into high frequency coefficients and low frequency coefficients by NSCT. Then, the high frequency coefficients are compressed and fused. And the high frequency coefficients which are compressed and fused are reconstructed by a reconstructed algorithm. At the same time, the low frequency coefficients are fused based on DWT. Finally, the inverse transform of NSCT is used to recompose the high frequency coefficients and the low frequency coefficients to gain the final fusion image. Experimental results indicate that the proposed algorithm improves the fused images in terms of subjective and objective, and thefused images have more detail features and sharper edges.

NSCT，DWT，compressed sensing，image fusion

TP391.9

A

1001-8891(2015)11-0957-05

2015-04-11；

2015-06-15.

袁金樓（1990-），男，湖北省鄂州，碩士研究生，從事圖像融合研究工作。E-mail：245267263@qq.com。

高等學(xué)校博士學(xué)科點專項科研基金，編號：20124219120002；湖北省自然科學(xué)基金，編號：2014CFB815；湖北省教育廳科研計劃，編號：Q20131110。