摘要：為使融合圖像保留豐富的細(xì)節(jié)和紋理信息，提出了一種基于非下采樣剪切波變換（NSST）和稀疏表示的多聚焦圖像融合方法。鑒于稀疏表示能夠有效地捕捉圖像中的結(jié)構(gòu)信息這一優(yōu)勢，并充分考慮像素間的區(qū)域相關(guān)性，低頻子帶系數(shù)采用稀疏表示和區(qū)域能量相結(jié)合的融合策略，以及加權(quán)平均的融合規(guī)則．高頻子帶系數(shù)采用區(qū)域能量取大的融合規(guī)則。實(shí)驗結(jié)果表明，該方法融合圖像清晰度高，能夠更好地保留圖像細(xì)節(jié)信息。

關(guān)鍵詞：非下采樣剪切波變換；稀疏表示；區(qū)域能量；多聚焦圖像；圖像融合

中圖法分類號：TP391 文獻(xiàn)標(biāo)識碼：A

１ 引言

由于光學(xué)鏡頭景深的限制，成像系統(tǒng)無法獲取場景中全部目標(biāo)均清晰的圖像，這不利于后續(xù)圖像的理解與處理。多聚焦圖像融合技術(shù)的出現(xiàn)有效解決了這一難題。多聚焦圖像融合通過一定的算法，可以把２ 幅或多幅圖像融合成所有目標(biāo)均清晰的圖像［１～２］ 。

目前，多聚焦圖像融合技術(shù)已廣泛應(yīng)用于機(jī)器視覺、目標(biāo)識別、醫(yī)學(xué)、軍事等領(lǐng)域。

多尺度變換是目前最常用的像素級融合方法。

其中，小波變換在時域和空域均有良好的局部化特性，能夠獲得良好的融合效果，但小波變換在圖像細(xì)節(jié)提取方面效果欠佳。針對小波變換的不足，研究者提出了輪廓波變換［３］ 。輪廓波變換具備良好的非線性逼近能力，能夠更稀疏地表示圖像，但因其在變換過程中存在采樣操作，容易產(chǎn)生偽吉布斯效應(yīng)。非下采樣剪切波變換（ＮＳＳＴ）完全繼承了輪廓波變換的優(yōu)點(diǎn)，且在變換過程中不存在采樣操作，其計算效率更高，具有方向敏感性、平移不變性等優(yōu)點(diǎn)。因此，作為一種有效的圖像分解工具，ＮＳＳＴ 被廣泛應(yīng)用于圖像去噪、圖像增強(qiáng)等圖像處理領(lǐng)域。

在基于多尺度變換的融合方法中，研究者大多把研究焦點(diǎn)放在高頻子帶系數(shù)融合規(guī)則的設(shè)計上，低頻子帶系數(shù)一般采用“取平均”的融合規(guī)則?！叭∑骄辈呗噪m然實(shí)現(xiàn)簡單，但是容易丟失源圖像中的有用信息，且降低圖像的對比度。因此，本文將研究重點(diǎn)放在低頻子帶系數(shù)融合規(guī)則的設(shè)計上。利用過完備字典的冗余性，稀疏表示可以捕捉圖像的各種結(jié)構(gòu)特征，有效地對圖像進(jìn)行表示［４］ 。鑒于稀疏表示在圖像表示方面的優(yōu)勢，并充分考慮像素間的區(qū)域相關(guān)性，本文對低頻子帶系數(shù)進(jìn)行稀疏表示，提取系數(shù)的區(qū)域能量特征，同時采用加權(quán)平均的融合規(guī)則。高頻子帶系數(shù)采用區(qū)域能量取大的融合規(guī)則。通過圖像仿真實(shí)驗，并與經(jīng)典的圖像融合方法相比，結(jié)合主觀圖像質(zhì)量評價與客觀評價指標(biāo)，均表明了本文方法的可行性與有效性。

４ 實(shí)驗及結(jié)果分析

４．１ 實(shí)驗設(shè)置

將本文融合方法在多聚焦圖像上進(jìn)行仿真實(shí)驗。

待融合圖像的大小為２５６×２５６，圖像格式為ｂｍｐ。為進(jìn)一步驗證本文方法的有效性，將其與３ 種經(jīng)典傳統(tǒng)的多聚焦圖像融合方法進(jìn)行對比：基于輪廓波變換和脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合方法［５］（方法１）、基于非下采樣剪切波變換的圖像融合方法（方法２）、基于拉普拉斯變換的圖像融合方法［６］（方法３）。其中，對比方法的參數(shù)設(shè)置為：方法２ 的分解層數(shù)為３，每層子帶數(shù)為６，６，６，低頻子帶系數(shù)融合規(guī)則采用取平均值，高頻子帶系數(shù)融合規(guī)則采用區(qū)域能量取大法；方法３的分解層數(shù)為３，低頻子帶系數(shù)融合規(guī)則采用取平均值，高頻子帶系數(shù)融合規(guī)則采用取大法。本文方法的參數(shù)設(shè)置為：分解層數(shù)為３，每層子帶數(shù)為６，６，６，圖像分塊大小為８×８，滑動步長為４。

４．２ 實(shí)驗結(jié)果

花豹圖像的源圖像及融合結(jié)果圖像如圖２ 所示，花豹圖像的客觀評價指標(biāo)如表１ 所列。

圖２（ａ），２（ｂ）分別是待融合的近聚焦圖像與遠(yuǎn)聚焦圖像。圖２（ｃ）～圖２（ｆ）是本文方法和對比方法的融合結(jié)果圖像。從主觀視覺效果上來看，方法１ 的融合圖像“花豹的爪子”比較模糊，出現(xiàn)偽影。方法３ 的融合圖像對比度和圖像清晰度較低。方法２ 和本文方法的融合圖像清晰度高，含有更多的細(xì)節(jié)紋理信息。

為定量地對融合圖像進(jìn)行評價，本文引入標(biāo)準(zhǔn)差、平均梯度、空間頻率、信息熵、邊緣轉(zhuǎn)換率等指標(biāo)［７］ 。標(biāo)準(zhǔn)差可以反映圖像像素值的分布，平均梯度表示圖像的清晰度，空間頻率反映圖像在空間域的總體活躍程度，信息熵表示圖像包含的信息量，邊緣轉(zhuǎn)換率表示源圖像到融合圖像的邊緣轉(zhuǎn)化率。表１ 給出了花豹融合圖像的客觀評價指標(biāo)（加粗為最優(yōu)值）。

從表１ 可以看出，本文方法在標(biāo)準(zhǔn)差、平均梯度、空間頻率、信息熵和邊緣轉(zhuǎn)換率上均具有最優(yōu)值，方法２與本文方法在高頻子帶系數(shù)融合規(guī)則上相同，由于本文方法對低頻子帶系數(shù)融合規(guī)則的設(shè)計，使得本文方法的客觀評價指標(biāo)優(yōu)于方法２，從主觀視覺和客觀指標(biāo)評價上均證明了本文方法的有效性。

５ 結(jié)束語

本文提出了一種基于ＮＳＳＴ 和稀疏表示的多聚焦圖像融合方法，通過ＮＳＳＴ 這一有效的分解工具提取待融合圖像的系數(shù)，并充分利用稀疏表示和區(qū)域特征的優(yōu)勢設(shè)計低頻子帶系數(shù)融合規(guī)則。通過多聚焦圖像實(shí)驗表明，本文方法能夠保留更多的圖像紋理和細(xì)節(jié)信息。下一步研究重點(diǎn)將放在算法對其他類型圖像（醫(yī)學(xué)圖像、遙感圖像、紅外與可見光及彩色圖像）的適用性上。

參考文獻(xiàn)：

［１］ 王磊，齊爭爭，劉羽．深度學(xué)習(xí)多聚焦圖像融合方法綜述［Ｊ］．中國圖象圖形學(xué)報，２０２３，２８（１）：８０?１０１．

［２］ 劉明君，董增壽，張鳳珍．基于改進(jìn)的非下采樣剪切波變換多聚焦圖像融合技術(shù)的研究［Ｊ］．儀表技術(shù)與傳感器，２０１７（９）：１１４?１１７．

［３］ 張旭，陳華鋒．?dāng)?shù)字全息和輪廓波變換相融合的激光圖像水印技術(shù)［Ｊ］．激光雜志，２０２２，４３（１０）：２０２?２０７．

［４］ 張洲宇，曹云峰，丁萌，等．采用多層卷積稀疏表示的紅外與可見光圖像融合［Ｊ］．哈爾濱工業(yè)大學(xué)學(xué)報，２０２１，５３（１２）：５１?５９．

［５］ 趙賀，張金秀，張正剛．基于ＮＳＣＴ 與ＤＷＴ 的ＰＣＮＮ 醫(yī)學(xué)圖像融合［Ｊ］．激光與光電子學(xué)進(jìn)展，２０２１，５８（２０）：４５３?４６２．

［６］ 黃福升，藺素珍．基于拉普拉斯金字塔變換方法的多波段圖像融合規(guī)則比較［Ｊ］．紅外技術(shù)，２０１９，４１（１）：６４?７１．

［７］ 楊艷春，李嬌，王陽萍．圖像融合質(zhì)量評價方法研究綜述［Ｊ］．計算機(jī)科學(xué)與探索，２０１８，１２（７）：１０２１?１０３５．

作者簡介：張翠英（ １９８８—）， 碩士， 助理實(shí)驗師， 研究方向： 圖像處理。