王曉娜，潘 晴，田妮莉

基于NSST-DWT-ICSAPCNN的多模態(tài)圖像融合算法

王曉娜，潘 晴，田妮莉

（廣東工業(yè)大學 信息工程學院，廣東 廣州 510006）

為了增加融合圖像的信息量，結合非下采樣剪切波變換（Non-Subsampled Shearlet Transform, NSST）和離散小波變換（Discrete Wavelet Transform, DWT）的互補優(yōu)勢，提出了改進的多模態(tài)圖像融合方法。采用NSST對兩幅源圖像進行多尺度、多方向的分解，得到相應的高頻子帶和低頻子帶；利用DWT將低頻子帶進一步分解為低頻能量子帶和低頻細節(jié)子帶，并利用最大值選擇規(guī)則融合能量子帶；采用改進連接強度的自適應脈沖耦合神經網絡（Improved Connection Strength Adaptive Pulse Coupled Neural Network, ICSAPCNN）分別融合細節(jié)子帶和高頻子帶，并對能量子帶和細節(jié)子帶進行DWT逆變換，得到融合的低頻子帶；采用NSST逆變換重構出細節(jié)信息豐富的融合圖像。實驗證明，提出的算法在主觀視覺和客觀評價方面均優(yōu)于其他幾種算法，且能同時適用于紅外與可見光源圖像、醫(yī)學源圖像的融合。

多模態(tài)圖像；圖像融合；離散小波變換；自適應脈沖耦合神經網絡；非下采樣剪切波變換

0 引言

多模態(tài)圖像融合[1]是指從不同模態(tài)的源圖像中提取重要信息，合成一幅比單一源圖像更清晰、內容更全面的圖像，便于人眼的觀察和計算機的處理。

近年來，隨著多尺度幾何分析[2]、稀疏表示[3]、深度學習[4]等理論的發(fā)展，多模態(tài)圖像融合技術取得了很大的進展。Bulanon等[5]采用拉普拉斯金字塔變換將源圖像中的特征按照不同的尺度分解到不同的分解層上，由此來融合源圖像中的顯著特征；Zhan等人[6]提出了基于離散小波變換（discrete wavelet transform, DWT）的紅外與可見光圖像融合方法，雖然DWT在保留圖像細節(jié)方面具有良好的性能，但缺乏平移不變性，導致融合圖像的邊界不連續(xù)。Liu等[7]提出了一種基于自適應稀疏表示（adaptive sparse representation，ASR）的多模態(tài)圖像融合算法，融合的高頻子帶中保留了源圖像的結構特征，但融合結果對比度極低、細節(jié)丟失嚴重。文獻[8]提出了一種基于卷積神經網絡（convolutional neural network，CNN）的圖像融合算法，能同時實現顯著性水平測評和權重分配，但融合結果中丟失了較多的細節(jié)信息。文獻[9]提出了一種基于自適應脈沖耦合神經網絡（adaptive pulse coupled neural network，APCNN）的非下采樣輪廓波變換（non-subsampled contourlet transform，NSCT）域圖像融合算法，由于APCNN模型中的連接強度設置為常數影響了融合結果的精度，且NSCT對各向異性的信息表示能力較弱，導致融合圖像中丟失了邊緣信息，針對此問題，文獻[10]將非下采樣剪切波變換（non-subsampled shearlet transform, NSST）和APCNN相結合，解決了NSCT方向有限的問題，且具有平移不變性[11]，因此被廣泛應用[10-13]。以上算法雖然在一定程度上提高了融合圖像的質量，但都存在圖像的邊緣細節(jié)丟失、視覺效果差等問題。

為了增加融合圖像中的細節(jié)信息，提出了一種基于NSST-DWT-ICSAPCNN的多模態(tài)圖像融合方法。采用NSST對源圖像進行多尺度、多方向的分解得到高頻和低頻子帶圖像?？紤]到NSST對細節(jié)處理精度仍不夠高，而DWT在保留圖像細節(jié)方面具有良好的性能，因此采用DWT進一步分解低頻子帶，提取源圖像中容易被NSST分解忽略的細節(jié)信息。此外，為了增強中心神經元受到周圍神經元的影響程度，將局部標準差的Sigmoid函數作為連接強度來構建改進型連接強度自適應脈沖耦合神經網絡（improved connection strength adaptive pulse coupled neural network, ICSAPCNN），由于APCNN具有全局耦合特性和脈沖同步特性[14]，因此能更好地利用高頻子帶圖像的全局特征。本文結合NSST、DWT、ICSAPCNN的互補特性融合多模態(tài)圖像，通過實驗驗證了所提算法的有效性。

1 基本理論

1.1 非下采樣剪切波變換

NSST分解過程有兩步，第一步采用非下采樣金字塔濾波器組（NSPF）對待融合的源圖像進行級尺度分解，實現圖像的多尺度化。第二步采用剪切濾波器（SFB）實現高頻子帶的多方向化，第級方向分解個數為2。最終得到＋1個子帶圖像[11]，即1個低頻和個高頻子帶圖像，均與源圖像的大小相同。

NSST不僅可以在多方向和多尺度上表示圖像，還具有平移不變性，并且其分解過程中沒有使用下采樣運算，消除了偽吉布斯現象。NSST二級分解過程如圖1所示，本文中NSST分解的級數設置為4，方向數設為[8,8,16,16]。

圖1 NSST二級分解過程

1.2 離散小波變換

DWT可以將源圖像分解成一系列的能量子帶和細節(jié)子帶圖像，分解過程使用一組高通、低通濾波器來執(zhí)行，如圖2所示：先對圖像a中每行構成的一維數據進行一維小波分解，得到高、低頻信息。再對每列構成的一維數據做相同的操作，最終得到4個子帶圖像：a－1，1－1，2－1，3－1。其中，a－1由行低通、列低通得到，包含圖像的近似信息，1－1由行低通、列高通得到，2－1由行高通、列低通得到，3－1由行高通、列高通得到。1－1，2－1，3－1分別包含水平、垂直、對角方向上的邊緣細節(jié)信息[15]。

圖2 DWT分解過程

1.3 自適應脈沖耦合神經網絡

APCNN模型是通過模擬貓的大腦視覺皮層中同步脈沖發(fā)放現象而建立起來的一個簡化模型[16]，它不需要任何的訓練過程，而是基于迭代計算，其數學方程描述如式(1)～(5)所示：

F[]＝S(1)

輸入圖像中的像素點(,)與APCNN模型中的神經元之間存在一一對應的關系[17]，神經元獲取外部刺激輸入的通道有兩個，一個是反饋輸入F，由像素點(,)的灰度絕對值S決定，另一個是連接輸入L，其中V是放大系數，W為突觸連接矩陣。將F和L進行非線性相乘調制后得到神經元的內部活動項U，其中F為反饋輸入的衰減時間常數。當U大于動態(tài)閾值E時發(fā)放脈沖Y，神經元產生一次點火。當神經元點火時，E立刻增大，然后又按照指數逐漸衰減，直到神經元再次發(fā)放脈沖，其中E為動態(tài)閾值的衰減常數，E為脈沖的放大系數。當迭代結束時，得到點火頻率映射圖。

2 改進的多模態(tài)圖像融合過程

基于本文方法的圖像融合流程如圖3所示，采用NSST對源圖像A、B進行分解得到高低頻子帶；再對低頻子帶進行DWT分解得到低頻能量子帶和細節(jié)子帶，并采用最大值選擇規(guī)則融合能量子帶，利用ICSAPCNN分別對細節(jié)子帶和高頻子帶進行融合；對能量子帶和細節(jié)子帶進行DWT逆變換得到融合的低頻子帶；最后采用NSST逆變換重構出融合圖像F。

2.1 低頻子帶融合規(guī)則

本文結合區(qū)域能量（RE）和梯度能量（EOG）融合低頻系數，選擇×區(qū)域窗口，具體步驟如下：

Step 1根據式(6)分別計算兩幅低頻能量子帶圖像的區(qū)域能量RE1和RE2。

Step 2根據式(7)分別計算兩幅低頻能量子帶圖像的梯度能量EOG1和EOG2。

式中：L(,)和G(,)分別表示(,)位置的低頻能量子帶系數值和梯度值。

Step 3 將RE和EOG相乘作為低頻的顯著性水平度量（ALM），定義如式(9)所示：

上式(6)～(9)中，∈{1,2}。

Step 4根據極大值規(guī)則選擇ALM較大的點所對應的低頻系數作為融合的低頻系數F(,)：

2.2 高頻子帶融合規(guī)則

2.2.1 改進的連接強度

連接強度取值范圍為(0,1)，調節(jié)著神經元之間的相互影響程度。本文利用Sigmoid函數表示APCNN模型的連接強度，避免了將連接強度設置為常數時模型的不靈活性?？紤]到人眼視覺神經系統中各個神經元的連接強度不會完全相同，令連接強度由輸入圖像的局部標準差決定，標準差越大的區(qū)域對應的高頻子帶中包含更多的顯著特征，連接強度隨之增大，從而增強神經元受到周圍神經元的影響程度，提高了ICSAPCNN對高頻子帶全局信息的利用程度。

2.2.2 融合規(guī)則

ICSAPCNN模型中各神經元由某一高頻子帶刺激后，將得到對應的點火頻率映射圖，點火次數表征高頻系數中包含細節(jié)信息的顯著程度，次數越大，對應位置所包含的細節(jié)信息越豐富。因此選擇點火次數較大的點所對應的系數作為融合的高頻系數，高頻子帶和低頻細節(jié)子帶具體的融合步驟如下：

Step 1 初始化ICSAPCNN模型，將輸入激勵S設為高頻子帶（低頻細節(jié)子帶）圖像像素點(,)的灰度值，并令L[]＝U[]＝Y[]＝E[]＝0。

Step 2根據式(11)計算改進的連接強度，其余參數根據文獻[9]設定。

Step 3根據式(13)計算模型每次迭代結束后的點火次數：

Step 4根據式(14)選擇融合的高頻系數（低頻細節(jié)子帶系數）。

式(13)～(14)中：、分別對應高頻子帶（低頻細節(jié)子帶）的第層、第個方向。式(14)中A、B分別對應兩幅高頻子帶圖像或兩幅低頻細節(jié)子帶圖像。

3 實驗結果與分析

3.1 實驗設置

本文所有實驗均在Windows10，MATLAB 2019a軟件上運行。為了驗證本文方法的有效性，實驗所用到的多模態(tài)圖像包括6組紅外圖像（Infrared）與可見光圖像（Visible），8組計算機斷層掃描圖像（CT）與核磁共振圖像（MRI）。與近幾年的4種圖像融合方法做對比，文獻[7]采用基于ASR的融合方法，文獻[8]采用基于CNN的融合方法，文獻[9]和文獻[10]均采用基于多尺度變換和APCNN的融合方法（分別記為NSCT-APCNN、NSST-APCNN），本文實驗分析中展示了部分多模態(tài)源圖像的融合結果。

3.2 客觀評估指標

Zheng等人在文獻[18]中總結了很多評估融合圖像質量的客觀指標，本文選取的評估指標包括熵EN，互信息MI，標準差SD，視覺信息保真度VIFF，非線性相關信息熵IE，基于Tsallis的熵TE。對于本文所有的客觀評估指標，其值越大，融合后的圖像質量越高，融合效果越好。

3.3 仿真結果與分析

本文列出了部分源圖像的融合結果，圖4(a)和圖4(b)分別是“road”可見光和紅外源圖像，圖4(c)～(g)為對兩幅源圖像應用不同方法得到的融合結果。觀察可知：使用ASR和CNN方法的融合結果中能量嚴重丟失，公路上的行人分辨率極低，視覺效果差；使用NSCT-APCNN和NSST-APCNN方法的融合結果中人物邊緣模糊，細節(jié)信息丟失；本文利用Sigmoid函數表示連接強度，在兩幅高頻子帶對應位置的標準差相差較小時ICSAPCNN模型也能表現出較好的效果。由局部放大圖可知，基于本文方法的結果中人物清晰，辨識度高，保留了源圖像中的重要信息。圖5(a)和圖5(b)分別是“tree”可見光和紅外源圖像，圖5(c)～(g)為對兩幅源圖像應用不同方法得到的融合結果。觀察融合結果可知基于本文方法的融合結果最清晰，融合效果最好。由不同方法融合“road”和“tree”兩組紅外與可見光源圖像的客觀評估指標值如表1所示，顯然，由本文方法得到的客觀評估指標值均較高。由不同方法融合6組紅外和可見光源圖像的客觀評估指標結果的平均值如表2所示，由表2可知，除了SD和TE，其余4個指標EN、MI、VIFF、IE均為最優(yōu)，與主觀視覺效果保持一致，驗證了本文方法對于紅外與可見光圖像融合的有效性。

圖4 “road”紅外和可見光圖像以及融合結果

圖5 “tree”紅外和可見光圖像以及融合結果

表1 兩組紅外與可見光圖像客觀評估指標值

表2 六組紅外與可見光圖像客觀評估指標平均值

圖6(a)和圖6(b)分別為致死性腦卒中CT和MRI源圖像，圖6(c)～(g)為對兩幅醫(yī)學源圖像應用不同方法得到的融合結果。觀察仿真結果圖可知：使用ASR方法的融合結果亮度較暗，對比度嚴重丟失，視覺效果差；使用CNN方法的融合結果存在能量丟失現象；使用NSCT-APCNN和NSST-APCNN的融合方法是直接對低頻子帶圖像進行融合，這種做法不能充分提取到源圖像的細節(jié)信息；本文利用DWT進一步分解低頻子帶圖像，提取源圖像中容易被NSST分解忽略的信息，由局部放大圖可知，得到的融合結果（圖6(g)）中保留了源圖像較多的細節(jié)信息，且對比度與源圖像保持一致，視覺效果最好。圖7(a)～(b)分別為腦膜瘤CT和MRI源圖像，圖7(c)～(g)為融合結果，觀察可知，基于本文方法的融合結果細節(jié)信息最豐富，融合效果最好。由不同方法融合兩組醫(yī)學源圖像的客觀評估值如表3所示，顯然，由本文方法得到的客觀評估指標值均較高。由不同融合方法融合8組醫(yī)學圖像的客觀評估指標結果的平均值如表4所示，由表4可知，除了SD，其他5個評估指標均為最優(yōu)，與主觀視覺效果一致，驗證了本文方法對于多模態(tài)醫(yī)學圖像融合的有效性。

圖6 致死性腦卒中CT和MRI圖像以及融合結果

圖7 腦膜瘤CT和MRI圖像以及融合結果

表3 兩組醫(yī)學圖像客觀評估指標值

表4 八組醫(yī)學圖像客觀評估指標平均值

4 結論

為了在融合過程中提取更多的圖像信息，提出了一種基于NSST-DWT-ICSAPCNN的多模態(tài)圖像融合方法。對源圖像經NSST分解得到的低頻子帶圖像做DWT分解，解決了部分源圖像細節(jié)丟失的問題。此外，將低頻子帶圖像的區(qū)域能量和梯度能量相結合作為顯著性水平度量，有效地保留了圖像的能量和邊緣細節(jié)信息。采用ICSAPCNN獲取低頻細節(jié)子帶圖像和高頻子帶圖像的點火頻率映射圖，提高了對低頻細節(jié)子帶和高頻子帶圖像全局信息的利用程度。實驗結果顯示所提算法相比于其他4種多模態(tài)圖像融合算法，在主觀視覺和客觀評估指標方面均表現最優(yōu)，同時驗證了本文方法對于多模態(tài)紅外和可見光圖像與多模態(tài)醫(yī)學圖像均有較好的融合效果。下一步將繼續(xù)研究雙樹復小波變換（Dual Tree Complex Wavelet Transform，DTCWT）、雙密度雙樹復小波變換（Double Density Dual Tree Complex Wavelet Transform，DDDTCWT）對低頻子帶圖像做進一步分解的效果。

[1] YANG Y, QUE Y, HUANG S, et al. Multimodal sensor medical image fusion based on type-2 fuzzy logic in NSCT domain[J]., 2016, 16(10): 3735-3745.

[2] LI G, LIN Y, QU X. An infrared and visible image fusion method based on multi-scale transformation and norm optimization[J]., 2021, 71: 109-129.

[3] LI X, ZHOU F, TAN H. Joint image fusion and denoising via three-layer decomposition and sparse representation[J]., 2021, 224: 107087.

[4] XU H, MA J. EMFusion: An unsupervised enhanced medical image fusion network[J]., 2021, 76: 177-186. .

[5] Bulanon D M, Burks T F, Alchanatis V. Image fusion of visible and thermal images for fruit detection[J]., 2009, 103(1): 12-22.

[6] ZHAN L, ZHUANG Y, HUANG L. Infrared and visible images fusion method based on discrete wavelet transform[J]., 2017, 28(2): 57-71.

[7] LIU Y, WANG Z. Simultaneous image fusion and denoising with adaptive sparse representation[J]., 2015, 9(5): 347-357.

[8] LIU Y, CHEN X, CHENG J, et al. Infrared and visible image fusion with convolutional neural networks[J]., 2018, 16(3): 1850018.

[9] ZHU Z, ZHENG M, QI G, et al. A phase congruency and local Laplacian energy based multi-modality medical image fusion method in NSCT domain[J]., 2019, 7: 20811-20824.

[10] ZHANG L, ZENG G, WEI J, et al. Multi-modality image fusion in adaptive-parameters SPCNN based on inherent characteristics of image[J]., 2019, 20(20): 11820-11827.

[11] 張蕾. 采用改進平均梯度與自適應PCNN的圖像融合[J].計算機應用與軟件, 2021, 38(3): 218-223.

ZHANG Lei. Image fusion using improved average gradient and adaptive PCNN[J]., 2021, 38(3): 218-223.

[12] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter- adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]., 2018, 68(1): 49-64.

[13] Diwakar M, Singh P, Shankar A. Multi-modal medical image fusion framework using co-occurrence filter and local extrema in NSST domain[J]., 2021, 68: 102788.

[14] 鄧輝, 王長龍, 胡永江, 等. 脈沖耦合神經網絡在圖像融合中的應用研究[J]. 電光與控制, 2019, 26(11): 19-24.

DENG Hui, WANG Changlong, HU Yongjiang, et al. Application of pulse coupled neural network in image fusion[J]., 2019, 26(11):19-24.

[15] 楊風暴, 董安冉, 張雷, 等. DWT、NSCT和改進PCA協同組合紅外偏振圖像融合[J]. 紅外技術, 2017, 39(3): 201-208.

YANG Fengbao, DONG Aran, ZHANG Lei, et al. Infrared Polarization Image fusion using the synergistic combination of DWT, NSCT and improved PCA[J]., 2017, 39(3): 201-208.

[16] TAN W, Tiwari P, Pandey H M, et al. Multimodal medical image fusion algorithm in the era of big data[J]., 2020: 1-21.

[17] JIANG L, ZHANG D, CHE L. Texture analysis-based multi-focus image fusion using a modified Pulse-Coupled Neural Network (PCNN)[J]., 2021, 91: 116068.

[18] LIU Z, Blasch E, XUE Z, et al. Objective assessment of multiresolution image fusion algorithms for context enhancement in night vision: a comparative study[J]., 2011, 34(1): 94-109.

Multi-modality Image Fusion Algorithm Based on NSST-DWT-ICSAPCNN

WANG Xiaona，PAN Qing，TIAN Nili

(Faculty of Information Engineering, Guangdong University of Technology, Guangzhou 510006, China)

To increase the information of the fused image, this paper proposes an improved multi-modality image fusion algorithm that combines the complementary advantages of the non-subsampled shearlet transform (NSST) and discrete wavelet transform (DWT). NSST was used to decompose the two source images in multiscale and multi-direction to obtain the corresponding high-frequency and low-frequency sub-bands. The low-frequency sub-bands were further decomposed into low-frequency energy sub-bands and low-frequency detail sub-bands by the DWT, and the low-frequency energy sub-bands were fused by the maximum selection rules. An adaptive pulse-coupled neural network with improved connection strength (ICSAPCNN) was used to fuse the detailed sub-bands and high-frequency sub-bands, and the energy sub-bands and detailed sub-bands were fused by inverse DWT to obtain the fused low-frequency sub-bands. The NSST inverse transform was used to reconstruct the fusion image with rich details. The experimental results verified that the proposed algorithm is superior to the other algorithms in both subjective vision and objective evaluation and can be applied to the fusion of both infrared and visible source images and medical source images.

multi-modality images, image fusion, discrete wavelet transform, adaptive pulse coupled neural network, non-subsampled shearlet transform

TP391

A

1001-8891(2022)05-0497-07

2021-09-02；

2021-11-24.

王曉娜（1997-），女，碩士研究生，主要研究方向為圖像處理、模式識別。E-mail：717057123@qq.com

潘晴（1975-），男，副教授，主要研究方向為圖像處理、信號處理、模式識別等。E-mail：pangqing@gdut.edu.cn

國家自然科學基金項目（61901123）。