李 文，葉坤濤，舒蕾蕾，李 晟

基于高斯模糊邏輯和ADCSCM的紅外與可見光圖像融合算法

李 文，葉坤濤，舒蕾蕾，李 晟

（江西理工大學 理學院，江西 贛州 341000）

為了克服當前的紅外與可見光圖像融合算法存在著目標不夠突出、紋理細節(jié)丟失等現(xiàn)象，本文提出了一種基于高斯模糊邏輯和自適應(yīng)雙通道脈沖發(fā)放皮層模型（Adaptive Dual-Channel Spiking Cortical Model, ADCSCM）的紅外與可見光圖像融合算法。首先，使用非下采樣剪切波變換（Non-Subsampled Sheartlet Transform, NSST）將源圖像分解為低頻和高頻部分。其次，結(jié)合新拉普拉斯能量和（New Sum of Laplacian, NSL）與高斯模糊邏輯，設(shè)定雙閾值來指導(dǎo)低頻部分進行融合；同時，采用基于ADCSCM的融合規(guī)則來指導(dǎo)高頻部分進行融合。最后，使用NSST逆變換進行重構(gòu)來獲取融合圖像。實驗結(jié)果表明，本文算法主觀視覺效果最佳，并在互信息、信息熵和標準差3項指標上高于其他7種融合算法，能夠有效突出紅外目標、保留較多紋理細節(jié)，提高融合圖像的質(zhì)量。

圖像融合；非下采樣剪切波變換；高斯模糊邏輯；自適應(yīng)雙通道脈沖發(fā)放皮層模型

0 引言

紅外圖像的目標信息突出，但通常其對比度和空間分辨率低，且嚴重缺失細節(jié)；可見光圖像通常對比度和空間分辨率較高，細節(jié)信息豐富，但易受外界環(huán)境的干擾[1]。通過紅外與可見光圖像融合技術(shù)，可以有效地綜合紅外與可見光圖像各自的優(yōu)勢信息，形成一幅目標更突出、細節(jié)信息更豐富的融合圖像[2]。當前，紅外與可見光圖像融合技術(shù)已被廣泛應(yīng)用在目標跟蹤、紅外探測、軍事以及民用等領(lǐng)域[3]。

當前，基于多尺度變換的圖像融合算法是圖像融合算法中研究最為廣泛的一類，即使用某種多尺度變換工具將源圖像分解為低頻和高頻部分，然后分別對低頻和高頻部分進行融合[2]。相應(yīng)地，多種多尺度變換工具已相繼被研究學者們提出，如小波變換、曲波變換（Curvelet Transform, CVT）、非下采樣輪廓波變換（Non-Subsampled Contourlet Transform, NSCT）以及剪切波變換（Sheartlet Transform, ST）等[4]。NSST是被學者們近期提出的一種多尺度變換工具，它避免了ST的下采樣操作，從而具備平移不變性，還消除了NSCT的較高計算復(fù)雜度，同時NSST具備較優(yōu)的多分辨率性及各向異性等特點，可以較優(yōu)地應(yīng)用于紅外與可見光圖像融合領(lǐng)域當中[5-6]。

近些年來，多種基于多尺度變換的紅外與可見光圖像融合算法仍存在著目標不夠突出、紋理細節(jié)丟失等現(xiàn)象。如王聰?shù)萚7]提出的一種基于脈沖發(fā)放皮層模型（Spiking Cortical Model, SCM）和復(fù)剪切波變換的融合算法，其融合圖像紋理細節(jié)較豐富，但紅外目標不夠突出，同時紅外目標周圍還存在著偽影現(xiàn)象。鄧立暖等[6]提出的一種基于NSST的融合算法，通過NSST分解源圖像，然后利用顯著圖和改進的區(qū)域?qū)Ρ榷确謩e來指導(dǎo)低頻和高頻部分進行融合，其融合圖像紅外目標較為突出，但存在著不屬于源圖像的結(jié)構(gòu)信息，且有部分區(qū)域污染。Tan等[8]提出的一種基于多級高斯曲率濾波（Multi-Level Gaussian Curvature Filtering, MLGCF）圖像分解的融合算法，其融合圖像對比度適中，紋理細節(jié)較豐富，但存在著紅外目標不夠突出且偏暗的現(xiàn)象。馮賀等[9]提出的一種結(jié)合拉普拉斯分解和與亮度調(diào)節(jié)的融合算法，其融合圖像整體偏暗、雖然紅外目標較突出，但丟失了部分紋理細節(jié)。

為了較好地克服上述圖像融合算法存在的缺陷，本文提出了一種基于高斯模糊邏輯和ADCSCM的紅外與可見光圖像融合算法。首先，通過NSST將紅外與可見光圖像分解為低頻和高頻部分；其次，本文結(jié)合NSL（New Sum of Laplacian）和高斯模糊邏輯，并設(shè)定雙閾值，形成一種自適應(yīng)加權(quán)法則來指導(dǎo)低頻部分進行融合；同時，本文對SCM進行改進，由單通道改為雙通道，外部輸入激勵為區(qū)域能量與邊緣測度指標相乘，鏈接強度由改進區(qū)域平均梯度自適應(yīng)調(diào)整，形成ADCSCM來指導(dǎo)高頻部分進行融合；最后，利用NSST逆變換對融合后的低頻和高頻部分進行重構(gòu)，獲取融合圖像。

1 基礎(chǔ)理論

1.1 非下采樣剪切波變換

由Guo等[10]提出的ST具備良好的局部性、方向敏感性等特點，NSST是ST的改進版本，在繼承ST的優(yōu)點外，還避免了ST的下采樣操作，具備了ST沒有的平移不變性，因此NSST能夠克服圖像邊緣處的偽吉布斯現(xiàn)象。

NSST的分解過程主要為多尺度分解與方向局部化兩部分[11]。使用非下采樣金字塔濾波器組（Non-Subsampled Pyramid, NSP）對源圖像進行多級分解，進而實現(xiàn)多尺度分解。級分解后將產(chǎn)生1個低頻子帶和個高頻子帶，它們與源圖像的尺寸一致；使用剪切濾波器（Shearlet Filter, SF）對某一尺度下的高頻子帶進行多級分解，形成多個不同方向上的高頻子帶，實現(xiàn)方向局部化。級分解后將產(chǎn)生2個高頻方向子帶，它們與源圖像尺寸一致。通過上述的NSP和SF分解，能夠保證NSST的各向異性和平移不變性。此外，NSST還具有良好的稀疏表示性能與低計算成本等特點，屬于一種有效的多尺度變換工具。

1.2 自適應(yīng)雙通道脈沖發(fā)放皮層模型

SCM由Zhan等[12]在2009年首次提出，它源于Eckhorn神經(jīng)網(wǎng)絡(luò)模型，屬于一種改進的脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network, PCNN）模型。SCM除了具備PCNN的全局耦合性、同步脈沖性等特點外，還有參數(shù)少、計算效率高、結(jié)構(gòu)簡單的特點。當前，SCM在圖像分割及圖像融合等領(lǐng)域均具有明顯的優(yōu)勢[13]。

由于SCM存在著對圖像中暗部區(qū)域細節(jié)提取能力較弱的缺陷，本文在傳統(tǒng)SCM基礎(chǔ)上，提出了一種自適應(yīng)雙通道脈沖發(fā)放皮層模型，該模型能夠有效地提高對圖像中暗部區(qū)域細節(jié)的提取能力。此外，ADCSCM中同時輸入兩幅圖像的外部輸入激勵，進而加快圖像融合的速度。本文提出的ADCSCM中神經(jīng)元結(jié)構(gòu)如圖1所示。

圖1 ADCSCM結(jié)構(gòu)

ADCSCM相對應(yīng)的數(shù)學表達式如下：

式(1)～(6)中：(,)為神經(jīng)元位置；為迭代次數(shù)；上標1、2分別表示通道1、通道2；S為神經(jīng)元的外部輸入激勵；U為神經(jīng)元的內(nèi)部活動項；E為動態(tài)閾值；為神經(jīng)元間的鏈接權(quán)重矩陣；為神經(jīng)元的鏈接強度；(,)為神經(jīng)元的周圍連接；為閾值衰減系數(shù)；為閾值放大系數(shù)；X為神經(jīng)元的幅度輸出，采用sigmoid函數(shù)形式輸出表示，能夠突出幅度差異；Y為神經(jīng)元的脈沖輸出，當Y為1時，表示神經(jīng)元成功點火；反之，當Y為0時，表示神經(jīng)元未成功點火。

2 本文圖像融合算法

2.1 融合流程

本文結(jié)合多尺度變換工具NSST、高斯模糊邏輯以及ADCSCM特性等，提出了一種基于高斯模糊邏輯和ADCSCM的紅外與可見光圖像融合算法，融合流程圖由圖2所示，對應(yīng)的融合具體步驟分為以下4步：

步驟1：使用NSST將已配準的紅外圖像A與可見光圖像B分解為低頻部分{LA(,),HA(,)}和高頻部分{LB(,),HB(,)}；

步驟2：結(jié)合NSL與高斯模糊邏輯，并設(shè)定雙閾值來指導(dǎo)低頻部分LA(,)、LB(,)進行融合，獲取融合后的低頻部分LF(,)；

步驟3：同時采用基于ADCSCM的融合規(guī)則來指導(dǎo)高頻部分HA(,)、HB(,)進行融合，獲取融合后的高頻部分HF(,)；

步驟4：最后，通過NSST逆變換對LF(,)、HF(,)進行重構(gòu)，獲取融合圖像F。

圖2 本文算法融合流程圖

2.2 低頻部分融合規(guī)則

低頻部分主要是源圖像的基本信息，反映著圖像的主要輪廓。傳統(tǒng)的低頻部分融合規(guī)則如取平均法、簡單加權(quán)法等容易丟失源圖像的細節(jié)，導(dǎo)致融合的效果一般。為了克服傳統(tǒng)低頻部分融合規(guī)則的缺陷，本文提出結(jié)合NSL與高斯模糊邏輯，并設(shè)定雙閾值，形成一種自適應(yīng)加權(quán)法則來指導(dǎo)低頻部分進行融合。

拉普拉斯能量和在表明圖像的能量信息時，還能反映出圖像的邊緣特性[14]。但傳統(tǒng)拉普拉斯能量和僅計算了像素點的垂直和水平方向的拉普拉斯算子，未考慮對角方向的拉普拉斯算子，從而丟失了部分圖像細節(jié)。在此基礎(chǔ)上，本文增加了主對角和副對角的拉普拉斯算子值，形成NSL[14]。NSL定義為：

式(7)～(8)中：L(,)上標可取A、B，表示紅外圖像或可見光圖像低頻部分；NLL(,)為新拉普拉斯算子；和為區(qū)域窗口測度，表示區(qū)域窗口大小為(2＋1)×(2＋1)，本文取3×3，即＝＝1。

則基于NSL的權(quán)重因子定義如下：

式中：0為權(quán)重調(diào)節(jié)參數(shù)，本文參考文獻[15]，相應(yīng)取0＝3。1為紅外權(quán)重因子，2為可見光權(quán)重因子。

同時，紅外圖像的直方圖呈現(xiàn)高斯分布，與高斯模糊邏輯的特性相似。側(cè)面表明高斯模糊邏輯的隸屬度可以較優(yōu)地描述紅外圖像的目標和背景信息[16]。則紅外低頻部分的背景隸屬度B和目標隸屬度T由高斯函數(shù)確定，分別定義如下：

式中：為紅外低頻部分的均值；為紅外低頻部分的標準差；0為自適應(yīng)調(diào)節(jié)參數(shù)，取值范圍一般為1～3，本文取0＝2。

將紅外低頻部分的背景隸屬度、目標隸屬度與1、2相結(jié)合，形成修正的紅外權(quán)重因子1和可見光權(quán)重因子2用于融合低頻部分，1、2分別定義如下：

其次，區(qū)域能量反映著圖像中像素點的局部變化強度，可以較好地表現(xiàn)出紅外與可見光圖像各自的信息特征。圖像低頻部分區(qū)域能量RE定義為：

基于上述的區(qū)域能量，設(shè)定雙閾值1、2與其結(jié)合，進而判斷融合圖像低頻部分中的某像素點屬于明顯的紅外圖像或可見光圖像特征信息。具體表述為：

因此，低頻部分融合系數(shù)LF(,)可以表示為：

2.3 高頻部分融合規(guī)則

高頻部分主要是源圖像的細節(jié)，反映著圖像的突變特性。常見的融合規(guī)則如區(qū)域能量取大、絕對值取大規(guī)則等雖然簡單高效，但忽略了圖像像素間的相關(guān)性，容易導(dǎo)致融合圖像紋理細節(jié)或邊緣信息的丟失，造成圖像扭曲[17]。SCM是PCNN模型的簡化版本，具有全局耦合性、同步脈沖性和計算量小等優(yōu)勢，能夠較好地突出圖像的細節(jié)部分。為了保留源圖像的細節(jié)，本文提出基于ADCSCM的融合規(guī)則來指導(dǎo)高頻部分進行融合，其外部輸入激勵為區(qū)域能量與邊緣測度指標相乘，鏈接強度由改進區(qū)域平均梯度自適應(yīng)調(diào)整。ADCSCM在繼承SCM的優(yōu)點外，還能夠彌補SCM對圖像暗部區(qū)域細節(jié)提取能力較弱的缺陷，反映出圖像的突變特性、加快圖像融合的速度。

在ADCSCM中，記外部輸入激勵為S，鏈接強度為，其中上標＝1,2，表示為通道1、通道2，其中通道1與紅外圖像A高頻部分相對應(yīng)，通道2與可見光圖像B高頻部分相對應(yīng)。

由ADCSCM的工作原理可知，外部輸入激勵S的選取十分重要，直接影響著高頻部分的融合結(jié)果。當前，常見外部輸入激勵選取方法是通過單個區(qū)域特征，如區(qū)域能量、改進空間頻率等確定，但由此容易導(dǎo)致融合的圖像缺乏細節(jié)和邊緣等信息。因此，本文提出外部輸入激勵S由區(qū)域能量和邊緣測度指標共同選取，可以使融合圖像保持著更多的細節(jié)和邊緣信息。圖像高頻部分區(qū)域能量RE和邊緣測度指標EM分別定義為：

式中：H(,)上標可取A、B，表示紅外圖像或可見光圖像高頻部分。

通過上述邊緣測度指標EM，能夠在一定程度上反映出高頻部分在垂直、水平和對角線方向的邊緣信息[18]。聯(lián)合邊緣測度指標和區(qū)域能量作為ADCSCM的外部輸入激勵，能夠反映出紅外與可見光圖像高頻部分系數(shù)不同的特性。表示為：

圖像中像素點與ADCSCM中神經(jīng)元互相對應(yīng)，圖像的區(qū)域平均梯度可以敏銳地感知細節(jié)差異，反映著圖像的紋理信息變化情況。ADCSCM中每個神經(jīng)元的鏈接強度并不相同，通過區(qū)域平均梯度自適應(yīng)調(diào)整鏈接強度，恰好對應(yīng)著不同神經(jīng)元的鏈接特性。為了更好地保留高頻部分有效信息，本文增加主對角線和副對角線處方向的梯度計算[19]，形成改進區(qū)域平均梯度IAG。IAG的數(shù)學表達式為：

式(17)～(21)中：×表示區(qū)域大小，本文取為3×3，1(,)、2(,)、3(,)、4(,)分別為當前區(qū)域內(nèi)的垂直、水平、主對角和副對角的梯度。

同時，本文提出鏈接強度由IAG自適應(yīng)調(diào)整，但又不完全依賴于IAG，能夠更好地表現(xiàn)出神經(jīng)元之間的鏈接關(guān)系，反映出紅外與可見光圖像高頻部分中不同像素點對應(yīng)的神經(jīng)元點火先后。鏈接強度表示為：

式中：0為初始鏈接強度，本文取0＝2.0。

因此，本文提出的一種基于ADCSCM的融合規(guī)則具體可分為以下4步：

步驟1：利用式(14)～(16)計算出紅外與可見光圖像高頻部分各自的外部輸入激勵，同時利用式(17)～(22)計算出紅外與可見光圖像高頻部分各自的鏈接強度；

步驟4：通過ADCSCM獲取的高頻部分融合系數(shù)HF(,)選取規(guī)則為：

3 實驗與分析

為了檢驗本文算法的融合性能，選取CVT[20]、NSCT[21]、GTF[22]、NSCT-PCNN[23]、NSST- PAPCNN[24]、MS-WLS[3]、MLGCF[8]共7種融合算法與本文算法進行融合對比實驗。實驗中，選取4組經(jīng)典的紅外與可見光圖像進行融合，分別記為“Camp”、“Lake”、“Flower”和“Bench”圖像。實驗相關(guān)環(huán)境為：Intel Core i7-9750H，CPU主頻為2.60GHz，內(nèi)存為16GB，Windows10操作系統(tǒng)和Matlab 2019a軟件仿真平臺。

圖3～6為4組經(jīng)典的紅外與可見光圖像在8種不同的融合算法下所得到的融合結(jié)果。

圖3 “Camp”圖像的融合結(jié)果

圖4 “Lake”圖像的融合結(jié)果

圖6 “Bench”圖像的融合結(jié)果

3.1 主觀視覺分析

首先，通過人眼視覺系統(tǒng)對上述4組紅外與可見光圖像的融合結(jié)果進行主觀分析。

圖3為“Camp”圖像的融合結(jié)果。CVT和NSCT算法的融合圖像對比度和清晰度偏低，紋理細節(jié)損失較多，且人物目標處存在偽影現(xiàn)象；GTF算法的融合圖像人物目標部分丟失且整體模糊，嚴重缺失可見光細節(jié)；NSCT-PCNN和NSST-PAPCNN算法的融合圖像人物目標較清晰，但嚴重缺失紋理細節(jié)和圍欄信息，且NSST-PAPCNN算法的融合圖像邊緣輪廓十分模糊；MS-WLS和MLGCF算法的融合圖像人物目標較清晰，紋理細節(jié)較為豐富，但缺失了部分可見光細節(jié)；而本文算法的融合圖像人物目標和邊緣輪廓清晰，紋理細節(jié)豐富，灌木、圍欄等背景信息保留完整。

圖4為“Lake”圖像的融合結(jié)果。CVT、NSCT和GTF算法的融合圖像對湖面信息表征出不同程度地丟失，未能成功地綜合可見光圖像的湖面信息；NSCT-PCNN算法的融合圖像林木信息茂盛，但湖面存在著區(qū)域污染，NSST-PAPCNN算法的融合圖像整體偏亮，右上角字母處較模糊；MS-WLS和MLGCF算法的融合圖像整體對比度偏低，湖面和草地信息較豐富；本文算法的融合圖像整體對比度適中，清晰度高，較好地結(jié)合了紅外與可見光圖像的湖面和草地信息。

圖5為“Flower”圖像的融合結(jié)果。8種算法的邊緣輪廓清晰、紋理細節(jié)較豐富，但CVT和NSCT算法的融合圖像紅外目標處存在著偽影；GTF、NSCT-PCNN和NSST-PAPCNN算法的融合圖像清晰度較低；本文算法的融合圖像紅外目標更突出，整體清晰度和視野信息保真度更高。

圖6為“Bench”圖像的融合結(jié)果。CVT和NSCT算法的融合圖像缺乏紋理細節(jié)，人物目標處存在偽影；GTF算法的融合圖像嚴重缺失可見光圖像里的信息；NSCT-PCNN算法的融合圖像人物目標較突出，但水面處存在著區(qū)域污染；NSST-PAPCNN算法的融合圖像人物目標模糊，但缺乏背景信息；MS-WLS和MLGCF算法的融合圖像視野信息保真度較高，缺乏背景信息；本文算法的融合圖像人物目標突出，可見光背景信息豐富，邊緣輪廓清晰。

故綜合對比圖3～6，本文算法的融合圖像主觀視覺效果表現(xiàn)最佳，更符合人眼視覺系統(tǒng)的輸出。

3.2 客觀指標評價

本文選用互信息（Mutual Information, MI）、信息熵（Information Entropy, IE）、空間頻率（Spatial Frequency, SF）、標準差（Standard Deviation, SD）以及視覺信息保真度（Visual Information Fidelity for Fusion, VIFF）共5項指標對4組紅外與可見光圖像的融合結(jié)果進行客觀評價，5項客觀指標為正項指標，其值越大表明著融合效果相對越好。表1為4組融合圖像在5項指標下的客觀評價結(jié)果，最優(yōu)值已通過加粗標出。

觀察表1，通過對比4組圖像上8種融合算法各自的5項客觀指標值，可以發(fā)現(xiàn)本文算法的SF在“Camp”圖像上稍低于MS-WLS算法，在“Lake”圖像上低于NSCT-PCNN和MS-WLS算法，在“Flower”圖像上稍低于MLGCF算法，在“Bench”圖像上稍低于MS-WLS算法；VIFF在“Lake”圖像上略低于MS-WLS算法，在“Octec”圖像上低于MS-WLS和MLGCF算法，其余兩組圖像上，本文算法的VIFF均為最優(yōu)值；此外，本文算法對MI、IE和SD共3項指標值的提升效果顯著，在4組融合圖像上始終為最優(yōu)值，并在IE和SD兩項指標上遠高于其他7種融合算法。綜合上述對4組融合圖像的5項客觀指標值進行分析，本文算法的整體表現(xiàn)最佳。綜合主觀視覺分析和客觀指標評價而言，本文算法的融合性能最佳，優(yōu)于其他7種傳統(tǒng)或當前流行的融合算法。

表1 4組融合圖像的客觀評價結(jié)果

4 結(jié)論

本文提出了一種基于高斯模糊邏輯和ADCSCM的紅外與可見光圖像融合算法。利用NSST的平移變換性、各向異性等特點將紅外與可見光圖像分解為低頻和高頻部分，通過自適應(yīng)加權(quán)法則指導(dǎo)低頻部分進行融合，同時通過基于ADCSCM的融合規(guī)則指導(dǎo)高頻部分進行融合。實驗結(jié)果表明，本文算法在主觀視覺和客觀指標上均表現(xiàn)更優(yōu)，其融合圖像更為清晰，紅外目標突出，紋理細節(jié)和邊緣信息也更豐富，同時能夠獲得較高的互信息、信息熵和標準差，是一種有效的紅外與可見光圖像融合算法。

[1] 劉佳, 李登峰. 馬氏距離與引導(dǎo)濾波加權(quán)的紅外與可見光圖像融合[J]. 紅外技術(shù), 2021, 43(2): 162-169.

LIU Jia, LI Dengfeng. Infrared and visible light image fusion based on mahalanobis distance and guided filter weight-ing[J]., 2021, 43(2): 162-169.

[2] 江澤濤, 何玉婷, 張少欽. 一種基于對比度增強和柯西模糊函數(shù)的紅外與弱可見光圖像融合算法[J]. 光子學報, 2019, 48(6): 149-158.

JIANG Zetao, HE Yuting, ZHANG Shaoqin. Infrared and low-light-level visible image fusion algorithm based on contrast enhancement and cauchy fuzzy function[J]., 2019, 48(6): 149-158.

[3] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

[4] 王建, 吳錫生. 基于改進的稀疏表示和PCNN的圖像融合算法研究[J].智能系統(tǒng)學報, 2019, 14(5): 922-928.

WANG Jian, WU Xisheng. Image fusion based on the improved sparse representation and PCNN[J]., 2019, 14(5): 922-928.

[5] LIU Z, FENG Y, CHEN H, et al. A fusion algorithm for infrared and visible based on guided filtering and phase congruency in NSST domain[J]., 2017, 97: 71-77.

[6] 鄧立暖, 堯新峰. 基于NSST的紅外與可見光圖像融合算法[J]. 電子學報, 2017, 45(12): 2965-2970.

DENG Linuan, YAO Xinfeng. Research on the fusion algorithm of infrared and visible images based on non-subsampled shearlet transform[J]., 2017, 45(12): 2965-2970.

[7] 王聰, 錢晨, 孫偉, 等. 基于SCM和CST的紅外與可見光圖像融合算法[J]. 紅外技術(shù), 2016, 38(5): 396-402.

WANG Cong, QIAN Chen, SUN Wei, et al. Infrared and visible images fusion based on SCM and CST[J]., 2016, 38(5): 396-402.

[8] TAN W, ZHOU H, SONG J, et al. Infrared and visible image perceptive fusion through multi-level Gaussian curvature filtering image decomposition[J]., 2019, 58(12): 3064-3073.

[9] 馮賀, 李立, 趙凱. 基于拉普拉斯分解耦合亮度調(diào)節(jié)的可見光與紅外圖像融合算法[J]. 電子測量與儀器學報, 2020, 34(10): 91-97.

FENG He, LI Li, ZHAO Kai. Fusion algorithm of visible and infrared image based on Laplace decomposition coupled with brightness adjustment[J]., 2020, 34(10): 91-97.

[10] GUO K, LABATE D. Optimally sparse multidimensional representation using shearlets[J]., 2007, 39(1): 298-318.

[11] 焦姣, 吳玲達. 向?qū)V波和NSST相結(jié)合的多光譜與全色圖像融合算法[J]. 通信學報, 2018, 39(S2): 79-87.

JIAO Jiao, WU Lingda. Multispectral and panchromatic images fusion method based on guided filter and NSST[J]., 2018, 39(S2): 79-87.

[12] ZHAN K, ZHANG H, MA Y. New spiking cortical model for invariant texture retrieval and image processing[J]., 2009, 20(12): 1980-1986.

[13] ZHAO C, HUANG Y, QIU S. Infrared and visible image fusion algorithm based on saliency detection and adaptive double-channel spiking cortical model[J]., 2019, 102:102976.

[14] 羅娟, 王立平, 譚云蘭. 二代Curvelet變換耦合細節(jié)度量模型的遙感圖像融合算法[J]. 電子測量與儀器學報, 2019, 33(7): 129-136.

LUO Juan, WANG Liping, TAN Yunlan. Remote sensing image fusion method using second generation curvelet transform coupled with detail metric model[J]., 2019, 33(7): 129-136.

[15] 蘇金鳳, 張貴倉, 汪凱. 結(jié)合魯棒主成分分析和非下采樣輪廓波變換的紅外與可見光圖像的壓縮融合[J].激光與光電子學進展, 2020, 57(4): 84-93.

SU J F, ZHANG G C, WANG K. Compressed fusion of infrared and visible images combining robust principal component analysis and non-subsampled contour transform[J]., 2020, 57(4): 84-93.

[16] YIN S, CAO L, TAN Q, et al. Infrared and visible image fusion based on NSCT and fuzzy logic[C]//2010, 2010: 671-675.

[17] 朱攀, 黃戰(zhàn)華. 基于二維經(jīng)驗?zāi)B(tài)分解和高斯模糊邏輯的紅外與可見光圖像融合[J]. 光電子·激光, 2017, 28(10): 1156-1162.

ZHU Pan, HUANG Zhanhua. Fusion of infrared and visible images based on BEMD and GFL[J]., 2017, 28(10): 1156-1162.

[18] 閆利, 向天燭. NSCT域內(nèi)結(jié)合邊緣特征和自適應(yīng)PCNN的紅外與可見光圖像融合[J]. 電子學報, 2016, 44(4): 761-766.

YAN Li, XIANG Tianzhu. Fusion of infrared and visible based on edge feature and adaptive PCNN in NSCT domain[J]., 2016, 44(4): 761-766.

[19] 侯瑞超, 周冬明, 聶仁燦, 等. 結(jié)合HSI變換與雙通道脈沖發(fā)放皮層的彩色多聚焦圖像融合[J]. 云南大學學報: 自然科學版, 2019, 41(2): 245-252.

HOU Ruichao, ZHOU Dongming, NIE Rencan, et al. Multi-focus color image fusion using HSI transform and dual channel spiking cortical model[J].: Natural Sciences Edition, 2019, 41(2): 245-252.

[20] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]., 2007, 8(2): 143-156.

[21] ZHANG Q, Guo B. Multifocus image fusion using the nonsubsampled contourlet transform[J]., 2009, 89(7): 1334-1346.

[22] MA J, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]., 2016, 31: 100-109.

[23] QU X, YAN J, XIAO H, et al. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J]., 2008, 34(12): 1508-1514.

[24] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]., 2019, 68(1): 49-64.

Infrared and Visible Image Fusion Algorithm Based on Gaussian Fuzzy Logic and Adaptive Dual-Channel Spiking Cortical Model

LI Wen，YE Kuntao，SHU Leilei，LI Sheng

(School of Science, Jiangxi University of Science and Technology, Ganzhou 341000, China)

To overcome the shortcomings of current infrared and visible image fusion algorithms, such as non-prominent targets and the loss of many textural details, a novel infrared and visible image fusion algorithm based on Gaussian fuzzy logic and the adaptive dual-channel spiking cortical model (ADCSCM) is proposed in this paper. First, the source infrared and visible images are decomposed into low- and high-frequency parts by non-subsampled shearlet transform (NSST). Then, these are combined with the new sum of the Laplacian and Gaussian fuzzy logic, and dual thresholds are set to guide the fusion of the low-frequency part; simultaneously, the fusion rule based on the ADCSCM is used to guide the fusion of the high-frequency part. Finally, the fused low- and high-frequency parts are reconstructed using inverse NSST to obtain the fused image. The experimental results show that the proposed algorithm has the best subjective visual effect and is better than the other seven fusion algorithms in terms of mutual information, information entropy, and standard deviation. Furthermore, the proposed algorithm can effectively highlight the infrared target, retain more textural details, and improve the quality of the fused image.

image fusion，non-subsampled sheartlet transform，Gaussian fuzzy logic，adaptive dual-channel spiking cortical model

TP391.41

A

1001-8891(2022)07-0693-09

2021-05-20；

2021-08-05

李文（1997-），男，碩士研究生，主要研究方向為圖像融合。E-mail：13986775110@163.com。

葉坤濤（1972-），男，博士，副教授，主要研究方向為MEMS、信號處理。E-mail：mems_123@126.com。

江西省教育廳科學技術(shù)研究項目（GJJ170526）。