摘" 要： 針對目前可見光與紅外光圖像融合過程中的關(guān)鍵細(xì)節(jié)信息丟失，目標(biāo)對比度較低的問題，提出一種基于多尺度跨階段密集連接網(wǎng)絡(luò)的圖像融合算法。通過多尺度卷積與跨階段的密集連接網(wǎng)絡(luò)實現(xiàn)雙模態(tài)圖像的特征提取工作，結(jié)合CA注意力機制提高模型的融合效果，并以[L1]范數(shù)作為特征融合規(guī)則來獲取融合特征圖，并最終通過解碼網(wǎng)絡(luò)實現(xiàn)圖像的重構(gòu)工作。實驗結(jié)果表明，在公共數(shù)據(jù)集TNO中，文中提出的算法在結(jié)構(gòu)相似度、信息熵以及差異相關(guān)系數(shù)三項指標(biāo)中獲得了最優(yōu)值，相較于次優(yōu)值分別提高了4.14%、2.66%、2.59%，在邊緣信息度量上取得了次優(yōu)值，與最優(yōu)值相差3.3%。綜合主客觀評價，文中提出的方法可獲取高質(zhì)量的融合圖像，具有明顯的優(yōu)勢。

關(guān)鍵詞： 圖像處理； 可見光與紅外光； 深度學(xué)習(xí)； 圖像融合； 多尺度； 跨階段密集連接

中圖分類號： TN911.73?34； TP391.4" " " " " " " " " "文獻標(biāo)識碼： A" " " " " " " " 文章編號： 1004?373X（2025）05?0107?08

Image fusion algorithm based on multi?scale cross?stage dense connection

ZHAI Lihong1， LUO Jiyang2

（1. Taiyuan Institute of Technology， Taiyuan 030008， China; 2. North Automatic Control Technology Institute， Taiyuan 030006， China）

Abstract： In view of the key detail information loss and low contrast of the objects in the fusion process of visible and infrared images， an image fusion algorithm based on multi?scale cross?stage densely?connected network is proposed. The feature extraction of bimodal images is realized by multi?scale convolution and cross?stage densely?connected network， and the fusion effect of the model is improved by combining CA attention mechanism. The fusion feature map is obtained by taking the norm [L1] as the feature fusion rule. Finally， the image is reconstructed by decoding the network. The experimental results show that in the public dataset TNO， the proposed algorithm achieves the optimal value for the three indicators of structural similarity， information entropy and difference correlation coefficient， which are 4.14%， 2.66% and 2.59% higher than the sub?optimal value， and achieves the sub?optimal value for the edge information measurement， which is 3.3% lower than the optimal value. From the subjective and objective evaluation， it can be seen that the proposed method can obtain high?quality fusion images， and has obvious advantages.

Keywords： image processing; visible and infrared light; deep learning; image fusion; multi?scale; cross?stage dense connection

0" 引" 言

隨著圖像采集設(shè)備與計算機視覺技術(shù)的不斷發(fā)展，監(jiān)控設(shè)備被廣泛應(yīng)用于各種安防領(lǐng)域。但是，由于有相當(dāng)一部分設(shè)備處于室外環(huán)境，在夜晚低照度或極端惡劣的天氣情況下，單一模態(tài)的可見光相機存在場景信息丟失，不足以為后續(xù)算法提供高質(zhì)量圖像的情況。針對上述問題，較為直接的方法便是提高設(shè)備硬件屬性，增加曝光時間或者增大感光面積[1]；其次，則是在攝像機中同時配置可見光與紅外傳感器，通過不同模態(tài)傳感器的互補性實現(xiàn)高質(zhì)量圖像的獲取[2]。

紅外熱成像傳感器通過感受視野中的熱輻射信息進行成像，可以全天候獲取周圍環(huán)境中的目標(biāo)信息，可見光相機則根據(jù)反射原理得到周界環(huán)境的細(xì)節(jié)紋理信息，通過融合算法便可獲取全局信息與細(xì)節(jié)信息并存的高質(zhì)量圖像，成為目標(biāo)檢測[3?4]、目標(biāo)跟蹤[5]、圖像分割[6]等計算機視覺的前置算法。相較于提高設(shè)備硬件屬性而言，對不同模態(tài)的數(shù)據(jù)進行融合的方式不僅成本更低，且提升效果更加明顯，因此成為主流的圖像增強方法[7]。

目前，圖像融合方法主要分為傳統(tǒng)算法與深度學(xué)習(xí)兩大類。在傳統(tǒng)算法中根據(jù)采用的理論不同，主要包括：基于多尺度變換（Multiscale Transformation， MST）[8?11]的方法，通過拉普拉斯等變換將圖像分解，在不同尺度上進行融合，得到最終的結(jié)果；基于稀疏表示（Sparse Representation， SR）[12?13]的方法，通過稀疏編碼獲取源圖像的稀疏系數(shù)，融合后進行圖像重構(gòu)；基于子空間的方法[14?15]，通過高維向低維的映射實現(xiàn)融合，以及基于顯著性的方法[16]。傳統(tǒng)算法根據(jù)采用的原理不同，在各自的數(shù)據(jù)集中實現(xiàn)了較好的融合效果，但其融合效果受手工設(shè)計融合規(guī)則的影響，非常依賴于先驗知識，導(dǎo)致算法普適性較差。

為了改善上述缺陷，近年來多采用基于深度學(xué)習(xí)的融合算法，這是由于卷積神經(jīng)網(wǎng)絡(luò)可以根據(jù)卷積層數(shù)的不同來有效獲取不同維度的圖像特征，因此可以更好地融合圖像信息。在深度學(xué)習(xí)領(lǐng)域，文獻[17]首先提出了一種基于密集連接網(wǎng)絡(luò)的圖像融合算法（DenseFuse），但是由于密集連接網(wǎng)絡(luò)對模型中的所有張量都進行了連接，造成了內(nèi)存占用過大的現(xiàn)象；文獻[18?19]首次在圖像融合的領(lǐng)域中引入生成對抗網(wǎng)絡(luò)（FusionGAN），但是GAN生成圖像的過程中易混入噪聲，導(dǎo)致最終生成的圖像不穩(wěn)定；文獻[20]提出了一種端到端的圖像融合網(wǎng)絡(luò)IFCNN，但其網(wǎng)絡(luò)結(jié)構(gòu)過于復(fù)雜冗余，訓(xùn)練和推理效率較低，無法在實際中進行應(yīng)用。

1" 多尺度跨階段密集連接網(wǎng)絡(luò)

在圖像融合的過程中，需要從不同模態(tài)的圖像中提取有效的特征，根據(jù)這些特征進行重建使之形成更加清晰，細(xì)節(jié)更加明顯的圖像。因此，如何選擇特征的權(quán)重便是圖像融合中較為重要的環(huán)節(jié)。紅外圖像根據(jù)目標(biāo)的溫度進行成像，溫度越高則像素值也越大，因此可有效區(qū)分不同目標(biāo)；可見光圖像則包含著目標(biāo)的細(xì)節(jié)紋理信息，可區(qū)分目標(biāo)的具體細(xì)節(jié)。因此，融合后的圖像應(yīng)盡可能地包含紅外熱源圖像中的顯著性信息以及可見光圖像的細(xì)節(jié)信息。為此，將整個融合過程定義為一個網(wǎng)絡(luò)模型，如式（1）所示：

[If=Fu[f1（Iir）f2（Ivi）]] （1）

式中：[Iir]、[Ivi]分別表示輸入的雙模態(tài)圖像；[f1（Iir）]和[f2（Ivi）]表示對不同模態(tài)的圖像經(jīng)過一系列卷積層后形成的特征層；[Fu]表示最終將特征進行融合的過程。

最終形成如圖1所示的模型架構(gòu)。網(wǎng)絡(luò)總體分為三個模塊：圖像首先經(jīng)過特征編碼網(wǎng)絡(luò)實現(xiàn)不同源圖像的特征提取，在特征融合網(wǎng)絡(luò)中進行圖像融合，再經(jīng)過解碼網(wǎng)絡(luò)重建最終圖像，實現(xiàn)可見光與紅外圖像的融合功能。

1.1" 多尺度跨階段密集連接特征提取模塊

現(xiàn)有的算法在圖像融合時往往將圖像進行分解，在不同的頻帶中將特征權(quán)重相加，這導(dǎo)致大量的計算資源被用于分解以及融合過程，同時分解過程也會隨之丟失圖像部分的紋理細(xì)節(jié)。因此，本文首先通過多尺度的卷積核進行不同視野的特征提取，避免了單尺度卷積帶來的特征丟失；其次，通過跨階段的局部密集連接網(wǎng)絡(luò)優(yōu)化網(wǎng)絡(luò)中重復(fù)的梯度信息，將梯度的變化信息集成到特征圖中，優(yōu)化網(wǎng)絡(luò)的計算效率；最終，在網(wǎng)絡(luò)中引入注意力機制，考慮不同特征之間的關(guān)聯(lián)信息，以提高融合的質(zhì)量。

1.1.1" 多尺度卷積

如圖2所示，本文采用多尺度卷積的方式對圖像進行初步的特征提取。通過不同大小的卷積核在不填充邊界的情況下會生成大小不同的特征圖，最終經(jīng)過上采樣統(tǒng)一特征圖大小。

通過這種方式在不改變原有特征圖大小的情況下，豐富圖像特征，能夠在全局視角下尋找圖像中感興趣的信息以提高模型的性能。模型在特征提取網(wǎng)絡(luò)中分別使用5×5、3×3和1×1的卷積核，實現(xiàn)了在不同的尺度上捕獲圖像的詳細(xì)特征。

1.1.2" 跨階段密集連接網(wǎng)絡(luò)

在DenseFuse中，整個編碼網(wǎng)絡(luò)中采用密集連接塊，通過對網(wǎng)絡(luò)中的每一層都添加單獨的通道，使得任意兩層網(wǎng)絡(luò)都可以直接“溝通”，從而實現(xiàn)圖像的深層特征信息提取，DenseNet密集連接網(wǎng)絡(luò)示意圖如圖3所示。

密集連接在網(wǎng)絡(luò)中的特征張量都與之前的張量進行維度拼接，因此針對[L]層的網(wǎng)絡(luò)，其中共有[L（L+1）2]個連接。DenseNet信息傳遞過程如圖4所示。

在該結(jié)構(gòu)中，每個層都包含一個稠密塊和一個過渡塊，稠密塊又包括[k]個稠密層，整個過程如式（2）所示。

[xk=wk?x0，x1，x2，…，xk-1] （2）

式中：“[?]”為卷積運算；“[ ]”表示張量拼接；[wk]與[xk]為第[k]層的權(quán)重與輸出。此時網(wǎng)絡(luò)利用反向傳播算法對權(quán)重進行更新的方程如式（3）所示：

[w′k=f（wk，g0，g1，g2，…，gk-1）] （3）

式中：[f]為權(quán)值更新函數(shù)；[gk]為第[k]個密集層的梯度。通過式（2）與式（3）可以發(fā)現(xiàn)，密集連接網(wǎng)絡(luò)在權(quán)重更新過程中大量的梯度信息用以更新不同密集層的權(quán)值，導(dǎo)致網(wǎng)絡(luò)反復(fù)學(xué)習(xí)密集層中復(fù)制的梯度信息。

針對密集連接網(wǎng)絡(luò)中計算成本較高的問題，引入跨階段局部網(wǎng)絡(luò)，如圖5所示。將每個階段中的稠密塊改為局部稠密塊，將輸入[x0]分解為[x′0，x″0]，其中[x′0]直接連接至階段末尾，而[x″0]參與密集層的運算。

此時，網(wǎng)絡(luò)的前向計算方程與權(quán)值更新方程如式（4）與式（5）所示：

[xk=wk?x0，x1，x2，…，xk-1xT=wT?x0，x1，x2，…，xkxU=wU?x0，xT] （4）

[w′k=f（wk，g0，g1，g2，…，gk-1）w′T=f（wT，g0，g1，g2，…，gk）w′U=f（wU，g0，gT）]" " " （5）

通過上述跨階段的操作，使得基礎(chǔ)層的通道層數(shù)僅為原始數(shù)據(jù)的一半，可以減少一半的計算瓶頸，并通過分塊增加梯度路徑，減少特征圖直接拼接帶來的弊端。

1.1.3" CA注意力機制

本文在網(wǎng)絡(luò)中通過多尺度卷積以及跨階段的密集連接塊雖然可實現(xiàn)圖像中不同層次間的特征獲取，但是其特征為圖像中的局部特征，缺乏特征之間的關(guān)聯(lián)信息，因此在網(wǎng)絡(luò)中引入注意力機制。目前，常用的注意力機制包括SENet、ECANet、CBAMBlock。SENet與ECANet網(wǎng)絡(luò)通常只關(guān)注通道維度的特征權(quán)重調(diào)整，忽略坐標(biāo)信息從而導(dǎo)致在進行空間感知任務(wù)時表現(xiàn)不佳。后來的CBAMBlock則通過串行的方式處理空間和通道注意力，然而，這種串行方式可能導(dǎo)致空間和通道信息關(guān)聯(lián)不足，無法充分捕捉它們之間的相互作用。因此在網(wǎng)絡(luò)中引入基于坐標(biāo)的注意力機制CA模塊，使得模型在關(guān)注空間信息的同時也關(guān)注其位置信息，CA注意力機制網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

CA注意力機制首先對圖像在高度與寬度兩個方向進行平均池化，獲取該方向的特征圖，其過程如式（6）與式（7）所示：

[zhc（h）=1W0≤i≤Wxc（h，i）] （6）

[zwc（w）=1H0≤j≤Hxc（j，w）] （7）

式中：[H]、[W]、[c]分別表示特征圖的高度、寬度以及通道數(shù)。

獲取特征向量后將兩個方向的特征圖進行拼接送入共享的1×1卷積模塊進行降維操作，再經(jīng)過歸一化處理與激活函數(shù)得到特征圖[f]，如式（8）所示：

[f=δ（F1[zh，zw]）] （8）

式中：“[·]”表示圖像的拼接；[δ]表示非線性激活函數(shù)。

將得到的特征圖[f]按照原來的高度和寬度進行卷積核為1×1的卷積升維操作，從而得到通道數(shù)與原來一樣的特征圖，經(jīng)過Sigmoid激活函數(shù)后則得到特征圖在高度和寬度上的注意力權(quán)重[gh]與[gw]，表示過程如下所示：

[gh=σFh（fh）]" （9）

[gw=σFw（fw）] （10）

經(jīng)過上述計算后將會得到輸入特征圖在高度方向的注意力權(quán)重[gh]和在寬度方向的注意力權(quán)重[gw]。最后在原始特征圖上通過乘法加權(quán)計算，將得到最終在寬度和高度方向上帶有注意力權(quán)重的特征圖，公式如下所示：

[yc（i，j）=xc（i，j）×ghc（i）×gwc（j）] （11）

1.2" 圖像融合與損失函數(shù)

1.2.1" 融合規(guī)則

對于圖像的融合策略而言，主要有直接相加、權(quán)重相加與[L1]范數(shù)等方式，相較于簡單的直接加權(quán)與權(quán)重加權(quán)，[L1]范數(shù)可以將一些權(quán)重置為0，以此來去除冗余和無關(guān)的特征，也因此可以忽略一些異常值和噪聲數(shù)據(jù)，從而減少它們對模型的影響，同時也無需額外設(shè)置權(quán)值矩陣或依賴其他先驗知識。norm?1l融合規(guī)則如圖7所示。

在圖像融合過程中，首先是將特征編碼子網(wǎng)絡(luò)中提取到的特征[?mk]通過[L1]范數(shù)對其作用程度進行計算，由[Ck]進行表示，并生成最終的融合圖像[fm]，具體計算過程如下：

[Ck（x，y）=?1：Mk（x，y）1] （12）

將初始作用程度圖以像素為中心的3×3范圍進行平均，得到最終的作用程度圖，如式（13）所示：

[Ck（x，y）=a=-rrb=-rrCk（x+a，y+b）（2r+1）2] （13）

最終通過式（14）與式（15）對圖像進行融合。

[wk（x，y）=Ck（x，y）n=1kCn（x，y）] （14）

[fm（x，y）=w1（x，y）×?m1（x，y）+w2（x，y）×?m2] （15）

1.2.2nbsp; 解碼網(wǎng)絡(luò)

解碼子網(wǎng)絡(luò)如圖8所示，可見光與紅外圖像經(jīng)過特征編碼網(wǎng)絡(luò)與融合網(wǎng)絡(luò)后進行解碼重構(gòu)，在解碼子網(wǎng)絡(luò)中，首先通過3×3、步長為1的卷積核進行降維操作，再通過BN正則化與ReLU激活進行解碼重構(gòu)，產(chǎn)生最終的融合圖像。

1.2.3" 損失函數(shù)

在模型訓(xùn)練過程中，需要通過損失函數(shù)計算模型預(yù)測的誤差，通過損失值最小化來使得模型更準(zhǔn)確地擬合訓(xùn)練數(shù)據(jù)。但是在圖像融合領(lǐng)域，無法對圖像進行標(biāo)注，從而得到正確的標(biāo)注。因此，相較于圖像的分類工作，需要重新設(shè)計損失函數(shù)。為了得到雙模圖像的有效信息，損失函數(shù)由[Lcon]（內(nèi)容損失）與[Lmaxi?grad]（最大梯度損失）兩部分組成。

[Loss=Lcon+γLmaxi?grad]" （16）

式中[γ]為權(quán)重系數(shù)，用以控制兩部分損失函數(shù)間的相關(guān)性。[Lcon]如式（17）所示：

[Lcon=1h×wsumIf-IviF+sumIf-IirF] （17）

式中：[If]表示融合圖像；[Ivi]與[Iir]代表可見光與紅外圖像；[h]和[w]表示源圖像的高度和寬度。[Lmaxi?grad]的計算公式如下：

[Lmaxi?grad=1h×wsumIf→-max（Ivis→，Iir→）L1] （18）

式中：“[?]”是梯度運算；[*L1]則表示[L1]距離通過計算源圖像的梯度，可在融合圖像中保留可見光圖像和紅外圖像的紋理信息，并最終利用[max（?）]得到源圖像的最大梯度。

2" 實驗結(jié)果分析

2.1" 實驗條件與評價指標(biāo)

2.1.1" 實驗條件

在實驗過程中選擇TNO公共數(shù)據(jù)集進行驗證，該數(shù)據(jù)集由加拿大國家光學(xué)研究所提供，所有圖像均經(jīng)過配準(zhǔn)，訓(xùn)練過程中在不同類別圖像中選取具有代表性的圖片，并進行擴容，最終形成圖像4 200對，并以8∶2的比例分為訓(xùn)練集與測試集。

本文的實驗硬件環(huán)境為：Windows 11操作系統(tǒng)，AMD Ryzen 7 5800H with Radeon Graphics 3.20 GHz，16.0 GB DDR4內(nèi)存，NVIDIA GeForce RTX 3060 12 GB獨立顯卡。通過PyTorch框架對模型進行搭建，在訓(xùn)練過程中超參數(shù)Batch size設(shè)為16、初始學(xué)習(xí)率（Learning Rate）設(shè)置為0.005，算法總迭代次數(shù)設(shè)置為160次，最終的客觀評價指標(biāo)結(jié)果通過Python計算得到。

2.1.2" 評價指標(biāo)

本文對最終圖像的融合質(zhì)量進行主客觀評價，其中客觀指標(biāo)選取SSIM（結(jié)構(gòu)相似度）、EN（信息熵）、[QAB/F]（邊緣信息度量）和SCD（差異相關(guān)系數(shù)）等4項指標(biāo)對圖像進行效果評價，計算公式分別如下：

[SSIMs， f=s， f2μsμf+c1μ2s+μ2f+c1×2σsσf+c2σ2s+σ2f+c2×σsf+c3σ2sσ2f+c3] （19）

式中：[μ]表示平均值；[σ]代表標(biāo)準(zhǔn)差；[σsf]表示協(xié)方差；[c]為常數(shù)，避免分母為0的情況出現(xiàn)。

[EN=-x=0255pxlog2（px）]" （20）

式中：[x]為灰度值；[px]是針對該灰度值的歸一化直方圖；EN越大，圖像的信息就越豐富。

[QAB/F=i=1Mj=1NQAF（i，j）wA（i，j）+QBF（i，j）wB（i，j）i=1Mj=1N（wA（i，j）+wB（i，j））] （21）

式中：[Q]表示邊緣強度；[w]代表權(quán)重；[QAB/F]越大就意味著轉(zhuǎn)移了越多的圖像信息，圖像融合質(zhì)量越好。

[SCD=1MNi=1Mj=1N[H（i，j）-H]2] （22）

式中：[M]與[N]分別為圖像的長度與寬度；[H]表示均值。SCD值越大，表示源圖像與融合圖像的相關(guān)性越高，也就是說融合后的圖像保留了更多的源圖像互補信息。

2.2" 消融實驗

為了保證本文提出模塊的有效性，在相同的訓(xùn)練情況下，對數(shù)據(jù)集中的圖像進行消融實驗，主要分為：

1） 多尺度密集連接網(wǎng)絡(luò)（Multi?Dense）；

2） 跨階段密集連接網(wǎng)絡(luò)（Multi?CSD）；

3） 加入CA注意力機制（Multi?CSDC），選取其中的“sandpath”圖像進行主觀評價，并對測試集中的數(shù)據(jù)進行客觀指標(biāo)對比，結(jié)果如圖9所示，消融實驗數(shù)據(jù)見表1。

通過圖10可以對模型進行主觀評價，相較于原始網(wǎng)絡(luò)，本文提出的模型結(jié)構(gòu)更改均可使得融合圖像質(zhì)量有不同程度的提升，圖像細(xì)節(jié)更加明顯，對比度也更高。同時，在客觀評價指標(biāo)中，所有指標(biāo)均有所提升，表明圖像的結(jié)構(gòu)相似性增加，融合圖像信息豐富，邊緣信息也保持較好，因此最終融合圖像質(zhì)量高。

2.3" 對比實驗

本文選擇NSCT、DCHWT、IFCNN、DenseFuse與FusionGAN等5種經(jīng)典融合算法與本文算法進行對比。并通過主客觀指標(biāo)進行評價，選取數(shù)據(jù)集中的兩組數(shù)據(jù)“Road”與“Kaptein_1123”進行主觀比較，圖10與圖11顯示了不同算法的融合結(jié)果。

從圖10和圖11可以看出：在選用的對比算法中，NSCT在圖像融合的過程中易產(chǎn)生區(qū)域性的黑斑或白斑，極易對后續(xù)的圖像處理算法產(chǎn)生影響；而DCHWT則出現(xiàn)了邊緣模糊的現(xiàn)象，導(dǎo)致圖像的對比度較低；DenseFuse與IFCNN最終的融合圖像中更多地保留了紅外圖像的顯著性信息，通過在“Road”圖像中標(biāo)注處可以看出，其可見光圖像中的細(xì)節(jié)丟失現(xiàn)象嚴(yán)重；相較于其他算法，本文算法的融合圖像在保持可見光圖像中紋理細(xì)節(jié)信息的同時，更好地融合了紅外圖像中的顯著性信息，且最終圖像的亮度較高，有著良好的對比度。

為了更好地分析融合圖像的質(zhì)量，本節(jié)對實驗中所使用的不同算法的融合結(jié)果進行了客觀指標(biāo)的評估。不同融合算法在測試圖像上融合結(jié)果的客觀評價指標(biāo)的均值如表2所示。

通過表2可以看出，本文提出的算法在SSIM、EN、SCD三個指標(biāo)上均達到了最優(yōu)值，在[QAB/F]指標(biāo)上也達到了次優(yōu)值，與其他方法相比較，本文提出的方法有著明顯的優(yōu)勢，可以保留較多的信息，邊緣信息完整且圖像對比度高。

3" 結(jié)" 語

本文提出了一種基于多尺度跨階段密集連接網(wǎng)絡(luò)的圖像融合算法。通過多尺度卷積與跨階段的密集連接網(wǎng)絡(luò)獲取圖像特征，并添加注意力機制來提高融合效果。實驗結(jié)果表明：在公共數(shù)據(jù)集TNO中，本文提出的算法在結(jié)構(gòu)相似度、信息熵以及差異相關(guān)系數(shù)三項指標(biāo)中獲得了最優(yōu)值，相較于次優(yōu)值分別提高了4.14%、2.66%、2.59%；在邊緣信息度量上取得了次優(yōu)值，相較于最優(yōu)值相差3.3%。綜合主客觀評價，本文提出的方法融合效果更佳，具有可靠的融合性能。

注：本文通訊作者為翟麗紅。

參考文獻

[1] 唐超影，浦世亮，葉鵬釗，等.基于卷積神經(jīng)網(wǎng)絡(luò)的低照度可見光與近紅外圖像融合[J].光學(xué)學(xué)報，2020，40（16）：37?45.

[2] MA J Y， MA Y， LI C. Infrared and visible image fusion methods and applications： A survey [J]. Information fusion， 2019， 45： 153?178.

[3] WANG J， SONG K C， BAO Y Q， et al. CGFNet： Cross?guided fusion network for RGB?T salient object detection [J]. IEEE transactions on circuits and systems for video technology， 2022， 32（5）： 2949?2961.

[4] LU R T， YANG X G， LI W P， et al. Robust infrared small target detection via multidirectional derivative?based weighted contrast measure [J]. IEEE geoscience and remote sensing letters， 2022， 19： 1?5.

[5] LI C L， XIANG Z Q， TANG J， et al. RGBT tracking via noise?robust cross?modal ranking [J]. IEEE transactions on neural networks and learning systems， 2022， 33（9）： 5019?5031.

[6] TANG L F， YUAN J T， MA J Y. Image fusion in the loop of high?level vision tasks： A semantic?aware real?time infrared and visible image fusion network [J]. Information fusion， 2022， 82： 28?42.

[7] 曲海成，胡倩倩，張雪聰.結(jié)合信息感知與多尺度特征的紅外與可見光圖像融合[J].紅外技術(shù)，2023，45（7）：685?695.

[8] CHEN J， LI X J， LUO L B， et al. Infrared and visible image fusion based on target?enhanced multiscale transform decomposition [J]. Information sciences， 2020， 508： 64?78.

[9] LIU X B， MEI W B， DU H Q. Structure tensor and nonsubsampled shearlet transform based algorithm for CT and MRI image fusion [J]. Neurocomputing， 2017， 235： 131?139.

[10] LIU Y P， JIN J， WANG Q， et al. Region level based multi?focus image fusion using quaternion wavelet and normalized cut [J]. Signal processing， 2014， 97： 9?30.

[11] ZHANG Q， MALDAGUE X. An adaptive fusion approach for infrared and visible images based on NSCT and compressed sensing [J]. Infrared physics and technology， 2016， 74： 11?20.

[12] LI H， WU X J， KITTLER J. MDLatLRR： A novel decomposition method for infrared and visible image fusion [J]. IEEE transactions on image processing， 2020， 29： 4733?4746.

[13] LIU Y， CHEN X， WARD R K， et al. Image fusion with convolutional sparse representation [J]. IEEE signal processing letters， 2016， 23（12）： 1882?1886.

[14] FU Z Z， WANG X， XU J， et al. Infrared and visible images fusion based on RPCA and NSCT [J]. Infrared physics and technology， 2016， 77： 114?123.

[15] MOU J， GAO W， SONG Z X. Image fusion based on non?negative matrix factorization and infrared feature extraction [C]// 6th International Congress on Image and Signal Processing （CISP）. New York： IEEE， 2013： 1046?1050.

[16] MA J Y， CHEN C， LI C， et al. Infrared and visible image fusion via gradient transfer and total variation minimization [J]. Information fusion， 2016， 31： 100?109.

[17] LI H， WU X J. DenseFuse： A fusion approach to infrared and visible images [J]. IEEE transactions on image processing， 2019， 28（5）： 2614?2623.

[18] MA J Y， YU W， LIANG P W， et al. FusionGAN： A generative adversarial network for infrared and visible image fusion [J]. Information fusion， 2019， 48： 11?26.

[19] 武圓圓，王志社，王君堯，等.紅外與可見光圖像注意力生成對抗融合方法研究[J].紅外技術(shù)，2022，44（2）：170?178.

[20] ZHANG Y， LIU Y， SUN P， et al. IFCNN： A general image fusion framework based on convolutional neural network [J]. Information fusion， 2020， 54： 99?118.

基金項目：山西省高等學(xué)校科技創(chuàng)新項目（2020L0671）；2023年山西省高等學(xué)校一般性教學(xué)改革創(chuàng)新項目（J20231302）

作者簡介：翟麗紅（1989—），女，山西太原人，在讀博士研究生，講師，研究方向為圖像處理、深度學(xué)習(xí)等。

羅繼陽（1988—），男，湖北隨州人，碩士研究生，工程師，研究方向為自動控制、深度學(xué)習(xí)等。