安曉東，李亞麗，王 芳

鄭州航空工業(yè)管理學(xué)院 航空宇航學(xué)院，鄭州 450046

駕駛員在夜間或傍晚光線昏暗、雨雪、煙霧、遮擋物等可視條件較差時，對車輛周圍環(huán)境信息的識別度較差，容易造成交通事故?，F(xiàn)代智能車輛普遍采用汽車高級駕駛輔助系統(tǒng)（advanced driver assistance system，ADAS）技術(shù)[1]，借助攝像頭、雷達(dá)傳感器和超聲波傳感器等傳感器“群”，通過融合不同類型數(shù)據(jù)的方法，提高對場景的認(rèn)識深度和表達(dá)能力，實(shí)現(xiàn)準(zhǔn)確識別車輛環(huán)境信息。可見光圖像包含豐富的紋理信息，紅外圖像具有目標(biāo)的顯著對比度，理論上可見光與紅外圖像融合具有良好的魯棒性和準(zhǔn)確性[2]；但目前圖像融合效果在準(zhǔn)確率、廣泛性和實(shí)時性等方面，與L3級智能駕駛和L4級自動駕駛等實(shí)際需求還存在一定的差距[3]，因此近幾年來，基于ADAS的紅外與可見光圖像融合研究日益受到國內(nèi)外學(xué)者關(guān)注。

車輛目標(biāo)跟蹤和環(huán)境識別等領(lǐng)域廣泛采用紅外與可見光圖像融合技術(shù)，針對其融合算法，研究者提出了基于傳統(tǒng)像素融合方法[4]、稀疏表示（sparse representation based methods，SR）[5]、卷 積 神 經(jīng) 網(wǎng) 絡(luò)（convolutional neural network，CNN）[6]和生成對抗神經(jīng)網(wǎng)絡(luò)（generative adversarial network，GAN）[7]等融合算法，實(shí)現(xiàn)了像素級、特征級和決策級等不同級別的圖像融合[8]。但上述融合算法各有優(yōu)缺點(diǎn)，因此研究者為增強(qiáng)融合圖像的效果，不斷提出新的融合算法和優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。

為了更好地拓展紅外與可見光圖像融合技術(shù)的應(yīng)用研究，文中針對近十四年來相關(guān)研究進(jìn)行了綜述。首先分析了車輛ADAS 系統(tǒng)對紅外和可見光融合圖像的需求，然后總結(jié)了基于數(shù)學(xué)方法框架的傳統(tǒng)像素融合算法；隨后概述了基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的融合算法；最后基于ADAS發(fā)展需求進(jìn)行了總結(jié)和展望。

1 車輛圖像融合技術(shù)需求和算法演變

紅外與可見光圖像成像原理不同，可見光圖像屬于反射成像，在白天視野較好的情況下圖像包含豐富的圖像邊緣、紋理和顏色等細(xì)節(jié)，能夠滿足車輛需求的環(huán)境信息和目標(biāo)分類，但在光亮度較差時圖像中目標(biāo)的識別度較差[9]。紅外圖像屬于熱成像，具有對比度顯著、穿透力強(qiáng)、測距遠(yuǎn)和夜間成像等特點(diǎn)，但成像為灰度圖像[10]。紅外與可見光融合圖像要在車輛變道、泊位、倒車和彎道拐彎等應(yīng)用場景下識別行人和障礙物等信息，融合過程需要提取紅外圖像顯著目標(biāo)特征，以及可見光圖像紋理和色彩等特征，使融合圖像更符合人眼視覺系統(tǒng)，如圖1 所示[11]。因此，針對車輛的特殊應(yīng)用場景，紅外與可見光圖像融合技術(shù)應(yīng)滿足以下要求：（1）高實(shí)時性，融合計(jì)算過程不能產(chǎn)生過多的參數(shù)變量，減少預(yù)警時間；（2）泛化性強(qiáng)，解決車輛復(fù)雜應(yīng)用場景造成的準(zhǔn)確度差異問題；（3）無監(jiān)督學(xué)習(xí)功能，解決人工標(biāo)注目標(biāo)特征需要占用大量時間的缺點(diǎn)；（4）融合信息共享，保障車輛報(bào)警系統(tǒng)、換道輔助、自動泊位等系統(tǒng)共享融合圖像信息，方便人-車-云互聯(lián)。

圖1 車輛應(yīng)用場景的紅外與可見光融合圖像Fig.1 Infrared and visible fusion images based on vehicle application scene

本文匯總和分析了2009—2022 年期間發(fā)表的紅外與可見光圖像融合算法文獻(xiàn)，主要的10種融合算法被研究和討論，包括曲波變換、輪廓波變換、小波變換、PCNN、主成分分析、剪切波變換、基于稀疏表示、顯著性表示、卷積神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)等。其中，2016年前主要采用數(shù)學(xué)方法進(jìn)行圖像變換的傳統(tǒng)融合算法，包括曲波變換、輪廓波變換、小波變換、主成分分析和剪切波變換等算法；2016—2019 年期間，出現(xiàn)了基于稀疏表示、顯著性表示和卷積神經(jīng)網(wǎng)絡(luò)等算法；2020年之后出現(xiàn)了生成對抗網(wǎng)絡(luò)算法。近5 年最為關(guān)注的主要融合算法為生成對抗網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、輪廓波變換、剪切波變換、基于卷積稀疏表示、顯著性、PCNN 等7 種主要算法，其中，輪廓波變換、剪切波變換、顯著性表示等屬于數(shù)學(xué)方法框架下的傳統(tǒng)意義融合算法，卷積稀疏表示、卷積神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)、PCNN等屬于基于神經(jīng)網(wǎng)絡(luò)框架下的融合算法。下面分別進(jìn)行闡述。

2 數(shù)學(xué)方法框架的傳統(tǒng)像素融合算法

傳統(tǒng)意義的紅外與可見光圖像融合算法基本上屬于像素級融合，是對經(jīng)過圖像配準(zhǔn)后的圖像直接進(jìn)行數(shù)學(xué)方法操作的處理方法。根據(jù)處理方法不同可分為非多尺度和多尺度變換，或空間域和變換域融合方式[12]。傳統(tǒng)意義上的圖像融合算法較多，對同一應(yīng)用場景各種融合算法在細(xì)節(jié)表征、顯著性、對比度和邊緣信息清晰度等方面存在差異，如圖2所示[13]。

圖2 基于傳統(tǒng)圖像融合算法的圖像效果對比Fig.2 Image effect comparison based on traditional image fusion algorithms

2.1 非多尺度與多尺度融合方法

非多尺度變換方法是直接對像素進(jìn)行處理的方法，紅外與可見光圖像的非多尺度融合算法如表1 所示[14-26]。其中，平均方法通過對像素進(jìn)行平均運(yùn)算，能夠改善融合圖像的信噪比，但削弱了對比度；為了改善對比度減小的問題，通常在局部子空間或方向上進(jìn)行能量加權(quán)[14]或梯度加權(quán)[15]，但效果并不理想。主成分分析方法（principal component analysis，PCA）的優(yōu)點(diǎn)是通過矩陣變換實(shí)現(xiàn)低維空間代替高維空間，解決關(guān)注維度空間的融合，缺點(diǎn)是由于高頻率圖像替代低頻率圖像，融合圖像容易出現(xiàn)光譜畸變，當(dāng)前主要算法有PPCA[16]和改進(jìn)PCA[17]等，廣泛應(yīng)用于圖像壓縮和融合等領(lǐng)域?；谡{(diào)制方法主要通過灰度直方圖增加圖像對比度和灰度，缺點(diǎn)是由于歸一化處理，容易造成細(xì)節(jié)丟失和增強(qiáng)過渡，該算法通常與NSCT、NSST 等算法結(jié)合，增強(qiáng)邊緣和對比度[18]。低秩表示通過對源圖像分解，獲得低秩成分和稀疏成分，該算法能夠突出圖像的全局結(jié)構(gòu)信息，但融合圖像局部保持和細(xì)節(jié)提取能力較差，常用的低秩方法有LRR[19]和LatLRR[20]等算法。非負(fù)矩陣分解方法是把圖像矩陣分解為兩個非負(fù)矩陣乘積的算法，實(shí)現(xiàn)亮度分量提取，其中NMF[21]算法被廣泛應(yīng)用。最優(yōu)化方法是把融合任務(wù)看作為優(yōu)化問題，具有貝葉斯方法[22]、馬爾可夫隨機(jī)場方法[23]等算法，具有保存較多細(xì)節(jié)信息的優(yōu)點(diǎn)，主要應(yīng)用于人類識別和分類等。引導(dǎo)濾波方法是通過局部線性函數(shù)表示的方法，具有保持邊緣的優(yōu)點(diǎn)，缺點(diǎn)是融合圖像容易產(chǎn)生光暈現(xiàn)象，細(xì)節(jié)紋理信息表達(dá)不足，主要應(yīng)用于圖像增強(qiáng)和摳圖，典型算法有GFF[24]和BF[25]等。

表1 非多尺度變換融合算法（空間域）Table 1 Fusion algorithm based on non-multi-scale transform（spatial domain）

顯著性表示具有突出區(qū)域活躍度和顯著性的優(yōu)勢，日益受到關(guān)注。根據(jù)人類視覺注意力機(jī)制，圖像不同區(qū)域在整幅圖像中的重要性不同，顯著性表示能夠考慮源圖像的局部活躍度和全局視覺顯著性，使融合圖像保留更多的感興趣信息，但顯著性表示在面對復(fù)雜背景且含有不同尺度目標(biāo)的源圖像時，存在特征描述不足等問題，融合結(jié)果不能體現(xiàn)完整顯著區(qū)域；另外，在融合過程中耗時較長，很難兼顧融合質(zhì)量和效率。顯著性檢測有權(quán)重計(jì)算和顯著目標(biāo)提取兩種應(yīng)用方式，基本的算法步驟為，首先通過顯著性檢測模型對顯著區(qū)域檢測和提取，主要采用Context-aware[26]等方法；隨后進(jìn)行圖像融合。在紅外與可見光圖像的融合過程中，顯著性表示方法主要是針對圖像感興趣區(qū)域特征的處理方法。顯著性表示通常結(jié)合多尺度變換、卷積神經(jīng)網(wǎng)絡(luò)等構(gòu)成混合網(wǎng)絡(luò)結(jié)構(gòu)，達(dá)到顯著區(qū)域檢測的目的。文獻(xiàn)[27]利用引導(dǎo)濾波改進(jìn)頻率調(diào)諧的顯著性檢測算法，獲取的融合圖像能夠突出紅外目標(biāo)，保留較多的可見光背景信息，但融合圖像對比度變化不大且目標(biāo)存在偽影現(xiàn)象。文獻(xiàn)[28]利用梯度L0范數(shù)改進(jìn)顯著性檢測算法，獲取的融合圖像中可見光細(xì)節(jié)信息豐富，紅外目標(biāo)區(qū)域突出，但該方法容易造成紅外目標(biāo)偏暗，丟失部分可見光背景信息。文獻(xiàn)[29]利用最大對稱環(huán)繞顯著性檢測算法，獲取的融合圖像紅外目標(biāo)突出，沒有區(qū)域污染的現(xiàn)象，但對比度與清晰度不高。文獻(xiàn)[30]提出顯著性檢測的雙尺度融合算法TSIFVS，該方法融合圖像信息豐富，但存在偽影現(xiàn)象。顯著性表示與NSCT結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)，使融合圖像更大程度地保留源圖像的光譜信息，并能突出源圖像中的目標(biāo)區(qū)域，但該方法融合效率低[31]。顯著性表示和NSST結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)，能夠改善融合圖像的突出目標(biāo)和對比度，但該方法在高頻系數(shù)活躍度的表現(xiàn)差[32]。文獻(xiàn)[33]利用GAN和顯著性表示的網(wǎng)絡(luò)結(jié)構(gòu)，融合圖像包含更多的源圖像顯著區(qū)域特征。

上述顯著性表示的網(wǎng)絡(luò)結(jié)構(gòu)屬于傳統(tǒng)的基于多尺度變換的紅外與可見光圖像融合，提取特征單一，融合規(guī)則需要手動設(shè)計(jì)，難以應(yīng)對多場景的應(yīng)用需要。

以上非尺度變換算法中最優(yōu)化方法可以豐富細(xì)節(jié)，加權(quán)方法能夠改善信噪比，極值方法可以提高對比度，PCA 算法能夠降維運(yùn)算，引導(dǎo)濾波可以提高邊緣保持；但單一的非多尺度變換算法都不能全面反映融合圖像多方面的要求，多數(shù)情況下與其他算法聯(lián)合構(gòu)造網(wǎng)絡(luò)結(jié)構(gòu)，達(dá)到突出某個尺度空間域的優(yōu)點(diǎn)。

2.2 多尺度融合算法

對比非多尺度變換方法，多尺度變換方法是一種廣泛采用的像素級圖像融合算法，其基本融合步驟為：首先將源圖像進(jìn)行多尺度變換分解，得到子圖像或者一系列系數(shù)；然后針對要求以及圖像特征制定融合規(guī)則，融合分解后的子圖像或系數(shù)；最后通過逆變換融合圖像。多尺度融合算法具有多尺度方向上特征細(xì)節(jié)提取的優(yōu)點(diǎn)，常用的多尺度算法如表2所示[34-52]。

表2 多尺度變換融合算法（變換域）Table 2 Fusion algorithm based on multi-scale transform（transform domain）

金字塔變換是通過金字塔變換把圖像分解成不同尺度且呈金字塔狀的子帶圖像系列，具有拉普拉斯金字塔[34]、比率低通金字塔[35]、對比度金字塔[36]、形態(tài)學(xué)金字塔[37]等算法。相對其他空間域圖像融合方法，金字塔變換為最先發(fā)展起來的多尺度變換方法，在圖像細(xì)節(jié)保留方面有較大的提升，但是金字塔變換屬于冗余變換，各層數(shù)據(jù)直接相關(guān)性大，易產(chǎn)生塊效應(yīng)；同時在逆變換過程中容易出現(xiàn)高頻細(xì)節(jié)信息丟失嚴(yán)重和圖像信噪比低的問題。

小波變換方法是基于塔式算法，首先對圖像進(jìn)行小波金字塔分解，對各分解除層從高到低進(jìn)行融合處理，最終獲得融合后的小波金字塔。小波變換有離散小波變換[38]、雙樹離散小波變換[39]、提升小波變換[40]、四元數(shù)小波變換[41]、譜圖小波變換[42]等不同算法。與金字塔變換相比，小波變換不會產(chǎn)生塊效應(yīng)，信噪比高，并降低了圖像分解過程中的信息冗余，但該算法不能有效表示圖像中具有方向性的邊緣和紋理等特征。

針對小波變換只能反映信號點(diǎn)奇異性的不足，脊波變換通過Randon 變換把圖像中線特征轉(zhuǎn)換為點(diǎn)特征，然后通過一維小波進(jìn)行奇異性檢測，克服了小波變換僅能反映“過”邊緣的特征，而無法表達(dá)邊沿特征；另外脊波變換具有很強(qiáng)的方向性奇異性特征，但脊波變換在重構(gòu)圖像中存在輕微劃痕和計(jì)算過程復(fù)雜等問題，其中RT[43]等算法廣泛應(yīng)用于圖像噪聲抑制。

基于偏微分分解的FPDE[44]、基于支持度的SVT[45]、基于曲波變換的CVT[46]等算法目前應(yīng)用不多，故不再對其進(jìn)行介紹。以下針對應(yīng)用廣泛的輪廓波變換、剪切波變換、稀疏表示等3 種算法進(jìn)行分析，其中稀疏表示算法與卷積稀疏表示算法在3.2.2小節(jié)進(jìn)行介紹。

2.2.1 非下采樣輪廓波變換

為獲取圖像方向信息，消除吉布斯現(xiàn)象，解決平移不變性等問題，文獻(xiàn)[53]提出了非下采用輪廓波（nonsubsampled contourlet transform，NSCT）算法，網(wǎng)絡(luò)結(jié)構(gòu)包括非下采樣金字塔分解（NSPFB）和非下采樣方向?yàn)V波器（NSDFB）兩部分。NSCT變換是對Contourlet變換的改進(jìn)，不僅具有多分辨率及各向異性，還具有平移不變性[54]，能有效地提取圖像紋理特征及邊緣信息，且融合過程中不會產(chǎn)生抖動現(xiàn)象。NSCT 主要變換方法如圖3所示，首先采用非下采樣金字塔分解對圖像進(jìn)行塔式分解，將圖像分解為一個低頻子帶和多個環(huán)形高頻帶通子帶；然后，利用非下采樣方向?yàn)V波器將上一步分解得到的高頻子帶進(jìn)行多方向分解，進(jìn)一步重復(fù)這一過程，直至分解結(jié)束。非下采樣方向?yàn)V波器在每次分解前都對相應(yīng)的濾波器進(jìn)行上采樣，再對分解子帶進(jìn)行分析濾波，確保所有分解后的低頻和高頻子帶與輸入圖像尺寸大小相同。

圖3 NSCT變換方法Fig.3 NSCT transformation methods

NSCT通常與PCA、PCNN、局部能量等算法構(gòu)建混合網(wǎng)絡(luò)結(jié)構(gòu)，文獻(xiàn)[55]利用主成分分析算法，并結(jié)合NSCT，使融合圖像取得較好的融合效果；文獻(xiàn)[56]提出NSCT與PCA和PCNN相結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)，該算法具有突出細(xì)節(jié)表征能力的優(yōu)點(diǎn)，但運(yùn)算效率不高；文獻(xiàn)[57]采用局部能量和NSCT的混合網(wǎng)絡(luò)，能夠有效保留圖像細(xì)節(jié)信息和增加信息量，但該算法相比DWT、Contourlet等算法，該混合網(wǎng)絡(luò)結(jié)構(gòu)表現(xiàn)并不突出。

NSCT 相比小波變換和金字塔變換等算法，其變換過程不存在上采用和下采用過程，因此消除了輪廓變換過程中出現(xiàn)的頻譜混疊現(xiàn)象，但是NSCT 分解過程復(fù)雜，計(jì)算效率較低，難以應(yīng)用于實(shí)時性要求高的場景。

2.2.2 非下采樣剪切波變換

為滿足高實(shí)時性要求，非下采用剪切波變換（nonsubsampled shearlet transform，NSST）被提出，NSST 變換由非下采樣金字塔濾波器組和剪切濾波器組成[58]，主要變換方法如圖4所示，首先利用非下采樣金字塔濾波器組對圖像進(jìn)行k層多尺度分解，形成1個低頻子帶和k個高頻子帶，實(shí)現(xiàn)平移不變性；然后利用剪切濾波器對高頻子帶進(jìn)行多方向分解，形成高頻方向子帶系列，從而有效地捕獲方向信息，保持各向異性。

圖4 NSST變換方法Fig.4 NSST transformation methods

NSST避免下采樣的操作，表現(xiàn)出平移不變性，同時相比于NSCT還具有運(yùn)算簡單、時間復(fù)雜度低以及良好的稀疏表示性能等特性，優(yōu)越的信息捕獲和表示能力使NSST成為一種流行的紅外與可見光圖像融合方法。文獻(xiàn)[59]在NSST 基礎(chǔ)上，引入?yún)^(qū)域平均能量和局部對比度的融合規(guī)則，將空間域分析和多尺度分析的優(yōu)點(diǎn)最大程度地融合在一起，降低了圖像的冗余信息。文獻(xiàn)[60]基于自適應(yīng)NSST-PCNN網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行紅外與可見光圖像融合，該算法提高了對比度和保留細(xì)節(jié)信息，但與NSST 相比增加了運(yùn)行效率。文獻(xiàn)[61]采用NSST 與PCNN的雙通道融合算法，達(dá)到了增強(qiáng)融合圖像信息和效果的目的。文獻(xiàn)[62]采用NSST與引導(dǎo)濾波結(jié)合的方法，保留了更多的邊緣信息，但源圖像每一層的特征頻帶需要分別進(jìn)行融合處理，運(yùn)行時間較長。

相比NSCT變換方法NSST有利于源圖像細(xì)節(jié)和紋理特征的提取，具有高稀疏性和準(zhǔn)確表征融合信息的特征；但是NSST分解時由于引入了非下采用金字塔變換的方法，容易造成高頻子帶圖像細(xì)節(jié)的丟失，降低融合圖像的亮度。

上述以多尺度為基本網(wǎng)絡(luò)構(gòu)架的融合算法，依賴于預(yù)先定義的變換方式對源圖像進(jìn)行分解，當(dāng)在光線昏暗時圖像的對比度、紋理等特征較差，并包含噪聲，預(yù)先定義的變換并不能自適應(yīng)地調(diào)整源圖像在融合規(guī)則中比重，導(dǎo)致融合過程不能同時保留輪廓信息和輪廓內(nèi)的紋理細(xì)節(jié)信息，出現(xiàn)細(xì)節(jié)丟失或者輪廓模糊的問題。

3 神經(jīng)網(wǎng)絡(luò)框架的融合算法

隨著神經(jīng)科學(xué)和認(rèn)知科學(xué)的發(fā)展，早期的神經(jīng)科學(xué)家構(gòu)造了一種模仿人腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，但是在解決圖像和語音識別等優(yōu)化過程中，容易出現(xiàn)局部最優(yōu)問題，造成梯度消失現(xiàn)象；為了解決以上問題，出現(xiàn)了一種深層前饋神經(jīng)網(wǎng)絡(luò)，即卷積神經(jīng)網(wǎng)絡(luò)。上述兩種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在紅外與可見光圖像融合實(shí)際應(yīng)用中日益受到關(guān)注，因此針對其算法特征歸納如下。

3.1 脈沖耦合神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)方法是通過非線性變換的映射模型，把多個并行圖像數(shù)據(jù)變換為一個數(shù)據(jù)表示，具有并行性好的特征，有雙模態(tài)神經(jīng)網(wǎng)絡(luò)方法[63]、脈沖耦合神經(jīng)網(wǎng)絡(luò)（pulse coupled neural network，PCNN）[64]、多層感知器[65]等類型。PCNN 相比于其他空間域算法，能夠解決細(xì)節(jié)層細(xì)節(jié)丟失的問題，提高細(xì)節(jié)表達(dá)能力，因此實(shí)際選用PCNN算法的較多。

PCNN 屬于決策級融合，融合方法如圖5 所示，首先，將源圖像多尺度分解為低頻和高頻子帶；然后，設(shè)計(jì)融合規(guī)則融合低頻和高頻子帶；最后，采用逆變換方法生成最終的融合圖像。

圖5 基于PCNN的圖像融合方法Fig.5 Image fusion method based on PCNN

PCNN 主要應(yīng)用于圖像的高頻子帶或者同時作用于高低子帶進(jìn)行融合。在紅外與可見光圖像融合網(wǎng)絡(luò)結(jié)構(gòu)中PCNN 通常與曲波變換、NSCT 和NSST 等算法構(gòu)建混合融合網(wǎng)絡(luò)結(jié)構(gòu)，提高細(xì)節(jié)表達(dá)能力。文獻(xiàn)[66]提出曲波變換與PCNN的融合方法，相比傳統(tǒng)方法該融合算法具有更好的視覺效果，在熵、平均梯度、標(biāo)準(zhǔn)差等指標(biāo)優(yōu)于其他方法。文獻(xiàn)[67]構(gòu)建PCNN和NSCT網(wǎng)絡(luò)結(jié)構(gòu)，融合圖像在邊緣和紋理細(xì)節(jié)等方面優(yōu)勢明顯，但PCNN 的參數(shù)設(shè)定對紅外與可見光圖像的融合效果影響較大；文獻(xiàn)[68]提出NSST和IPCNN融合網(wǎng)絡(luò)，融合圖像提高了細(xì)節(jié)稀疏表示的性能和對比度，但清晰度不高。

PCNN算法與其他神經(jīng)網(wǎng)絡(luò)算法相比，無需訓(xùn)練與學(xué)習(xí)過程，可有效提取圖像信息，PCNN 算法中神經(jīng)元與圖像像素一一對應(yīng)，解決了傳統(tǒng)方法中圖像細(xì)節(jié)丟失的問題；但PCNN 網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，參數(shù)設(shè)置復(fù)雜；另外，其與多尺度變換組合的方法，只是實(shí)現(xiàn)了網(wǎng)絡(luò)結(jié)構(gòu)的局部自適應(yīng)。

3.2 基于深度學(xué)習(xí)的融合算法

深度學(xué)習(xí)（deep learning，DL）是一種基于人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過神經(jīng)元逐級傳遞，上層神經(jīng)元的輸出作為下層神經(jīng)元的輸入，經(jīng)過多層神經(jīng)元后直到輸出層。DL 神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性擬合能力，能夠自動從數(shù)據(jù)中提取特征和估計(jì)期望分布，自2017 年后被廣泛應(yīng)用于計(jì)算機(jī)視覺、跟蹤識別和圖像融合等領(lǐng)域。針對深度學(xué)習(xí)算法框架在紅外與可見光圖像融合技術(shù)的應(yīng)用研究，主要體現(xiàn)在基于CNN、CSR 和GAN 等網(wǎng)絡(luò)框架方面。

3.2.1 基于卷積神經(jīng)網(wǎng)絡(luò)的融合算法

CNN融合算法是一種典型深度學(xué)習(xí)特征級融合方法，網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層、卷積層、激活池化層、全連接層和輸出層等；卷積核映射出一個新的特征平面并提取特征，不同卷積層可以選擇對應(yīng)的卷積核；池化層用于降低特征平面的分辨率及抽象；激活函數(shù)的非線性使得神經(jīng)網(wǎng)絡(luò)幾乎可以任意逼近非線性函數(shù)，用以解決梯度消失的問題。紅外與可見光融合網(wǎng)絡(luò)結(jié)構(gòu)一般分為兩部分，一是分別由紅外與可見光圖像的卷積層和池化層交替連接構(gòu)成骨干網(wǎng)絡(luò)，用以從輸入中提取不同類型圖像豐富的特征；二是全連接層，連接紅外與可見光特征圖平，聚合全局信息并將其映射到輸出空間，如圖6所示[69]。

圖6 CNN融合網(wǎng)絡(luò)Fig.6 Fusion network based on CNN

紅外與可見光圖像的CNN 融合算法主要分為兩類，分別是圖像特征的深度提取和融合網(wǎng)絡(luò)構(gòu)建。在深度 提 取 方 面，19Layer 的VGG 網(wǎng) 絡(luò) 結(jié) 構(gòu)[70]，18Layer、34Layer、50Layer、101Layer 和152Layer 的 參 差 網(wǎng) 絡(luò)（residual network，ResNet）結(jié)構(gòu)[71]等被提出，其中ResNet-152 和VGG-19 被 廣 泛 應(yīng) 用，ResNet-152 網(wǎng) 絡(luò) 深 度 是VGG-19 的8 倍，網(wǎng)絡(luò)深度的增加提高了圖像的深度特征能力，但較多的卷積層參數(shù)映射造成了參數(shù)量增多、計(jì)算量增大和計(jì)算硬件要求高等問題。文獻(xiàn)[72]采用4層卷積層的編碼器和3層卷積層解碼器的DenseFuse網(wǎng)絡(luò)，解決了紅外與可見光圖像融合過程梯度消失和參數(shù)數(shù)量過多的問題，但存在輸出特征中有大量冗余信息的問題。2020年，文獻(xiàn)[73]采用DenseNet作為子網(wǎng)絡(luò)進(jìn)行特征提取和重構(gòu)，并把該算法應(yīng)用于無監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)。

為了突出紅外與可見光圖像融合過程中局部區(qū)域的特征，結(jié)合CNN和其他算法的網(wǎng)絡(luò)結(jié)構(gòu)被構(gòu)建，2019年，文獻(xiàn)[74]對源圖像進(jìn)行多尺度分解，在細(xì)節(jié)層進(jìn)行CNN 提取細(xì)節(jié)特征，但是沒有充分利用中間卷積操作獲得的特征；2020 年，文獻(xiàn)[75]采用視覺顯著性權(quán)重圖（VSWM）與CNN相結(jié)合的改進(jìn)網(wǎng)絡(luò)框架。上述構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)的一般方法是，首先針對細(xì)節(jié)特征提取，通過CNN 網(wǎng)絡(luò)設(shè)計(jì)卷積層數(shù)、卷積核大小、池化層、輸入和輸出通道數(shù)等，例如，2019 年，文獻(xiàn)[76]構(gòu)建IVFuseNet網(wǎng)絡(luò)結(jié)構(gòu)，包括4 層不同的卷積層，卷積核大小分別為11×11，5×5，3×3，3×3，2層2×2的池化層，實(shí)現(xiàn)深度網(wǎng)絡(luò)預(yù)測；然后，結(jié)合其他算法設(shè)定融合規(guī)則，例如，2020年，文獻(xiàn)[77]結(jié)合加權(quán)算法進(jìn)行特征的融合層設(shè)計(jì)，該算法主要應(yīng)用于監(jiān)督神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；2021 年，文獻(xiàn)[78]把變分模型轉(zhuǎn)化為損失函數(shù)，用輸出圖像和原圖像表示正則化項(xiàng)，最后利用深度卷積神經(jīng)網(wǎng)絡(luò)算法融合圖像，該算法主要應(yīng)用于多聚焦圖像融合。通過上述網(wǎng)絡(luò)結(jié)構(gòu)加深或者融合其他算法進(jìn)行設(shè)計(jì)，減少了融合圖像噪聲，突出了紅外圖像對比度和可見光圖像包含相對豐富的細(xì)節(jié)信息，使細(xì)節(jié)特征更加自然。

相對于傳統(tǒng)的紅外與可見光圖像細(xì)節(jié)層融合規(guī)則，卷積神經(jīng)網(wǎng)絡(luò)有著強(qiáng)大的特征提取能力，可以在融合過程中有效的提取圖像的深層細(xì)節(jié)信息以及平滑噪聲，實(shí)現(xiàn)模型的自適應(yīng)融合，具有較強(qiáng)的容錯性和魯棒性。但是存在以下問題：（1）卷積神經(jīng)網(wǎng)絡(luò)需要一個大的數(shù)據(jù)集來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，在紅外與可見光圖像融合領(lǐng)域中一般不存在標(biāo)準(zhǔn)參考圖像；（2）多數(shù)傳統(tǒng)方法的特征特取和融合規(guī)則需要手工設(shè)計(jì)。

卷積神經(jīng)網(wǎng)絡(luò)是當(dāng)前經(jīng)常采用的深度學(xué)習(xí)圖像融合方法，基于CNN的融合算法能夠?qū)崿F(xiàn)端到端、無監(jiān)督學(xué)習(xí)、提高細(xì)節(jié)表征、圖像深度提取等功能優(yōu)勢，因此未來與不同種算法結(jié)合的混合卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)將成為研究人員普遍采用的方法。

3.2.2 基于卷積稀疏表示的融合算法

稀疏表示理論通常結(jié)合PCNN[79]、小波變換[80]、NSCT[81]等多尺度變換算法構(gòu)造融合網(wǎng)絡(luò)結(jié)構(gòu)，在紅外與可見光圖像融合領(lǐng)域得到了廣泛的應(yīng)用，能夠有效表示原始圖像的顯著特征，然而基于稀疏表示理論的圖像融合方法所采用的局部建模方式易于導(dǎo)致語義信息損失和對誤匹配的低容忍度兩大缺陷。CSR 的基本原理是通過一組預(yù)先訓(xùn)練的卷積字典濾波器將源圖像分解為一系列的卷積稀疏相應(yīng)圖，每張卷積稀疏相應(yīng)圖都包含了目標(biāo)不同層級的信息，融合圖像視為卷積和，如公式（1）所示：

文獻(xiàn)[82]首次把CSR應(yīng)用于紅外與可見光圖像，證明了CSR 對克服上述不足具有巨大的優(yōu)勢；隨后文獻(xiàn)[83]增加卷積稀疏層數(shù)實(shí)現(xiàn)更有效的圖像融合，但是降低了計(jì)算效率。CSR 結(jié)合其他算法對紅外與可見光圖像進(jìn)行融合，應(yīng)用于多聚焦圖像融合、跟蹤和識別等領(lǐng)域，體現(xiàn)了在突出表征圖像特征方面的巨大優(yōu)勢。文獻(xiàn)[84]采用NSCT 和CSR 的網(wǎng)絡(luò)結(jié)構(gòu)，增強(qiáng)了融合圖像的對比度。文獻(xiàn)[85]結(jié)合CSR引導(dǎo)濾波器、高斯濾波器和非下采樣方向?yàn)V波器等，提高了融合圖像的多特征提取能力。文獻(xiàn)[86]采用DTCWT和CSR的網(wǎng)絡(luò)結(jié)構(gòu)。上述融合方法利用多尺度變換將圖像多層分解，但隨著分解層數(shù)的增加，噪聲和配準(zhǔn)對融合效果的影響增大，CSR 雖然能改善多尺度變換中特征信息不足和配準(zhǔn)要求高的問題，但其仍然存在以下問題：（1）過完備字典的信號表示能力有限，容易造成圖像紋理細(xì)節(jié)信息丟失；（2）滑窗技術(shù)分割出的重疊小塊，降低了運(yùn)行效率。

CSR 與SR 的局部變換方式不同，CSR 有效抑制了SR 應(yīng)用于圖像融合所導(dǎo)致的兩大缺陷；CSR 相比CNN等融合方法在計(jì)算復(fù)雜度方面具有明顯的優(yōu)勢。CSR具備全局建模能力，在無匹配條件下具有明顯的優(yōu)勢，是一種基于非監(jiān)督學(xué)習(xí)的融合網(wǎng)絡(luò)，無需大量帶有標(biāo)簽的訓(xùn)練樣本，CSR的卷積稀疏字典訓(xùn)練和卷積稀疏響應(yīng)圖的求解方法對融合效果的影響較大，而CSR則是利用滑窗技術(shù)將圖像分割成多個重疊小塊并將其向量化，通過學(xué)習(xí)超完備字典來進(jìn)行圖像融合，有利于圖像更好的提取和表達(dá)。

3.2.3 基于生成對抗網(wǎng)絡(luò)的融合算法

GAN網(wǎng)絡(luò)在2014年首次被提出后在深度學(xué)習(xí)領(lǐng)域被廣泛關(guān)注，其網(wǎng)絡(luò)結(jié)構(gòu)主要利用生成損失函數(shù)控制生成器保留源圖像的特征信息，再利用生成器與判別器之間的對抗損失，使融合圖像獲取源圖像更多的細(xì)節(jié)信息，提高融合質(zhì)量[87]。GAN網(wǎng)絡(luò)結(jié)構(gòu)的基本算法框架如圖7 所示，網(wǎng)絡(luò)包括生成器和判別器兩部分，其中生成器將輸入數(shù)據(jù)生成新的樣本，判別器用來判別樣本是來自于真實(shí)數(shù)據(jù)或者生成器生成的，通過不斷迭代直到判別器無法區(qū)分生成的樣本數(shù)據(jù)和真實(shí)數(shù)據(jù)，判別器的目標(biāo)是迫使融合圖像具有可見光圖像中存在的更多細(xì)節(jié)，由于GAN可以在不受監(jiān)督的情況下更好地估計(jì)目標(biāo)的概率分布，具有擬合多個分布的特征。

圖7 生成對抗網(wǎng)絡(luò)基本結(jié)構(gòu)Fig.7 Basic structure of generative adversarial network

GAN網(wǎng)絡(luò)在紅外與可見光圖像融合的應(yīng)用主要集中于生成器和鑒別器組成網(wǎng)絡(luò)的復(fù)雜程度，以及對生成器或者鑒別器的局部網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)。在GAN網(wǎng)絡(luò)的復(fù)雜程度方面，2019 年，文獻(xiàn)[7]首次將GAN 網(wǎng)絡(luò)應(yīng)用于紅外與可見光圖像融合，提出FusionGAN 網(wǎng)絡(luò)結(jié)構(gòu)，但由于FusionGAN采用單一的對抗機(jī)制，導(dǎo)致融合結(jié)果不平衡偏向于紅外圖像，以及可見光圖像紋理邊緣信息丟失嚴(yán)重的問題。同年又提出具有增強(qiáng)融合細(xì)節(jié)保留的GAN 網(wǎng)絡(luò)[88]，相對于FusionGAN 網(wǎng)絡(luò)結(jié)構(gòu)在一定程度上改善了融合圖像的紋理邊緣信息丟失問題；但忽視了紅外圖像中的細(xì)節(jié)和亮度信息，這樣使融合圖像丟失了大量的紅外圖像的信息。為了保持紅外圖像信息，2020年，文獻(xiàn)[89]提出雙鑒別器的DDcGAN網(wǎng)絡(luò)；2021年，文獻(xiàn)[90]提出具有兩個生成器與一個鑒別器的雙層生成對抗網(wǎng)絡(luò)；2021 年，提出雙融合路徑生成對抗網(wǎng)絡(luò)DFPGAN[91]網(wǎng)絡(luò)；2021年提出多分類器約束的GANMcC網(wǎng)絡(luò)[92]、ResNetGAN[93]網(wǎng)絡(luò)。上述GAN 網(wǎng)絡(luò)復(fù)雜度的增加，能夠部分緩解融合不平衡問題，但融合圖像中在對抗網(wǎng)絡(luò)訓(xùn)練過程中產(chǎn)生梯度消失的現(xiàn)象，造成目標(biāo)邊緣模糊，紋理邊緣信息依然缺失，缺乏突出源圖像中典型區(qū)域的能力。

為了解決上述AGN 融合網(wǎng)絡(luò)結(jié)構(gòu)中存在的問題，GAN 網(wǎng)絡(luò)引入局部二進(jìn)制模式LBP、二維窗口經(jīng)驗(yàn)?zāi)Ｊ椒纸釽EMD、二維經(jīng)驗(yàn)?zāi)B(tài)分解BEMD、注意力集中Attention、語義分割等算法。2020年，文獻(xiàn)[94]提出基于注意力生成對抗網(wǎng)絡(luò)AttentionFGAN；2020年，文獻(xiàn)[95]提出LBP-BEGAN 網(wǎng)絡(luò)，采用LBP 的損失函數(shù)成功地保留了源圖像中的大量信息。2021 年，文獻(xiàn)[96]提出MFF-GAN 網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)了高細(xì)節(jié)保存的多焦圖像融合；2022年，文獻(xiàn)[97]提出TGFuse網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)端到端融合。

基于GAN的融合算法以CNN網(wǎng)絡(luò)結(jié)構(gòu)為框架，通過強(qiáng)特征提取能力，極大地提高了融合質(zhì)量，并利用源圖像與生成圖像的對抗，實(shí)現(xiàn)源圖像對學(xué)習(xí)參數(shù)的監(jiān)督；但是因卷積核大小以及網(wǎng)絡(luò)深度的限制，卷積核所提取的特征依賴圖像某一位置相關(guān)性最強(qiáng)的局部區(qū)域，忽略了特征圖通道之間的相關(guān)性。

4 結(jié)論與展望

4.1 結(jié)論

針對紅外與可見光圖像融合算法，前文總結(jié)了基于數(shù)學(xué)方法框架的傳統(tǒng)像素融合算法和基于神經(jīng)網(wǎng)絡(luò)框架融合算法的網(wǎng)絡(luò)結(jié)構(gòu)特征和發(fā)展趨勢，結(jié)合當(dāng)前車輛ADAS系統(tǒng)對紅外與可見光融合圖像技術(shù)的需求，獲得以下結(jié)論：

（1）顯著性分析具有突出源圖像感興趣目標(biāo)區(qū)域信息的特征；GAN 具有提高融合細(xì)節(jié)圖像質(zhì)量的優(yōu)勢；NSST計(jì)算效率實(shí)時性好，但圖像亮度低等特征。因此，融合顯著性表示、GAN 和NSST 等算法的網(wǎng)絡(luò)結(jié)構(gòu)，能夠滿足車輛對紅外與可見光融合圖像的高實(shí)時性和行人目標(biāo)清晰識別的需求。

（2）CNN具有深層圖像特征的能力，CNN與NSCT、NSST、輪廓波變換等多尺度算法融合可以增加對車輛環(huán)境信息的理解深度；在考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度時，CSR與多尺度算法混合有助于提高卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)算時間。

（3）考慮到融合圖像信息在車輛通信網(wǎng)絡(luò)上的信息共享，融合圖像容量不能太大，基于壓縮感知和稀疏表達(dá)與深度學(xué)習(xí)等混合融合算法應(yīng)用于車輛場景的研究將是關(guān)注熱點(diǎn)之一。

4.2 未來展望

隨著車輛無人駕駛技術(shù)和智能網(wǎng)聯(lián)車輛的發(fā)展，紅外與可見光圖像融合技術(shù)在車輛識別可視條件較差環(huán)境方面的作用日益重要，并結(jié)合當(dāng)前圖像融合的發(fā)展現(xiàn)狀和問題，未來關(guān)于紅外與可見光圖像融合的研究以期延伸到以下幾個方面：

（1）由于車輛應(yīng)用場景的復(fù)雜性，缺乏統(tǒng)一的數(shù)據(jù)集和樣本標(biāo)簽，以及不能在此基礎(chǔ)上進(jìn)行不同算法的優(yōu)劣對比，因此未來發(fā)展車輛應(yīng)用環(huán)境的紅外與可見光數(shù)據(jù)集和評價指標(biāo)將是非常有必要的。

（2）發(fā)展泛化性好的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)算法，其中端到端卷積神經(jīng)網(wǎng)絡(luò)模型具有較好的應(yīng)用前景。

（3）為了提高人眼的視覺效果，發(fā)展彩色轉(zhuǎn)換模型用于彩色可見光與紅外圖像融合算法中，滿足車輛在不同應(yīng)用場景時的視覺融合效果。