孫 彬，諸葛吳為，高云翔，王梓萱

〈圖像處理與仿真〉

基于潛在低秩表示的紅外和可見(jiàn)光圖像融合

孫 彬1,2，諸葛吳為1,2，高云翔1,2，王梓萱1,2

（1. 電子科技大學(xué) 航空航天學(xué)院，四川 成都 611731；2. 飛行器集群感知與協(xié)同控制四川省重點(diǎn)實(shí)驗(yàn)室，四川 成都 611731）

紅外和可見(jiàn)光圖像融合廣泛應(yīng)用于目標(biāo)跟蹤、檢測(cè)和識(shí)別等領(lǐng)域。為了保留細(xì)節(jié)的同時(shí)增強(qiáng)對(duì)比度，本文提出一種基于潛在低秩表示的紅外和可見(jiàn)光圖像融合方法。潛在低秩分解將源圖像分解為基層和顯著層，其中基層包含主要內(nèi)容和結(jié)構(gòu)信息，顯著層包含能量相對(duì)集中的局部區(qū)域。進(jìn)一步利用比例金字塔分解得到低頻和高頻的基層子帶，并針對(duì)不同層的特點(diǎn)設(shè)計(jì)對(duì)應(yīng)的融合規(guī)則。利用稀疏表示表達(dá)低頻基層較分散的能量，設(shè)計(jì)L1范數(shù)最大和稀疏系數(shù)最大規(guī)則，加權(quán)平均融合策略保留不同的顯著特征；絕對(duì)值最大增強(qiáng)高頻基層的對(duì)比度信息；而顯著層則利用局部方差度量局部顯著性，加權(quán)平均方式突出對(duì)比度較強(qiáng)的目標(biāo)區(qū)域。在TNO數(shù)據(jù)集上的定性和定量實(shí)驗(yàn)分析表明方法具有良好的融合性能?；诘椭确纸獾姆椒軌蛟鰪?qiáng)紅外和可見(jiàn)光融合圖像中目標(biāo)對(duì)比度的同時(shí)保留了豐富的細(xì)節(jié)信息。

潛在低秩表示；顯著性分解；稀疏表示；圖像融合

0 引言

圖像融合將來(lái)自不同傳感器的圖像整合得到包含更多有效信息的融合圖像，其中紅外和可見(jiàn)光圖像融合被廣泛使用在監(jiān)控、軍事以及人臉識(shí)別等領(lǐng)域[1]。紅外圖像由于依靠物體熱輻射進(jìn)行成像，可以在低光照、煙霧等惡劣情況下捕捉到目標(biāo)，但分辨率通常較低，且成像會(huì)受環(huán)境溫度等因素的影響?？梢?jiàn)光圖像在理想的情況下可以得到分辨率較高、細(xì)節(jié)豐富的高質(zhì)量圖像，但通常受到光照、天氣、能見(jiàn)度等影響。利用紅外和可見(jiàn)光間互補(bǔ)特性的圖像融合，可以充分保留紅外圖像中顯著的目標(biāo)信息和可見(jiàn)光圖像中的紋理細(xì)節(jié)等背景信息[2]。

圖像融合依據(jù)處理層次可以大致分為像素級(jí)、特征級(jí)以及決策級(jí)3類(lèi)[3]，目前主流圖像融合算法研究集中在像素級(jí)。文獻(xiàn)[4]中基于方法論將像素級(jí)圖像融合算法分為基于多尺度分解、稀疏表示、深度學(xué)習(xí)、顯著性以及混合類(lèi)型5類(lèi)。

基于多尺度和稀疏表示的圖像融合方法，通常包含分解、融合和重構(gòu)3部分，不同之處在于多尺度方法一般是解析的固定函數(shù)變換，而稀疏表示的方法通過(guò)訓(xùn)練得到字典來(lái)表達(dá)圖像中的豐富信息。隨著深度學(xué)習(xí)的發(fā)展，Liu Yu等人[5]將卷積稀疏表示方法用于圖像融合領(lǐng)域。Ma Jiayi等人將圖像融合問(wèn)題視為一種優(yōu)化問(wèn)題[6]，通過(guò)博弈盡可能使得融合結(jié)果與紅外圖像相似，且保留可見(jiàn)光中的梯度信息，并系統(tǒng)總結(jié)[7]深度學(xué)習(xí)方法在圖像融合中的應(yīng)用。

基于紅外和可見(jiàn)光的差異，研究者提出了基于顯著性分層的融合方法。D. P. Bavirisetti等人[8]使用均值和中值濾波結(jié)果的差值，度量視覺(jué)顯著性生成融合系數(shù)。Li Hui等人[9]使用潛在低秩表示（latent low-rank representation，LatLRR）分解得到顯著層和基層，更好地利用紅外圖像與可見(jiàn)光圖像的互補(bǔ)特性。Zhang Xingchen等人[3]提出一個(gè)可見(jiàn)光和紅外圖像融合數(shù)據(jù)集，并系統(tǒng)比較了20種開(kāi)源融合方法的客觀指標(biāo)平均值，其中LatLRR方法在3個(gè)指標(biāo)上達(dá)到最優(yōu)，但顯著層采用簡(jiǎn)單的求和融合，損失了部分對(duì)比度和細(xì)節(jié)信息。

本文針對(duì)紅外和可見(jiàn)光融合圖像目標(biāo)區(qū)域?qū)Ρ榷容^小、細(xì)節(jié)保留不足的問(wèn)題，提出一種基于LatLRR分解的紅外可見(jiàn)光圖像融合框架。源圖像經(jīng)過(guò)LatLRR和多尺度分解得到顯著層、基層低頻和基層高頻，其中顯著層包含能量相對(duì)集中的局部顯著區(qū)域，基層低頻主要包含能量較為分散的全局信息，基層高頻主要包含輪廓、紋理等結(jié)構(gòu)信息。根據(jù)分層特點(diǎn)設(shè)計(jì)對(duì)應(yīng)的融合規(guī)則。針對(duì)顯著層設(shè)計(jì)突出對(duì)比度信息的加權(quán)融合規(guī)則，以更好保留顯著性信息；使用金字塔尺度分解得到基層低頻部分，針對(duì)基層低頻設(shè)計(jì)基于L1范數(shù)和稀疏系數(shù)的融合規(guī)則，保留源圖像不同區(qū)域的互補(bǔ)信息；針對(duì)基層高頻選取絕對(duì)值最大保留結(jié)構(gòu)信息。

1 相關(guān)理論

1.1 潛在低秩表示

LatLRR是Guangcan Liu等人[10]在低秩表示（low-rank representation，LRR）基礎(chǔ)上提出的。低秩表示[11]是一種從觀測(cè)矩陣中恢復(fù)原始矩陣的技術(shù)，其基本假設(shè)是原始數(shù)據(jù)滿(mǎn)足低秩，將觀測(cè)矩陣分解為一個(gè)低秩矩陣和噪聲矩陣，該問(wèn)題被描述為：

LRR無(wú)法提取局部結(jié)構(gòu)信息，而LatLRR通過(guò)求解公式(2)的優(yōu)化問(wèn)題，可以從原始數(shù)據(jù)中提取全局結(jié)構(gòu)和局部結(jié)構(gòu)信息。不僅可以將噪聲分離出來(lái)，還將顯著性信息提取出來(lái)，作為一個(gè)單獨(dú)的子空間，其問(wèn)題描述如下：

L式中：l為大于零的常數(shù)；為矩陣1范數(shù)；X為觀察得到的矩陣；XZ為分離出來(lái)的基層；LX為提取出來(lái)的顯著層，E為噪聲。從圖1中可以看出，顯著層包含局部顯著區(qū)域，是紅外和可見(jiàn)光圖像融合中重點(diǎn)保留的信息，對(duì)融合結(jié)果中目標(biāo)區(qū)域的對(duì)比度強(qiáng)弱有關(guān)鍵影響；基層由于顯著性區(qū)域部分能量被分解到了顯著層，圖像整體亮度下降，主要包含目標(biāo)整體以及背景細(xì)節(jié)。

1.2 稀疏表示

稀疏表示基于所有信號(hào)都可以被一組原子線性組合近似的假設(shè)，原子組成的矩陣被稱(chēng)為字典，且僅利用少數(shù)原子可表示，即系數(shù)存在稀疏性。稀疏表示的優(yōu)化式[12]為：

稀疏表示僅適用于低維度向量，因此需要利用滑窗技術(shù)對(duì)圖像進(jìn)行分塊，而融合中常用的“最大L1范數(shù)”易受高頻噪聲的影響，造成空間不一致性，因此稀疏表示方法更適用于處理低頻分量[13]。

1.3 多尺度變換

多尺度變換通過(guò)尺度分解得到不同分辨率、方向子帶圖像，并針對(duì)子帶圖像特點(diǎn)設(shè)計(jì)對(duì)應(yīng)的融合規(guī)則。經(jīng)典的方法包括[14]金字塔變換、小波變換、多分辨率幾何變換等。

其中比率金字塔通過(guò)相鄰兩層之間的比率實(shí)現(xiàn)尺度分解，能夠突出對(duì)比度信息。分解和重建過(guò)程如公式(4)、(5)和(6)：

式中：RP為比例低通金字塔各層的圖像；(,)為有低通特性的窗口函數(shù)；G為高斯金字塔第層圖像；Expand()為放大算子；C、R為對(duì)應(yīng)層長(zhǎng)和寬。重建過(guò)程表示為：

2 改進(jìn)后的融合方法

本文提出的圖像融合框架如圖2所示，首先利用LatLRR分解得到相應(yīng)的顯著層和基層，并將基層進(jìn)一步分解為高頻和低頻部分。以紅外圖像源為例，分解后得到的各層示意圖如圖3所示，其中顯著層提取到能量較為集中的局部顯著區(qū)域，表現(xiàn)為亮度和對(duì)比度突出的目標(biāo)區(qū)域；基層低頻包含圖像的主要內(nèi)容，表現(xiàn)為較平滑的全局信息，而基層高頻部分則包含圖像輪廓、邊緣等細(xì)節(jié)信息。

圖2 提出的算法框架圖

圖3 各層分解示例

2.1 基層融合

源圖像經(jīng)過(guò)LatLRR分解之后得到的紅外和可見(jiàn)光基層分別表示為IRbase和VIbase，如圖4所示。進(jìn)一步利用比率金字塔分解將圖像基層分解為高頻部分IRbase-high和VIbase-high以及低頻部分IRbase-low和VIbase-low，較好地保留和增強(qiáng)圖像對(duì)比度。

2.1.1 基層低頻融合

紅外和可見(jiàn)光進(jìn)行融合時(shí)，源圖像的同一位置區(qū)域可能有不同的亮度和對(duì)比度。傳統(tǒng)方法針對(duì)低頻部分通常采用加權(quán)平均方式，但平均的融合規(guī)則對(duì)于不同模態(tài)的融合容易造成能量的損失。

稀疏表示的方法對(duì)低頻部分具有良好的表達(dá)能力。本文利用稀疏表示對(duì)基層低頻部分進(jìn)行融合，并設(shè)計(jì)利用不同的融合規(guī)則加權(quán)融合保留不同的顯著特征，具體步驟如下：

2）稀疏系數(shù)的融合分別采用“最大L1范數(shù)”和“最大稀疏系數(shù)”融合規(guī)則。

①“最大L1范數(shù)”以稀疏向量的L1范數(shù)衡量特征的顯著程度：

②“最大稀疏系數(shù)”以稀疏系數(shù)的絕對(duì)值大小反映了該特征的顯著程度：

③對(duì)不同融合規(guī)則得到兩個(gè)對(duì)應(yīng)的稀疏系數(shù)向量F1和F2進(jìn)行加權(quán)平均，得到融合后的稀疏系數(shù)F，即：

圖5示意了不同規(guī)則下基層圖像的融合效果。從結(jié)果來(lái)看，兩者在圖像中的目標(biāo)區(qū)域特征保留情況相近，但在背景細(xì)節(jié)紋理上具有互補(bǔ)性。其中“最大L1范數(shù)”取自同一個(gè)源圖像的圖像塊，在該例中傾向于保留較亮的細(xì)節(jié)特征，但損失了一定的對(duì)比度。而“最大稀疏系數(shù)”將每個(gè)原子對(duì)應(yīng)的特征作為一組，選擇保留來(lái)自?xún)蓚€(gè)源圖像中更顯著的系數(shù)對(duì)應(yīng)的原子特征，組合為新的圖像塊。經(jīng)過(guò)加權(quán)融合之后的結(jié)果保證圖像對(duì)比度的同時(shí)，保留了豐富的細(xì)節(jié)。

利用字典得到融合向量F＝F并進(jìn)行重建得到基層低頻分量融合結(jié)果base-low。

2.1.2 基層高頻融合

基層高頻部分包含了圖像中的邊緣細(xì)節(jié)，對(duì)于比率金字塔分解之后得到的不同尺度高頻子帶，利用像素絕對(duì)值度量活躍程度，并使用絕對(duì)最大值的融合規(guī)則保留高頻細(xì)節(jié)信息。

2.1.3 基層重建

將融合后的低頻分量base-low和高頻分量base-high根據(jù)公式(6)進(jìn)行重建，得到融合后的基層圖像base。

2.2 顯著層融合

顯著層包含了各個(gè)源圖像中能量集中的顯著區(qū)域，其融合規(guī)則會(huì)直接影響紅外和可見(jiàn)光融合的效果。Li Hui等人[9]指出顯著層信息需要沒(méi)有損失地保留在融合結(jié)果中，并利用逐像素加和方式融合，總權(quán)重為2。

本文設(shè)計(jì)基于滑窗的局部方差度量顯著性，權(quán)重和為2以突出圖像源中的局部顯著性，具體公式如下：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)定

實(shí)驗(yàn)數(shù)據(jù)主要源自TNO數(shù)據(jù)集[15]，包含不同應(yīng)用場(chǎng)景的10對(duì)紅外可見(jiàn)光圖像對(duì)，如圖6所示。第一、三行是紅外圖像，第二、四行是對(duì)應(yīng)的可見(jiàn)光圖像。

圖5 不同融合規(guī)則融合結(jié)果

圖6 使用的10對(duì)源圖像

本文選擇了8種經(jīng)典的圖像融合算法，分別為ADF（anisotropic diffusion fusion）[16]、CSR（convolutional sparse representation）[5]、TE-MST（target-enhanced multiscale transform decomposition）[17]、FPDE（fourth order partial differential equations）[18]、GF（gradientlet filter）[19]、TIF（two-scale image fusion）[20]、LatLRR（latent low-rank representation）[9]以及MSVD（multi-resolution singular value decomposition）[21]對(duì)數(shù)據(jù)集中的圖像進(jìn)行圖像融合，與提出的方法進(jìn)行定性和定量比較分析。

實(shí)驗(yàn)在AMD Ryzen 5 4600H 3.00GHz，16GB RAM的計(jì)算機(jī)上運(yùn)行，其中金字塔分解層數(shù)為5。

3.2 融合結(jié)果及分析

圖7為源圖像“soldier behind smoke”的各個(gè)方法融合結(jié)果。紅外源圖像中包含主要目標(biāo)以及豐富的背景信息，可見(jiàn)光圖像中主要是煙霧。從對(duì)比結(jié)果中可以看出，ADF，F(xiàn)PDE，GF，MSVD得到的士兵部分邊緣細(xì)節(jié)十分模糊；CSR得到的融合結(jié)果目標(biāo)區(qū)域?qū)Ρ榷炔粡?qiáng)；TE-MST完整保留了紅外圖像中的士兵，但是背景細(xì)節(jié)和目標(biāo)區(qū)域?qū)Ρ榷葥p失較多；TIF和LatLRR目標(biāo)區(qū)域?qū)Ρ榷容^強(qiáng)，但背景信息損失較大；本文提出的方法較好地保留了背景細(xì)節(jié)以及士兵區(qū)域的完整信息，且對(duì)比度較強(qiáng)。

圖8和圖9分別為圖像“street”和“boat”的融合對(duì)比結(jié)果。圖像“street”，本文方法的融合結(jié)果在行人處整體亮度較亮，對(duì)比度顯著，而在商店周?chē)?，則保留了豐富的細(xì)節(jié)如燈牌上的文字等。對(duì)于圖像“boat”，ADF、CSR、FPDE、TIF、LatLRR、MSVD和GF等融合結(jié)果對(duì)比度普遍較低，TE-MST和本文方法得到結(jié)果中船與背景對(duì)比度較強(qiáng)，同時(shí)沒(méi)有因?yàn)轱@著部分過(guò)亮導(dǎo)致船上細(xì)節(jié)信息的損失，保留了豐富的背景紋理信息。

圖7 9種方法在‘soldier behind smoke’上的結(jié)果

本文采用EN（entropy）、AG（avgerage gradient）、CE（cross entropy）、SF（spatial frequency）、SD（standard deviation）和EI（edge intensity）6種客觀評(píng)價(jià)指標(biāo)定量評(píng)估各種方法的融合質(zhì)量[22]。EN度量圖像中的信息量；AG表示圖像的平均梯度，用于描述圖像中細(xì)節(jié)和紋理的豐富程度；CE為結(jié)果與源圖像的交叉熵，衡量的是融合之后的圖像與源圖像的相似程度，CE越小圖像間的差異越??；SF描述的是圖像在空間上的活躍程度；SD反映圖像的對(duì)比度；EI度量圖像中細(xì)節(jié)信息多少的客觀指標(biāo)。

表1為圖像“soldier behind smoke”、“street”和“boat”9種方法融合結(jié)果的客觀指標(biāo)評(píng)價(jià)結(jié)果，表中加粗?jǐn)?shù)值表示該指標(biāo)下的最優(yōu)值。圖像“soldier behind smoke”客觀評(píng)價(jià)指標(biāo)中TE-MST和本文方法分別有3個(gè)指標(biāo)最優(yōu)，與定性分析的結(jié)論基本一致。圖像“street”所提算法的大部分指標(biāo)均排名靠前。

圖8 9種方法在“street”上的結(jié)果

不同客觀評(píng)價(jià)指標(biāo)在不同源圖像上的評(píng)價(jià)排名上有差異，為了對(duì)比TNO中10對(duì)圖像源的融合效果，表2統(tǒng)計(jì)了不同圖像對(duì)的客觀指標(biāo)平均值。從統(tǒng)計(jì)結(jié)果來(lái)看，提出的融合算法能夠保留豐富的圖像細(xì)節(jié)，表現(xiàn)為EN、AG、SF和EI等反映圖像特征豐富程度的客觀指標(biāo)排名靠前，在反映融合結(jié)果與源圖像的相似程度的CE指標(biāo)上排名次優(yōu)，在反映圖像對(duì)比度的SD指標(biāo)上表現(xiàn)很好，綜上分析達(dá)到了保留細(xì)節(jié)的同時(shí)增強(qiáng)圖像對(duì)比度的效果。

表3對(duì)比不同算法對(duì)不同分辨率源圖像進(jìn)行融合的運(yùn)行時(shí)間，以及它們的均值。其中CSR、LatLRR方法和本文提出的方法由于需要對(duì)大量圖像塊進(jìn)行稀疏或低秩分解，算法復(fù)雜度非常高，運(yùn)行時(shí)間較長(zhǎng)。從統(tǒng)計(jì)結(jié)果來(lái)看，以60fps為標(biāo)準(zhǔn)，除了TE-MST、TIF方法外，大部分融合算法在未加速的情況下，均無(wú)法達(dá)到實(shí)時(shí)處理，如何在保證融合效果的同時(shí)，提升圖像融合算法的計(jì)算效率，是影響融合算法未來(lái)應(yīng)用的重要因素。

表2 9種方法在10對(duì)源圖像上的客觀指標(biāo)平均值

表3 9種方法在3種不同分辨率源圖像上的運(yùn)行時(shí)間以及平均值

4 結(jié)論

紅外和可見(jiàn)光圖像融合應(yīng)用中，紅外圖像通常包含對(duì)比度較強(qiáng)的目標(biāo)信息，而可見(jiàn)光圖像包含背景中較豐富的紋理和細(xì)節(jié)信息。基于多尺度、稀疏、深度學(xué)習(xí)等融合算法通常采用尺度變換、固定字典或深度特征來(lái)表示源圖像中的有效信息。本文利用低秩和多尺度分解得到基層低頻、基層高頻、顯著層，分別表達(dá)圖像中的全局信息、結(jié)構(gòu)和局部顯著性。針對(duì)各層的特點(diǎn)設(shè)計(jì)不同的融合規(guī)則，其中對(duì)比度較低的基層分別采用稀疏表示和比率金字塔處理低頻和高頻部分；能量相對(duì)集中的顯著層，設(shè)計(jì)方差最大融合規(guī)則增強(qiáng)局部顯著性。在TNO數(shù)據(jù)集的定性和定量實(shí)驗(yàn)分析表明，本文算法保留了較多的圖像細(xì)節(jié)并增強(qiáng)目標(biāo)區(qū)域的對(duì)比度。由于基于低秩分解的方法算法復(fù)雜度較高，無(wú)法達(dá)到實(shí)時(shí)處理的要求，研發(fā)快速融合方法滿(mǎn)足應(yīng)用需求將是未來(lái)紅外和可見(jiàn)光圖像融合的重點(diǎn)。

[1] 沈英, 黃春紅, 黃峰, 等. 紅外與可見(jiàn)光融合技術(shù)的研究進(jìn)展[J]. 紅外與激光工程, 2021(9): 1-16.

SHEN Y, HUANG C H, HUANG F, et al. Infrared and visible image fusion: review of key technologies [J]., 2021(9): 1-16 .

[2] 楊孫運(yùn), 奚崢皓, 王漢東, 等.基于NSCT和最小化-局部平均梯度的圖像融合[J]. 紅外技術(shù), 2021, 43(1): 13-20.

YANG S Y, XI Z H, WANG H D, et al. Image fusion based on NSCT and minimum-local mean gradient [J]., 2021, 43(1): 13-20.

[3] ZHANG X, YE P , XIAO G. VIFB: A Visible and Infrared Image Fusion Benchmark[C]//, 2020: 468-478.

[4] CHEN J, WU K, CHENG Z, et al, A saliency-based multiscale approach for infrared and visible image fusion[J]., 2021, 182(4): 107936.

[5] LIU Y, CHEN X, Ward R K, et al. Image fusion with convolutional sparse representation[J]., 2016, 23(12): 1882-1886.

[6] MA J Y, CHEN C, LI C , et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]., 2016, 31: 100-109.

[7] ZHANG H, XU H, TIAN X, et al. Image fusion meets deep learning: A survey and perspective[J]., 2021, 76(11): 323-336.

[8] Bavirisetti D P, D Huli R. Two-scale image fusion of visible and infrared images using saliency detection[J]., 2016, 76: 52-64.

[9] LI H , WU X J. Infrared and visible image fusion using latent low-rank representation[J/OL] [2018-04-24]. arXiv preprint. https://arxiv.org /abs/ 1804.08992.

[10] LIU G, YAN S. Latent low-rank representation for subspace segmentation and feature extraction[C]//, 2011:1615-1622.

[11] 劉琰煜, 周冬明, 聶仁燦, 等. 低秩表示和字典學(xué)習(xí)的紅外與可見(jiàn)光圖像融合算法[J].云南大學(xué)學(xué)報(bào): 自然科學(xué)版, 2019, 41(4): 689-698.

LIU Y Y, ZHOU D M, NIE R C, et al. Infrared and visible image fusion scheme using low rank representation and dictionary learning[J].:Natural Sciences Edition, 2019, 41(4): 689-698.

[12] 王凡, 王屹, 劉洋.利用結(jié)構(gòu)化和一致性約束的稀疏表示模型進(jìn)行紅外和可見(jiàn)光圖像融合[J]. 信號(hào)處理,2020, 36(4): 572-583.

WANG F, WANG Y, LIU Y. Infrared and visible image fusion method based on sparse representation with structured and spatial consistency constraints[J]., 2020, 36(4): 572-583.

[13] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]., 2015(24): 147-164.

[14] LI S, KANG X, FANG L , et al. Pixel-level image fusion: a survey of the state of the art[J]., 2017, 33: 100-112.

[15] Toet Alexander. The TNO Multiband image data collection[J]., 2017, 15: 249-251.

[16] Bavirisetti D P, Dhuli R. Fusion of infrared and visible sensor images based on anisotropic diffusion and Karhunen-Loeve transform[J]., 2015, 16(1): 203-209.

[17] CHEN J, LI X J, LUO L B, et al. Infrared and visible image fusion based on target-enhanced multiscale transform decomposition[J]., 2020, 508: 64-78.

[18] Ba Virisetti D P. Multi-sensor image fusion based on fourth order partial differential equations[C]//20(Fusion), 2017: 1-9.

[19] MA J Y, ZHOU Y. Infrared and visible image fusion via gradientlet filter[J]., 2020, 197: 103016.

[20] Bavirisetti D P, D Huli R. Two-scale image fusion of visible and infrared images using saliency detection[J]., 2016, 76: 52-64.

[21] Naidu V. Image fusion technique using multi-resolution singular value decomposition[J]., 2011, 61(5): 479-484.

[22] 劉智嘉, 賈鵬, 夏寅輝.基于紅外與可見(jiàn)光圖像融合技術(shù)發(fā)展與性能評(píng)價(jià)[J].激光與紅外,2019, 49(5): 123-130.

LIU Z J, JIA P, XIA Y H, et al. Development and performance evaluation of infrared and visual image fusion technology[J]., 2019, 49(5): 123-130.

Infrared and Visible Image Fusion Based on Latent Low-Rank Representation

SUN Bin1,2，ZHUGE Wuwei1,2，GAO Yunxiang1,2，WANG Zixuan1,2

(1.,,611731,;2.,611731,)

Infrared and visible image fusion is widely used in target tracking, detection, and recognition. To preserve image details and enhance contrast, this study proposed an infrared and visible image fusion method based on latent low-rank representation. The latent low-rank representation was used to decompose the source images into base and significant layers, in which the base layers contained the main content and structure information, and the salient layers contained the local area with relatively concentrated energy. The ratio of low-pass pyramid was also adopted to decompose the base layer intolow-frequency and high-frequency layers. The corresponding fusion rules were designed according to the characteristics of the different layers. A sparse representation was used to express the relatively dispersed energy of the low-frequency base, and the rules of the maximum L1 norm and maximum sparse coefficient were weighted averages to retain different significant features. The absolute value of the high-frequency part of the base layer was used to enhance the contrast. Local variance was used for the salient layer to measure significance, and the weighted average was used to highlight the target area with enhanced contrast. Experimental results on the TNO datasets show that the proposed method performed well in both qualitative and quantitative evaluations. The method based on low-rank decomposition can enhance the contrast of the targets and retain rich details in infrared and visible fusion images.

latent low-rank representation, saliency decomposition, sparse representation, image fusion

TP391

A

1001-8891(2022)08-0853-10

2021-08-20；

2021-09-25.

孫彬（1984-），副教授，主要研究方向?yàn)樾畔⑷诤?、圖像處理、導(dǎo)航定位。E-mail: sunbinhust@uestc.edu.cn。

四川省科技計(jì)劃資助（2020YFG0231）；四川省中央引導(dǎo)地方科技發(fā)展專(zhuān)項(xiàng)（2020ZYD016）；電子科技大學(xué)基于項(xiàng)目的研究生創(chuàng)新培養(yǎng)計(jì)劃建設(shè)項(xiàng)目（XMZ20203-9）。