王文卿，高鈺迪，劉 涵，謝 國，焦鵬飛

(1.西安理工大學(xué) 自動化與信息工程學(xué)院，陜西 西安 710048；2.陜西省復(fù)雜系統(tǒng)控制與智能信息處理重點實驗室，陜西 西安 710048)

隨著傳感器技術(shù)的快速發(fā)展，不同類型的成像傳感器可提供不同特性的圖像數(shù)據(jù)。單一圖像數(shù)據(jù)的特性難以滿足用戶需求。圖像融合作為一種增強技術(shù)，實現(xiàn)了多類圖像數(shù)據(jù)的有效結(jié)合，為后續(xù)處理或者決策提供信息豐富且魯棒的圖像數(shù)據(jù)[1]。

紅外與可見光圖像融合是圖像融合研究的重要內(nèi)容之一，被廣泛應(yīng)用于極端環(huán)境下的視頻監(jiān)控、目標(biāo)檢測與識別等研究領(lǐng)域?？梢姽鈧鞲衅魈綔y目標(biāo)場景的光譜反射特性，具備較高的空間分辨率和清晰的紋理細節(jié)信息，但其受光線條件的限制，無法在特殊環(huán)境下，例如夜晚、云霧天氣或遮擋物，捕獲清晰的場景圖像。近紅外傳感器探測目標(biāo)場景的熱輻射能量分布，不受光照環(huán)境的限制。然而紅外圖像清晰度和對比度較低，像素分辨率限制圖像的細節(jié)表現(xiàn)能力，成像質(zhì)量受外界干擾嚴重，導(dǎo)致紅外圖像邊緣信息模糊[2]。圖像融合技術(shù)能夠?qū)⒓t外圖像的目標(biāo)信息與可見光圖像的紋理細節(jié)信息有效結(jié)合，為圖像的解譯與識別提供信息保障。

基于多尺度分解的融合方法是最具代表性的紅外與可見光融合技術(shù),其主要實現(xiàn)步驟可歸納如下：1)利用多尺度變換算法將輸入圖像進行分解，獲得其多尺度表示系數(shù)；2)設(shè)計融合策略實現(xiàn)表示系數(shù)融合；3)對融合的多尺度表示系數(shù)進行逆變換，從而得到最終融合圖像。圖像融合中常用的多尺度變換方法有：Laplace金字塔、小波變換、曲波變換、輪廓波變換、剪切波變換、邊緣保存分解方法等[3-6]。為了提高融合圖像的質(zhì)量，常用融合策略有：基于系數(shù)、窗口與區(qū)域的活躍度測量方法、最大值選擇與基于加權(quán)平均的系數(shù)組合方法、基于窗口或區(qū)域的一致性驗證方法等[5]。

近年來，稀疏表示理論因其優(yōu)秀顯著性信息表達能力在圖像處理領(lǐng)域得到廣泛應(yīng)用，并被成功用于紅外與可見光圖像融合?；谙∈璞硎镜募t外與可見光圖像融合方法主要從三個方向展開研究：1)字典構(gòu)造；2)稀疏編碼；3)融合規(guī)則設(shè)計。傳統(tǒng)的固定基字典，如離散余弦字典[7]、多尺度幾何分析字典[8]，簡單且有效?；趯W(xué)習(xí)的字典構(gòu)造方法比固定基字典展現(xiàn)出更強的適應(yīng)性和魯棒性。常見的字典學(xué)習(xí)方法有K-SVD，最優(yōu)方向法，在線字典學(xué)習(xí)，多尺度字典學(xué)習(xí)等[2]。為了獲取圖像的精確稀疏表達，正交匹配追蹤[9]，同時正交匹配追蹤[8]，聯(lián)合稀疏表示模型[10]，卷積稀疏表示[11]等稀疏編碼模型被應(yīng)用于紅外與可見光圖像融合。稀疏系數(shù)的非零元素表征圖像塊的顯著性特征，因此在融合規(guī)則方面往往采用最大值選擇策略與加權(quán)平均融合策略來獲取最優(yōu)融合系數(shù)[5]。

本文針對場景中運動目標(biāo)被遮擋的紅外與可見光圖像序列展開研究?？紤]圖像序列背景高度相關(guān)特性，利用低秩稀疏表示理論將紅外圖像序列與可見光圖像序列各自分解為低秩分量與稀疏分量。然后針對低秩分量與稀疏分量的特點，采用不同的融合策略分別將紅外與可見光的低秩分量與稀疏分量融合。本文算法的主要貢獻如下：1)相較于傳統(tǒng)融合方法直接將紅外與可見光圖像融合帶來的運動目標(biāo)信息能量弱化的問題，本文算法利用低秩稀疏分解首先將運動目標(biāo)信息與背景分離，完整保留了運動目標(biāo)信息；2)利用絕對值最大選擇融合策略，實現(xiàn)了稀疏分量的有效融合，保證了目標(biāo)信息的完整性。實驗結(jié)果證明本文算法在Nato-camp與Bristol Eden Project數(shù)據(jù)集上具有優(yōu)秀的融合性能。

1 低秩稀疏表示

低秩稀疏表示理論[12]是近年來提出的先進圖像表示模型，被廣泛應(yīng)用視頻背景建模、圖像恢復(fù)、音樂詞曲分離、圖像矯正與去噪、圖像對齊等領(lǐng)域。對于某類觀測的圖像序列，假定任意一幀圖像表示為m維向量x∈Rm×1。若該圖像序列包含n幀圖像，那么可以用n個向量組成的矩陣X=[x1,x2,…,xn]∈Rm×n來表示該圖像序列。低秩稀疏表示理論能從高度相關(guān)且被稀疏噪聲污染的觀測數(shù)據(jù)中恢復(fù)出本質(zhì)上低秩的數(shù)據(jù)。針對圖像序列，借助低秩稀疏表示理論，可將矩陣X分解為兩個分量：

X=L+S

(1)

式中：L表示低秩分量(具有極大相似性的背景部分)，S表示稀疏分量(噪聲或者分布范圍較小的運動目標(biāo)或者前景部分)。通過求解優(yōu)化問題(2)，可從觀測數(shù)據(jù)X中恢復(fù)出低秩矩陣L。

(2)

式中：rank(L)表示矩陣L的秩；‖S‖0表示矩陣S的l0范數(shù)，其意義是計算矩陣S中非零元素的個數(shù)。rank(L)與‖S‖0均為非凸函數(shù)，這使得優(yōu)化問題(2)成為NP-hard問題。通過凸松弛方法，式(2)可轉(zhuǎn)化為如下優(yōu)化問題：

(3)

式中：‖L‖*=∑jσj(L)表示核范數(shù)，其中σj(L)表示低秩矩陣的第j個奇異值；‖S‖1表示矩陣S的l1范數(shù)。利用增廣Lagrange乘子方法[13]可有效求解凸優(yōu)化問題(3)。

2 本文算法

面向紅外與可見光圖像序列，考慮圖像序列間背景信息的高度相關(guān)性，以及運動目標(biāo)的稀疏性，結(jié)合低秩稀疏表示理論與Laplace金字塔變換方法，提出了本文算法，其具體流程見圖1。根據(jù)流程圖，可將本文所提融合算法歸納為三步。

2.1 低秩稀疏分解

在對紅外與可見光圖像序列進行低秩與稀疏分解前，首先分別將紅外與可見光圖像序列中每一幀圖像變成pq維向量，其中p和q分別表示每幀圖像的行數(shù)與列數(shù)。假定X=[x1,x2,…,xn]∈Rpq×n表示紅外圖像序列，其中xi表示第i幀紅外圖像，而Y=[y1,y2,…,yn]∈Rpq×n表示可見光圖像序列，其中yi表示第i幀可見光圖像。利用低秩稀疏分解方法，可將紅外圖像序列與可見光圖像序列各自分解為低秩分量和稀疏分量。假定L1=[l1,1,l2,1,…,ln,1]與S1=[s1,1,s2,1,…,sn,1]分別表示紅外圖像序列的低秩分量與稀疏分量，其中l(wèi)i,1和si,1分別表示第i幀紅外圖像的低秩分量與稀疏分量，L2=[l1,2,l2,2,…,ln,2]與S2=[s1,2,s2,2,…,sn,2]分別表示可見光圖像序列的低秩分量與稀疏分量，其中l(wèi)i,2和si,2分別表示第i幀可見光圖像的低秩分量與稀疏分量。通過求解如下優(yōu)化問題(4)與(5)，可得到低秩分量與稀疏分量的估計值。

圖1 本文算法流程圖

(4)

(5)

圖2(a)和(b)分別表示Nato-camp圖像序列中某幀紅外圖像與可見光圖像，圖2(c)和(d)分別表示該幀紅外圖像與可見光圖像的低秩分量，圖2(e)和(f)分別表示該幀紅外圖像與可見光圖像的稀疏分量。紅外圖像中前景人形目標(biāo)清晰，但背景紋理細節(jié)信息丟失嚴重。而可見光圖像具有清晰的細節(jié)紋理信息，但樹林卻將人形目標(biāo)完全遮擋。通過低秩稀疏分解后，紅外圖像的背景與人形目標(biāo)完全分離。可見光圖像的絕大部分信息集中于低秩部分，而稀疏分量中含有極少的信息。圖3為Bristol Eden Project圖像序列中某幀紅外與可見光圖像的低秩稀疏分解。紅外圖像見圖3(a)，其背景信息模糊，但目標(biāo)清晰可見。可見光圖像見圖3(b)，其具有清晰細節(jié)紋理信息，但目標(biāo)被樹林遮擋，無法分辨。低秩稀疏分解后，紅外圖像的背景與目標(biāo)完全分離，見圖3(c)和(e)。可見光低秩分量(圖3(d))保留了大部分信息，而其稀疏分量(圖3(f))包含了少許細節(jié)特征信息。

圖2 紅外與可見光圖像低秩稀疏分解 (Nato-camp)

圖3 紅外與可見光圖像低秩稀疏分解(Bristol Eden Project)

2.2 基于Laplace金字塔變換的低秩分量融合

低秩分量蘊含著圖像的絕大部分信息。紅外低秩圖像缺乏紋理細節(jié)信息，而可見光低秩圖像擁有清晰的紋理細節(jié)信息。因此，為了保證可見光的紋理細節(jié)信息不丟失，本文采用Laplace金字塔方法將低秩分量進行融合[14]。具體實現(xiàn)步驟如下。

(6)

類似的，可見光圖像低秩分量的Laplace金字塔，定義為：

(7)

2)利用不同的融合規(guī)則分別對Laplace金字塔的最頂層和其余各層進行融合。對于LPK,1和LPK,2,采用如下方式進行融合：

LPK,f=(LPK,1+LPK,2)/2

(8)

其中LPK,f表示Laplace金字塔第K層的融合結(jié)果。對于第k層圖像，采用基于一致性驗證的最大值選擇融合規(guī)則[15]。該融合規(guī)則的實現(xiàn)步驟如下。

a)假設(shè)存在濾波窗口W，其大小為s×s。利用二維順序統(tǒng)計量濾波選取濾波窗口內(nèi)絕對值最大的像素值作為該窗口區(qū)域的活躍度值。通過對LPk,1與LPk,2進行濾波，可得到兩幅圖像主特征的描述圖Ak,1和Ak,2。

b)利用如下公式得到二值決策圖：

Wk,1=(W*(Ak,1>Ak,2))>floor(s×s/2)

(9)

Wk,2=1-Wk,1

(10)

式中：floor表示向下取整函數(shù)，*表示卷積操作，Wk,1表示紅外低秩分量的第k層Laplace金字塔的加權(quán)圖，Wk,2表示可見光低秩分量的第k層Laplace金字塔的加權(quán)圖。因此，Laplace金字塔第k層的融合結(jié)果可通過如下公式表示：

LPk,f=Wk,1LPk,1+Wk,2LPk,2

(11)

3)從Laplace金字塔頂層開始，通過式(12)，逐層依次遞推，可恢復(fù)出Gauss金字塔，并最終得到低秩分量的融合結(jié)果為Li,f。

(12)

2.3 基于絕對值最大策略的稀疏分量融合

由圖2～3可看出，紅外圖像的稀疏分量主要包含目標(biāo)信息，而可見光圖像的稀疏分量中蘊含少量的細節(jié)信息。因此，我們采用絕對值最大策略構(gòu)建權(quán)重圖：

(13)

Wi,2(p,q)=1-Wi,1(p,q)

(14)

式中Ti,1=W1*abs(Si,1)，Ti,2=W1*abs(Si,2)；W1是大小為r×r的全1矩陣；*表示卷積操作；Wi,1與Wi,2分別表示第i幀紅外與可見光圖像稀疏分量的權(quán)重圖。因此，融合稀疏分量可以通過如下公式得到：

Si,f=Wi,1Si,1+Wi,2Si,2

(15)

通過上述步驟，可得到每幀圖像的低秩分量融合結(jié)果與稀疏分量融合結(jié)果。最終融合圖像Fi可以表示為：

Fi=Li,f+Si,f

(16)

3 實驗結(jié)果與分析

本文所有融合算法在Nato-camp圖像序列[16]與Bristol Eden Project圖像序列[17]上進行驗證。Nato-camp數(shù)據(jù)集中包含31幀紅外圖像與31幀可見光圖像。Bristol Eden Project數(shù)據(jù)集中包含32幀紅外圖像與32幀可見光圖像。在測試實驗前，每一對紅外與可見光圖像經(jīng)過嚴格配準(zhǔn)。

圖4中，(a)與(b)分別表示紅外源圖像與可見光源圖像，(c)～(h)分別表示Laplace金字塔融合方法、曲波變換融合方法、雙樹復(fù)小波變換融合方法、向?qū)V波融合方法、基于卷積稀疏表示融合方法與本文算法的結(jié)果圖。由圖4中可以看出，Laplace金字塔融合方法、雙樹復(fù)小波變換融合方法與基于卷積稀疏表示的融合方法能有效地提高融合圖像的分辨率，保留可見光圖像的紋理細節(jié)信息。但這三種算法的融合結(jié)果圖中人形目標(biāo)與紅外源圖像的人形目標(biāo)相比，灰度值有較大的差異。曲波變換融合方法的結(jié)果圖整體上顯得很模糊，分辨率較低，且人形目標(biāo)不夠清晰。向?qū)V波融合方法的結(jié)果圖中人形目標(biāo)非常清晰，但叢林區(qū)域的紋理細節(jié)信息丟失嚴重，顯得很模糊。相比于五種融合算法的結(jié)果圖，本文算法的結(jié)果圖人形目標(biāo)非常清晰，且紋理細節(jié)信息同樣很清晰，分辨率很高。從人類視覺的角度，本文算法的性能要優(yōu)于其它五種融合算法。

圖4 紅外與可見光圖像融合結(jié)果 (Nato-camp)

為了測試融合算法的性能，本文算法與比較算法均在31幀紅外與可見光圖像對上實現(xiàn)。圖5為六種融合算法在31幀測試數(shù)據(jù)上的五種客觀評價指標(biāo)數(shù)值結(jié)果曲線圖。表1列出了六種融合算法在31幀測試數(shù)據(jù)上的五種客觀評價指標(biāo)數(shù)值結(jié)果平均值，其中最優(yōu)平均數(shù)值結(jié)果被標(biāo)記為粗體。對于五種客觀評價指標(biāo)，熵值越大越好，而Qw、Qe、Qabf和VIF等指標(biāo)值越接近于1越好。圖5(a)為熵的數(shù)值結(jié)果曲線圖，藍色曲線表示本文算法。本文算法的31幅融合圖像中大部分圖像具有最優(yōu)熵值，但有少許圖像的熵值要低于對應(yīng)向?qū)V波方法融合圖像的熵值。圖5(b)與(c)為Qw和Qe指標(biāo)的數(shù)值結(jié)果曲線圖。本文算法的大部分融合圖像擁有最優(yōu)的Qw和Qe的數(shù)值結(jié)果。但少量融合圖像的Qw和Qe的數(shù)值要比其它對比算法融合圖像的Qw和Qe的數(shù)值小。圖5(d)為Qabf評價指標(biāo)的性能曲線，可以看到藍色曲線整體處于黑色曲線與青色曲線之下。圖5(e)為VIF指標(biāo)的性能曲線，可以看出藍色曲線全部處于其余五種曲線之上，這說明本文算法的31幅融合結(jié)果均具有最優(yōu)VIF值。通過表1可以看出，本文算法擁有最優(yōu)的熵、Qw與VIF客觀評價指標(biāo)平均值。本文算法的Qe均值要略小于雙樹復(fù)小波的Qe均值。至于Qabf評價指標(biāo)，本文算法在六種算法中排在第三位，其均值比Laplace金字塔融合方法和向?qū)V波融合方法的均值要小。綜上所述，從視覺評估與客觀評價的角度，本文算法在31幀序列圖像上表現(xiàn)出很好的融合性能。

圖5 六種融合算法的客觀評價指標(biāo)數(shù)值結(jié)果 (Nato-camp)

表1 六種融合算法的客觀評價結(jié)果平均值(Nato-camp)

圖6中，(a)與(b)分別表示Bristol Eden Project數(shù)據(jù)集的某幀紅外與可見光圖像,(c)～(h)分別表示五種對比算法與本文算法的融合圖像。紅外源圖像的分辨率較低，但運動目標(biāo)清晰可見。可見光圖像分辨率很高，紋理細節(jié)清晰，但因樹木遮擋使得目標(biāo)無法分辨。由圖中可以看出Laplace金字塔方法、曲波變換方法、雙樹復(fù)小波變換方法與卷積稀疏表示方法有效保留了可見光圖像的高分辨率信息，但目標(biāo)物體的分辨率不高，信息被弱化。向?qū)V波方法的融合圖像分辨率非常差，細節(jié)信息不清晰，但目標(biāo)物清晰可見。相較于其它五種融合算法結(jié)果，本文算法的融合圖像不僅分辨率高，細節(jié)信息清晰，且目標(biāo)可視度高，易于識別。

圖7為六種融合算法在32幅融合圖像上的客觀評價數(shù)值結(jié)果，其中藍色曲線代表本文算法。圖7(a)～(c)與(e)中藍色曲線均在其它五種融合算法評價曲線之上，這表明從熵、Qw、Qe與VIF四項客觀評價指標(biāo)來看，本文算法具備最優(yōu)性能。圖7(d)為Qabf的性能曲線。藍色曲線處于黑色曲線下方，表明本文算法在Qabf指標(biāo)上明顯低于向?qū)V波算法。表2列出了五種客觀評價指標(biāo)數(shù)值結(jié)果平均值。除了Qabf指標(biāo)外，本文算法的其余四項客觀評價指標(biāo)平均值要明顯高于比較算法的對應(yīng)客觀評價指標(biāo)平均值?？傊?，無論是從視覺效果，還是客觀評價指標(biāo)，本文算法對于實現(xiàn)紅外與可見光多幀序列圖像融合具有優(yōu)秀性能。

圖6 紅外與可見光圖像融合結(jié)果(Bristol Eden Project)

表2 六種融合算法的客觀評價結(jié)果平均值 (Bristol EdenProject)

Tab.2 Objective evaluation mean valuesby six fusion methods (Bristol Eden Project)

融合方法評價指標(biāo)熵QwQeQabfVIFLaplace金字塔6.3990.7740.6900.4770.397曲波變換6.3890.7470.6290.3840.376雙樹復(fù)小波變換6.5570.7700.6960.4130.453向?qū)V波5.8860.5480.4640.5780.073卷積稀疏表示6.2730.7600.6730.4820.322本文算法6.7690.7850.7280.4800.562

圖7 六種融合算法的客觀評價指標(biāo)數(shù)值結(jié)果(Bristol Eden Project)

4 結(jié) 論

針對場景中運動目標(biāo)被遮擋的紅外與可見光圖像序列，本文提出了基于低秩稀疏表示的圖像融合方法。利用低秩稀疏表示理論，將紅外圖像與可見光圖像的背景與目標(biāo)進行分離，然后針對背景與目標(biāo)特性，采用不同融合方法分別實現(xiàn)紅外與可見光低秩分量融合與稀疏分量融合。本文算法在保證背景圖像細節(jié)紋理清晰的同時，還能保證目標(biāo)信息的完整性。實驗結(jié)果證明了本文算法的可行性與有效性。本文算法適用于運動目標(biāo)被遮擋的紅外與可見光圖像序列融合，為目標(biāo)檢測、識別與監(jiān)控提供了技術(shù)支持。