李青松， 楊莘， 吳謹， 黃澤豐

（武漢科技大學 信息科學與工程學院， 湖北 武漢 430081）

1 引言

圖像融合是一種將多個傳感器獲得的信息綜合到一幅圖像中的圖像增強技術，融合圖像具有比單幅圖像更豐富的信息且對噪聲的魯棒性更好，因此該技術廣泛應用于軍事、遙感、醫(yī)學等領域［1］。本文主要研究紅外與可見光圖像融合?？梢姽鈭D像通過反射光成像能提供豐富的細節(jié)，但易受成像環(huán)境的影響而丟失重要信息，且難以突出重要目標。紅外圖像通過熱輻射成像能有效突出重要目標，且不受環(huán)境影響，但分辨率低、難以提供足夠的細節(jié)。將同一場景的紅外與可見光圖像進行融合，可綜合可見光圖像中豐富的紋理細節(jié)和紅外圖像中顯著的熱目標信息，從而獲得視覺效果更好、魯棒性更高的融合圖像。

目前紅外與可見光圖像融合方法可分為5類［2］：基于多尺度分解的方法、基于稀疏表示的方法、基于顯著性的方法、基于深度學習的方法和混合方法。由于深度學習強大的特征提取能力，基于深度學習的圖像融合方法逐漸成為紅外與可見光圖像融合領域的主流研究方向［3-4］。這類方法避免了傳統圖像融合方法需要人為設計復雜分解方法和融合規(guī)則的缺點，但是紅外與可見光圖像融合缺乏真值圖像，所以這類方法都屬于無監(jiān)督學習。與傳統方法相比，深度學習方法僅依靠網絡結構的設計和損失函數的設置很難獲得壓倒性的融合結果［5］。除基于深度學習的方法外，基于多尺度分解的方法在紅外與可見光圖像融合中應用最廣泛。基于多尺度分解方法的主要思想是將源圖像分解為一個基礎層和多個細節(jié)層，然后對各層設計不同的融合規(guī)則來實現有效的融合。在過去的30年中，研究者們提出了各種多尺度分解算法，例如拉普拉斯金字塔（LAP）［6］、小波變換［7］和非下采樣輪廓波變換［8］等。

近10年來，由于邊緣保持濾波器能保持邊緣結構的空間一致性和減少邊緣光暈偽影，研究者們將基于邊緣保持濾波器的多尺度分解方法應用于紅外與可見光圖像融合領域，并取得了較好的效果。Li等人［9］提出了一種基于引導濾波的圖像融合方法，該方法使用引導濾波分解圖像，充分利用鄰域像素間的強相關性，得到的融合結果的空間一致性好且計算效率高。Zhou等人［10］提出一種基于高斯和雙邊濾波的方法，使用高斯濾波器和雙邊濾波器將源圖像分解為結構層和紋理細節(jié)層，并對邊緣結構層和紋理細節(jié)層使用不同的融合規(guī)則，得到了符合人眼視覺的融合圖像。Ren等人［5］提出一種邊緣保持引導濾波器并用于紅外與可見光圖像融合，通過給梯度大的像素賦予更大的權重，使邊緣結構保持效果更好。但上述方法中所使用的邊緣保持濾波器都存在無法有效區(qū)分強紋理與結構的問題，導致融合結果中出現結構邊緣模糊。Lee等人［11］提出了一種基于區(qū)間梯度的結構紋理分解算法，可以有效分離紋理和結構，本文將該算法引入紅外與可見光圖像融合，提出了一種基于多層分解的融合算法，解決了熱目標信息丟失、邊緣結構模糊、細節(jié)損失等問題。

本文主要工作如下：將結構紋理分解用于紅外與可見光圖像，有效分離結構紋理，避免邊緣結構模糊；設計了一種結構均值法，能有效提取紅外熱目標與可見光背景信息，同時避免亮度層融合時的細節(jié)信息丟失；提出一種多指標的基礎層融合規(guī)則，使對比度信息和結構信息得到保留，避免融合結果中產生偽影。

2 結構紋理濾波

紋理信息一般通過梯度算子提取，但梯度算子不能有效區(qū)分強紋理與邊緣結構，導致邊緣結構被誤判為紋理，不利于后續(xù)的處理。為了準確地分離圖像的紋理與結構信息，Lee等人［11］提出一種基于區(qū)間梯度的結構紋理分解算法，通過定義的區(qū)間梯度算子，能有效分離邊緣結構與紋理信息。以一維離散信號I為例，在像素p處的前向差分梯度表示為：

像素p的區(qū)間梯度定義為：

其中：Ω表示像素p的鄰域分別表示一維高斯函數的右半部分和左半部分，表達式如式（3）和式（4）所示：

式中：w表示半指數加權函數，σ表示尺度參數。wσ表達式如式（5）所示：

kr與kl都是歸一化系數，表達式如式（6）和式（7）所示：

區(qū)間梯度與前向梯度不同，它度量的是像素點左右兩側的加權平均差，能有效地檢測出結構信息。如果在局部窗Ωp內沒有紋理信息，則|(?I)p|≤|(?ΩI)p|。對于處于結構上的像素p，由于加權核放大了梯度，(?ΩI)p＞(?I)p；對于處于紋理區(qū)域的像素p，由于鄰域內的梯度振蕩相互抵消，(?ΩI)p＜(?I)p。

為了從輸入信號I中得到無紋理信號，使用區(qū)間梯度重建輸入信號的梯度：

ε是一個小的常量，用于防止數值不穩(wěn)定。本文中ε設為0.000 1。

在結構邊緣和平滑區(qū)域，(?ΩI)p＞(?I)p，ωp取1，重建后的梯度保持不變。在紋理區(qū)域，由于振蕩，(?ΩI)p＜(?I)p，ωp＜1，梯度被抑制。

通過累加重建梯度可以獲得臨時信號R：

式中：I0是I中最左邊的像素值，p為像素點，Np是I中的像素個數。然后使用一維引導濾波去除R中殘留的紋理。

對于二維圖像信號，分別在x和y方向上使用一維結構紋理濾波，并以迭代的方式達到收斂，實現二維結構紋理分解［11］。圖1展示了對紅外與可見光圖像使用結構紋理分解的效果。為便于觀察二者紋理細節(jié)差異，對得到的紋理細節(jié)圖進行了增強處理。

圖1 結構紋理濾波Fig.1 Structure-texture filtering

3 算法框架

本文提出的紅外與可見光圖像融合算法框架如圖2所示。首先通過結構紋理分解和亮度層提取將源圖像分解為細節(jié)層、亮度層和基礎層。針對亮度層，為保證融合圖像的整體亮度，使用像素值取大進行融合；針對基礎層，為避免融合圖像邊緣結構模糊和產生偽影，設計一種多特征加權的融合規(guī)則；針對細節(jié)層，先使用基于奇異值分解的去噪算法［12］（Singular value decomposition，SVD）對紅外細節(jié)去噪，再使用基于SSIM和L2范數優(yōu)化方法對細節(jié)層進行融合；最后將各層融合后的圖像重構得到融合圖像F。

圖2 圖像融合算法框圖Fig.2 Framework of the image fusion algorithm

3.1 細節(jié)層提取與去噪

傳統的基于邊緣保持濾波的分解方法一般通過梯度值來區(qū)分紋理細節(jié)與邊緣結構，存在不能區(qū)分強紋理與邊緣結構的問題，易導致強紋理被誤判為邊緣結構，使得紋理細節(jié)信息丟失。本文進行結構紋理分解時，通過區(qū)間梯度分離邊緣結構與紋理細節(jié)，可保留更多的紋理和結構信息。設紅外圖像為Iir，可見光圖像為Ivis，對二者進行結構紋理濾波，可得到結構層Rir與Rvis，用源圖像減去結構層即為細節(jié)層Dir與Dvis，表達式如式（11）和式（12）所示：

式中：STG表示第二部分中的二維結構紋理濾波器［11］，r是區(qū)間梯度算子的窗半徑。

由于紅外圖像中包含許多噪聲，這些噪聲與紋理信息很難通過梯度區(qū)分出來，所以被當作紋理信息分解到了Dir中。噪聲的存在會嚴重影響最終融合圖像的質量。本文采用SVD算法［12］對紅外圖像細節(jié)層進行降噪，該方法通過非局部冗余性和低秩矩陣抑制噪聲，計算效率高且對邊緣紋理有較強適應性：

3.2 亮度層與基礎層分解

根據紅外圖像與可見光圖像不同的成像原理可知，紅外圖像中的高亮區(qū)域多是重要熱目標信息，而可見光圖像的高亮區(qū)域多為背景和光源。提取亮度層的目的是將紅外圖像中的熱目標信息與可見光圖像的背景信息提取出來，使最終融合圖像保留完整熱目標的同時提高圖像的整體亮度，從而更符合人眼視覺效果。

均值-高斯法（Mean-Gaussain，MG）［13］是紅外與可見光圖像融合中常見的亮度層提取方法，但高斯濾波器和均值濾波器都會使熱目標模糊擴散，發(fā)生形變，導致提取出來的熱目標不完整和亮度丟失。此外，由于紋理信息與亮度信息特征不同，亮度層的融合規(guī)則針對亮度信息設計，對紋理信息使用會導致紋理信息的丟失，因此應盡量去除亮度層中的紋理信息?；诖?，本文結合結構紋理濾波的特點提出了一種結構均值法來提取亮度層（Structure-Mean，SM）。對源圖進行結構紋理分解后，紋理信息被分離到細節(jié)層中，亮度信息和結構信息都保留在結構層中，有效避免了亮度層融合時導致紋理細節(jié)丟失；再對結構層求全局平均值，用結構層減去平均值并進行歸一化，得到權重圖，通過歸一化增加圖像對比度，使顯著目標更突出；最后將權重圖與結構層相乘得到亮度：

式中：Si是權重圖，mean()為均值函數，ki為歸一化系數，Vi表示亮度層。

最后，用結構層減去亮度層得到基礎層Bir、Bvis：

圖3展示了均值-高斯法和結構均值方法的亮度層提取效果。對比圖3（b）和圖3（c）兩圖，本文提取的紅外目標亮度更亮且更完整。對比圖3（e）和圖3（f）兩圖，本文提取的可見光背景更亮且無紋理信息，有效避免了亮度層融合時的細節(jié)信息丟失。實驗結果表明，本文方法對于紅外與可見光圖像的亮度層提取都取得了較好的效果。

圖3 亮度層提取算法對比實驗Fig.3 Comparison experiment of brightness layer extraction algorithm

3.3 亮度層與基礎層融合規(guī)則

亮度層融合的目的是使紅外圖像中的熱目標信息與可見光圖像的背景信息都最大程度地保留下來，而二者都可通過像素值的大小來度量，因此本文采用像素值取大的融合規(guī)則實現亮度層融合：

基礎層中包含源圖像的結構信息和對比度信息，融合時需要最大程度地保留這些信息。針對此需求，本文提出一種基于結構顯著度（Structure Saliency Measure）［14］、局部對比度（Local Contrast）和像素值的多指標融合方法（SCG）對基礎層進行融合。

圖像的局部結構與局部梯度協方差密切相關，因此可通過圖像的局部梯度協方差計算結構顯著度。紅外基礎層Bir在像素(x，y)處的局部協方差矩陣定義為：

其中：p=(x，y)，Bx(p)與By(p)表示在像素p位置沿x和y方向的梯度；w表示局部窗口，本文中w為3×3大小的窗。對C做特征值分解：

將圖像的局部結構與該矩陣的特征值關聯，利用特征值可計算結構顯著度（SS）：

式中：α參數的作用是控制結構顯著度對角結構的強調程度，本文中α=0.5。同理可計算可見光基礎層的結構顯著度SSvis。

圖像的局部對比度可通過計算局部方差得到，基礎層的局部對比度定義如式（21）所示：

結合結構顯著度、局部對比度和基礎層灰度值構建歸一化權重圖對基礎層進行加權融合：

3.4 細節(jié)層融合規(guī)則

為了同時保留更多的紅外與可見光細節(jié)，本文使用一種基于SSIM和L2范數優(yōu)化方法對細節(jié)層進行融合［15］。

首先使用加權融合對細節(jié)層進行預融合，得到預融合細節(jié)層Dfpre：

利用Dfpre重建預融合圖像Fpre：

分別計算預融合圖像與紅外和可見光圖像的結構相似性，構建權重得分圖：

其中SSIM計算如下：

其中：μi表示圖像i的平均值，σij表示圖像對(i，j)的協方差，σi表示圖像i的標準差，b1、b2是防止分母為0的常量。權重圖計算為：

通過權重圖ω判定細節(jié)層中細節(jié)的重要程度，對細節(jié)層使用基于L2范數的優(yōu)化：

式中：細節(jié)層增強系數αir、αvis通過計算細節(jié)層的局部均方誤差和全局均方誤差來確定：

式中：q1和q2分別是紅外細節(jié)層與局部紅外細節(jié)層的大小，(x0，y0)是像素位置，m1和m2分別表示紅外細節(jié)層的全局均值和局部均值。同理可求得αvis。

3.5 融合圖像重建

最終融合圖像F由細節(jié)層融合圖像DF、亮度層融合圖像VF、基礎層融合圖像BF求和重建，并將大于1的像素點置1，小于0的像素點置0。

4 實驗

本文實驗在matlab2016a上進行。為了保證實驗的客觀性，本文選取了TNO數據集中的12組圖像進行實驗，與GFF［9］、FPDE［16］、GTF［17］、TIF［18］、MSID［19］、MLGCF［20］、BAYES［21］、DIDF［22］、MFEIF［23］共9種紅外與可見光圖像融合算法進行對比。9種算法包括經典算法和近期算法，也可分為傳統算法與深度學習算法，代碼均使用原文作者提供的源代碼，且參數均按原文參數設置。為了使客觀評價指標能更真實地反映融合圖像質量，本文選取了7種客觀評價指標，包括基于圖像特征的空間頻率（Spatial Frequency，SF）、平均梯度（Average Gradient，AG）、邊緣強度（Edge Intensity，EI）、方差（Variance，Var），基于信息論的信息熵（Information Entropy，IE）和視覺保真度（Visual Information Fidelity，VIF），基于人類視覺感知的指標Qcv。7個指標中僅Qcv越小越好，其余6個指標皆越大越好。

為了直觀展示本文算法的融合性能，選取兩組圖像的融合結果進行定性分析。圖4、圖5給出了“Kaptein”、“Camp”圖像在不同算法下的融合結果，圖中前兩幅圖像分別是紅外與可見光源圖，剩余圖像是各種算法的融合結果。

圖4 “Kaptein”圖像在各種算法下的融合結果Fig.4 Fusion results of “Kaptein”image using various algorithms

圖5 “Camp”圖像在各種算法下的融合結果Fig.5 Fusion results of “Camp” image using various algorithms

從圖4中綠色框標注的紅外熱目標可以看到，GFF、FPDE、TIF、BAYES、DIDF和MFEIF方法的融合結果中紅外熱目標的亮度信息丟失比較嚴重；GTF算法亮度信息保留較完整，但紅外目標發(fā)生了形變；MSID算法和本文算法比較完整，保留了亮度信息且未發(fā)生形變。觀察圖4中天空背景，所有對比算法的背景都偏暗，其中GTF算法嚴重丟失了可見光背景信息，本文算法得到的天空背景保留較好。因為本文算法提取了亮度層，能在有效保護紅外熱目標信息的同時保護可見光的背景信息，提高融合圖像的整體亮度。對比圖4中藍框與紅框標注處的紋理細節(jié)，在9種對比方法中，紅框處的墻面紋理細節(jié)嚴重丟失，藍框處的地板紋理僅MSID和MFEIF兩種算法保留了部分而其余算法嚴重丟失，本文算法較好地保留了兩處的紋理細節(jié)。圖5中的紅外熱目標使用紅框標注且在圖像右下角放大顯示，可觀察到9種對比算法中僅GFF算法對紅外熱目標保留較好，其余8種算法的亮度信息均有丟失，本文的亮度保留完好且未發(fā)生形變。同時也可以看出，本文算法的融合結果紋理信息更豐富，房屋和路的邊緣、欄桿的結構都更清晰。與圖4對比，可以看出GFF算法對于紅外熱目標的保留效果不穩(wěn)定，而本文算法在圖4、圖5的測試中對紅外熱目標都有很好的保留效果，對紋理細節(jié)保留較完整，且融合結果的整體亮度保持較好。

表1、表2分別是“Kaptein”、“Camp”在不同算法下的融合結果對應的客觀評價指標，表中將最優(yōu)值和次優(yōu)值分別以紅色和藍色加粗標注。在表1中，本文方法僅Qcv為次優(yōu)值，其余指標都為最優(yōu)值。在表2中，本文方法在AG、EI、Variance、VIF、IE 5項指標上取得最優(yōu)值，SF取得次優(yōu)值?？赡苡捎凇癈amp”圖中紋理細節(jié)較多，本文算法又對紋理細節(jié)進行了增強，保留的細節(jié)更豐富，因此Qcv指標略差。

表1 “Kaptein”圖像在各種算法下融合的客觀指標Tab.1 Objective evaluating indicators of “Kaptein” image fusion under various algorithms

表2 “Camp”圖像在各種算法下融合的客觀指標Tab.2 Objective evaluating indicators of “Camp” image fusion under various algorithm

為了更全面地測試本文算法的有效性，本文對12組實驗圖像進行定量評估融合性能，計算各算法融合結果的客觀指標平均值，實驗結果如表3所示。在定量分析結果中，本文算法在除信息熵外的6項指標中都取得了最優(yōu)結果?？臻g頻率、平均梯度和方差3項指標提升較大，比次優(yōu)值分別提升了27.4%、36.5%和8.5%，表明本文算法能保留更豐富的細節(jié)紋理信息且整體對比度更好；邊緣強度指標比次優(yōu)值提升了38.2%，表明融合結果中邊緣結構的清晰度更好；視覺保真度提升了23.5%，同時Qcv值下降1%，表明融合圖像更符合人眼感知的特點?？赡芤驗閷t外源圖中的紅外噪聲進行了去噪，噪聲也是屬于源圖中的信息，所以在計算信息熵時，本文算法的信息熵指標略低?？煽闯霰疚乃惴ㄖ笜伺c任一算法單獨比較都能取得明顯優(yōu)勢，客觀反映了本文算法的有效性。

表3 12組圖像的平均指標Tab.3 Average indicators for twelve pairs of images

5 結論

本文提出了一種基于結構紋理分解的紅外與可見光融合算法。通過結構紋理分解將紋理細節(jié)與結構分離，使結構保留在基礎層中，解決了融合結果中邊緣結構模糊的問題；使用結構均值法提取亮度層，使紅外熱目標與可見光背景完整保留，同時提高融合結果的整體亮度。根據本文基礎層特征設計的融合規(guī)則，使融合圖像的邊緣結構保持清晰且圖形整體對比度好。針對細節(jié)層中存在紅外噪聲的問題，使用基于SVD的算法對紅外細節(jié)層去噪，并使用基于SSIM和L2范數的融合規(guī)則對細節(jié)層進行融合，解決了細節(jié)損失的問題。實驗結果表明，本文算法在空間頻率、平均梯度、邊緣強度、方差和視覺保真度5個指標上分別取得了27.4%、36.5%、38.2%、8.5%和23.5%的提升，主觀和客觀兩方面都能取得比其余9種紅外與可見光算法更優(yōu)的結果。但為了保證融合質量，本文增加了算法的復雜度，導致時間成本略高，12組圖像平均用時達到了63 s。如何在保證融合質量的同時降低時間成本，是未來需要解決的問題。