任亞飛，張娟梅

(洛陽理工學(xué)院，河南 洛陽 471023)

1 引言

紅外圖像(infrared image,INF)和可見光(visible image,VIS)的圖像融合采用不同種類型圖像傳感器對目標進行采集，屬于多模式信息融合。紅外圖像傳感器根據(jù)目標與背景自身的熱輻射分布差異成像，屬于被動成像，這在各種惡劣環(huán)境下和夜間的情況下效果顯著?？梢姽鈭D像根據(jù)目標對外界光源的各種波長光反射率的不同來成像，屬于主動成像，與人的視覺感觀有著高度一致的成像效果，圖像具有較好的三維空間分辨率和圖像清晰度。所以，將紅外和可見光圖像進行融合處理，可以較好結(jié)合兩者優(yōu)點。

圖像融合的根本屬于構(gòu)成圖像二維信息的數(shù)據(jù)融合，故又稱數(shù)字圖像融合，是將單個和多個圖像源信息進行關(guān)聯(lián)、相關(guān)和綜合，從而準確提取所需的目標特征值。單一類型傳感器的多個圖像信息融合存在一定的冗余性，可以采用不同采集模式獲得不同條件下的圖像信息，融合的難點在于不同模式的匹配問題。多個類型傳感器的圖像信息融合可以從理論上和方法上拓寬有用信息的范圍，融合的難點在于不同類型傳感器對于相同目標的特征值呈現(xiàn)不同，如何選擇融合的層次，在合適的層級上，以合適的融合體系結(jié)構(gòu)來完成圖像信息融合的過程。

紅外和可見光圖像融合的發(fā)展歷經(jīng)：從基于顯著性、空間變換、多尺度變換、稀疏表示等傳統(tǒng)理念，到基于各種神經(jīng)網(wǎng)絡(luò)的現(xiàn)代深度學(xué)習(xí)方法。顯著性方法基于人類視覺顯著性特點，具有降維、壓縮、高效率，多用于目標檢測、圖像壓縮等方面。稀疏表示具有降維、抗噪，多用于復(fù)雜背景圖像去噪、分類、壓縮等方面。深度學(xué)習(xí)在多個領(lǐng)域都具有領(lǐng)先地位，屬于機器學(xué)習(xí)的發(fā)展方向，但鑒于算法的復(fù)雜程度、運行時間、穩(wěn)定性、硬件配置等多方面考慮，在圖像處理領(lǐng)域的應(yīng)用不如多尺度變換的方法流行。

2 紅外和可見光圖像融合原理

紅外圖像成像通過敏感元件采集目標和背景紅外輻射的溫度分布，紅外線波長0.75～1 000 μm，根據(jù)輻射不同來區(qū)分目標和背景，因此紅外輻射具有遠距離成像和抗干擾能力等優(yōu)勢，但紅外圖像具有分辨率低、像素低、紋理信息特征不明顯等缺點。而可見光的絕大部分光譜是眾多電磁波中人眼可以直接感知的部分，波長在0.4～0.78 μm。不同波長的電磁波頻率不同，人眼對不同顏色感覺也不同，可見光圖像具有較高的三維空間分辨率和相當多的紋理細節(jié)等，最適合于人類的視覺感知，但很容易受到惡劣環(huán)境的影響，如環(huán)境光照、惡劣天氣和空氣質(zhì)量的影響。紅外和可見光圖像具有無處不在和互補特性，可以拓寬圖像成像的電磁波長范圍，融合圖像具有強魯棒且信息豐富。

2.1 像素級圖像融合規(guī)則

不同類型模式傳感器的圖像融合可分為像素級、特征級、決策級的不同融合級別，集中式、分布式和分散式的不同融合決策。其中，像素級圖像融合在相對最大程度上可以保留原始圖像的信息，故研究主要考慮像素級圖像融合策略，即直接在不同圖像傳感器輸出的原始二通道或三通道數(shù)據(jù)層次上進行融合，由于該層信息保持采樣率，其冗余性較高，優(yōu)勢在于融合圖像的信息熵較大，缺點在于融合難度大復(fù)雜度高。對于圖像像素級融合規(guī)則大致分為2個方向——基于圖像灰度和變換域的融合算法。

1) 基于圖像灰度主要考慮圖像像素的幾何運算，通用為均值法、極值法、加權(quán)法：

(，)=(，)+(，)

(1)

如式(1)為像素值加權(quán)的融合算法(Choose-Max，CM)，、分別代表來自不同傳感器采集的二維圖像，和分別代表不同傳感器可信賴的權(quán)重，計算方法有均值法、方差、信息熵、深度學(xué)習(xí)等。優(yōu)點是簡單便于實現(xiàn)，通過融合增加了冗余信息，可以用來做融合指標評價，難點是權(quán)值不好計算，容易放大噪聲信號。

2) 基于變換域主要考慮在全局性傅里葉變換的基礎(chǔ)上，通常有拉普拉斯變換、像素和區(qū)域的復(fù)小波變換、小波變換、曲線波變換等。小波變換能提供圖像相對完善的描述，借助信息論中樣本熵計算分解后的多尺度熵作為圖像融合的權(quán)值，從而降低獲取到的不同圖像特征值之間的關(guān)聯(lián)度，進而提取目標特征值。

2.2 多尺度多分辨率圖像融合

使用多尺度變換來獲得輸入圖像不同尺度的表示形式，在不同尺度上對圖像的高低頻系數(shù)進行分析，低頻系數(shù)表示圖像的輪廓信息，高頻系數(shù)表示圖像的特征值信息，可選用代表輪廓和特征值的權(quán)值作為加權(quán)系數(shù)，然后對各尺度上融合后圖像的多組系數(shù)進行多尺度逆變換獲得原尺度上的單幅圖像，作為融合結(jié)果輸出。圖像的多尺度分解起源于時頻域變換，可采用均值濾波、雙邊濾波、高斯濾波(Gaussian and bilateral filters,GTF)、引導(dǎo)濾波(GFF)、小波變換(Haar、db4、Bior2.4、Coif3等)獲取圖像不同尺度的信息，如基礎(chǔ)信息和細節(jié)信息；也類似于微分方程分解、奇異值分解、梯度構(gòu)成、各向異性擴散(ADF)、低秩表示(latent low-rank representation-lat,LRR)、稀疏變換等方法；還可以將這些方法混合起來使用多尺度分解和高斯、雙邊濾波(a hybrid multi-scale decomposition with Gaussian and bilateral filters,HMSD)。

這種方法主要考慮多尺度分解方法的選擇和用于多尺度系數(shù)融合的融合規(guī)則，通常會考慮多尺度系數(shù)的自相關(guān)性和相鄰像素或不同尺度像素之間的互相關(guān)性。這些方法基于圖像由多個尺度上的不同信息組成的理念，難點在于圖像多尺度分解、尺度的選擇和多個尺度上信息的融合、信號的重構(gòu)規(guī)則等。圖像多尺度多分辨率分析方法中活躍的有圖像金字塔結(jié)構(gòu)方法、小波變換、幾何分析等多尺度分析方法。

1) 圖像金字塔有高斯金字塔、拉普拉斯金字塔等，金字塔的多尺度分析在于分析固定頻率多個尺度的分析。準確地說，高斯核是唯一可以產(chǎn)生多尺度空間的核，圖像在尺度上的尺度空間表示為(，，)，由輸入的二通道源圖像(，)與二維高斯函數(shù)(，，)的卷積運算得到，其中尺度可變，即尺度空間的變化形式為

(，，)=(，，)*(，)

(2)

具體實現(xiàn)步驟：先使用低通濾波器平滑圖像，再對圖像進行降采樣。

2) 小波變換其優(yōu)勢在于多尺度多分辨率分析。圖像經(jīng)過如式(3)的傅里葉變換后，其像素分布體現(xiàn)了圖像的變換特征，從奈奎斯特?zé)o失真采樣的角度考慮，變換的目的是希望圖像經(jīng)離散變換后特征盡可能的集中在少量的幾個系數(shù)中，即變換后的圖像具有高壓縮比稀疏性的同時，具有較好的特征聚集性。

(3)

(4)

3 NSST多尺度熵的圖像融合

3.1 Shearlet

脊波(ridgelet)、曲波(curvelet)、剪切波(Shearlet)等多尺度幾何分析方法，作為改進的小波變換相對更有優(yōu)勢。圖像經(jīng)過剪切波變換后，會出現(xiàn)相對的低頻和高頻部分，特征的分布會隨著變換尺度的不同呈現(xiàn)一定規(guī)律。低頻部分系數(shù)保留了原圖像的大部分能量信息，即便在不同尺度上，低頻系數(shù)都是原圖像整體輪廓的近似。高頻部分包含了原圖像的突出細節(jié)信息，是原圖像在不同尺度下特征值提取的有效閾值信號，如邊緣信息和紋理信息。

(，，)=〈，，，〉

(5)

，，()=-34((-))

(6)

式(6)為剪切波母函數(shù)幾何性質(zhì)在頻域上更為直觀，尺度參數(shù)為α∈，剪切參數(shù)為∈，平移參數(shù)為∈，膨脹矩陣表示為=(，0；0，12)具有各向異性，剪切矩陣設(shè)為=(1，；0，1)。剪切波母函數(shù)，，在不同尺度上的幾何特性為緊支撐在以原點對稱、為斜率的梯形對上；改變剪切參數(shù)，梯形對產(chǎn)生旋轉(zhuǎn)面積不變；為0時，梯形對以水平軸對稱，不為0時，梯形對向縱軸兩邊旋轉(zhuǎn)，值越大旋轉(zhuǎn)角度越大。梯形對面積由尺度參數(shù)控制，隨著→0，尺度減小支撐區(qū)間逐漸變窄。因此，隨著平移參數(shù)的連續(xù)變化可檢測所有奇異點的位置，突出奇異點變化方向故可解決波前集問題。

3.2 NSST

雖然當前多尺度變換有很多，但是這些變換沒有評價的標準，不加選擇的變換會帶來新的問題，且降低處理算法的整體性能。非下采樣剪切波變換(NSST)在Shearlet良好的局部特性、頻域緊支撐、時域快衰減等基礎(chǔ)上保持采樣率進行多尺度分解，使每個尺度上的高低頻系數(shù)都接近最優(yōu)稀疏表示。針對該系統(tǒng)的核心功能——圖像融合，系統(tǒng)采用基于NSST域多尺度熵的圖像融合方法。

首先分別對單模態(tài)的VIS圖像和INF圖像進行非下采樣剪切波(NSST)變換，NSST變換過程如圖1所示，主要描述多尺度多方向分解通過非下采樣金字塔濾波器NSLP (non-sub sampled laplacian pyramid)，簡稱拉普拉斯金字塔來實現(xiàn)，從而保證對低頻邊緣、輪廓特征信息敏感，且具有平移不變性，對高頻細節(jié)信息的捕捉。

圖1 NSST變換過程框圖

拉普拉斯金字塔第層的圖像由高斯金字塔中第層圖像與高斯金字塔中第+1層的圖像向上采樣結(jié)果之差。

NSST中的方向局部化通過剪切波濾波器(Shearlet Filter)實現(xiàn)，如圖2所示將VIS和INF圖像經(jīng)過級分解，得到1個低頻系數(shù)圖像和個大小相同(非下采樣)但尺度不同的高頻系數(shù)圖像。然后分別對圖像低頻、高頻子帶尋找參數(shù)最優(yōu)值，按融合規(guī)則提高圖像邊緣敏感度，更好的提取圖像特征信息，最后重構(gòu)獲得融合圖像。

3.3 多尺度熵

融合規(guī)則中樣本熵(SampEn)是近似熵(ApEn)的一種改進度量方法，描述時間序列復(fù)雜程度，在熱力學(xué)、醫(yī)學(xué)等一維信號上均有應(yīng)用，在圖像或視頻等多維信號上同樣可以利用樣本熵的有限和一致性。樣本熵的定義：

(7)

圖2 數(shù)據(jù)融合過程框圖

由于在實際計算應(yīng)用過程中，不可能為∞，因此當取有限值時，樣本熵估計為

=-ln[()()]

(8)

式(8)中:表示的維數(shù)，一般取1或2；=+1表示的維數(shù)。在通常情況下，相似容限的取值由實際應(yīng)用場景中序列、圖像、視頻等來決定，通常選擇=01～025倍的原信息標準差。

由以上定義可知樣本熵沒有很好地考慮不同的時間序列中可能存在不同的時間尺度，為了分析不同時間尺度下信號的復(fù)雜性，Costa等人提出了多尺度熵(Multiscale entropy，MSE)，將樣本熵擴展到多個時間尺度，以便在時間尺度不確定時提供額外的觀察角度和稀疏的信息含量，評估時間序列的復(fù)雜性。其數(shù)學(xué)定義為

(9)

式(9)中:表示時間尺度，代表原時間尺度上時刻的時間序列，從(-1)+1時刻到時刻代表下采樣過程每次跳躍1-個數(shù)據(jù)，取周期為個數(shù)據(jù)做平均以產(chǎn)生不同尺度(或分辨率)的新數(shù)據(jù)。然后，計算與每個尺度或分辨率對應(yīng)的樣本熵值，特別針對VIS原圖像中包含多種波長的反射光信息，波動較大的時間序列會產(chǎn)生較大的樣本熵值，可以認為是具有較高復(fù)雜度的信號。因此具有高度規(guī)律性的信號，其熵值也相應(yīng)較低，利用多尺度(分辨率) 上的樣本熵值分別對高低頻系數(shù)加權(quán)進行多尺度圖像融合。

4 圖像融合及評估指標

4.1 實驗結(jié)果

實驗采用荷蘭國家應(yīng)用科學(xué)院制作的TNO紅外與可見光數(shù)據(jù)集，選用數(shù)據(jù)集中有關(guān)道路的兩組可見光和紅外圖像進行處理，對圖像進行NSST變換后分別對高低頻信號進行融合的實驗結(jié)果如圖3道路1/2NSST分解后多尺度高低頻圖像分解及融合結(jié)果。

圖3 道路1/2 NSST分解后多尺度高低頻融合結(jié)果圖

同時從基于像素融合方法上對比最大(小)值(pimaxmin)、像素(加權(quán))取平均值(piwav)等融合結(jié)果，如圖4道路1/2常規(guī)的圖像融合結(jié)果。從小波變換上對比多種小波基選擇對多尺度融合結(jié)果的影響，如圖5道路1/2小波多尺度的圖像融合結(jié)果。從基于NSST多尺度變換上，對比采用均值融合和多尺度熵權(quán)融合的不同結(jié)果，如圖6道路1/2 基于NSST多尺度融合結(jié)果。

從多尺度變換方法上選用各向異性擴散融合(anisotropic diffusion fusion，ADF)/引導(dǎo)濾波(guided filtering fusion，GFF)策略進行對比，如圖7道路1/2基于ADF/GFF的融合結(jié)果。

圖4 道路1/2常規(guī)的圖像融合結(jié)果圖

圖5 道路1/2小波多尺度的圖像融合結(jié)果圖

圖6 道路1/2 基于NSST多尺度融合結(jié)果圖

圖7 道路1/2 基于ADF/GFF融合結(jié)果圖

從圖像處理算法發(fā)展來看，趨于深度學(xué)習(xí)領(lǐng)域，如CNN算法基于卷積神經(jīng)網(wǎng)絡(luò)，ResNet算法基于殘差網(wǎng)絡(luò)，以及基于對抗神經(jīng)網(wǎng)絡(luò)等領(lǐng)先深度學(xué)習(xí)算法。從實現(xiàn)的角度來看，這些算法相對復(fù)雜，運行時間最長，即便可考慮提升硬件使用GPU來對算法進行加速，但神經(jīng)網(wǎng)絡(luò)參數(shù)的選擇和調(diào)整在實際工程中存在一定難度。ADF算法結(jié)果不如NSST算法，但從原理上融合圖像中保留原圖的絕大部分信息，融合損失相對較小，時間差別不大。GFF算法在部分性能指標上略優(yōu)于NSST算法，類似的均值濾波、高斯濾波、拉普拉斯濾波由于算法較少的計算量，也可在一些實時性較強的場合使用。

NSST算法容易理解，在同類的多尺度分解算法中，明顯優(yōu)于小波基多尺度分析和多種濾波多尺度分解，且可減少偽吉布斯效應(yīng)，運行時間中等。常規(guī)的一些融合策略算法最為簡易，運行時間短，但是融合損失較大，融合圖像中的存在不可忽略的虛假信息。最終，為了對比3種優(yōu)秀算法ADF、GFF和NSST多尺度熵權(quán)，實驗采用了TNO數(shù)據(jù)集中的多組圖像進行實驗和分析，圖8、圖9描述了其中兩組紅外和可見光原圖1、圖2的GFF和NSST多尺度熵權(quán)融合結(jié)果。實驗從主觀評價和下面指標分析，結(jié)合運算效率等多方面因素，綜合考慮不同要求的圖像融合算法選擇。

圖8 紅外和可見光原圖1的GFF和NSST熵權(quán)融合結(jié)果圖

圖9 紅外和可見光原圖2的GFF和NSST熵權(quán)融合結(jié)果圖

4.2 圖像融合指標分析

圖像融合的質(zhì)量評價方法一般有主觀、客觀2種，主觀指以人眼觀察為主，具有一定片面性?？陀^主要計算原始圖像和融合圖像的獨立熵、平均梯度等，及衡量相互關(guān)系的聯(lián)合熵、偏差、相對偏差等參數(shù)來評價融合效果。下面對融合圖像質(zhì)量進行了客觀的指標評價，選取了11項評估指標進行定量分析。

平均梯度可感知圖像微小細節(jié)的反差，可描述圖像的清晰度，值越大融合質(zhì)量越好；邊緣強度衡量融合圖像邊緣信息數(shù)量，強度越大融合圖像質(zhì)量越好；信息熵關(guān)注融合圖像灰度分布，描述所含有的信息量；灰度均值指灰度的平均水平，代表圖像的亮度；標準差反應(yīng)圖像相對灰度均值的離散程度，值越大融合質(zhì)量越好；均方誤差衡量信號波動大小的對比度，主要是圖像高頻部分的大小；峰值信噪比是信號最大可能功率和噪聲功率的比值，越大越好；空間頻率體現(xiàn)圖像灰度變化率，值越大圖像越清晰；圖像清晰度是描述圖像細節(jié)邊緣變化的突出程度；互信息衡量融合圖像獲取的信息量的多少，值越大圖像信息量越多；結(jié)構(gòu)相似性主要由協(xié)方差來度量，值越大圖像越相似。針對道路1(R1)和道路2(R2)的紅外和可見光圖像進行不同策略融合結(jié)果的指標分析如表1融合結(jié)果指標分析，表中已將一些比較突出的指標加粗顯示。

根據(jù)融合后的圖像和表1中的評價數(shù)據(jù)，不難發(fā)現(xiàn)基于NSST多尺度熵的融合比對應(yīng)像素的融合要好，融合后的圖像包含的信息量多，圖像清晰度高。在對應(yīng)像素的融合中，對應(yīng)像素取最小值的效果最差，其圖像擁有的信息量豐富程度不夠，圖像模糊。對應(yīng)像素取加權(quán)平均值法的色調(diào)過于單調(diào)，體現(xiàn)的信息不夠豐富。在像素取大(或小)的方法中，其對圖像整體的把握一般，圖像一般過暗或過亮，圖像對比度偏低。NSST熵權(quán)相比ADF、GFF兩種優(yōu)秀算法，在大多數(shù)指標上都可以略勝一籌，而ADF的結(jié)構(gòu)相似性、GFF的空間頻率略優(yōu)于NSST熵權(quán)融合，但是如圖8、圖9可以看出GFF損失了大量紅外圖像的信息，可考慮采用多尺度引導(dǎo)濾波融合，或者混合模型等來提高引導(dǎo)濾波的優(yōu)勢。

表1 融合結(jié)果指標分析

綜合來看實驗中NSST熵權(quán)可使用于多種場合圖像融合，由于在變換域上剪切波的幾何性質(zhì)更為直觀，采用具有局部特性的剪切波變換，結(jié)合多尺度信息熵的概念，對圖像信號進行多尺度熵融合(Multiscal Fusion)。實驗證明融合結(jié)果具有突出的平均梯度、邊緣強度、信息熵、灰度均值、標準差、均方誤差、峰值信噪比、空間頻率、 圖像清晰度、互信息等評價指標，融合結(jié)果較好。但是考慮融合結(jié)果的同時，實驗中還關(guān)注到了運算時間，不可否認基于NSST多尺度熵的融合策略耗時略長，這在時效要求高的場合并不合適。實驗中考慮多尺度上不同信息采用不同的融合策略來提升運算效率，具有一定效果。當然，目前實驗中也發(fā)現(xiàn)沒有一種算法是各項指標都完勝的，所以，在實際應(yīng)用中需要考慮融合結(jié)果中某些指標作為側(cè)重點，來選擇適合的融合策略。

5 結(jié)論

目前，紅外與可見光圖像融合的研究集中在多尺度多分辨率分析、現(xiàn)代濾波和深度學(xué)習(xí)等方向，理論分析和實驗證明基于NSST多尺度熵的紅外與可見光圖像融合具有可行性和各方面的優(yōu)勢：

1) 紅外和可見光融合后的圖像很好的保留了兩者的特征，結(jié)果既具有紅外圖像對目標表面熱輻射的分布狀態(tài)，也具有可見光圖像所有的清晰度和高分辨率。

2) NSST用在多尺度分析上，各尺度的高低頻系數(shù)對圖像能最優(yōu)逼近其稀疏表示，且不進行下采樣的逆變換有效減少偽吉布斯效應(yīng)。

3) 多尺度熵作為樣本熵的延伸，不僅可以在多個尺度上衡量高低頻系數(shù)的信息含量，還可以作為信息融合時關(guān)鍵權(quán)值的選擇。

研究采用不同類型圖像傳感器，不同的融合策略獲得的圖像進行像素級融合，結(jié)果證明基于NSST多尺度熵的混合融合方法具有多項更好的融合評價指標，清晰度和特征值顯著。

理論研究推動著紅外和可見光圖像融合技術(shù)在軍事和交通上的目標識別、檢測、圖像增強、監(jiān)視和遙感等領(lǐng)域逐步應(yīng)用。