王慧贏, 王春平, 付 強,*, 韓子碩, 張冬冬

(1. 陸軍工程大學石家莊校區(qū)電子與光學工程系, 河北 石家莊 050003;2. 中國人民解放軍32356部隊, 青海 西寧 710003)

0 引 言

紅外與低照度圖像融合技術在軍事和民用領域中占有重要地位,其應用涉及現(xiàn)代軍事監(jiān)控、目標跟蹤、生物監(jiān)測、自動駕駛等[1]。低照度圖像是指在光照條件差的環(huán)境下所采集的圖像,特殊的成像環(huán)境導致其存在能見度低、信噪比低、細節(jié)易丟失等缺點[2]。紅外圖像是指紅外傳感器通過利用場景中背景與目標的輻射強度差異而形成的熱感圖像,其僅僅突出了目標的輪廓信息[3-4]。隨著多源圖像融合技術的發(fā)展,紅外與低照度圖像融合成為圖像處理領域的研究熱點。紅外圖像能夠突出環(huán)境中的熱目標,并且抗干擾能力強,將其與低照度圖像融合,可以清晰地反映出圖像中的目標信息及場景細節(jié)。

目前,針對多源圖像融合的研究已經(jīng)取得了很多成果。多尺度幾何變換的圖像融合方法得到了廣泛的應用[5-6]。具有多分辨率特征的小波變換可以較好地反映圖像的局部變化特征[7-9],但并不適用于處理具有各向異性的奇異性特征圖像,且不具備移位不變性,易導致融合圖像的邊緣或紋理信息不連續(xù)。因此,文獻[10]提出非下采樣輪廓變換(non-subsampled contourlet transform, NSCT)方法,該方法不僅繼承了之前算法的優(yōu)點,同時還具有平移不變性,將其應用到紅外與可見光圖像的融合中,既突出了圖像中的熱目標,又可以豐富紋理信息,但融合后圖像仍存在邊緣模糊及紋理不清晰的問題。為解決上述問題,文獻[11]應用NSCT結(jié)合脈沖耦合神經(jīng)網(wǎng)絡(pulsecoupled neural network, PCNN)的圖像融合方法進行研究,使融合效果取得了一定程度的改善,但NSCT算法計算量大,運行速度慢。

為了解決NSCT計算復雜度高的缺點,文獻[12]應用非下采樣剪切波變換(non-subsampled shearlet transform, NSST)代替NSCT對源圖像進行分解。NSST不僅具備了NSCT的所有優(yōu)點,同時算法更加簡單、計算耗時更短,因此在多源圖像融合方法中得到了廣泛的應用。文獻[13-15]對融合規(guī)則進行改進,融合效果被進一步改善,但仍存在邊緣模糊、紋理信息丟失的問題。文獻[16]提出了應用NSST與導向濾波相結(jié)合的圖像融合方法,去除了源圖像上的部分噪聲,增強了圖像邊緣細節(jié)信息,融合效果較好,但該方法在對清晰度差的圖像進行融合時,會導致大量的細節(jié)信息丟失,融合效果不佳。

以上各種融合算法雖然在融合效果及融合速度上取得了一定的成果,但并沒有考慮到源圖像的自身特征,未能充分利用源圖像的目標及場景信息,導致融合圖像易受噪聲影響,且存在對比度差、清晰度不佳等問題。針對上述問題,本文提出了一種針對紅外與低照度圖像特征的融合算法。首先,通過紅外與低照度圖像的三維分布圖、直方圖,對比分析其圖像表現(xiàn)出的特征信息,根據(jù)其特征信息對圖像進行處理。為了凸顯紅外圖像目標信息,采用各向異性導向濾波對其進行去噪、平滑處理。為了增強低照度圖像場景細節(jié)信息,采用改進的廣義全變分去噪算法結(jié)合巴特沃斯高通濾波,對其進行去噪、增強處理。在此基礎上,采用NSST對紅外圖像與低照度圖像進行分解,分別得到低頻子帶圖像和高頻子帶圖像。在融合規(guī)則上,為了保留低頻子帶圖像中的高頻信息,采用改進的拉普拉斯加權算法結(jié)合圖像區(qū)域能量來融合低頻系數(shù)。為了獲得圖像多個方向的梯度能量,采用改進的空間頻率作為PCNN神經(jīng)元的外部激勵融合高頻系數(shù)。最后,利用非下采樣剪切波逆變換得到融合后的圖像。

1 紅外圖像與低照度圖像的特征分析

紅外傳感器通過探測物體發(fā)出的紅外輻射,將人眼不可見的輻射信息轉(zhuǎn)換為人眼可見、清晰的紅外圖像。紅外圖像中目標(行人、車輛等)與背景(樹木、道路等)的輻射亮度差異較大,利于目標的識別,但紅外圖像缺少細節(jié)信息,無法對目標所處的環(huán)境以及目標本身的細節(jié)進行進一步的識別。低照度圖像是指在光照不佳的環(huán)境或夜晚拍攝的圖像,相對于紅外圖像,可以較為清晰地反映圖像中場景的細節(jié)信息,但目標特征不突出,易被背景掩蓋。

圖1是配準好的紅外與低照度圖像。通過對比觀察可知,紅外圖像中目標(行人、車輛)較為突出,但場景細節(jié)信息(路燈、廣告牌上的文字)缺失;低照度圖像包含豐富的場景細節(jié)信息,但目標被背景所掩蓋。從這兩組圖像可以看出,紅外與低照度圖像所包含的信息具有一定的互補性,將兩者融合既有利于對目標的識別,也有利于提高目標周圍環(huán)境的辨識度。為了有效利用紅外圖像的目標信息及低照度圖像的場景細節(jié)信息,需要從紅外與低照度圖像的特性上進行深入研究。紅外與低照度圖像的三維分布圖如圖2所示。

圖1 紅外與低照度圖像Fig.1 Infrared and low illumination images

圖2 紅外與低照度圖像三維分布圖Fig.2 Three-dimensional distribution diagram of infrared and low illumination images

由圖2(a)可以看出:

(1) 噪聲(圖中較小波動部分)對與環(huán)境溫差較小的目標(較高凸起部分)影響較大;

(2) 像素值集中在50～250之間,說明相對于低照度圖像,紅外圖像亮度較高,因此若對紅外圖像進行去噪、平滑處理,可以有效提升融合圖像的亮度與清晰度。

由圖2(b)可以看出:

(1) 圖中較高凸起對應圖像中路燈、車燈等被燈光照亮的部分;

(2) 像素多集中在0～50的范圍,說明低照度圖像亮度差、清晰度不佳,相比于紅外圖像而言無法區(qū)分目標與背景;

(3) 圖中的較小波動說明低照度圖像也受到了噪聲的影響,由于低照度圖像中目標、背景、噪聲反映在三維分布圖中沒有明顯的區(qū)分,因此在對低照度圖像去噪的同時還需保留和增強圖像中的邊緣細節(jié)。

從直方圖可以直觀地看出圖像對比度的大小,圖3分別給出場景A紅外圖像和低照度圖像的直方圖。

圖3 紅外與低照度圖像直方圖Fig.3 Infrared and low illumination image histogram

從圖3可以看出,紅外圖像的灰度值范圍相較于低照度圖像灰度值范圍更大。此外,紅外圖像會出現(xiàn)表示目標和背景的兩個峰值,而低照度圖像往往只存在一個較為明顯的峰值。在圖像融合中,需要紅外圖像來反映目標,低照度圖像反映場景細節(jié),因此,需要提高低照度圖像的動態(tài)范圍,增加對比度。

2 基于圖像特征的紅外圖像與低照度圖像融合算法

2.1 融合算法原理

本文首先通過紅外與低照度圖像的三維分布圖、直方圖對比分析圖像表現(xiàn)出的特征信息,根據(jù)其特征信息對圖像進行處理。為了凸顯紅外圖像目標信息、提高紅外圖像清晰度,消除噪聲、虛影等干擾成分,需要采用各向異性導向濾波對其進行去噪、平滑處理。為了增強低照度圖像場景細節(jié)信息,消除噪聲,采用改進的廣義全變分去噪算法結(jié)合巴特沃斯高通濾波對其進行去噪、增強處理。在此基礎上,采用NSST對紅外圖像與低照度圖像進行分解,分別得到低頻子帶圖像和高頻子帶圖像。在融合規(guī)則下,為了保留低頻子帶圖像中的高頻成分,采用改進的拉普拉斯加權算法結(jié)合圖像區(qū)域能量來融合低頻系數(shù)。為了保留高頻子帶中的細節(jié)分量,采用改進的空間頻率作為PCNN神經(jīng)元的外部激勵融合高頻系數(shù),算法原理圖如圖4所示。

圖4 基于圖像特征的紅外圖像與低照度圖像融合算法原理圖Fig.4 Principle schematic diagram of infrared image and low illumination image fusion algorithm based on image features

2.2 圖像預處理

2.2.1 紅外圖像預處理

受環(huán)境、紅外傳感器自身缺陷以及信號處理方式的影響,紅外圖像中存在多種噪聲。目前,維納濾波、自適應中值濾波、高斯濾波、均值濾波等方法常被用于圖像去噪,但以上方法大多假設圖像中的噪聲為高斯噪聲,對紅外圖像中實際噪聲的處理效果并不理想。文獻[17]應用各向異性導向濾波方法用于紅外圖像與可見光圖像的融合過程,但由于其只針對權重圖進行去噪處理,仍有部分噪聲對融合圖像產(chǎn)生影響。為了給更多紅外圖像中的目標信息去除干擾,本文對源圖像應用各向異性導向濾波進行去噪、平滑處理。

給定一幅含有噪聲的圖像I(x,y),應用各向異性導向濾波對圖像的處理過程為

(1)

4個散度在4個方向上對當前像素求偏導為

(2)

4個方向上的導熱系數(shù)為

(3)

(4)

圖5是利用不同的去噪方法對紅外圖像進行去噪后的效果圖。從圖5中可以看出,維納濾波、自適應濾波、高斯濾波、均值濾波處理后的圖像仍然會受到噪聲的影響,并且圖像中存在不同程度的模糊;應用各向異性導向濾波處理后的紅外圖像,目標被有效地從背景中凸顯出來,場景中的細節(jié),如房屋的邊緣、路燈、公路兩邊的護欄等,均清晰可見,背景噪聲實現(xiàn)有效去除。

圖5 各種去噪方法效果比較Fig.5 Effect comparison of various denoising methods

2.2.2 低照度圖像預處理

通過前文對低照度圖像的三維分布圖、直方圖分析可知,低照度圖像存在對比度低、噪聲強等問題。為了得到更好的融合結(jié)果,需要對低照度圖像進行去噪、增強處理。目前自適應直方圖均衡化、灰度變換、基于Retinex的圖像增強算法等方法常被用于圖像增強處理,這些方法在白天拍攝的圖像處理上具有較好的效果,但在應用于夜晚拍攝的圖像時處理效果不佳。文獻[18]提出廣義全變分去噪算法,該算法既可保留圖像低頻信息,又可增強圖像高頻信息,但其對圖像邊緣細節(jié)的增強效果不佳。因此,提出改進廣義全變分去噪算法結(jié)合巴特沃斯高通濾波,進一步增強圖像的邊緣細節(jié)信息。

假設g(x,y)為無噪聲圖像,z(x,y)為含噪聲圖像,μ(x,y)為零均值,隨機噪聲信號方差為δ2,則有

z(x,y)=g(x,y)+μ(x,y)

(5)

利用廣義全變分去噪模型可以將圖像去噪看作最小化問題:

(6)

其導出的歐拉—拉格朗日方程為

(7)

改進的巴特沃斯高通濾波的傳遞函數(shù)為

(8)

式中:D0表示截止頻率;Rh、Rl分別表示高頻增益與低頻增益,且Rh>1、Rl<1;C為常數(shù);D(u,v)是從點(u,v)到頻率平面原點的距離,D(u,v)=(u2+v2)1/2。

設f1(x,y)為經(jīng)廣義全變分算法去噪后的圖像,f2(x,y)為經(jīng)改進的巴特沃斯高通濾波器去噪后的圖像,f(x,y)為兩種方法結(jié)合去噪后的圖像。3種圖像的關系如下:

f(x,y)=kf1(x,y)+f2(x,y)

(9)

式中:k為比例系數(shù),且k>1。

經(jīng)過去噪后的低照度圖像再由巴特沃斯高通濾波器提取其高頻分量,其傳遞函數(shù)為

(10)

式中:D1為截止頻率;n為階數(shù)。

圖6為低照度圖像增強過程可視化圖,從圖6(b)可以看出噪聲被有效的去除,但去噪后圖像中的場景細節(jié)信息不夠清晰,如圖像中紅色框中的汽車與車道線較為模糊,疊加高頻信息后,圖6(d)可以明顯的看到汽車,車道線等場景細節(jié)。

2.3 紅外圖像與低照度圖像融合

2.3.1 NSST方法

NSST方法是由Easley等[19]提出的一種結(jié)合幾何與多尺度分析的方法,其變換過程主要分為兩步:多尺度分解與方向局部化。多尺度分解由非下采樣金字塔(non-subsampled pyramid, NSP)實現(xiàn),保證平移不變性,從而抑制偽吉布斯現(xiàn)象;方向局部化由剪切波濾波器(shearlet filter, SF)實現(xiàn)。

源圖像首先經(jīng)NSP分解為1個低頻子帶圖像和k個大小相同但尺度不同的高頻子帶圖像。高頻子帶圖像再經(jīng)SF進行l(wèi)級多方向分解,形成2l個高頻方向子帶,其過程如圖7所示。

圖7 NSST分解過程圖Fig.7 NSST decomposition process diagram

2.3.2 PCNN方法

PCNN方法由Eckhorn等[20]提出,其同時具備脈沖同步性及全局耦合性,因此被廣泛用于圖像融合。圖8為PCNN神經(jīng)元的基本模型。

圖8 PCNN神經(jīng)元基本模型Fig.8 Basic model of PCNN neuron

PCNN的每一個神經(jīng)元由三部分組成:接受域、調(diào)制部分、脈沖產(chǎn)生部分。

接受域負責接收外部輸入,然后經(jīng)由L通道和F通道輸出信號。調(diào)制部分由L通道輸出信號Ljk疊加一個正偏移量后與F通道輸出信號Fjk相乘調(diào)制。脈沖產(chǎn)生部分由閾值比較器和脈沖產(chǎn)生器組成,當閾值θjk超過閾值Ujk時,脈沖產(chǎn)生器將停止發(fā)送脈沖;反之,則神經(jīng)元點火,輸出脈沖。

脈沖神經(jīng)網(wǎng)絡的工作過程為:如果神經(jīng)元有脈沖輸出,動態(tài)門限會突然增大,當增大到不能產(chǎn)生脈沖輸出時,動態(tài)門限會呈指數(shù)衰減。當動態(tài)門限衰減到小于內(nèi)部活動項時,脈沖又再次產(chǎn)生,周而復始。脈沖的輸入輸出狀態(tài)影響神經(jīng)元的激發(fā)狀態(tài),神經(jīng)元之間通過m和w進行信息互連。脈沖神經(jīng)網(wǎng)絡運行時,神經(jīng)元之間按照如下計算過程循環(huán)計算。

(1) 通過兩個通道接收的輸入信號、上一時刻的點火矩陣、連接系數(shù)等計算Fij(n)及Lij(n):

Fij(n)=exp(-aF)Fij(n-1)+VF∑mijklYkl(n-1)+Sij

(11)

Lij(n)=exp(-aL)Lij(n-1)+VL∑wijklYkl(n-1)

(12)

(2) 兩個通道的結(jié)果被送到調(diào)制部分,加權相乘調(diào)制得到狀態(tài)信號Uij(n):

Uij(n)=Fij(n)(1+βLij(n))

(13)

(3) 在脈沖產(chǎn)生部分,將Uij(n)與動態(tài)閾值θij(n)進行比較。當Uij(n)大于θij(n)時,脈沖產(chǎn)生器打開,神經(jīng)元點火輸出脈沖;當Uij(n)小于θij(n)時,脈沖產(chǎn)生器關閉。輸出脈沖為

(14)

(4) 神經(jīng)元點火時,閾值迅速升高,然后衰減至再次點火,θij(n)為

θij(n)=exp(-aθ)θij(n-1)+VθYij(n-1)

(15)

式中:i,j,k,l為下標號;Sij表示外部刺激;mijkl、wijkl表示鏈接權矩陣;αF、αL、αθ表示衰減系數(shù);VF、VL、Vθ表示幅度常數(shù);β表示鏈接強度;n表示迭代次數(shù)。

2.3.3 融合算法

(1) 低頻融合規(guī)則

低頻系數(shù)的融合往往采用取平均的融合規(guī)則[21],但這樣會導致融合圖像中高頻能量的損失[22]。為了保留低頻子帶圖像中的高頻信息,采用改進的拉普拉斯加權算法結(jié)合圖像區(qū)域能量來融合低頻系數(shù)。

定義八鄰域改進拉普拉斯加權和(weighted sum of eight-neighbor modified Laplacian, WSEML),結(jié)合區(qū)域能量E來選擇低頻系數(shù),其公式如下:

(16)

(17)

(18)

式中:p∈{V,L},V和L分別為紅外圖像與低照度圖像,其區(qū)域大小為(2r+1)·(2r+1);DLp(i,j)為低頻系數(shù);w(m+r+1,n+r+1)為各點權重;EMLp(i,j)表示改進的拉普拉斯加權算法。

(2) 高頻融合規(guī)則

高頻子帶會帶有圖像中重要的輪廓邊緣信息,為了更好地保留高頻子帶中的細節(jié)分量,如邊緣、直線、邊界信息等,應用改進的空間頻率作為PCNN神經(jīng)元的外部激勵融合高頻系數(shù)。傳統(tǒng)的空間頻率只能計算一個方向的梯度能量,為了獲得圖像多個方向的梯度能量,特采用改進空間頻率作為PCNN神經(jīng)元的外部激勵,對于大小為M×N的圖像,改進的空間頻率MSF為

(19)

(20)

(21)

(22)

(23)

式中:RF、CF分別表示行頻率和列頻率;MDF、SDF分別表示主對角頻率和副對角頻率。

(3) 融合流程

針對紅外圖像與低照度圖像特點,基于圖像特征、NSST、區(qū)域能量、PCNN等進行融合規(guī)則的制定,可以有效保留融合圖像邊緣輪廓等細節(jié)信息,提高融合圖像清晰度。

具體步驟如下。

步驟 1用各向異性導向濾波對紅外圖像進行濾波。

步驟 2利用改進的廣義全變分去噪算法結(jié)合巴特沃斯高通濾波對低照度圖像進行去噪和細節(jié)增強。

步驟 3對預處理后的紅外圖像和低照度圖像分別進行NSST分解,獲得高頻子帶圖像和低頻子帶圖像。

步驟 4對于低頻子帶圖像,遍歷每個像素點,選取區(qū)域能量E和WSEML乘積的較大值作為低頻融合系數(shù)。

步驟 5利用PCNN準則選擇高頻系數(shù),其過程如下。

① 令Fij(0)=0、Lij(0)=0、Uij(0)=0、θij(0)=0、Yij(0)=0。

② 利用MSF值激勵PCNN。

③ 通過式(10)～式(14)計算Lij(n)、Uij(n)、θij(n)。

④ 重復以上步驟,直至n=N時停止迭代,選取較大點火次數(shù)的子帶系數(shù)作為高頻融合系數(shù)。

步驟 6對處理后的低頻分量及高頻分量進行NSST逆變換,得到最終融合圖像。

3 實驗結(jié)果及分析

為了測試所提算法的有效性,從由加拿大光學研究所發(fā)布的公開數(shù)據(jù)集(簡稱為INO)[23]和由荷蘭組織應用科學研究院發(fā)布的公開數(shù)據(jù)集(簡稱為TNO)[24]中選取配準的紅外圖像與低照度圖像進行實驗。實驗環(huán)境為:Matlab R2018b, 64位Windows10操作系統(tǒng),8 GB內(nèi)存,Intel(R) Core(TM) i7-7500U CPU @2.70 Hz 2.9 GHz處理器。實驗參數(shù)首先分別根據(jù)文獻[20]、文獻[21]、文獻[25]、文獻[26]初步確定,然后根據(jù)紅外圖像與低照度圖像特點及應用算法原理對參數(shù)進行調(diào)整,并進行大量實驗。最后選擇的最優(yōu)參數(shù)組為:各向異性導向濾波算法中t=20、k=5、λ=0.15;改進廣義全變分去噪算法中λ=0.5、p=0.5、D0=18、Rh=1.7、Rl=0.8、C=0.6、K=1.2、D1=0.1、n=15;多尺度分解選取“maxflat”濾波器,分解層數(shù)為4,方向數(shù)為{3,3,4,4};PCNN模型中N=200,aL=0.069 31,aθ=0.2,VL=1.0,Vθ=20,β=5。采用3種算法與本文算法進行比較,分別為NSCT_PCNN[25]算法、PCNN[26]算法、NSST[27]算法。

3.1 主觀視覺評估

本節(jié)給出了各種方法對不同場景下的5幅圖像(夜間復雜馬路、凌晨走廊、夜間繁華街道、凌晨郊區(qū)、凌晨山區(qū))的融合結(jié)果。夜間復雜馬路圖像見圖9。

圖9 夜間復雜馬路圖像Fig.9 Complex road images at night

從圖9可以看出,對于夜間復雜馬路圖像,3種方法的融合圖像均受到了噪聲的影響,NSCT_PCNN算法的融合圖像對比度較低,場景細節(jié)模糊不清;PCNN算法的融合圖像雖然場景細節(jié)表現(xiàn)較好,但對比度過高,導致圖像中顏色深的區(qū)域變黑,紅外目標偏亮;NSST算法的融合圖像較為灰暗,場景細節(jié)信息缺失;本文算法的融合圖像在亮度和細節(jié)提取上有很大提升,可以清晰地看出汽車、行人、車道線等細節(jié)信息,視覺效果提升明顯。凌晨走廊圖像見圖10。

圖10 凌晨走廊圖像Fig.10 Early morning corridor images

由圖10可以看出,對于凌晨走廊圖像,3種方法的融合圖像均存在不同程度的失真,NSCT_PCNN算法的融合圖像對于低照度圖像的場景細節(jié)信息完全缺失,只有紅外目標信息;PCNN算法的融合圖像存在大量黑色斑塊、場景細節(jié)缺失、紅外目標過亮;NSST算法的融合圖像對比度和清晰度較差、邊緣輪廓模糊、存在明顯的偽影現(xiàn)象;本文算法的融合圖像對比度適中、清晰度高、具有豐富的場景細節(jié)信息,例如走廊的地磚紋理、花草的細節(jié)和煙霧信息。這些場景信息輪廓清晰且亮度適中,更符合人眼的視覺感受。夜間繁華街道圖像見圖11。

圖11 夜間繁華街道圖像Fig.11 Busy street images at night

由圖11可以看出,對于夜間繁華街道圖像,NSCT_PCNN算法的融合圖像存在明顯的噪聲,場景細節(jié)信息缺失;PCNN算法的融合圖像存在大量黑色斑塊,圖像嚴重失真;NSST算法的融合圖像邊緣區(qū)域有明顯光暈偽影,圖像清晰度和對比度較低;本文算法的融合圖像很好地保留了低照度圖像的場景細節(jié),如圖像中人行道上的柱子、店鋪門口的細節(jié)在融合圖像中均能表現(xiàn)出來,目標亮度適中,符合人眼的視覺感受。凌晨郊區(qū)圖像見圖12。

圖12 凌晨郊區(qū)圖像Fig.12 Early morning suburban images

由圖12可以看出,對于凌晨郊區(qū)圖像,NSCT_PCNN算法的融合圖像存在大量的黑色斑塊,整體的視覺效果較灰暗;PCNN算法的融合圖像既缺少紅外圖像的場景信息(天空中的云彩)也缺少低照度圖像的場景信息(汽車車窗輪廓);NSST算法的融合圖像邊緣區(qū)域有明顯光暈偽影;本文算法的融合圖像既保留了低照度圖像的場景細節(jié),也保留了紅外圖像的場景細節(jié),天空中的云彩、車窗輪廓等場景信息均清晰可見。凌晨山區(qū)圖像見圖13。

圖13 凌晨山區(qū)圖像Fig.13 Early morning mountain images

由圖13可以看出,對于凌晨山區(qū)圖像,NSCT_PCNN算法的融合圖像效果較好,不足的是亮度和清晰度表現(xiàn)不佳;PCNN算法的融合圖像場景細節(jié)較為模糊,紅外目標過亮;NSST算法的融合圖像場景細節(jié)信息嚴重缺失,存在光暈偽影;本文算法的融合圖像亮度和清晰度均表現(xiàn)較好,場景的細節(jié)信息清晰可見。

3.2 客觀評價結(jié)果

除了主觀視覺評估,本文還使用了客觀評價標準,選用信息熵IE[28]、標準差SD[29]、平均梯度AG[30]、邊緣保留因子QAB/F[31]作為客觀評價標準。4種算法對5種不同場景下的紅外圖像和低照度圖像進行融合的客觀評價指標如表1所示。

表1 5組不同場景下的融合圖像客觀評價指標

由表1可以看出,在第1組圖像中本文算法取得的信息熵、標準差、平均梯度、邊緣保留因子,較次優(yōu)結(jié)果分別提高了16.8%、33.4%、16.7%、3.31%;在第2組圖像中,本文算法取得的信息熵、標準差、平均梯度、邊緣保留因子,較次優(yōu)結(jié)果分別提高了7.49%、90.49%、49.99%、4.02%;在第3組圖像中,本文算法取得的信息熵、標準差、平均梯度、邊緣保留因子,較次優(yōu)結(jié)果分別提高了11.52%、91.16%、39.07%、17.47%;在第4組圖像中,本文算法取得的信息熵、標準差、平均梯度、邊緣保留因子,較次優(yōu)結(jié)果分別提高了3.41%、15.31%、30.02%、35.02%;在第5組圖像中,本文算法取得的信息熵、標準差、平均梯度、邊緣保留因子,較次優(yōu)結(jié)果分別提高了3.72%、43.34%、4.24%、35.21%。通過客觀評價指標的評測可知,本文算法在改善噪聲的同時,能夠保留紅外圖像的熱目標信息,以及增強低照度圖像的紋理細節(jié)信息。

4 結(jié) 論

針對單獨使用紅外圖像或低照度圖像難以對圖像中的目標和背景信息進行識別的問題,提出了基于圖像特征的紅外圖像與低照度圖像融合算法。首先,根據(jù)紅外圖像與低照度圖像的特征有針對性地分別進行圖像處理,降低了噪聲對紅外圖像目標信息的影響,增強了低照度圖像的場景細節(jié)信息。其次,利用NSST對紅外圖像與低照度圖像進行分解,針對高頻子帶圖像特征與低頻子帶圖像特征構建不同的融合規(guī)則。最后,經(jīng)NSST逆變換獲取融合圖像。在INO與TNO數(shù)據(jù)集上的仿真實驗表明,所提算法能夠有效綜合紅外圖像的目標信息和低照度圖像的場景細節(jié)信息,融合圖像清晰自然、對比度適中、符合人眼的視覺感知效果,可以很好地被應用于軍事監(jiān)控、目標追蹤、自動駕駛等領域。