李賢陽 陽建中* 楊竣輝 陸安山
1(北部灣大學(xué)電子與信息工程學(xué)院 廣西 欽州 535011)2(欽州市電子產(chǎn)品檢測重點實驗室 廣西 欽州 535011)3(江西理工大學(xué)信息工程學(xué)院 江西 贛州 341000)
Difference enhancement High frequency component classification Local maximum
紅外成像技術(shù)是利用熱輻射差異來識別目標(biāo)和背景,能較好地反映出場景中溫度場信息[1-2]。該技術(shù)具有環(huán)境適應(yīng)性強(qiáng)、隱蔽性好、抗干擾能力強(qiáng)等優(yōu)點,被廣泛應(yīng)用于監(jiān)控、偵查和醫(yī)療等軍民領(lǐng)域[3]。但是,由于自身硬件設(shè)備的限制和環(huán)境干擾,圖像成像質(zhì)量不高,總是受到低對比度、模糊細(xì)節(jié)和背景噪聲的影響[2-3]。因此,增強(qiáng)紅外圖像的微弱邊緣和抑制背景噪聲是至關(guān)重要的,對于改善紅外圖像的視覺質(zhì)量與后續(xù)的信息提取分析具有重要意義[4]。近年來,學(xué)者們提出了一系列的紅外圖像增強(qiáng)方案,這種技術(shù)不僅成本低,而且已經(jīng)成為改善紅外圖像質(zhì)量或增強(qiáng)表現(xiàn)的一種便捷方法,如Jaspreet等[5]為了改善紅外圖像的視覺質(zhì)量,提出了一種用于紅外圖像的非訓(xùn)練對比度增強(qiáng)技術(shù),通過優(yōu)化的溫度閾值來消除背景干擾,并通過去相關(guān)對比度拉升方法來進(jìn)行顏色增強(qiáng),實驗結(jié)果驗證了其算法的增強(qiáng)性能。這種基于對比度拉升的增強(qiáng)方法雖然結(jié)構(gòu)簡單,但其采用了一個固定的變換函數(shù),缺乏自適應(yīng)性,易導(dǎo)致增強(qiáng)圖像的細(xì)節(jié)不清晰,且難以有效消除噪聲。為了克服這個不足,基于直方圖均衡化的增強(qiáng)技術(shù)得到了廣泛研究,它是通過均勻分布待增強(qiáng)圖像的概率密度函數(shù)來實現(xiàn)的,如曹美等[6]為了提高紅外圖像的低對比度與消除噪聲,提出了改進(jìn)的直方圖均衡化和NSCT變換的紅外圖像增強(qiáng)。利用NSCT變換來獲取待增強(qiáng)圖像的高頻子帶系數(shù)和一個低頻子帶系數(shù);利用自適應(yīng)降噪函數(shù)與非線性增益函數(shù)來增強(qiáng)高頻子帶,以消除噪聲與保留邊緣信息;利用改進(jìn)的直方圖均衡化機(jī)制來增強(qiáng)低頻分量。實驗結(jié)果表明該技術(shù)增強(qiáng)了圖像對比度,突出了圖像的邊緣輪廓信息。該技術(shù)通過利用視覺感知主觀偏好特性來改進(jìn)直方圖均衡化的灰度映射,可以較好地提高全局對比度,但其忽略了高頻分量的特性,利用同一個增強(qiáng)方法來處理所有的高頻系數(shù),導(dǎo)致其局部對比度增強(qiáng)效果較弱。Wan等[7]為了能夠同時提高紅外圖像的全局與局部對比度,提出了基于粒子群優(yōu)化的局部熵加權(quán)直方圖均衡化的紅外圖像增強(qiáng)算法。利用基于改進(jìn)的雙曲正切函數(shù)來定義一種新的局部熵加權(quán)直方圖,充分描述圖像的細(xì)節(jié)信息分布;通過閾值最大化類間方差,將直方圖分成兩部分,分別改善前景和背景的對比度;同時,為了避免過增強(qiáng)和噪聲放大,利用粒子群優(yōu)化算法來形成雙平臺閾值直方圖;最后根據(jù)帶約束的子局部熵加權(quán)直方圖,分別實現(xiàn)子圖像的均衡化處理。實驗結(jié)果驗證了其算法的合理性與先進(jìn)性。但是,該技術(shù)是一種空域增強(qiáng)方法,且其雙平臺閾值直方圖均衡化方法中的閾值是固定的,對于紅外圖像不同的區(qū)域,缺乏自適應(yīng)性,會出現(xiàn)過渡增強(qiáng)現(xiàn)象。
為了解決上述不足,兼顧增強(qiáng)圖像的全局與局部對比度,并有效抑制噪聲,本文提出基于改進(jìn)的直方圖均衡化與邊緣保持平滑濾波均衡化的紅外圖像增強(qiáng)算法。所提技術(shù)是一種空域與頻域相結(jié)合的增強(qiáng)方案。通過采用邊緣保持平滑濾波來分解紅外圖像,輸出一個低頻分量和一個高頻分量序列。為了最大化改善低頻和高頻分量的增強(qiáng)效果,本文利用不同的增強(qiáng)策略來處理各種成分。對于低頻分量,利用模糊統(tǒng)計理論來確定出最優(yōu)閾值,利用優(yōu)化的平臺直方圖來增強(qiáng)低頻分量,最大程度提高紅外圖像的全局對比度;根據(jù)高頻分量的標(biāo)準(zhǔn)差,設(shè)計三個不同的增強(qiáng)方法,對其相應(yīng)的系數(shù)進(jìn)行差異增強(qiáng),獲取增強(qiáng)的高頻分量序列,有效擴(kuò)大紅外圖像的局部對比。通過非局部均值濾波來充分抑制噪聲。最后,對所提增強(qiáng)方案的性能進(jìn)行了驗證。
基于改進(jìn)的直方圖均衡化與邊緣保持平滑濾波均衡化的紅外圖像增強(qiáng)算法過程見圖1。依圖可知,所提增強(qiáng)方案主要有4個階段:(1) 基于邊緣保持平滑濾波的圖像分解;(2) 基于改進(jìn)的直方圖均衡化的低頻分量增強(qiáng);(3) 基于系數(shù)分類的高頻分量差異增強(qiáng);(4) 基于非局部均值濾波的噪聲抑制。
圖1 本文算法的增強(qiáng)過程
邊緣保持濾波[8-9]作為一種多尺度分解方法,可以較好地保持邊緣并平滑圖像、消除偽影,被廣泛應(yīng)用于數(shù)字圖像處理領(lǐng)域。與其他經(jīng)典的濾波器不同,邊緣保持濾波可以有效地平衡銳化和模糊。令初始圖像為S,通過邊緣保持濾波,尋找出盡可能與S相接近的濾波圖像I。濾波圖像I的計算函數(shù)為[9]:
(1)
依據(jù)文獻(xiàn)[9]可知,將式(1)進(jìn)行如下轉(zhuǎn)換,可得濾波圖像I為:
I=G(S,λ)=(E+λH)-1S
(2)
根據(jù)式(2)可知,當(dāng)λ取大值時,可以獲取平滑濾波圖像。因此,邊緣保持濾波可以實現(xiàn)多尺度圖像分解,其過程見圖2。對于給定的紅外圖像S,利用C個不同的正則化參數(shù)λi,i=1,2,…,C,基于邊緣保持濾波,可獲取C個濾波圖像Ii,i=1,2,…,C:
Ii=G(S,λi)
(3)
式中:λi+1>λi。
圖2 基于邊緣保持平滑濾波的圖像分解過程
根據(jù)式(3)得到的濾波圖像Ii,通過計算兩個相鄰Ii與Ii+1之間的差異,即可得到對應(yīng)的高頻分量Hi:
Hi=Ii-Ii+1i=1,2,…,C-1
(4)
式中:I0為初始圖像。
以圖3(a)為例,設(shè)置兩個正則化參數(shù)λ=8、λ=20,利用上述過程對其完成分解,形成的低頻分量見圖3(b),依圖可知,低頻分量包含了初始紅外圖像的絕大部分細(xì)節(jié)。經(jīng)過λ=8、λ=20的平滑結(jié)果分別見圖3(c)和圖3(d);通過式(4)計算,形成的高頻分量分別見圖3(e)、3(f)。
(a) 初始圖像 (b) 低頻分量
(c) λ=8的平滑圖像(d) λ=20的平滑圖像
(e) (a)與(c)之間 的高頻分量 (f) (a)與(d)之間 的高頻分量圖3 基于邊緣保持平滑濾波的圖像分解
根據(jù)圖3(b)可知,紅外圖像的全局視覺主要集中在低頻分量上。而平臺直方圖均衡化PHE(Plateau histogram equalization)方法[10]作為傳統(tǒng)直方圖均衡化HE(histogram equalization)的改進(jìn)版,它通過一個平臺閾值來抑制背景增強(qiáng),可以有效增強(qiáng)全局對比度。對于灰度等級為L的紅外圖像,其概率密度函數(shù)P(k)為[10]:
(5)
式中:k是第k個灰度等級;Nk代表圖像中灰度等級為k的像素數(shù)量;N代表圖像中總的像素數(shù)量。
在PHE方法中,其對應(yīng)的概率密度函數(shù)為[10]:
(6)
根據(jù)式(6)可知,當(dāng)P(k)≥T時,PHE方法中的P(k)主要是根據(jù)閾值T來設(shè)定;反之,則P(k)保持不變,始終等于閾值T。
基于式(6),低頻分量經(jīng)過PHE處理后,輸出結(jié)果為:
(7)
式中:DT(k)是增強(qiáng)后的第k個灰度等級;flood()代表向下取整運(yùn)。
可見,在PHE方法中,閾值T對提高增強(qiáng)質(zhì)量是非常重要的。但是,傳統(tǒng)的PHE采用了一個固定的閾值,缺乏自適應(yīng)性。為了能夠根據(jù)不同的紅外圖像來選擇不同的閾值T,本文利用模糊統(tǒng)計理論[11]對其改進(jìn)。選擇閾值T的關(guān)鍵因素就是找到圖像直方圖中的局部最大值[12]。然而,傳統(tǒng)的直方圖方法會產(chǎn)生銳化直方圖,使其難以找到真實的局部最大值。而紅外圖像強(qiáng)度等級的不確定性可以用模糊統(tǒng)計來處理[13]。這種方法產(chǎn)生較為平滑的直方圖,從而可以很容易確定這個局部最大值。以圖3(a)為例,其對應(yīng)的直方圖見圖4(a),通過模糊統(tǒng)計處理的平滑直方圖見圖4(b)。依圖可知,圖4(b)比圖4(a)更加平滑。
(a) 初始直方圖 (b) 均衡化直方圖圖4 基于模糊統(tǒng)計優(yōu)化后的均衡化直方圖
在傳統(tǒng)的直方圖中,其p(k)反映了灰度等級k的頻率;經(jīng)過模糊統(tǒng)計優(yōu)化后的p(k)則是表示灰度等級k周圍的強(qiáng)度水平出現(xiàn)的頻率。令B′(x,y)代表灰度值B(x,y)的模糊數(shù)量,則利用模糊隸屬函數(shù)對B′(x,y)進(jìn)行模糊化。依據(jù)文獻(xiàn)[13]可知,經(jīng)過模糊統(tǒng)計優(yōu)化的直方圖為:
(8)
(9)
隨后,根據(jù)式(8)計算得到的模糊直方圖后,求取其一階偏導(dǎo):
(10)
式中:p(k)是模糊直方圖P′(k)的一階偏導(dǎo)。
則其相應(yīng)的局部最大值kt可由如下函數(shù)計算:
kt=k?{p(k)>0,p(k+1)<0}k=1,2,…,255
(11)
再利用中值濾波處理這些最大值對應(yīng)的直方圖上,從而得到最優(yōu)平臺閾值T:
T=M{P′(i1),P′(i2),…,P′(iS)}
(12)
式中:S為局部最大值的數(shù)量。
最后,根據(jù)式(5)-式(7),聯(lián)合優(yōu)化的平臺閾值T,對低頻分量L完成增強(qiáng):
LE=D(L)
(13)
式中:LE為增強(qiáng)低頻分量;F(L)是模糊平臺直方圖均衡化。
高頻分量中的大量系數(shù)與強(qiáng)邊緣、中邊緣、弱邊緣對應(yīng)[14]。也就是說通過改變高頻分量的系數(shù),即可增強(qiáng)邊緣,完成局部對比度增強(qiáng)。首先,根據(jù)高頻分量的標(biāo)準(zhǔn)差,將高頻分量序列分類為三種邊緣:
(14)
式中:Hk(i)代表第k個高頻分量在位置i的系數(shù);SEC是強(qiáng)邊緣;MEC代表中邊緣;WEC為弱邊緣;σ為高頻分量Hk的標(biāo)準(zhǔn)偏差;c為常量,本文取c=1。
隨后,根據(jù)這三類邊緣,設(shè)計3個增強(qiáng)策略,通過改變其系數(shù)Hk(i),對這些高頻分量實現(xiàn)差異增強(qiáng):
(15)
式中:p為常量,通過多次測試,取p=0.9。
最后,將增強(qiáng)的低頻分量LE與高頻分量HE(i)(i=1,2,…,C-1)實施組合,輸出增強(qiáng)圖像:
IE=LE+HE(1)+HE(2)+…+HE(C)
(16)
以圖3(b)、(e)、(f)為對象,利用上述處理過程,得到的低頻增強(qiáng)結(jié)果見圖5(a),可見,紅外圖像的全局對比度明顯提升;增強(qiáng)的高頻分量見圖5(b)、5(c)。可發(fā)現(xiàn),紅外目標(biāo)的局部對比度明顯改善。最終形成的增強(qiáng)圖像見圖5(d)。
(a) 增強(qiáng)的低頻分量(b) 第一個高頻的增強(qiáng)結(jié)果
(c) 第二個高頻分量的增強(qiáng)結(jié)果(d) 輸出的增強(qiáng)圖像圖5 圖像的增強(qiáng)結(jié)果
由于紅外圖像中通常含有噪聲干擾,因此,為了在增強(qiáng)圖像的同時也可以有效抑制噪聲,本文引入非局部均值濾波來實現(xiàn)[15]。非局部均值濾波[15]不僅可以強(qiáng)有力地消除噪聲,而且還能保持圖像邊緣。令z(i)是原始圖像中的位于i位置的像素,則其非局部均值濾波結(jié)果為Q(i):
(17)
式中:Ω為圖像域;w(i,j)代表兩個相鄰像素之間的權(quán)重值:
(18)
(19)
以圖5(d)為對象,利用上述過程,對其完成噪聲抑制處理,結(jié)果見圖6。增強(qiáng)結(jié)果中噪聲被有效消除,視覺更加自然。
圖6 噪聲抑制結(jié)果
為了反映本文算法的增強(qiáng)視覺質(zhì)量,借助Matlab軟件對其完成驗證,另外,為了突出該算法的優(yōu)勢,將經(jīng)典的直方圖均衡化方法、文獻(xiàn)[6]和文獻(xiàn)[7]作為對照組??紤]一般性,從MORRIS圖像庫[16]中選擇3幅圖像作為測量目標(biāo);實驗條件為:DELL電腦, 3.5 GHz,雙核CPU,500 GB硬盤與8 GB內(nèi)存。實驗參數(shù)設(shè)置為:濾波圖像數(shù)量C=2、正則化參數(shù)λ1=0.03以及λ2=0.1、c=1、p=0.9、權(quán)重αx=αy=0.8。
以圖7(a)、圖8(a)、圖9(a)為對象,基于所提算法、經(jīng)典的直方圖均衡化HE(histogram equalization)方法、文獻(xiàn)[6]和文獻(xiàn)[7]的方案對三種完成增強(qiáng)處理,結(jié)果如圖7-圖9所示。從圖7可發(fā)現(xiàn),初始紅外圖像的整體對比度較低,建筑物較為模糊,經(jīng)過4種方案增強(qiáng)后,其對比度與細(xì)節(jié)清晰度均有所提高,然而,本文方案的增強(qiáng)效果最好,全局與局部對比度最高,細(xì)節(jié)更加清晰度,更好地保持了建筑物的邊緣與細(xì)節(jié),無過渡增強(qiáng)現(xiàn)象,見圖7(e)。而經(jīng)典的HE方法雖然改善了視覺質(zhì)量,但是存在過度增強(qiáng),見圖7(b);文獻(xiàn)[6]雖然改善了紅外圖像的全局對比度,但是局部對比度較低,建筑物的清晰度不理想,細(xì)節(jié)與邊緣有所丟失,整體視覺質(zhì)量不自然,見圖7(c)。文獻(xiàn)[7]的整體增強(qiáng)效果較好,但是局部細(xì)節(jié)的清晰度有待提升,見圖7(d)。在圖8中,所提算法的視覺效果非常自然,兼顧了全局與局部對比度的平衡,見圖8(e);而經(jīng)典的HE方法中存在局部過渡增強(qiáng),見圖8(b);文獻(xiàn)[6]的增強(qiáng)結(jié)果的局部對比度較弱,細(xì)節(jié)清晰度不佳,見圖8(c);文獻(xiàn)[7]的整體視覺較好,但局部增強(qiáng)效果有待進(jìn)一步提高,要略低于所提算法,見圖8(d)中的方框。圖9是高斯噪聲干擾下的低質(zhì)量紅外圖像增強(qiáng)效果。從圖中可發(fā)現(xiàn),對于含有噪聲的紅外圖像,經(jīng)典的HE方法不僅會出現(xiàn)局部過度增強(qiáng),而且輸出結(jié)果中仍在背景噪聲,見圖9(b);文獻(xiàn)[6]的增強(qiáng)效果要優(yōu)于HE方法,但其局部對比度不理想,丟失了部分細(xì)節(jié)信息,見圖9(c);文獻(xiàn)[7]的增強(qiáng)結(jié)果中的局部細(xì)節(jié)有待進(jìn)一步增強(qiáng),見圖9(d);而本文方案的增強(qiáng)視覺質(zhì)量很好地兼顧了全局與局部對比度,細(xì)節(jié)清晰可見,而且有效消除了噪聲,見圖9(e)。原因是本文算法采用了邊緣保持平滑濾波來分解紅外圖像,使得低頻與高頻分量更好地保持邊緣,并得到了較好的平滑效果,且采用模糊統(tǒng)計理論來獲取平滑直方圖,根據(jù)其確定出局部最大值來改進(jìn)平臺直方圖,以此完成低頻分量,使其自適應(yīng)較強(qiáng),可以根據(jù)不同特性的紅外圖像確定合適的閾值,提高了全局對比度。另外,基于高頻分量的標(biāo)準(zhǔn)差,設(shè)計三個不同的增強(qiáng)方法,對高頻分量的三類系數(shù)進(jìn)行差異增強(qiáng),顯著提高了局部對比度,從而保留了大量的細(xì)節(jié)。并且采用了非局部均值濾波來消除圖像中的噪聲,從而使其整體增強(qiáng)效果最佳。而經(jīng)典的HE方法是對所有的像素進(jìn)行相同程度增強(qiáng),容易出現(xiàn)局部過渡增強(qiáng)現(xiàn)象。文獻(xiàn)[6]算法則忽略了高頻分量的特性,利用同一個增強(qiáng)方法來處理所有的高頻系數(shù),導(dǎo)致其局部對比度增強(qiáng)效果較弱。文獻(xiàn)[7]采用的雙平臺閾值直方圖均衡化方法中的閾值是固定的,無法根據(jù)紅外圖像特性來選擇出較優(yōu)的閾值,使其增效效果要略低于所提算法。
(a) 初始紅外圖像 (b) HE增強(qiáng)結(jié)果
(c) 文獻(xiàn)[6]的增強(qiáng)結(jié)果(d) 文獻(xiàn)[7]的增強(qiáng)結(jié)果
(e) 所提算法的增強(qiáng)結(jié)果圖7 海上建筑紅外圖像的增強(qiáng)結(jié)果
(a) 初始紅外圖像 (b) HE增強(qiáng)結(jié)果
(c) 文獻(xiàn)[6]的增強(qiáng)結(jié)果(d) 文獻(xiàn)[7]的增強(qiáng)結(jié)果
(e) 所提算法的增強(qiáng)結(jié)果圖8 城市紅外圖像的增強(qiáng)結(jié)果
(a) 初始紅外圖像 (b) HE增強(qiáng)結(jié)果
(c) 文獻(xiàn)[6]的增強(qiáng)結(jié)果(d) 文獻(xiàn)[7]的增強(qiáng)結(jié)果
(e) 所提算法的增強(qiáng)結(jié)果圖9 噪聲干擾下的紅外圖像的增強(qiáng)結(jié)果
為了客觀量化這些增強(qiáng)結(jié)果的差異,本文引入模糊線性指數(shù)[17]、熵值[18]、標(biāo)準(zhǔn)差[19]來評估。模糊線性指數(shù)γ反映紅外圖像中有效信息量與對比度大小的指標(biāo),其值越小,表明增強(qiáng)質(zhì)量越高,所增強(qiáng)圖像的有用信息更多,對比度更高,所含的背景信息更少,其函數(shù)為[17]:
(20)
式中:fij代表像素(i,j)的灰度值;fmax是圖像f的最大灰度值;M×N為圖像f的尺寸。
熵值[18]能客觀反映出增強(qiáng)紅外圖像的細(xì)節(jié),熵值越大,則表明增強(qiáng)圖像含有更多的細(xì)節(jié),其函數(shù)為:
(21)
式中:p(mi,j)是像素灰度為mi,j出現(xiàn)的概率;M、N分別是圖像的高與寬。
另外,標(biāo)準(zhǔn)差主要是反映紅外圖像對比度的有效指標(biāo),其值越大,說明增強(qiáng)圖像的對比度越高,其函數(shù)為[19]:
(22)
表1顯示了所提增強(qiáng)方案與其他三種方案對圖7(a)、圖8(a)、圖9(a)的增強(qiáng)圖像所對應(yīng)的模糊線性指數(shù)γ、熵值H與標(biāo)準(zhǔn)差δ。由表可知,所提算法的增強(qiáng)圖像對應(yīng)的H、δ值均要大于文獻(xiàn)[6]與文獻(xiàn)[7]技術(shù),而模糊線性指數(shù)γ均低于其他三種技術(shù),但是,其δ值要低于經(jīng)典的HE方法。對于圖7(a),所提算法的增強(qiáng)圖像對應(yīng)的H、δ分別為6.82、5.39,而γ值最低,為0.231。經(jīng)典的HE方法雖然H值要低于所提方案,但由于其存在過渡增強(qiáng),使其δ值要大于本文方案,分別為4.91、5.60、0.279。文獻(xiàn)[6]的H、δ與γ值分別為5. 69、4.66、0.262。文獻(xiàn)[7]的H、δ與γ值分別為6.34、4.87、0.255。尤其是在噪聲干擾下,所提算法的優(yōu)勢更大,經(jīng)典的HE方法的增強(qiáng)圖像丟失了大量細(xì)節(jié),其H值僅有4.26,而模糊線性指數(shù)γ達(dá)到0.293。而本文算法的H、δ與γ值保持較為穩(wěn)定,分別為7.08、5.69、0.194。文獻(xiàn)[7]的H、δ值也要遠(yuǎn)低于所提技術(shù),分別為6. 41、5.05,對應(yīng)的γ值也要高于所提技術(shù),為0.220。
表1 不同算法的增強(qiáng)圖像對應(yīng)的模糊線性指數(shù)、熵值與標(biāo)準(zhǔn)差測試結(jié)果
為了提高紅外圖像的增強(qiáng)視覺質(zhì)量,本文提出了基于改進(jìn)的直方圖均衡化與邊緣保持平滑濾波的紅外圖像增強(qiáng)算法。利用邊緣保持平滑濾波來分解紅外圖像,輸出低頻分量與高頻成分序列。利用模糊隸屬函數(shù)來改進(jìn)平臺直方圖,根據(jù)其強(qiáng)度等級特性,確定出合適的閾值,提高了其適應(yīng)性,以此對低頻分量完成增強(qiáng),從而改善了其全局對比度;根據(jù)高頻分量序列的不同特性,設(shè)計了3個增強(qiáng)策略,對這些高頻分量實施差異增強(qiáng),以提高局部對比度,保留豐富的細(xì)節(jié)。為了消除噪聲與保持邊緣信息,引入非局部均值濾波對增強(qiáng)結(jié)果完成降噪處理。實驗結(jié)果顯示所提方法在主觀視覺質(zhì)量和客觀評價方面均獲得理想的結(jié)果。