雷思佳 ,趙鳳群
(西安理工大學(xué)理學(xué)院,西安710054)
(*通信作者電子郵箱lsj5830@qq.com)
近年來,霧霾天氣出現(xiàn)的頻率增加,道路的可見度降低,霧天條件下拍攝的圖像中蘊含的許多特征都被模糊。例如監(jiān)控現(xiàn)場的能見度降低,導(dǎo)致視頻信息不夠準(zhǔn)確,車輛交通情況分辨率大大降低;航空飛行中受到大霧的影響會給飛機起落、航線路徑甚至飛行安全帶來極大的影響。因此研究惡劣天氣條件下的圖像增強技術(shù)引起了人們的廣泛關(guān)注。
近年來,用分?jǐn)?shù)階微分理論來改善圖像質(zhì)量取得了許多研究成果,主要包括圖像增強[1-5]、圖像去噪[6]、圖像邊緣提?。?]等。 其 中:Pu 等[1]由 Grümwald-Letnikov(G-L) 和Riemann-Liouville(R-L)分?jǐn)?shù)階微分定義出發(fā),提出了6種高精度的分?jǐn)?shù)階微分差分近似,并分別建立了圖像增強算子,其增強圖像的視覺效果明顯優(yōu)于傳統(tǒng)的整數(shù)階微分方法。陳慶利等[2]在Caputo分?jǐn)?shù)階微分定義的基礎(chǔ)上構(gòu)建了新的圖像增強算子,該算法在提高圖像對比度的同時對圖像的紋理和邊緣信息進行了增強,但是圖像全局平均灰度較低,低頻信息保留較少,因此又出現(xiàn)了對分?jǐn)?shù)階微分算子的各種改進,并應(yīng)用于霧天交通圖像、模糊醫(yī)學(xué)圖像處理中;Hemalatha等[4]考慮到像素鄰域之間存在大量的自相關(guān)性,因此引入自相關(guān)函數(shù),采用等像素距離內(nèi)平分權(quán)值的思想改進了圖像增強算子,但該算法在處理彩色圖像時容易出現(xiàn)顏色失真;Khanna等[8]基于分?jǐn)?shù)階微分的G-L定義提出了一種對比度增強算子掩模,根據(jù)圖像自身像素信息給出了分?jǐn)?shù)階微分階數(shù),實現(xiàn)了圖像的對比度增強,但是在構(gòu)造掩模時沒有充分考慮8個方向的像素點對中心像素點的影響;為此Suman等[9]建立了8個方向上的增強算子來增強低對比度的圖像,但是當(dāng)掩模尺寸增大時,圖像由于增強過度會出現(xiàn)亮度過高。這些方法有共同的缺陷:由于圖像局部特性的不同,以及圖像內(nèi)部結(jié)構(gòu)的多樣性,使得對圖像用固定一個分?jǐn)?shù)階微分階數(shù)進行相同強度的增強通常達不到滿意的效果。鑒于此,許多研究人員致力于分?jǐn)?shù)階導(dǎo)數(shù)的自適應(yīng)方法:Hu等[10]認為在復(fù)雜的環(huán)境下以固定分?jǐn)?shù)階微分階數(shù)處理圖像很難確??梢愿纳茍D像全局信息,為此他們打破了傳統(tǒng)采用單位步長處理的思維模式,根據(jù)鄰域像素灰度值自適應(yīng)地估計非整數(shù)步長,提出一種基于非整數(shù)步長的自適應(yīng)分?jǐn)?shù)階微分的圖像增強模型;Li等[11]應(yīng)用了改進的Otsu算法把圖像分割成了邊緣、紋理和平滑區(qū)域,再根據(jù)圖像分割之后的區(qū)域特征建立了自適應(yīng)分?jǐn)?shù)階微分函數(shù),但是由于圖像本身灰度分布以及噪聲干擾等因素的影響,僅利用灰度直方圖得到的閾值并不能使圖像分割得到滿意的結(jié)果。
上述方法對特定圖像都取得了很好的增強效果,然而在惡劣天氣條件下,捕捉到的圖像會受到多種因素的影響,具有很高的空間相關(guān)性。像素點有一定的灰度差,使用固定的階數(shù)使得它很難保證在增強圖像邊緣、紋理像素點的同時保留平滑像素點,因此有必要判斷像素點的屬性,并分別對它們進行處理。本文根據(jù)高階精度的Riesz分?jǐn)?shù)階微分的近似計算公式,建立了兩種新的圖像增強算子,并基于圖像的梯度、局部信息熵建立了分?jǐn)?shù)階微分逐點自適應(yīng)的選取方法,從而形成了一種新的基于分?jǐn)?shù)階微分的圖像增強算法。
設(shè)函數(shù) u(x)在區(qū)間[0,x]上連續(xù),將[0,x]區(qū)間 M 等分,節(jié)點為xm=x - mh(m=0,1,2,…,M),步長為h,則h=x/M。對于u(x)的v階Riesz分?jǐn)?shù)階導(dǎo)數(shù),文獻[12]提出了具有六階精度的近似計算公式:
當(dāng)M為偶數(shù)時,由式(1)中u(x)在xM/2處的Riesz分?jǐn)?shù)階導(dǎo)數(shù)近似計算公式為:
其中 ai= θ1g-i-2+ θ2g-i-1+ θ3g-i+ θ2g-i+1+ θ1g-i+2。
由式(2)可以得到二元函數(shù)u(x,y)在(xM/2,yM/2)處分別關(guān)于變量x和y的Riesz分?jǐn)?shù)階導(dǎo)數(shù)的近似計算公式:
對于二維數(shù)字圖像 u(x,y),令h=1,取式(3)、(4)的前4項系數(shù):
為了滿足圖像增強算子的旋轉(zhuǎn)不變性,考慮x軸方向、y軸方向、左右對角線方向共4個方向,構(gòu)造大小為7×7的分?jǐn)?shù)階微分增強算子,如圖1(a)所示,稱為RH算子(Riesz Higher order operator)。將此算子中的每一個系數(shù)值除以掩模的系數(shù)總權(quán)值,將掩模歸一化,如圖1(b)所示。
圖1 RH算子Fig.1 RH operator
然后再使用該掩模對圖像的每一個像素值運用式(5)進行卷積運算,從而實現(xiàn)霧天圖像增強:
其中:a=b=3分別為分?jǐn)?shù)階微分算子掩模在x、y坐標(biāo)軸上的半徑大小,Q(s,t)表示圖1(b)所示的分?jǐn)?shù)階微分算子掩模。
RH算子中有許多零元素,導(dǎo)致這些點處像素對中心像素點增強沒有貢獻,這顯然對圖像增強效果有影響。由于兩個相鄰像素的直線距離為1,斜線距離為為此,本文采用如下方法替換零元素位置:得到的掩模如圖2(a)所示。
為了增加中心像素點的作用,減少周圍像素點的作用,本文引入強度因子γ(0<γ<1)來調(diào)節(jié)周圍像素點對目標(biāo)像素點的貢獻力度:Rk=γqk(k=1,2,…,7),同時為了使掩模的系數(shù)權(quán)值之和為1,掩模中心系數(shù)改為R0=1-4(R1+R4)-8(R2+R3+R5+R6+R7)。形成的新算子如圖2(b)所示,稱為IRH算子(Improved Riesz Higher order operator)。本文選取強度因子γ為0.5。
圖2 IRH算子Fig.2 IRH operator
分?jǐn)?shù)階微分掩模各元素數(shù)值的確定與分?jǐn)?shù)階微分階數(shù)的選取有關(guān)。對于霧天圖像的增強難以人為地給出使得圖像增強效果最佳的分?jǐn)?shù)階微分階數(shù),且對整幅圖像用一個固定的分?jǐn)?shù)階微分階數(shù)進行濾波也很難確保在凸顯圖像邊緣信息的同時,還能有效保留圖像平滑區(qū)域的信息,甚至可能造成增強后圖像局部的失真,從而降低了圖像分辨率。針對這個問題,本文構(gòu)建了分?jǐn)?shù)階微分階數(shù)的自適應(yīng)選取算法,根據(jù)圖像特征對圖像中每一個像素點選取其恰當(dāng)?shù)碾A數(shù)。基于分?jǐn)?shù)階微分增強原理,圖像邊緣和紋理區(qū)域需要增強的幅度應(yīng)大于圖像的平滑區(qū)域,因此本文結(jié)合圖像的梯度和局部信息熵來構(gòu)造分?jǐn)?shù)階微分階數(shù)函數(shù)。
2.1.1 圖像的梯度
圖像的梯度反映圖像灰度的變化率。圖像邊緣區(qū)域、紋理區(qū)域的梯度模比平滑區(qū)域的大,因此在圖像增強時,圖像邊緣和紋理區(qū)域需要增強的幅度要大于圖像平滑區(qū)域[13-14]。
為準(zhǔn)確反映中心像素與鄰域像素的灰度幅值變化,在像素點(x,y)的8個方向上求梯度模,即:
則可得到每個像素點8個方向的梯度模值變化特征。取這8個方向梯度模的最大值近似作為(x,y)處的梯度模值。即:
2.1.2 圖像的局部信息熵
圖像的信息熵表示圖像紋理的豐富程度,因為圖像中的邊緣區(qū)域和紋理區(qū)域像素值的變化比圖像中平滑區(qū)域像素值的變化大,所以,圖像邊緣和紋理區(qū)域含有更多的圖像信息熵。為了反映圖像局部區(qū)域的紋理豐富程度,本文計算圖像的局部信息熵。
設(shè)Ω(x,y)是以像素點(x,y)為中心,大小為d×d的矩形窗口中圖像像素值的集合,其中d為奇數(shù)且d≥3。p(j)為Ω(x,y)內(nèi)像素值為j時出現(xiàn)的頻率,則(x,y)處的局部信息熵的定義為:
為了更加準(zhǔn)確統(tǒng)計圖像中每個像素點與鄰域像素點的關(guān)系,設(shè)參數(shù)d的取值為3。
由分?jǐn)?shù)階微分圖像增強原理知,圖像的梯度模、局部信息熵的值越大,則該局部區(qū)域為圖像的邊緣和紋理的可能性就越大,所以,該區(qū)域需要的微分階數(shù)就較大;而當(dāng)圖像的梯度模、局部信息熵的值越小,則該區(qū)域為圖像的平滑區(qū)域的可能性就越大,所以采用較小的微分階數(shù)來保留平滑區(qū)域的信息[15]。
可見微分階數(shù)與該點處的梯度模和局部信息熵的大小是成正比的,因此可構(gòu)造分?jǐn)?shù)階微分階數(shù)與圖像的梯度模和局部信息熵之間的函數(shù)關(guān)系:
其中:k1、k2是加權(quán)系數(shù);v(x,y)是所求的自適應(yīng)分?jǐn)?shù)階微分階數(shù);u(x,y)和E(x,y)是為了保證微分階數(shù)范圍在0~1進行的歸一化處理:
其中D表示整幅圖像所在的區(qū)域。因為圖像的梯度反映圖像的清晰度,局部信息熵度量圖像的紋理豐富程度,當(dāng)v變化時,圖像的梯度和局部信息熵也隨之變化,所以圖像的梯度和局部信息熵對v取值的影響同等重要,因此取k1=k2=1/2。
相對于RGB空間,HSV空間中各個通道之間具有一定的獨立性,且更加符合人類的視覺習(xí)慣;所以首先將灰度圖像改善方法延拓至彩色圖像的亮度通道,保留其余兩個通道的灰度特性就能改善圖像的質(zhì)量,這樣使得處理后的圖像的細節(jié)對比更加清晰,對比度明顯增強。本文首先將圖像由RGB空間轉(zhuǎn)化到HSV空間且只對亮度通道作增強處理,然后利用自適應(yīng)分?jǐn)?shù)階微分函數(shù)式(6)計算圖像中每個像素點的微分階數(shù)v,再將v代入IRH算子中與霧天圖像作卷積運算,得到增強后的圖像g(x,y)。該算法本文稱為自適應(yīng)IRH算法,其算法流程如圖3所示。
圖3 圖像增強算法流程Fig.3 Process of image enhancement algorithm
本文實驗均在 Matlab平臺上進行,Matlab版本為R2014a,PC 處理器為 3.60 GHz Intel Core CPU i7-4790,內(nèi)存大小為64 GB,操作系統(tǒng)為Windows 7旗艦版。
為了檢驗本文算法的有效性,本文選擇三幅霧天交通圖像作為實驗對象,此外,選擇Tiansi算子、基于分割的自適應(yīng)分?jǐn)?shù)階微分圖像增強算法[16]以及自適應(yīng)分?jǐn)?shù)階微分的復(fù)合雙邊濾波算法[17]進行實驗對比,并與本文提出的RH算子、IRH算子進行了對比分析,如圖4~6所示。
圖4 不同算法對高架橋霧天圖像的增強效果Fig.4 Enhancement results of foggy image of viaduct by different algorithms
圖5 不同算法對林區(qū)道路霧天圖像的增強效果Fig.5 Enhancement results of foggy image of forest road by different algorithms
在實驗中,圖4(a)、圖5(a)、圖6(a)為霧天交通圖像原圖,由于有霧的原因,路面的可視度較低,道路兩旁的房屋建筑、樹木和交通標(biāo)志都模糊不清;圖4(b)、圖5(b)、圖6(b)是v=0.4時,用Tiansi算子增強過的圖像,路面的清晰度有所增加;圖4(c)、圖5(c)、圖6(c)是文獻[16]的處理結(jié)果,從圖中可以看出,處理之后的圖像看起來有些模糊,失去了較多細節(jié)信息,整體色彩偏暗,增強效果不太明顯;圖4(d)、圖5(d)、圖6(d)是文獻[17]中的算法在HSV空間上當(dāng)δd=3,δr=0.4時的處理結(jié)果,可以看出,雖然圖像中的整體亮度有所增加,但是圖像對比度增加不是很明顯;圖4(e)、圖5(e)、圖6(e)是v=0.4時,本文RH算子處理的結(jié)果,可以看出,比起清晰度和亮度,RH算子優(yōu)于Tiansi算子處理的結(jié)果;圖4(f)、圖5(f)、圖6(f)是v=0.4時,本文IRH算子處理的結(jié)果,從圖可以看出,紋理細節(jié)清晰度有所增強,且優(yōu)于RH算子處理的結(jié)果;圖4(g)、圖5(g)、圖6(g)是自適應(yīng)IRH算子分?jǐn)?shù)階微分算法的實驗結(jié)果,可以看出,比起其他算法的處理結(jié)果,不僅整體亮度增強,而且邊緣和紋理細節(jié)都有明顯的增強。因此可以得出,自適應(yīng)IRH算子明顯優(yōu)于其他算法的效果。本文方法在處理薄霧且顏色偏暗的圖像時,細節(jié)信息保留地更好,無論是遠景還是近景都比其他算法處理得更加清晰,但是對于偏亮的濃霧圖像,處理效果欠佳(如圖4)。
圖6 不同算法對城市道路霧天圖像的增強效果Fig.6 Enhancement result of foggy image of urban road by different algorithms
為了客觀評價本文算法的有效性,表1列出了實驗中各圖像的信息熵和平均梯度??梢娮赃m應(yīng)IRH算子處理后的圖像的信息熵和平均梯度都高于其他算法,說明本文的算法確實有效。
表1 不同算法增強圖像的評價指標(biāo)對比Tab.1 Evaluation index comparision of enhanced image by different algorithms
表2給出了上述實驗中幾種算法的耗時,可以看出:本文的RH算子和IRH算子在時間復(fù)雜度上占優(yōu)勢,而且處理結(jié)果優(yōu)于其他方法;但是自適應(yīng)IRH算法由于在每一點處都需要計算分?jǐn)?shù)階微分階數(shù),所需時間較長,這是該算法的一個不足之處。
表2 幾種算法運行時間對比 sTab.2 Contrast of running time of several algorithm s
分?jǐn)?shù)階微分應(yīng)用在霧天圖像增強上是一個新的研究課題。本文使用Riesz分?jǐn)?shù)階導(dǎo)數(shù)的高階數(shù)值公式構(gòu)造了RH算子、IRH算子,并且考慮圖像增強過程中的局部特性以及圖像內(nèi)部結(jié)構(gòu)的多樣性和復(fù)雜性,在圖像每個像素點構(gòu)造出了符合特征的微分階數(shù),構(gòu)造了自適應(yīng)IRH算子,對圖像增強中分?jǐn)?shù)階微分階數(shù)的選擇方法做出了新的探索。通過實驗表明本文算法在紋理細節(jié)清晰度和信息內(nèi)容豐富程度都有很大的優(yōu)勢。本文建立的分?jǐn)?shù)階微分階數(shù)的計算方法,適合于任何一種分?jǐn)?shù)階微分圖像增強算子。本文實驗了自適應(yīng)RH算法和自適應(yīng)Tiansi算法,均取得了良好的效果,但是本文方法對濃霧圖像處理效果不好,且用時較長,這將是我們后續(xù)研究中要解決的問題。