摘" 要:該文提出一種改進的基于去霧理論的夜間低照度圖像增強算法。通過對暗通道先驗去霧算法在處理夜間復雜燈光圖像中存在的偽光暈、亮度不準等問題進行分析,采用一種可以邊緣保持的濾波方法進行暗通道求取,并針對圖像特點對大氣光值進行精確估計,結合采樣方法提升處理效率,實現(xiàn)對低照度圖像的有效增強。經(jīng)過實驗分析,該算法能有效地防止光暈現(xiàn)象,改善圖像的亮度和噪聲。
關鍵詞:海面復雜背景;圖像增強;低照度;圖像去噪;暗通道先驗
中圖分類號:TP751" " " 文獻標志碼:A" " " " " 文章編號:2095-2945(2023)31-0036-06
Abstract: In this paper, an improved night low illuminance image enhancement algorithm based on defog theory is proposed. Based on the analysis of the problems of 1 halo and inaccuracy of brightness in the dark channel prior defogging algorithm in dealing with the complex light image at night, a filtering method which can preserve the edge is used to calculate the dark channel. According to the characteristics of the image, the atmospheric light value is accurately estimated, combined with the sampling method to improve the processing efficiency, and realize the effective enhancement of the low illumination image. Through experimental analysis, the algorithm can effectively prevent the halo phenomenon and improve the brightness and noise of the image.
Keywords: sea surface complex background; image enhancement; low illuminance; image denoising; dark channel priori
與室內或野外陸地不同,海上光照十分復雜,實際拍攝的圖像,往往因為天氣、光照因素等各種環(huán)境因素使得整體圖像對比度較低,難以直接獲取所需要的特征。例如,陰天霧霾海況會導致光線極暗,會出現(xiàn)圖像欠曝光現(xiàn)象,海面圖像整體偏暗;逆光條件下拍攝的海面可見光圖像會出現(xiàn)過曝光現(xiàn)象,海面圖像整體偏亮。圖像的質量直接影響最后的檢測和計算精度,所以對圖像進行預處理是十分重要的一步。本文重點研究欠曝光或低照明環(huán)境中海面圖像的增強算法。
1nbsp; 低照度直方圖分析
1.1" 正常光照時圖像特點
由于拍攝條件限制,本節(jié)選取12幅陸地天空曝光適中的可見光圖像數(shù)據(jù)說明此類圖像在直方圖方面的特點,選取的圖像數(shù)據(jù)如圖1所示,其直方圖曲線與峰值點的集合分別如圖2和圖3所示。
通過表1可以看出,曝光適中海面可見光圖像在不同標準差下的累加頻率與正態(tài)分布的累加頻率非常接近,因此在客觀數(shù)據(jù)方面曝光適中海面可見光圖像的直方圖分布接近于正態(tài)分布。
在直方圖擬合方面,Celik等[1]提出了混合正態(tài)分布擬合圖像直方圖分布的方法,若圖像出現(xiàn)一個背景和一個面積較大的目標,那么可以用混合二階正態(tài)分布擬合圖像的直方圖分布。對于海面可見光圖像,海面背景面積很大,而目標面積很小,圖像整體可近似為一個海面背景,圖像的直方圖接近于某一個正態(tài)分布,海面可見光圖像直方圖的峰值點也接近于某一個正態(tài)分布的峰值點,根據(jù)統(tǒng)計學中的參數(shù)最大似然估計[2],海面可見光圖像直方圖分布的標準差接近于某一個正態(tài)分布的標準差。
1.2" 夜間低照度圖像和有霧圖像的關聯(lián)
啟發(fā)自He的暗通道去霧算法[3],在2011年,Xuan等[4]提出了一種基于暗通道去霧的低照度視頻增強算法,通過對大量低照度圖像反轉圖的圖像表征及直方圖表征進行觀察,發(fā)現(xiàn)其與霧天圖像存在高度相似性,并利用兩者的關聯(lián)提出了一種用于低照度圖像增強的算法。
低照度圖像,一般指的是光照不足或夜間拍攝得到的光線較暗的圖像,如圖4所示。觀察其直方圖分布可以發(fā)現(xiàn),其灰度值范圍一般都在靠近直方圖的左側分布。將圖像進行反轉后,發(fā)現(xiàn)圖像的直方圖也隨之向較高一側分布,通過圖5可以觀察到低照度反轉圖像的視覺效果及直方圖分布和霧天圖像有著很高的相似性。
通過對大量圖像的對比分析,Xuan等將去霧算法在低照度圖像的增強中進行了驗證并取得了較好的效果,同時該算法也為低照度圖像的增強提供了一定的理論和現(xiàn)實依據(jù)。
2" 暗通道去霧原理
暗原色先驗理論是He等[3]提出,并應用到圖像去霧中。該理論提出在戶外無霧的圖像中,除去天空元素之外的任何一個像素點的鄰域Ω中,存在一個最暗的點,該點在一張RGB圖像的3個通道數(shù)據(jù)中,最小值趨近于0。因此,對于任意的圖像定義其暗通道為J dark
式中:Ω表示像素點的鄰域,一般選擇為7×7或者15×15的正方形區(qū)域;y為鄰域中的一個像素點;J c(y)是無霧圖像的3個通道的值,J dark(x)為無霧時的圖像暗通道,其中每個像素值趨近于0。
由式(1)可知,如果希望求得去霧后的圖像,則需要求解大氣光常數(shù)A,以及透射率分布t(x),將式(1)改寫為
等式兩端同時進行最小化運算有
式中:c表示圖像3個通道的值,結合式(1)可以推導出
最終可以得到透射率t(x)為
實際中常常會引入一個常數(shù)ω∈(0,1)來保留一部分的霧氣,通常ω越大去霧效果越明顯,通常設置為w=0.95[5]。
最終可以得到圖像的恢復公式為
實際中為了避免除數(shù)是0的情況,對參數(shù)t0的取值進行了限制,一般情況下t=0.1。
3" 改進的基于暗通道去霧的夜間圖像增強算法
經(jīng)過上述濾波算法進行圖像降噪后,圖像中的噪聲水平明顯降低,但由于光照不足,圖像中的目標仍然識別度較低,故本設計基于有霧圖像和低照度反轉圖像存在的高度相似性[4],通過對當前基于模型的暗通道先驗圖像去霧算法進行研究改進,實現(xiàn)了一種對于夜間低照度圖像增強的方法,并驗證了算法的有效性。
3.1" 圖像重采樣
利用暗通道先驗進行去霧的過程中,會發(fā)現(xiàn)有大量的時間消耗在圖像濾波及透射率細化上。為了滿足實時的要求,在保證精確率的同時可以盡可能減少時間的消耗,加入了采樣的手段,利用采樣后小圖的透射率對大圖透射率進行估計,然后進行去霧處理,所以選取較為合適的采樣倍數(shù)也是需要解決分析的問題。如果采取采樣倍數(shù)過大時,可能影響最終去霧的效果,造成透射率信息嚴重丟失[6],無法較好地對圖像進行復原增強;如果采樣倍數(shù)過低,反而在升降采樣時造成了大量的時間消耗,達不到省時的效果。除此之外,也需要選擇合適的采樣手段來實現(xiàn)更好的效果。
3.1.1" 最大值降采樣
在采用較大倍數(shù)的采樣時,會造成在圖像的邊緣明暗過度的位置出現(xiàn)紋理丟失的現(xiàn)象,這是由于采取的抽樣方式的特點所致。
采用臨近值采樣的方法是指在圖像的行列2個方向按照指定的縮略倍數(shù)N×M,行列上分別每隔N和M個點取值,將其作為最終的結果。采用這種方法在大部分情況下會存在很明顯的影響。
所以,最終采用最大值降采樣的方式,其有效避免了上述問題。最大值降采樣和臨近降采樣的區(qū)別在于,其將圖像行列上每M×N取塊,計算該范圍內的最大值作為采樣后該點的像素值大小。采用這樣的方式后,降采樣的結果在亮暗邊界處不會造成邊緣過度模糊,避免大量過渡區(qū)域的邊緣信息不被采樣處理造成信息丟失。
3.1.2" 雙三次樣條插值升采樣
經(jīng)過上述的圖像降采樣處理之后,處理得到的圖像會出現(xiàn)明顯的塊效應,這是由于在對圖像復原時,在小塊中透射率的取值一樣,缺少平滑過渡。尤其對于高倍降采樣之后,如果對復原圖像每個臨近小塊內都采用相同數(shù)值的透射率,會最終出現(xiàn)圖像分布不均的問題。
針對這個問題,考慮對圖像升采樣時加入插值的方式去還原圖像??紤]到插值效果和時間計算復雜度,最終選擇了處理效果和效率較高的雙三次樣條插值。
雙三次樣條插值考慮到相鄰的灰度像素值變化的影響,其根據(jù)附近16點的灰度整像素值及對應的導數(shù)進行運算,所以其插值效果在一階及二階導數(shù)上都是連續(xù)的。
沿x方向的4個像素點Z0、Z1、Z2、Z3,每2個像素點之間使用一個三次多項式進行擬合,像素點處的函數(shù)一階及二階導數(shù)必須連續(xù)。
對于亞像素位置(x,y)的灰度值,采用雙三次插值算法,可設其表達式為
則雙三次插值如下所示,其中u、v表示離亞像素位置最近的一個整數(shù)點位置坐標,Δx、Δy分別表示亞像素位置離整像素位置在x、y軸的亞像素位移。
f(u+Δx,v+Δy)=ABC ," (10)
式中:A、B及C都是矩陣,其具體的形式如下
圖6是對圖像進行五倍雙三次樣條插值后的結果。
3.2" 保邊引導圖像透射率估計
假設大氣光亮度A已知,有霧圖像模型放在每一個通道,即
Ic(x)=Jc(x)·Ac(1-t(x)) , (14)
式子兩邊除以Ac得到
由前面公式可知,對于無霧圖像除去天空外,J dark→0,即有
依此得到
即透射率
式中:設置常數(shù)ω(0lt;ωlt;1),目的是使估計值接近于自然,這是因為即使在大氣非常純凈的情況下,大氣中也必然包含著水氣。如果直接利用這里估計的透射率圖像,那么在恢復圖像中會產(chǎn)生“光暈”,為此需對透射率進行優(yōu)化以消除恢復圖像中的光暈。
針對圖像邊緣明顯的塊狀光暈效應,He論文中求取暗通道時采取局部最小濾波方式,但是在夜間圖像中,會發(fā)現(xiàn)如果存在局部光照過量或過暗(如路燈、車燈等),其實可以認為其邊緣處透射率不再滿足該條件,如果此時采取最小值濾波,可能將局部的噪聲引入或采集到景深之外的點作為最終的透射率大小。
考慮到上述不足,本文在求取暗通道時采用引導濾波算法進行優(yōu)化改進,避免在像素點值變化較大的邊緣區(qū)域,由于較大估計誤差而導致的邊緣塊狀現(xiàn)象。同時引導濾波能夠保持圖像梯度的相對性,從而對圖像暗通道的邊緣有良好的保持性。
引導濾波是一種局部線性模型,該模型認為,某函數(shù)上一點與其鄰近部分的點成線性關系,一個復雜的函數(shù)就可以用很多局部的線性函數(shù)來表示,當需要求該函數(shù)上某一點的值時,只需計算所有包含該點的線性函數(shù)的值并做平均即可。故濾波前后的圖像滿足如下關系
qi=akIi+bk,?i∈ωk ," (20)
式中:I是引導圖像,qi是輸出,ω是以k為中心像素的窗口,ak和bk都為該窗口對應的線性系數(shù)。上面的線性關系自然保證了圖像梯度的相對性不變,對圖像兩邊求導可以得到
▽q=a▽I 。 " (21)
但是,如果圖像中任何一個地方的系數(shù)a和b都相同,那么無異于對整個圖像進行了一個線性變換,并沒有起到保邊濾波的功效。要達到保邊濾波的效果,期望a和b是隨著圖像內容變化的,在邊緣區(qū)域a盡量大,保持梯度,在平滑區(qū)域a盡量小,以盡量平滑。輸出q應該盡量和原始圖像一致,并以此為約束條件來求解a和b,也就是最小化如下目標函數(shù)
這里,∈是對較大ak進行懲罰的正則系數(shù)。用于防止求得的a過大,也是調節(jié)濾波器濾波效果的重要參數(shù)。通過最小二乘法可以得到參數(shù)ak和bk的表達式如下
式中:ω為窗口ω中像素數(shù)目,pk、μk分別表示輸入圖像和引導圖像在窗口ω中的均值,σ是圖像在窗口ω中的方差。
在計算每個窗口的線性系數(shù)時,可以發(fā)現(xiàn)一個像素會被多個窗口包含,即每個像素都由多個線性函數(shù)所描述。因此,如之前所說,要具體求某一點的輸出值時,只需將所有包含該點的線性函數(shù)值平均即可,即
引導濾波最大的優(yōu)勢在于,可以寫出時間復雜度與窗口大小無關的算法,因此,在使用大窗口處理圖片時,其效率更高。
如圖7所示,分別是通過He論文中的最小濾波和本文使用的保邊引導濾波方式求取暗通道之后獲得的透射率分布結果??梢园l(fā)現(xiàn),采用傳統(tǒng)的暗通道中的最小濾波方式,在光照高低過渡的部分會出現(xiàn)很多的塊狀分布,而經(jīng)過本文的方法改進之后,既可以達到求取圖像暗通道的效果,又可以盡可能地對景深過渡處的透射率進行有效估計。
3.3" 大氣光照模型估計
研究發(fā)現(xiàn)Xuan等通過去霧的思想對低照度圖像進行了增強,并取得了不錯的效果。但是同時發(fā)現(xiàn),最終的圖像會存在整體顏色由于大氣光值估計不準帶來的圖像整體顏色過暗過亮,接下來將進一步精確求解大氣光值。
夜晚圖像內總是存在若干極暗的圖像區(qū)域,而對應到反轉圖像時,這些圖像區(qū)域的亮度值就會很高,而在計算大氣光的值時,所取的像素點也總是在這些區(qū)域當中。本文采用最簡單的方式計算大氣光值,即取圖像亮度最高的像素點的值作為這張反轉夜晚圖像的大氣光值。
式中:Index(·)代表取對應像素值在圖像中的位置,I表示反轉夜晚圖像I的暗通道圖。這樣計算得到的大氣光A是個包含 3個值的向量,分別對應圖像RGB 3個色彩通道。引導大氣光值估計如圖8所示。
4" 結論
本文提出了一種基于暗通道去霧優(yōu)化后的低照度圖像增強方法。根據(jù)霧天圖像和低照度圖像反轉的相似特征,介紹了暗通道去霧的理論基礎并進行應用,分析了該算法直接應用于夜間道路圖像的問題和不足,并針對這些問題進行改進分析,解決了景深突變處的黑邊效應及塊狀效應,有效估計了大氣光值改善圖像亮度,并結合采樣的手段提升了算法效率。最后,對多種算法進行實驗仿真對比,驗證了改進后算法對于圖像效果和質量的有效改善與提升。
參考文獻:
[1] CELIK T,TJAHJADI T.Automatic image equalization and contrast enhancement using Gaussian mixture modeling[J]. IEEE Transactions on Image Processing,2012.
[2] 茆詩松,程依明,濮曉龍.概率論與數(shù)理統(tǒng)計教程(第二版)[M].北京:高等教育出版社,2011.
[3] He K, JIAN S, FELLOW, et al. Single Image Haze Removal Using Dark Channel Prior[J].IEEE Transactions on Pattern Analysis amp; Machine Intelligence, 2011,33(12):2341-2353.
[4] XUAN D, PANG Y A, WEN J G. Fast efficient algorithm for enhancement of low lighting video[C].IEEE International Conference on Multimedia amp; Expo, 2011.
[5] 金觀昌.計算機輔助光學測量[M].北京:清華大學出版社,1997.
[6] XU H, GUO J, LIU Q, et al. Fast image dehazing using improved dark channel prior[J].IEEE, 2012:663-667.