李榮華,唐智超,李宏亮,樸俊峰
(大連交通大學(xué) 機(jī)械工程學(xué)院,遼寧 大連 116028)
霧霾天氣環(huán)境下,空氣中的霧霾顆粒對(duì)大氣光的吸收和散射等作用導(dǎo)致能見度降低,嚴(yán)重降低了探測(cè)器獲取的圖像質(zhì)量,如交通監(jiān)控、碼頭檢測(cè)系統(tǒng)以及遙感探測(cè)系統(tǒng)等.目前對(duì)于如何消除霧霾影響的方法主要分為兩類:一類是圖像增強(qiáng)復(fù)原技術(shù),主要是通過提高圖像的對(duì)比度來增強(qiáng)圖像,比如直方圖均衡化、Retinex復(fù)原和小波變換等,這類算法雖然計(jì)算簡單但只是增強(qiáng)了圖像整體的效果,對(duì)于圖像細(xì)節(jié)復(fù)原并不是很理想;另一類是通過大氣散射模型消除霧霾,這類算法[1-2]在增強(qiáng)圖像對(duì)比度的同時(shí)對(duì)于圖像細(xì)節(jié)處的復(fù)原也能達(dá)到理想效果,因此,此類算法具有重大的研究價(jià)值和應(yīng)用前景.
Fattal[3]重新定義了大氣散射模型,并且在保留傳輸函數(shù)的基礎(chǔ)上,增添了表面陰影這個(gè)新的變量,通過假設(shè)透射率和物體表面投影在局部區(qū)域內(nèi)不相關(guān)來估計(jì)參數(shù)從而還原霧霾圖像,但是在濃霧天氣下此算法并不能很好的復(fù)原圖像;Schchner[4]通過手動(dòng)調(diào)節(jié)偏振片獲取同一場景下的垂直和平行的最大、最小光強(qiáng)圖像,通過手動(dòng)選取天空區(qū)域來估算無窮遠(yuǎn)處大氣光值和大氣光偏振度來代替整幅圖像的無窮遠(yuǎn)處大氣光值和大氣光偏振度,再根據(jù)偏振去霧模型得到去霧圖像,此算法雖然運(yùn)行簡單快捷,但是需要手動(dòng)選取區(qū)域,存在人為主觀誤差;何凱明[8]通過統(tǒng)計(jì)大量的無霧圖像,發(fā)現(xiàn)在絕大部分非天空區(qū)域,至少有一個(gè)顏色通道的像素值較低并以此提出了暗通道先驗(yàn)理論,通過軟摳圖法得到了優(yōu)化的透射圖,此方法能夠消除大部分圖像的霧霾,但是對(duì)于存在大片天空區(qū)域的圖像,容易出現(xiàn)光暈現(xiàn)象造成去霧圖像顏色失真.
本文算法通過運(yùn)用Stokes矢量公式計(jì)算圖像的偏振信息,將其映射到HSI顏色空間提高目標(biāo)細(xì)節(jié)特征,再轉(zhuǎn)換到RGB空間,通過暗通道先驗(yàn)原理求取透射圖,用導(dǎo)向?yàn)V波優(yōu)化透射圖;考慮了圖像中因場景深度對(duì)偏振引起的變化,對(duì)圖像中每一點(diǎn)像素值進(jìn)行參數(shù)重構(gòu)運(yùn)算,避免了因選取圖像中某一區(qū)域的大氣光偏振度代替整幅圖像的大氣光偏振度而引起的誤差;通過形態(tài)學(xué)對(duì)圖像重建處理后求取局部極大值來代替無窮遠(yuǎn)處大氣光值.
HSI模型符合人類對(duì)于描述物體和解釋顏色的方式,所以在處理彩色圖像方面可以得到較好的結(jié)果.偏振光是一種光矢量振動(dòng)方向不變并且具有某種變化規(guī)則的光,其所含的偏振信息不會(huì)因?yàn)楣獾奈蘸蜕⑸涠p,能夠保留較完整的目標(biāo)信息.為描述偏振信息,可以采用Stokes矢量(I、Q、U、V),其中I代表總光強(qiáng),Q代表X軸方向上的偏振光分量,U代表45°方向的偏振光分量,V代表圓偏振光,因?yàn)樽匀还庵械膱A偏振信息微乎其微,所以通常假設(shè)V= 0.
描述偏振信息需要偏振度圖像DOP和偏振角圖像AOP,通過偏振度圖像描述光強(qiáng)度的比例,通過偏振角圖像描述偏振光振動(dòng)方向和參考方向之間的夾角.
(1)
(2)
式(1)和式(2)中的Stokes矢量參數(shù)I、Q、U,可以通過式(3)獲取.
I(αi)=(I+Qcos 2αi+Usin 2αi)/2
(3)
式中αi是指偏振片偏振方向與標(biāo)準(zhǔn)方向之間的夾角,通過獲取三幅不同角度的偏振圖像就可以求解出Stokes矢量參量I、Q、U,也可以求解處于不同偏振角度時(shí)的光強(qiáng)圖像I(αi).本文采用0°,60°,120°三個(gè)方向的偏振圖像.
通過式(1)~式(3)求出總強(qiáng)度圖像I、偏振度圖像DOP和偏振角圖像AOP.HSI顏色空間模型可以消除圖像彩色信息攜帶的強(qiáng)度分量的影響,是一種彩色圖像處理算法理想的描述工具,對(duì)人的視覺來說更加直觀.為了增強(qiáng)偏振圖像中的目標(biāo)特征信息,將獲取的偏振信息強(qiáng)度圖像I、偏振度圖像DOP和偏振角圖像AOP映射到HSI空間模型.其中具體的映射關(guān)系[5]如下:
(4)
(5)
(6)
現(xiàn)有很多的彩色模型如RGB模型、CMY和CMYK彩色模型等[6]雖然對(duì)于硬件的實(shí)現(xiàn)都很理想,但是并不能很好描繪人眼所觀察的顏色.而HSI彩色模型是通過色調(diào)、亮度和飽和度來描述目標(biāo),色調(diào)H類似于RGB模型中的顏色種類,亮度I與色彩信息不相關(guān),卻是人類對(duì)于彩色感覺的重要參數(shù),飽和度S描繪了物體顏色的濃度.將偏振信息映射在HSI模型上可以提高目標(biāo)的細(xì)節(jié)特征,因?yàn)樾枰ㄟ^Matlab離線處理圖像,所以最終需要轉(zhuǎn)換到RGB空間上進(jìn)行圖像運(yùn)算.
產(chǎn)生霧霾的主要原因有兩點(diǎn),一是目標(biāo)反射光在霧霾天氣情況下因?yàn)榇髿庵械膽腋×W赢a(chǎn)生的吸收和散射作用,使目標(biāo)反射光能量逐漸衰減,探測(cè)器接收到的圖像亮度變暗、對(duì)比度降低;另一點(diǎn)是像太陽光等環(huán)境光因?yàn)榇髿庵械纳⑸浣橘|(zhì)產(chǎn)生背景光,而通常背景光強(qiáng)度大于目標(biāo)光,導(dǎo)致探測(cè)器接收到的圖像模糊不清.根據(jù)Mie散射理論可知被廣泛認(rèn)可的大氣散射模型圖[7]如圖1所示.
圖1 大氣散射模型
Schechner在大氣散射模型的基礎(chǔ)上,通過光的偏振原理改進(jìn)了圖像去霧模型如下:
I(x,y)=D(x,y)+A(x,y)
(7)
式中:D(x,y)指的是目標(biāo)觀測(cè)點(diǎn)的場景光強(qiáng),通過大氣散射模型可知D(x,y)=L(x,y)t(x,y),其中L(x,y)是待復(fù)原的圖像,t(x,y)是傳輸圖,式(7)中A(x,y)是大氣光強(qiáng)圖像,由式(8)組成:
A(x,y)=A∞(1-t(x,y))
(8)
式中,A∞是指無窮遠(yuǎn)處區(qū)域的大氣光數(shù)值.
根據(jù)文獻(xiàn)[4]可知探測(cè)器接收到的圖像強(qiáng)度可以分解為平行和垂直入射面的兩個(gè)偏振分量Amax(x,y)和Imin(x,y),同樣大氣光強(qiáng)A也可以分解為平行和垂直入射面的兩個(gè)偏振分量Amax(x,y)和Amin(x,y).通過式(1)可知最大光強(qiáng)和最小圖像為:
Imax(x,y)=D(x,y)/2+Amax(x,y)
(9)
Imin(x,y)=D(x,y)/2+Amin(x,y)
(10)
根據(jù)偏振度的定義可知偏振度圖像和大氣光偏振度圖像為:
(11)
(12)
通過式(7)~式(12)可知偏振去霧表達(dá)式為:
(13)
由式(13)可知只需要求解圖像總強(qiáng)度I、圖像偏振度DOP、大氣光圖像偏振度PA和無窮遠(yuǎn)處大氣光強(qiáng)四個(gè)參量即可去除霧霾對(duì)圖像造成的影響,提升圖像對(duì)比度,增強(qiáng)場景目標(biāo)物的細(xì)節(jié)信息.
暗原色先驗(yàn)原理[8]是何凱明通過測(cè)試數(shù)千幅戶外無霧圖像驗(yàn)證了其合理性,通過計(jì)算這些圖像可知,圖像的R、G、B三個(gè)通道之中必然存在一個(gè)通道的像素值很低.如式(14)所示:
(14)
式中,Jc(y)是圖像J的其中一個(gè)通道,Ω(x)是以像素值x為中心的一個(gè)方形區(qū)域,通過式(14)可知Jdark(x)的像素值都相對(duì)較低,所以Jdark(x)為圖像J的暗原色圖像.根據(jù)大氣散射模型原理可知復(fù)原圖像可由式(15)表示:
J(x)=(I(x)-A(x))/t(x)+A(x)
(15)
對(duì)式(15)兩邊同除大氣光圖像A后進(jìn)行局部最小值濾波操作可以得到透射率圖t(x),見式(16):
(16)
通過式(16)求取的透射圖存在塊效應(yīng),本文使用導(dǎo)向?yàn)V波[9]進(jìn)行透射圖的優(yōu)化.
Li等人[10]認(rèn)為灰度圖像中像素值的分布大致符合正態(tài)分布曲線,通過求取灰度圖像像素值的均值與方差,運(yùn)用閾值對(duì)正太分布曲線中的像素值迭代篩選出無窮遠(yuǎn)處的點(diǎn),然而一旦遇到圖像中有大量白色區(qū)域時(shí)(見圖2(a)),仍然無法準(zhǔn)確估計(jì)無窮遠(yuǎn)處的區(qū)域.而本文通過數(shù)學(xué)形態(tài)學(xué)的知識(shí)處理偏振圖像,因?yàn)闊o窮遠(yuǎn)處區(qū)域的像素值要大于附近的近景區(qū)域的像素值,所以對(duì)圖像進(jìn)行形態(tài)學(xué)重建后求取其局部極大值,通過圖2(b)可以看出,本文算法能夠很好地避免白色高樓帶來的影響并且能夠自動(dòng)篩選出無窮遠(yuǎn)處區(qū)域,通過對(duì)篩選出的區(qū)域像素值求取平均像素值來代替無窮遠(yuǎn)處的大氣光強(qiáng)值.
(a) LI的方法
(b) 本文的方法圖2 求取無窮遠(yuǎn)處大氣光強(qiáng)方法對(duì)比圖
(17)
傳統(tǒng)的偏振去霧模型求取大氣光偏振度都是通過選取最大最小光強(qiáng)圖像[11]上的無窮遠(yuǎn)處區(qū)域作為大氣光的代替值,從而計(jì)算出大氣光的偏振度值,但是將大氣光偏振度當(dāng)作一個(gè)全局不變量忽略了現(xiàn)實(shí)環(huán)境中場景深度對(duì)于偏振引起的變化,將其當(dāng)作一個(gè)常量與實(shí)際情況存在誤差,并且在之后的去霧運(yùn)算中誤差將逐漸增大造成復(fù)原結(jié)果失真.本文通過將偏振信息映射到HSI顏色空間增強(qiáng)圖像的目標(biāo)細(xì)節(jié)特征,根據(jù)暗通道先驗(yàn)原理運(yùn)用導(dǎo)向?yàn)V波求取優(yōu)化后的透射率圖,根據(jù)式(8)可知優(yōu)化后的透射率圖和基于形態(tài)學(xué)求取的無窮遠(yuǎn)處大氣光強(qiáng)值可以得到大氣光強(qiáng)A.通過式(9)~(12)可以求取的全局變量參數(shù)大氣光偏振度PA:
(18)
通過式(18)得到全局變量的大氣光偏振度圖像,解決了因?yàn)閷⒋髿夤馄穸犬?dāng)成全局不變量而產(chǎn)生的誤差,使復(fù)原效果更加符合現(xiàn)實(shí)場景.
通過偏振圖像復(fù)原機(jī)理可知大氣光偏振度的估計(jì)精度和大氣光息息相關(guān),當(dāng)大氣光偏振度估計(jì)精度有誤時(shí)會(huì)造成復(fù)原圖像目標(biāo)細(xì)節(jié)丟失,場景光強(qiáng)D和大氣光強(qiáng)A反應(yīng)圖像的不同信息,所以精確的PA應(yīng)該使D和A的關(guān)系越小越好.本文通過歸一化互信息NMI[12]來衡量圖像之間的關(guān)系:
(19)
式(19)中pi(?)是圖像的灰度級(jí)i的分布概率,pi,j(A,D)是圖像A和D的聯(lián)合概率分布,NMI(A,D)越大說明兩者關(guān)聯(lián)越大,所以精確的PAoptimal應(yīng)為獲得最小NMI時(shí)所對(duì)應(yīng)的偏振度信息值:
PAoptimal=arg minNMI(A,D)
(20)
本文通過實(shí)驗(yàn)室所研制的三通道偏振相機(jī)獲取霧霾天氣情況下的圖片,實(shí)驗(yàn)所使用的圖片均為實(shí)際拍攝后經(jīng)過配準(zhǔn)處理運(yùn)算后所獲取,為了驗(yàn)證本文去霧算法的有效性,引進(jìn)了信息熵、平均梯度和灰度方差三個(gè)客觀指標(biāo)進(jìn)行評(píng)價(jià),這三個(gè)值越大,證明圖像質(zhì)量越好.這里分別將本文算法與Schechner的算法和暗通道先驗(yàn)算法進(jìn)行對(duì)比.
Schechner的算法通過手動(dòng)旋轉(zhuǎn)偏振片獲取平行和垂直入射平面的正交偏振圖像,手動(dòng)選取天空區(qū)域計(jì)算無窮遠(yuǎn)處大氣光強(qiáng)值,這種方法存在著人為主觀性的誤差且增加了人機(jī)交互性的煩瑣;本文通過三通道偏振相機(jī)獲取不同角度的偏振圖像,通過形態(tài)學(xué)重建圖像求取局部極大值可以自主選取無窮遠(yuǎn)處的區(qū)域.從圖3中可以看出相對(duì)于Schechner的算法,本文提出的算法如圖3(f)在遠(yuǎn)處的大樓可以清晰看到窗戶的輪廓,近處樓房上的字更為清晰,整體圖像復(fù)原效果要優(yōu)于Schechner的算法.
(a) 原圖
(b) Schechner算法
(c)本文算法
(d) 原圖
(e) Schechner算法
(f) 本文算法圖3 Schechner算法與本文算法的去霧圖像對(duì)比
通過表1可知兩組霧天圖像通過Schechner的算法和本文算法分別去霧后,質(zhì)量評(píng)價(jià)指標(biāo)的量化結(jié)果相對(duì)于霧天圖像均有提高,粗體數(shù)字代表效果最優(yōu),從表1可以看出本文算法在信息熵、平均梯度和灰度方差方面均優(yōu)于Schechner算法.
表1 Schechner算法與本文算法圖像質(zhì)量評(píng)價(jià)表
從圖4(b)和圖4(e)中可以看出何凱明的暗通道算法對(duì)擁有大片天空區(qū)域的圖片處理上容易出現(xiàn)顏色失真的情況,尤其是天空區(qū)域光暈情況十分嚴(yán)重.本文的算法能夠在去除霧霾影響的情況下,保證天空區(qū)域不會(huì)出現(xiàn)顏色失真的情況.圖4(c)和圖4(f)是通過本文算法進(jìn)行去霧后的結(jié)果,可以觀察到圖像中的白色教學(xué)樓去霧效果明顯,整體輪廓清晰,天空區(qū)域符合現(xiàn)實(shí)情況,不會(huì)出現(xiàn)嚴(yán)重的光暈現(xiàn)象.
(a) 原圖
(b) 暗通道算法
(c)本文算法
(d) 原圖
(e) 暗通道算法
(f) 本文算法圖4 暗通道先驗(yàn)算法與本文算法的去霧圖像對(duì)比
從表2可以看出本文提出的算法在信息熵、平均梯度和灰度方差要遠(yuǎn)高于霧霾圖像;圖4(c)在信息熵方面略低于暗通道算法,因?yàn)樾畔㈧胤从沉藞D像包含的細(xì)節(jié)程度,從圖4(c)可以看出本文算法雖然對(duì)于場景中遠(yuǎn)處細(xì)節(jié)恢復(fù)明顯,遠(yuǎn)處的教學(xué)樓輪廓復(fù)原明顯,圖像整體對(duì)比度有所加強(qiáng).但是左下角的樹木卻因?yàn)榫嚯x探測(cè)器過近,在去霧過程中存在部分細(xì)節(jié)丟失,所以導(dǎo)致圖像中信息量減少,數(shù)值略低,但是圖像整體復(fù)原情況要優(yōu)于暗通道算法.
表2 暗通道算法與本文算法圖像質(zhì)量評(píng)價(jià)表
本文算法針對(duì)霧霾天氣圖像質(zhì)量下降的情況,提出一種全局參數(shù)估計(jì)的顏色空間轉(zhuǎn)換偏振去霧算法.通過將偏振信息映射在HSI空間上增強(qiáng)目標(biāo)細(xì)節(jié)特征,求取優(yōu)化的透射圖,重構(gòu)大氣光偏振度圖像中每一點(diǎn)的像素值,通過形態(tài)學(xué)重建霧霾圖像求取其局部極大值,自動(dòng)求取無窮遠(yuǎn)處大氣光值.相對(duì)于Schechner的算法,本文不需要手動(dòng)選取天空區(qū)域,避免了因?yàn)槿藱C(jī)交互而造成的精度誤差;相對(duì)于暗通道算法,本文算法解決了大片天空區(qū)域出現(xiàn)光暈、顏色失真等問題.通過信息熵、平均梯度和灰度方差三個(gè)評(píng)價(jià)指標(biāo)可以看出本文算法有著較好的去霧效果,恢復(fù)了更多的目標(biāo)細(xì)節(jié)特征,為了后續(xù)進(jìn)行實(shí)時(shí)視頻去霧奠定了良好的基礎(chǔ).