孟宇彤，趙康軍，趙偉*

(1.東北林業(yè)大學(xué) 信息與計(jì)算機(jī)工程學(xué)院，哈爾濱 150040；2.臨沭縣工業(yè)和信息化產(chǎn)業(yè)發(fā)展中心，山東 臨沂 276700)

0 引言

森林是國(guó)家的重要資源，對(duì)森林進(jìn)行智能化監(jiān)控非常重要。氣象學(xué)定義，大氣中因懸浮的水汽凝結(jié)，能見(jiàn)度低于1 000 m的天氣現(xiàn)象為霧[1]。在深秋和初冬，因清晨氣溫低且植物呼吸作用達(dá)到頂峰，水汽易凝結(jié)，導(dǎo)致霧的形成。大霧反射大量太陽(yáng)輻射，使森林能見(jiàn)度下降，對(duì)現(xiàn)有的森林實(shí)時(shí)監(jiān)測(cè)管理造成干擾阻礙，因此設(shè)計(jì)一種優(yōu)化的全天候去霧算法尤為重要。

就國(guó)內(nèi)外研究現(xiàn)狀而言，圖像去霧算法主要分為3類：一是基于數(shù)字圖像處理技術(shù)中圖像增強(qiáng)的去霧方法，主要包括空域和頻域的增強(qiáng)算法，如Retinex算法[2-4]、均衡化算法、雙邊濾波方法[5]和高斯濾波[6]等，該類算法雖然可以明顯提升對(duì)比度、去除噪點(diǎn)、還原圖像的視覺(jué)效果，但卻忽略了霧天圖像降質(zhì)機(jī)理，無(wú)法從本質(zhì)上解決問(wèn)題，使得圖像去霧的效果有限，也造成了還原的圖片不真實(shí)問(wèn)題。二是基于物理模型的去霧方法[7]，主要有基于暗通道先驗(yàn)的去霧算法[8]、區(qū)域分割方法[9]和基于暗通道融合亮通道優(yōu)化方法[10]等。He等[11]統(tǒng)計(jì)分析了大量戶外無(wú)霧圖像，通過(guò)構(gòu)建霧化圖像的物理模型得出暗通道先驗(yàn)理論，該理論能夠恢復(fù)出較為清晰完整地去霧圖像，但該類算法的缺點(diǎn)是在不滿足暗通道先驗(yàn)理論的天空區(qū)域會(huì)產(chǎn)生嚴(yán)重的顏色畸變。對(duì)此許多學(xué)者在暗通道先驗(yàn)算法基礎(chǔ)上提出了改進(jìn)措施：Yan等[9]通過(guò)邊緣檢測(cè)的方法分離得到天空區(qū)域，并將其提取出來(lái)進(jìn)行先驗(yàn)處理，這種算法的缺點(diǎn)是在圖像像素變化劇烈的邊緣處會(huì)出現(xiàn)光暈效應(yīng)且伴隨色彩失真，恢復(fù)出的圖像在邊界處存在光暈和偽影；李鵬飛等[10]提出了使用暗通道和亮通道結(jié)合的方法來(lái)進(jìn)行圖像去霧；蒯峰陽(yáng)等[12]在亮暗通道融合算法的基礎(chǔ)上通過(guò)大量實(shí)驗(yàn)優(yōu)化了大氣光的強(qiáng)度值，在戶外去霧方面取得了較為理想的效果，但在森林圖像去霧方面存在局限性。三是基于深度學(xué)習(xí)的去霧算法[13]，通過(guò)龐大的數(shù)據(jù)庫(kù)訓(xùn)練模型，進(jìn)而對(duì)輸入的測(cè)試圖像進(jìn)行處理，這類算法的缺點(diǎn)是需要大量的數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試，但目前圖像數(shù)據(jù)集有限，并且合成的去霧圖像和實(shí)際圖像仍有所差別。

1 森林背景圖像去霧的優(yōu)化

本研究先采用自適應(yīng)算法對(duì)圖片的亮度進(jìn)行計(jì)算并根據(jù)需要進(jìn)行亮度調(diào)整，然后在亮暗通道去霧的物理模型基礎(chǔ)上，針對(duì)森林的空氣濕度等特殊條件，對(duì)空氣中的大氣光、透射率等參數(shù)進(jìn)行優(yōu)化，后續(xù)進(jìn)行高斯曲率濾波去除光暈效應(yīng)，利用圖像增強(qiáng)和大氣介質(zhì)成像模型的優(yōu)勢(shì)改進(jìn)得到更為清晰完整的森林去霧圖像，從而為森林監(jiān)測(cè)提供更好的數(shù)據(jù)支持和保障。設(shè)計(jì)的去霧圖像處理流程如圖1所示。

圖1 設(shè)計(jì)的去霧圖像處理的流程圖Fig.1 The flow chart of defogging image processing

1.1 自適應(yīng)算法預(yù)處理

在容易產(chǎn)生濃霧的深秋和初冬森林環(huán)境中，圖像的色彩度相對(duì)單一，多為黑色、褐色、暗綠色以及白霧色，樹(shù)木枝干縫隙狹小導(dǎo)致光照不足，采集到的圖像質(zhì)量較差，如圖2所示。

圖2 霧天森林圖像Fig.2 Forest images on foggy days

因此采用自適應(yīng)算法對(duì)圖像進(jìn)行預(yù)處理。將輸入圖像HSV(Hue Saturation Value)顏色空間的明亮度進(jìn)行壓縮，用像素點(diǎn)亮度值和圖像最大亮度值分別除以對(duì)數(shù)平均亮度，如公式(1)

(1)

(2)

式中：N表示像素總數(shù)；δ是一個(gè)很小的值，用于避免對(duì)純黑色像素進(jìn)行對(duì)數(shù)計(jì)算時(shí)數(shù)值溢出[14]。

公式(1)表明，當(dāng)對(duì)數(shù)平均亮度向高值收斂時(shí)，對(duì)數(shù)函數(shù)的形狀收斂為線性函數(shù)?？梢?jiàn)，低明亮度的場(chǎng)景比高明亮度的場(chǎng)景得到更多的提升。根據(jù)場(chǎng)景的對(duì)數(shù)平均明亮度能使場(chǎng)景整體明亮度充分壓縮。

1.2 自適應(yīng)局部亮度增強(qiáng)算法(Adaptive Local Tone Mapping，ALTM)

(3)

(4)

式中：|Ω|為圖像中的正方形像素塊的個(gè)數(shù)；Ω(x,y)表示正方形像素塊的區(qū)域；(ξx,ξy)為Ω(x,y)區(qū)域內(nèi)臨近像素點(diǎn)(x,y)的像素點(diǎn)坐標(biāo)；a(ξx,ξy)和b(ξx,ξy)為線性系數(shù)，滿足公式(5)和公式(6)。

(5)

b(ξx,ξy)=μ(ξx,ξy)-a(ξx,ξy)μ(ξx,ξy)。

(6)

式中：μ(ξx,ξy)與σ(ξx,ξy)分別為預(yù)處理圖像Ig在Ω(x,y)區(qū)域的像素塊均值和方差；μ2(ξx,ξy)是在Ω(x,y)區(qū)域內(nèi)Ig平方的均值。

在經(jīng)過(guò)圖像局部像素亮度值調(diào)整和濾波優(yōu)化后，能夠?qū)崿F(xiàn)高動(dòng)態(tài)范圍的圖像自適應(yīng)增強(qiáng)。實(shí)驗(yàn)證實(shí)，經(jīng)過(guò)光照增強(qiáng)的夜晚森林去霧圖要比直接去霧的森林夜晚圖效果好得多，實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 自適應(yīng)算法增強(qiáng)效果圖Fig.3 Adaptive algorithm enhancement image

1.3 亮暗通道融合算法

暗通道先驗(yàn)算法是一種基于物理模型的去霧方法，在確定霧化圖像模型的基礎(chǔ)上完成降質(zhì)圖像的恢復(fù)工作。本研究在暗通道的基礎(chǔ)上進(jìn)行改進(jìn)，以達(dá)到更好的去霧效果。

在計(jì)算機(jī)視覺(jué)領(lǐng)域，霧化圖像的表示通常見(jiàn)公式(7)。

Iout(x,y)=J(x,y)t(x,y)+A[1-t(x,y)]。

(7)

式中：J(x,y)為無(wú)霧情況的場(chǎng)景色彩信息；t(x,y)為有霧情況的透射率；A為全局大氣光，與場(chǎng)景輻射的衰減有關(guān)，通常用常數(shù)來(lái)表示。去霧模型是根據(jù)A為主要光源場(chǎng)景的假設(shè)，無(wú)霧場(chǎng)景J(x,y)可以表示為

(8)

He等[11]通過(guò)統(tǒng)計(jì)分析大量的戶外無(wú)霧圖像得到統(tǒng)計(jì)經(jīng)驗(yàn)：在無(wú)霧情況下，彩色圖像分解成的R、G、B三通道中，總會(huì)有至少1個(gè)通道色彩強(qiáng)度較小，表示為Jdark，并且Jdark→0，對(duì)于任意圖像J，暗通道Jdark(x,y)滿足

Jdark(x,y)=minx,y∈Ω(x,y)(minc∈{R,G,B}Jc(x,y))。

(9)

式中：minc∈{R,G,B}Jc(x,y)表示在像素點(diǎn)(x,y)的R、G、B通道中取色彩強(qiáng)度最小值；c表示圖像R、G、B三通道中的某一通道；minx,y∈Ω(x,y)表示取以(x,y)為中心的局部方塊內(nèi)色彩強(qiáng)度最小值；2個(gè)取最小值的算子順序可以進(jìn)行交換。

Jlight(x,y)=maxx,y∈Ω(x,y)(maxc∈{R,G,B}Jc(x,y))。

(10)

像素點(diǎn)處的亮通道強(qiáng)度趨于無(wú)霧圖像的大氣光強(qiáng)度，即Jlight→Alight。Ω(x,y)是以(x,y)為中心的局部方塊，maxx,y∈Ω(x,y)為Ω區(qū)域內(nèi)色彩強(qiáng)度最大值。

由上可知，有霧圖像在非天空區(qū)域的暗通道強(qiáng)度趨于零，亮通道強(qiáng)度趨于無(wú)霧時(shí)大氣光強(qiáng)度。蒯峰陽(yáng)等[12]利用亮暗通道的算法，得出圖像亮通道的大氣光值為Alight，將暗通道先驗(yàn)估計(jì)的大氣光值記作Adark，將Alight和Adark以3∶1的權(quán)重進(jìn)行加法運(yùn)算，最終得到亮暗通道融合算法估計(jì)的大氣光強(qiáng)度數(shù)值。亮暗通道共同估計(jì)大氣光的實(shí)質(zhì)是對(duì)暗通道先驗(yàn)估計(jì)出的全局大氣光進(jìn)行逐點(diǎn)修正。這一修正過(guò)程避免了使用同一常數(shù)值進(jìn)行去霧的不準(zhǔn)確性，提高了圖像去霧的可靠性。

(11)

表1 透射率與信息熵的關(guān)系Tab.1 Relationship between transmittance rate and information entropy

在用亮暗通道融合算法估計(jì)大氣光值以及根據(jù)實(shí)驗(yàn)得出適合森林環(huán)境的去霧參數(shù)后，得到圖像如圖4所示。從圖4可以看出，圖像光線變亮，樹(shù)木的枝葉清晰可見(jiàn)，圖像對(duì)比度也明顯提高。此時(shí)去霧效果較理想，但樹(shù)木的尖端邊緣存在光暈，也說(shuō)明去除Halo效應(yīng)十分必要。

圖4 亮暗通道融合算法去霧效果圖Fig.4 Defogging image of light and dark channel fusion algorithm

2 Halo光暈效應(yīng)的優(yōu)化

經(jīng)亮暗通道融合去霧算法對(duì)透射率、全局大氣光等參數(shù)進(jìn)行優(yōu)化，森林霧氣圖像得到較好地恢復(fù)，但亮暗通道融合去霧算法造成圖像的Halo光暈效應(yīng)無(wú)法避免。Halo效應(yīng)會(huì)讓圖像中介于天空和森林間的分界線過(guò)于明顯，造成圖像不真實(shí)感。

蛛絲從他的身體上空掠過(guò)，射在不遠(yuǎn)處的凸石上，像張開(kāi)的五指，扒住了石面。隨后，唐飛霄借著蛛絲的拉扯力，如飛天蜘蛛，倏地朝天葬師撲來(lái)。他那八足伸展起來(lái)，體長(zhǎng)怕是已超過(guò)了兩丈，而他與天葬師的距離，也不過(guò)才七八丈遠(yuǎn)，這一躍之間，便已到了近前，揚(yáng)起鋼釬一般的前足，朝著天葬師當(dāng)胸插下！

針對(duì)亮暗通道去霧算法出現(xiàn)的Halo光暈效應(yīng)，本研究采用高斯曲率濾波對(duì)Halo光暈進(jìn)行邊界模糊處理，使光暈變得不明顯，圖像更趨近于真實(shí)。

2.1 高斯曲率濾波

曲率濾波是一種從微分幾何的角度最小化相關(guān)曲率以實(shí)現(xiàn)圖像優(yōu)化的方法。Lee等[16]提出，高斯曲率是圖像信號(hào)的固有性質(zhì)，因此可以根據(jù)性質(zhì)構(gòu)造高斯曲率濾波器來(lái)優(yōu)化圖像。Gong[17]根據(jù)圖像信號(hào)的高斯曲率，設(shè)計(jì)了高斯曲率濾波的優(yōu)化解法，既避免了求解高斯曲率的二階偏導(dǎo)，又能保持圖像的梯度和邊緣細(xì)節(jié)信息。該理論假設(shè)理想無(wú)噪圖像所構(gòu)成的曲面是分塊可展的，根據(jù)微分幾何[18-19]等知識(shí)已知一個(gè)曲面是可展曲面當(dāng)且僅當(dāng)高斯曲率為0。

在森林圖像Halo效應(yīng)的處理上，本算法使高斯曲率最小化，以此達(dá)到去除圖像上的光暈噪點(diǎn)、平滑圖像的目的。設(shè)J經(jīng)去霧處理后轉(zhuǎn)化為確定的離散數(shù)字圖像，U表示需要估計(jì)的輸出圖像。將圖像解釋為數(shù)據(jù)空間上的一個(gè)幾何曲面，利用高斯曲率作為約束重建細(xì)節(jié)和邊緣平滑的未知圖像。

2.2 域分解求解過(guò)程

域分解[20]求解過(guò)程是通過(guò)調(diào)整各點(diǎn)像素值使其位于鄰域像素的切平面上來(lái)滿足可展條件。求解采用最小距離調(diào)整原則：對(duì)于(i,j)坐標(biāo)的像素點(diǎn)，首先將空間進(jìn)行分解從而去除鄰域像素之間的關(guān)聯(lián)性，使二維圖像中的像素點(diǎn)分成水平方向和垂直方向上的同類像素均不相鄰；其次計(jì)算像素點(diǎn)(i,j)與3×3窗口內(nèi)的鄰域像素構(gòu)成的三角切平面的距離，由于像素點(diǎn)到三角切平面的投影有8種，即有8種投影距離，三角切平面的情況如圖5所示；最后將8種投影距離的最小值作為投影算子對(duì)當(dāng)前像素值進(jìn)行修正。8種投影距離的求解方法為

d1=(U(i-1,j)+U(i+1,j))/2-U(i,j)

d2=(U(i,j-1)+U(i,j+1))/2-U(i,j)

d3=(U(i-1,j-1)+U(i+1,j+1))/2-U(i,j)

d4=(U(i-1,j+1)+U(i+1,j-1))/2-U(i,j)

d5=U(i-1,j)+U(i,j-1)-U(i-1,j-1)-U(i,j)

d6=U(i-1,j)+U(i,j+1)-U(i-1,j+1)-U(i,j)

d7=U(i,j-1)+U(i+1,j)-U(i+1,j-1)-U(i,j)

d8=U(i,j+1)+U(i+1,j)-U(i+1,j+1)-U(i,j)

|dm|=min{|di|,i=1,2,…,8}

(12)

式中：U(i,j)表示(i,j)坐標(biāo)處的輸出像素值；di(i=1,2,3, …,8)表示曲面上(i,j)點(diǎn)與不同鄰域點(diǎn)所在切平面的距離，在此過(guò)程中尋找最小|di|，即高斯濾波曲率，采用滑動(dòng)窗口對(duì)整幅圖像進(jìn)行濾波操作即可得到平滑后的目標(biāo)圖像；dm為尋找到的最小距離。

圖5 高斯曲率濾波優(yōu)化中三角切平面種類Fig.5 Types of triangular tangent planes in Gaussian curvature filtering optimization

3 結(jié)果和分析

為驗(yàn)證改進(jìn)算法的去霧效果，該研究在Matlab2015b軟件、Windows 10環(huán)境下進(jìn)行了一系列仿真，將本研究?jī)?yōu)化算法與ALTM算法、暗通道先驗(yàn)算法、亮暗通道結(jié)合去霧算法、自適應(yīng)直方圖均衡化算法等進(jìn)行比較，通過(guò)圖像性能評(píng)價(jià)指標(biāo)對(duì)圖像進(jìn)行質(zhì)量評(píng)估，各算法去霧效果圖如圖6所示。

圖6 不同去霧算法效果圖比較Fig.6 Comparison of images of different defogging algorithms

從仿真結(jié)果中看出，改進(jìn)算法對(duì)白天和夜晚的除霧效果均相對(duì)理想，以第1組圖像為例，暗通道先驗(yàn)算法中樹(shù)的尖端相對(duì)模糊，后在亮暗通道融合算法中很好地補(bǔ)充了尖端的部分信息，完善圖像內(nèi)容。從第5列圖像可以看出高斯濾波算法能夠解決光暈效應(yīng)，第6列圖像說(shuō)明融合算法既去除了光暈又保留了完善的細(xì)節(jié)信息。

從客觀評(píng)價(jià)維度來(lái)看，樹(shù)種的顏色、形狀輪廓等細(xì)節(jié)信息比較重要，方差能夠反映圖像增強(qiáng)后細(xì)節(jié)信息的豐富度，對(duì)比度可以反映圖像色彩的鮮明程度，平均梯度則反映圖像中灰度值變化的劇烈程度。為更客觀地評(píng)價(jià)本研究的改進(jìn)算法，驗(yàn)證其有效性，采用比較方差、對(duì)比度、平均梯度和結(jié)構(gòu)相似度等指標(biāo)，準(zhǔn)確地說(shuō)明優(yōu)化算法比其他算法的優(yōu)勢(shì)，結(jié)果見(jiàn)表2。

表2 不同去霧算法評(píng)價(jià)指標(biāo)比較Tab.2 Comparison of evaluation indexes of different defogging algorithm

從表2可見(jiàn)，在白天圖像中，原圖的明亮度足夠，此時(shí)再進(jìn)行光照增強(qiáng)并不能增強(qiáng)除霧效果，甚至壓縮明亮度會(huì)使圖像的清晰度降低，夜晚圖像經(jīng)ALTM局部光照增強(qiáng)后，除結(jié)構(gòu)相似度指標(biāo)比原圖差以外，其余指標(biāo)均遠(yuǎn)遠(yuǎn)高于其他算法，因此把黑暗中的圖像進(jìn)行適當(dāng)光照增強(qiáng)十分有必要。

由各評(píng)價(jià)指標(biāo)對(duì)比可見(jiàn)，本研究的融合改進(jìn)算法為幾種算法中最理想的。用亮暗通道結(jié)合算法處理后的圖像，其方差、對(duì)比度、平均梯度相對(duì)暗通道先驗(yàn)算法更高，表明亮暗通道結(jié)合算法處理后的圖像細(xì)節(jié)豐富，顏色反差鮮明，視覺(jué)效果更好，比之前的經(jīng)典算法有所改善，但從結(jié)構(gòu)相似度可以明顯看出圖像色彩失真嚴(yán)重(且存在暈輪效應(yīng))，因此說(shuō)明經(jīng)過(guò)亮暗通道處理后的圖像不能夠在豐富圖像細(xì)節(jié)的同時(shí)保證色彩的真實(shí)。根據(jù)表2中數(shù)據(jù)可以看出，對(duì)亮暗通道融合算法進(jìn)行高斯濾波，不僅保證了圖像的對(duì)比度和亮度而且能使色彩的恢復(fù)更加切合實(shí)際情況。

綜上所述，無(wú)論白天還是夜晚，優(yōu)化改進(jìn)算法從衡量指標(biāo)上觀察均優(yōu)于原拍攝圖片及其他算法，這說(shuō)明優(yōu)化改進(jìn)的融合算法在多種評(píng)價(jià)維度的效果都是較理想的，最終能得到細(xì)節(jié)豐富、顏色鮮明、亮度適中的森林圖像。

4 結(jié)論

優(yōu)化改進(jìn)的融合算法針對(duì)森林環(huán)境的特點(diǎn)，首先對(duì)采集圖像亮度進(jìn)行自適應(yīng)調(diào)整后，結(jié)合先進(jìn)的亮暗通道融合算法得到較理想的全局大氣光等參數(shù)值，使圖像處理效果較好；后續(xù)采用高斯曲率濾波算法進(jìn)行圖像的平滑處理，使圖像在去除暈輪效應(yīng)的同時(shí)還能保留完整的邊緣信息。融合頻域?yàn)V波的物理模型去霧方法不僅從大氣輻射的計(jì)算公式中對(duì)參數(shù)值進(jìn)行優(yōu)化，而且解決了物理模型帶來(lái)的光暈效應(yīng)問(wèn)題，能得到細(xì)節(jié)豐富、視覺(jué)效果良好的清晰完整的森林去霧圖像。