劉佳嘉，唐悟甲，劉建華

（1.中國(guó)民航飛行學(xué)院航空工程學(xué)院，四川 廣漢 618307；2.中國(guó)電子科技集團(tuán)公司第二十九研究所，四川 成都 610036）

基于大氣散射模型的單幅霧天圖像復(fù)原方法

劉佳嘉1，唐悟甲2，劉建華1

（1.中國(guó)民航飛行學(xué)院航空工程學(xué)院，四川 廣漢 618307；2.中國(guó)電子科技集團(tuán)公司第二十九研究所，四川 成都 610036）

現(xiàn)有大氣散射模型方法對(duì)于利用長(zhǎng)期固定成像器的地方可以較好實(shí)現(xiàn)場(chǎng)景建模并復(fù)原霧天圖像，但在缺乏其他天氣狀況下，景物圖像作為參考的單幅霧天圖像不能很好地復(fù)原。針對(duì)這一問(wèn)題，該文提出一種新的基于大氣散射模型的單幅霧天圖像復(fù)原方法。該復(fù)原方法先通過(guò)邊緣檢測(cè)算法查找景物輪廓來(lái)劃分不同區(qū)域，然后標(biāo)定不同連通區(qū)域來(lái)劃分景物層次，再計(jì)算圖像灰度值變化曲線的斜率并分割天空區(qū)域，最后對(duì)新的環(huán)境光強(qiáng)度設(shè)定，對(duì)不同區(qū)域的景物采用不同的參數(shù)進(jìn)行復(fù)原。采用一張手動(dòng)拍射圖像和一張網(wǎng)絡(luò)圖像作為實(shí)例分別進(jìn)行實(shí)驗(yàn)，結(jié)果表明：該方法能夠很好地復(fù)原缺乏參考圖像的單幅霧天圖像。

大氣散射模型；圖像去霧；天空分割；場(chǎng)景劃分

0 引 言

現(xiàn)階段圖像去霧方法大致分為非建模和建模2類(lèi)。非建模方法是對(duì)霧天降質(zhì)圖像進(jìn)行有選擇性的增強(qiáng)，可以提高圖像的對(duì)比度。但這種方法的不足之處在于不考慮景深，對(duì)所有像素點(diǎn)都進(jìn)行相同處理，而實(shí)際上不同層次物體所受霧氣影響不同[1]，這就導(dǎo)致場(chǎng)景信息丟失，從而使恢復(fù)圖像失真[2-3]。建模方法則依據(jù)不同距離的物體受霧氣的疊加影響，以及成像器所得圖像來(lái)計(jì)算景物的實(shí)際效果[4-5]。常見(jiàn)建模方法包括大氣散射模型方法、交互式復(fù)原方法和場(chǎng)景深度估計(jì)方法等。大氣散射模型方法的準(zhǔn)確性較高，但需使用兩幅或者多幅同一場(chǎng)景不同天氣的圖像進(jìn)行輔助。在安裝固定攝像機(jī)時(shí)該方法的輔助條件容易獲得，可從監(jiān)測(cè)視頻中提取各種天氣狀況的圖像幀；但對(duì)于臨時(shí)拍攝的單幅霧天圖像，因沒(méi)有參考圖像，該方法不能進(jìn)行復(fù)原。文獻(xiàn)[6]利用馬爾科夫隨機(jī)場(chǎng)恢復(fù)出大氣光，從而改善了降質(zhì)圖像，但該方法由于沒(méi)有通過(guò)物理模型恢復(fù)圖像，往往導(dǎo)致恢復(fù)圖像出現(xiàn)光暈效應(yīng)。文獻(xiàn)[7]利用圖像的彩色統(tǒng)計(jì)信息對(duì)圖像進(jìn)行恢復(fù)，該方法的缺點(diǎn)是對(duì)于濃霧區(qū)域的恢復(fù)效果不佳。文獻(xiàn)[8-9]通過(guò)估算大氣遮光罩來(lái)恢復(fù)圖像，具有較好的效果，但這種方法要求圖像具有較高的對(duì)比度且大氣遮光罩平滑，因此應(yīng)用范圍有限。文獻(xiàn)[10]提出了一種基于天空區(qū)域分割的改進(jìn)暗原色先驗(yàn)去霧算法，此算法解決了暗原色先驗(yàn)在明亮區(qū)域估計(jì)透射率偏小的問(wèn)題，在一定程度上能夠提高霧天交通圖像的整體對(duì)比度、層次感；但該方法由于在場(chǎng)景傳輸率的優(yōu)化里采用固定的散射系數(shù)，因此對(duì)于濃霧環(huán)境下的圖像復(fù)原效果不佳。

為了復(fù)原沒(méi)有參考圖像的單幅霧天圖像，本文在現(xiàn)有大氣散射模型方法的基礎(chǔ)上，提出了一種新的基于大氣散射模型的單幅霧天圖像復(fù)原方法。該方法只利用單幅霧天圖像本身，通過(guò)分割場(chǎng)景，計(jì)算復(fù)原所需的環(huán)境光亮度，能夠?qū)崿F(xiàn)對(duì)擁有天空區(qū)域的霧天圖像進(jìn)行較好復(fù)原。

1 傳統(tǒng)大氣散射模型

McCartney在1975年提出了大氣散射模型。在該模型中成像器所接收的光線一部分來(lái)自實(shí)際景物的反射光，即衰減反射光；另一部分來(lái)自大氣中懸浮顆粒散射的光線，即環(huán)境光。其中衰減光模型描述了反射光經(jīng)過(guò)大氣削弱的過(guò)程，衰減反射光線的強(qiáng)弱反比于物體離成像器的實(shí)際距離。環(huán)境光包括太陽(yáng)其他方向直射的光線，大地和天空云層的漫反射光線，成像器所接收到的實(shí)際光線為這兩個(gè)光線的疊加。

大氣散射系數(shù)β（λ）和光波長(zhǎng)度有關(guān)，滿足公式：

其中，0≤r≤4，r取決于大氣中懸浮顆粒物的大小。

晴天時(shí)光線散射對(duì)波長(zhǎng)的選擇性很強(qiáng)，此時(shí)r=4。濃霧時(shí)大氣散射系數(shù)變化很小，此時(shí)r≈0，所有可見(jiàn)光被散射，所以看見(jiàn)一片白色的霧氣。文獻(xiàn)[11-12]分別利用光學(xué)深度值和環(huán)境光強(qiáng)度成功地進(jìn)行圖像去霧。但是對(duì)于臨時(shí)拍攝的單幅霧天圖像，由于沒(méi)有其他參考圖像的輔助而難以采用傳統(tǒng)方法進(jìn)行復(fù)原。

2 單幅霧天圖像的恢復(fù)

本文在現(xiàn)有的大氣散射模型基礎(chǔ)上提出一種單幅霧天圖像復(fù)原方法。無(wú)需采集多幅輔助圖像，通過(guò)場(chǎng)景劃分、天空分割、遠(yuǎn)景提取和新的環(huán)境光強(qiáng)度設(shè)定，對(duì)不同的景物采用不同的參數(shù)進(jìn)行復(fù)原，能夠成功復(fù)原不具備各種天氣狀況作為參考的單幅霧天圖像。其處理流程如圖1所示。

圖1 霧天圖像復(fù)原流程圖

2.1 圖像邊緣檢測(cè)

在霧天復(fù)原中，標(biāo)定不同深度區(qū)域是處理的第一步，本文通過(guò)邊緣檢測(cè)算法查找景物輪廓來(lái)劃分不同區(qū)域。常見(jiàn)邊緣檢測(cè)算法[13]包括robert算法、sobel算法、prewitt算法、LOG算法等。通過(guò)實(shí)驗(yàn)效果對(duì)比，本文采用sobel算法[14]處理圖像，該方法運(yùn)算量小、計(jì)算速度快，所得結(jié)果能滿足后續(xù)處理需求。圖2（a）為原始圖像。圖2（b）中包含非常多細(xì)小邊緣線條，為防止在后續(xù)分割中造成過(guò)分割現(xiàn)象，利用一定閾值篩選掉過(guò)小邊緣。篩選公式為

其中T為篩選閾值。

本文采用固定值T=10即可達(dá)到滿意效果，圖2（c）為經(jīng)過(guò)篩選并加強(qiáng)顯示后的結(jié)果。處理后線條清晰層次分明，利用該圖進(jìn)行連通區(qū)域查找，再劃不同景物層次。

2.2 景物層次劃分

圖3為景物層次劃分流程圖。

圖2 邊緣檢測(cè)結(jié)果

圖3 景物層次劃分流程

以邊緣檢測(cè)的結(jié)果為依據(jù)運(yùn)用連通區(qū)域查找算法[15-16]，通過(guò)標(biāo)定不同連通區(qū)域來(lái)劃分景物層次。圖4（a）為連通區(qū)域查找運(yùn)算之后的效果圖?？煽闯龃髩K白色區(qū)域中還包含很多獨(dú)立的黑色小區(qū)域，對(duì)小區(qū)域標(biāo)定后將像素點(diǎn)數(shù)小于一定閾值的區(qū)域標(biāo)記為邊界區(qū)域，就可篩選掉極小區(qū)域[17]。結(jié)果如圖4（b）所示，閾值為100。

連通區(qū)域劃分后計(jì)算每個(gè)區(qū)域平均灰度值，用于后續(xù)判斷天空區(qū)域：

圖4 連通區(qū)域劃分及篩選效果

k——連通區(qū)域標(biāo)號(hào)；

N——該連通區(qū)域中像素個(gè)數(shù)。

接下來(lái)將區(qū)域邊界歸屬到各自的景物層次中。通過(guò)在原始霧天圖像中比較該邊界與其接壤連通區(qū)域平均像素值，選擇和邊界像素值最接近區(qū)域作為該像素點(diǎn)的歸并區(qū)域。結(jié)果如圖5所示，每一區(qū)域用一種顏色標(biāo)記，不同區(qū)域不同顏色。

圖5 連通區(qū)域歸并效果

完成景物層次的劃分后，計(jì)算環(huán)境光強(qiáng)度。由于不同景物所處高度不同，從遠(yuǎn)處傳來(lái)的環(huán)境光在不同高度所需要穿透的霧氣層也不同，即使同一景物的最高點(diǎn)和最低點(diǎn)也有很大差別，因此每一點(diǎn)的環(huán)境光強(qiáng)度是不一致的。光線強(qiáng)度為

其中Ej表示高度為j的位置環(huán)境光強(qiáng)度。

如果能找到Ej，則可利用式（4）復(fù)原景物亮度。由于環(huán)境光只和高度有關(guān)，而和景物到成像器距離無(wú)關(guān)，因此假設(shè)霧天圖像中包含天空區(qū)域，且該區(qū)域能從空中一直延伸到地平線附近，即像上景物無(wú)法全部遮擋遠(yuǎn)處地平線或者遮擋高度有限。這樣就可利用天空區(qū)域計(jì)算環(huán)境光強(qiáng)度。

2.3 天空區(qū)域劃分

天空部分灰度值一般大于其他區(qū)域，圖6為門(mén)限值大于300判斷出的天空區(qū)域，可看出遠(yuǎn)景受霧氣影響其輪廓難以形成閉合包絡(luò)線，被誤判為天空區(qū)域。因此需對(duì)天空區(qū)域進(jìn)行二次處理，分離出遠(yuǎn)景。

圖6 天空區(qū)域

普通霧氣可視為均勻介質(zhì)，光線的衰減應(yīng)隨高度增加連續(xù)減弱。圖 7（a），圖 7（c），圖 7（e）為分別取圖像第10，100，200列時(shí)的灰度值變化曲線，圖中直線段為近景灰度值255，曲線為天空區(qū)域。第10列曲線變化平緩，而第100列和第200列有一個(gè)明顯奇點(diǎn)，奇點(diǎn)左右兩邊曲線的斜率有明顯的變化?？杉僭O(shè)該點(diǎn)附近存在實(shí)際景物，干擾了光線指數(shù)衰減過(guò)程。

本文通過(guò)計(jì)算曲線斜率作為分割依據(jù)：

根據(jù)式（5），求得曲線每一處的斜率值，如圖7（b），圖7（d），圖7（f）所示。 再根據(jù)該值采用固定閾值和自適應(yīng)閾值方法綜合確定遠(yuǎn)景分割點(diǎn)。在獲得某一列的斜率值后平滑該列曲線[18-19]，獲得g（i，j）中出現(xiàn)頻率最高的值作為該列主值。主值表示光線正常衰減趨勢(shì)，如果光線衰減斜率和主值偏差超過(guò)一定范圍，則表明該處可能存在遠(yuǎn)景干擾了光線正常衰減。

固定閾值法根據(jù)經(jīng)驗(yàn)獲得閾值，在本文中采用偏差值大于4作為遠(yuǎn)景和天空的分界點(diǎn)。當(dāng)出現(xiàn)第一個(gè)斜率偏差值大于4的點(diǎn)時(shí)，確定該點(diǎn)為分界點(diǎn)。自適應(yīng)方法先計(jì)算平均偏差值，當(dāng)出現(xiàn)第一個(gè)偏差值大于平均值時(shí)，則標(biāo)定該點(diǎn)為分界點(diǎn)。單獨(dú)采用任一方法都可能得到孤立奇點(diǎn)，造成分界點(diǎn)不正確，因此需將兩者結(jié)合來(lái)修正奇點(diǎn)。采用相鄰點(diǎn)判斷法，如果該點(diǎn)位置和周?chē)c(diǎn)差別大于一定值，則修正該點(diǎn)位置為左右兩點(diǎn)平均值。由于某些含遠(yuǎn)景的天空和遠(yuǎn)景相近，該列已經(jīng)不能判斷分界點(diǎn)，但左右兩列卻能找到分界點(diǎn)，則該列分界點(diǎn)為左右兩列的平均值，即斷點(diǎn)的連接。圖8為修正分界點(diǎn)后的位置圖?？梢钥闯?，相對(duì)于圖6，已將遠(yuǎn)景從天空區(qū)域中分割出來(lái)。

在不受霧氣干擾的情況下，天空區(qū)域每一行亮度應(yīng)該一致，且復(fù)原后天空亮度最大值是255。由于霧氣均勻分布，可認(rèn)為同一行光線受到霧氣衰減相同，有相同光學(xué)深度，因此可通過(guò)該行最亮列計(jì)算出該行光學(xué)深度，再獲得其他列光線強(qiáng)度。利用式（6）計(jì)算得到每一行最亮值的像素灰度值A(chǔ)max：

同一行其他列光強(qiáng)度根據(jù)βd利用式（8）計(jì)算。

式中：E（d，λ）——成像器處接收到的環(huán)境光強(qiáng)度；

E∞——無(wú)窮遠(yuǎn)處的環(huán)境光強(qiáng)度。

根據(jù)之前假設(shè)，天空區(qū)域能延伸至地平線附近，天空中像素高度最低行就是地表處環(huán)境光強(qiáng)度，則式（4）中環(huán)境光強(qiáng)度為已知。

2.4 景物區(qū)域?qū)嶋H距離的計(jì)算

圖像中景物到成像器距離各不同，因此反射光衰減程度也各有差異。為了能復(fù)原實(shí)際亮度，需知道光學(xué)深度βd，d是景物實(shí)際距離。

圖9為景物投影示意圖，f為焦距，h為圖像像素點(diǎn)到地平線高度，H為焦點(diǎn)距離地面高度，d為實(shí)際景物到焦點(diǎn)距離。根據(jù)三角公式：

圖7 天空區(qū)域單列灰度曲線及斜率值

圖8 天空區(qū)域最終分界點(diǎn)

圖9 景物到成像器距離計(jì)算

焦距f可從圖像屬性中獲得，H是相機(jī)所在高度，可能是固定腳架高度，或者拍攝人的高度。普通數(shù)碼相機(jī)CCD尺寸大約在1/2.5～1/2.3in，首先將h的單位像素?fù)Q算成公制單位再計(jì)算：

其中ph為圖像的總像素高度。

圖10 霧天復(fù)原圖像結(jié)果

由于f，h，H已知，可根據(jù)式（9）計(jì)算景物實(shí)際距離d，再結(jié)合參數(shù)β，得到式（1）所需參數(shù)。β取決于霧氣濃度，最佳值可使復(fù)原后圖像對(duì)比度最大化。

2.5 圖像復(fù)原

復(fù)原時(shí)，由式（6）復(fù)原天空區(qū)域亮度，根據(jù)式（9）計(jì)算景物到成像器實(shí)際距離d，再估計(jì)參數(shù)β，由式（4）計(jì)算出復(fù)原值D0。

3 結(jié)果與分析

本文實(shí)驗(yàn)中采用一張手動(dòng)拍射圖像和一張網(wǎng)絡(luò)圖像。前者拍攝相機(jī)為SONY DSC-T100，像素值為2048×1536，焦距為6mm，手持拍攝。后者來(lái)源網(wǎng)絡(luò)，因此圖像屬性未知。

圖10（a）～圖 10（d）為大氣散射參數(shù)β取 0.2，手持拍攝高度H取1.6m，焦距f取6mm時(shí)的原始圖像及復(fù)原結(jié)果。 圖10（e）為原始霧天網(wǎng)絡(luò)圖像，圖10（f）、圖10（g）分別為普通方式復(fù)原結(jié)果，圖10（h）為采用本文方法復(fù)原結(jié)果，其中β取0.2，H取1.7，f取6mm。

通過(guò)處理結(jié)果表明，該方法能較準(zhǔn)確地分割景物，遠(yuǎn)景與天空分割明顯；而普通增強(qiáng)方式遠(yuǎn)景與天空融合較深，不僅界限不清，近景也不夠清晰。本文方法較好地實(shí)現(xiàn)圖像復(fù)原，近景清晰，遠(yuǎn)景分明，效果較好。

4 結(jié)束語(yǔ)

傳統(tǒng)大氣散射模型需要多幅不同天氣狀況的圖像作為參考，對(duì)固定成像器的方式較為實(shí)用，但對(duì)于隨機(jī)拍取的零散單幅圖像則效果甚微。本文提出了基于大氣散射模型的單幅霧天圖像復(fù)原方法。該方法根據(jù)圖像中景物邊緣劃分場(chǎng)景，分割不同層次景物。同時(shí)根據(jù)環(huán)境光的實(shí)際情況，提出了新的環(huán)境光計(jì)算方法，并根據(jù)光線衰減特性實(shí)現(xiàn)對(duì)遠(yuǎn)景再分割，避免遠(yuǎn)景被誤判為天空，并對(duì)天空和場(chǎng)景兩種區(qū)域采用不同的復(fù)原算法。結(jié)果顯示復(fù)原效果較好，近景清晰，遠(yuǎn)景與天空界限明顯。

本文的缺點(diǎn)在于天空區(qū)域與遠(yuǎn)景界線過(guò)于明顯，比較突兀。下一步將研究采用融合算法等方法使邊界過(guò)度更自然。另外近景復(fù)原效果較好，遠(yuǎn)景效果不太理想，下一步將研究如何在遠(yuǎn)景復(fù)原效果上進(jìn)行改進(jìn)。

[1]王大雷.霧天圖像增強(qiáng)技術(shù)的分析與研究[D].南京：南京理工大學(xué)，2007.

[2]畢篤彥，葛淵，李權(quán)合，等.單幅圖像去霧方法研究[J].空軍工程大學(xué)學(xué)報(bào)（自然科學(xué)版），2013，14（6）：46-53.

[3]MI Z， ZHOU H， ZHENG Y， et al.Single image dehazing via multi-scale gradient domain contrast enhancement[J].Iet Image Processing，2016，10（3）：206-214.

[4]NARASIMHAN S G， NAYAR S K.Interactive（de）weathering of an Image using physical models[C]∥In Proceeding of ICCV Workshop on Color and Photometric Methods in Computer Vision（CPMCV） France，2003：241-252.

[5]NARASIMHAN S G，NAYAR S K.Contrast restoration of weather degraded images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（6）：713-724.

[6]TAN R T.Visibility in bad weather from a single image[C]∥IEEE Conference on ComputerVision and Pattern Recognition，Alaska USA，2008：1-8.

[7]FATTAL R.Single image dehazing[J].ACM Transactions on Graphics，2008，27（3）：72.

[8]TAREL J P，HAUTIERE N.Fast visibility restoration from a single color or gray level image[C]∥IEEE International Conference on Computer Vision， Kyoto Japan，2009：2201-2208.

[9]何人杰，樊養(yǎng)余，WANG Z Y，等.基于非局部全變分正則化優(yōu)化的單幅霧天圖像恢復(fù)新方法 [J].電子與信息學(xué)報(bào)，2016，38（10）：2509-2514.

[10]邢曉敏，劉威.霧天交通場(chǎng)景中單幅圖像去霧[J].中國(guó)圖形圖像學(xué)報(bào)，2016，12（11）：1440-1447.

[11]OAKLEY JP，SATHERLEY B L.Improving image quality in poor visibility conditions using a physical model for contrast degradation[J].IEEE Transitions on Image Processing，1998，7（2）：167-179.

[12]盧洋，張旭秀.圖像邊緣檢測(cè)算法的對(duì)比分析與研究[J].太原科技，2009（3）：50-52.

[13]吳國(guó)偉，謝金法，郭志強(qiáng).基于Sobel算子的車(chē)輛輪廓邊緣檢測(cè)算法[J].河南科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2009，30（6）：38-41.

[14]馬勝前，張光南，楊金龍，等.基于二維直方圖的otsu圖像分割算法改進(jìn)[J].西北師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2009，45（1）：57-61.

[15]蔡念，唐孝艷，許少睿，等.基于分水嶺算法的MELK圖像分割[J].計(jì)算機(jī)應(yīng)用研究，2009，26（8）：3175-3176，3191.

[16]朱凱軍，周焰，蘭祖送.基于區(qū)域分割的霧天圖像增強(qiáng)算法[J].計(jì)算機(jī)測(cè)量與控制，2006，14（5）：661-663.

[17]郭尚，蘇鴻根.基于像素的計(jì)算大量連通區(qū)域面積的快速算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008，29（7）：1760-1763.

[18]趙鳳石，邵寄群.曲線平滑局部處理[J].佳木斯工學(xué)院學(xué)報(bào)，1992，10（3）：170-177，186.

[19]周焰，王祖喜，陳振羽，等.一種曲線平滑的自適應(yīng)方法[J].計(jì)算機(jī)工程，2000，26（4）：13-15.

（編輯：商丹丹）

Restoration for single fog image based on atmospheric scattering model

LIU Jiajia1，TANG Wujia2，LIU Jianhua1
（1.Aviation Engineering Institute，Civil Aviation Flight University of China，Guanghan 618307，China；2.No.29 Research Institute of CETC，Chengdu 610036，China）

The current atmospheric scattering model method can be used to effectively realize scene modelling and restore fog image where the long-term fixed imager is used，but it is failed in restoring single fog image without reference of scene images under other weather conditions.Aiming at this problem，a new method of single fog image restoration based on atmospheric scattering model is presented in the article.The restoration method firstly can find the contours of the scenery to divide different regions in edge detection algorithm way，then divide the scene hierarchy by calibrating different regions together and calculate the slope of the image gray value change curve and divide the sky area，finally reset the new environment light intensity and restore sceneries in different regions by applying different parameters.A manually shot image and a network image are used as an example to test the method.The test results show that the method can effectively reconstruct the single fog image without reference images.

atmospheric scattering model； removing fog in image； sky segmentation； scene partitioning

A

：1674-5124（2017）07-0117-07

10.11857/j.issn.1674-5124.2017.07.023

2017-01-11；

：2017-02-24

劉佳嘉（1986-），女，四川新津縣人，講師，碩士，研究方向?yàn)楹娇针娮?、圖像處理。