姜雨彤，楊忠琳，朱夢(mèng)琪，張一，郭黎霞

適應(yīng)性雙通道先驗(yàn)的圖像去霧方法

姜雨彤*，楊忠琳，朱夢(mèng)琪，張一，郭黎霞

（中國(guó)北方車輛研究所，北京 100072）

圖像是現(xiàn)代化戰(zhàn)爭(zhēng)的重要信息來源，霧天環(huán)境下圖像質(zhì)量下降，嚴(yán)重妨礙光電偵察識(shí)別能力。為提高霧氣環(huán)境下圖像有效利用性，開展了適應(yīng)性雙通道先驗(yàn)的圖像去霧方法研究。首先，以暗通道先驗(yàn)理論與亮通道先驗(yàn)理論為基礎(chǔ)，將有霧圖像從 RGB 空間轉(zhuǎn)換到 HSV 顏色空間，使用飽和度和亮度分量的閾值來檢測(cè)有霧圖像中分別不滿足暗通道先驗(yàn)和亮通道先驗(yàn)的白色或亮色像素點(diǎn)和黑色或暗色像素點(diǎn)；然后，選用超像素作為暗通道和亮通道計(jì)算的局部區(qū)域，估計(jì)局部透射率和大氣光值；最后，由于亮暗雙通道方法對(duì)白色和黑色像素點(diǎn)的透射率和大氣光值進(jìn)行錯(cuò)誤估計(jì)，采用本文提出的適應(yīng)性雙通道先驗(yàn)方法進(jìn)行矯正，通過導(dǎo)引濾波器對(duì)透射率圖和大氣光圖進(jìn)行濾波，代入到大氣散射模型中，求得清晰的去霧圖像。實(shí)驗(yàn)結(jié)果表明，去霧后的圖像恢復(fù)了真實(shí)顏色、視覺效果自然、清晰，準(zhǔn)確高效地實(shí)現(xiàn)圖像的去霧處理；在FRIDA數(shù)據(jù)集上進(jìn)行去霧處理，采用本文方法的去霧圖像與真值的均方誤差優(yōu)于現(xiàn)有方法，相較于雙通道先驗(yàn)去霧方法的均方差值降低了15%。

圖像去霧；雙通道先驗(yàn)；超像素

1 引　言

在霧天環(huán)境下，由于空氣中的懸浮顆粒對(duì)光線的散射、吸收等作用，大氣透過光強(qiáng)度衰減，使得光電探測(cè)設(shè)備接收到的光強(qiáng)發(fā)生改變，導(dǎo)致成像質(zhì)量下降，造成圖像對(duì)比度降低、顏色偏移、清晰度差。這種環(huán)境下多個(gè)目標(biāo)特征被霧氣覆蓋，圖像細(xì)節(jié)缺失，信息的可辨識(shí)度大大降低，造成目標(biāo)觀測(cè)不明顯、識(shí)別不清楚等問題［1］。

暗通道先驗(yàn)（Dark Channel Prior， DCP）理論［2］是圖像視覺領(lǐng)域的重大發(fā)現(xiàn)，基于暗通道先驗(yàn)的去霧方法以大氣散射模型為基礎(chǔ)，避免了以往模型方法中求取參數(shù)的冗繁過程，使得去霧過程變得簡(jiǎn)便且易于實(shí)現(xiàn)。然而現(xiàn)有的DCP去霧方法仍存在以下幾點(diǎn)不足［3］：（1）當(dāng)圖像的場(chǎng)景深度覆蓋范圍大時(shí)，易受到多光源共同作用，各場(chǎng)景點(diǎn)受到的光照不同，采用DCP方法估算出的全局大氣光值并不適用于圖像的所有像素點(diǎn)，會(huì)導(dǎo)致去霧后圖像顏色偏暗；（2）當(dāng)圖像存在較大比例的灰白色屬性區(qū)域如天空、白色建筑物屋頂或立面、路面等時(shí)，由于這些區(qū)域不滿足暗通道先驗(yàn)理論，采用DCP方法去霧后會(huì)發(fā)生顏色畸變；（3）DCP方法基于目標(biāo)像素點(diǎn)為中心的局部區(qū)域計(jì)算暗通道值，在去霧后圖像上景深不連續(xù)處會(huì)出現(xiàn)嚴(yán)重的光暈現(xiàn)象，導(dǎo)致圖像在視覺上顯得不自然。DCP方法［4］采用軟摳圖方法精細(xì)化透射率圖來消除光暈現(xiàn)象，但是在透射率精細(xì)化過程中采用高精度插值求解大型稀疏矩陣，計(jì)算復(fù)雜度較高，耗費(fèi)大量時(shí)間并且占用很大的空間，無法滿足無人機(jī)圖像實(shí)時(shí)性處理的應(yīng)用要求。

因此，本論文展開以下研究：（1）采用亮通道先驗(yàn)（Bright Channel Prior， BCP）方法［5］估計(jì)局部大氣光，解決DCP方法對(duì)大氣光全局化的估計(jì)問題。將DCP方法與BCP方法相結(jié)合，稱其為雙通道先驗(yàn)（Bi-Channel Priors， BiCP）方法并進(jìn)行圖像去霧處理，目的是消除去霧后圖像整體色調(diào)偏暗的問題。（2）由于圖像中存在的天空及灰白色區(qū)域不符合暗通道先驗(yàn)理論，黑色及暗色區(qū)域不符合亮通道先驗(yàn)理論，所以需要探索研究一種自適應(yīng)BiCP去霧方法［6］。該去霧方法在去除霧天圖像中彩色區(qū)域霧氣影響的同時(shí)，可恢復(fù)出圖像上灰白色區(qū)域和暗色區(qū)域的真實(shí)顏色，使去霧后的無人機(jī)圖像看起來更加自然。（3）為解決DCP方法在圖像景深突變處產(chǎn)生的光暈現(xiàn)象及采用軟摳圖方法計(jì)算復(fù)雜度大的問題，采用超像素作為暗通道與亮通道計(jì)算的局部區(qū)域，此區(qū)域是按像素點(diǎn)的顏色相似性和位置相近性劃分出的不規(guī)則區(qū)域，且一個(gè)區(qū)域內(nèi)不會(huì)包含有景深突變的像素點(diǎn)，目的是消除DCP方法的光暈現(xiàn)象，同時(shí)降低計(jì)算復(fù)雜度。

本文提出一種基于自適應(yīng)雙通道先驗(yàn)（Adaptive BiCP， ABiCP）的圖像去霧方法，流程圖如圖1所示。首先將有霧圖像從RGB空間轉(zhuǎn)換到HSV顏色空間，使用飽和度和亮度分量的閾值來檢測(cè)有霧圖像中分別不滿足暗通道先驗(yàn)和亮通道先驗(yàn)的白色或亮色像素點(diǎn)和黑色或暗色像素點(diǎn)。然后，選用超像素塊作為暗通道和亮通道計(jì)算的局部區(qū)域估計(jì)局部透射率和大氣光值［7］。由于BiCP方法對(duì)白色和黑色像素點(diǎn)的透射率和大氣光值可能進(jìn)行錯(cuò)誤估計(jì)，本文采用ABiCP方法進(jìn)行矯正。通過導(dǎo)引濾波器（Guided Filter， GF）［8］對(duì)透射率圖和大氣光圖進(jìn)行濾波，代入到大氣散射模型中，求得清晰的去霧圖像。

圖1　基于超像素的適應(yīng)性雙通道先驗(yàn)圖像去霧方法流程圖

2 暗通道及亮通道先驗(yàn)的理論分析

2.1　暗通道先驗(yàn)理論

圖像中像素點(diǎn)的大氣光值根據(jù)場(chǎng)景點(diǎn)位置的不同而發(fā)生變化［9］。隨著像素點(diǎn)位置的變化，將大氣散射模型中的全局量替換為局部變量（），則有霧天RGB圖像的成像模型如下：

其中：表示二維圖像上像素點(diǎn)的位置矢量；（）表示場(chǎng)景點(diǎn)反射的光線經(jīng)過衰減后到達(dá)成像設(shè)備的光線強(qiáng)度，即觀察到場(chǎng)景的有霧圖像，是含有R，G，B三個(gè)顏色分量的圖像矢量；（）是介質(zhì)透射率函數(shù)，表示沒有被散射并最終到達(dá)設(shè)備的光線部分，取值范圍為［0，1］；（）表示場(chǎng)景目標(biāo)直接反射光強(qiáng)，即要恢復(fù)的清晰無霧場(chǎng)景真實(shí)的RGB圖像，（）（）描述的是場(chǎng)景中反射光未被散射的部分；（）代表像素坐標(biāo)為點(diǎn)的大氣光值，（）（1（））為參與成像的部分大氣光，是造成對(duì)比度下降的主要因素；其中∈｛R，G，B｝是顏色分量索引，c，A和分別是矢量，，和的顏色分量，為大氣光在物體表面的反射率。

He等人［2］在暗通道點(diǎn)的求取過程中，對(duì)有霧圖像上的像素點(diǎn)進(jìn)行局部區(qū)域的最小值濾波，求取圖像暗通道的數(shù)學(xué)表達(dá)式如式（3）：

對(duì)于DCP方法，根據(jù)式（2），暗通道先驗(yàn)理論用數(shù)學(xué)表達(dá)式可表示為：

將式（4）和式（5）代入式（3）中，可得到：

根據(jù)式（1），可推導(dǎo)出去霧后圖像，表達(dá)式為：

2.2　亮通道先驗(yàn)理論

與暗通道先驗(yàn)類似，另一個(gè)通過無霧圖像統(tǒng)計(jì)發(fā)現(xiàn)的先驗(yàn)規(guī)律為亮通道先驗(yàn)理論［5］。在亮通道的求取過程中，對(duì)霧天圖像上的像素點(diǎn)進(jìn)行局部區(qū)域中取最大值操作，即對(duì)式（1）兩端進(jìn)行最大化計(jì)算，再結(jié)合式（2），所得表達(dá)式如下：

像素點(diǎn)在霧天圖像和其對(duì)應(yīng)的無霧圖像上的亮通道值分別用bright（）和bright（）表示：

基于文獻(xiàn)中提出的亮通道先驗(yàn)理論，通過對(duì)戶外無霧圖像的統(tǒng)計(jì)發(fā)現(xiàn)，以各像素為中心點(diǎn)的局部小區(qū)域包含一些（至少一個(gè)）一個(gè)顏色通道的強(qiáng)度值很大，接近大氣光值，甚至可達(dá)到255的像素點(diǎn)。根據(jù)式（2），亮通道先驗(yàn)理論用數(shù)學(xué)表達(dá)式可表示為式（10）：

亮通道中存在較大強(qiáng)度值的主要原因如下：（1）彩色景物，例如綠葉、紅花，其RGB通道中至少有一個(gè)通道的值很大；（2）天空，天空區(qū)域中RGB三個(gè)通道的強(qiáng)度值均較大；（3）反光物體，例如鏡子、水面，均可以反射光照，這些場(chǎng)景點(diǎn)的亮通道值很大且趨近于大氣光。

為了驗(yàn)證亮通道先驗(yàn)規(guī)律的正確性和有效性，選取了1 000幅戶外無霧自然清晰圖像進(jìn)行亮通道統(tǒng)計(jì)，通過15×15的局部區(qū)域進(jìn)行最大值濾波，圖2（a）和（b）給出了部分無霧圖像及其相應(yīng)的亮通道圖像。圖2（c）給出了2 000個(gè)亮通道值的直方圖分布，我們可以看到大約70%的亮通道值接近于240。從統(tǒng)計(jì)角度可以證明亮通道先驗(yàn)規(guī)律在大多數(shù)情況下的客觀存在性。

圖2　無霧圖像、亮通道圖像及亮通道值的直方圖統(tǒng)計(jì)

因此，將式（9）和式（10）代入到式（8）中，可得到：

以上為采用暗通道先驗(yàn)理論與亮通道先驗(yàn)理論相結(jié)合的雙通道先驗(yàn)（BiCP）去霧方法，總體過程為先獲得大氣光和透射率的估計(jì)值，再代入大氣散射模型中獲得去霧圖像。對(duì)于不滿足亮通道先驗(yàn)或暗通道先驗(yàn)規(guī)律的像素點(diǎn)來說，采用式（14）很可能導(dǎo)致錯(cuò)誤估計(jì)去霧圖像的像素點(diǎn)強(qiáng)度值。

2.3　雙通道先驗(yàn)圖像去霧方法的不足

BiCP圖像去霧方法主要存在著兩點(diǎn)不足。第一，圖像中亮度較大的區(qū)域例如天空和灰白色物體表面像素點(diǎn)不服從暗通道先驗(yàn)規(guī)律，采用DCP方法會(huì)錯(cuò)誤估計(jì)透射率值，導(dǎo)致去霧圖像上的灰白色像素點(diǎn)所恢復(fù)的顏色偏移。第二，圖像中亮度較小的區(qū)域例如暗色和黑色物體表面像素點(diǎn)不服從亮通道先驗(yàn)規(guī)律，采用BCP方法會(huì)錯(cuò)誤估計(jì)大氣光值和透射率值，導(dǎo)致去霧圖像上的暗像素點(diǎn)所恢復(fù)的顏色失真。具體分析如下：

針對(duì)無法采用DCP方法進(jìn)行去霧處理的像素點(diǎn)，以白色像素點(diǎn)為主，將式（5）和式（6）重新表示為：

針對(duì)無法采用BCP方法進(jìn)行去霧處理的像素點(diǎn)，以黑色像素點(diǎn)為主，將式（10）和式（11）重新表示為：

由于采用DCP方法與BCP方法聯(lián)合的BiCP去霧方法，會(huì)出現(xiàn)低估白色或亮色像素點(diǎn)強(qiáng)度值（如式（17）所示）和高估黑色或暗色像素點(diǎn)強(qiáng)度值（如式（19）所示）的現(xiàn)象，本文提出適應(yīng)性雙通道先驗(yàn)（ABiCP）圖像去霧方法來解決以上問題。

3 基于超像素的適應(yīng)性雙通道先驗(yàn)圖像去霧方法

3.1　基于HSV空間的顏色識(shí)別

由于霧天圖像上的白色和黑色像素點(diǎn)不能同時(shí)滿足雙通道先驗(yàn)規(guī)律，所以要建立一種顏色檢測(cè)方法，將有霧圖像上的白色和黑色像素點(diǎn)提取出來，進(jìn)行單獨(dú)去霧處理。

首先，將有霧圖像從RGB空間轉(zhuǎn)換為到HSV空間［10］。經(jīng)觀測(cè)發(fā)現(xiàn)霧氣的存在對(duì)場(chǎng)景圖像的色調(diào)（）分量沒有影響，但霧氣會(huì)使圖像的飽和度（）降低及亮度（）升高。

圖3　有霧與無霧圖像中提取白色或亮色和黑色或暗色像素點(diǎn)

且總誤差表達(dá)式為：

圖4　無霧圖像與合成有霧圖像中白色或亮色和黑色或暗色像素點(diǎn)提取結(jié)果

本文采用50組無霧圖像和合成有霧圖像對(duì)來計(jì)算檢測(cè)誤差，并進(jìn)行誤差值統(tǒng)計(jì)。如圖5所示，給出了50對(duì)無霧圖像和有霧圖像對(duì)提取的白色像素點(diǎn)檢測(cè)誤差w、黑色像素點(diǎn)檢測(cè)誤差b、總誤差值的直方圖統(tǒng)計(jì)，以及相應(yīng)的累積分布圖?？梢钥吹浇咏?5%的圖像對(duì)的總誤差低于0.3。統(tǒng)計(jì)結(jié)果證明，通過飽和度、亮度值分量的線性變換閾值從有霧圖像中提取白色和黑色像素點(diǎn)的方法是可靠的。提取有霧圖像中白色像素點(diǎn)和黑色像素點(diǎn)，是ABiCP圖像去霧方法中必不可少的步驟。

圖5　誤差Ew值、Eb值與總誤差E值的直方圖統(tǒng)計(jì)及累積分布圖

3.2　基于超像素的雙通道先驗(yàn)方法

圖像去霧方法通常采用以目標(biāo)像素點(diǎn)為中心的固定尺寸矩形區(qū)域作為局部區(qū)域，并假設(shè)像素點(diǎn)的透射率值和大氣光值在局部區(qū)域內(nèi)是恒定的。然而這種假設(shè)常常是強(qiáng)制性的且不符合實(shí)際情況，因?yàn)榫哂泄潭ǔ叽绲木匦尉植繀^(qū)域很可能包含具有不同景深的像素點(diǎn)，特別是在物體邊緣附近的區(qū)域，邊緣兩側(cè)易出現(xiàn)景深突變；而錯(cuò)誤估計(jì)具有不同景深的像素點(diǎn)具有相同透射率值或大氣光值，會(huì)導(dǎo)致去霧圖像中景深不連續(xù)處出現(xiàn)光暈現(xiàn)象。

圖6　軟摳圖濾波對(duì)基于固定尺寸矩形區(qū)域估計(jì)透射率圖所得去霧結(jié)果影響

圖6給出了固定尺寸矩形作為局部區(qū)域時(shí)，軟摳圖濾波對(duì)于去霧圖像上的光暈現(xiàn)象的消除作用。圖6（b）給出了圖6（a）采用DCP去霧方法求出的透射率圖，但并未使用軟摳圖方法進(jìn)行濾波。圖6（c）給出了去霧結(jié)果圖像，可見物體邊緣區(qū)域存在光暈現(xiàn)象（巖石邊緣）。如圖6（d）所示，DCP去霧方法采用軟摳圖進(jìn)行透射率圖濾波，去霧圖像（圖6（e））中不再出現(xiàn)光暈現(xiàn)象，但這個(gè)過程需要耗費(fèi)大量的計(jì)算時(shí)間。

圖7和圖8分別為無霧圖像基于不同區(qū)域暗通道圖像的比較和DCP、基于像素DCP與基于超級(jí)像素BiCP方法所得去霧結(jié)果。Yeh等［11］提出了一種基于像素的DCP方法，其直接使用像素點(diǎn)本身代替固定尺寸的矩形局部區(qū)域來估計(jì)透射率值。然而，基于像素點(diǎn)的DCP方法并不遵循暗通道先驗(yàn)規(guī)律，這是因?yàn)闊o霧圖像上的每一個(gè)像素點(diǎn)包含暗通道值趨于0的可能性很小，所以基于像素點(diǎn)的DCP是不成立的，如圖7（c）所示。采用基于像素點(diǎn)的DCP去霧方法得到的結(jié)果如圖8（c）所示，可以看出去霧圖像的顏色出現(xiàn)過飽和的問題。

在提出的基于超像素的BiCP去霧方法中，采用包含有目標(biāo)像素點(diǎn)的超像素作為局部區(qū)域，替代目標(biāo)像素本身或以目標(biāo)像素為中心的固定尺寸矩形區(qū)域來對(duì)局部區(qū)域的透射率或大氣光進(jìn)行估計(jì)。將圖像上具有相似顏色且位置相近的像素點(diǎn)劃分為各個(gè)超像素［12］，每個(gè)超像素結(jié)構(gòu)緊湊且具有不規(guī)則形狀，可確保在每個(gè)超像素內(nèi)不包含有景深突變的像素點(diǎn)?？梢钥吹剑瑘D7（d）使用超像素作為DCP的局部區(qū)域，與圖7（b）的DCP方法使用矩形區(qū)域類似，均滿足暗通道先驗(yàn)規(guī)律。因此，將超像素引入到BiCP方法中，代替使用固定尺寸的矩形區(qū)域來估計(jì)局部透射率和大氣光，可實(shí)現(xiàn)更自然的去霧效果，具有更好地恢復(fù)場(chǎng)景細(xì)節(jié)的能力，如圖8（d）所示。同時(shí)，可避免DCP方法采用基于固定尺寸的矩形作為局部區(qū)域所獲得的去霧圖像（如圖8（b）所示）中存在的光暈現(xiàn)象（圖8（b）中樹葉周圍白色邊緣）。

圖7　無霧圖像與基于不同區(qū)域暗通道圖像

圖8　DCP、基于像素DCP與基于超級(jí)像素BiCP方法所得去霧結(jié)果

在基于超像素的BiCP去霧方法中，使用超像素（）代替式（4）和式（9）中的（）作為用于計(jì)算暗通道和亮通道的局部區(qū)域。如圖9，作為示例，在有霧圖像上設(shè)置=1 000，劃分出的超像素如圖9（b）所示。然后采用基于超像素的BiCP去霧方法來計(jì)算透射率圖和大氣光圖。圖9（c）給出了通過式（11）計(jì)算每個(gè)超像素的亮通道值所獲得的大氣光圖。通過聯(lián)合式（6）和式（11）計(jì)算每個(gè)超像素的暗通道值和亮通道值，通過式（13）獲得透射率圖，如圖9（d）所示。由于假設(shè)一個(gè)超像素中的所有像素具有相同的透射率和大氣光值，所以對(duì)于每個(gè)超像素僅計(jì)算一個(gè)共有的透射率和大氣光值，大大降低了計(jì)算成本。

圖9　基于超像素BiCP去霧方法所得透射率圖與大氣光圖

3.3　適應(yīng)性雙通道先驗(yàn)去霧方法

本論文提出的適應(yīng)性ABiCP去霧方法是對(duì)BiCP去霧方法的改進(jìn)。使用DCP方法將導(dǎo)致對(duì)白色或亮色像素點(diǎn)的透射率值的過低估計(jì)，使用BCP方法將導(dǎo)致對(duì)黑色或暗色像素點(diǎn)的大氣光值與透射率值的過低估計(jì)。這兩者使白色或亮色像素點(diǎn)和黑色或暗色像素點(diǎn)去霧后的顏色失真。因此，提出的ABiCP去霧方法主要關(guān)注以下兩個(gè)方面：一方面是校正白色或亮色像素點(diǎn)被錯(cuò)誤估計(jì)的透射率值；另一方面是校正黑色或暗色像素點(diǎn)被錯(cuò)誤估計(jì)的大氣光和透射率值。圖10為基于超像素BiCP與ABiCP方法所得大氣光、透射率、去霧結(jié)果。以下是ABiCP去霧方法的具體描述。

首先，使用基于超像素的BiCP方法，根據(jù)式（13）估計(jì)整幅有霧圖像包含白色或亮色像素點(diǎn)在內(nèi)的透射率圖，所得到的去霧結(jié)果如圖10（f）所示。這使得具有白色或亮色像素點(diǎn)的明亮區(qū)域去霧后顏色發(fā)生畸變，而且比它們本應(yīng)該的真實(shí)顏色亮度更暗，正如式（17）所描述的。為了改進(jìn)對(duì)有霧圖像上的白色或亮色像素點(diǎn)的去霧處理，應(yīng)該適應(yīng)性地增大白色像素點(diǎn)和亮色像素點(diǎn)的透射率值。由于圖像受霧氣影響時(shí)，圖像對(duì)比度下降，因此在圖像去霧中需要適應(yīng)性地增強(qiáng)對(duì)比度。ABiCP方法采用韋伯對(duì)比度［13］Weber，它是背景強(qiáng)度background和目標(biāo)強(qiáng)度object之間的歸一化差異，表達(dá)式為

根據(jù)實(shí)際情況，將要校正的去霧圖像上白色或亮色像素點(diǎn)的強(qiáng)度視為目標(biāo)對(duì)象，周圍的彩色像素點(diǎn)強(qiáng)度視為背景。根據(jù)式（24），可知韋伯對(duì)比度Weber的取值范圍從1到+∞，當(dāng)background固定不變時(shí)，對(duì)比度的值會(huì)隨著object的增加而增大。通過對(duì)式（1）變換，可得出有霧圖像（）和恢復(fù)圖像（）之間的關(guān)系為：

由于透射率的取值范圍為0≤（）≤1，我們可以推斷（）≤（），這表明場(chǎng)景點(diǎn)在有霧圖像中的強(qiáng)度值必然高于其在去霧圖像中的強(qiáng)度值。根據(jù)式（25），如果透射率（）取最大值1，則（）取得最大值為（）=（）。此時(shí)，去霧圖像中的白色或亮色像素點(diǎn)的韋伯對(duì)比度Weber值最高，去霧效果最好。因此，找到最有效的方法來適應(yīng)性地校正白色或亮色像素的透射率值，表達(dá)式如下：

其中，twhite（x）表示白色或亮色像素點(diǎn)x處的透射率值，白色或亮色像素點(diǎn)通過第3.1節(jié)中給出的檢測(cè)方法提取出來。例如，我們檢測(cè)出了圖10（a）中所有白色或亮色像素點(diǎn)，并在圖10（g）中以紅色點(diǎn)標(biāo)出。圖10（d）給出了初步估計(jì)的透射率圖，被錯(cuò)誤估計(jì)透射率值的白色像素點(diǎn)被圖中的紅色圓圈圈出。而對(duì)應(yīng)的這些白色像素點(diǎn)的透射率通過我們的適應(yīng)性雙通道先驗(yàn)方法被有效校正后，如圖10（j）所示。

其次，使用基于超像素的BiCP去霧方法，根據(jù)式（11）和式（13）估計(jì)整幅有霧圖像包含黑色和暗色像素點(diǎn)在內(nèi)的透射率和大氣光圖，所得到的去霧結(jié)果如圖10（f）所示。這使得具有黑色或暗色像素點(diǎn)的暗區(qū)域去霧不徹底，且比真實(shí)顏色亮度更大，如式（19）。為了改進(jìn)對(duì)有霧圖像上的黑色或暗色像素點(diǎn)的去霧處理，應(yīng)該適應(yīng)性地增大黑色像素點(diǎn)和暗色像素點(diǎn)的大氣光和透射率值。所以，提出的ABiCP去霧方法可適應(yīng)性地改進(jìn)黑色或暗色像素點(diǎn)的大氣光值，表達(dá)式為：

其中：black（）是黑色或暗色像素點(diǎn)black（）的大氣光值，黑色或暗色像素點(diǎn)是通過第2.1節(jié)中給出的檢測(cè)方法提取出來的；V（）是黑色像素點(diǎn)的亮度值；black（）是通過式（24）獲得的用于檢測(cè)有霧圖像上黑色或暗色像素點(diǎn)的閾值；是用戶定義的控制參數(shù)，根據(jù)經(jīng)驗(yàn)設(shè)置為=0.1。可知，通過暗通道dark（）對(duì)（）（1（））進(jìn)行的可靠估計(jì)和校正后的大氣光black（），可校正黑色或暗色像素點(diǎn)的透射率black（），表達(dá)式為：

圖10（a）中所有黑色或暗色像素點(diǎn)被檢測(cè)出來，并在圖10（g）中以藍(lán)色點(diǎn)標(biāo)出。圖10（b）和（d）分別給出了初步估計(jì)的大氣光圖和透射率圖，被錯(cuò)誤估計(jì)大氣光值和透射率值的黑色像素點(diǎn)被圖中的藍(lán)色圓圈圈出。而對(duì)應(yīng)的這些黑色像素點(diǎn)的大氣光和透射率通過ABiCP方法被有效校正后，分別如圖10（h）和（j）所示。

綜上所述，通過提出的ABiCP方法，適應(yīng)性地校正白色和黑色像素點(diǎn)的大氣光和透射值后，更新的大氣光圖和透射率圖如圖10（h）和（j）所示，并使用最有效的導(dǎo)引濾波器［8］對(duì)大氣光圖和透射率圖進(jìn)行濾波如圖10（i）和（k）所示。通過式（7）獲得改進(jìn)后的去霧圖像（圖10（l）），與方法改進(jìn)前的去霧圖像（圖10（f））相比較，天空中紅色圓圈內(nèi)的像素點(diǎn)強(qiáng)度更大、顏色看起來更自然，藍(lán)色圓圈內(nèi)雕塑上的像素點(diǎn)強(qiáng)度更小、顏色更接近真實(shí)情況，說明去霧更徹底。因此，證明了所提出的ABiCP方法可以彌補(bǔ)BiCP方法的不足，改進(jìn)了圖像去霧結(jié)果。

4 圖像去霧實(shí)驗(yàn)結(jié)果及分析

4.1　圖像去霧方法主觀評(píng)價(jià)

由于ABiCP去霧方法是在DCP去霧方法［14］基礎(chǔ)上進(jìn)行發(fā)展與改進(jìn)的，所以將ABiCP與DCP及基于像素DCP［2］、BiCP［15］方法進(jìn)行去霧實(shí)驗(yàn)，比較去霧結(jié)果，如圖11所示。圖11（a）給出了7幅霧天圖像，前4幅是在北京拍攝的霧天圖像分別為“BIT01”、“BIT02”、“BIT03”和“BIT04”，后3幅是常見的去霧處理測(cè)試圖像［1］。如圖11（b）所示，DCP方法得到的去霧圖像整體顏色偏暗。如圖11（c）所示，基于像素的DCP方法得到的去霧圖像顏色存在過飽和現(xiàn)象，因?yàn)椴捎孟袼攸c(diǎn)計(jì)算DCP來估計(jì)透射率是不夠準(zhǔn)確的。如圖11（d）所示，BiCP方法得到的去霧圖像顏色發(fā)生畸變，尤其是天空區(qū)域，這是對(duì)明亮區(qū)域像素點(diǎn)和暗區(qū)域像素點(diǎn)的透射率和大氣光值的不正確估計(jì)導(dǎo)致的。如圖11（e）所示，ABiCP方法得到的去霧圖像，不僅提高了圖像清晰度還具有鮮亮自然的色彩，同時(shí)恢復(fù)了白色像素點(diǎn)和黑色像素點(diǎn)應(yīng)有的真實(shí)顏色和亮度，這清楚地表明其優(yōu)于DCP方法和BiCP方法。

圖11　DCP、基于像素DCP、BiCP與ABiCP方法圖像去霧結(jié)果

4.2　圖像去霧方法客觀評(píng)價(jià)

表1去霧結(jié)果的盲圖像評(píng)價(jià)指標(biāo)計(jì)算

Tab.1　Calculation of blind image evaluation index based on dehazing results

圖12　通過各去霧方法所得“BIT01”去霧結(jié)果客觀評(píng)價(jià)指標(biāo)示例圖像

為了對(duì)圖像除霧結(jié)果進(jìn)行定量評(píng)估，我們使用了Tarel等人提供的合成霧度圖像（2010年）。在他們的霧路圖像數(shù)據(jù)庫(kù)（FRIDA）中進(jìn)行圖像除霧實(shí)驗(yàn)，因?yàn)槠湎鄳?yīng)的合成無霧圖像具有地面真實(shí)性，可用于比較除霧結(jié)果。在圖13中，展示了合成有霧圖像的一些示例，比如Fattal，Tarel和Hautiere，He等人的DCP，Yeh等人的基于像素的DCP，F(xiàn)u等人的BiCP和我們的ABiCP方法的去霧結(jié)果，同時(shí)添加了與暗通道先驗(yàn)無關(guān)的非局部去霧方法［17］以及使用了神經(jīng)網(wǎng)絡(luò)的FFA算法［18］作為對(duì)比。之后計(jì)算每種方法的結(jié)果與基本事實(shí)之間的均方誤差（MSE），以進(jìn)行定量比較。與其他方法相比，我們ABiCP方法的去霧結(jié)果具有最低的MSE，并且具有與基本事實(shí)最相似的結(jié)構(gòu)?？陀^驗(yàn)證了我們的ABiCP圖像去霧方法的有效性。

我們還將我們提出的方法與He等人的DCP方法的計(jì)算時(shí)間進(jìn)行了比較［2］。實(shí)驗(yàn)在3.0 GHz主頻CPU和4 GB的RAM的標(biāo)準(zhǔn)PC上使用MATLAB R2012b進(jìn)行，測(cè)試分辨率為600×800的圖像，為ABiCP方法設(shè)置超像素的總數(shù)量為1 000。對(duì)于DCP方法，計(jì)算時(shí)間為56 s，對(duì)于ABiCP方法，計(jì)算時(shí)間為19 s?？梢夾BiCP方法比DCP方法所需的計(jì)算時(shí)間少得多。除了總時(shí)序外，還獲得了我們提出的方法的每個(gè)單獨(dú)步驟的詳細(xì)時(shí)間，比如超像素分割，ABiCP和GF［8］。盡管在我們的方法中，超像素分割步驟占用了大量的處理時(shí)間，但我們提出的方法比DCP方法要快。因?yàn)槲覀兊姆椒ㄖ蝎@得超像素的步驟比DCP方法中的軟消光步驟需要更少的計(jì)算時(shí)間，并且我們的方法還受益于估計(jì)每個(gè)超像素而不是每個(gè)單個(gè)像素的透射率和大氣光值，因此我們的計(jì)算方法時(shí)間小于DCP方法。顯然，對(duì)于分辨率較低的圖像，獲得超像素所需的時(shí)間更少。如果對(duì)圖像進(jìn)行下采樣獲得超像素，采取首先估計(jì)局部透射率和大氣值，然后在通過GF過濾之前將透射率和大氣圖上采樣至原始大小，則計(jì)算時(shí)間將大大減少。

5 結(jié)　論

本文提出一種基于ABiCP的圖像去霧方法，該方法主要包含三方面的內(nèi)容：（1）引入超像素作為局部區(qū)域來估計(jì)透射率和大氣光值，提高了估計(jì)值的可靠性，消除了去霧圖像上的光暈效應(yīng)，同時(shí)降低計(jì)算復(fù)雜度；（2）提出了通過線性變換后的飽和度和亮度值作為閾值，有效檢測(cè)出有霧圖像中的白色或亮色像素點(diǎn)和黑色或暗色像素點(diǎn)；（3）ABiCP方法可以適應(yīng)性地校正對(duì)于亮區(qū)域像素點(diǎn)和暗區(qū)域像素點(diǎn)錯(cuò)誤估計(jì)的透射率和大氣光值，恢復(fù)真實(shí)顏色，彌補(bǔ)了DCP方法的不足。實(shí)驗(yàn)結(jié)果表明，基于ABiCP的圖像去霧方法可以更好地恢復(fù)圖像中灰白色區(qū)域與暗色物體表面的真實(shí)顏色，提高圖像視覺上的清晰效果；同時(shí)，針對(duì)一些圖像由于覆蓋場(chǎng)景深度范圍大以及受到多光源影響導(dǎo)致的大氣光隨著場(chǎng)景點(diǎn)深度而發(fā)生變化的特點(diǎn)，該方法將大氣光作為局部變量進(jìn)行求解，更接近真實(shí)情況，有效解決去霧后圖像亮度不均的問題，提升去霧質(zhì)量，使去霧后的圖像更加清晰、自然。

［1］ TAREL J P， HAUTIèRE N. Fast visibility restoration from a single color or gray level image［C］. 200912292，2009，，IEEE， 2009： 2201-2208.

［2］ HE K M， SUN J， TANG X O. Single image haze removal using dark channel prior［J］.， 2011， 33（12）： 2341-2353.

［3］ 韓昊男，錢鋒，呂建威，等. 改進(jìn)暗通道先驗(yàn)的航空?qǐng)D像去霧［J］. 光學(xué)精密工程， 2020， 28（6）： 1387-1394.

HAN H N， QIAN F， Lü J W，. Aerial image dehazing using improved dark channel prior［J］.， 2020， 28（6）： 1387-1394.（in Chinese）

［4］ YU H F， LI X B， LOU Q，. Underwater image enhancement based on DCP and depth transmission map［J］.， 2020， 79（27/28）： 20373-20390.

［5］ PANAGOPOULOS A， WANG C H， SAMARAS D，. Estimating shadows with the bright channel cue［C］.， 2012.

［6］ 李佳童，章毓晉. 圖像去霧算法的改進(jìn)和主客觀性能評(píng)價(jià)［J］. 光學(xué)精密工程， 2017， 25（3）： 735-741.

LI J T， ZHANG Y J. Improvements of image haze removal algorithm and its subjective and objective performance evaluation［J］.， 2017， 25（3）： 735-741.（in Chinese）

［7］ DAI C G， LIN M X， WU X J，. Single hazy image restoration using robust atmospheric scattering model［J］.， 2020， 166： 107257.

［8］ HE K M， SUN J， TANG X O. Guided image filtering［J］.， 2013， 35（6）： 1397-1409.

［9］ HONG S， KIM M， KANG M G. Single image dehazing via atmospheric scattering model-based image fusion［J］.， 2021， 178： 107798.

［10］ KUMAR M， JINDAL S R. Fusion of RGB and HSV colour space for foggy image quality enhancement［J］.， 2019， 78（8）： 9791-9799.

［11］ YEH C H， KANG L W， LEE M S，. Haze effect removal from image via haze density estimation in optical model［J］.， 2013， 21（22）： 27127-27141.

［12］ TAN Y B， WANG G Y. Image haze removal based on superpixels and Markov random field［J］.， 2020， 8： 60728-60736.

［13］ JANG J， SHIN M， LIM S，. Intelligent image-based railway inspection system using deep learning-based object detection and weber contrast-based image comparison［J］.（，）， 2019， 19（21）： 4738.

［14］ YANG Y， WANG Z W. Haze removal： push DCP at the edge［J］.， 2020， 27： 1405-1409.

［15］ FU X， LIN Q， GUO W，. Single image de-haze under non-uniform illumination using bright channel prior［J］.， 2013， 48（3）： 1843-1848.

［16］ 張闖，王亞明，陳蘇婷. 基于空間依存的無參考圖像質(zhì)量評(píng)價(jià)［J］. 光學(xué)精密工程， 2015， 23（11）： 3211-3218.

ZHANG C， WANG Y M， CHEN S T. No-reference image quality assessment based on spatial dependency［J］.， 2015， 23（11）： 3211-3218.（in Chinese）

［17］ BERMAN D， TREIBITZ T， AVIDAN S. Non-local image dehazing［C］. 20162730，2016，，，IEEE， 2016： 1674-1682.

［18］ QIN X， WANG Z L， BAI Y C，. FFA-net： feature fusion attention network for single image dehazing［J］.， 2020， 34（7）： 11908-11915.

Image dehazing method based on adaptive bi-channel priors

JIANG Yutong*，YANG Zhonglin，ZHU Mengqi，ZHANG Yi，GUO Lixia

（，100072，），：201163

Image is an important source of information for modern warfare, and the quality of image decreases in foggy environment, which seriously hinders the ability of photoelectric reconnaissance and identification. In order to improve the effective utilization of images in foggy environment, an adaptive bi-channel prior image dehazing method was developed. First, based on the dark channel prior and the bright channel prior theories, the hazy images are converted from RGB to HSV color space, and the thresholds of saturation and luminance components are used to detect white or light pixels and black or dark pixels in hazy images that do not satisfy the dark and light channel priors, respectively. Then, superpixels are selected as the local area for the calculation of the dark and bright channels, and the local transmittance and atmospheric light values are estimated. Finally, adaptive bi-channel priors are developed to rectify any incorrect estimation of transmission and atmospheric light values for both white and black pixels. The transmittance map and atmospheric light map are filtered by the guided filter, and then substituted into the atmospheric scattering model to obtain a clear dehaze image. Experimental results show that the dehazed image restores the true color, the visual effect is natural and clear, and the dehazing process of the image is accurately and efficiently achieved. The dehazing process is performed on the FRIDA database, the mean square error between the dehazed image and the ground truth using the method in this paper is better than that of the existing method, which are 15% lower than that yielded by the BiCP method.

image dehazing； bi-channel priors； superpixel

TP391.4

A

10.37188/OPE.20223010.1246

1004-924X（2022）10-1246-17

2021-07-08；

2021-08-11.

國(guó)家自然科學(xué)基金項(xiàng)目（No.61801439）

姜雨彤（1987），女，吉林長(zhǎng)春人，博士，副研究員，主要從事機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、圖像處理等研究工作。E-mail： jiangyutong201@163.com