趙 紅，李春艷，王 寧，田嘉禾，郭 晨

(1. 大連海事大學(xué) 船舶電氣工程學(xué)院，遼寧 大連 116026；2. 哈爾濱工程大學(xué) 船舶工程學(xué)院，黑龍江 哈爾濱 150001)

0 引 言

近年來，無人船不僅在國(guó)防領(lǐng)域中起到不可忽視的作用，也廣泛應(yīng)用于海上搜救，水質(zhì)監(jiān)測(cè)等民用領(lǐng)域[1-2]。視覺系統(tǒng)具有定位精度高、使用靈活、硬件成本低等特點(diǎn)，可以作為無人船的環(huán)境感知和避障傳感器，保證無人船安全航行[3]。但是相對(duì)于陸地來說，海上環(huán)境復(fù)雜多變，海霧天氣更是常見天氣，霧氣中的懸浮粒子對(duì)光的吸收和散射作用，會(huì)導(dǎo)致無人船的視覺系統(tǒng)在采集圖像數(shù)據(jù)和視頻數(shù)據(jù)時(shí)，產(chǎn)生對(duì)比度降低、顏色失真以及模糊等現(xiàn)象。而退化后的圖像會(huì)丟失目標(biāo)物的特征信息，導(dǎo)致立體匹配時(shí)出現(xiàn)匹配對(duì)數(shù)降低或出現(xiàn)較多的誤匹配點(diǎn)等問題，影響無人船系統(tǒng)對(duì)障礙物識(shí)別及距離判斷的準(zhǔn)確性，嚴(yán)重時(shí)可能會(huì)因距離判斷失誤而導(dǎo)致無人船碰撞、觸礁等事故的發(fā)生，所以將圖像去霧技術(shù)應(yīng)用于無人船的視覺系統(tǒng)對(duì)提高目標(biāo)定位的精度和安全航行系數(shù)是非常重要的[4]。

近年來常用的圖像去霧算法主要有無模型的圖像增強(qiáng)方法和基于物理模型的圖像復(fù)原方法，無模型方法通常不考慮圖像的退化機(jī)制而直接對(duì)圖像的對(duì)比度或亮度進(jìn)行調(diào)節(jié)，常用的方法有：Retinex算法、直方圖均衡化（Histogram Equalization，HE）、對(duì)比度受限的自適應(yīng)直方圖均衡（Contrast Limited Adaptive histgram equalization，CLAHE）和小波變換[5]。這些方法雖然對(duì)圖片有一定的增強(qiáng)作用，但是會(huì)造成圖像失真并丟失部分圖像細(xì)節(jié)，只能達(dá)到感知級(jí)別的圖像增強(qiáng)效果[6]?；谖锢砟Ｐ偷姆椒ㄖ饕抢脠D像退化模型，根據(jù)先驗(yàn)知識(shí)對(duì)得到的霧化圖像進(jìn)行反推，進(jìn)而恢復(fù)無霧圖像。此類方法通過圖像散射模型分析圖像降質(zhì)的本質(zhì)原因和降質(zhì)過程中的丟失信息，利用圖像信息和先驗(yàn)知識(shí)求取模型中各參數(shù)，最終建立合理的去霧算法，得到去霧圖像。Tan等[7]利用無霧圖像對(duì)比度高于有霧圖像的先驗(yàn)信息，在不完全恢復(fù)場(chǎng)景原始透射率條件下，最大化局部信息對(duì)比度，得到去霧圖像，該方法可以處理灰度和彩色圖像，但是忽略了圖像自身的顏色構(gòu)造，導(dǎo)致去霧圖像出現(xiàn)色彩嚴(yán)重失真的現(xiàn)象。Fattal等[8]假設(shè)介質(zhì)的傳導(dǎo)率和物體表面的光照是不相關(guān)的，利用圖像鄰域信息的馬爾科夫性和局部最優(yōu)的思想計(jì)算得到無霧圖像。這種方法對(duì)先驗(yàn)信息的精度要求較高，不適用于模糊圖像和灰度圖像。He[9]通過統(tǒng)計(jì)大量無霧圖提出的暗通道先驗(yàn)理論（Dark Channel Prior，DCP），即圖像中任意一個(gè)區(qū)域內(nèi)都至少有一個(gè)通道的像素值最小甚至趨于0，該算法基于大氣散射物理模型從圖像的退化原因進(jìn)行反推，最終復(fù)原出陸地上效果最好的去霧圖。但是圖像中如果存在白色物體或區(qū)域時(shí)，會(huì)出現(xiàn)3個(gè)顏色通道的暗通道值均較高的現(xiàn)象，暗通道先驗(yàn)理論將會(huì)失效，由此估計(jì)出的大氣散射模型中的參數(shù)會(huì)導(dǎo)致去霧圖像出現(xiàn)色斑和光暈現(xiàn)象，丟失大量的圖像信息。而海上圖像含有大面積亮度較高的天空區(qū)域，此時(shí)DCP算法將不能直接用于海上圖像去霧。此后的一些基于暗通道改進(jìn)的算法[10]大都是通過弱化對(duì)天空區(qū)域的處理來達(dá)到改善天空區(qū)域的效果，但是這樣的改進(jìn)就會(huì)導(dǎo)致圖像中跟天空區(qū)域連接的區(qū)域被弱化，丟失很多細(xì)節(jié)信息。

本文通過分析霧天的成因以及圖像退化模型，針對(duì)海上圖像特點(diǎn)以及暗通道算法處理海上圖像時(shí)存在的不足，采用四分法對(duì)海上圖像進(jìn)行不斷分割，并通過設(shè)計(jì)的評(píng)價(jià)函數(shù)確定每次分割后得到的優(yōu)化大氣光值的候選區(qū)域，且將達(dá)到預(yù)先設(shè)定閾值的候選區(qū)域作為最終感興趣區(qū)域，同時(shí)將該區(qū)域內(nèi)所有像素的亮度平均值作為大氣光值A(chǔ)的優(yōu)化值。針對(duì)暗通道模型估計(jì)出的透射率存在塊效應(yīng)的問題，采用導(dǎo)向?yàn)V波器對(duì)透射率進(jìn)行細(xì)化，提高計(jì)算速度的同時(shí)能保持輸出圖像與輸入圖像的相似性和梯度信息，并在此基礎(chǔ)上引入交替迭代思想，利用立體匹配和圖像增強(qiáng)進(jìn)行交替迭代對(duì)透射率進(jìn)行優(yōu)化，提高透射率的精度，達(dá)到提升去霧效果的目的。

1 暗通道先驗(yàn)算法

1.1 大氣散射模型

McCartney提出的大氣散射模型是最經(jīng)典的霧天圖像退化模型[11-12]，該模型包含入射光衰減模型和大氣光模型。其中入射光衰減模型描述了光從目標(biāo)物到觀測(cè)點(diǎn)之間的衰減過程；大氣光模型描述了環(huán)境的懸浮粒子對(duì)觀測(cè)點(diǎn)接收到的光強(qiáng)的影響。大氣散射模型如下式：

其中：x表示圖像中像素點(diǎn)的坐標(biāo)；I(x)為攝像機(jī)拍攝到的有霧圖像原圖；J(x)是待恢復(fù)的無霧圖像；A為全局大氣光照強(qiáng)度；t(x)=e?βd(x)，為透射率，表示在經(jīng)過懸浮粒子衰減后大氣光到達(dá)攝像機(jī)的部分，β表示大氣散射系數(shù)，d(x)表示場(chǎng)景深度。

對(duì)式（1）進(jìn)行變換后可得：

由上式可知，若能精確地求出大氣光值A(chǔ)和 透射率t(x)，即可根據(jù)有霧圖像獲取其對(duì)應(yīng)的無霧圖像J(x)。

1.2 暗通道先驗(yàn)

He等在大氣散射模型的基礎(chǔ)上，通過統(tǒng)計(jì)5 000多幅圖像的特征，提出了暗通道先驗(yàn)算法。該理論假定在圖像中絕大多數(shù)的目標(biāo)區(qū)中會(huì)存在一些暗像素區(qū)域，這些區(qū)域中至少有一個(gè)顏色通道的像素值很小，甚至趨近于0。正常圖像的暗通道圖像接近純黑，但有霧圖像的暗通道圖像顏色則呈現(xiàn)灰色，這就構(gòu)成了暗通道去霧的理論基礎(chǔ)。

暗通道可以表示為：

式中：Jdark表示像素值最小的通道并將其定義為暗通道；Ω(x)表示以像素值為中心的鄰域區(qū)域。

假設(shè)在局部區(qū)域內(nèi)t(x)為定值，對(duì)式（1）兩邊取兩次最小值操作并結(jié)合式（3）可得：

對(duì)式（4）進(jìn)行變換可得t(x)表達(dá)式為：

上式可粗略估算出暗通道先驗(yàn)算法的透射率。

然而在現(xiàn)實(shí)場(chǎng)景中，非常晴朗的天氣中也會(huì)存在一層薄霧以增強(qiáng)圖像的層次感。為了保持景深，在進(jìn)行圖像去霧時(shí)要保留一部分的霧，防止因霧全部移除而產(chǎn)生的噪聲和顏色失真等現(xiàn)象。對(duì)有霧圖像進(jìn)行去霧操作時(shí)，預(yù)設(shè)一個(gè)霧氣保留因子ω且ω<1，使圖像能保留部分霧氣以保留其層次感。最終的透射率求取公式如下式：

暗通道先驗(yàn)算法估計(jì)大氣光值時(shí)，通常將圖像中亮度最高點(diǎn)，也就是圖像中像素值的最大值作為大氣光值的近似估計(jì)。具體做法分為2步：

1）將暗通道圖像中的亮度大小進(jìn)行排序，將前0.1%的值取出；

2）將求取的亮度值對(duì)應(yīng)原圖的位置，在原含霧圖像中找出這些位置的最高值將其作為大氣光值。

根據(jù)大氣物理模型以及上述得到的粗略的大氣光值A(chǔ)以 及透射率t(x)，就可以對(duì)有霧圖像進(jìn)行去霧處理。最終去霧圖像的求取公式為：

式中，為了防止估計(jì)的透射率過小而造成最終復(fù)原圖像嚴(yán)重失真，可設(shè)置透射率閾值t0，其值一般設(shè)為0.1。

2 本文算法

海上圖像的特點(diǎn)為圖像中有大面積的天空區(qū)域，而天空區(qū)域中的白光分量過多，易出現(xiàn)局部區(qū)域R，G，B三通道值均較高的現(xiàn)象，與暗通道先驗(yàn)假設(shè)某一區(qū)域內(nèi)至少有一個(gè)顏色通道像素值趨近于0的理論基礎(chǔ)相悖，故DCP算法不能直接用于含有大面積天空區(qū)域的圖像去霧。

針對(duì)上述問題，本文提出改進(jìn)大氣光值A(chǔ)估 計(jì)法，優(yōu)化其取值，通過構(gòu)建評(píng)價(jià)函數(shù)并利用四分法得到候選區(qū)域，將該區(qū)域內(nèi)的平均亮度作為大氣光值的優(yōu)化值；利用導(dǎo)向?yàn)V波[13-14,16]對(duì)透射率進(jìn)行細(xì)化，解決暗通道模型估計(jì)出的透射率存在塊效應(yīng)的問題，提高計(jì)算速度的同時(shí)保持輸出圖像與輸入圖像的相似性和梯度信息，并引入立體匹配和圖像增強(qiáng)交替迭代對(duì)透射率進(jìn)行優(yōu)化，提高透射率取值的準(zhǔn)確性，提升算法的去霧效果。

2.1 大氣光值優(yōu)化

原始及許多改進(jìn)暗通道去霧算法均選取圖像中亮度最高的像素值作為大氣光值的近似估計(jì)值。但選取單個(gè)點(diǎn)易受外界隨機(jī)條件干擾，尤其是當(dāng)圖像中存在亮度較高的白色物體或區(qū)域時(shí)，通常就會(huì)導(dǎo)致大氣光值的錯(cuò)誤估計(jì)，影響圖像去霧的效果，丟失更多圖像信息。

本文采用四分法對(duì)目標(biāo)圖像進(jìn)行分割并確定最終的候選區(qū)域，其主要思想是根據(jù)構(gòu)建的評(píng)價(jià)函數(shù)對(duì)輸入圖像進(jìn)行四等分，選擇符合評(píng)價(jià)函數(shù)的區(qū)域并再次進(jìn)行四等分，直至得到符合評(píng)價(jià)函數(shù)并滿足區(qū)域閾值要求的候選區(qū)域。

本文將某一區(qū)域內(nèi)的像素平均值與像素標(biāo)準(zhǔn)差sN之間的差值作為四分法分割的評(píng)價(jià)函數(shù)F(x)，其中的標(biāo)準(zhǔn)差sN代表該區(qū)域的像素值變化程度。天空區(qū)域中亮度較高的點(diǎn)較為集中，該區(qū)域內(nèi)像素均值最高、像素之間變化最小，所以在天空區(qū)域選取的大氣光值最為接近大氣光的實(shí)際值，因此利用上述方法獲得的區(qū)域?qū)Υ髿夤庵颠M(jìn)行估計(jì)是合理的。

其中，n為該區(qū)域內(nèi)像素點(diǎn)個(gè)數(shù)，xi,i∈(1,n)是該區(qū)域中的像素點(diǎn)坐標(biāo)。

每次四分均選取值F(x)最大的區(qū)域作為候選區(qū)域并進(jìn)行進(jìn)一步劃分，再次計(jì)算各部分差值，重復(fù)上述操作，直到最終劃分的區(qū)域小于預(yù)先設(shè)定的閾值區(qū)域。通過反復(fù)實(shí)驗(yàn)對(duì)比，將閾值最小值設(shè)定為8×8，最后選取差值最大的區(qū)域作為大氣光值預(yù)估計(jì)的最終區(qū)域并將該區(qū)域的像素平均值作為大氣光值的估計(jì)值。

式中，S(x)是該區(qū)域內(nèi)所有像素值之和。

圖1為四分法的過程及結(jié)果。首先對(duì)輸入進(jìn)行四等分，對(duì)符合判斷標(biāo)準(zhǔn)的區(qū)域再次進(jìn)行劃分，最終得到F(x)值最大的區(qū)域作為感興趣區(qū)域，如圖1右上方黑色區(qū)域所示，進(jìn)而得到優(yōu)化的大氣光值。

2.2 透射率優(yōu)化

原始暗通道先驗(yàn)方法在求取透射率時(shí)，假設(shè)每個(gè)區(qū)域內(nèi)的透射率是不變的，因此估計(jì)出的結(jié)果存在塊效應(yīng)，具有一定的偏差。He采用軟摳圖的方式對(duì)透射率結(jié)果進(jìn)行優(yōu)化，但是該方法速度慢且計(jì)算量較大。本文采用導(dǎo)向?yàn)V波對(duì)暗通道先驗(yàn)得到的透射率圖進(jìn)行優(yōu)化，并將立體匹配和圖像增強(qiáng)交替迭代的思想引入其中，即透射率t(x)與雙目視覺定位的d(x)進(jìn)行交替迭代以對(duì)兩者不斷優(yōu)化，直到獲得穩(wěn)定的輸出圖像。

圖1 四分法分割示意圖Fig. 1 Schematic diagram of quadrant division.

導(dǎo)向?yàn)V波算法引入了局部線性模型，輸出圖像由輸入圖像和導(dǎo)向圖共同決定，輸出圖像大體上與輸入圖像相似，但邊緣紋理處與導(dǎo)向圖相同，對(duì)圖像邊緣的處理效果更好，耗時(shí)更少，并且導(dǎo)向?yàn)V波還能更好保持圖像的梯度信息。

引入的局部線性模型包括導(dǎo)向圖I，輸入圖像p以及輸出圖像q：

其中：q為輸出圖像的像素值；I為輸入圖像的像素值；i和k是像素索引；系數(shù)ak和bk在窗口ωk中為恒定系數(shù)。對(duì)式（12）求導(dǎo)可得?q=a?I，所以導(dǎo)向?yàn)V波能保證輸出圖像q的邊緣與導(dǎo)向圖I的邊緣相似。

為了最小化輸出圖像q與輸入圖像I的差值，引入代價(jià)函數(shù)：

其中，ε是一個(gè)正則化參數(shù)，令代價(jià)函數(shù)E(ak,bk)最小，即可得到ak和bk的表達(dá)式：

式中：μk和分別是導(dǎo)向圖I在窗口ωk中的均值和方差；|ω|是窗口ωk中像素點(diǎn)的個(gè)數(shù)。得到ak和bk后即可計(jì)算出輸出像素點(diǎn)qi。透射率優(yōu)化前后對(duì)比如圖2所示。

圖2 透射率優(yōu)化Fig. 2 Transmission map optimization.

將優(yōu)化之后的大氣光值A(chǔ)和透射率t(x)代入式（7）可得到無霧圖像。

大氣散射模型中，透射率t(x)的表達(dá)式為：

其中：β為大氣散射系數(shù)；d(x)為景深。

而雙目立體定位中，視差圖與景深的關(guān)系為：

其中：b為雙目攝像機(jī)的基線距離；f為攝像機(jī)的內(nèi)參數(shù)；D為立體匹配得到的在像素x的視差。

考慮到復(fù)原之后的圖像更加清晰、細(xì)節(jié)信息更加豐富，引入雙目立體視覺和圖像增強(qiáng)交替迭代的思想，其實(shí)現(xiàn)過程如下：

1）利用本文提出的去霧算法對(duì)有霧原圖進(jìn)行去霧；

2）對(duì)去霧之后的左右圖像進(jìn)行立體匹配操作，并根據(jù)式（17）獲得圖像的景深d(x)；

3）將步驟2中得到的景深代入式（16）計(jì)算出新的透射率t(x)，利用新的透射率再次對(duì)有霧原圖進(jìn)行去霧操作；

4）判斷得到的去霧圖像或距離信息是否達(dá)到穩(wěn)定狀態(tài)，若已達(dá)穩(wěn)態(tài)，則執(zhí)行步驟5，否則重復(fù)步驟1～步驟3；

5）輸出達(dá)到穩(wěn)態(tài)值的去霧圖像。

3 實(shí)驗(yàn)驗(yàn)證

3.1 對(duì)比實(shí)驗(yàn)

圖3為大連海事大學(xué)實(shí)習(xí)船“育鯤”號(hào)和“育鵬”號(hào)在霧中的圖像，圖4為局部細(xì)節(jié)放大展示圖。從圖3和圖4可以看出，相比于Retinex，CLAHE，F(xiàn)atal，He等算法，本文算法恢復(fù)出的無霧圖像有效改善了圖像中天空區(qū)域的光暈現(xiàn)象，并且恢復(fù)出的圖像色彩更加真實(shí)，細(xì)節(jié)圖更加清晰。

3.2 定量評(píng)價(jià)指標(biāo)

為了直觀反映算法的去霧效果，引入圖像評(píng)價(jià)指標(biāo)結(jié)構(gòu)相似度（Structual Simmilarity，SSIM）、峰值信噪比（Peak Signal to Noise Ratio，PSNR）以及信息熵（Entropy）進(jìn)行定量分析。結(jié)構(gòu)相似度指標(biāo)能夠衡量圖像的對(duì)比度、亮度以及結(jié)構(gòu)信息，該值越大說明恢復(fù)效果越好；峰值信噪比能夠衡量圖像噪聲水平和失真情況，該值越大說明去霧之后的圖像與原圖像越相似；信息熵能夠衡量圖像中平均信息的多少，熵值越大圖像中的輪廓信息越清晰。表1為圖3（a）中3張?jiān)瓐D分別經(jīng)過Retinex，CLAHE，F(xiàn)attal，He以及本文算法計(jì)算得到的各圖像評(píng)價(jià)指標(biāo)值。由表1可知，本文去霧算法在各項(xiàng)圖像評(píng)價(jià)指標(biāo)中均表現(xiàn)上乘。

圖3 圖像復(fù)原結(jié)果對(duì)比（霧氣保留因子ω=0.95）Fig. 3 Comparison of image restoration results（fog retention factor ω=0.95）

此外，立體匹配是無人船視覺系統(tǒng)利用雙目攝像機(jī)實(shí)現(xiàn)目標(biāo)定位和障礙物測(cè)距必不可少的一步，其主要原理是利用雙目攝像機(jī)拍攝到的同一場(chǎng)景圖像，經(jīng)過攝像機(jī)標(biāo)定、校正等一系列處理之后，在左右2幅圖像中找到同一物體的同一點(diǎn)，從而計(jì)算出視差圖，實(shí)現(xiàn)對(duì)物體的最終定位。立體匹配主要是利用圖像中物體的紋理和色彩等特征進(jìn)行左右圖像的匹配，匹配點(diǎn)的個(gè)數(shù)以及匹配的準(zhǔn)確度都會(huì)影響最終的定位精度，所以立體匹配可以作為圖像質(zhì)量的一個(gè)評(píng)價(jià)標(biāo)準(zhǔn)。其中特征點(diǎn)匹配是立體匹配的核心，ORB[17]（Orientation by Intensity Centroid）特征點(diǎn)匹配算法具有良好的穩(wěn)定性且計(jì)算速度極快，故本文采用ORB算法對(duì)成對(duì)圖像進(jìn)行匹配點(diǎn)檢測(cè)并對(duì)總匹配對(duì)數(shù)以及優(yōu)秀匹配對(duì)數(shù)進(jìn)行統(tǒng)計(jì)，以評(píng)價(jià)去霧前后的圖像質(zhì)量。

圖5為利用ORB特征匹配算法對(duì)雙目攝像頭拍攝到的左右圖像進(jìn)行特征點(diǎn)匹配的結(jié)果。表2列出了上述3圖的總匹配對(duì)數(shù)和誤差小于0.75的優(yōu)秀匹配對(duì)數(shù)，并計(jì)算出了優(yōu)秀匹配對(duì)數(shù)的占比。

綜合上述實(shí)驗(yàn)結(jié)果可知，基于本文的海上圖像去霧算法可以從一定程度上改善原始DCP算法存在的色斑和光暈現(xiàn)象，且得到的復(fù)原圖像能夠能復(fù)原出更多的圖像細(xì)節(jié)，可給無人船視覺系統(tǒng)提供質(zhì)量更高的海上圖像。

表1 圖像評(píng)價(jià)指標(biāo)Tab. 1 Image evaluation index

圖4 圖像復(fù)原局部細(xì)節(jié)Fig. 4 Partial details of image restoration

圖5 基于ORB算法的特征點(diǎn)匹配結(jié)果Fig. 5 Feature point matching results based on ORB algorithm

表2 ORB特征點(diǎn)匹配對(duì)數(shù)Tab. 2 Matching logarithm of ORB feature points

4 結(jié) 語

本文通過改進(jìn)暗通道先驗(yàn)算法，對(duì)海上有霧圖像進(jìn)行增強(qiáng)，有效復(fù)原出較多的圖像細(xì)節(jié)信息，使視覺系統(tǒng)更好發(fā)揮“眼睛”的作用，更有利于實(shí)現(xiàn)無人船精確避障以及目標(biāo)物測(cè)距等后續(xù)工作。通過與現(xiàn)有的一些去霧算法進(jìn)行的對(duì)比實(shí)驗(yàn)，驗(yàn)證了本文算法在海上圖像去霧處理上的有效性和優(yōu)越性。但是，一些實(shí)驗(yàn)也顯示，當(dāng)海上霧氣濃度很高時(shí)，與其他去霧算法相比，基于本文算法的圖像去霧優(yōu)勢(shì)則不夠明顯，尚需后續(xù)加以改善。