王紅茹,張 弓,盧道華,c,王 佳

(江蘇科技大學(xué) a.機(jī)械工程學(xué)院; b.江蘇省船海機(jī)械先進(jìn)制造及工藝重點(diǎn)實(shí)驗(yàn)室; c.海洋裝備研究院,江蘇 鎮(zhèn)江 212003)

0 概述

隨著陸地資源逐漸匱乏,人們開始關(guān)注開發(fā)深海資源,因此,水下圖像處理成為相關(guān)領(lǐng)域的研究重點(diǎn)。聲視覺系統(tǒng)是傳統(tǒng)的海洋探測(cè)手段,而目前人們主要通過光學(xué)照明來探測(cè)深海。海水中的光在成像時(shí),由于吸收和散射等因素,會(huì)使成像出的圖像對(duì)比度下降,而低對(duì)比度的圖像會(huì)對(duì)后續(xù)的圖像特征提取[1]和目標(biāo)跟蹤識(shí)別[2-3]等產(chǎn)生不良影響。因此,獲取清晰的水下圖像具有重要意義。

針對(duì)水下圖像模糊的問題,研究者提出較多增強(qiáng)算法,如文獻(xiàn)[4]提出自適應(yīng)的圖像增強(qiáng)算法,文獻(xiàn)[5]提出基于暗原色先驗(yàn)原理的算法,文獻(xiàn)[6]提出基于卷積神經(jīng)網(wǎng)絡(luò)的算法,文獻(xiàn)[7]提出基于迭代直方圖的算法,均有效提高了水下圖像的清晰度。文獻(xiàn)[8]對(duì)暗通道模型進(jìn)行雙邊濾波操作,取得了較好的去霧視覺效果,但算法的實(shí)時(shí)性較差。文獻(xiàn)[9]利用暗通道先驗(yàn)理論處理空氣中的帶霧圖像,改善了因光折射引起的圖像模糊現(xiàn)象,并且圖像的細(xì)節(jié)保存完整。由于水下圖像和霧圖像都會(huì)因光散射引起圖像對(duì)比度降低,因此研究者將暗原色先驗(yàn)直接用于水下圖像的預(yù)處理。文獻(xiàn)[10]指出水下紅光衰減得最快,區(qū)別于空氣,因此,其僅利用藍(lán)色和綠色通道來估計(jì)透射率圖,而對(duì)紅色通道的透射率單獨(dú)估計(jì),得到了較好的輸出結(jié)果。文獻(xiàn)[11]指出空氣中的霧圖像和水下低對(duì)比度圖像都是因光被吸收和散射所導(dǎo)致的,因此,其將空氣中的暗原色先驗(yàn)去霧算法直接用于水下圖像增強(qiáng),但實(shí)驗(yàn)證明該算法只能提高圖像對(duì)比度,不能避免明顯的圖像的顏色失真現(xiàn)象。

本文根據(jù)水下成像特點(diǎn),提出一種結(jié)合暗原色先驗(yàn)原理和顏色修正的水下圖像增強(qiáng)算法,以改善顏色失真現(xiàn)象,同時(shí)提高圖像清晰度。根據(jù)水下光的成像模型,在求取暗通道圖像時(shí)考慮紅色通道的逆通道并改進(jìn)全局背景光的估計(jì)方法,使用自定義的模板選取顏色飽和度方差最小的塊圖像,分別對(duì)塊圖像RGB通道進(jìn)行最小濾波,并選取亮度最大的像素點(diǎn)作為預(yù)估背景光。在此基礎(chǔ)上,使用Retinex算法對(duì)圖像的R通道進(jìn)行顏色校正,根據(jù)圖像各通道的顏色衰減系數(shù)比得到顏色校正后的圖像。

1 水下圖像增強(qiáng)算法

1.1 水下圖像成像物理模型

由文獻(xiàn)[12-13]提出的水下成像物理模型可知,到攝像相機(jī)的總輻照度是直接光、前向散射光和后向散射光這三部分的線性疊加,即:

ET=ED+EF+EB

(1)

直接光是指成像設(shè)備接收到物體直接反射的光,其光的強(qiáng)度表達(dá)式為:

ED(x,θ)=E(x,θ)exp[-c(θ)d(x)],θ∈{R,G,B}

(2)

其中,E(x,θ)是物體所在位置處的光強(qiáng),ED(x,θ)是攝像機(jī)接收的直接光光強(qiáng),c(θ)表示由吸收和散射造成的總的衰減系數(shù),θ表示圖像的某一通道,d(x)表示物體到相機(jī)的距離。

前向散射光EF的光強(qiáng)可以表示為:

EF=ED(x,θ)*g(x,θ)

(3)

其中,*表示卷積運(yùn)算,g(x,θ)為點(diǎn)擴(kuò)展函數(shù)。

背景的散射部分可以表示為:

EB(x,θ)=B∞(θ){1-exp[-c(θ)d(x)]

(4)

其中,B∞(θ)為背景光。

將式(2)～式(4)代入式(1)中,可得:

ET(x,θ)=ED(x,θ)+EF(x,θ)+EB(x,θ)=

E(x,θ)exp[-c(θ)d(x)]+

{E(x,θ)exp[-c(θ)d(x)]}*g(x,θ)+

B∞(θ){1-exp[-c(θ)d(x)]}

(5)

可以把物體與成像設(shè)備的距離看成一個(gè)相對(duì)很小的數(shù),這樣就可以忽略前向散射造成的圖像模糊,則式(5)表示為:

ET(x,θ)=E(x,θ)exp[-c(θ)d(x)]+

B∞(θ){1-exp[-c(θ)d(x)]}

(6)

假如水下透射率t(x,θ)=exp[-c(θ)d(x)],則式(6)可表示為:

ET(x,θ)=E(x,θ)t(x,θ)+B∞(θ){1-t(x,θ)}}

θ∈{R,G,B}

(7)

1.2 基于R逆通道暗原色先驗(yàn)的水下增強(qiáng)

通過實(shí)驗(yàn)可知,可以直接用圖像中的暗像素來估計(jì)霧和光的透射率,暗通道公式表示為:

(8)

其中,Jc(y)為J(x)的某個(gè)通道,表示以像素為中心的一個(gè)窗口。由式(8)可知,暗通道圖是分別對(duì)圖像3個(gè)顏色通道取最小值運(yùn)算和局部區(qū)域取最小值(它們的運(yùn)算不分先后)得到的。根據(jù)暗原色先驗(yàn)原理,可得:

(9)

水下圖像和霧圖像都是被渾濁的傳輸介質(zhì)所退化的圖像,雖然它們具有相似性,但是因?yàn)樗鹿獾乃p率和大氣光衰減率不同,所以不能用空氣中的暗原色先驗(yàn)直接恢復(fù)E(x,θ)。因此,在求取水下圖像的暗原色通道時(shí)考慮紅色通道的逆通道[14]和藍(lán)綠顏色通道,用Jwdark表示水下暗原色通道,表達(dá)式為:

(10)

其中,Rinv表示紅色通道的逆通道,其值為1和歸一化紅色通道像素點(diǎn)的亮度差值。

圖1分別是采取空氣中的暗原色通道方法和本文方法求取的暗原色通道對(duì)比。根據(jù)水下光的衰減率可知,紅光在水下先衰減完,圖像中的紅色通道像素值低,水下圖像主要呈現(xiàn)出偏藍(lán)色或者綠色,如圖1(a)所示。采用文獻(xiàn)[9]方法直接求取水下圖像暗原色通道,將導(dǎo)致整體偏暗,如圖1(b)所示,其是考慮紅色通道逆通道后求取的結(jié)果,可以看出離相機(jī)遠(yuǎn)即意味著光的衰減程度大,因此,其暗通道區(qū)域的亮度也就越高。

圖1 水下暗原色通道對(duì)比Fig.1 Comparison of underwater dark channel

1.3 改進(jìn)的背景光估算方法

由于水下圖像十分模糊,圖像的暗通道整體亮度偏高,因此文獻(xiàn)[9]方法對(duì)背景光估計(jì)不準(zhǔn)確,對(duì)圖像的恢復(fù)會(huì)產(chǎn)生不利的影響。在水下采集圖像時(shí),會(huì)有人工照明和白色魚群的存在,若用這種方式選取,會(huì)使增強(qiáng)后的圖像偏白,而且亮度不均勻。因此,本文提出一種改進(jìn)的全局背景光估計(jì)方法,以提高背景光估計(jì)的精確度,具體如下:

1)設(shè)計(jì)一個(gè)計(jì)算顏色飽和度方差的模板,圖像的大小為M×N,經(jīng)試驗(yàn)得出最佳的模板大小是M/2×N/2,設(shè)定步長(zhǎng)2,從模糊圖像的左上方開始移動(dòng),每次移動(dòng)一步就計(jì)算該模板區(qū)域的顏色飽和度方差,選擇全局最小的區(qū)域顏色飽和度方差,因?yàn)榉讲钪翟酱髣t此區(qū)域受光源的影響就越大,該區(qū)域不適合做背景光估計(jì),所以待完全移動(dòng)完成后選取顏色飽和度方差最小的區(qū)域作為背景光預(yù)估計(jì)區(qū)域。

2)對(duì)預(yù)估計(jì)區(qū)域每個(gè)通道進(jìn)行最小值濾波,得到在暗原色通道中的亮度值排在前0.1%的點(diǎn),對(duì)這些點(diǎn)的亮度值進(jìn)行排序,選取最大值作為大氣光的值Bθ,∞。

本文通過實(shí)驗(yàn)對(duì)比不同模板尺寸下所得背景光恢復(fù)圖片的信息熵和PNSR,實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同模板尺寸下恢復(fù)的圖像質(zhì)量對(duì)比Table 1 Quality comparison of image restored under different template sizes

表1反映了不同尺寸大小模板估計(jì)出的背景光對(duì)圖片質(zhì)量的影響,可以看出,以尺寸為M/2×N/2模板估計(jì)出的背景光恢復(fù)圖像質(zhì)量最好。

1.4 水下透射率估算

通過R通道的逆通道來求水下圖像的暗通道,在求取水下透射率時(shí),圖像的通道要分開考慮。對(duì)式(7)等號(hào)兩邊取最小值運(yùn)算得出:

θ∈{R}

(11)

θ∈{G,B}

(12)

分別對(duì)紅通道和藍(lán)綠通道取最小值運(yùn)算,對(duì)式(11)和式(12)分別除以1-B∞(θ)和B∞(θ),可以得到:

(13)

(14)

水下暗原色通道Jwdark→0,即:

E(y,B)}=0

(15)

由式(13)～式(15)可得:

θ∈{R,G,B}

(16)

由于紅光在水下衰減最快,因此紅光的透射率最小,即:

(17)

文獻(xiàn)[15]實(shí)驗(yàn)得出圖像的全局背景光的值與衰減系數(shù)和散射系數(shù)的關(guān)系式為:

Bθ,∞∝bθ/cθ

(18)

在2類不同的海水中進(jìn)行9組不同波長(zhǎng)對(duì)應(yīng)散射系數(shù)的數(shù)據(jù)的實(shí)驗(yàn)得出散射系數(shù)與波長(zhǎng)的關(guān)系式:

b(λ)=(-0.001 13λ+162 517)b(λr)

(19)

其中,λ為波長(zhǎng),本文選擇紅光波長(zhǎng)620 nm、綠光波長(zhǎng)540 nm、藍(lán)色波長(zhǎng)450 nm。為參照波長(zhǎng)的散射系數(shù),此處以R通道為參考,計(jì)算其他2個(gè)通道衰減系數(shù)比為:

(20)

(21)

則水下各通道的透射率為:

(22)

(23)

(24)

本文采用文獻(xiàn)[16]中的導(dǎo)向?yàn)V波算法對(duì)各通道透射率進(jìn)行細(xì)化,該算法避免了文獻(xiàn)[8]利用區(qū)域?yàn)閱挝还烙?jì)出的透射率,會(huì)產(chǎn)生塊效應(yīng),如圖2所示。

最后通過透射率圖和估計(jì)出的全局背景光的值可恢復(fù)出清晰的圖像,其光強(qiáng)表達(dá)式為:

θ∈{R,G,B}

(25)

其中,t0可以防止求取出的透射率低導(dǎo)致圖像的顏色過度失真。圖3為上述方法恢復(fù)后的圖像。

1.5 顏色較正

從圖3中可以看出,估算水下透射率后恢復(fù)的圖像仍然會(huì)偏藍(lán)綠色,而且呈現(xiàn)出光照不均的現(xiàn)象,因此,還需要對(duì)增強(qiáng)后的圖像進(jìn)行顏色校正。本文首先采用Retinex算法[17]處理增強(qiáng)后的圖像,得到亮度和反射分量,然后用高斯核對(duì)原圖做卷積操作得到低通濾波后的圖像D(x,y),最后與原圖像做差分得到高頻圖像G(x,y),即得到R(x,y)。將其轉(zhuǎn)化到對(duì)數(shù)域分別處理,則有:

Ri(x,y)=ln[ri(x,y)]=ln[si(x,y)]-ln[li(x,y)]

i∈{R,G,B}

(26)

本文用rR(x,y)根據(jù)各顏色通道的衰減系數(shù)比求出rG(x,y)和rB(x,y),再將ri(x,y)從對(duì)數(shù)域轉(zhuǎn)換為實(shí)數(shù)域Ri(x,y)。

(27)

(28)

圖4是顏色校正后恢復(fù)的圖像,可以看出,圖像的色偏以及光照不均得到了較好的改善,并且突出了圖像的細(xì)節(jié),清晰度得到提高。

圖4 顏色校正后恢復(fù)的圖像Fig.4 Restored image after color correction

1.6 算法流程

本文基于改進(jìn)全局背景光估算法,結(jié)合暗原色先驗(yàn)算法恢復(fù)出增強(qiáng)后的圖像,并采用Retinex理論進(jìn)行顏色校正,得到清晰的圖像,本文方法流程如圖5所示。

圖5 本文算法流程Fig.5 Procedure of the proposed algorithm

2 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)采用3幅水下原始圖像,分別用HE算法[18]、同態(tài)濾波算法[19]、基于暗原色先驗(yàn)的算法[14]、MSRCR算法[20]和本文算法進(jìn)行處理,然后對(duì)上述算法進(jìn)行實(shí)驗(yàn)結(jié)果對(duì)比,如圖6～圖8所示。

圖6 5種算法的恢復(fù)圖像對(duì)比1Fig.6 Recovered image comparison 1 of five algorithms

圖7 5種算法的恢復(fù)圖像對(duì)比2Fig.7 Recovered image comparison 2 of five algorithms

圖8 5種算法的恢復(fù)圖像對(duì)比3Fig.8 Recovered image comparison 3 of five algorithms

觀察圖6～圖8可知:HE算法處理的結(jié)果使圖像失真,經(jīng)過同態(tài)濾波的圖像亮度被降低,有明顯偏色現(xiàn)象,基于暗原色先驗(yàn)算法不能很好地區(qū)分前景和背景,也不能避免圖像的偏色現(xiàn)象,雖然MSRCR算法去除了基于暗原色先驗(yàn)算法的弊端,但圖像顏色淡化且失真,經(jīng)過本文算法處理的圖像前景和背景的區(qū)分度高,色偏校正顯著改善,明顯地優(yōu)化了圖像的視覺效果。

上述圖像主觀對(duì)比是建立在本文做了顏色校正的基礎(chǔ)上進(jìn)行的,為論證本文算法的有效性和公平性,對(duì)上述經(jīng)典算法處理的圖像和本文算法得出未經(jīng)過顏色校正的圖像進(jìn)行PSNR計(jì)算,如表2所示。可以看出,本文算法第1組和第2組的PNSR值低于MSRCR算法,這是因?yàn)槿鄙偾逦膱D像來對(duì)比,水下的圖像降質(zhì)十分嚴(yán)重,而算法處理效果好,與原始圖像的方差較大,從而使PSNR值降低。

表2 圖6～圖8 PNSR對(duì)比Table 2 PNSR comparison of Fig.6～Fig.8 dB

為進(jìn)一步驗(yàn)證本文算法的有效性,對(duì)上述圖像的清晰度(平均梯度)以及信息熵進(jìn)行分析與統(tǒng)計(jì),對(duì)處理結(jié)果進(jìn)行客觀評(píng)價(jià),如表3和表4所示。

表3 圖6～圖8清晰度對(duì)比Table 3 Clarity comparison of Fig.6～Fig.8

表4 圖6～圖8信息熵對(duì)比Table 4 Information entropy comparison of Fig.6～Fig.8

可以看出,本文算法處理得到的圖像清晰度高于其他算法。信息熵是度量圖像信息量多少的指標(biāo),信息熵越高說明圖像所所含的信息越多,本文算法信息熵值也高于其他算法。從主觀和客觀性上分析都可以得出本文算法更具優(yōu)越性,圖像恢復(fù)的清晰度較高。

3 結(jié)束語

本文提出的水下圖像增強(qiáng)算法基于水下成像模型,根據(jù)暗原色先驗(yàn)原理分別考慮紅色通道的逆通道和藍(lán)綠色通道求出暗通道圖像,在此基礎(chǔ)上利用模板分塊對(duì)區(qū)域顏色飽和度方差進(jìn)行計(jì)算,得出方差最低的塊圖像進(jìn)行背景光估計(jì),避免了光源、白色物體等不利因素對(duì)圖像全局背景光的影響,最后結(jié)合透射率圖得到增強(qiáng)后的圖像。該算法利用圖像顏色通道的衰減系數(shù)比和Retinex理論對(duì)增強(qiáng)后的圖像進(jìn)行顏色校正,改善了水下圖像的偏色現(xiàn)象,并且提高了圖像整體的清晰度。實(shí)驗(yàn)結(jié)果表明,本文算法對(duì)于水下嚴(yán)重降質(zhì)圖像效果明顯,處理后的圖像不易過度失真且細(xì)節(jié)得到突出。由于每次做圖像增強(qiáng)時(shí)需要人工提取特征,此步驟較為繁瑣,因此下一步將采用深度學(xué)習(xí)的網(wǎng)絡(luò)框架提取特征映射圖,設(shè)計(jì)一個(gè)端到端的圖像增強(qiáng)算法,從而提高魯棒性和實(shí)時(shí)性。