王宏媯史先鵬*

(1.國(guó)家深海基地管理中心,山東 青島 266237;2.杭州電子科技大學(xué) 自動(dòng)化學(xué)院,浙江 杭州 310018)

海洋是一個(gè)巨大的自然資源寶庫(kù),蘊(yùn)藏著豐富的生物資源和礦產(chǎn)資源[1]。水下圖像處理技術(shù)可極大地幫助人類觀察和探索水下世界,在海底考古、海底地形調(diào)查和海底礦物勘探等活動(dòng)中起著重要的作用,是載人潛水器、遙控水下機(jī)器人(Remotely Operated Vehicles,ROV)和自治水下機(jī)器人(Autonomous Underwater Vehicles,AUV)等水下載體應(yīng)用中的必要技術(shù)[2-4]。

水下圖像增強(qiáng)方法大致可分為有光學(xué)模型[5]和無(wú)光學(xué)模型[6-8]的方法?；诠鈱W(xué)模型的方法有暗通道先驗(yàn)(Dark Channel Prior,DCP)[9]、水下暗通道先驗(yàn)(Underwater Dark Channel Prior,UDCP)以及基于圖像模糊和光吸收的恢復(fù)(Image Blurriness and Light Absorption,IBLA)方法。這幾種方法經(jīng)歷了一個(gè)發(fā)展過(guò)程。起先,考慮到霧天成像與水下成像的物理過(guò)程具有相似性,DCP被廣泛應(yīng)用于水下圖像[10-11]。但在超過(guò)30 m 深的水域下紅光衰減嚴(yán)重,使用DCP的效果受到限制[12]。因此,在2013年Drews等[13]結(jié)合水下圖像特點(diǎn),提出了UDCP方法。后來(lái),Peng和Cosman[14]提出了IBLA 方法,此方法雖然耗時(shí),但恢復(fù)效果優(yōu)于UDCP?；跓o(wú)光學(xué)模型的方法包含傳統(tǒng)圖像增強(qiáng)和神經(jīng)網(wǎng)絡(luò)增強(qiáng)兩大類方法。其中,傳統(tǒng)圖像增強(qiáng)方法基于圖像的像素提高退化圖像的可見(jiàn)性,例如直方圖均衡化(Histogram Equalization,HE)、自適應(yīng)直方圖均衡化(Adaptive Histogram Equalization,AHE)、對(duì)比度限制的自適應(yīng)直方圖均衡化(Contrast Limited Adaptive Histogram Equalization,CLAHE)[15]和灰度世界(Gray World)[16]等方法。然而,基于深度學(xué)習(xí)的方法并不依賴于任何實(shí)驗(yàn)或經(jīng)驗(yàn)參數(shù),它具有計(jì)算效率高的特點(diǎn),例如:Chen等[17]提出的恢復(fù)模型(GAN-based Restoration Scheme,GAN-RS)在特征提取中有很好的效果;Li等[18]提出了一個(gè)密集連接的FCNN(Fourier Convolutional Neural Networks)的UWCNN(Underwater Convolutional Neural Network)模型,這既能保留原始結(jié)構(gòu)和紋理,又能重建清晰的水下圖像輕量級(jí)網(wǎng)絡(luò)。但是,這些方法在分析退化圖像時(shí)都忽略了水下圖像運(yùn)動(dòng)模糊的問(wèn)題。

隨著神經(jīng)網(wǎng)絡(luò)算法的興起,利用深度學(xué)習(xí)的方法改進(jìn)水下圖像處理技術(shù)已成大勢(shì)所趨?？紤]到現(xiàn)有方法的局限性,本文提出基于生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)的水下圖像去模糊技術(shù),先根據(jù)水下圖像顏色像素均值獲得主顏色通道自適應(yīng)恢復(fù)圖像色彩,然后利用含有殘差塊的Deblur GAN網(wǎng)絡(luò)[19-20]去除水下圖像中的模糊現(xiàn)象,使水下圖像處理后能夠達(dá)到良好的視覺(jué)效果。

1 水下圖像顏色恢復(fù)

水下圖像顏色的恢復(fù)階段需要考慮4個(gè)問(wèn)題:①不能過(guò)度補(bǔ)償,使圖像產(chǎn)生紅色的偽影;②注意圖像曝光區(qū)域的顏色是否發(fā)生畸變;③最好能自適應(yīng)地補(bǔ)償被高度衰減的通道;④在顏色校正后不應(yīng)丟失圖中的細(xì)節(jié)特征,以保證一定的圖像質(zhì)量。因此,本文在恢復(fù)水下圖像顏色過(guò)程中,先銳化增強(qiáng)圖像的輪廓和細(xì)節(jié),然后通過(guò)自適應(yīng)的顏色補(bǔ)償恢復(fù)水下圖像顏色,最后采取線性校正的方法消除圖像中像素分布不均勻的情況。

1.1 銳化過(guò)程

高斯濾波[21]有增強(qiáng)輪廓的效果,均值漂移算法[22]有平滑色彩細(xì)節(jié)的作用,因此,將原始的水下圖像I依次進(jìn)行高斯濾波和均值漂移,可得到平滑圖像B:

式中:λ∈{b,g,r},其為圖像中BGR 3個(gè)通道;x為圖像在λ通道時(shí)的像素點(diǎn)。

基于圖像I和B,可獲得銳化后的圖像D:

式中,α為原始的水下圖像I的權(quán)重,用于調(diào)節(jié)圖像D的明暗度。

1.2 自適應(yīng)顏色校正過(guò)程

Ancuti等[23]考慮到水下綠色通道的衰減程度最小,所以將綠色通道固定為圖像的主導(dǎo)通道,并對(duì)剩余通道進(jìn)行補(bǔ)償。然而,這并不能保證所有水下圖像都由綠色通道主導(dǎo),在顏色校正過(guò)程中有局限性。為了達(dá)到自適應(yīng)顏色校正的效果,每個(gè)圖像動(dòng)態(tài)選擇均值最大的通道作為主導(dǎo)通道k:

然后,基于主導(dǎo)k通道對(duì)剩余通道進(jìn)行補(bǔ)償,得到校正后的圖像Ic:

式中,β為用于調(diào)節(jié)圖像D補(bǔ)償程度權(quán)重為補(bǔ)償項(xiàng),1-D(λ,x)為度量值。當(dāng)圖像D在λ通道位于x的像素值D(λ,x)很小時(shí),度量值反而會(huì)增大,此時(shí)像素點(diǎn)x獲得的補(bǔ)償也增大。

1.3 圖像線性拉伸過(guò)程

在顏色恢復(fù)的最后一步,將圖像Ic通過(guò)線性拉伸改善圖像對(duì)比度,得到最終的圖像M:

式中,參數(shù)min和max分別設(shè)置為圖像中前2%和后1%的像素值大小,將圖像中的像素值均勻地分布到[min,max]內(nèi)。

2 基于GAN 去模糊

2.1 GAN 網(wǎng)絡(luò)結(jié)構(gòu)

生成對(duì)抗網(wǎng)絡(luò)(GAN)由生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)兩個(gè)網(wǎng)絡(luò)構(gòu)成。生成器網(wǎng)絡(luò)可以將原始圖像轉(zhuǎn)化為高質(zhì)量的圖像[19],而判別器網(wǎng)絡(luò)用于判別圖像的真?zhèn)涡訹19]。由于GAN 網(wǎng)絡(luò)具有高效的建模能力,因此,本文采用DeblurGAN的方法將模糊圖像重建為清晰圖像,GAN整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。生成器首先經(jīng)過(guò)2個(gè)下采樣,然后進(jìn)入由殘差網(wǎng)絡(luò)思想構(gòu)造的特征增強(qiáng)提取模塊[24],最后通過(guò)2個(gè)上采樣得到最終的結(jié)果圖像。而判別器將生成的圖像和真實(shí)圖像作為輸入,經(jīng)過(guò)4次下采樣后進(jìn)入全連接層獲得判別結(jié)果。

圖1 GAN 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 GAN network structure

2.2 GAN 網(wǎng)絡(luò)細(xì)節(jié)

生成器和判別器的卷積塊如圖2a和圖2b所示。由于生成器網(wǎng)絡(luò)復(fù)雜,其卷積塊的激活函數(shù)選擇簡(jiǎn)單快速的Relu函數(shù),盡可能減少網(wǎng)絡(luò)中繁冗的信息;而簡(jiǎn)單的判別器網(wǎng)絡(luò)則采用Leaky Relu 激活函數(shù)保留僅有的信息[25]。

另外,在生成器中,特征增強(qiáng)模塊通過(guò)殘差思想解決網(wǎng)絡(luò)退化問(wèn)題,其由9個(gè)殘差卷積塊組合而成,能夠保留更多的圖像特征。殘差卷積塊如圖2c所示,可表示為:

圖2 3種卷積塊結(jié)構(gòu)Fig.2 Three convolutional block structures

式中,Z k為生成器第k層網(wǎng)絡(luò)的輸出,Z k下一層輸出Z k+1的則是由直接映射Z k和間接映射ι(Z k)兩部分構(gòu)成。為了避免模型的過(guò)擬合,在間接映射時(shí)將使用Dropout正則化,以減少模型的訓(xùn)練參數(shù)[26]。

3 結(jié)果與分析

本實(shí)驗(yàn)共選取了UIEB數(shù)據(jù)集[27]中的70張?jiān)妓聢D像,并對(duì)其進(jìn)行增強(qiáng)處理。在訓(xùn)練GAN 時(shí),采用了GOPRO_Large數(shù)據(jù)集[28]。實(shí)驗(yàn)所用的計(jì)算機(jī)處理器為AMD R7-4800 H(16G),顯卡為RTX 2060(6G)。

為分析本文方法的有效性,通過(guò)與現(xiàn)有的水下圖像處理方法進(jìn)行對(duì)比,從視覺(jué)顏色、視覺(jué)清晰度、圖像特征提取和圖像質(zhì)量指標(biāo)這4個(gè)維度來(lái)分析實(shí)驗(yàn)結(jié)果。

3.1 視覺(jué)色彩分析

在測(cè)試圖像視覺(jué)顏色效果時(shí),選取5張帶有藍(lán)綠偏色的圖像[27],分別基于CLAHE[15]、Gray World[16]、簡(jiǎn)單白平衡[29]和本文方法進(jìn)行對(duì)比,結(jié)果(圖3)顯示,采用CLAHE和簡(jiǎn)單白平衡方法的圖像依舊有藍(lán)綠偏色(圖3b和圖3d),而采用Gray World方法的圖像整體色調(diào)偏紅(圖3c)。這些方法獲得的圖像都有缺陷,究其原因是沒(méi)有充分考慮到水下圖像顏色分布的特殊性。其中,CLAHE 和簡(jiǎn)單白平衡方法是對(duì)圖像像素的重新分布,僅能夠提高圖像的對(duì)比度,但無(wú)法進(jìn)一步解決圖像偏色的問(wèn)題。Gray World方法假設(shè)圖像RGB 3個(gè)分量有相同均值,這會(huì)過(guò)度補(bǔ)償紅色通道,使得水下圖像呈現(xiàn)出紅色偽影的問(wèn)題。本文提出的方法充分利用水下圖像的特點(diǎn),利用自適應(yīng)補(bǔ)償通道的手段來(lái)校正圖像,能夠較好地恢復(fù)水下圖像顏色,完全消除偏色并且沒(méi)有紅色偽影現(xiàn)象的產(chǎn)生,如圖3d所示。

圖3 基于CLAHE、Gray World、簡(jiǎn)單白平衡和本文方法對(duì)圖像顏色恢復(fù)效果的比較Fig.3 Comparison of image color restoration effects based on CLAHE,Gray World,White Balance and the method of this study

3.2 視覺(jué)清晰度分析

為驗(yàn)證本文方法對(duì)非模糊圖像的處理效果,選取3張無(wú)運(yùn)動(dòng)模糊的水下圖像[27]進(jìn)行實(shí)驗(yàn)(圖4)。觀察圖4a和圖4b中珊瑚的顆粒、船上泥垢的紋路和魚(yú)的鱗片,發(fā)現(xiàn)本文方法得到的圖像清晰度更高,物體的輪廓特征更明顯。但圖4只能說(shuō)明本文方法有提高圖像清晰度的能力,無(wú)法展現(xiàn)其去模糊能力。因此,本文根據(jù)不同的模糊參數(shù)生成7張不同的模糊圖像進(jìn)行實(shí)驗(yàn)(圖5),以證明本文去模糊方法的有效性。與圖5a中的圖像相比,圖5b中圖像的模糊程度更小、清晰度更高。雖然本文方法的去模糊效果隨著模糊長(zhǎng)度的增加而相對(duì)減弱(對(duì)比圖5b中:Ⅱ、Ⅲ、Ⅳ;Ⅴ、Ⅵ、Ⅶ),但具有相同模糊長(zhǎng)度的圖像去模糊效果不會(huì)隨著模糊角度的變化而減弱(對(duì)比圖5a中:Ⅱ、Ⅴ;Ⅲ、Ⅵ;Ⅳ、Ⅶ)。由此可知,本文方法具有穩(wěn)定的去模糊能力,且適用于模糊現(xiàn)象不同的圖像。

圖4 本文方法對(duì)非模糊水下圖像的處理結(jié)果Fig.4 The processing results of the unblurred underwater image

圖5 本文方法對(duì)模糊圖像的處理結(jié)果Fig.5 The processing result of the blurred images

3.3 特征提取分析

SIFT(Scale-Invariant Feature Transform)[21]常被用于描述圖像的局部特征,特征越多,圖像包含的信息就越豐富。為進(jìn)一步驗(yàn)證本文算法對(duì)水下圖像特征的增強(qiáng)效果,采用SIFT 分別對(duì)原圖和基于UDCP[13]、IBLA[14]、DCP[9-10]和本文方法獲得的結(jié)果來(lái)計(jì)算特征點(diǎn)數(shù)量,結(jié)果如圖6所示。由圖6可以看出,經(jīng)過(guò)本文方法處理后的3個(gè)圖像獲得的特征點(diǎn)個(gè)數(shù)都是最多的,即得到的圖像特征最多,更有利于圖像信息的提取。所以,在后續(xù)進(jìn)行目標(biāo)識(shí)別等工作中,本文方法比UDCP、IBLA 和DCP更有優(yōu)越性。

圖6 基于UDCP、IBLA、DCP和本文方法對(duì)圖像特征點(diǎn)個(gè)數(shù)的比較Fig.6 Comparison of the number of image feature points based on UDCP,IBLA,DCP and the method in this paper

3.4 質(zhì)量指標(biāo)分析

為客觀地評(píng)價(jià)本文方法,選取2種指標(biāo)對(duì)水下圖像的質(zhì)量進(jìn)行評(píng)價(jià),即水下圖像質(zhì)量度量(Underwater Image Quality Measures,UIQM)[30]和水下彩色圖像質(zhì)量評(píng)估(Underwater Color Image Quality Evaluation,UCIQE)[31]。其中,UIQM 是從圖像的對(duì)比度、清晰度和色彩三方面評(píng)價(jià)圖像質(zhì)量的指標(biāo),而UCIQE是從圖像的亮度、色度和飽和度三方面評(píng)價(jià)圖像質(zhì)量的指標(biāo)。這2個(gè)指標(biāo)都是無(wú)參考評(píng)價(jià)指標(biāo),即通過(guò)評(píng)價(jià)圖像自身信息來(lái)評(píng)估圖像的優(yōu)劣,UIQM 和UCIQE值越大,說(shuō)明圖像的視覺(jué)效果越好。

選取70張水下圖像,將本文算法與UDCP[13]、IBLA[14]和DCP[9]三種增強(qiáng)方法進(jìn)行對(duì)比,并記錄圖像的質(zhì)量指標(biāo)平均值,如表1 所示。由表1 可知,本文方法相比其他3 種方法得到的UIQM 值最高。但將UCIQE作為圖像質(zhì)量評(píng)價(jià)指標(biāo)時(shí),基于UDCP方法獲得的UCIQE 值最高,本文方法獲得的UCIQE 值僅次于UDCP方法。綜合2個(gè)質(zhì)量評(píng)價(jià)指標(biāo)的結(jié)果,可得本文方法具有顏色保真度高和圖像質(zhì)量好的特點(diǎn)。

表1 基于不同方法的圖像質(zhì)量評(píng)估Table 1 Image quality evaluation based on different methods

4 結(jié)語(yǔ)

針對(duì)部分水下圖像存在運(yùn)動(dòng)模糊的問(wèn)題,本文提出了基于自適應(yīng)顏色校正和GAN 去模糊的水下圖像增強(qiáng)方法。實(shí)驗(yàn)結(jié)果表明,本文所提出的算法無(wú)論是在水下圖像視覺(jué)評(píng)估中還是在質(zhì)量指標(biāo)分析中都表現(xiàn)出很好的效果,具體體現(xiàn)在4個(gè)方面:①校正了水下圖像的偏色,使得圖像具有良好的視覺(jué)效果;②解決了水下圖像對(duì)比度低和運(yùn)動(dòng)模糊的問(wèn)題;③具有良好的泛化能力,可以應(yīng)對(duì)各種模糊的水下圖像;④增強(qiáng)了圖像中的輪廓特征,為后續(xù)的水下目標(biāo)識(shí)別工作奠定了基礎(chǔ)。