劉 毅，田生偉?

(1.新疆大學(xué) 軟件學(xué)院，新疆 烏魯木齊 830091;2.新疆大學(xué) 軟件工程技術(shù)重點(diǎn)實(shí)驗(yàn)室，新疆 烏魯木齊 830000)

0 引言

水下圖像處理在海洋生物研究、水下物體檢測(cè)、水下航行器控制、海洋油氣勘探等諸多領(lǐng)域發(fā)揮著基礎(chǔ)性作用．水下圖像的退化問(wèn)題是制約準(zhǔn)確獲取水下圖像信息的關(guān)鍵因素，改善水下圖像質(zhì)量十分迫切．造成水下圖像退化的主要原因是由水中的懸浮微粒和溶解質(zhì)對(duì)光的吸收和散射作用而產(chǎn)生的光衰減．光的吸收會(huì)導(dǎo)致水下圖像亮度降低，散射則會(huì)引起與距離相關(guān)的加性噪聲，從而降低圖像對(duì)比度，造成圖像模糊．此外，不同波長(zhǎng)的色光在水中的衰減速率存在顯著差異，隨著距離增加，與波長(zhǎng)相關(guān)的衰減會(huì)導(dǎo)致圖像的全局色彩偏移．這使得水下圖像處理成為一項(xiàng)具有挑戰(zhàn)性的任務(wù)．

近年來(lái)，學(xué)者們提出了一系列改進(jìn)水下圖像質(zhì)量的算法．傳統(tǒng)的方法如Ghani等[1]、Fu等[2]、Zhang等[3]直接對(duì)圖像的像素值進(jìn)行修改，顯著增強(qiáng)了圖像的對(duì)比度和細(xì)節(jié)，但忽略了水下圖像的退化程度與場(chǎng)景深度的關(guān)系，對(duì)水下圖像的顏色和場(chǎng)景信息恢復(fù)不夠完全；He等[4]、Wang等[5]雖然考慮了水下場(chǎng)景中光的衰減特點(diǎn)，但并不能靈活應(yīng)對(duì)復(fù)雜的水下環(huán)境．基于深度學(xué)習(xí)的方法如Hou等[6]、Lu等[7]、Li等[8]通過(guò)訓(xùn)練使網(wǎng)絡(luò)自主學(xué)習(xí)水下圖像與增強(qiáng)圖像的映射關(guān)系，取得了較好的效果，為改善水下圖像質(zhì)量提供了思路．為此，本文以Li等[9]方法為基線提出了基于雙注意力門融合網(wǎng)絡(luò)的水下圖像增強(qiáng)方法，該方法采用U型置信度圖生成網(wǎng)絡(luò)（U-structure Confidence Map Generation Network,UCMG-Net）以提高網(wǎng)絡(luò)對(duì)圖像重要特征的提取能力并在特征轉(zhuǎn)換網(wǎng)絡(luò)（Feature Transformation Network,FT-Net）中使用殘差網(wǎng)絡(luò)（Residual Network,Res-Net）[10]以避免特征在傳輸過(guò)程中造成的重要信息丟失．針對(duì)水下圖像存在的局部細(xì)節(jié)模糊、全局色彩偏移等問(wèn)題，該方法采用雙注意力機(jī)制，將空間注意力機(jī)制（Spatial Attention Mechanism,SAM）[11]和通道注意力機(jī)制（Channel Attention Mechanism,CAM）[12]分別加入到U型置信度圖生成網(wǎng)絡(luò)和特征轉(zhuǎn)換網(wǎng)絡(luò)中．通過(guò)消融實(shí)驗(yàn)證明了所提出結(jié)構(gòu)的有效性，并在Zhou等合成數(shù)據(jù)集[13]和真實(shí)水下圖像數(shù)據(jù)集UIEB[9]上試驗(yàn)，從主觀評(píng)價(jià)和客觀指標(biāo)分析兩方面與其它現(xiàn)有方法比較，證明了該方法的優(yōu)越性．

1 相關(guān)工作

單目水下圖像處理方法大致可分為基于圖像恢復(fù)的方法、基于圖像增強(qiáng)的方法和基于深度學(xué)習(xí)的方法三大類別．

基于圖像恢復(fù)的方法利用水下光成像模型建模，將水下圖像恢復(fù)的過(guò)程視為光水下成像的逆過(guò)程，通過(guò)合理地估計(jì)模型參數(shù)來(lái)反推未退化的清晰圖像．水下光成像模型[14]可以表達(dá)為：

其中：IRAW是攝像機(jī)捕獲的原始的水下圖像，J是清晰圖像，A是水下環(huán)境光，A(1?e?ηd)是反向散射光，d是物體到相機(jī)的距離，η是光的衰減系數(shù)．圖像恢復(fù)的過(guò)程就是求J的過(guò)程，如式（2）：

Wang等[5]將自適應(yīng)的衰減曲線先驗(yàn)與水下光的傳播特性相結(jié)合，進(jìn)行水下圖像恢復(fù)．Akkaynak等[15]改進(jìn)了原有的光水下傳播模型，有效地解決了色彩失真、對(duì)比度低等問(wèn)題，取得了很好的效果．Peng等[16]提出了一種利用光吸收和圖像模糊度模型估計(jì)場(chǎng)景深度，然后恢復(fù)圖像的方法．這類方法依賴于水下成像過(guò)程的數(shù)學(xué)建模，建模通常建立在一定的假設(shè)先驗(yàn)基礎(chǔ)上，具有一定的局限性，而且對(duì)參數(shù)估計(jì)的算法復(fù)雜度高．He等[4]基于對(duì)清晰圖像的統(tǒng)計(jì)觀測(cè)，提出了暗通道先驗(yàn)（Dark Channel Prior,DCP）方法．Drews等[17]指出水下圖像的紅色通道信息并不可靠，提出了水下暗通道先驗(yàn)?zāi)Ｐ停║nderwater Dark Channel Prior,UDCP），取得了較好的處理效果．

基于圖像增強(qiáng)的方法通過(guò)直接改變圖像的像素值來(lái)改善圖像的質(zhì)量．Ghani等[1]提出通過(guò)按照Rayleigh分布對(duì)拉伸過(guò)程進(jìn)行調(diào)整來(lái)減少過(guò)增強(qiáng)和欠增強(qiáng)．Iqbal等[18]提出利用拉普拉斯分解將圖像分為高頻和低頻兩部分，然后對(duì)低頻部分作去霧和白平衡（White Balance,WB）處理、對(duì)高頻部分放大以保持邊緣細(xì)節(jié)，最后疊加高頻和低頻部分．Brainard等[19]基于顏色恒常性理論提出了Retinex方法，該方法指出色覺(jué)與綜合反射率有關(guān)而與人眼接受的亮度值無(wú)關(guān)；Zhang等[3]提出了一種擴(kuò)展的多尺度Retinex的水下圖像處理方法，根據(jù)水下圖像CIELAB空間的通道特點(diǎn)，對(duì)不同通道分別采用雙邊濾波和三邊濾波進(jìn)行多尺度Retinex處理（Multi-Scale Retinex,MSR）．Jobson等[20]提出了一種具有顏色恢復(fù)的多尺度Retinex方法（Multi-Scale Retinex with Color Restoration,MSRCR），利用色彩恢復(fù)因子調(diào)節(jié)由于圖像局部區(qū)域?qū)Ρ榷仍鰪?qiáng)而導(dǎo)致顏色失真．劉柯等[21]提出將MSRCR方法與引導(dǎo)濾波處理結(jié)合的圖像增強(qiáng)方法，在提高圖像對(duì)比度的同時(shí)有效地保留了圖像的紋理細(xì)節(jié)和邊緣信息．Sethi等[22]提出物理模型與非物理模型結(jié)合的處理方法，將分別經(jīng)直方圖均衡化和暗通道先驗(yàn)去霧后的水下圖像通過(guò)拉普拉斯金字塔融合產(chǎn)生增強(qiáng)圖像，取得了較好的效果．顏陽(yáng)等[23]提出了一種自適應(yīng)融合的方法，首先對(duì)水下圖像做三級(jí)小波分解，然后對(duì)高頻部分作基于l2范數(shù)的自適應(yīng)融合，從而實(shí)現(xiàn)了自適應(yīng)地修正不同水下環(huán)境所產(chǎn)生的色彩偏移和模糊，但對(duì)低照度的水下圖像處理效果較差．基于圖像增強(qiáng)的方法可以在一定程度上提高圖像的視覺(jué)質(zhì)量，但由于其并未考慮水下成像的光學(xué)特性，容易引入顏色偏差和偽影，也可能加重噪聲．

基于深度學(xué)習(xí)的方法主要有兩種：一種是與物理模型相結(jié)合，估計(jì)物理模型所需要的深度圖、傳輸圖等參數(shù)，進(jìn)而求出清晰圖像；另一種是直接構(gòu)建端到端的訓(xùn)練模型，直接學(xué)習(xí)原始水下圖像與清晰水下圖像之間的映射關(guān)系．Hou等[6]提出一種聯(lián)合殘差學(xué)習(xí)的水下圖像增強(qiáng)網(wǎng)絡(luò)，將先驗(yàn)知識(shí)和數(shù)據(jù)信息整合在一起進(jìn)行處理；這類與傳統(tǒng)模型結(jié)合的深度學(xué)習(xí)方法存在的難點(diǎn)是難以準(zhǔn)確獲取構(gòu)建訓(xùn)練數(shù)據(jù)集依賴的先驗(yàn)知識(shí)．Lu等[7]提出了端到端的基于深度學(xué)習(xí)的圖像增強(qiáng)方法，該方法在圖像的去霧、降噪等方面有很好的效果，但是在圖像顏色增強(qiáng)方面效果不太理想；Li等[8]提出了一種基于生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks,GAN）的無(wú)監(jiān)督水下圖像生成方法，利用空氣中的RGB圖像和對(duì)應(yīng)的深度圖像生成逼真的水下圖像構(gòu)造訓(xùn)練集，但該方法的性能依賴于對(duì)深度圖的準(zhǔn)確獲取．Li等[9]提出了一種門融合網(wǎng)絡(luò)結(jié)構(gòu)方法Water-Net，首先對(duì)原始輸入作預(yù)處理，使用伽瑪校正（Gamma Correct,GC）處理用于提高圖像較暗區(qū)域的可見度、限制對(duì)比度自適應(yīng)直方圖均衡（Contrast Limited Adaptive Histogram Equalization,CLAHE）處理用于提高圖像的對(duì)比度、白平衡處理用于改進(jìn)水下圖像的顏色失真；然后使用置信度圖生成網(wǎng)絡(luò)和特征轉(zhuǎn)換網(wǎng)絡(luò)得到置信度圖和精化特征；最后將置信度圖和精化特征融合得到輸出圖像．該方法有效提高了圖像的對(duì)比度，且產(chǎn)生了較好的顏色恢復(fù)效果，但降噪效果較差，甚至加劇了部分圖像的全局色彩偏移．

針對(duì)水下圖像存在的問(wèn)題和當(dāng)前的研究現(xiàn)狀，本文以Li等[9]提出的Water-Net方法為基線，提出了雙注意力門融合網(wǎng)絡(luò)的水下圖像增強(qiáng)方法，采用U型結(jié)構(gòu)的置信度圖生成網(wǎng)絡(luò)提高模型的降噪能力，引入空間注意力機(jī)制和通道注意力機(jī)制進(jìn)一步提高模型對(duì)圖像細(xì)節(jié)的處理能力和對(duì)圖像全局色彩偏移的調(diào)節(jié)能力．

2 雙注意力門融合網(wǎng)絡(luò)的水下圖像增強(qiáng)方法

本文提出的雙注意力門融合網(wǎng)絡(luò)的水下圖像增強(qiáng)方法的總體結(jié)構(gòu)如圖1所示．首先將U型置信度圖生成網(wǎng)絡(luò)（UCMG-Net）產(chǎn)生的三個(gè)單通道置信度圖分別與三個(gè)經(jīng)過(guò)特征轉(zhuǎn)換網(wǎng)絡(luò)（FT-Net）處理的特征圖按像素位置相乘得到三個(gè)加權(quán)特征圖，然后將三個(gè)加權(quán)特征圖按像素位置相加并作反歸一化得到增強(qiáng)圖像．本節(jié)將詳細(xì)介紹U型置信度圖生成網(wǎng)絡(luò)、特征轉(zhuǎn)換網(wǎng)絡(luò)和損失函數(shù)設(shè)計(jì)．

圖1 本文方法的總體結(jié)構(gòu)

2.1 U型置信度圖生成網(wǎng)絡(luò)

U-Net[24]及其變體在圖像分割、降噪等領(lǐng)域取得了優(yōu)異的性能，這得益于其在上采樣和下采樣過(guò)程中對(duì)高頻信息和低頻信息的獲取能力以及使用跳躍連接對(duì)降采樣和升采樣中各階段信息的整合能力．受此啟發(fā)，本文提出U型置信度圖生成網(wǎng)絡(luò)如圖2所示，將原始水下圖像IRAW及分別對(duì)其做GC預(yù)處理的圖像IGC、做CLAHE預(yù)處理的圖像ICE、做WB預(yù)處理的圖像IWB在通道方向上拼接，并作歸一化處理后輸入網(wǎng)絡(luò)，最終輸出三個(gè)置信度圖．

圖2 U型置信度圖生成網(wǎng)絡(luò)

U型置信度圖生成網(wǎng)絡(luò)通過(guò)下采樣和上采樣過(guò)程來(lái)獲取不同尺度的特征信息，保證了網(wǎng)絡(luò)具有較好的非線性學(xué)習(xí)能力；使用跳躍連接將網(wǎng)絡(luò)中處于同一高度的兩個(gè)特征逐像素相加以整合遠(yuǎn)距離信息、防止由于特征長(zhǎng)距離傳輸造成的重要信息丟失，提高網(wǎng)絡(luò)對(duì)圖像深層特征的處理能力．

本文方法在U型網(wǎng)絡(luò)中使用空間注意力機(jī)制以提高網(wǎng)絡(luò)對(duì)圖像局部細(xì)節(jié)的處理能力．空間注意力機(jī)制[11]將輸入特征圖中的空間信息進(jìn)行變換得到保留了圖像局部關(guān)鍵信息的空間注意力矩陣，然后利用該置信度圖對(duì)輸入特征進(jìn)行增益，進(jìn)而解決圖像細(xì)節(jié)丟失、物體邊緣模糊等問(wèn)題，其表達(dá)式為：

2.2 特征轉(zhuǎn)換網(wǎng)絡(luò)

針對(duì)水下圖像存在的全局色彩偏移問(wèn)題，本文方法在特征轉(zhuǎn)換網(wǎng)絡(luò)中加入了通道注意力機(jī)制[12]．通道注意力機(jī)制顯式地構(gòu)建特征圖各通道之間的依賴關(guān)系，使網(wǎng)絡(luò)能夠自主地對(duì)每個(gè)特征通道賦予增益系數(shù)，從而有效提高網(wǎng)絡(luò)對(duì)圖像全局色彩偏移的調(diào)節(jié)能力．通道注意力機(jī)制定義為：

注意力機(jī)制的引入可能引起特征轉(zhuǎn)換網(wǎng)絡(luò)的過(guò)擬合等消極影響，同時(shí)網(wǎng)絡(luò)深度的加深也會(huì)帶來(lái)網(wǎng)絡(luò)恒等映射變差、特征的重要信息丟失等問(wèn)題，為此，在特征轉(zhuǎn)換網(wǎng)絡(luò)中引入了殘差結(jié)構(gòu)．本文提出的特征轉(zhuǎn)換網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，將IRAW與預(yù)處理圖像IX（IGC或ICE或IWB）在通道方向上拼接，并作歸一化處理后輸入網(wǎng)絡(luò)，最終輸出對(duì)應(yīng)的精化特征．

圖3 特征轉(zhuǎn)換網(wǎng)絡(luò)

2.3 損失函數(shù)

本文使用多個(gè)損失函數(shù)線性組合來(lái)指導(dǎo)網(wǎng)絡(luò)訓(xùn)練，本節(jié)將詳細(xì)介紹?1損失、感知損失、結(jié)構(gòu)相似度損失．

（1）?1損失（?1Loss）．?1、?2損失定義如式（5）、式（6）所示，兩者都可以有效地平滑圖像的均勻區(qū)域，但?2損失對(duì)每一個(gè)誤差項(xiàng)進(jìn)行平方處理，這可能導(dǎo)致過(guò)度懲罰大的誤差，造成對(duì)離子噪聲過(guò)度抑制[25]，因此本文采用?1損失．

（2）感知損失（Perceptual Loss）[26]．感知損失用來(lái)表征增強(qiáng)圖像?I和清晰圖像I經(jīng)過(guò)預(yù)訓(xùn)練的VGG-19網(wǎng)絡(luò)[27]處理后輸出的高層特征之間的“距離”，感知損失越小則圖像的高層特征越接近，其定義為：

其中：N為經(jīng)VGG-19網(wǎng)絡(luò)處理后輸出特征圖的像素個(gè)數(shù)，φ(·)表示經(jīng)VGG-19網(wǎng)絡(luò)的relu5_4層輸出，I為清晰圖像，為增強(qiáng)圖像．

由于?1損失通過(guò)將增強(qiáng)圖像?I與清晰圖像I逐像素比較求均值計(jì)算忽略了圖像的深層結(jié)構(gòu)特征，這會(huì)導(dǎo)致輸出的圖像過(guò)度平滑進(jìn)而產(chǎn)生偽影、模糊等現(xiàn)象，作為彌補(bǔ)，本文在損失函數(shù)中引入感知損失．

（3）平均結(jié)構(gòu)相似度損失（Mean Structural SIMilarity Loss,MSSIM Loss）[28]．SSIM是基于人眼視覺(jué)系統(tǒng)啟發(fā)的圖像度量，分別從亮度、對(duì)比度、結(jié)構(gòu)三方面度量圖像相似性，相似性越高的圖像SSIM值越接近1，反之越接近0，其定義為：

MSSIM利用滑動(dòng)窗口將圖像分塊，采用高斯加權(quán)方法計(jì)算每個(gè)窗口的SSIM值，然后取各窗口SSIM的均值來(lái)度量?jī)煞鶊D像的結(jié)構(gòu)相似性，其定義為：

（4）總體損失函數(shù)．本文方法的總體損失函數(shù)由?1損失、感知損失、MSSIM損失線性組合而成，表示為：

其中：α、β為權(quán)重系數(shù)．

3 實(shí)驗(yàn)與評(píng)價(jià)

為了驗(yàn)證本文方法的有效性，將所提方法在真實(shí)水下圖像數(shù)據(jù)集UIEB[9]和Zhou等合成數(shù)據(jù)集[13]上進(jìn)行試驗(yàn)，并與DCP[4]、IBLA[16]、UDCP[17]、MSRCR[20]、UGAN[29]、Water-Net[9]等主流水下圖像處理方法的處理結(jié)果進(jìn)行主觀評(píng)價(jià)和客觀定量分析，最后對(duì)所提方法作消融實(shí)驗(yàn)分析．

3.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

本文實(shí)驗(yàn)環(huán)境為Ubuntu 18.04，Intel(R)Xeon(R)CPU E5-2678 v3@2.50 GHz，NVIDIA Tesla K80，240.48 GB/s，8.0 GB RAM，CUDA 10.0．訓(xùn)練時(shí)batch_size為8，使用Adam優(yōu)化器，初始學(xué)習(xí)率為0.001，每迭代1 250次學(xué)習(xí)率降低0.1．實(shí)驗(yàn)中α=0.1、β=0.01，GC預(yù)處理時(shí)采用的γ值為0.7．

Li等UIEB數(shù)據(jù)集[9]共包含890對(duì)水下圖像，Zhou等合成數(shù)據(jù)集[13]含有1 449對(duì)水下圖像，在使用時(shí)對(duì)圖像進(jìn)行了裁剪和劃分，具體如表1所示．

表1 實(shí)驗(yàn)中使用的數(shù)據(jù)集信息

3.2 主觀評(píng)價(jià)

為了從主觀上更準(zhǔn)確地評(píng)價(jià)本文方法與其它方法的性能，在Li等UIEB數(shù)據(jù)集[9]和Zhou等合成數(shù)據(jù)集[13]上進(jìn)行了實(shí)驗(yàn)，限于篇幅，本節(jié)在Li等UIEB數(shù)據(jù)集[9]上進(jìn)行實(shí)驗(yàn)，并選取綠色水環(huán)境、藍(lán)色水環(huán)境和色彩較豐富的水環(huán)境這三種具有代表性的水下場(chǎng)景圖片進(jìn)行比較分析，實(shí)驗(yàn)結(jié)果如圖4、圖5和圖6所示．

圖4 綠色水環(huán)境

圖5 藍(lán)色水環(huán)境

圖6 色彩較豐富的水環(huán)境

由圖4可知，對(duì)于綠色水環(huán)境，DCP、UDCP、UGAN、Water-Net方法放大了圖像噪聲，IBLA、MSRCR方法和本文方法則具有較好的清晰度；DCP、UGAN方法加劇了圖像模糊，UDCP、MSRCR方法和本文方法則較好地顯示了圖像細(xì)節(jié)；在對(duì)比度方面，MSRCR方法和本文方法具有更高的對(duì)比度；在色彩還原方面，DCP方法沒(méi)有明顯改善圖像色彩，UDCP和Water-Net方法則加重了顏色偏差，MSRCR方法和本文方法具有更好的色彩還原能力．

由圖5可知，對(duì)于藍(lán)色水環(huán)境，UDCP和Water-Net方法加劇了圖像的藍(lán)色偏移，DCP、IBLA、UGAN方法沒(méi)有明顯改善圖像的藍(lán)色偏移；在對(duì)比度方面，UDCP、MSRCR、UGAN方法和本文方法顯著提高了圖像的對(duì)比度；在細(xì)節(jié)保持方面，MSRCR、UGAN方法與本文方法均較好地展示了圖像細(xì)節(jié)，但本文方法更具優(yōu)勢(shì)；在色彩還原方面，本文方法具有更好的性能．

由圖6可知，對(duì)于色彩較為豐富的水環(huán)境，IBLA方法和本文方法具有更高的清晰度，DCP、MSRCR、UGAN方法沒(méi)有明顯改善圖像清晰度；Water-Net方法則加重了圖像模糊，且引入了紅色失真；IBLA、UDCP方法和本文方法具有較好的色彩還原能力，且本文方法處理后的圖像色彩更為鮮艷；在對(duì)比度方面，本文方法表現(xiàn)更好．

綜上所述，在對(duì)水下圖像處理的視覺(jué)效果上，本文方法與其它方法相比具有明顯優(yōu)勢(shì)．

3.3 客觀評(píng)價(jià)

為了更客觀地評(píng)價(jià)和分析本文算法的性能，采用峰值信噪比（Peak Signal Noise Ratio,PSNR）、結(jié)構(gòu)相似度（Structural SIMilarity,SSIM）[28]兩種全參考圖像質(zhì)量評(píng)價(jià)指標(biāo)和平均梯度（Average Gradient,AG）[30]、水下彩色圖像質(zhì)量評(píng)價(jià)（Underwater Color Image Quality Evaluation,UCIQE）[31]兩種非參考評(píng)價(jià)指標(biāo)分別對(duì)本文方法和其它方法在Li等UIEB數(shù)據(jù)集[9]和Zhou等合成數(shù)據(jù)集[13]上的實(shí)驗(yàn)結(jié)果進(jìn)行比較．

3.3.1 評(píng)價(jià)指標(biāo)

PSNR是圖像的最大信號(hào)量與噪聲強(qiáng)度的比值，PSNR值越大表明圖像所含噪聲越少、清晰度越高，其表達(dá)式為：

SSIM分別從亮度、對(duì)比度、結(jié)構(gòu)三方面度量增強(qiáng)圖像與參考圖像的相似性，其表達(dá)式見式（8），較高的SSIM分?jǐn)?shù)表示增強(qiáng)圖像在亮度、對(duì)比度、結(jié)構(gòu)等方面具有更好的質(zhì)量．

AG反映了圖像在細(xì)節(jié)上的反差以及其紋理變換特征．AG越大，表明圖像的細(xì)節(jié)層次越多、清晰度越高．AG的定義為：

UCIQE是一種通過(guò)線性組合CIELab的色度標(biāo)準(zhǔn)差、亮度對(duì)比度和飽和度均值的圖像質(zhì)量評(píng)價(jià)方法．UCIQE值越大，表明圖像視覺(jué)質(zhì)量越好，其定義為：

其中：σc為色度標(biāo)準(zhǔn)差，conl為亮度對(duì)比度，μs為飽和度均值，c1、c2、c3為常系數(shù)，取c1=0.468 0、c2=0.274 5、c3=0.257 6．

3.3.2 實(shí)驗(yàn)結(jié)果與分析

各方法在Li等真實(shí)水下圖像數(shù)據(jù)集UIEB[9]和Zhou等合成數(shù)據(jù)集[13]上的實(shí)驗(yàn)結(jié)果如圖7所示．

通過(guò)圖7可以直觀地看出，在Li等真實(shí)水下數(shù)據(jù)集UIEB[9]上的各項(xiàng)實(shí)驗(yàn)結(jié)果總體上優(yōu)于在Zhou等合成數(shù)據(jù)集[13]上的結(jié)果，而對(duì)于AG和UCIQE兩個(gè)非參考評(píng)價(jià)指標(biāo)則更為明顯，這與兩數(shù)據(jù)集的圖像質(zhì)量差異有關(guān)，通過(guò)比較兩個(gè)數(shù)據(jù)集上原始水下圖像的各項(xiàng)評(píng)價(jià)指標(biāo)可知，Zhou等合成數(shù)據(jù)集[13]中合成的水下圖像的質(zhì)量顯著低于Li等真實(shí)水下數(shù)據(jù)集UIEB[9]的原始水下圖像．本文方法在兩個(gè)數(shù)據(jù)集上的客觀指標(biāo)值均保持較高水平，表明本文算法具有較好的性能優(yōu)勢(shì)．本文方法在兩個(gè)數(shù)據(jù)集上的平均PSNR值達(dá)到了17.638 dB、16.729 dB，顯著高于Water-Net[9]方法，這得益于本文方法采用的U型網(wǎng)絡(luò)對(duì)圖像噪聲的過(guò)濾作用．本文方法與UGAN方法在兩個(gè)數(shù)據(jù)集上的平均SSIM值和平均AG值接近且均高于其它方法，這表明與其它傳統(tǒng)方法相比UGAN方法采用的生成對(duì)抗網(wǎng)絡(luò)和本文方法采用的U型雙注意力機(jī)制網(wǎng)絡(luò)在處理水下圖像的細(xì)節(jié)、紋理結(jié)構(gòu)和對(duì)比度等信息方面更具優(yōu)勢(shì)．在Zhou等合成數(shù)據(jù)集[13]上，DCP、IBLA、UDCP、UGAN、Water-Net等方法與本文方法具有相近的平均UCIQE值，但在Li等真實(shí)水下數(shù)據(jù)集UIEB[9]上的平均UCIQE值則顯著低于本文方法，這表明本文方法在圖像的視覺(jué)質(zhì)量處理方面較其它方法具有更好的泛化能力．

圖7 在真實(shí)水下圖像數(shù)據(jù)集[9]和合成數(shù)據(jù)集[13]上的實(shí)驗(yàn)結(jié)果

3.4 消融實(shí)驗(yàn)

為了證明本文方法的有效性，在Zhou等合成數(shù)據(jù)集[13]上進(jìn)行實(shí)驗(yàn)，通過(guò)比較在測(cè)試集上的客觀指標(biāo)，討論不同網(wǎng)絡(luò)結(jié)構(gòu)和預(yù)處理方法對(duì)性能的影響．

3.4.1 U型置信度圖生成網(wǎng)絡(luò)消融研究

驗(yàn)證了不同結(jié)構(gòu)的置信度圖生成網(wǎng)絡(luò)對(duì)性能的影響．實(shí)驗(yàn)（I）為原始圖像，實(shí)驗(yàn)（II）為Water-Net方法[9]原始網(wǎng)絡(luò)結(jié)構(gòu)且采用3*3卷積核的置信度圖生成網(wǎng)絡(luò)，實(shí)驗(yàn)（III）為卷積核為3*3的U型置信度圖生成網(wǎng)絡(luò)，實(shí)驗(yàn)（IV）為在（III）基礎(chǔ)上加入了跳躍連接的U型置信度圖生成網(wǎng)絡(luò)．在測(cè)試數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2所示．

表2 采用不同結(jié)構(gòu)的置信度圖生成網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果

通過(guò)表2中實(shí)驗(yàn)（I）、（II）的結(jié)果可知，卷積核為3*3的原始網(wǎng)絡(luò)可以顯著改善圖像質(zhì)量；從實(shí)驗(yàn)（II）、（III）結(jié)果可以看出具有U型結(jié)構(gòu)的置信度圖生成網(wǎng)絡(luò)優(yōu)于不改變特征分辨率的置信度圖生成網(wǎng)絡(luò)，實(shí)驗(yàn)（IV）在U型網(wǎng)絡(luò)結(jié)構(gòu)中加入跳躍連接后，結(jié)果的各項(xiàng)指標(biāo)均有較明顯的提升．由此可以證明采用具有跳躍連接的U型置信度圖生成網(wǎng)絡(luò)的有效性．

3.4.2 注意力機(jī)制消融研究

探究了在網(wǎng)絡(luò)的不同位置使用不同的注意力機(jī)制對(duì)性能的影響．實(shí)驗(yàn)（I）～（XII）分別表示在U型置信度圖生成網(wǎng)絡(luò)或特征轉(zhuǎn)換網(wǎng)絡(luò)加入通道注意力機(jī)制（CAM）或空間注意力機(jī)制（SAM），實(shí)驗(yàn)結(jié)果如表3所示．

表3 在網(wǎng)絡(luò)的不同位置使用注意力機(jī)制的實(shí)驗(yàn)結(jié)果

由表3可知，在網(wǎng)絡(luò)中加入注意力機(jī)制可以有效提高模型的性能．通過(guò)實(shí)驗(yàn)（I）～（IV）可知，（II）、（IV）具有更高的UCIQE值，可見在UCMG-Net中加入CAM有助于提高圖像的視覺(jué)效果，（III）、（IV）則比（II）具有更高的PSNR、SSIM值，可見SAM提高了網(wǎng)絡(luò)對(duì)圖像細(xì)節(jié)和對(duì)比度的處理能力．通過(guò)實(shí)驗(yàn)（V）～（VII）可知，同時(shí)在FT-Net中加入CAM和SAM使模型取得了更好的降噪效果，但對(duì)SSIM和UCIQE指標(biāo)沒(méi)有明顯提升．值得注意的是，實(shí)驗(yàn)（XI）取得了較高的AG和UCIQE值，但PSNR和SSIM值則顯著低于實(shí)驗(yàn)（I）的值，可見同時(shí)在UCMG-Net和FT-Net中使用CAM和SAM未必可以帶來(lái)更好的效果．實(shí)驗(yàn)（XII）在各項(xiàng)評(píng)價(jià)指數(shù)上取得了最優(yōu)的性能，由此證明本文在UCMG-Net和FT-Net中分別加入SAM和CAM的有效性．

3.4.3 圖像預(yù)處理消融研究

探究了使用不同的預(yù)處理圖像作為本文方法的輸入對(duì)性能的影響．實(shí)驗(yàn)（I）～（VIII）分別表示使用原始圖像（IRAW）、GC預(yù)處理圖像（IGC）、CLAHE預(yù)處理圖像（ICE）、WB預(yù)處理圖像（IWB）及其組合作為模型輸入．其中：UCMG-Net輸出的置信度圖數(shù)量與輸入圖像數(shù)量一致；FT-Net分別處理輸入的圖像，最后通過(guò)門融合（Gate Fusion）得到增強(qiáng)圖像．實(shí)驗(yàn)配置及結(jié)果如表4所示．

表4 使用不同預(yù)處理圖像作為輸入的實(shí)驗(yàn)結(jié)果

由表4實(shí)驗(yàn)（I）～（IV）可知，只使用原始水下圖像作為輸入，模型的處理性能處于較低水平，使用GC預(yù)處理圖像作為輸入，SSIM和AG值有較為明顯的提高，而UCIQE值稍有降低，這說(shuō)明GC預(yù)處理提高了模型對(duì)圖像細(xì)節(jié)對(duì)比度的處理能力，同時(shí)也可能加劇了圖像色彩偏移，造成圖像視覺(jué)質(zhì)量下降；實(shí)驗(yàn)（III）則明顯提高了AG和UCIQE值，這表明對(duì)圖像做CLAHE預(yù)處理可以有效改善增強(qiáng)圖像的對(duì)比度和視覺(jué)效果；通過(guò)實(shí)驗(yàn)（IV）可以看出，使用WB預(yù)處理的圖像作為輸入具有較高的UCIQE值，這是由于WB處理有效校正了圖像的色彩偏移．由此可見，對(duì)圖像進(jìn)行GC預(yù)處理、CLAHE預(yù)處理、WB預(yù)處理對(duì)模型性能的有效性．通過(guò)實(shí)驗(yàn)（V）～（VII）可以看出，將原始圖像與預(yù)處理圖像共同作為模型輸入基本上可以進(jìn)一步提高模型性能，這是由于加入原始圖像可以彌補(bǔ)預(yù)處理造成的重要語(yǔ)義信息丟失．實(shí)驗(yàn)（V）的PSNR值低于實(shí)驗(yàn)（II）是由于原始圖像的加入同時(shí)引入了噪聲；實(shí)驗(yàn)（VI）比實(shí)驗(yàn)（III）具有更低的AG值同樣是由于原始圖像本身具有較差的細(xì)節(jié)層次，降低了增強(qiáng)圖像的細(xì)節(jié)可視度．實(shí)驗(yàn)（VIII）則將三個(gè)預(yù)處理圖像與原始圖像共同作為模型輸入，使三種預(yù)處理圖像優(yōu)勢(shì)互補(bǔ)，同時(shí)利用原始圖像解決預(yù)處理可能造成的重要語(yǔ)義信息丟失的問(wèn)題，取得了最優(yōu)的實(shí)驗(yàn)性能，由此證明本文所采取的模型預(yù)處理方法的有效性．

4 結(jié)論

（1）提出了雙注意力門融合網(wǎng)絡(luò)的水下圖像增強(qiáng)方法．該方法采用帶有空間注意力機(jī)制的U型置信度圖生成網(wǎng)絡(luò)產(chǎn)生置信度圖，采用加入了通道注意力機(jī)制和殘差網(wǎng)絡(luò)結(jié)構(gòu)的特征轉(zhuǎn)換網(wǎng)絡(luò)產(chǎn)生優(yōu)化了的特征圖，最后采用門融合的方式得到增強(qiáng)圖像．

（2）在合成數(shù)據(jù)集和真實(shí)水下圖像數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并從主觀評(píng)價(jià)和客觀指標(biāo)分析兩個(gè)方面與其它方法作了對(duì)比．實(shí)驗(yàn)結(jié)果表明，本文方法可以有效地改善圖像色彩失真、提高圖像清晰度和對(duì)比度、糾正圖像全局色偏、增強(qiáng)圖像細(xì)節(jié)，圖像處理效果優(yōu)于其它方法并且具有更好的泛化能力．

（3）就所提出的U型置信度圖生成網(wǎng)絡(luò)結(jié)構(gòu)、雙注意力機(jī)制和圖像預(yù)處理方式等做了消融實(shí)驗(yàn)，證明了所提方法的有效性．