楊愛萍，邵明福，王金斌，王?前，張騰飛

基于視覺質(zhì)量驅(qū)動的無監(jiān)督水下圖像復(fù)原

楊愛萍，邵明福，王金斌，王?前，張騰飛

(天津大學(xué)電氣自動化與信息工程學(xué)院，天津 300072)

基于深度學(xué)習(xí)的水下圖像復(fù)原方法已經(jīng)取得了較大進展，但大多數(shù)是有監(jiān)督學(xué)習(xí)方法，其通常需要大量高質(zhì)量的清晰圖像作為參考，難以應(yīng)用于實際水下場景．因此，從水下圖像降質(zhì)機理和視覺質(zhì)量提升等角度出發(fā)，提出一種基于視覺質(zhì)量驅(qū)動且無需任何參考圖像的無監(jiān)督水下圖像復(fù)原方法．網(wǎng)絡(luò)主體采用基于小波變換的編解碼結(jié)構(gòu)，包含一些對稱的卷積層和反卷積層，學(xué)習(xí)端到端的數(shù)據(jù)映射；為了實現(xiàn)特征復(fù)用，在編解碼對應(yīng)層加入跳層連接，增強特征提取能力；使用小波變換取代傳統(tǒng)上采樣和下采樣，保證特征提取過程中較好地保持圖像細節(jié)；設(shè)計殘差增強模塊，有效緩解梯度消失和過擬合現(xiàn)象．更為重要的是，從圖像視覺質(zhì)量改善角度出發(fā)，設(shè)計一系列無參考損失函數(shù)，包括感知損失、全變差正則化損失、顏色損失、對比度損失等，網(wǎng)絡(luò)可實現(xiàn)由水下降質(zhì)圖像到清晰圖像的直接輸出．實驗結(jié)果表明，所提無監(jiān)督水下圖像復(fù)原方法優(yōu)于部分監(jiān)督式方法，無參考評價指標(biāo)Entropy、UIQM分別取得最高值7.38、3.31，且復(fù)原圖像細節(jié)豐富、色彩自然，具有較強的泛化能力，可較好用于實際水下場景．

水下圖像增強；無監(jiān)督；視覺質(zhì)量驅(qū)動；小波變換

在復(fù)雜的水下環(huán)境中，由于可見光受到水體的吸收和介質(zhì)的散射等影響，水下圖像通常存在對比度低、圖像模糊及色彩失真等降質(zhì)特點，直接影響水下目標(biāo)識別與跟蹤等視覺任務(wù)，因此水下圖像增強與復(fù)原研究具有重要的現(xiàn)實意義．

目前，在水下圖像清晰化方面已經(jīng)提出了很多方法，包括基于圖像增強的方法、基于圖像復(fù)原的方法和基于深度學(xué)習(xí)的方法．基于圖像增強的方法不依賴于水下成像物理模型，主要通過直接調(diào)整圖像的像素值，提高圖像對比度等屬性改善視覺效果[1-5]．基于圖像復(fù)原的方法通過估計模型參數(shù)構(gòu)建水下成?像物理模型，反演其退化過程從而得到清晰的水下圖像[6-9]．

近年來，隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的水下圖像增強方法成為領(lǐng)域內(nèi)新的研究熱點，根據(jù)其在訓(xùn)練過程中使用參考圖像的方式可分為有監(jiān)督學(xué)習(xí)方法、半(弱)監(jiān)督學(xué)習(xí)方法以及無監(jiān)督學(xué)習(xí)方法．有監(jiān)督學(xué)習(xí)方法中，Wang等[10]首次提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的端到端水下圖像增強框架，但該模型參數(shù)量較大，計算成本較高；Naik等[11]提出了一種淺層神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)模型具有較少的參數(shù)，可有效緩解過擬合問題，但圖像細節(jié)特征缺失較為明顯，視覺效果較差；Li等[12]提出了一種基于門控融合的網(wǎng)絡(luò)并構(gòu)建水下圖像增強基準(zhǔn)(underwater image enhancement benchmark，UIEB)數(shù)據(jù)集，該方法將輸入圖像與預(yù)處理圖像相融合，可充分挖掘圖像細節(jié)特征，由于數(shù)據(jù)集規(guī)模較小，模型泛化能力不足；Fabbri等[13]提出基于CycleGAN[14]的水下圖像增強算法(UGAN)，該方法嚴(yán)重依賴合成數(shù)據(jù)集，增強圖像與真實圖像風(fēng)格迥異，實用性較差；Hashisho等[15]提出了基于U-net的水下去噪自編碼器(UDAE)網(wǎng)絡(luò)，但由于采用傳統(tǒng)上、下采樣方式，導(dǎo)致增強圖像紋理細節(jié)缺失、對比度下降、色彩失真等．

由于實際應(yīng)用中難以獲取水下圖像對應(yīng)的參考圖像，因此基于有監(jiān)督學(xué)習(xí)的水下圖像增強方法應(yīng)用嚴(yán)重受限．基于此，有些研究者提出了基于半(弱)監(jiān)督學(xué)習(xí)的水下圖像增強方法．Islam等[16]提出了基于CGAN的快速水下圖像增強模型(FUnIE-GAN)，并構(gòu)建了增強水下視覺感知(enhancing underwater visual perception，EUVP)數(shù)據(jù)集，該模型通過配對和未配對的圖像進行訓(xùn)練，增強了模型的泛化能力，但對于質(zhì)量退化嚴(yán)重和紋理缺乏的水下圖像增強效果不佳．Li等[17]提出一個半監(jiān)督水下圖像校正模型(UCycleGAN)，使用未配對的水下圖像訓(xùn)練，學(xué)習(xí)清晰參考圖像的顏色風(fēng)格，并設(shè)計多種損失函數(shù)保留原始圖像的內(nèi)容和結(jié)構(gòu)．半(弱)監(jiān)督學(xué)習(xí)方法減少了對水下圖像真實數(shù)據(jù)集的依賴，在一定程度上增強了模型的泛化能力．

到目前為止，有少量基于無監(jiān)督學(xué)習(xí)的水下圖像方法出現(xiàn)．Barbosa等[18]提出一種使用一組圖像質(zhì)量指標(biāo)指導(dǎo)優(yōu)化過程的無監(jiān)督學(xué)習(xí)方法，但是，由于該方法基于水下成像物理模型得到復(fù)原圖像，存在先驗估計不準(zhǔn)確的問題，復(fù)原圖像視覺質(zhì)量有待提高，且模型泛化能力較差．為此，本文考慮水下圖像降質(zhì)特點及圖像視覺質(zhì)量改善，提出一種基于視覺質(zhì)量驅(qū)動的無監(jiān)督水下圖像復(fù)原框架，通過構(gòu)建端到端的網(wǎng)絡(luò)直接學(xué)習(xí)水下降質(zhì)圖像到清晰圖像的數(shù)據(jù)映射．網(wǎng)絡(luò)主體采用對稱的編解碼網(wǎng)絡(luò)結(jié)構(gòu)，通過跳層連接，將淺層特征與深層特征相融合，保留更多的紋理細節(jié)特征，實現(xiàn)特征復(fù)用；設(shè)計殘差增強模塊，有效緩解梯度消失現(xiàn)象．從視覺質(zhì)量改善方面設(shè)計感知損失、全變差正則化損失、顏色損失、對比度損失等一系列無參考損失函數(shù)驅(qū)動網(wǎng)絡(luò)訓(xùn)練．所提方法無需任何參考圖像，具有較好的泛化能力，可較好用于實際水下場景．

1?本文方法

本文設(shè)計的無監(jiān)督水下圖像復(fù)原框架如圖1所示．網(wǎng)絡(luò)主體采用編碼器-解碼器結(jié)構(gòu)，編碼器采用離散小波變換(discrete wavelet transform，DWT)代替?zhèn)鹘y(tǒng)的下采樣，可避免傳統(tǒng)池化或卷積操作導(dǎo)致的細節(jié)丟失；為了克服因特征圖通道數(shù)過多而導(dǎo)致的梯度消失和過擬合現(xiàn)象，設(shè)計殘差增強模塊進行特征提取，其包含兩個普通卷積層和一次跳躍連接．解碼器采用逆離散小波變換(inverse discrete wavelet transform，IDWT)代替?zhèn)鹘y(tǒng)的上采樣，可有效保留特征圖細節(jié)和邊緣特征；通過與編碼器對應(yīng)層之間的跳層連接，將淺層特征與深層特征相融合，實現(xiàn)特征復(fù)用．

1.1?編碼器結(jié)構(gòu)

圖1?網(wǎng)絡(luò)結(jié)構(gòu)

對于輸入圖像，通過特征提取層提取特征，學(xué)習(xí)水下圖像到增強圖像之間的非線性映射關(guān)系，得到輸出特征；經(jīng)過３次特征映射后，輸出特征代入殘差增強層，可降低網(wǎng)絡(luò)計算成本，避免梯度消失和過擬合現(xiàn)象，最終得到編碼器輸出特征．

1.2?解碼器結(jié)構(gòu)

解碼器由特征還原層、特征映射層和跳層連接3部分組成．特征還原層使用逆離散小波變換，有效地避免因不均勻重疊[19]而造成的人工效應(yīng)，將輸出通道數(shù)變?yōu)樵瓉淼?/4，特征圖大小變?yōu)樵瓉淼?倍．特征映射層由一個卷積核大小為3×3、步長為1、填充為1的卷積層和一個ReLu激活函數(shù)組成，不同的特征映射層卷積核的數(shù)目不同．跳層連接將解碼器上一級特征還原層的輸出與相對應(yīng)編碼器的特征映射層的輸出通過concat操作融合，實現(xiàn)特征復(fù)用，可表示為

1.3?損失函數(shù)

1.3.1?內(nèi)容感知損失函數(shù)

從改善人類視覺感知角度出發(fā)，防止生成圖像與輸入圖像在語義上產(chǎn)生較大差異，設(shè)計感知損失衡量增強圖像和水下圖像之間的語義差異．具體地，利用VGG-16網(wǎng)絡(luò)的conv2-2、conv3-3、conv4-2 3個卷積層，分別提取增強圖像與輸入圖像的特征，通過縮小增強圖像與輸入圖像特征之間的歐氏距離，使得增強圖像與輸入圖像在語義特征上保持一致，具體可表?示為

1.3.2?全變差正則化損失函數(shù)

全變差正則化損失函數(shù)普遍用于圖像復(fù)原[20]、超分辨率重建[21]等應(yīng)用中．由于無監(jiān)督學(xué)習(xí)會產(chǎn)生隨機噪聲，易造成突兀的直觀感受．通過設(shè)計全變差正則化損失函數(shù)，降低相鄰像素點之間的差異，減少訓(xùn)練過程中產(chǎn)生的隨機噪聲，增加圖像的平滑度，改善視覺效果．具體可表示為

1.3.3?顏色損失函數(shù)

由于無監(jiān)督學(xué)習(xí)方法無法通過參考圖像學(xué)習(xí)真實水下圖像的顏色信息，根據(jù)灰度世界假設(shè)算法[2]設(shè)計顏色損失函數(shù)，消除水下圖像存在的色偏，改善視覺效果．該損失函數(shù)可以使圖像各通道像素平均值趨近于全局像素平均值，實現(xiàn)顏色校正，同時增大各通道像素值之間的差異，防止像素值均勻化，具體可表示為

1.3.4?對比度損失函數(shù)

設(shè)計對比度損失函數(shù)，增大各通道像素值與其平均值之間的差異，進而增強水下圖像的對比度，提升視覺質(zhì)量，表示為

綜上，設(shè)計總損失函數(shù)為

2?實驗結(jié)果與分析

2.1?數(shù)據(jù)集及實驗設(shè)置

2.2?實驗與結(jié)果分析

為了驗證本文算法的有效性，從客觀評價指標(biāo)和主觀視覺效果兩個方面與近年來先進的水下圖像增強算法進行對比．對比的算法包括傳統(tǒng)方法CLAHE[1]、GW[2]、UDCP[7]和基于深度學(xué)習(xí)的方法UGAN[13]、UCycleGAN[17]、FUnIE-GAN[16]、Water-Net[12]、UDAE[15]．

采用信息熵(Entropy)、UCIQE、UIQM 3種無參考客觀評價指標(biāo)對增強效果進行定量分析．信息熵表示圖像包含信息量的大小，其值越大代表圖像包含信息量越多．UCIQE利用圖像色彩濃度、飽和度及對比度的線性組合來量化水下圖像的非均勻色差、模糊和對比度，其值越高，增強圖像的總體質(zhì)量越高. UIQM由UICM(色彩測量指標(biāo))、UIConM(對比度測量指標(biāo))、UISM(清晰度測量指標(biāo))3部分組成，其值越大，表示圖像的顏色平衡度、對比度、清晰度越佳．本文從測試數(shù)據(jù)集中隨機選取100張圖片作為測試輸入，計算增強圖像的客觀指標(biāo)，并取平均值作為最終的結(jié)果，表1給出了各增強方法的評價結(jié)果．

表1?無參考評價指標(biāo)比較

Tab.1?Comparison among unsupervised evaluation indicators

注：帶*數(shù)值表示該結(jié)果取得對應(yīng)指標(biāo)的最高值.

由表1可以看出，本文方法在Entropy、UISM、UIConM以及UIQM等指標(biāo)均取得了最好的結(jié)果．Entropy指標(biāo)取得最高值，說明本文方法相比于其他方法保留了最多的圖像信息；UIQM指標(biāo)取得最高值，說明本文方法增強圖像視覺效果要優(yōu)于其他方法．其中，UISM、UIConM分量指標(biāo)取得最高值，說明本文方法在改善圖像清晰度、提高對比度方面取得最顯著效果；UICM分量主要通過計算圖像通道的均值和方差評判圖像色彩質(zhì)量，而傳統(tǒng)方法如CLAHE、GW等通過調(diào)整圖像像素強度實現(xiàn)圖像增強，通常具有較高的UICM值．而基于深度學(xué)習(xí)的方法在訓(xùn)練過程中，由于多次卷積和上、下采樣操作，丟失了大量的像素信息，導(dǎo)致基于深度學(xué)習(xí)的方法UICM分量指標(biāo)普遍低于傳統(tǒng)方法．相對而言，由于本文算法采用小波變換代替?zhèn)鹘y(tǒng)的卷積和上、下采樣操作，訓(xùn)練過程損失的信息較少，因此本文方法在深度學(xué)習(xí)方法中取得最高的UICM值4.92．FUnIE-GAN方法的UCIQE指標(biāo)取得最高值，但是該方法使用配對的和未配對的數(shù)據(jù)集進行訓(xùn)練，與本文方法相比，泛化能力不足．總體而言，本文方法有效地實現(xiàn)了水下圖像顏色、對比度、清晰度改善，同時具有良好的模型泛化能力．

進一步，為了更加直觀地說明本文方法的性能，在ImageNet、UIEB、RUIE測試數(shù)據(jù)集中分別選取3張圖像與主流方法進行主觀視覺效果對比，各種方法增強效果如圖3～圖5所示．

圖3?ImageNet數(shù)據(jù)集上對比結(jié)果

圖4?UIEB數(shù)據(jù)集上對比結(jié)果

圖5?RUIE數(shù)據(jù)集上對比結(jié)果

基于CLAHE方法的增強圖像銳度過高，改變了原始圖像的紋理信息(如圖3(b)第1張圖海底生物和圖4(b)第2張圖)．GW方法增強得到的水下圖像過度補償紅通道，視覺效果差(如圖3(c)第2張圖，圖4(c)第1張圖，圖5(c)第1、3張圖像整體顏色偏向紅色)．UDCP方法由于不考慮紅通道信息，導(dǎo)致增強圖像偏色嚴(yán)重(如圖4(d)第2張圖像整體色彩偏藍，第3張圖像偏綠)．

基于深度學(xué)習(xí)的方法中，UCycleGAN方法由于受到合成數(shù)據(jù)集風(fēng)格的限制，增強圖像風(fēng)格與真實圖像風(fēng)格產(chǎn)生較大差異，且會導(dǎo)致細節(jié)模糊(如圖3(e)中的第1張圖像水草紋理模糊，圖5(e)中第2張圖像整體顏色風(fēng)格改變)．UGAN、FUnIE-GAN和Water-Net是基于有監(jiān)督學(xué)習(xí)的方法，基于UGAN方法的增強圖像存在對比度較低和細節(jié)模糊的現(xiàn)象(如圖4(f)第3張圖像整體對比度低，海底物體邊緣特征不明顯)．FUnIE-GAN方法不能有效解決色偏問題(如圖3(g)中的第3張圖和圖4(g)第2張圖整體色調(diào)偏紅)．Water-Net方法與本文方法皆可有效增強圖像視覺效果，恢復(fù)圖像細節(jié)．通過圖3和圖4特征對比發(fā)現(xiàn)，本文方法相比Water-Net方法，其圖像對比度增強效果顯著，圖像細節(jié)特征增強明顯；圖4(j)第2張圖像和圖5(j)第1張圖像顯示，本文方法相比Water-Net方法亮度更高，視覺效果更好；圖5(j)第2張圖像表明，本文方法恢復(fù)圖像顏色更自然．UDAE方法采用傳統(tǒng)的上、下采樣方式，復(fù)原圖像細節(jié)損失嚴(yán)重(如圖3(i)中的第1張圖，圖4(i)第3張圖和圖5(i)的第1張圖存在細節(jié)模糊現(xiàn)象)．綜上所述，本文方法增強了圖像對比度，完善了圖像細節(jié)，改善了色偏，圖像亮度得到較大提升，視覺效果理想．

為了進一步驗證各方法的性能，本文對增強后的水下圖像進行邊緣檢測．采用Canny算子[23]對增強圖像進行邊緣檢測，各方法檢測結(jié)果如圖6所示．由圖6可知，CLAHE方法增強圖像銳度過高，海底的水草和生物表面的細小紋理過于密集；GW、UDCP以及Water-Net方法保留圖像邊緣信息能力較差，圖像細節(jié)較少；UCycleGAN、UGAN以及FUnIE-GAN可以有效保持圖像邊緣，但與本文方法相比，缺少局部細節(jié)紋理．本文方法復(fù)原的水下圖像邊緣細節(jié)清晰，取得理想的邊緣檢測效果．

圖6?不同方法的邊緣檢測

2.3?消融實驗

表2?消融實驗的無參考評價指標(biāo)

Tab.2?Unsupervised evaluation indicators of ablation experiments

注：帶*數(shù)值表示該結(jié)果取得對應(yīng)指標(biāo)的最高值.

圖7?消融實驗

3?結(jié)?語

本文提出一種基于視覺質(zhì)量驅(qū)動的無監(jiān)督水下圖像復(fù)原框架．網(wǎng)絡(luò)主體采用編解碼結(jié)構(gòu)，通過跳層連接將淺層特征與深層特征融合，實現(xiàn)特征復(fù)用；設(shè)計殘差增強模塊，有效防止梯度消失和過擬合現(xiàn)象的產(chǎn)生；使用小波變換替代傳統(tǒng)的上、下采樣，保留更多的細節(jié)特征和邊緣信息．基于EUVP、UIEB和RUIE數(shù)據(jù)集的實驗結(jié)果表明，本文方法泛化能力強，且無需任何參考圖像，復(fù)原圖像主觀效果優(yōu)于部分有監(jiān)督復(fù)原方法，可實際應(yīng)用于水下場景；基于損失函數(shù)的消融實驗結(jié)果表明，從改善視覺質(zhì)量角度出發(fā)所設(shè)計的損失函數(shù)，有效恢復(fù)了水下圖像細節(jié)特征，改善了顏色、提高了對比度和清晰度；基于小波變換的消融實驗結(jié)果表明，本文方法的Entropy、UCIQE和UIQM指標(biāo)分別提高了3.0%、4.7%和8.5%，充分驗證了小波變換的有效性.

未來工作中，將進一步改進基于視覺質(zhì)量改善角度設(shè)計的無參考損失函數(shù)，增強網(wǎng)絡(luò)的泛化能力，提高網(wǎng)絡(luò)的性能．

［1］Ghani A S A，Isa N A M. Enhancement of low quality underwater image through integrated global and local contrast correction[J]. Applied Soft Computing，2015，37：332-344.

［2］Buchsbaum G. A spatial processor model for object colour perception[J]. Journal of the Franklin Institute，1980，310(1)：1-26.

［3］Fu X，Zhuang P，Huang Y，et al. A retinex-based enhancing approach for single underwater image[C]//2014 IEEE International Conference on Image Processing(ICIP). Paris，F(xiàn)rance，2014：4572-4576.

［4］Li S，Li H，Xin G. Underwater image enhancement algorithm based on improved retinex method[J]. Comput Sci Appl，2018，8：9-15.

［5］Ancuti C O，Ancuti C，de Vleeschouwer C，et al. Color balance and fusion for underwater image enhancement[J]. IEEE Transactions on Image Processing (TIP)，2018，27(1)：379-393.

［6］He K，Sun J，Tang X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI)，2010，33(12)：2341-2353.

［7］Drews P L J，Nascimento E R，Botelho S S C，et al. Underwater depth estimation and image restoration based on single images[J]. IEEE Computer Graphics and Applications，2016，36(2)：24-35.

［8］Peng Y T，Cao K，Cosman P C. Generalization of the dark channel prior for single image restoration[J]. IEEE Transactions on Image Processing(TIP)，2018，27(6)：2856-2868.

［9］楊愛萍，楊炳旺，曲?暢，等. 基于透射率融合與優(yōu)化的水下圖像復(fù)原[J]. 天津大學(xué)學(xué)報(自然科學(xué)與工程技術(shù)版)，2019，52(10)：1033-1044.

Yang Aiping，Yang Bingwang，Qu Chang，et al. Transmission fusion and optimization for single underwater image restoration[J]. Journal of Tianjin University(Science and Technology)，2019，52(10)：1033-1044(in Chinese).

［10］Wang Y，Zhang J，Cao Y，et al. A deep CNN method for underwater image enhancement[C]//2017 IEEE International Conference on Image Processing(ICIP). Beijing，China，2017：1382-1386.

［11］Naik A，Swarnakar A，Mittal K. Shallow-UWnet：Compressed model for underwater image enhancement(student abstract)[C]//Proceedings of the AAAI Conference on Artificial Intelligence. California，USA，2021：15853-15854.

［12］Li C，Guo C，Ren W，et al. An underwater image enhancement benchmark dataset and beyond[J]. IEEE Transactions on Image Processing(TIP)，2020，29：4376-4389.

［13］Fabbri C，Islam M J，Sattar J. Enhancing underwater imagery using generative adversarial networks[C]//2018 IEEE International Conference on Robotics and Automation(ICRA). Brisbane，Australia，2018：7159-7165.

［14］Zhu J Y，Park T，Isola P，et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of the IEEE International Conference on Computer Vision(ICCV). Venice，Italy，2017：2223-2232.

［15］Hashisho Y，Albadawi M，Krause T，et al. Underwater color restoration using U-Net denoising autoencoder [C]//2019 11th International Symposium on Image and Signal Processing and Analysis(ISPA). Dubrovnik，Croatia，2019：117-122.

［16］Islam M J，Xia Y，Sattar J. Fast underwater image enhancement for improved visual perception[J]. IEEE Robotics and Automation Letters(RAL)，2020，5(2)：3227-3234.

［17］Li C，Guo J，Guo C. Emerging from water：Underwater image color correction based on weakly supervised color transfer[J]. IEEE Signal Processing Letters(SPL)，2018，25(3)：323-327.

［18］Barbosa W V，Amaral H G B，Rocha T L，et al. Visual-quality-driven learning for underwater vision enhancement[C]//2018 25th IEEE International Conference on Image Processing(ICIP). Athens，Greece，2018：3933-3937.

［19］Odena A，Dumoulin V，Olah C. Deconvolution and checkerboard artifacts[EB/OL]. http：//distill. pub/2016/ deconv-checkerboard，2016-10-17.

［20］Mahendran A，Vedaldi A. Understanding deep image representations by inverting them[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Boston，USA，2015：5188-5196.

［21］Aly H A，Dubois E. Image up-sampling using total-variation regularization with a new observation model [J]. IEEE Transactions on Image Processing(TIP)，2005，14(10)：1647-1659.

［22］Liu R，F(xiàn)an X，Zhu M，et al. Real-world underwater enhancement：Challenges，benchmarks，and solutions under natural light[J]. IEEE Transactions on Circuits and Systems for Video Technology(TCSVT)，2020，30(12)：4861-4875.

［23］Canny J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI)，1986(6)：679-698.

UnsupervisedUnderwater Image Restoration Based on Visual-Quality-Driven

Yang Aiping，Shao Mingfu，Wang Jinbin，Wang Qian，Zhang Tengfei

(School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)

Deep learning has achieved quite promising results in underwater image restoration. However，most of them are supervised learning methods，which typically require massive high-quality images as reference images and cannot be applied to practical underwater settings. Therefore，we proposed a visual-quality-driven unsupervised underwater image restoration method from the perspectives of underwater image degradation mechanism and visual quality improvement. The backbone network adopts the encoder-decoder structure based on a wavelet transform and learns an end-to-end data map，which includes some symmetric convolutional and deconvolutional layers. To enable feature reuse，a skip connection was added to the corresponding layers of the codec to enhance the feature extraction capability. We used wavelet transform to replace traditional up-sampling and down-sampling to preserve more details in the feature extraction process. In addition，the residual enhancement module was designed to effectively relieve gradient disappearance and overfitting phenomena. More importantly，we designed a series of no-reference loss functions，including perceptual loss，total variation regularization loss，color loss，and contrast loss，to restore the visual quality of underwater images. The network can realize the direct output from the degraded images to sharp ones. The experimental results show that the proposed unsupervised underwater image restoration method outperforms partially supervised methods. The no-reference evaluation indices Entropy and UIQM achieve the highest values of 7.38 and 3.31，respectively，and the restored image has rich details and natural colors. It has a strong generalization capability and can be better used in real underwater scenarios.

underwater image enhancement；unsupervised；visual-quality-driven；wavelet transform

10.11784/tdxbz202206039

TN911.73

A

0493-2137(2023)11-1217-09

2022-06-30；

2022-11-05.

楊愛萍（1977—??），女，博士，副教授.Email：m_bigm@tju.edu.cn

楊愛萍，yangaiping@tju.edu.cn.

國家自然科學(xué)基金資助項目(62071323，62176178).

the National Natural Science Foundation of China(No.62071323，No.62176178).

(責(zé)任編輯：孫立華)