鄧 晶

（福州大學(xué) 先進(jìn)制造學(xué)院，福建 泉州 362200）

0 引 言

探索和利用海洋，已經(jīng)成為各個(gè)國家的戰(zhàn)略焦點(diǎn)。近年來，水下視覺在海洋軍事、海洋科學(xué)研究和工業(yè)領(lǐng)域發(fā)揮著越來越重要的作用。目前，有很多設(shè)備可用于水下作業(yè)，如自主水下航行器和水下機(jī)器人等。然而，由于光吸收、散射和水質(zhì)的影響，水下設(shè)備拍攝獲得的水下圖像通常存在顏色失真、模糊不清、細(xì)節(jié)丟失等問題。水下圖像增強(qiáng)算法是水下設(shè)備完成水下任務(wù)的重要支撐，對提高水下作業(yè)效率至關(guān)重要。傳統(tǒng)的水下圖像增強(qiáng)通常采用無模型的增強(qiáng)方法[1]和基于物理模型的增強(qiáng)方法[2]。基于無模型方法多采用圖像像素調(diào)整來提高圖像的視覺效果，然而它們忽略了水下圖像成像機(jī)制，不能適用于水下環(huán)境。基于物理模型的增強(qiáng)方法依賴于模型的先驗(yàn)方法，然而，由于水下環(huán)境的復(fù)雜性，單個(gè)物理模型難以反映真實(shí)水下環(huán)境，參數(shù)估計(jì)具有挑戰(zhàn)性。得益于神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性建模能力，深度學(xué)習(xí)在水下圖像增強(qiáng)領(lǐng)域做出了突出貢獻(xiàn)[3]，是一個(gè)值得探索的方向。

1 水下圖像增強(qiáng)存在的問題及應(yīng)用

由于水對光具有吸收作用，光在水中傳播會發(fā)生能量的衰減。通常情況下，波長與衰減速度成正比。與藍(lán)色和綠色光相比，紅色和橙色波長的光被水更快地吸收，因此水下圖像通常以藍(lán)綠色調(diào)出現(xiàn)。如圖1所示，紅光在水下5 m已經(jīng)完全被吸收。光在水中會發(fā)生散射效應(yīng)，這將導(dǎo)致一部分光不能被成像設(shè)備所收集。此外，水中的懸浮粒子也容易發(fā)生散射。研究水下圖像增強(qiáng)仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，對于水下目標(biāo)識別、提高水下目標(biāo)檢測精度等具有重大意義。

圖1 水下光吸收示意圖

常見的水下成像模型源自JAFFE[4]模型，如下所示：

式中：Ic和Jc分別是觀察到的要恢復(fù)的退化圖像和清晰圖像，c表示顏色通道，Ac是環(huán)境光，d(x)表示場景深度，βc表示散射系數(shù)。其中環(huán)境光Ac和傳輸參數(shù)e-βcd(x)未知。依賴于波長的衰減會導(dǎo)致顏色失真，顏色失真會隨著對象距離的增加而增加，而散射會導(dǎo)致場景上依賴于距離的附加分量，從而降低對比度。

水下圖像增強(qiáng)是提高水下圖像視覺質(zhì)量不可或缺的一步。根據(jù)水下圖像增強(qiáng)方法是否涉及深度學(xué)習(xí)技術(shù)，可以將水下圖像增強(qiáng)分為傳統(tǒng)的水下圖像增強(qiáng)和基于深度學(xué)習(xí)的水下圖像增強(qiáng)兩類，具體分類如圖2所示。

圖2 水下圖像增強(qiáng)分類圖

2 傳統(tǒng)的水下圖像增強(qiáng)

根據(jù)是否使用水下圖像成像模型，傳統(tǒng)的水下圖像增強(qiáng)模型分為非物理模型增強(qiáng)和基于物理模型增強(qiáng)兩類。

2.1 非物理模型增強(qiáng)

非物理模型的方法無需建立水下圖像成像模型，采用傳統(tǒng)的圖像增強(qiáng)方法，通過調(diào)整圖像的像素值來提高圖像質(zhì)量，如直方圖均衡化[5]、白平衡[6]以及像素分布調(diào)整[7]。ANCUTI等人[8]對原始水下圖像進(jìn)行預(yù)處理，得到經(jīng)過顏色校正和對比度增強(qiáng)的水下圖像，然后提出了一種多尺度融合策略，以獲得高質(zhì)量的水下圖像。隨后，ANCUTI等人[9]進(jìn)一步改進(jìn)了基于融合的水下圖像增強(qiáng)策略，提出將基于多尺度融合策略的白平衡算法得到的兩個(gè)版本進(jìn)行融合。此外，文獻(xiàn)[10]、文獻(xiàn)[11]基于Retinex理論，F(xiàn)U等人[10]提出了一種基于Retinex理論的水下圖像增強(qiáng)方法，該方法包括顏色校正、層分解和增強(qiáng)等操作，ZHANG等人[11]提出了一種基于視網(wǎng)膜的擴(kuò)展多尺度UIE方法，在CIELAB顏色空間中處理水下圖像。ANCUTI等人[12]在2019年提出了一種顏色通道補(bǔ)償（3C）方法，根據(jù)對立的顏色通道重建丟失的通道，有效地增強(qiáng)了顏色的外觀。最近，ZHANG等人[13]提出了通過最小顏色損失和局部自適應(yīng)對比度增強(qiáng)的水下圖像增強(qiáng)方法，根據(jù)最小顏色損失原則結(jié)合融合策略調(diào)整圖像的顏色和細(xì)節(jié)，引入色彩平衡策略來平衡CIELAB色彩空間中的顏色差異，增強(qiáng)的結(jié)果具有鮮艷的色彩、改進(jìn)的對比度和增強(qiáng)的細(xì)節(jié)。盡管這些無物理模型的方法可以在一定程度上提高視覺質(zhì)量，但它們忽略了水下成像機(jī)制，不能適應(yīng)水下環(huán)境，因此往往會產(chǎn)生過度/不足增強(qiáng)的結(jié)果或引入人工色彩。

2.2 基于物理模型增強(qiáng)

基于物理模型的方法將水下圖像增強(qiáng)視為圖像退化的逆問題。這些方法通常先建立一個(gè)物理的水下圖像退化模型，然后根據(jù)各種先驗(yàn)假設(shè)估計(jì)未知的環(huán)境光模型參數(shù)和傳輸參數(shù)。最后，通過反演這一退化過程，可以得到高質(zhì)量的圖像。這些先驗(yàn)包括紅色通道先驗(yàn)[14]、水下暗通道先驗(yàn)[15]、最小信息先驗(yàn)[16]、模糊先驗(yàn)[17]、一般暗通道先驗(yàn)[18]等。PENG和COSMAN[17]提出了一種基于圖像模糊和光吸收的水下圖像深度估計(jì)算法。根據(jù)估計(jì)的深度，基于水下成像模型可以恢復(fù)清晰的水下圖像。PENG[18]進(jìn)一步提出了在處理惡劣天氣下拍攝的不同圖像之前對暗通道的概化。WANG等人[19]開發(fā)了一種最大衰減識別方法（MAI），僅利用紅色通道信息生成深度圖和大氣光。SONGET等人[20]提出了一個(gè)統(tǒng)計(jì)模型，利用背景光和傳輸圖的優(yōu)化提高水下圖像的顏色和對比度。上述基于物理模型的方法往往需要先驗(yàn)知識，而圖像增強(qiáng)的質(zhì)量取決于參數(shù)估計(jì)的準(zhǔn)確性。然而，由于水下環(huán)境的復(fù)雜性，單個(gè)物理模型難以反映真實(shí)水下環(huán)境，參數(shù)估計(jì)具有挑戰(zhàn)性。

3 基于深度學(xué)習(xí)增強(qiáng)

最近，通過學(xué)習(xí)大量成對數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)對復(fù)雜非線性系統(tǒng)的端到端建模，從而提高感知圖像的質(zhì)量。目前，深度學(xué)習(xí)技術(shù)如卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）和生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）已在水下圖像增強(qiáng)領(lǐng)域發(fā)揮了重要的作用，各種基于深度學(xué)習(xí)的增強(qiáng)網(wǎng)絡(luò)被提出。

3.1 基于卷積神經(jīng)網(wǎng)絡(luò)的水下圖像增強(qiáng)

UIE-Net[22]由兩個(gè)完全卷積神經(jīng)網(wǎng)絡(luò)組成，用于學(xué)習(xí)顏色校正和去除霧霾任務(wù)，代表了使用CNN增強(qiáng)水下圖像的開創(chuàng)性工作。CAO等人[23]分別提出了5層卷積神經(jīng)網(wǎng)絡(luò)和多尺度深度網(wǎng)絡(luò)來估計(jì)背景光和場景深度。HOU等人[24]提出了一種水下殘差網(wǎng)絡(luò)來聯(lián)合優(yōu)化傳輸和校正顏色。2019年，LI等人[25]提出根據(jù)不同的水體類型模擬真實(shí)的水下圖像，建立水下成像物理模型，利用10種合成的水下圖像，訓(xùn)練10種水下圖像增強(qiáng)（UWCNN）模型。每個(gè)UWCNN模型對對應(yīng)類型的水下圖像進(jìn)行增強(qiáng)。之后，2020年，LI等人[26]收集了一個(gè)真實(shí)的水下圖像配對數(shù)據(jù)集用于訓(xùn)練深度網(wǎng)絡(luò)，并提出了一種門控融合網(wǎng)絡(luò)Water-Net來增強(qiáng)水下圖像。該門控深度模型需要三幅預(yù)處理圖像作為門控網(wǎng)絡(luò)的輸入，包括Gamma校正圖像、對比度改進(jìn)圖像和白平衡圖像。最近，LI等人[27]又提出一種多顏色空間編碼網(wǎng)絡(luò)，通過將不同顏色空間的特征融合到一個(gè)統(tǒng)一的結(jié)構(gòu)中，豐富了特征表示的多樣性，同時(shí)設(shè)計(jì)及一個(gè)介質(zhì)傳輸?shù)慕獯a器網(wǎng)絡(luò)，以增強(qiáng)網(wǎng)絡(luò)對質(zhì)量退化區(qū)域的響應(yīng)，有效地提高了水下圖像的視覺質(zhì)量。

3.2 基于生成對抗網(wǎng)絡(luò)的水下圖像增強(qiáng)

LI等人設(shè)計(jì)的WaterGAN[28]是最早的基于GAN的水下圖像增強(qiáng)嘗試，利用WaterGAN和圖像形成模型來合成退化/干凈的圖像進(jìn)行監(jiān)督學(xué)習(xí)，包括深度估計(jì)模塊和顏色校正模塊。在循環(huán)一致對抗網(wǎng)絡(luò)CycleGAN[29]的啟發(fā)下，為了避免對成對訓(xùn)練數(shù)據(jù)的要求，LI在文獻(xiàn)[30]中提出了一種弱監(jiān)督的水下色彩校正網(wǎng)絡(luò)（UCycleGAN）。GUO等人[31]使用多尺度密集生成對抗網(wǎng)絡(luò)（MDGAN），利用密集連接、殘差學(xué)習(xí)來提高水下圖像增強(qiáng)的魯棒性。考慮到運(yùn)行效率，ISLAM等人[32]提出了一種基于條件GAN的實(shí)時(shí)水下增強(qiáng)方法，稱為FUnIEGAN。為了使增強(qiáng)的圖像有利于檢測，CHEN等人[33]提出了兩種感知增強(qiáng)模型，每一種都使用帶有檢測感知器的深度增強(qiáng)模型，檢測感知器以梯度的形式提供反饋信息，以指導(dǎo)增強(qiáng)模型生成視覺上令人愉悅或檢測有利的圖像塊級別。

4 總結(jié)與展望

非物理模型的水下圖像增強(qiáng)采用傳統(tǒng)的圖像增強(qiáng)方法，主要通過調(diào)整圖像像素達(dá)到提高圖像質(zhì)量的作用。但是由于沒有考慮水下環(huán)境，不能適用于水下圖像增強(qiáng)?；谖锢砟Ｐ偷乃聢D像增強(qiáng)利用水下圖像成像模型，根據(jù)先驗(yàn)假設(shè)估計(jì)未知參數(shù)，然而參數(shù)估計(jì)具有挑戰(zhàn)性，單個(gè)物理模型不能反映水下環(huán)境的復(fù)雜性。隨著深度學(xué)習(xí)的迅速發(fā)展，其在解決水下圖像增強(qiáng)方面已經(jīng)取得了很大的成果。但是由于水下圖像受到水體溫度、類型及地理位置的影響，目前的水下圖像增強(qiáng)算法大多對于訓(xùn)練圖像具有選擇性?；谏疃葘W(xué)習(xí)的增強(qiáng)方法通過學(xué)習(xí)成對數(shù)據(jù)實(shí)現(xiàn)端到端的建模，訓(xùn)練的效果嚴(yán)重依賴于給定的訓(xùn)練數(shù)據(jù)。因此，通過半監(jiān)督、自監(jiān)督等深度學(xué)習(xí)的方法非常有必要開展，能夠減少增強(qiáng)效果對訓(xùn)練數(shù)據(jù)的依賴，提高算法的魯棒性。

5 結(jié) 語

水下圖像增強(qiáng)作為水下作業(yè)的低級視覺任務(wù)，在水下目標(biāo)檢測、跟蹤等方面起著重要作用。在深度學(xué)習(xí)快速發(fā)展的今天，其已成為學(xué)術(shù)界研究的熱點(diǎn)之一。本文首先介紹了水下圖像增強(qiáng)的特點(diǎn)及應(yīng)用，其次討論了水下圖像增強(qiáng)方法的分類。最后，本文對現(xiàn)有增強(qiáng)方法進(jìn)行了總結(jié)，并結(jié)合深度學(xué)習(xí)方法，展望了水下圖像增強(qiáng)未來的發(fā)展方向。