李樟榕

（福州大學(xué) 先進(jìn)制造學(xué)院，福建 泉州 362200）

0 引言

地球上海洋總面積約3.6 億km2，約占地球表面積的71%，平均水深約3 795 m。海洋是巨大的資源寶庫，是未來社會物質(zhì)生產(chǎn)的重要原料基地。現(xiàn)階段，世界各國都在競相發(fā)展海洋高新技術(shù)，開采海洋礦產(chǎn)資源，因此水下圖像在探索和保護(hù)水下世界中起著至關(guān)重要的作用。隨著視覺技術(shù)和網(wǎng)絡(luò)設(shè)備的蓬勃發(fā)展，關(guān)于水下圖像的視覺質(zhì)量相關(guān)話題備受關(guān)注。然而，由于惡劣、復(fù)雜的水下環(huán)境，水下原始圖像的質(zhì)量通常難以進(jìn)一步提高。水下圖像的主要特點(diǎn)是能見度差和顏色退化。例如，與藍(lán)光和綠光相比，紅色和橙色光的波長被水吸收的速度要快得多，因此水下的圖像通常以藍(lán)綠色的色調(diào)出現(xiàn)。這些不利影響限制了水下圖像在海洋生物學(xué)、考古學(xué)和生態(tài)探索中的許多實際應(yīng)用。因此，提高水下圖像的可見性，要通過高級視覺算法進(jìn)行處理。傳統(tǒng)的水下圖像增強(qiáng)方法主要基于物理模型[1]和非物理模型[2]?；谖锢砟Ｐ偷脑鰪?qiáng)方法要依靠模型的先驗方法。然而，先驗知識在不同的水下場景中通常具有較弱的健壯性，導(dǎo)致嚴(yán)重的估計偏差。此外，水下深度和光傳播系數(shù)的基本參數(shù)也難以獲得。非物理模型沒有考慮水下圖像的物理退化機(jī)制?；谏疃葘W(xué)習(xí)（Deep Learning，DL）的水下圖像增強(qiáng)技術(shù)可以有效地提高圖像的亮度、對比度、飽和度以及顏色平衡等方面的效果，并且相對于傳統(tǒng)算法效果更加顯著。

1 基于深度學(xué)習(xí)的水下圖像增強(qiáng)方法

1.1 基于卷積神經(jīng)網(wǎng)絡(luò)的水下圖像增強(qiáng)

深度學(xué)習(xí)，特別是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN），已經(jīng)在水下圖像增強(qiáng)中取得了顯著的成功。它們自動學(xué)習(xí)水下環(huán)境特征，提高圖像質(zhì)量，適用于各種水下任務(wù)。各種基于深度學(xué)習(xí)的水下增強(qiáng)網(wǎng)絡(luò)被提出。文獻(xiàn)[3]引入以CNN為模型的端到端框架UIE-Net，涉及去除霧霾和潤色任務(wù)，用于改善水下視覺。文獻(xiàn)[4]提出了一種基于深度殘差框架的水下圖像增強(qiáng)解決方案，并提出了批歸一化的影響。文獻(xiàn)[5]提出了一種用于水下視覺恢復(fù)任務(wù)的三階段的CNN 結(jié)構(gòu)，其靈感來自通道間的相關(guān)性和扭曲的彩色視覺效果的獨(dú)特特性。在文獻(xiàn)[6]中，SONG S 等人提出了一種新的水下生物識別方法，將MSRCR 圖像增強(qiáng)算法與Mask R-CNN 相結(jié)合。WANG K 等人在文獻(xiàn)[7]中提出了一種獨(dú)特的聯(lián)合網(wǎng)絡(luò)方法，通過多次迭代改進(jìn)顏色校正和脫霧。文獻(xiàn)[8]提出了基于兩級水下圖像卷積神經(jīng)網(wǎng)絡(luò)（UWCNN-SD）的水下成像模型和結(jié)構(gòu)分解的特性。文獻(xiàn)[9]解釋了一種使用深度學(xué)習(xí)技術(shù)的水下圖像增強(qiáng)模型，結(jié)果表明所提算法可以學(xué)習(xí)優(yōu)化水下圖像的視覺效果。文獻(xiàn)[10]建立了一個用于水下場景重建的端到端深度網(wǎng)絡(luò)，包括通道級顏色特征提取和密集殘差特征提取兩個部分。LI C等人在文獻(xiàn)[11]提出了基于介質(zhì)傳輸引導(dǎo)的多顏色空間嵌入的水下圖像增強(qiáng)網(wǎng)絡(luò)Ucolor，結(jié)合注意機(jī)制來增強(qiáng)水下圖像。該網(wǎng)絡(luò)在場景適應(yīng)性、恢復(fù)精度和實時處理方面受到限制。CHEN 等人在這些方面做出改進(jìn)，在文獻(xiàn)[12]提出了融合網(wǎng)絡(luò)（MFFN）的水下感知場景圖像增強(qiáng)方法，設(shè)計了合并特征提取模塊、特征融合模塊和注意力重構(gòu)模塊的度量。

1.2 基于生成對抗網(wǎng)絡(luò)的水下圖像增強(qiáng)

由于生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）在圖像生成方面的巨大成功，基于GAN 的水下圖像增強(qiáng)方法得到了廣泛的研究。LI J等人設(shè)計的WaterGAN[13]是最早基于GAN 的水下圖像增強(qiáng)的嘗試，利用生成對抗網(wǎng)絡(luò)從空氣中的圖和深度圖生成人工合成的水下圖像數(shù)據(jù)集，并使用生成式數(shù)據(jù)集進(jìn)行訓(xùn)練，再使用校正網(wǎng)絡(luò)對未標(biāo)定的真實水下圖像進(jìn)行恢復(fù)。為了避免對成對訓(xùn)練數(shù)據(jù)的要求，LI C 在文獻(xiàn)[14]中提出了一種弱監(jiān)督的水下色彩校正網(wǎng)絡(luò)（UCycleGAN），然而未考慮到水下圖像深層網(wǎng)絡(luò)的健壯性問題。GUO Y 等人[15]使用多尺度密集生成對抗網(wǎng)絡(luò)（MDGAN），利用密集連接以及殘差學(xué)習(xí)的方法來提高水下圖像增強(qiáng)的健壯性。為了解決脫霧、對比度調(diào)整和自動顏色增強(qiáng)的挑戰(zhàn)，ISLAM M J 等人[16]設(shè)計了快速的水下圖像增強(qiáng)模型，這個基于GAN 的模型被命名為FUnIE-GAN。他們將問題表述為圖像到圖像的轉(zhuǎn)換，假設(shè)在輸入和輸出之間，即失真和增強(qiáng)圖像之間，存在一個非線性映射。LIU R 等人[17]提出了雙對抗性對比學(xué)習(xí)的水下增強(qiáng)方法，在增強(qiáng)網(wǎng)絡(luò)中嵌入了一個任務(wù)感知反饋模塊，利用檢測器的相干梯度信息使得水下圖像增強(qiáng)的結(jié)果有利于檢測。

2 水下圖像質(zhì)量評價指標(biāo)

圖像質(zhì)量評價指標(biāo)是衡量圖像質(zhì)量高低的重要指標(biāo)。目前，基于深度學(xué)習(xí)的水下圖像質(zhì)量評價指標(biāo)主要分為主觀定性評價和客觀定量評價兩類。主觀定性評價是指評價者通過視覺感知對水下圖像的清晰度、色彩飽和度、亮度及對比度等做出視覺評價。評價結(jié)果的好壞取決于評價者的視覺感官，無法用數(shù)學(xué)模型進(jìn)行描述?？陀^定量評價是指利用具體的計算公式計算出水下圖像在某個指標(biāo)上的值，從而實現(xiàn)對水下圖像的質(zhì)量評價。根據(jù)有無參考圖像，可以將水下圖像客觀定量評價分為全參考圖像質(zhì)量評價和無參考圖像質(zhì)量評價。下面將詳細(xì)介紹這兩類評價指標(biāo)。

2.1 全參考圖像質(zhì)量評價指標(biāo)

對于有高質(zhì)量參考圖像的配對數(shù)據(jù)集，常使用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）作為全參考圖像質(zhì)量評價指標(biāo)。

壓縮后的圖像都會在某種程度上與原始圖像不同。通常使用PSNR 值來衡量經(jīng)過處理后的圖像質(zhì)量是否能讓人滿意。PSNR 數(shù)值越大表示圖像的失真程度越小。對于大小為m×n的圖像，其PSNR的計算公式為

式中：x表示網(wǎng)絡(luò)增強(qiáng)后的圖像，y表示高質(zhì)量的參考圖像，EMS是兩者的均方誤差。

PSNR是最普遍的評價圖像質(zhì)量高低的方法。不過，人眼的視覺感知會受到許多因素的影響，因此PSNR 的數(shù)值和人眼看到的視覺質(zhì)量不能保持完全一致。

通過亮度（luminance）、對比度（contrast）、結(jié)構(gòu)（structure）3 方面進(jìn)行評估的結(jié)構(gòu)相似性SSIM可以用來衡量兩幅圖像的相似性。SSIM 的取值范圍為0 ～1，其值越大，代表兩幅圖像之間的相似度越高。SSIM計算公式為

式中：x表示網(wǎng)絡(luò)增強(qiáng)后的圖像，y表示高質(zhì)量參考圖像，μx、μy分別為圖像x與圖像y的均值，σx2、σy2分別為圖像x與圖像y的方差，ci(i=1,2,3)則為避免除數(shù)為0 而引入的常數(shù)，其中c1=(0.01×255)2，c2=(0.03×255)2，c3=c2/2。為了簡化形式，實際計算中，一般令α=β=γ=1，最后簡化得

2.2 無參考圖像質(zhì)量評價指標(biāo)

對于沒有高質(zhì)量參考圖像的水下圖像，可通過采用水下圖像顏色質(zhì)量評估（Underwater Color Image Quality Evaluation，UCIQE）、水下圖像質(zhì)量 測 量（Underwater Image Quality Measurement，UIQM）和自然圖像質(zhì)量評估（Natural Image Quality Evaluation，NIQE）這3 種常見的無參考圖像質(zhì)量評價指標(biāo)進(jìn)行評價。

UCIQE 是由色度、飽和度和對比度組成的評價指標(biāo)。其中，色度、飽和度和對比度分別用于量化偏色、模糊和低對比度。UCIQE 的值越高，表示圖像質(zhì)量越好。UCIQE的計算公式為

式中：σc表示色度標(biāo)準(zhǔn)差，cl表示亮度對比度，μs表示飽和度的均值，c1、c2、c3均為加權(quán)系數(shù)。色度的方差與人類對感興趣的水下彩色圖像的感知具有良好的相關(guān)性，因此在UCIQE 中使用色度來量化色偏。對比度用于測量在統(tǒng)一背景下看到的單個目標(biāo)的局部對比度。飽和度的均值μs表示色彩純度，值越高表示色相越純。

UIQM 是由水下圖像色彩度測量（Underwater Image Colourfulness Measure，UICM）、水下圖像清晰度度量（Underwater Image Sharpness Measure，UISM）和水下圖像對比度度量（Underwater Image Contrast Measure，UIConM）組成的評價指標(biāo)。顏色均衡、偏差小的水下圖像，UICM 的值高；邊緣信息豐富的圖像，UISM 的值高；塊內(nèi)對比度高的水下圖像，UIConM 的值高。UIQM 的值越高，圖像質(zhì)量越好。UIQM 的計算公式為

式中：c1、c2、c3分別為這3 項指標(biāo)的權(quán)重系數(shù)。

自然圖像質(zhì)量評估是基于一組“質(zhì)量感知”特征，并將其擬合到MVG 模型中，通過計算被測量圖像與數(shù)據(jù)庫中高質(zhì)量圖像之間的MVG 模型差距來評估圖像質(zhì)量。NIQE 主要包含選取重要區(qū)域圖像塊、空間域特征提取（NSS）、特征化圖像塊、NIQE指標(biāo)設(shè)計以及MVG 模型構(gòu)建5 個部分。NIQE 的計算公式為

式中：v1、v2、C1、C2表示高質(zhì)量圖像的MVG 模型與待測圖像的MVG 模型的均值向量和協(xié)方差矩陣。這樣就可以得出高質(zhì)量圖像分布與待測圖像分別之間的距離。因此，NIQE 值越小，差值越小，待測圖像就越接近于高質(zhì)量圖像。

3 水下圖像數(shù)據(jù)集

由于水下環(huán)境的特殊性以及設(shè)備技術(shù)有限，很難獲得水下圖像數(shù)據(jù)集。在過去10 年中，很多水下圖像研究者利用各種方法去獲得水下圖像數(shù)據(jù)集。目前，基于深度學(xué)習(xí)的水下圖像增強(qiáng)相關(guān)文章中用到最多的數(shù)據(jù)集就是水下圖像增強(qiáng)基準(zhǔn)數(shù)據(jù)集（Underwater Image Enhancement Benchmark，UIEB）和增強(qiáng)水下視覺感知數(shù)據(jù)集（Enhancement of Underwater Visual Perception，EUVP）。下面介紹這兩種數(shù)據(jù)集，幫助讀者快速了解每個數(shù)據(jù)集的特征。

3.1 UIEB 數(shù)據(jù)集

UIEB 數(shù)據(jù)集的建立由數(shù)據(jù)收集和參考圖像生成兩個過程構(gòu)成。在數(shù)據(jù)集收集階段，為了收集涵蓋多種水下場景、不同質(zhì)量退化特征以及具有豐富圖像內(nèi)容的數(shù)據(jù)集，LI 等人從Google、Youtube、相關(guān)論文[18-21]及LI 等人拍攝得到的水下圖像中進(jìn)行收集。經(jīng)過數(shù)據(jù)細(xì)化，大部分收集到的圖像被淘汰，剩下大約950 張候選圖像。對于收集的水下圖像集，采用12 種圖像增強(qiáng)方法生成參考圖像。利用原始水下圖像和增強(qiáng)結(jié)果，邀請50 名志愿者對每張原始的水下圖像的12 個增強(qiáng)圖像進(jìn)行兩兩比較。兩兩比較獲勝的圖像將在下一輪再次比較，經(jīng)過11次后選出最好的增強(qiáng)圖像結(jié)果。最后，志愿者對最終得到的最好的增強(qiáng)圖像進(jìn)行檢查，并將其標(biāo)記為滿意或不滿意。如果超過一半的志愿者將該增強(qiáng)圖像標(biāo)記為滿意，則將其作為原始水下圖像的參考圖像；如果超過一半的志愿者將該增強(qiáng)圖像標(biāo)記為不滿意，則將其原始水下圖像作為具有挑戰(zhàn)性的圖像，并丟棄該增強(qiáng)圖像。最終獲得了890 張成對的原始圖像及其參考圖像，以及具有挑戰(zhàn)性的60 張原始水下圖像。此數(shù)據(jù)集可參考文獻(xiàn)[22]。

3.2 EUVP 數(shù)據(jù)集

EUVP 數(shù)據(jù)集包含大量成對和未成對的水下圖像。這些圖像具有較差和良好的感知質(zhì)量。這些圖像是在海洋探索和實驗期間使用7 臺不同的相機(jī)在不同的能見度條件下拍攝的。數(shù)據(jù)集中包含一些從公開的YouTube 視頻中提取到的圖像。這些圖像體現(xiàn)了不同的場景、照明條件及水體類型等。在此基礎(chǔ)上，研究者利用人類視覺觀察方法建立水下圖像的感知偏好模型，以區(qū)分圖像的質(zhì)量，從而準(zhǔn)備未配對的數(shù)據(jù)。參與者檢查了幾個圖像屬性（如顏色、清晰度和對比度）并考慮了場景的前景和對象是否可識別。因此，不成對的訓(xùn)練支持對水下圖像質(zhì)量的人類感知偏好建模。另外，基于CycleGAN[23]模型，通過學(xué)習(xí)將高質(zhì)量圖像轉(zhuǎn)換為失真圖像，從而訓(xùn)練配對數(shù)據(jù)。成對的數(shù)據(jù)集由underwater_dark、underwater_imagenet 和underwater_scenes 共3 個子集組成。underwater_dark 由5 550 對灰度失真圖像和彩色高質(zhì)量參考圖像組成。underwater_imagenet和underwater_scenes 分別由3 700 對和2 185 對彩色失真圖像和彩色高質(zhì)量參考圖像構(gòu)成。

4 結(jié)語

由于水下介質(zhì)和懸浮粒子對光線的吸收和散射等，水下圖像通常存在顏色失真、對比度低及細(xì)節(jié)丟失等問題，嚴(yán)重影響了水下高級作業(yè)的開展。因此，研究人員需要水下圖像增強(qiáng)的相關(guān)技術(shù)來提高水下圖像質(zhì)量。在深度學(xué)習(xí)快速發(fā)展的今天，這已經(jīng)成為研究的熱點(diǎn)之一。本文首先介紹了水下圖像增強(qiáng)的特點(diǎn)，其次討論了基于深度學(xué)習(xí)的水下圖像增強(qiáng)的各種方法和水下圖像質(zhì)量評價兩方面的研究進(jìn)展，最后提供了現(xiàn)在比較常用的水下圖像數(shù)據(jù)集，希望對讀者有所幫助。