陳學(xué)磊，張 品，權(quán)令偉，易 超，鹿存躍

（1.上海交通大學(xué)電子信息與電氣工程學(xué)院，上海 200240；2.陸軍工程大學(xué)電磁環(huán)境效應(yīng)與光電工程國家級重點(diǎn)實(shí)驗(yàn)室，南京 210007）

0 概述

水下機(jī)器人執(zhí)行任務(wù)時(shí)通常需要利用包括視覺傳感器在內(nèi)的多種傳感器來感知周圍的水體環(huán)境，但受環(huán)境因素影響，水下圖像的質(zhì)量通常較低。一方面，圖像整體色彩偏綠、偏藍(lán)；另一方面，對比度較低且細(xì)節(jié)模糊。水下圖像增強(qiáng)技術(shù)可以增強(qiáng)圖像的色彩、對比度、清晰度等多個(gè)方面，從而改善圖像質(zhì)量。因此，開展水下圖像增強(qiáng)算法的相關(guān)研究具有十分重要的意義。

水下圖像的物理成像模型與霧化圖像的物理成像模型［1］有很多相似之處，其原理均為光線傳輸受到空氣或水中細(xì)微顆粒對光線散射的影響，導(dǎo)致進(jìn)入相機(jī)的光線與物體本身反射的光線有所不同，從而使拍攝的照片顏色失真。由于其原理的相似性，學(xué)術(shù)界曾嘗試直接將霧化圖像的物理成像模型應(yīng)用到水下圖像上進(jìn)行色彩校正，所提出的多種水下圖像色彩校正方法［2-4］均取得了一定的圖像增強(qiáng)效果。但由于光線在水下的傳播特點(diǎn)與在大氣中并不完全相同，已有的成像模型大多沒有考慮不同波長的光被水體吸收和發(fā)生散射等情況的差異，因而基于這些模型的增強(qiáng)方法處理后的圖像在質(zhì)量上也很難進(jìn)一步提升。圖像增強(qiáng)效果的進(jìn)一步提升有待于成像模型準(zhǔn)確度的提高。AKKAYNAK 等［5］利用大量真實(shí)水下實(shí)驗(yàn)的結(jié)果對已有模型中的衰減系數(shù)進(jìn)行修正，進(jìn)一步完善了水下圖像的物理成像模型，該研究為水下圖像增強(qiáng)技術(shù)提供了新的理論基礎(chǔ)。

自 從ALEXNET［6］取 得ImageNet［7］競賽冠軍 以來，深度學(xué)習(xí)方法在圖像識別、圖像分割、目標(biāo)檢測等領(lǐng)域獲得了大量關(guān)注，并取得了較好的效果。近年來，深度學(xué)習(xí)技術(shù)作為一種新的技術(shù)手段也被嘗試應(yīng)用于水下圖像增強(qiáng)任務(wù)上。如LI 等［8］提出基于CycleGAN 的水下圖像色彩校正方法，SKINNER等［9］提出兩階段神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并分別用于圖像深度估計(jì)和色彩校正，F(xiàn)U 等［10］提出一種融合全局和局部信息的神經(jīng)網(wǎng)絡(luò)用于水下圖像增強(qiáng)。

基于近似的霧化圖像成像模型的水下圖像增強(qiáng)方法往往僅對特定圖像有效果，更換圖像后效果就變差，普適性不高。但基于深度學(xué)習(xí)的方法如果忽略了物理成像模型，將導(dǎo)致神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，學(xué)習(xí)難度也會變大，即便融合了近似的物理成像模型，圖像增強(qiáng)效果往往也不顯著。

為解決上述問 題，本文結(jié)合AKKAYNAK 等［4］最新提出的修正后物理成像模型，對現(xiàn)有基于深度學(xué)習(xí)的圖像增強(qiáng)方法進(jìn)行改進(jìn)，提出一種新的水下圖像增強(qiáng)算法。該算法包含基于卷積神經(jīng)網(wǎng)絡(luò)的背景光估計(jì)模塊和傳輸圖估計(jì)模塊，將這2 個(gè)模塊的輸出與輸入圖像進(jìn)行重建運(yùn)算后得到增強(qiáng)后的水下圖像。在構(gòu)建神經(jīng)網(wǎng)絡(luò)時(shí)選用帶參數(shù)修正線性單元（PReLU）［11］和擴(kuò)張卷積運(yùn)算（Dilated Convolution）［12］來提高網(wǎng)絡(luò)的擬合能力。此外，在UIEB［13］數(shù)據(jù)集和URPC2020 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，以驗(yàn)證本文算法的有效性。

1 物理成像模型

1.1 水下環(huán)境對光學(xué)成像質(zhì)量的影響

在水下環(huán)境拍攝照片時(shí)，圖像質(zhì)量會受到光的吸收、散射和折射等因素的影響［14］。

光在穿越水體時(shí)會被吸收一部分，不同波長的光被水的吸收程度不同。圖1 展示了水下環(huán)境光吸收的過程，海水對紅光的吸收作用更強(qiáng)，紅光在進(jìn)入水體后強(qiáng)度迅速降低，而波長較短的綠光和藍(lán)光則可以穿透到海平面下較深處，從而導(dǎo)致水下拍攝的圖像呈現(xiàn)偏綠偏藍(lán)的效果。

圖1 水下光吸收示意圖Fig.1 Schematic diagram of underwater light absorption

同樣，由于水體對光的吸收效應(yīng)，在更深的海域進(jìn)行圖像采集時(shí)已不僅只是受到波長較長的光線不足這一因素的影響，還會由于各個(gè)波長的光線均不足導(dǎo)致圖像整體曝光度低的影響，因此在深海進(jìn)行圖像采集通常還需進(jìn)行人為補(bǔ)光，或利用多曝光度圖像序列加權(quán)融合等算法進(jìn)行曝光度增強(qiáng)［15-16］。

水下圖像的光學(xué)成像模型主要包含2 個(gè)部分的光源信息：直接傳輸?shù)墓夂捅尘吧⑸涞墓狻Ｈ鐖D2 所示，直接傳輸?shù)墓鈦碓从诒慌臄z物體本身，在傳輸路徑上會經(jīng)歷衰減效應(yīng)，衰減效應(yīng)由光的吸收和光的散射導(dǎo)致，會造成水下圖像色彩畸變。背景散射的光并非來源于被拍攝區(qū)域物體本身的輻射，而是由周圍環(huán)境中的光被水中存在的大量微小顆粒散射得到，背景散射的光是水下圖像對比度降低的主要原因。

圖2 光學(xué)成像模型示意圖Fig.2 Schematic diagram of optical imaging model

光線在不均勻介質(zhì)中不沿直線傳播，會發(fā)生折射現(xiàn)象，光的折射會導(dǎo)致圖像中的細(xì)節(jié)扭曲失真［17］。水中的微粒、海水的波動(dòng)、水下的氣泡等都會造成光的折射，從而造成水下圖像扭曲。由于圖像扭曲的復(fù)原屬于圖像修復(fù)領(lǐng)域，本文所提算法屬于圖像增強(qiáng)算法，僅解決光的吸收和光的散射造成的顏色畸變、對比度降低、細(xì)節(jié)模糊等問題。

1.2 水下圖像成像模型的數(shù)學(xué)表達(dá)

根據(jù)霧化圖像的成像模型［1］可以得到近似的水下圖像成像模型［2］：

其中：x表示像素點(diǎn)坐標(biāo)；I(x)表示水下環(huán)境中相機(jī)拍攝得到的圖像；D(x)表示物體本身的輻射光，可以理解成消除水下環(huán)境因素影響后的水下圖像；t(x)表示直接傳輸映射；B表示環(huán)境光。D(x)t(x)對應(yīng)圖2 中直接傳輸?shù)墓?；B(1-t(x))對應(yīng)圖2 中背景散射的光。直接傳輸?shù)墓鈺?jīng)歷衰減效應(yīng)，衰減效應(yīng)的大小由衰減系數(shù)β和傳輸距離d決定，如式（2）所示：

傳統(tǒng)的水下圖像增強(qiáng)方法通常將圖像RGB 的3 個(gè)通道的t(x)視為一個(gè)映射來簡化計(jì)算，但這種方式忽略了t(x)中的衰減系數(shù)β在不同通道之間的差異，增強(qiáng)后的圖像依然有偏色現(xiàn)象。AKKAYNAK等［5］進(jìn)行了大量水下實(shí)驗(yàn)，提出了修正后的模型，如式（3）所示。修正模型主要基于水下環(huán)境的光學(xué)成像特點(diǎn)，對衰減系數(shù)進(jìn)行了修正。

其中：c∈{R，G，B}表示圖像通道分別表示直接傳輸和背景散射的衰減系數(shù)；d表示傳輸距離。直接傳輸和背景散射的衰減系數(shù)又分別依賴于[d，ρ，E，Sc，a，b]和其中：d表示傳輸距離；ρ表示反射頻譜；E表示輻照度；Sc表示相機(jī)頻譜響應(yīng)；a和b分別表示吸收和散射系數(shù)。

對式（3）進(jìn)行整理得到式（4）的形式：

本文使用式（5）作為水下圖像的物理成像模型，結(jié)合深度學(xué)習(xí)技術(shù)，完成水下圖像增強(qiáng)任務(wù)。

2 融合深度學(xué)習(xí)與成像模型的圖像增強(qiáng)算法

2.1 算法設(shè)計(jì)思路

本文提出的基于深度學(xué)習(xí)與成像模型的水下圖像增強(qiáng)算法的核心思想是利用卷積神經(jīng)網(wǎng)絡(luò)對成像模型中的多個(gè)組成部分進(jìn)行擬合。

根據(jù)式（5），拍攝得到的圖像Ic(x)為已知信息，環(huán)境光Bc和直接傳輸參數(shù)為未知信息。已有的暗通道先驗(yàn)［8］等算法表明環(huán)境光Bc作為一個(gè)全局信息，可以從拍攝得到的圖像中估計(jì)得到，因而在設(shè)計(jì)算法時(shí)可以先構(gòu)建背景散射模塊來估計(jì)Bc的值。直接傳輸參數(shù)與環(huán)境光Bc的差別在于前者更復(fù)雜，不同像素點(diǎn)位置上的直接傳輸參數(shù)的值并不完全相同，因此對整張圖像直接傳輸參數(shù)的估計(jì)實(shí)際上是對一個(gè)高維矩陣的估計(jì)。結(jié)合以上2 點(diǎn)，在構(gòu)建神經(jīng)網(wǎng)絡(luò)時(shí)先構(gòu)建背景散射估計(jì)模塊來估計(jì)較為簡單的Bc，再構(gòu)建直接傳輸估計(jì)模塊來估計(jì)更加復(fù)雜的，且背景散射估計(jì)模塊的輸出可以作為輔助信息，和輸入圖像一起作為直接傳輸估計(jì)模塊的輸入，這樣做的優(yōu)點(diǎn)是使網(wǎng)絡(luò)能結(jié)合圖像局部像素信息和全局背景光信息來估計(jì)局部像素的直接傳輸參數(shù)。

最終設(shè)計(jì)的算法如圖3 所示，該算法包含3 部分：第1 部分從輸入圖像中估計(jì)出背景散射光，即式（5）中的Bc；第2 部分利用估計(jì)出的背景散射光和輸入圖像估計(jì)出直接傳輸映射，即式（5）中的，此處與大多數(shù)已有方法估計(jì)t(x)不同，實(shí)際上是t(x)的倒數(shù)，這樣設(shè)定的優(yōu)勢在于最后的重建運(yùn)算為乘法，有利于深度學(xué)習(xí)訓(xùn)練里的損失函數(shù)的反向傳播；第3 部分利用估計(jì)出的Bc和，并結(jié)合式（5）進(jìn)行重建運(yùn)算得到消除水下環(huán)境影響因素后的增強(qiáng)圖像。

圖3 本文算法整體框架Fig.3 Framework of algorithm in this paper

2.2 背景散射估計(jì)模塊

背景散射估計(jì)模塊包括了2 組尺寸為3×3 的卷積核，1 個(gè)全局均值池化層和2 組尺寸為1×1 的卷積核，每組卷積核的數(shù)量均為3，具體結(jié)構(gòu)如圖4 所示。卷積運(yùn)算的激活函數(shù)選擇了帶參數(shù)修正線性單元（PReLU）［11］。

圖4 背景散射估計(jì)模塊結(jié)構(gòu)Fig.4 Structure of backscatter estimation module

帶參數(shù)修正線性單元（PReLU）和常見的修正線性單元（ReLU）的數(shù)學(xué)表達(dá)式如式（6）和式（7）所示：

其中：x是神經(jīng)網(wǎng)絡(luò)特征圖上每一個(gè)位置的值；a是可以學(xué)習(xí)的參數(shù)。與常見的修正線性單元（ReLU）相比，使用帶參數(shù)修正線性單元的優(yōu)點(diǎn)是可以避免x為負(fù)時(shí)梯度為0，導(dǎo)致相應(yīng)參數(shù)無法再被更新的現(xiàn)象發(fā)生。

2.3 直接傳輸估計(jì)模塊

直接傳輸估計(jì)模塊將背景散射估計(jì)與輸入圖像進(jìn)行聯(lián)接操作，隨后的運(yùn)算中包括了3 組3×3 大小的擴(kuò)張卷積核和1 組3×3 大小的普通卷積核，每組擴(kuò)張卷積核的數(shù)量均為8，最后1 組普通卷積核的數(shù)量為3，具體結(jié)構(gòu)如圖5 所示。

圖5 直接傳輸估計(jì)模塊結(jié)構(gòu)Fig.5 Structure of direct-transmission estimation module

擴(kuò)張卷積能在參數(shù)量不變的情況下通過在卷積核內(nèi)填入額外的0 來增大感受野，更大的感受野能幫助網(wǎng)絡(luò)利用更多圖像信息來估計(jì)直接傳輸參數(shù)。為避免擴(kuò)張卷積帶來的網(wǎng)格效應(yīng)［12］，可以采用混合擴(kuò)張卷積的設(shè)計(jì)方式，即對連續(xù)的擴(kuò)張卷積運(yùn)算選用不同的擴(kuò)張率，本文算法中的3 組擴(kuò)張卷積核的擴(kuò)張率分別選用了1、2、5。

2.4 訓(xùn)練方式

本文算法的輸出為增強(qiáng)后的圖像。在訓(xùn)練過程中，每一個(gè)輸入圖像均有一個(gè)對應(yīng)的參考圖像作為訓(xùn)練目標(biāo)。本文算法使用基于像素值的均方差作為損失函數(shù)來計(jì)算增強(qiáng)后圖像與目標(biāo)圖像之間的差異，均方差損失函數(shù)如式（8）所示：

其中：H、W和C分別為圖像的高度、寬度和通道數(shù)；x、y和z分別表示圖像3 個(gè)維度的坐標(biāo)；D^(I)表示本文算法的輸出；R(I)表示訓(xùn)練數(shù)據(jù)集中的參考目標(biāo)。Adam 優(yōu)化器［18］被用來進(jìn)行神經(jīng)網(wǎng)絡(luò)參數(shù)的優(yōu)化。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文所提水下圖像增強(qiáng)算法的有效性，設(shè)計(jì)并進(jìn)行了一系列仿真實(shí)驗(yàn)。實(shí)驗(yàn)在Ubuntu18.04 系統(tǒng)中進(jìn)行，使用PyTorch 深度學(xué)習(xí)框架實(shí)現(xiàn)所提算法。所使用的計(jì)算機(jī)配置為Intel i7-10700 CPU、16 GB RAM和NVIDIA RTX 2070 GPU。深度學(xué)習(xí)訓(xùn)練中使用的批尺寸為1，學(xué)習(xí)率為0.001，訓(xùn)練輪數(shù)為3 000。本文的代碼和訓(xùn)練好的模型開源選擇GitHub 平臺：https：//github.com/xueleichen/PyTorch-Underwater-Image-Enhancement。實(shí)驗(yàn)中的圖像來源為UIEB［13］數(shù)據(jù)集，該數(shù)據(jù)集采集了大量真實(shí)場景中拍攝的水下圖像，包含多種已有算法和志愿者人工評判得到對應(yīng)的色彩增強(qiáng)圖像。該數(shù)據(jù)集包含890 張真實(shí)水下圖像和890 張供參考的色彩增強(qiáng)圖像，其中700張圖像用來訓(xùn)練，190張圖像用來測試。此外，在UIEB 數(shù)據(jù)集上訓(xùn)練的模型也在URPC2020 數(shù)據(jù)集上進(jìn)行了測試，以驗(yàn)證算法的通用性，并從視覺效果、質(zhì)量指標(biāo)和運(yùn)算速度3 個(gè)方面對本文算法進(jìn)行效果評價(jià)，與已有方法進(jìn)行對比分析。另外，本文還進(jìn)行了關(guān)鍵點(diǎn)匹配的實(shí)驗(yàn)來驗(yàn)證水下圖像增強(qiáng)對后續(xù)視覺任務(wù)效果的提升。

3.1 視覺效果分析

在進(jìn)行視覺效果分析時(shí)，本文算法和UDCP算法［2］、IBLA 算法［3］、GLNet 算法［10］的實(shí)驗(yàn)結(jié)果對比如圖6 所示。圖6 中前3 行的圖片來自UIEB 數(shù)據(jù)集的測試集，后3 行的圖片來自URPC2020 數(shù)據(jù)集，第1 列為輸入的原始圖像，后4 列分別為使用不同算法得到的結(jié)果（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。從圖6 可以看出本文算法在進(jìn)行水下圖像增強(qiáng)時(shí)可以取得較好的效果，對水下圖像的偏色情況進(jìn)行了校正，同時(shí)提升了對比度和細(xì)節(jié)清晰度，提升了整體視覺效果。而UDCP算法和IBLA 算法處理的圖像色彩飽和度過高，背景顏色偏暗。GLNet算法處理的部分圖像存在整體偏藍(lán)的現(xiàn)象。

圖6 不同算法進(jìn)行水下圖像增強(qiáng)的視覺效果對比Fig.6 Comparison of visual effects of underwater image enhancement by different algorithms

3.2 質(zhì)量指標(biāo)分析

水下圖像增強(qiáng)實(shí)驗(yàn)使用的圖像質(zhì)量指標(biāo)可以分為兩類：有參考指標(biāo)和無參考指標(biāo)。有參考指標(biāo)的計(jì)算要求算法處理后的圖像有對應(yīng)的真實(shí)參考圖像，能夠計(jì)算這2 張圖像間的近似程度。常用的有參考指標(biāo)包括峰值信噪比（Peak Signeal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似度（Structural Similarity，SSIM）。無參考指標(biāo)則直接利用單張?zhí)幚砗髨D像的顏色、對比度、飽和度等，并將其整合為一個(gè)總體圖像質(zhì)量指標(biāo)。常用的無參考指標(biāo)包括水下彩色圖像質(zhì)量評價(jià)（UCIQE）［19］和水下圖像質(zhì)量評價(jià)（UIQM）［20］。

表1 所示為本文算 法、UDCP算法［2］、IBLA 算法［3］及GLNet 算法［10］在UIEB 測試集上的各項(xiàng)指標(biāo)數(shù)值。與基于深度學(xué)習(xí)的GLNet 算法相比，本文算法在PSNR 和SSIM 兩項(xiàng)指標(biāo)上表現(xiàn)更佳，且在有參考指標(biāo)方面有更好的效果，從而驗(yàn)證了本文算法在水下圖像增強(qiáng)上的有效性。但本文算法在UCIQE和UIQM 兩項(xiàng)指標(biāo)上略微差一些，其原因在于GLNet 方法使用直方圖均衡化作為后處理步驟，讓圖像色彩更均衡，因此在指標(biāo)上取得了更高的數(shù)值，但這也導(dǎo)致了圖6 所示GLNet 處理的部分圖像存在偏藍(lán)的現(xiàn)象。傳統(tǒng)算法UDCP 和IBLA 處理的圖像視覺效果并不好，卻在UCIQE 取得了最高的分?jǐn)?shù)，這是因?yàn)閁CIQE 是色彩、對比度、飽和度3 個(gè)方面相關(guān)統(tǒng)計(jì)數(shù)據(jù)的加權(quán)求和，即使圖片在某一方面被進(jìn)行了過度的增強(qiáng)處理，導(dǎo)致存在色彩偏差或在其他方面增強(qiáng)不足，但仍然可能取得較高的UCIQE 數(shù)值。這一點(diǎn)在文獻(xiàn)［13］中也有討論，說明目前的水下圖像質(zhì)量評價(jià)指標(biāo)有一定局限性。

表1 不同水下圖像增強(qiáng)算法的指標(biāo)對比Table 1 Index comparison of different underwater image enhancement algorithms

綜上所述，在質(zhì)量指標(biāo)分析中，本文算法在有參考指標(biāo)上較已有基于深度學(xué)習(xí)的方法得分更高，在無參考指標(biāo)上效果略差于傳統(tǒng)方法，這是因?yàn)楝F(xiàn)有基于深度學(xué)習(xí)的方法采用了后處理步驟增強(qiáng)色彩，但這些后處理步驟會帶來諸如偏藍(lán)等副作用。非深度學(xué)習(xí)方法在UCIQE 指標(biāo)上大幅領(lǐng)先深度學(xué)習(xí)方法則是因?yàn)樵撝笜?biāo)的局限性。綜上所述，本文算法在質(zhì)量指標(biāo)分析方面取得了部分指標(biāo)更優(yōu)、其他指標(biāo)可比的結(jié)果。

如1.1 節(jié)所述，水下圖像具有曝光度較低的特點(diǎn)。本文提出的增強(qiáng)算法并非針對曝光度低這一個(gè)特點(diǎn)進(jìn)行圖形增強(qiáng)，而是從顏色、對比度、清晰度等多方面進(jìn)行整體增強(qiáng)。本文參考文獻(xiàn)［15-16］對所提算法及相關(guān)算法進(jìn)行了曝光度增強(qiáng)的量化指標(biāo)分析，此處使用的是亮度次序誤差（LOE）指標(biāo)，該指標(biāo)的數(shù)值大小與圖像尺寸密切相關(guān)。在通常情況下，圖像尺寸越大，此指標(biāo)越容易有一個(gè)較大的值。在同樣的圖像尺寸下，亮度次序誤差（LOE）指標(biāo)值越小，代表圖像自然度越高。

表2所示為本文算法及UDCP算法［2］、IBLA算法［3］、GLNet算法［10］處理后圖像的亮度次序誤差（LOE）指標(biāo)值，此處選取圖6 第1 列的前3 張圖像進(jìn)行計(jì)算，這3 張圖像的原始尺寸分別是259 像素×194 像素、909 像素×758 像素和500 像素×375 像素，因此LOE 數(shù)值較大。本文算法在圖6 第1 行圖像上取得了最好的LOE 指標(biāo)，在圖6 第2 行圖像和圖6 第3 行圖像上取得的LOE 指標(biāo)次之，僅略差于IBLA方法。但I(xiàn)BLA算法處理圖6第1行圖像得到的LOE 指標(biāo)遠(yuǎn)差于其他算法，因此整體來看，本文算法在曝光度增強(qiáng)方面效果最佳。

表2 不同算法處理后圖像亮度次序誤差指標(biāo)對比Table 2 Comparison of brightness order error indexes of images processed by different algorithms

3.3 運(yùn)算速度分析

當(dāng)將水下圖像增強(qiáng)算法部署到真實(shí)機(jī)器人上時(shí)，還要考慮算法的實(shí)時(shí)性。對比本文算法及UDCP 算法［2］、IBLA 算法［3］、GLNet 算法［10］的運(yùn)算速度，實(shí)驗(yàn)數(shù)據(jù)如表3 所示。運(yùn)算速度的評價(jià)指標(biāo)選擇的是幀率，即每秒處理圖片數(shù)量，幀率越高，表明算法的運(yùn)算速度越快。由表3 可以看出本文算法的運(yùn)算速度最快，原因是本文算法在設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)時(shí)對每組卷積核的數(shù)量選擇了較小的值，實(shí)現(xiàn)了網(wǎng)絡(luò)輕量化。

表3 不同水下圖像增強(qiáng)算法的運(yùn)算速度比較Table 3 Comparison of computation speed by different underwater image enhancement algorithms （frame·s-1）

3.4 視覺感知任務(wù)

水下圖像增強(qiáng)的目的是為了提升水下機(jī)器人對周圍環(huán)境的視覺感知能力。圖像特征點(diǎn)匹配是一項(xiàng)基本的視覺感知任務(wù)，是攝影測量、三維重建和圖像拼接等應(yīng)用的基礎(chǔ)。

利用不同算法對URPC2020 數(shù)據(jù)集中編號為000001 和000002 的2 張圖片進(jìn)行圖像增強(qiáng)操作，再依次對原始圖像和不同算法增強(qiáng)后的圖像進(jìn)行特征點(diǎn)匹配，匹配時(shí)利用SIFT 方法［21］進(jìn)行特征點(diǎn)提取，使用RANSAC 方法［22］進(jìn)行特征點(diǎn)匹配和單應(yīng)性變換。實(shí)驗(yàn)得到的匹配結(jié)果如圖7 所示，左側(cè)的圖為000001 或其增強(qiáng)后圖像，右側(cè)的圖為000002 或其增強(qiáng)后圖像。可以看出不同算法增強(qiáng)后的圖像和原始圖像相比均能檢測到較多匹配點(diǎn)，證明圖像增強(qiáng)算法作為圖像預(yù)處理步驟能幫助提升特征點(diǎn)匹配的效果。

圖7 不同算法增強(qiáng)后圖像的特征點(diǎn)匹配結(jié)果對比Fig.7 Comparison of feature key-point matching results of images enhanced by different algorithms

表4 列出了用不同算法對編號為000001 和000002 的2 張圖片進(jìn)行增強(qiáng)操作后再進(jìn)行特征點(diǎn)匹配的結(jié)果，匹配點(diǎn)對數(shù)越多，越利于精確的三維重建或攝影測量。由表4 可知本文算法對特征點(diǎn)匹配效果的提升最大，證實(shí)本文提出的水下圖像增強(qiáng)算法能更好地提升水下機(jī)器人的視覺感知能力。

表4 不同算法增強(qiáng)后圖像的匹配點(diǎn)對數(shù)對比Table 4 Comparison of the number of matching points in images enhanced by different algorithms

4 結(jié)束語

本文提出一種融合深度學(xué)習(xí)和成像模型的水下圖像增強(qiáng)算法，使用帶參數(shù)修正線性單元和擴(kuò)張卷積來增強(qiáng)模型的擬合能力，通過基于最新水下成像模型設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、3 個(gè)通道分別估計(jì)的直接傳輸映射以及輕量化網(wǎng)絡(luò)提高運(yùn)算速度。實(shí)驗(yàn)結(jié)果表明，所提算法在多個(gè)數(shù)據(jù)集上取得了較好的圖像增強(qiáng)效果，視覺效果和質(zhì)量指標(biāo)較UDCP、IBLA 等已有算法均有提升，且運(yùn)算速度得到大幅提升，能滿足水下機(jī)器人平臺計(jì)算實(shí)時(shí)性的要求。此外，通過實(shí)驗(yàn)還證實(shí)了本文算法通過水下圖像增強(qiáng)能輔助完成后續(xù)視覺感知任務(wù)。但本文僅使用了圖像本身的信息，下一步將融合回聲探測儀、多普勒計(jì)程器等多種傳感器的空間感知信息進(jìn)行更準(zhǔn)確的水下圖像色彩校正和圖像增強(qiáng)。同時(shí)，針對水中的微粒、海水的波動(dòng)、水下的氣泡等造成光的折射，導(dǎo)致圖像細(xì)節(jié)扭曲失真的現(xiàn)象，將進(jìn)一步改進(jìn)當(dāng)前算法以實(shí)現(xiàn)水下圖像的扭曲復(fù)原，提升水下機(jī)器人的視覺感知能力。