吳 獻

(福建師范大學計算機與網(wǎng)絡空間安全學院，福建 福州 350117)

隨著國家海洋戰(zhàn)略的穩(wěn)步發(fā)展，水下成像在海洋勘探中起著越來越重要的作用[1].水下圖像的質量與水下機器人搭載的成像系統(tǒng)密切相關，由于水下環(huán)境能見度低、照明不均勻，在水對光的選擇性吸收和懸浮顆粒散射的作用下，成像設備所獲取的水下降質圖像往往偏灰暗，對比度較低.懸浮顆粒散射中的后向散射導致圖像模糊，物體表面的原有顏色被遮蓋，物體局部區(qū)域辨認不清.此外，深水處由于光照缺失，往往需要添加人工光源，人工光源的出現(xiàn)常常導致水下環(huán)境拍攝的圖像存在亮斑，且水下降質圖像還存在噪聲等問題[2].

影響水下圖像質量的一系列因素中，圖像的低分辨率是其中一個亟待解決的問題.普通相機因為水下光衰減特性，影響了水下攝像的視野范圍.不少學者開發(fā)了許多方法以應對水下圖像分辨率低的挑戰(zhàn)[3-5].然而，因為一些固有的局限性，例如偽影、模糊和噪聲等，單純的圖像增強或超分辨率算法應用于水下圖像時，效果往往不能令人滿意.近年來，消費級別的深度相機設備取得了快速發(fā)展，推動了不同領域的許多新的應用，包括計算機視覺、人機交互和虛擬現(xiàn)實[6]等等.深度相機與普通RGB相機相比，存在光照不敏感、輪廓提取準確性高等優(yōu)點.因此，在水下圖像拍攝中結合深度圖像，利用同一空間中深度圖像的圖像配準與邊緣引導，可以在提高水下圖像分辨率的同時，增強水下圖像的邊緣特性，獲得更好的圖像處理效果.

一般而言，圖像的超分辨率算法需要從較低分辨率圖像預測大量未知像素值，與一般彩色圖像不同，水下圖像因為光照衰減等因素，往往包含模糊的紋理，且通常由于不精確的掃描硬件或人工光照視差而產(chǎn)生大量噪聲.同時，依賴于水下圖像的計算機視覺任務通常對圖像中的誤差非常敏感.因此，傳統(tǒng)的彩色圖像超分辨率算法往往不能直接應用在水下圖像上.為解決這一系列的問題，現(xiàn)有的水下圖像超分辨率算法主要可分為以下3類.

(1)基于圖像序列的融合算法

這類算法旨在融合同個對象的多個低分辨率圖以獲得高分辨率圖像[7-8].然而，此類算法對采樣頻率要求較高，對相機姿態(tài)估計誤差敏感，且嚴重依賴于圖像序列中的物體運動范圍較小的假設，難以實現(xiàn)較高分辨率的超分辨率增強.并且，同個對象的多個低分辨率圖配準，也是制約該算法效率的難點之一.

(2)基于機器學習的算法[9-10]

這類算法利用一系列對應的高-低分辨率水下圖像作為樣本，學習訓練低分辨率與高分辨率之間存在的映射關系，并通過訓練得到的參數(shù)模型實現(xiàn)水下圖像的超分辨率[11].這類算法同一般的基于樣本的學習算法一樣，需要事先獲得大量的高-低分辨率圖像對，學習訓練的時間復雜度較高，且對不同倍率的超分辨率均要分別學習，當訓練樣本與實際圖像差異較大或相同對象在不同水下環(huán)境時，超分辨率效果較差.

(3)基于紋理引導的超分辨率算法

這類算法認為水下物體的信息與對應的彩色圖像在結構上具有相似性，彩色圖像中的高頻分量或邊緣信息等可以用于輔助高分辨率像素的填充預測，因此可用來引導提高圖像分辨率.例如，文[12]利用彩色圖像的邊緣信息提出了聯(lián)合顏色信息的水下圖像上采樣方法.而文[13]則把水下圖像的超分辨率問題轉化為離散標注的問題，通過圖模型的轉導估計超分辨率的邊緣像素.

基于紋理引導的方法充分利用了彩色圖像的邊緣信息，是水下圖像超分辨率的研究熱點.然而，其存在的主要問題是當彩色圖像結構與實際水下三維結構不完全一致時，特別是復雜的水下光照環(huán)境，會帶來邊緣的錯誤或模糊痕跡.這主要體現(xiàn)在以下兩個方面：一是當平滑的深度表面具有鮮明的紋理邊界時，所帶來的錯誤深度邊緣，稱作紋理拷貝損傷；二是當不同的深度邊界具有相同的紋理時，所帶來的深度邊緣模糊，即深度滲透.文[14]利用非局部平均值濾波器對水下圖像進行規(guī)則化，以保持圖像較為詳細的內(nèi)部結構，并提出了基于區(qū)域分割的方法來處理紋理拷貝損傷和深度滲透的問題.以上同類算法都可一定程度上減輕紋理與深度不一致的問題，但是對原始圖像的規(guī)則化和分割提出了一定的要求，處理的結果直接影響了超分辨率圖的上采樣質量.

因此，為解決深度信息與彩色圖像結構不一致的問題，本文提出一種直接基于深度圖像輪廓引導的水下圖像超分辨率算法.與以往的區(qū)域分割算法不同，由于保持邊界信息在圖像的上采樣過程中尤為重要，本文將超分辨率問題從紋理引導轉換為基于深度圖的邊緣檢測，同時對水下圖像與邊緣輪廓對齊后修正部分邊緣形成配對；之后，由平滑后的輪廓作為引導，應用修改的聯(lián)合雙邊濾波器來重建高分辨率水下紋理.輪廓引導不僅有助于避免由直接紋理預測引入的紋理拷貝錯誤，還可以減少鋸齒狀邊界并保留邊緣的特性.最后通過實驗證明了本文的方法可有效提高超分辨率水下圖像的質量.

1 算法流程概述

本算法利用深度圖像輪廓作為引導，對水下圖像上采樣過程中的邊緣信息進行修正與增強，實現(xiàn)水下圖像的超分辨率算法，主要可分為以下3個步驟：(1)對深度圖像應用改進的Canny算法提取深度圖像的輪廓線；(2)利用水下圖像的顏色信息對輪廓線進行修正并完成配對；(3)以修正的輪廓線作為導引，應用聯(lián)合雙邊濾波器上采樣，完成圖像的超分辨率重建.算法的整體流程如圖1所示.

圖1 超分辨率算法流程圖

2 深度圖輪廓提取

在圖像處理中，常常通過圖像的邊緣檢測獲得關注對象的輪廓，目前已產(chǎn)生了許多經(jīng)典的邊緣檢測算法，通過像素鄰域的量化信息進行檢測，如Sobel算子、Roberts算子、LOG變換等等.一般圖像邊緣檢測通過卷積計算獲取梯度圖，并且通過梯度變化設定相應的閾值獲取邊緣，然而由于不同局部區(qū)域梯度變化不均，統(tǒng)一設定閾值的方法會造成一定的邊緣信息遺漏或錯誤.本文采用改進的Canny算法[15]檢測深度圖像邊緣并提取輪廓.

首先，定義I(i,j)表示深度圖像中像素(i,j)的值，梯度變化率可通過灰度沿二維方向的一階導數(shù)求得：

(1)

本文通過Canny算法中的Isotropic Sobel模板，對式(1)進行離散計算：

fx(i,j)=2*L(i+1,j)-2*L(i-1,j)+L(i+1,j+1)-

L(i-1,j+1)+L(i+1,j-1)-L(i-1,j-1),

fx(i,j)=2*L(i,j+1)-2*L(i,j-1)+L(i+1,j+1)-

L(i+1,j-1)+L(i-1,j+1)-L(i-1,j-1),

(2)

其中，L(i,j)=▽G(i,j)*I(i,j)，G(i,j)是高斯平滑核.通過式(2)的計算，可以繼續(xù)求得邊緣的幅值方向:

(3)

最后，利用非極大值抑制獲取邊緣判斷的閾值，根據(jù)點(i,j)上、下、左、右4個像素作相同的幅值計算，分別為r1、r2、r3、r4.則計算2個方向上的閾值如下：

(4)

若同時滿足r(i,j)>A1,r(i,j)>A2，則得到一個極大值r(i,j)，對圖像遍歷后得到邊緣輪廓，如圖2所示.從圖2可以看出，引導輪廓線較好地還原了原始彩色圖像(左)在三維空間中的邊界信息，因此，對于傳統(tǒng)超分辨率算法帶來的拷貝損傷和深度滲透等問題，可以起到很好的抑制作用.

圖2 深度圖片輪廓提取

3 基于聯(lián)合雙邊濾波的深度上采樣

對于原始的低分辨率圖像，若直接采用上一小節(jié)的紋理輪廓進行上采樣，則可能會產(chǎn)生大量紋理拷貝所帶來的偽影，這些偽影會在上采樣過程中被同步放大；由于深度圖同樣存在分辨率低等問題，本小節(jié)首先利用原始圖像對引導輪廓線進行修正，去除那些在深度圖像內(nèi)變化較小的輪廓，并與之配對，然后應用聯(lián)合雙邊濾波，對原始圖像進行上采樣.

一般深度圖的分辨率要小于顏色圖像，而顏色圖像產(chǎn)生的紋理輪廓，又必然包含大量相同深度的虛假物體輪廓，因此可以利用紋理輪廓對深度圖像產(chǎn)生的輪廓線進行修正.首先，定義低分辨率深度圖為D，對應的高分辨率紋理輪廓為C，則必須對D進行上采樣，使其達到相同的分辨率.令c=[ci],d=[dj],d′=[di],其中，c、d、d′分別為紋理輪廓圖、低分辨率深度圖和拓展分辨率后的深度圖，且為一維列向量的形式；由于上采樣的關系，d′中包含大量的空數(shù)據(jù)，用0表示，并將c、d、d′中的所有元素數(shù)據(jù)規(guī)范化到[0,1]區(qū)間內(nèi).之后，針對向量c、d′，引入如下公式：

c′=argmin{e(c′)=Ef+αEs},

(5)

其中，c′為修正后的紋理輪廓，Ef、Es分別表示修正后的輪廓與原始輪廓差異，以及深度圖像邊緣的約束屬性.常數(shù)值α為平衡二者的影響，一般認為深度圖約束對物體邊緣影響較大，通過實驗驗證，當α≥8時，可在保持邊緣輪廓細節(jié)的情況下，極大減少虛假輪廓.最后利用IRLS算法[16]對式(5)求解，處理結果如圖3所示，從中可以看出，添加了紋理圖修正后的輪廓線，避免了相同深度不同紋理所帶來的虛假輪廓(如背景圖案、陰影等等)，并且保留了高分辨率輪廓細節(jié)(如圓錐體的頂尖).

左上：紋理輪廓；左下：深度圖像；右：修正后的輪廓線

實現(xiàn)基于聯(lián)合雙邊濾波的深度上采樣，由于深度攝像機與RGB攝像機存在一定視差，在真實水下實驗中，可利用光學相機和深度相機，獲得同一目標同一時刻的水下RGB圖像與深度圖像，即修正后的輪廓線需要與水下RGB圖像進行配對.先通過相機標定(camera calibration，CC)方式確定相機的內(nèi)參矩陣，根據(jù)內(nèi)參矩陣確定深度圖片中三維點在世界坐標系和圖像坐標系間的對應關系，將二維深度圖像坐標轉換至三維空間，結合彩色圖像對應點處的RGB值，完成配準圖像.

最后，深度上采樣，由配對的平滑輪廓作為引導，代入如下公式：

(6)

(7)

其中，σ1和σ2為各項標準差，β和λ取2～4，最后得到圖4.

圖4 輪廓線引導下的超分辨率

4 實驗與應用

本文算法應用于數(shù)據(jù)集CIFAR-100、Set5[17]、Set14[18]下進行相關實驗，這3個測試集均被廣泛地作為圖像超分辨率算法中的測試數(shù)據(jù)集.目前已知的水下圖像數(shù)據(jù)集均不含深度圖像，因此實驗采用了開源項目REALSENSE-ROS[19]獲取RGB圖像所對應的低分辨率深度圖.與目前主流水下單幅圖像超分辨率算法MSIDN[4]、 SRDRM-GAN[5]進行比較，當4倍超分辨率時，選擇了6幅相同的照片進行比較.從圖5可以看出，MSIDN得到的超分辨率圖像局部塊放大后，存在較明顯的錯誤紋理填充；而SRDRM-GAN與本算法的視覺效果較好，但在一些色彩變化較大的圖像上，局部塊放大顯示.SRDRM-GAN產(chǎn)生了一定的邊緣不齊與不準確的像素值，在邊緣顏色填充上，本算法優(yōu)于SRDRM-GAN.

圖5 4倍超分辨率重構結果

在客觀評價分析上，使用PSNR及SSIM兩個指標，對以上3個算法進行比較.表1列出了3種算法進行4倍超分辨率重構的PSNR及SSIM值.從表1可以看出，本研究提出的算法與MSIDN算法、 SRDRM-GAN算法相比，重構出的圖像在PSNR與SSIM值上，均有所提升，特別是在SSIM值上，表現(xiàn)較優(yōu)異.

表1 4倍超分辨率重構結果客觀評價指標

5 結論與展望

為了提高水下圖像的分辨率與清晰度，本文提出了一種基于深度引導的實時水下圖像超分辨率算法.在研究中，先對深度圖提取輪廓線，利用原始圖像對輪廓線進行修正，然后對修正后的輪廓線與水下圖像配對，最終，在輪廓線的引導下，對水下圖像進行上采樣，得到超分辨率圖片.深度輪廓線劃分了不同水下光線傳播距離的影響，避免了水下虛影與噪聲的干擾，最終實驗結果顯示本文算法優(yōu)于目前最好的基于單幅彩色圖片的水下超分辨率算法.由于深度圖只比彩色圖片多一個通道，且輪廓線提取與引導的計算復雜度較低，在圖片分辨率不高的情況下，能夠實現(xiàn)實時計算.

在未來的工作中，計劃利用圖形硬件編程框架，進一步優(yōu)化算法，提高算法效率，并嘗試水下超分辨率視頻應用.