程文博

（1.中國船舶集團有限公司第七一〇研究所，湖北 宜昌 443003；2.清江創(chuàng)新中心，湖北 武漢 430076）

0 引言

隨著對湖泊、江河和海洋的探索不斷深入，對于各類水底地形的刻畫需求也日益增加。目前可通過水下無人潛航器[1]裝配側(cè)掃聲吶得到水底地形原始圖像，通過超分辨率處理，可以獲得更加精細(xì)且清晰的地形圖像，這樣不僅對水下環(huán)境的感知和后續(xù)的自主決策至關(guān)重要，還能提升圖像中小目標(biāo)的探測和識別效果。

圖像超分辨率（Super-Resolution，SR）是在20世紀(jì)60年代由HARRIS 等人[2]首次提出的，他們采用線性插值算法，提高了圖像的空間分辨率。目前主流的超分辨率算法主要有2 種：1）基于圖像插值的方法；2）基于深度學(xué)習(xí)的方法。SR 算法的概述如圖1所示?；诓逯档乃惴ㄊ亲钤绫粦?yīng)用于圖像超分領(lǐng)域的，其中最鄰近元法[3]由SCHULTZ等人提出，此方法相當(dāng)于讓圖像經(jīng)過一個高通濾波器，可以保留圖像的一部分邊緣特征。由HOU 等人提出的雙線性內(nèi)插法[4]，是對插值點附近的4 個相鄰像素進行加權(quán)求和作為插值點的像素值，權(quán)值的大小與插值點和相鄰像素點的距離成反比，所以重建后的圖像細(xì)節(jié)較差，邊緣較模糊。LI 等人提出的三次內(nèi)插法[5]，是對插值點附近的16 個相鄰像素點進行加權(quán)求和作為插值點的像素值，因此重建圖像的邊緣特征會更平滑。

圖1 超分算法概述圖Fig.1 Schematic diagram of SR algorithm

隨著各行各業(yè)對超分辨率的需求不斷增加，基本的插值算法已經(jīng)不能滿足需求，各種新的SR算法如雨后春筍，而現(xiàn)如今深度學(xué)習(xí)的應(yīng)用日益廣泛[6-7]，基于深度學(xué)習(xí)的SR 也得到了迅速的發(fā)展。2014年，香港中文大學(xué)的董超等人[8]首次將卷積神經(jīng)網(wǎng)絡(luò)用于超分領(lǐng)域中，提出了超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Super-Resolution Convolutional Neural Network，SRCNN），通過簡單的3 層卷積結(jié)構(gòu)，完成了圖像從低分辨率輸入到高分辨率輸出的轉(zhuǎn)化，相較于傳統(tǒng)的插值算法，性能有了一定的提升。隨著生成對抗網(wǎng)絡(luò)[9]的興起，生成對抗網(wǎng)絡(luò)在圖像的重建中取得了較好的成績，也逐漸被應(yīng)用于圖像超分領(lǐng)域，LEDIG 等人[10]提出了SRGAN，首次使用生成對抗網(wǎng)絡(luò)來訓(xùn)練SRResNet，使其生成的高分辨率圖像看起來更加自然，相較于SRCNN 有更好的視覺效果。2018年，ZHANG 等人[11]提出了殘差密集網(wǎng)絡(luò)，充分利用了所有層的特征，然后通過特征融合機制極大限度的保留了特征，得到了更好的重建效果。WANG 等人[12]為了進一步提升生成圖像的質(zhì)量，更好的保留原有的細(xì)節(jié)信息，在網(wǎng)絡(luò)中引入了殘余稠密塊（Residual-in-Residual Dense Block，RRDB）取代了殘差塊。哈爾濱工程大學(xué)的梁雪燦[13]在條件生成對抗網(wǎng)絡(luò)[14]（CGAN）的基礎(chǔ)上提出了SR-CGAN 和一種帶有梯度懲罰的深層生成對抗網(wǎng)絡(luò)（DGP-SRGAN），前者可以有效地控制超分辨率圖像輸出，后者對保留細(xì)節(jié)和提高紋理起到了一定的作用。SOH[15]等人在2020年提出了一種基于元學(xué)習(xí)的超分算法訓(xùn)練過程——MZSR，該方法利用元學(xué)習(xí)“學(xué)習(xí)怎樣去學(xué)習(xí)”的特性，在一定程度上解決了小樣本和大量迭代訓(xùn)練的問題。

綜上所述，傳統(tǒng)插值算法存在著圖像整體平滑的問題，處理后圖像中小目標(biāo)的邊緣模糊。本文采用了基于生成對抗網(wǎng)絡(luò)的超分算法，可以在保留紋理細(xì)節(jié)的情況下，將低分辨率圖像轉(zhuǎn)化為高分辨率圖像輸出，通過對圖像聲吶實測數(shù)據(jù)進行處理，驗證了方法的有效性。

1 本文方法及原理介紹

1.1 網(wǎng)絡(luò)結(jié)構(gòu)及預(yù)處理

本文中生成模塊的基本架構(gòu)是SRResNet，但是對于中間的非線性映射結(jié)構(gòu)做出了調(diào)整，本文的非線性映射結(jié)構(gòu)由17 個殘余稠密塊構(gòu)成，其中每個RRDB 均由3 個稠密塊（Dense Block，DB）組成，每個DB 則由3 個conv-LeakyRelu 模塊和1個卷積層構(gòu)成。本文中的判別模塊采用VGG128[16]網(wǎng)絡(luò)。

生成模塊的結(jié)構(gòu)如圖2所示，RRDB 和DB 的結(jié)構(gòu)分別如圖3和圖4所示。

圖2 生成模塊結(jié)構(gòu)圖Fig.2 Generate module structure

圖3 RRDB 結(jié)構(gòu)圖Fig.3 RRDB structure

圖4 DB 結(jié)構(gòu)圖Fig.4 DB structure

在圖像識別領(lǐng)域，卷積層的作用往往是減少或者維持輸入特征圖不變來達(dá)到提取特征的目的，而在生成對抗的超分算法中則是使用上采樣來增加輸入特征圖的大小，從而使輸入的低分辨率圖像變成高分辨率圖像輸出。本文采用轉(zhuǎn)置卷積的方法來達(dá)到上采樣的效果。轉(zhuǎn)置卷積計算過程如圖5所示。

圖5 轉(zhuǎn)置卷積計算過程Fig.5 Transposed convolution calculation process

從圖5中可以看出，轉(zhuǎn)置卷積的計算過程就是kernel 核與輸入的特種圖中，逐個元素相乘，放在對應(yīng)位置，得到不同的特征矩陣，然后逐一相加得到最終的輸出。此處的例子stride=2，所以滑動的步長是2。

1.2 損失函數(shù)

生成模塊的損失函數(shù)可以分為3 個部分：內(nèi)容損失、像素?fù)p失、對抗損失。其中內(nèi)容損失用到的是VGG19 經(jīng)過激活函數(shù)之前的卷積層的輸出特征圖作為計算的輸入，使得其更偏重于紋理上的損失，而像素?fù)p失更偏向于像素層面的損失。其總體損失函數(shù)公式為

式中：LG為總損失；Lcotent為內(nèi)容損失；LGL為對抗損失；Lpixel為像素?fù)p失。

Lcotent損失函數(shù)的公式為

式中：VGG（）為經(jīng)過VGG19 后第20 層的輸出結(jié)果；xiLR為生成模塊輸入的低分辨率圖像；xiSR為xiLR經(jīng)過生成模塊后輸出的高分辨率圖像。

Lpixel損失函數(shù)的公式為

式中：G（xi）為經(jīng)過了生成模塊的輸出；y為原始高分辨率圖像。像素?fù)p失就是計算二者之間的平均絕對誤差。

LGL損失函數(shù)的公式為

式中：N為每次訓(xùn)練的樣本個數(shù)；yi為labels；p（yi）為將樣本識別為正確的概率。

1.3 評價指標(biāo)

在現(xiàn)有的圖像處理算法里，一般常用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）作為圖像質(zhì)量好壞的評價指標(biāo)。PSNR 公式為

式中：yi為真實值；為估計值。

從上式中可以看出，MSE 為處理后圖像和原始圖像的均方誤差，所以MSE 的值越小代表處理后的圖像與原始圖像越相似。因此，當(dāng)PSNR 越大時，說明處理之后的圖像失真程度越小。

SSIM 的公式為

式中：μimg1是img1的平均值；μimg2是img2的平均值；σimg12是img1的方差；σimg22是img2的方差；σimg1img2是img1和img2的協(xié)方差；c1=（k1L）2，c2=（k2L）2，這2 個常數(shù)是用來維持計算穩(wěn)定的；L是圖像像素值的最大值255；k1=0.01；k2=0.03。

SSIM 是衡量2 幅圖像相似度的指標(biāo)，SSIM 的值越大，表示圖像失真程度越小，說明圖像質(zhì)量越好.但是，對于圖像而言，人眼直觀感受仍是最直接的衡量標(biāo)準(zhǔn)。

2 實驗結(jié)果與分析

2.1 實驗環(huán)境

本文中的實驗部分均使用Python 中的深度學(xué)習(xí)框架TensorFlow 完成。

實驗設(shè)備環(huán)境如表1所示。

表1 實驗設(shè)備環(huán)境Table 1 Test equipment environment

2.2 實驗結(jié)果與分析

本文中用到的高分辨率（High Resolution，HR）數(shù)據(jù)集為開源數(shù)據(jù)集DIV2K，對其進行降采樣處理得到分辨率降低4 倍的低分辨率（Low Resolution，LR）數(shù)據(jù)集DIV2K_LRX4，通過上述數(shù)據(jù)集對網(wǎng)絡(luò)進行預(yù)訓(xùn)練。完成預(yù)訓(xùn)練后，通過同樣的處理方式將湖試取得的側(cè)掃聲吶圖像降采樣得到LR 數(shù)據(jù)集，用得到的LR 數(shù)據(jù)集和處理前的側(cè)掃聲吶圖像數(shù)據(jù)集對完成預(yù)訓(xùn)練的網(wǎng)絡(luò)進行微調(diào)。

完成數(shù)據(jù)集構(gòu)建并搭建完網(wǎng)絡(luò)后，開始進行網(wǎng)絡(luò)參數(shù)設(shè)置。其中，batch_size 設(shè)置為8，生成模塊輸入圖像的維度為32×32×3，判別模塊輸入圖像的維度為128×128×3，預(yù)訓(xùn)練網(wǎng)絡(luò)迭代500 000次，后續(xù)訓(xùn)練固化網(wǎng)絡(luò)迭代次數(shù)設(shè)為200 000 次，網(wǎng)絡(luò)訓(xùn)練采用Adam 優(yōu)化算法，網(wǎng)絡(luò)預(yù)訓(xùn)練時初始學(xué)習(xí)率設(shè)置為0.002，迭代次數(shù)每增加200 000 學(xué)習(xí)率乘0.5，后續(xù)訓(xùn)練固化時網(wǎng)絡(luò)訓(xùn)練的初始學(xué)習(xí)率設(shè)置為0.000 1，迭代次數(shù)每增加50 000 學(xué)習(xí)率乘0.5。

訓(xùn)練完成后用2 張低分辨率的樣本圖像來測試網(wǎng)絡(luò)的超分辨率性能，并與其他的超分算法作對比，如線性插值算法、SRGAN、三次插值算法。圖6為樣本圖，測試樣本1 與測試樣本2 經(jīng)過上述算法處理后輸出的圖像分別如圖7和圖8所示。

圖6 測試樣本Fig.6 Test samples

圖7 樣圖1不同超分算法效果對比Fig.7 Comparison of effects of Sample Figure 1 with different SR algorithms

圖8 樣圖2不同超分算法效果對比Fig.8 Comparison of effects of Sample Figure 2 with different SR algorithms

分別計算經(jīng)過超分算法處理過后的圖像和原始HR 圖像之間的PSNR 和SSIM 值，將得到的結(jié)果整理如表2所示。

表2 各方案PSNR/SSIM 處理結(jié)果對比表Table 2 Comparison of PSNR/SSIM values in different methods

從圖7和圖8可以直觀地看出使用本文方法得到的超分辨率圖像視覺效果最好，目標(biāo)的邊緣細(xì)節(jié)更加清晰，目標(biāo)特征得到了突出體現(xiàn)。從表2中計算得到的PSNR 和SSIM 數(shù)據(jù)也可以看出，本文方法的 PSNR 和 SSIM 要明顯優(yōu)于插值算法和SRGAN。

結(jié)合圖7、圖8和表2可驗證本文所述方法可以在一定程度上解決側(cè)掃聲吶圖像中目標(biāo)模糊的問題，在有效地保留原始圖像中原有特征的同時，還可提升圖像中小目標(biāo)的邊緣細(xì)節(jié)及小目標(biāo)本身的清晰度，為后續(xù)目標(biāo)精準(zhǔn)識別等過程提供了實現(xiàn)基礎(chǔ)。

3 結(jié)束語

本文提出了一種基于生成對抗網(wǎng)絡(luò)的側(cè)掃聲吶圖像超分辨率處理方法。實測數(shù)據(jù)處理表明：該方法可有效解決側(cè)掃聲吶圖像分辨率低、小目標(biāo)細(xì)節(jié)模糊、邊緣不清晰等問題。通過與傳統(tǒng)的插值算法和SRGAN 做效果對比，可以看出本文所述方法可有效避免插值算法帶來的圖像整體平滑的缺點，且相較于SRGAN 而言，該方法圖中目標(biāo)的細(xì)節(jié)更清晰、邊緣更加突出，為后續(xù)的側(cè)掃聲吶圖像的目標(biāo)檢測與識別打下了良好的基礎(chǔ)。對檢測與識別網(wǎng)絡(luò)而言，如果待檢測圖像中小目標(biāo)的特征更明顯，邊緣更鮮明，檢測出目標(biāo)的概率和識別目標(biāo)種類的準(zhǔn)確率也會更高。