楊國亮， 王 楊， 賴振東

(江西理工大學 電氣工程與自動化學院，江西 贛州 341000)

0 引 言

隨著陸地資源的大量消耗，對海洋資源的探索就顯得尤為重要。但是光在水中傳播時受到水介質(zhì)的影響，往往拍攝到的水下圖像存在著模糊不清，顏色失真等問題，對后續(xù)的目標識別及分割造成不利的影響。近年來，各種水下圖像修復與增強的方法層出不窮，圖像修復方面如Chiang J Y等人[1]提出的通過暗通道先驗的方法進行水下圖像增強模型。Wen H等人[2]通過分析光的衰減特性，從圖像藍綠通道中的信息求取暗原色通道，同時對紅色通道的折射率進行估計，實現(xiàn)水下圖像的修復。李黎等人[3]通過改進的暗原色先驗算法消除散射光以及白平衡算法對顏色進行校正，在水下圖像修復方面取得不錯效果。圖像增強方面有Singh K等人[4]提出的基于基于遞歸直方圖均衡化的水下圖像增強方法，隨著深度學習的飛速發(fā)展，在圖像的識別[5]、分割[6]以及超分辨重建[7]等方面取得巨大的進展,徐巖等人[8]提出了基于卷積神經(jīng)網(wǎng)絡(convolutional neural networks,CNN)的水下圖像增強方法，通過顏色失真與圖像模糊化方法建立水下圖像庫.成功將CNN應用于水下圖像增強。

本文提出了一種基于條件生成對抗網(wǎng)絡(conditional generation adversarial networks,CGAN)的水下圖像增強算法，通過改進生成器與判別器模型，利用CGAN模型，將完全配對的輸入與輸出圖像作為輸入，生成器模型采用U-net[9]網(wǎng)絡架構同時在原始生成對抗網(wǎng)絡(generative adversarial networks，GAN)[10]損失函數(shù)中引入了L1loss進行修正。結果表明，訓練出的模型對水下圖像有明顯的增強效果。

1 相關理論

GAN最早是在2014年由Goodfellow I提出。GAN可看作是一個從隨機噪聲Z到輸出圖像的映射的模型，生成器模型G，通過輸入一個隨機的噪聲Z產(chǎn)生一些生成數(shù)據(jù)并將其傳遞給判別器，判別器D的工作是同時接收生成器所產(chǎn)生的數(shù)據(jù)以及真實的數(shù)據(jù)，并判斷其接收的數(shù)據(jù)是來自真實數(shù)據(jù)或是來自生成器偽造的樣本，并將結果反饋回生成器。GAN的目標函數(shù)就是生成器G與判別器D的極小極大值博弈，其目標函數(shù)V(D,G)為式(1)所示

Ex～pz(z)[log(1-D(G(z)))]

(1)

式中Pdata(x)為真實數(shù)據(jù)分布，Pz(z)為生成的數(shù)據(jù)分布。

2 基于CGAN的水下圖像增強

2.1 CGAN

CGAN在GAN的基礎上在生成網(wǎng)絡與判別網(wǎng)絡中加入額外的標簽信息條件，使用額外條件信息對模型增加條件，可以指導數(shù)據(jù)的生成過程。實驗中將水下圖像作為條件信息與隨機噪聲Z同時輸入到生成器中，模型通過學習輸入的原始水下圖像和隨機噪聲Z到清晰圖像之間的映射關系，達到水下圖像增強的效果。CGAN的目標函數(shù)V(D,G)如式(2)所示

Ex～pz(z)[log(1-D(x,G(x,z)))]

(2)

式中 函數(shù)D(x,y)為輸入到判別器D的圖像屬于真實圖像的概率，函數(shù)D(x,G(x,z))為輸入到判別器D的圖像屬于生成器G生成的概率。

2.2 生成器

本文主要采用的是CGAN 的網(wǎng)絡結構，為了盡量地保存圖片的原始信息，生成器G采用的是U-Net網(wǎng)絡而不是傳統(tǒng)的CNN，其結構與編碼解碼器相似，不過與傳統(tǒng)的編碼解碼器不同的是U-Net網(wǎng)絡采用了跳躍鏈接技巧，結構如圖1所示。U-Net網(wǎng)絡將低層與高層特征圖信息相結合，能夠有效地保留更多圖像細節(jié)信息。

圖1 U-Net與編/解碼器結構

其中模型生成器G總共包含15層，其中前8層為卷積層，后7層反卷積層。生成器G的前半部分可以看作一個編碼器，對輸入的原始水下圖像進行卷積下采樣操作，進行特征提取，對提取到的特征使用批歸一化(BN)處理同時使用LeakyReLU函數(shù)作激活函數(shù)。而生成器G的后半部分相當于對應的解碼器，采用反卷積網(wǎng)絡，對輸入的低維特征進行上采樣操作，將低維特征還原到最初的尺寸，得到清晰的水下圖像，以達到端到端的學習。為防止過擬合現(xiàn)象的出現(xiàn)，對每層反卷積的特征采用BN與Droupout操作，采用Relu函數(shù)對網(wǎng)絡進行激活操作，最后與tanh函數(shù)連接。本文生成器G的網(wǎng)絡模型如圖2所示。

圖2 生成器G網(wǎng)絡結構

2.3 判別器

判決器D主要是對接收到的生成器G生成的圖像與真實圖像做出判斷。實驗中判別器D模型采用了一個5層的卷積網(wǎng)絡，將生成的水下圖像與清晰圖像作為判別器D的輸入，所有的卷積層都采用BN層與LeakyReLU激活層，在網(wǎng)絡的最后一層采用Sigmod激活函數(shù)，將判別結果映射到[0,1]區(qū)間，輸出為1，則代表清晰的水下圖像，0則代表生成器G所生成的水下圖像，判別器D的網(wǎng)絡模型如圖3所示。

圖3 判別器D網(wǎng)絡結構

2.4 損失函數(shù)

實驗模型除了引用標準的CGAN的損失函數(shù)外，由于輸入和輸出之間共享了很多信息，為了保證輸入圖像與輸出圖像的相似度，還加入了L1的損失函數(shù)。標準的CGAN網(wǎng)絡的損失函數(shù)為

LCGAN(G,D)=

Ex,y[logD(x,y)+Ex,z[log(1-D(x,G(x,z))]

(3)

式中G為生成器，D為判別器，x為輸入的水下圖像，y為真實圖像(清晰圖像)。為了得到更多的低頻信息，增加生成圖像的清晰度，對G施加L1懲罰，即

LL1(G)=Ex,y,z[‖y-G(X,Z)‖]

(4)

同時為了平衡兩個損失函數(shù)，加入超參數(shù)λ進行調(diào)節(jié)(λ設為100)，這樣標準CGAN損失能夠捕捉到圖像的高頻特征，而L1損失則負責捕捉低頻特征，使得生成的結果更加真實與清晰。最終本文所采用的的損失函數(shù)為

(5)

3 實驗分析

3.1 數(shù)據(jù)增強

由于只能提供少量水下與清晰圖像對，無法滿足訓練要求，本實驗通過對無水圖像進行模糊化以及顏色衰減處理，模擬同一情景下的水下圖像，獲得水下圖像與相匹配的清晰圖像對。同時為保證訓練效果，本文通過數(shù)據(jù)增強的方式對樣本進行增加。通過對圖像旋轉(zhuǎn)，水平垂直方向的翻轉(zhuǎn)、平移變換等方法對訓練數(shù)據(jù)進行增強。由于所獲圖像分辨率各有不同，所以將所有圖像壓縮至256像素×256像素，并進行歸一化處理，同時將相對應的水下圖像與清晰圖像進行拼接。

3.2 實驗設置

本次實驗是基于Tensorflow深度學習框架下完成，計算機配置為inter Core i5—6300HQ處理器，NVIDIA GTX 1060顯卡，8 GB RAM。在模型訓練中，由于樣本數(shù)據(jù)較少，將batchsize設置為1，對于訓練大規(guī)模樣本，可適當提高相應的batchsize值。模型epoch的值設為200，在GPU加速下，總耗時8 h完成本次模型訓練。模型采用Adam算法進行網(wǎng)絡優(yōu)化，實驗中Adam算法的學習率設為0.000 2。

3.3 實驗結果

為了驗證本文算法的實際應用效果，利用水下真實場景的圖像對網(wǎng)絡進行評測并與其他算法進行對比。如圖4所示。從圖中看出，文獻[1]的方法能夠有效地增加水下圖像的對比度，但是色彩失真依舊嚴重。文獻[2]的方法由于只考慮藍綠通道的衰減信息，導致增強后的圖像整體偏暗紅色。文獻[3]通過改進的暗原色先驗與顏色校正后得到的圖像在對比度與顏色失真方面明顯優(yōu)于前兩種方法。最后是通過本文算法增強的圖像，可以看出圖像所包含的噪聲較少，畫面比較清晰，同時在顏色校正的效果也比較好。

圖4 真實場景下不同方法的增強

為了更好地說明本算法對水下圖像增強的有效性，本文采用圖像質(zhì)量評價標準信息熵(information entropy)與峰值信噪比(PSNR)對不同算法進行客觀評測。信息熵是衡量圖像所包含信息的一個重要指標，而峰值信噪比是對圖像壓縮等領域中信號重建質(zhì)量的主要測量方法，兩者的值越大則代表圖像包含的信息越多，噪聲越少，圖像質(zhì)量越高。評價結果如表1所示，結合主觀視覺感受和表1數(shù)據(jù)可以看出本文所提算法對水下圖像有著明顯的增強效果。

4 結 論

針對水下圖像存在的顏色失真以及由于水濁度不同所產(chǎn)生的圖像模糊問題,本文結合深度學習，提出了一種基于

表1 不同方法的客觀評價

CGAN的水下圖像增強算法，采用U-Net網(wǎng)絡結構，引入L1損失改進生成網(wǎng)絡，通過端到端的學習，實現(xiàn)了水下圖像到清晰圖像之間的轉(zhuǎn)換。與傳統(tǒng)的方法相比，本文方法更加智能，同時具有更好的增強效果，解決了人工提取特征難的問題。最后通過結果分析與客觀評測，證實本文方法能夠有效地增強水下圖像。