孫 建

（重慶工程學(xué)院，重慶 401320）

0 引言

水下光學(xué)圖像作為傳輸海洋信息的主要載體，對探索與開發(fā)海洋起著至關(guān)重要的作用。但由于水下成像環(huán)境復(fù)雜，水體以及懸浮顆粒對光的吸收與散射作用，導(dǎo)致水下拍攝到的圖像存在顏色失真、細(xì)節(jié)模糊等問題［1-3］，給準(zhǔn)確地提取圖像信息帶來了極大的困難.因此，為了獲得清晰、真實的水下光學(xué)圖像具有重要的意義［4-5］。

隨著生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）被廣泛地應(yīng)用于水下圖像處理方面［6］，Zhu 等［7］使用循環(huán)對抗神經(jīng)網(wǎng)絡(luò)（CycleGAN）來學(xué)習(xí)各種各樣的自然圖像，提出了圖像到圖像轉(zhuǎn)換的循環(huán)變換，CycleGAN可以在沒有混濁干凈圖像對的情況下進(jìn)行訓(xùn)練，但是因數(shù)據(jù)集的分布特性可能會導(dǎo)致圖像恢復(fù)效果不理想。Xu 等［8］利用CycleGAN 建立渾濁和潔凈水下圖像之間的直接映射，同時利用暗通道優(yōu)先方法（Dark Channel Prior，DCP）估計介質(zhì)傳輸，以提高水下圖像質(zhì)量，但在非均勻光照下無法產(chǎn)生一個可信的圖像。Li 等［9］提出了水對抗神經(jīng)網(wǎng)絡(luò)（WaterGAN）在無監(jiān)督管道中從空中圖像和深度對生成真實的水下圖像，用于單目水下圖像的顏色校正，提出了一種需要參數(shù)化的漸暈?zāi)Ｐ停朔椒ㄔ趯HL數(shù)據(jù)集的還原上仍然顯示一些漸暈。Phillip 等［10］提出了一種基于條件GAN 的監(jiān)督圖像增強框架并把它命名為pix2pix，并建立了一個全卷積鑒別器來處理圖像塊，但訓(xùn)練方法需要大量的成對圖片。Chen 等［11］提出了一種具有多分支鑒別器GAN-RS來提高水下圖像的質(zhì)量，但訓(xùn)練參數(shù)需要仔細(xì)設(shè)置或調(diào)整，如果使用不正確的設(shè)置進(jìn)行訓(xùn)練，生成模型可能會在輸出圖像中產(chǎn)生偽影。這些模型仍然存在一些缺點，如增強圖像中的偽影、不切實際的顏色偏移或模糊效果。

本文提出了一種基于多尺度融合GAN 水下視頻圖像增強方法，將特征融合與跳級連接引入到生成器結(jié)構(gòu)中，建立生成器和判別器網(wǎng)絡(luò)，并通過與現(xiàn)有的水下圖像增強方法定性與定量進(jìn)行比較，從而使水下圖像圖片更符合真實的水下環(huán)境，也可解決因退化現(xiàn)象而保留下來的偏色問題。

1 水下圖像增強方法

本文的水下視頻圖像增強方法MSFF-GAN 的模型結(jié)構(gòu)，如圖1 所示，其中，Convnxn-256 為卷積核大小為n×n通道數(shù)為256 的卷積層，upsample為上采樣，G為生成網(wǎng)絡(luò)和D為判別網(wǎng)絡(luò)。其增強過程：①在G中對放入訓(xùn)練的噪聲圖像X進(jìn)行多尺度特征提取，使G在訓(xùn)練過程中生成虛假樣本Y；②將Y與標(biāo)簽GT 通過Concate操作輸入到D中，并經(jīng)過5 層下采樣操作，得到16 ×16 的矩陣；③D需要對輸出的16 ×16 矩陣做真假判斷，并返回一個概率值，并將這個概率值傳遞給損失函數(shù)進(jìn)行調(diào)整。

圖1 圖像增強模型

1.1 生成網(wǎng)絡(luò)G

本文重新對G進(jìn)行了構(gòu)造：①對X進(jìn)行一層3 ×3 卷積；②將結(jié)果X1輸入到本文的多尺度特征融合模塊（Multi-Scale Feature Fusion，MSFF）中，利用多尺度卷積對圖像進(jìn)行特征提取。多尺度特征融合模塊共包含有4層，為了使每一層的輸入特征圖大小不一樣：①每一層都是對X1進(jìn)行卷積操作，卷積核大小分別為7×7、5 ×5、3 ×3、1 ×1；②對layer1 經(jīng)過3 ×3 卷積，接著對提取得到的水下特征使用1 ×1 的卷積進(jìn)行卷積操作，目的是進(jìn)行特征的整合，便于后續(xù)的操作；③在layer1層，需要對1 ×1 卷積結(jié)果進(jìn)行2 倍上采樣，目的是為了將layer1 的結(jié)果與layer2 的輸入進(jìn)行Concat操作。layer2、layer3 的操作與layer_1 類似，而layer4的倍上采樣結(jié)果需要與X1進(jìn)行Concat 操作，其結(jié)果經(jīng)過1 ×1 的卷積操作得到G的輸出。

1.2 判別網(wǎng)絡(luò)D

本文的判別網(wǎng)絡(luò)D主要用于對生成網(wǎng)絡(luò)輸出的結(jié)果進(jìn)行判斷：在D中將Y和標(biāo)簽GT作為輸入，進(jìn)行真假的判斷；D對Y和GT進(jìn)行4 層下采樣操作，且每層卷積核的大小均為3 ×3，步長為2，采用了Same 的方式對特征圖進(jìn)行了填充，同時還利用L-ReLU 和批量歸一化（BN）對特征圖進(jìn)行非線性和歸一化處理；對4 層下采樣的結(jié)果進(jìn)行一個3 ×3 的卷積取代傳統(tǒng)的全連接層。D的輸出為16 ×16 區(qū)域，并對多個16 ×16區(qū)域真假判斷，實現(xiàn)對Y和GT的分塊判別，分塊判別的示意圖如圖2 所示。

圖2 分塊判別示意圖

在D中對放入判別網(wǎng)絡(luò)中的圖片進(jìn)行真與假的判斷，對每一張圖片劃分成多個相同大小的16 ×16 的矩陣D［12］，Di則表示第i個對應(yīng)小塊的概率值，并將這個概率值傳遞給G和D的損失函數(shù)，不斷優(yōu)化模型。這樣的方法通過對每個塊進(jìn)行差別的判別，實現(xiàn)了局部圖像特征的提取和表征，有利于實現(xiàn)更為高分辨率的圖像產(chǎn)生，而且這種機制也能夠?qū)⒕植繄D像特征和整體圖像特征相融合。

1.3 損失函數(shù)

網(wǎng)絡(luò)的損失計算包括內(nèi)容損失［9］平均絕對誤差損失［10］和傳統(tǒng)生成對抗損失3個，其中內(nèi)容損失

式中：x，y分別為原始圖片與生成器生成的圖片；i為第i個像素點；Φ(x)為從VGG19 網(wǎng)絡(luò)［13］預(yù)處理提取到的內(nèi)容特征，即內(nèi)容損失表示為原始圖片上的每個像素點減去生成圖片上的每個像素點的值平方再求和。

平均絕對誤差［10］表示原始圖片上的每個像素點減去生成圖片上的每個像素點的值取絕對值再求和，其表達(dá)式為

傳統(tǒng)生成對抗損失LGAN包含了2 個部分：對生成器進(jìn)行優(yōu)化；對判別器的優(yōu)化。其計算表達(dá)式為

式中：E(*)為函數(shù)的期望值；D(*)為判別器；G(*)為生成器；z表示隨機噪聲；Pdata（x）為真實樣本的分布；Pz(z)為定義在低維的噪聲分布。本文的網(wǎng)絡(luò)中，期望的判別器能夠使D(G(z))值越小，1-D(x)的值越大，即生成器能夠?qū)D片上的隨機噪聲出去，這樣可以使生成器生成的圖片更好。

最終，損失函數(shù)的表達(dá)式為

式中，λ1、λ2為超參數(shù)，本文設(shè)λ1＝0.7，設(shè)λ2＝0.3。

2 實驗與分析

本實驗均在Intel（R）Core（TM）i5-6300HQ CPU＠2.30 GHz，8 GBRAM 的PC 機上進(jìn)行，并且使用NVIDIA GeForce GTX 960M 顯卡進(jìn)行加速。使用TensorFlow庫來實現(xiàn)本文提出的水下圖像增強模型。

2.1 數(shù)據(jù)來源

訓(xùn)練數(shù)據(jù)集包括EUVP數(shù)據(jù)集［15］。EUVP數(shù)據(jù)集共含有22 430張圖片，包含有4 260 張成對的圖片，包含了在海洋探索和人機合作過程中收集的圖像，也包含了一些從公開的視頻中提取的圖像。此外，本文還在測試階段使用到了RUIE 數(shù)據(jù)集，該數(shù)據(jù)集包含UIQS、UCCS及UHTS三大類數(shù)據(jù)，其采集地點位于黃海海域張子島附近0.5 m 處海床上方，所有視頻均在每天8：00～11：00 和13：00～16：00 的2 個時段由22個防水?dāng)z像機拍攝，數(shù)據(jù)集內(nèi)包含魚類、海膽、扇貝、海參等海洋生物。從EUVP數(shù)據(jù)集中選取了3 000 對數(shù)據(jù)進(jìn)行訓(xùn)練；從EUVP 未成對數(shù)據(jù)和RUIE 數(shù)據(jù)集中各選取了100 張圖片進(jìn)行測試。

2.2 訓(xùn)練參數(shù)設(shè)定

本文使用了Adam 優(yōu)化函數(shù)來代替隨機梯度下降，學(xué)習(xí)率為0.000 3，一階矩估計的指數(shù)衰減率β1為0.5，二階矩估計的指數(shù)衰減率β2為0.999。通過對收集到的4 200 對圖片進(jìn)行無監(jiān)督地訓(xùn)練水下圖像增強模型，本實驗中，批處理大小為4，共迭代30 000次；訓(xùn)練過程中每隔50 次迭代計算出當(dāng)前生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的損失值；每隔2 000 次迭代隨機輸出3 張樣張和樣張增強后的圖像；每2 100 次迭代輸出當(dāng)前訓(xùn)練的模型，并以h5 格式保存。

2.3 結(jié)果與分析

為驗證本文方法的有效性，將本文的水下圖像增強方法與DCP 方法、自適應(yīng)直方圖均CHALE［1］、Pix2pix［14］、CycleGAN［15］、WaterGAN、GAN-RS［12］等這些水下圖像增強方法進(jìn)行了PSNR、SSIM 以及UIQM指標(biāo)的定性與定量比較列于表1。由表1 可見，相較于其他的水下圖像增強方法，本文提出的方法在PSNR、SSIM 以及UIQM 值上均較對比方法有了明顯的提升，其中PSNR值相較于GAN-RS提升了1.203 4，增幅約為5.1%；SSIM 值與GAN-RS 提升了0.035 8，增幅約為4.1%。

表1 各方法的PSNR，SSIM值對比

圖3 為不同水下圖像增強模型測試比較結(jié)果，由圖可知，對比其他水下圖像增強模型，DCP 方法［2］處理后的圖像與原始圖像并無太大差別，甚至在圖3（d）～（e）圖像的測試結(jié)果中加重了圖像中的綠色，導(dǎo)致產(chǎn)生的圖片顏色失真的加劇。CHALE 方法［1］雖然對圖像進(jìn)行了增強，但是對圖3（a）～（c）增強的結(jié)果所示，可以清楚地看到在結(jié)果中對原始圖像中顏色較深的區(qū)域過度重建。Pix2pix［14］方法產(chǎn)生的結(jié)果圖3（b）～（e）中普遍呈現(xiàn)淡黃色，這與本文的事實并不符合。而ClycleGAN是與本文的結(jié)果最吻合的一組，但對圖3（c）的增強后，對退化現(xiàn)象的處理仍不夠完美。WaterGAN、GAN-RS這二者對比本文的方法都存在著同樣的一個問題，對圖3（b）～（e）增強后的結(jié)果顯示對原始圖像中的偏色問題處理不夠好。本文提出的方法產(chǎn)生的數(shù)據(jù)在沒有噪聲產(chǎn)生的基礎(chǔ)之上，既符合事實又消除了因退化現(xiàn)象而導(dǎo)致原始圖片偏色問題。

圖3 不同水下圖像增強模型測試比較

表2 為各模型的UISM、UICM、UIConM、UIQM 值對比，由表可見，UISM值在WaterGAN中取得最大值，UICM在CycleGAN 中取得最大值，UIConM 在DCP 中取得最大值。本文方法雖然在UISM，UICM 以及UIConM三項數(shù)據(jù)上并不能取得最高的值，但本文方法能夠得到最高的UIQM 值。相比于GAN-RS 模型，本文方法的UIQM值提高了0.031 7。

表2 各模型UISM，UICM，UIConM，UIQM值對比表

3 結(jié)語

本文提出一種基于多尺度融合GAN 水下視頻圖像增強方法，與目前已有的水下圖像增強模型進(jìn)行了比較實驗，實驗結(jié)果表明，本文提出的水下圖像增強方法生成的水下圖像圖片更符合真實的水下環(huán)境，在解決因退化現(xiàn)象而保留下來的偏色問題上也具有良好的可行性。本文將利用通道補償?shù)姆椒ㄟM(jìn)一步開展圖像增強，以對高度退化的水下圖片修飾修復(fù)工作。