江齊，蔡若君，葉武劍，劉怡俊，李海濤，何雯軒，劉峰

（1.廣東工業(yè)大學(xué)，廣州 510006；2.廣東訊通科技股份公司，廣州 510030；3.南京郵電大學(xué)圖像處理與圖像通信重點(diǎn)實(shí)驗(yàn)室，南京 210046）

0 引言

隨著智能時(shí)代的快速發(fā)展，如今手機(jī)、攝像機(jī)已經(jīng)存在于千家萬(wàn)戶(hù)，這樣就導(dǎo)致大量的視頻存在。但這些拍攝的視頻很多由于天氣的云霧情況與四周環(huán)境的原因，導(dǎo)致視頻內(nèi)容可能存在著雨霧的遮擋[1]。有很多傳統(tǒng)的方法也能實(shí)現(xiàn)些許的去雨霧，傳統(tǒng)的關(guān)于視頻圖像去雨霧技術(shù)主要采用自適應(yīng)容差的方法，通過(guò)分離圖像內(nèi)容和背景[2]，對(duì)其分別研究可以達(dá)到去除雨霧的效果[7]。

然而傳統(tǒng)的方法需要對(duì)視頻內(nèi)容進(jìn)行大量的處理，這樣導(dǎo)致處理的時(shí)間會(huì)很久，不能達(dá)到實(shí)時(shí)的視頻處理。同時(shí)對(duì)視頻圖像內(nèi)容的處理容易使圖片的完整性遭到破壞，不能很好地保持內(nèi)容的原始性。

為了能更好地得到視頻內(nèi)容的去雨霧的效果，本文使用U-GAN的卷積神經(jīng)網(wǎng)絡(luò)[5]作用于含雨霧的視頻圖像，可以得到很好的去雨霧效果，同時(shí)能很好地保存視頻的完整性。而由于如今神經(jīng)網(wǎng)絡(luò)在因?yàn)镚PU的快速發(fā)展，處理速度得到極速提升，能很好地滿(mǎn)足視頻關(guān)于圖像的處理的速度，以達(dá)到能夠?qū)崟r(shí)處理的效果。

1 相關(guān)工作

視頻圖像處理作用于模糊圖像在很早之前就有存在了，對(duì)于雨霧現(xiàn)象的圖像處理更是屢見(jiàn)不鮮，在這些基于各種原理的圖像去雨霧技術(shù)能夠?qū)崿F(xiàn)一定的去雨霧的效果。

傳統(tǒng)算法中關(guān)于圖像的去雨霧方法中基于圖像增強(qiáng)技術(shù)[2]的去霧方法是通過(guò)改變圖片的明亮程度和對(duì)比度來(lái)改善圖片的視覺(jué)效果，這種方法能在一定程度上提高雨霧天視頻圖像內(nèi)容的清晰度，但是該方法在真實(shí)操作可能會(huì)大范圍影響圖片的顯示效果，使視頻的視覺(jué)效果遭到破壞。去雨的算法有從視頻圖像出發(fā)的，通過(guò)建立雨滴在視頻圖像中的成像模型，達(dá)到去除雨滴的目的。在文獻(xiàn)[3]中采用圖像高頻部分幾何分量的去雨方法[3]，首先使用平滑濾波做圖像分解，得到雨圖像的高頻部分；然后結(jié)合稀疏表示與近鄰傳播算法分離出圖像高頻部分的雨分量，用圖像的高頻部分減去雨分量并做平滑處理，以此作為幾何分量；此外，對(duì)稀疏表示過(guò)程得到的字典進(jìn)行再分類(lèi)，完善雨分量與非雨分量的區(qū)分，最后完成圖像恢復(fù)。

同時(shí)在以往的工作中也存在著基于深度學(xué)習(xí)的方法對(duì)雨霧圖像進(jìn)行處理，在以往的這些辦法中僅僅只能對(duì)單一的雨圖或者霧圖進(jìn)行圖像的去雨[4]和去霧的圖像增強(qiáng)。

而在現(xiàn)實(shí)的視頻圖像中很多都是雨霧同時(shí)存在，所以本方法運(yùn)用GAN網(wǎng)絡(luò)的模型，使用U-GAN算法對(duì)視頻內(nèi)容進(jìn)行整體處理，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)雨霧圖進(jìn)行圖像特征的提取與處理，以達(dá)到同時(shí)能去雨與去霧的圖像的增強(qiáng)[10]。

2 基于GAN網(wǎng)絡(luò)的監(jiān)控視頻去雨霧的增強(qiáng)技術(shù)

我們都了解，對(duì)于視頻的處理大多都是對(duì)視頻進(jìn)行視頻幀先提取，然后再進(jìn)行逐幀處理，最后還原成視頻。這樣處理能降低視頻處理的難度，同時(shí)達(dá)到處理的精確度。本文也是對(duì)針對(duì)圖像進(jìn)行處理，再推廣到視頻。

2.1 數(shù)據(jù)預(yù)處理

在運(yùn)用GAN神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像處理時(shí)首先需要對(duì)數(shù)據(jù)圖像進(jìn)行預(yù)處理[5]，我們通過(guò)拍照、搜索等方式獲取現(xiàn)實(shí)環(huán)境中大量沒(méi)有雨霧的清晰圖像，然后用圖像合成以及各種方法，獲得到清晰圖像對(duì)應(yīng)到雨霧圖。將所有圖像一一編碼，形成對(duì)應(yīng)。由于我們對(duì)圖像要做去雨霧的圖像處理，所以制作數(shù)據(jù)集時(shí)存在著大量的雨霧圖，同時(shí)按一定的比例在其中存在這只有雨干擾或者只有霧干擾的數(shù)據(jù)集，這樣在訓(xùn)練數(shù)據(jù)時(shí)能提高其容錯(cuò)性及魯棒性[9]。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)集流程圖

該網(wǎng)絡(luò)的數(shù)據(jù)輸入流程如圖1所示，根據(jù)數(shù)據(jù)集的數(shù)量多少通過(guò)一定的比例設(shè)置訓(xùn)練集驗(yàn)證集，將訓(xùn)練集以及驗(yàn)證集一起輸入到系統(tǒng)中，獲得去雨霧的模型。

圖1 結(jié)構(gòu)流程圖

2.3 模型參數(shù)設(shè)置

GAN代表了一種基于博弈論的生成模型，其中，生成器網(wǎng)絡(luò)與對(duì)手競(jìng)爭(zhēng)。從分類(lèi)的角度來(lái)看，生成器網(wǎng)絡(luò)G產(chǎn)生了一些實(shí)例，這些實(shí)例積極地試圖“愚弄”鑒別器網(wǎng)絡(luò)工作D，其目標(biāo)是使鑒別器網(wǎng)絡(luò)能夠區(qū)分來(lái)自數(shù)據(jù)集的“真實(shí)”和生成器網(wǎng)絡(luò)產(chǎn)生的“虛假”[7]。

而原始的GAN網(wǎng)絡(luò)用于處理數(shù)據(jù)是為了得到一個(gè)最小最大值：

E代表每個(gè)bath_size圖片的均值，D(y|x)代表在將霧圖或者雨圖作為標(biāo)簽時(shí)將清晰圖像判別為正確的清晰圖像的概率；D(z|x)代表在將霧圖或雨圖作為標(biāo)簽時(shí)將生成圖像判別為正確圖像的概率。

本文由于要處理含模糊雨霧特征的圖像，可能在處理大量數(shù)據(jù)是會(huì)有模糊圖像，參考文獻(xiàn)[4]正文本文采用U-GAN的算法，其損失函數(shù)表示如下[4]：

所以，本文采用的算法總損失：

Px'沿著直線定義為樣本來(lái)自真正的雙點(diǎn)之間數(shù)據(jù)分布，λGD為其線性參數(shù)；Ll1為兩數(shù)據(jù)集的損失。

設(shè)置參數(shù)調(diào)節(jié)，通過(guò)初始化各函數(shù)值，設(shè)置學(xué)習(xí)率以及循環(huán)次數(shù)，通過(guò)觀察循環(huán)次數(shù)獲得最理想的模型。

3 實(shí)驗(yàn)結(jié)果

通過(guò)2.3實(shí)時(shí)調(diào)節(jié)參數(shù)，獲得該理想模型，將所需的視頻圖像輸入到模型中，得到所需的清晰圖像：

圖2 圖像雨霧處理結(jié)果

通過(guò)結(jié)果圖可以看出該深度學(xué)習(xí)GAN網(wǎng)絡(luò)可以同時(shí)處理含雨霧的視頻圖像，達(dá)到很好的去雨霧的效果。

4 結(jié)語(yǔ)

視頻圖像的清晰美化效果在現(xiàn)代圖像處理占據(jù)著很大的比重，本文的基于U-GAN網(wǎng)絡(luò)的圖像去雨霧技術(shù)可以同時(shí)解決圖像被雨霧遮擋的現(xiàn)象，同時(shí)比傳統(tǒng)的圖像處理更加地快速和有效，能更好地保存視頻圖像的完整性，得到更準(zhǔn)確和清晰的圖像。