王 楊,張 鑫,許閃閃,童珺儀,張衛(wèi)東

(安徽師范大學(xué) 計(jì)算機(jī)與信息學(xué)院,241000)

1 引言

由于拍攝目標(biāo)物的不穩(wěn)定性以及光線疊加作用,使得模糊圖像的復(fù)原成為圖片處理領(lǐng)域的一個(gè)重要方向.恰當(dāng)?shù)奶幚韺?duì)于犯罪現(xiàn)場(chǎng)的取證、大氣氣候的勘察與界定以及交通監(jiān)控超速車輛車牌等有著重要意義.

人類的眼球存在視覺暫留效應(yīng),當(dāng)人類看運(yùn)動(dòng)的物體時(shí),看到的每一幀畫面都是一個(gè)時(shí)間長(zhǎng)度大約為1/24 秒的運(yùn)動(dòng)過(guò)程.動(dòng)態(tài)的畫面每一幀都是模糊的.當(dāng)我們得到一張動(dòng)態(tài)模糊的圖片時(shí),由于圖片模糊,我們很難看清圖片中的

文字、場(chǎng)景等具體細(xì)節(jié).此時(shí)需要設(shè)計(jì)一個(gè)合理的數(shù)學(xué)模型,使模型能夠?qū)D像進(jìn)行處理,以達(dá)到當(dāng)?shù)玫揭粡垊?dòng)態(tài)模糊的圖片時(shí),能夠盡可能地得到清晰的畫面,并能識(shí)別圖片中的文字、場(chǎng)景的目的.為了便于考慮和建模,論文中假設(shè)圖片的模糊是由于攝像機(jī)的運(yùn)動(dòng)導(dǎo)致的,即圖中的全部畫面都以一個(gè)相同的速度運(yùn)動(dòng).

圖像復(fù)原領(lǐng)域的傳統(tǒng)方式包括：(1)頻域法,包括逆濾波法、小波變換法等.其中徐大宏[1]主要采用基于正則化的處理方法,圍繞圖像去噪、圖像去模糊兩個(gè)方面進(jìn)行構(gòu)造正則項(xiàng)和模型求解.高如新等人[2]提出一種基于雙邊濾波的去高光方法,能夠有效去除圖像的多區(qū)域局部高光,完成圖像復(fù)原.黃文輝等人[3]在圖像客觀測(cè)試峰值信噪比的基礎(chǔ)上,對(duì)測(cè)試模糊及方塊效應(yīng)等算法進(jìn)行改進(jìn).金飛等人[4]提出改進(jìn)的維納濾波圖像復(fù)原算法,對(duì)退化圖像進(jìn)行二次維納濾波.(2)非線性代數(shù)復(fù)原法,包括最大熵復(fù)原法、神經(jīng)網(wǎng)絡(luò)法等,其中唐賢倫[5]通過(guò)建立條件深度卷積生成對(duì)抗網(wǎng)絡(luò)模型提高圖像的識(shí)別準(zhǔn)確率.徐一峰[6]對(duì)深度學(xué)習(xí)和生成對(duì)抗網(wǎng)絡(luò)的各種模型和應(yīng)用進(jìn)行總結(jié)和討論.蘭妙萍等人[7]將卷積神經(jīng)網(wǎng)絡(luò)和BP 神經(jīng)網(wǎng)絡(luò)相結(jié)合,解決了傳統(tǒng)圖像復(fù)原對(duì)先驗(yàn)知識(shí)具有依賴性的問(wèn)題.(3)線性代數(shù)復(fù)原法,包括有約束復(fù)原法、無(wú)約束復(fù)原法、奇異矩陣分解(SVD)法等,梁曉萍[8]主要研究了運(yùn)動(dòng)圖像去模糊等算法,對(duì)于有無(wú)噪聲和實(shí)拍情景均有一定效果.吳秋峰[9]主要圍繞散焦圖像的圖像去模糊和深度估計(jì)進(jìn)行研究.張玉葉[10]等人利用多個(gè)點(diǎn)擴(kuò)散函數(shù)(PSF)具有聯(lián)合可逆性的特點(diǎn),對(duì)多點(diǎn)擴(kuò)散函數(shù)聯(lián)合進(jìn)行圖像復(fù)原.Zikmund T 等人[11]提出的算法使用加權(quán)最小二乘曲面識(shí)別并分割相位圖像中.(4)頻譜外推法等,包括外推法、能量連續(xù)降減法等.在應(yīng)用領(lǐng)域Chaira T 等人[12]主要研究模糊集理論,并將其應(yīng)用到圖像閾值化,分割,邊緣檢測(cè),增強(qiáng)等工作中.袁飛等人[13]對(duì)當(dāng)前多種網(wǎng)絡(luò)上的視頻質(zhì)量客觀評(píng)價(jià)算法進(jìn)行研究.Zhou W 等人[14]針對(duì)網(wǎng)絡(luò)傳輸視頻過(guò)程中的失真問(wèn)題,對(duì)客觀圖像和視頻質(zhì)量的評(píng)估展開研究.

本文提出一種基于維納濾波器和生成對(duì)抗網(wǎng)絡(luò)的動(dòng)態(tài)模糊圖像處理方法.維納濾波用來(lái)去除含有噪聲的模糊圖像,其目標(biāo)是找到未污染圖像的一個(gè)估計(jì),使它們之間的均方差最小,可以去除噪聲,同時(shí)清晰化模糊圖像.不同圖像由于拍攝設(shè)備的移動(dòng)不同,預(yù)測(cè)很難通過(guò)單一方式找到對(duì)于所有圖片的普適性還原模型,因而嘗試選擇了自由性強(qiáng)、不受預(yù)定條件分布的生成對(duì)抗網(wǎng)絡(luò)處理圖像.

2 相關(guān)算法及方法

2.1 維納濾波去模糊算法

基于濾波的去模糊是通過(guò)一些濾波估計(jì)器,從觀察到的模糊圖像u0中估計(jì)出理想的清晰圖像s,w為相應(yīng)的濾波器,如式(1)表示：

對(duì)于沒(méi)有受模糊影響的噪聲圖像的純?nèi)ピ脒^(guò)程,線性濾波可認(rèn)為是一個(gè)自然的通過(guò)卷積來(lái)抑制噪聲的工具,對(duì)于去模糊,可認(rèn)為是通過(guò)另一個(gè)卷積操作來(lái)去除某一個(gè)卷積操作影響的嘗試.例如在不考慮噪聲的情況下,可通過(guò)傅里葉頻域的形式(式(2))表示,其中傅里葉變換為已知,頻域量記為ω =(ω1,ω2)：

為了解決復(fù)原過(guò)程中這一不穩(wěn)定因素,改進(jìn)上式為：

其中,*表示復(fù)數(shù)的共軛,并嘗試通過(guò)加上一個(gè)正數(shù)因子r=r(ω)來(lái)正則化分母在高頻部分時(shí)的不穩(wěn)定因素：

假設(shè)估計(jì)的結(jié)果記為u?r,則

或者在傅里葉頻域中：

在r＜＜|K|2的低頻部分,圖像的復(fù)原近似等同于預(yù)期；在r＞＞|K|2時(shí),由于k幾乎消失的緣故,高頻部分嚴(yán)重扭曲.因此正則化因子r相當(dāng)于一個(gè)閾值的作用.

由于圖像噪聲會(huì)對(duì)去模糊產(chǎn)生影響,所以選取一個(gè)最優(yōu)的正則化因子尤為重要,為此我們采用維納最小均方誤差原來(lái)實(shí)現(xiàn).

2.2 生成對(duì)抗網(wǎng)絡(luò)模型(GAN)

生成對(duì)抗網(wǎng)絡(luò)(GAN)是于2014年新型提出的,啟發(fā)于博弈論中的二人零和博弈,其中包含了一個(gè)類生成器和一個(gè)類判別器.類生成器根據(jù)輸入噪聲信號(hào)生成“看上去和真實(shí)樣本差不多的”樣本,類判別器用來(lái)區(qū)分類生成器生成的樣本和真實(shí)樣本.以生成照片為例進(jìn)行說(shuō)明(G為類生成器,D為類判別器)：

(1)G接收一個(gè)隨機(jī)的噪聲x,通過(guò)這個(gè)噪聲生成照片,記作G(x).

(2)D(y)判別這個(gè)照片是不是“真實(shí)的”.它的輸入?yún)?shù)為y,y代表一張照片,輸出結(jié)果為D(y)代表y是真實(shí)照片的概率,如果是1,代表是真實(shí)照片,而輸出0,代表不是真實(shí)照片.

(3)在整個(gè)訓(xùn)練過(guò)程中,類生成器盡量生成真實(shí)照片欺騙類判別器.而類判別器盡量把真實(shí)照片和類生成器生成照片區(qū)分開來(lái).這樣就實(shí)現(xiàn)了一個(gè)動(dòng)態(tài)的“博弈過(guò)程”.

作為最新形式下的機(jī)器學(xué)習(xí),生成對(duì)抗網(wǎng)絡(luò)相比于一般神經(jīng)網(wǎng)絡(luò),具有輸出圖像高清、高銳以及對(duì)生成器和判別器普適性的優(yōu)點(diǎn)；相比于其他生成式模型,GAN 不再需要一個(gè)預(yù)先設(shè)定的數(shù)據(jù)分布,具有擬合的最大自由性.

3 基于維納濾波器和GAN 的動(dòng)態(tài)模糊圖像處理

3.1 維納濾波算法的設(shè)計(jì)

維納濾波器w(x)是使得均方估計(jì)誤差

達(dá)到最小的最優(yōu)濾波器：

其產(chǎn)生正交條件：

按相關(guān)函數(shù)可變換為：

從而得到最優(yōu)維納濾波器的顯式形式：

針對(duì)模糊圖形u0=k×u+n,有：

其中,正則化因子r=snn/suu是噪聲信號(hào)比的平方.

圖1 維納濾波圖像處理效果對(duì)比圖

3.2 生成對(duì)抗網(wǎng)絡(luò)模型的設(shè)計(jì)

具體過(guò)程如下：

(1)輸入樣本：輸入數(shù)據(jù)集r(x),設(shè)定其為真實(shí)數(shù)據(jù)樣本.

(2)隨機(jī)生成：通過(guò)隨機(jī)輸入數(shù)y,生成參考是數(shù)據(jù)樣本s(y).

(3)鑒定：在鑒別網(wǎng)絡(luò)中,接收來(lái)自參考數(shù)據(jù)樣本s(y).和真實(shí)數(shù)據(jù)樣本r(x),開始鑒定過(guò)程.

(4)學(xué)習(xí)訓(xùn)練：

① 訓(xùn)練判別器,在不干涉生成器的情況下,使得參考數(shù)據(jù)樣本s(y)和真實(shí)數(shù)據(jù)樣本r(x)的差別盡可能小.

② 訓(xùn)練生成器,在不干涉判別器的情況下,使得參考數(shù)據(jù)樣本s(y)和真實(shí)數(shù)據(jù)樣本r(x)的差別盡可能大.

(5)判斷：利用Sigmoid 函數(shù),當(dāng)對(duì)s(y)返回1,而r(x)返回0 時(shí),重復(fù)進(jìn)行(4),直至分類器對(duì)兩者都判為真.

(6)驗(yàn)證：當(dāng)訓(xùn)練結(jié)束后,觀察輸出結(jié)果,驗(yàn)證是否具有一定的迷惑性.

用數(shù)學(xué)表達(dá)式表示為：

圖2 生成對(duì)抗網(wǎng)絡(luò)(GAN)模型圖

4 實(shí)驗(yàn)及結(jié)果分析

在上述濾波實(shí)驗(yàn)后,我們發(fā)現(xiàn)單純使用傳統(tǒng)方式處理模糊圖像,并未得到較清晰的效果,考慮到可能是由于無(wú)法判定拍攝裝置的移動(dòng)方位,使得圖片的還原不夠精準(zhǔn),故使用生成對(duì)抗網(wǎng)絡(luò)模型(GAN),通過(guò)類生成器和類判別器得到在原圖像上由于位移的影響重疊和損失的有效點(diǎn),并由此得到更加清晰的圖像.對(duì)于本題圖像去模糊的流程如圖3.

圖3 圖像去模糊效果圖

利用這種方式可以在一定程度上解決了圖像在限定條件下,無(wú)法判斷模糊緣由導(dǎo)致的濾波誤差,在這種近似“機(jī)器學(xué)習(xí)”的基礎(chǔ)上,通過(guò)“點(diǎn)找點(diǎn)”的方式較好的還原了模糊的圖像.將這種模糊軌跡定義為“模糊核”,這使得每一幅圖像按照各自定義的特殊模糊核進(jìn)行還原,因而具有可識(shí)別性以及較高的還原度,如圖4.

圖4 “模糊核”圖像處理圖

從圖4(a)可以看出在帆船周邊和山體的軌跡不一致,通過(guò)做出“模糊核”的軌跡,再進(jìn)行復(fù)原得到圖4(b),此時(shí)盡管由于復(fù)原后仍存在一定程度的邊緣模糊情況,但圖像清晰度明顯得到改進(jìn).我們?cè)偻ㄟ^(guò)選擇其他數(shù)據(jù)集,利用指標(biāo)對(duì)于復(fù)原后的一些圖像進(jìn)行對(duì)比,用三個(gè)評(píng)價(jià)指標(biāo)對(duì)這些圖像進(jìn)行客觀評(píng)價(jià)——峰值性噪比PSNR、模糊系數(shù)KBlur、質(zhì)量因素Q,下面分別給出三個(gè)評(píng)價(jià)指標(biāo)的定義：

峰值性噪比PSNR,MSE為原圖像與處理圖像的均方誤差,假設(shè)圖像大小為W×H.

模糊系數(shù)KBlur：

質(zhì)量因素Q：

對(duì)roma,outdoor,lion,girl,flower,building,boat 等7 組圖片進(jìn)行處理,每組中選出三個(gè)樣本,選取其中比較清晰的圖片作為參照,通過(guò)MATLAB 程序計(jì)算其余各圖片的PSNR,KBlur,Q指標(biāo),得到以下結(jié)果：

表1 指標(biāo)對(duì)比圖

在上述圖表中可以看出,通過(guò)生成對(duì)抗網(wǎng)絡(luò)(GAN)的還原,圖片的PSNR,Q指標(biāo)上升,Kblur指標(biāo)下降,因而得出圖像還原較為成功的結(jié)論.

5 結(jié)束語(yǔ)

在科技進(jìn)步的時(shí)代背景下,人們對(duì)于清晰照片的渴望日益增強(qiáng),本文提出了一種基于維納濾波器和生成對(duì)抗網(wǎng)絡(luò)的動(dòng)態(tài)模糊圖像處理方式,通過(guò)選取最優(yōu)正則化因子以及類生成器模擬數(shù)據(jù)樣本從而對(duì)模糊圖像進(jìn)行復(fù)原,并對(duì)評(píng)定圖像清晰度的影響因素指標(biāo)進(jìn)行測(cè)量,進(jìn)而得到圖像復(fù)原較為成功的結(jié)論.由于模糊圖像的復(fù)原涉及到很多不可定因素的影響,故本文限制前提條件為：圖像的模糊是由于拍攝設(shè)備移動(dòng)因素造成的.然而實(shí)際生活中,因受所拍物體移動(dòng)的影響,導(dǎo)致圖像中的全部物體并非按照同一頻率、同一方向模糊,此時(shí)可以對(duì)各類影響因素之間的協(xié)同變化做進(jìn)一步研究.

圖5 實(shí)驗(yàn)對(duì)比圖