姜小磊， 姚鴻勛， 孫曉帥

(哈爾濱工業(yè)大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院， 哈爾濱 150001)

引言

運(yùn)動模糊是一種非常常見的圖像降質(zhì)過程，可使得所拍攝的照片丟失大量細(xì)節(jié)信息，從而失去使用價值。隨著便攜電子設(shè)備的普及，人們獲得清晰圖像的要求也日益迫切。這使得圖像盲解卷積具有不容忽視的實(shí)際重要意義，研究人員為此付出了巨大努力。圖像非盲解卷積和盲解卷積的區(qū)別在于前者假定模糊核已知，而后者則需要估計出模糊核，因而是需要分別處理的2個問題。圖像盲解卷積的任務(wù)主要是估計出模糊核，有了模糊核后再利用圖像非盲解卷積得到最終的復(fù)原圖像。當(dāng)前，大多數(shù)盲解卷積方法在最大后驗(yàn)概率(Maximum A Posteriori (MAP))框架內(nèi)通過采用合適的清晰圖像先驗(yàn)和模糊核先驗(yàn)來估計模糊核。

基于MAP框架的圖像盲解卷積方法利用了各種各樣的對清晰圖像的先驗(yàn)假定。最常見的是稀疏梯度先驗(yàn)，即假定清晰圖像的差分圖像是稀疏的。很多文獻(xiàn)，包括文獻(xiàn)[1-7]都采用了這個先驗(yàn)，主要區(qū)別在于數(shù)值解法不同，有的利用變量分裂技術(shù)[1-4]，有的利用重加權(quán)最小二乘[5-6]，還有的利用匹配追蹤[7]。鑒于稀疏梯度先驗(yàn)只涉及直接相鄰的2個像素，為了建模更高階的相關(guān)性可以使用圖像塊先驗(yàn)。在模糊核估計中得到應(yīng)用的塊先驗(yàn)包括邊緣塊[8]、塊自相似性[9]、歸一化顏色線[10]、低秩性[11]、暗通道[12]、極值通道[13]。除了上面這些人工設(shè)計的先驗(yàn)之外，近年來還涌現(xiàn)了一些基于學(xué)習(xí)的先驗(yàn)。文獻(xiàn)[14]應(yīng)用了lp范數(shù)梯度先驗(yàn)，但這里的p允許取負(fù)值并且通過訓(xùn)練得到依迭代可變的參數(shù)。文獻(xiàn)[15]利用卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練一個二分類器，該分類器能夠把清晰圖像和模糊圖像區(qū)分開來，因而可以作為先驗(yàn)在MAP框架內(nèi)使用。

一些模糊核估計方法在MAP的框架之外對恢復(fù)的中間隱含圖像顯式地提取顯著邊緣并抑制無關(guān)細(xì)節(jié)。文獻(xiàn)[16]使用了雙邊濾波器和shock濾波器。文獻(xiàn)[2]利用了細(xì)節(jié)梯度和結(jié)構(gòu)邊緣梯度的一個區(qū)別：在一個鄰域內(nèi)前者能夠彼此抵消而后者不能。文獻(xiàn)[8，10]首先尋找可能包含邊緣的圖像塊，然后只在這些圖像塊上應(yīng)用塊先驗(yàn)。文獻(xiàn)[17]借助卷積神經(jīng)網(wǎng)絡(luò)模型提取顯著邊緣并抑制小尺度細(xì)節(jié)，而后再利用l0范數(shù)梯度先驗(yàn)。

如上所述，許多自然圖像盲解卷積方法在估計模糊核的過程中都利用了一種“非自然”的中間隱含圖像[3]，其中只包含顯著的輪廓邊緣而沒有紋理細(xì)節(jié)。本文把模糊核估計的中間隱含圖像與圖像平滑得到的結(jié)構(gòu)分量聯(lián)系起來，分析比較了模糊核估計對隱含圖像先驗(yàn)的要求和保持結(jié)構(gòu)的圖像平滑對結(jié)構(gòu)分量的要求，在此基礎(chǔ)上提出平滑片段計數(shù)正則項(xiàng)作為模糊核估計中隱含圖像的先驗(yàn)。與顯式地提取顯著邊緣的方法[2，8，10，16]相比，本文的方法無需借助各種啟發(fā)式的中間步驟區(qū)分顯著邊緣與細(xì)節(jié)紋理；與其它基于計數(shù)正則化的方法[3，12-13，18]相比，所提方法采用的計數(shù)正則項(xiàng)可以在容許大空間范圍灰度漸變的同時保持階躍邊緣，因而既有助于減少卷積數(shù)據(jù)項(xiàng)的誤差，又保持了足夠的區(qū)分模糊圖像和清晰圖像的判別力。

1 模糊核估計與保持結(jié)構(gòu)的圖像平滑

在盲圖像解卷積中，已知的只有模糊圖像Y，研究目的是要估計出模糊核K，再借助非盲圖像解卷積技術(shù)，從模糊圖像Y和已經(jīng)估計出的模糊核K進(jìn)一步復(fù)原出清晰圖像X。從已知的模糊圖像可以得到待求的模糊核需要滿足的約束條件：X*K=Y，其中“*”代表卷積。當(dāng)然僅僅這個約束條件不足以確定模糊核K，因?yàn)榍逦鷪D像X是未知的。為了縮小求解范圍，需要引入更多的約束條件。一個直接的辦法是利用自然圖像的先驗(yàn)?zāi)Ｐ停M(jìn)而求解如下問題：

(1)

其中，Jx(X)是自然圖像X的先驗(yàn)或正則項(xiàng)，對越不可能出現(xiàn)的自然圖像X，其取值越大。通過求解問題(1)來進(jìn)行盲解卷積的合理性取決于自然圖像先驗(yàn)項(xiàng)Jx(X)。

鑒于自然圖像的先驗(yàn)既難于建模又不能提供與模糊圖像足夠充分的區(qū)分度，這里就不再使用與自然圖像一致的先驗(yàn)項(xiàng)。研究考慮保持結(jié)構(gòu)的圖像平滑問題，也就是把自然圖像X分解為結(jié)構(gòu)分量S和紋理分量T之和，即：

X=S+T

(2)

其中，結(jié)構(gòu)分量S主要包含顯著的結(jié)構(gòu)信息，例如輪廓和大尺度邊緣，而紋理分量主要包含細(xì)節(jié)和噪聲。對上式兩邊與K做卷積可得計算公式如下：

Y=X*K=S*K+T*K

(3)

因?yàn)槟：薑通常是低通濾波器，起平滑作用，而紋理分量T主要包含小尺度的高頻信息，故此可以認(rèn)為T*K≈0。于是就可寫作如下形式：

Y≈S*K

(4)

(5)

其中，Js(S)是結(jié)構(gòu)分量正則項(xiàng)。注意問題(5)與(1)的重要差異在于，研究避開了難于處理且對模糊圖像懲罰度不夠的自然圖像先驗(yàn)項(xiàng)Jx(X)，轉(zhuǎn)而考慮結(jié)構(gòu)分量先驗(yàn)項(xiàng)Js(S)。

與建模自然圖像X相比，建模結(jié)構(gòu)分量S要容易得多。一方面，結(jié)構(gòu)分量的基本要求是應(yīng)當(dāng)對應(yīng)于大尺度的趨勢分量。另一方面，從估計模糊核的角度來看，結(jié)構(gòu)分量所包含的頻率分量應(yīng)該足夠豐富。這是因?yàn)镾*K=Y的頻域形式是F(S)F(K)=F(Y), 所以由F(K)q≈F(Y)q/F(S)q可知：分母的模|F(S)q|越大，F(xiàn)(K)q的估計精度越高，這里的下角標(biāo)q用于指示某個頻率分量。同時結(jié)構(gòu)分量是大尺度的變化趨勢，所以不會缺乏低頻分量。為了保證結(jié)構(gòu)分量也包含豐富充足的高頻信息，應(yīng)當(dāng)允許結(jié)構(gòu)分量中出現(xiàn)亮度跳變。最理想的情況是S為沖激信號，則F(K)等權(quán)值地包含所有頻率成分。當(dāng)然這種情況發(fā)生的可能性不大，更可能出現(xiàn)的是階躍邊緣，此時S也包含豐富的高頻成分，因而可以從Y恢復(fù)出模糊核K的很多信息(沿邊緣的方向除外，因?yàn)镾在該方向只包含直流分量)。很多前人的工作都或顯式、或隱含地利用階躍邊緣來恢復(fù)模糊核[8，10，16]，也是為了利用階躍邊緣所包含的豐富諧波分量來提高模糊核估計的精度。綜合上述2條要求，結(jié)構(gòu)分量應(yīng)該是分段平滑的、并包含較多的高對比度亮度跳變。

2 目標(biāo)函數(shù)

2.1 模糊核估計目標(biāo)函數(shù)研究

按照上面的分析，結(jié)構(gòu)分量的正則項(xiàng)Js(S)應(yīng)當(dāng)既容許亮度跳變又懲罰小尺度的細(xì)節(jié)，計數(shù)正則項(xiàng)可以很好地匹配這一要求。設(shè)想把S分成若干片段，每個片段都不包含小尺度細(xì)節(jié)，則把懲罰施加于片段的數(shù)目即可。換句話說，通過把結(jié)構(gòu)分量建模為分段平滑的，并把平滑片段的數(shù)目作為正則項(xiàng)。為了保證每個片段都是平滑的，最簡單的假定也許是其差分為常數(shù)，即線性擬合。

為了給出平滑片段計數(shù)正則項(xiàng)的定義，先引入一些記號。令x∈N。x的第i個元素記為xi，于是x=(x1,x2,...,xN)。研究把(xi,xi+1,...,xj)叫做x的一個片段，記作xi:j。假定下標(biāo)i1，i2，…，iM，iM+1滿足1=i1

(6)

其中，λ和α是正值參數(shù)。

把式(6)定義的正則項(xiàng)s(·)推廣到圖像，再代入式(5)可得如下估計結(jié)構(gòu)分量S的目標(biāo)函數(shù)的公式表述如下：

(7)

其中，Θ={0°, 90°, 45°, -45°}。 這里，vec(S,n,θ)表示沿著與水平方向夾角為θ的方向掃描圖像S所得的灰度值向量，此處n用于區(qū)別同一方向的不同掃描線。于是，vec(S,n, 0°)代表圖像S的某一行，n用于指示不同的行；vec(S,n, 90°)代表圖像S的某一列，n用于指示具體哪一列。類似可知vec(S,n, 45°)和vec(S,n, -45°)的含義。

注意對于不同的n，vec(S,n, 0°)的長度不變，vec(S,n, 90°)的長度也不變；而對于不同的n，vec(S,n, 45°)的長度可能不同，vec(S,n, -45°)也是如此。

對于運(yùn)動模糊而言，模糊核K可以看作是照相機(jī)在曝光過程中相對運(yùn)動路徑的二維投影，因此在表示模糊核的矩陣中只有少數(shù)元素不為零。這里，就把估計模糊核的目標(biāo)函數(shù)定義為：

(8)

(9)

2.2 模糊核估計算法

式(7)和(9)完整地給出了本文方法的目標(biāo)函數(shù)，應(yīng)用半二次分裂法進(jìn)行交替最小化，即可得到如下的模糊核估計算法。算法設(shè)計內(nèi)容可參見如下。

算法1基于平滑片段計數(shù)正則化的模糊核估計

輸入：模糊圖像Y，隱含圖像S，模糊核K，參數(shù)λ，α，η，ωλ，ωα，ωη，N

輸出：模糊核K，隱含圖像S，參數(shù)λ，α，η

1:forj=1 toNdo

2:βs←10-5

3: whileβs<105do

5: 通過求解(KTK+4βsI)s=KTy+βs∑θ∈Θuθ更新S

6:βs←2×βs

7: end while

8:βk←10-5

9: whileβk<105do

11: ifj≤N-2 then

13: else

14: 通過求解(STS+βkI)k=STy+βku更新K

15: end

16:βk←2×βk

17: end while

18:λ←ωλ×λ，α←ωα×α，η←ωη×η

19:end for

算法1中，第5、12、14行中的粗體大寫字母代表矩陣，粗體小寫字母代表列向量，其中把卷積S*K寫成了Sk或Ks，y1和y2分別是y關(guān)于其第一和第二個自變量的一階差分，S1和S2與之類似。第4行的最小化問題可以分解為若干一維子問題，并且每個子問題都可以借助動態(tài)規(guī)劃算法得到準(zhǔn)確解。第5、12、14行的線性方程組都可以利用共軛梯度法來求解。對于第10行的最小化問題，只需保留K中最大的前ηNK個元素，其余元素置零即可得到更新后的U。

3 實(shí)驗(yàn)結(jié)果

文獻(xiàn)[20]中的數(shù)據(jù)庫包含4張原始清晰圖片，8個模糊核，共計32張模糊圖片。為了保證比較的公平性，在利用不同的方法估計出模糊核之后，研究使用文獻(xiàn)[20]中的非盲解卷積代碼來生成最后的復(fù)原圖像，并利用其中定義的誤差比來設(shè)置定量指標(biāo)。如果把誤差比小于給定數(shù)看作復(fù)原成功，那么算法相對于給定誤差比r的成功率就是指誤差比小于r的圖片在全體圖片中所占的百分?jǐn)?shù)。顯然，給定誤差比r，對應(yīng)的成功率越大說明算法性能越好。圖1給出了幾種方法的誤差比-成功率曲線，其中方法[6]、[12]的誤差比-成功率曲線來自對應(yīng)文獻(xiàn)，其它方法的結(jié)果都來自文獻(xiàn)[18]。與文獻(xiàn)[12]、[18]相同，研究把模糊核的尺寸設(shè)置為實(shí)際尺寸+2。如圖1所示，本文提出方法的誤差比-成功率曲線在其它方法的誤差比-成功率曲線的上方，因而從復(fù)原清晰圖像的角度來說本文提出方法估計出的模糊核更準(zhǔn)確。

圖1 幾種盲解卷積方法在文獻(xiàn)[20]中圖片庫上的比較

Fig.1ComparisonofseveralblinddeconvolutionmethodsonthedatasetinRef.[20]

文獻(xiàn)[21]中的圖片庫包含48幅模糊圖像，對應(yīng)于4幅清晰圖像和12個照相機(jī)運(yùn)動路徑。圖2給出了幾種去模糊算法的定量比較。其中，方法[2]、[16]的數(shù)據(jù)來自文獻(xiàn)[21]，其它方法的數(shù)據(jù)來自對應(yīng)文獻(xiàn)。圖2中每個圖片集的PSNR值都是對12幅模糊圖像的解卷積結(jié)果的平均值，這些模糊圖像對應(yīng)的清晰圖片是一致的。需要指出的是，圖2中列出的不同文獻(xiàn)所使用的非盲解卷積方法不一定相同，這里和文獻(xiàn)[12]、[18]保持一致，都使用了文獻(xiàn)[22]提供的非盲圖像解卷積代碼。本文提出算法中的參數(shù)ηt=0.1。

圖3～5給出了幾種方法對3幅模糊圖像的復(fù)原效果，估計出的模糊核示于復(fù)原圖像的右下角或最右一列?？梢钥吹剑c其它方法相比，本文提出方法在復(fù)原出相當(dāng)?shù)募?xì)節(jié)信息的同時沒有引入過多的振鈴假象。

圖2 幾種盲解卷積方法在文獻(xiàn)[21]中圖片庫上的比較

Fig.2ComparisonofseveralblinddeconvolutionmethodsonthedatasetinRef. [21]

圖3 幾種盲解卷積方法對文獻(xiàn)[21]中模糊圖片庫的一幅圖像的復(fù)原效果

圖4幾種盲解卷積方法對文獻(xiàn)[21]中模糊圖片庫的一幅圖像的復(fù)原效果

Fig.4ComparisonofseveralblinddeconvolutionmethodsforoneimageonthedatasetinRef. [21]

圖5 幾種盲解卷積方法對一幅真實(shí)圖像的復(fù)原效果

4 結(jié)束語

估計模糊核的關(guān)鍵在于如何建模隱含圖像和模糊核。研究把隱含圖像分解為結(jié)構(gòu)分量和紋理分量，其中的紋理分量在模糊之后能量較小，因此建模隱含圖像可以轉(zhuǎn)化為建模其結(jié)構(gòu)分量。在此分析的基礎(chǔ)之上，通過對隱含圖像使用平滑片段計數(shù)正則項(xiàng)，對模糊核使用非零計數(shù)正則項(xiàng)。平滑片段計數(shù)正則項(xiàng)對平滑片段進(jìn)行計數(shù)，既可以濾除紋理細(xì)節(jié)，又可以保持對估計模糊核起重要作用的顯著邊緣。同時對模糊核使用的條件型非零計數(shù)正則項(xiàng)不會導(dǎo)致過于稀疏的模糊核。在對目標(biāo)函數(shù)進(jìn)行數(shù)值優(yōu)化時，研究又應(yīng)用了半二次分裂方法。對模糊圖片的復(fù)原實(shí)驗(yàn)表明本文提出的方法不遜色于當(dāng)前的其它方法。