岳燦 官斌 楊栩萌

摘? 要：模糊核估計(jì)在圖像盲去模糊問(wèn)題中十分重要。然而，目前大多數(shù)方法都沒(méi)有考慮到利用模糊核本身的結(jié)構(gòu)信息。針對(duì)這一問(wèn)題，文章首先通過(guò)觀察發(fā)現(xiàn)結(jié)構(gòu)較為集中的模糊核可以恢復(fù)出更高質(zhì)量的圖像，然后設(shè)計(jì)了一種使得模糊核結(jié)構(gòu)更集中的約束項(xiàng)，最后基于該約束項(xiàng)提出了一種圖像盲去模糊的模型。實(shí)驗(yàn)結(jié)果表明，該方法相較于其他方法在峰值信噪比性能上有較大提升，可以更好地恢復(fù)出圖像細(xì)節(jié)與紋理。

關(guān)鍵詞：圖像盲去模糊;模糊核估計(jì);結(jié)構(gòu)先驗(yàn);變分模型

中圖分類號(hào)：TP391.41

Image Blind Deblurring Algorithm Based on Fuzzy Kernel Structure ConstraintYUE Can1，GUAN Bin2，YANG Xumeng3（1.Hubei Provincial Corps of Chinese Peoples Armed Police Force，Wuhan? 430070，China;2.The Seventh Military Representative Office of Naval Equipment Department in Wuhan，Wuhan? 430205，China;3.Jiangsu Automation Research Institute，Lianyungang? 222061，China）Abstract：Fuzzy kernel estimation is very important in image blind deblurring. However，most of the current methods do not consider using the structure information of fuzzy kernel itself. In response to this problem，the article first found through observation that the fuzzy kernel with a more concentrated structure can restore a higher quality image，and then designed a constraint that makes the fuzzy kernel structure more concentrated，and finally proposed a image blind deblurring model is based on the constraint. Experimental results show that compared with other methods，this method has a greater improvement in peak signal-to-noise ratio performance，and can better restore image details and textures.

Keywords：image blind deblurring;fuzzy kernel estimation;structure prior;variational model

0? 引? 言

在現(xiàn)實(shí)成像中，經(jīng)常會(huì)因?yàn)閿z像設(shè)備抖動(dòng)、散焦、衍射等原因產(chǎn)生模糊現(xiàn)象。模糊導(dǎo)致圖像信息丟失，圖像質(zhì)量退化，給工作和生活帶來(lái)了極大的影響。目前，模糊圖像處理在日常拍攝、智能監(jiān)控和智能安防等領(lǐng)域應(yīng)用廣泛。視頻監(jiān)控系統(tǒng)是作者所在單位指揮信息系統(tǒng)的重要組成部分，在遂行任務(wù)中發(fā)揮著重要作用。在實(shí)際應(yīng)用中，受現(xiàn)場(chǎng)光線和設(shè)備性能指標(biāo)等影響，容易出現(xiàn)圖像模糊不清的現(xiàn)象，需要采用模糊圖像處理技術(shù)，對(duì)模糊圖像進(jìn)行清晰化處理，確保視頻監(jiān)控系統(tǒng)高質(zhì)量運(yùn)行，提升指揮效能。模糊圖像的形成，通?？梢岳斫鉃榍逦鷪D像與模糊核卷積的結(jié)果。圖像去模糊，就是按照模糊圖像形成的逆過(guò)程，從退化降質(zhì)的圖像中，盡可能恢復(fù)出原始清晰圖像。根據(jù)模糊核是否已知，圖像去模糊可分為非盲去模糊[1]和盲去模糊[2]。

非盲去模糊是指通過(guò)各種方法預(yù)先獲取模糊核信息，然后在模糊核已知的前提下進(jìn)行圖像去模糊復(fù)原，此時(shí)，模糊圖像復(fù)原就轉(zhuǎn)化為模糊卷積過(guò)程的逆運(yùn)算問(wèn)題。經(jīng)典的非盲去模糊方法有Tikhonov算法、Wiener算法、Richardson-Lucy（RL）算法等。在現(xiàn)實(shí)生活中，絕大多數(shù)模糊核都是不可預(yù)知的，在這種情況下進(jìn)行模糊圖像還原的方法，稱為盲去模糊。對(duì)于盲去模糊來(lái)說(shuō)，通常我們只有一幅模糊圖像，去模糊問(wèn)題不再是單一的反卷積問(wèn)題，必須爭(zhēng)取從現(xiàn)有的模糊圖像獲取更多的信息，繼而利用先驗(yàn)知識(shí)和稀疏約束條件對(duì)未知的模糊核進(jìn)行估計(jì)，最終得到清晰圖像。圖像盲去模糊研究的三大關(guān)鍵問(wèn)題分別是圖像去模糊模型、去模糊方法和質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)。其中，作為一種經(jīng)典的描述圖像模糊過(guò)程的方法，圖像的退化模型簡(jiǎn)單易懂，且通過(guò)該模型可以很好地理解圖像的退化過(guò)程;同時(shí)，對(duì)圖像質(zhì)量的評(píng)價(jià)也有公認(rèn)的幾種指標(biāo)準(zhǔn)則;最復(fù)雜多樣的是模糊圖像的去模糊方法，所以盲去模糊的研究關(guān)鍵和熱點(diǎn)是去模糊方法。近年來(lái)，學(xué)者對(duì)盲去模糊方法進(jìn)行了大量研究，其中正則化約束與范數(shù)結(jié)合的方法得到廣泛應(yīng)用，其主要思想是對(duì)待估計(jì)清晰圖像進(jìn)行不同類型的先驗(yàn)約束。Krishnan等[3]通過(guò)添加L0正則項(xiàng)來(lái)約束圖像的稀疏性，提出基于圖像梯度的L0正則項(xiàng)約束去模糊方法，方帥等[4]提出基于圖像梯度L1和L2比值形式正則項(xiàng)約束的去模糊方法，能夠更有效的進(jìn)行稀疏約束，PAN等[5]提出一種基于文本圖像強(qiáng)度和梯度稀疏先驗(yàn)的L0正則化約束的去模糊方法，并將其去模糊應(yīng)用范圍增至低亮度自然圖像。模糊核的估計(jì)在盲去模糊中非常關(guān)鍵，結(jié)構(gòu)較為集中的模糊核可以恢復(fù)出更高質(zhì)量的圖像，上述這些方法沒(méi)有考慮到利用模糊核本身的結(jié)構(gòu)先驗(yàn)信息。本文對(duì)PAN等[5]提出的算法進(jìn)行改進(jìn)和優(yōu)化，設(shè)計(jì)了一種使得模糊核結(jié)構(gòu)更集中的約束項(xiàng)，從而獲得更為精準(zhǔn)的模糊核估計(jì)，取得更好的去模糊效果，并通過(guò)試驗(yàn)仿真證明了本文算法的有效性。

1? 模型圖像去模糊的數(shù)學(xué)模型可以表示為：y=x*k+n

（1）其中，y為模糊圖像，也就是現(xiàn)有的圖像;x為清晰圖像，也就是去模糊后希望得到的圖像;k為模糊核;*為卷積算子;n為噪聲。由式（1）可知，圖像模糊的主要因素是模糊核k。因此，圖像去模糊的關(guān)鍵環(huán)節(jié)就是如何通過(guò)模糊圖像估計(jì)出模糊核。從退化的模糊圖像y恢復(fù)清晰圖像x是一個(gè)求逆過(guò)程，而求逆是一個(gè)不定性問(wèn)題（ill-posed problem），直接進(jìn)行逆濾波往往效果很差，正則化模型是能有效解決該問(wèn)題的一種常用方法。正則化模型的合理構(gòu)建，是解決去模糊問(wèn)題的關(guān)鍵環(huán)節(jié)。研究者通常會(huì)在模型中，對(duì)待估計(jì)的清晰圖像和模糊核分別加入一定的先驗(yàn)知識(shí)作為求解的限定條件，用能量最小化的方法建立以下模型：-2其中，0為差異性函數(shù)，使估計(jì)出的圖像盡可能地相似于原模糊圖像，為了方便求解和計(jì)算，一般采用L2范數(shù)進(jìn)行表示;1為建立在圖像先驗(yàn)知識(shí)上的約束項(xiàng)，用來(lái)保持圖像的梯度和強(qiáng)度特征;2為建立在模糊核先驗(yàn)知識(shí)上的約束項(xiàng)，用來(lái)對(duì)模糊核進(jìn)行正則化;λ和γ為權(quán)重。將0用L2范數(shù)表示后，式（2）轉(zhuǎn)化：-3求解（3）存在兩種思路，第一種是在對(duì)x和k進(jìn)行交替迭代估計(jì);第二種是先基于圖像退化模糊核進(jìn)行去模糊復(fù)原，再以此為基礎(chǔ)，利用非盲圖像去模糊算法來(lái)估計(jì)清晰圖像，即先估計(jì)k，然后運(yùn)用非盲去模糊方法估計(jì)出x。一般采用第一種思路即交替迭代的方法來(lái)求解x和k，可將式（3）拆分為以下兩個(gè)式子：-4-5式（4）把模糊核k作為已知值，對(duì)中間清晰圖像x進(jìn)行估計(jì);式（5）把清晰圖像x作為已知值，對(duì)模糊核k進(jìn)行估計(jì)。兩個(gè)過(guò)程交替迭代，直到收斂，就能估計(jì)出清晰圖像x和模糊核k。文獻(xiàn)[5]針對(duì)文本圖像的強(qiáng)度和梯度進(jìn)行了統(tǒng)計(jì)分析，發(fā)現(xiàn)相比于模糊圖像，清晰圖像的強(qiáng)度和梯度都更為稀疏，基于此稀疏特點(diǎn)，得到文本圖像的強(qiáng)度和梯度先驗(yàn)：P（x）=σPt（x）+Pt（?x）?????? ? ? ?（6）其中，Pt（x）為圖像的強(qiáng)度;Pt（?x）為圖像的梯度;σ為權(quán)重。將式（6）代入式（3），并對(duì)模糊核用L2范數(shù)表示，得到圖像去模糊正則化模型：-7文獻(xiàn)[5]還分析了幾種不同的方法去模糊的效果，如圖1所示。（a）模糊圖和模糊核（b）方法一還原的圖像和估計(jì)出的模糊核（c）方法二還原的圖像和估計(jì)出的模糊核（d）方法三還原的圖像和估計(jì)出的模糊核圖1? 文本圖像去模糊及模糊核估計(jì)結(jié)果對(duì)比圖其中圖1（a）為模糊圖和原模糊核，圖1（b）、圖1（c）、圖1（d）分別對(duì)應(yīng)三種去模糊方法還原的圖像和估計(jì)出的模糊核。通過(guò)觀察可知，圖1（b）和圖1（c）對(duì)應(yīng)的方法估計(jì)出的模糊核結(jié)構(gòu)較散，圖像還原的效果很不理想，圖1（d）對(duì)應(yīng)的方法估計(jì)出的模糊核結(jié)構(gòu)最為集中，還原出的圖像效果最佳。由此可知，結(jié)構(gòu)較為集中的模糊核可以恢復(fù)出更高質(zhì)量的圖像。

目前大多數(shù)方法都沒(méi)有考慮到利用模糊核本身的結(jié)構(gòu)信息，為了使估計(jì)出的模糊核結(jié)構(gòu)更為集中，在式（7）的基礎(chǔ)上，本文提出了一種改進(jìn)的約束項(xiàng)? ，其中，⊙為兩個(gè)矩陣的哈達(dá)瑪積（Hadamard product），結(jié)構(gòu)化權(quán)值如下：-8其中，i和j為像素矩陣的行數(shù)和列數(shù)，ω為權(quán)重系數(shù)。將改進(jìn)的約束項(xiàng)應(yīng)用到式（7）的第三項(xiàng)中，得到本文算法的正則化模型：-9其中，ψ為權(quán)重系數(shù)。2? 算法我們通過(guò)交替求解式（10）、式（11）來(lái)求解式（9）：-10-11下文具體論述這兩個(gè)子問(wèn)題的求解。2.1? 通過(guò)k估計(jì)x由于式（10）中有L0正則化項(xiàng)，最小化式（10）通常被認(rèn)為是難以計(jì)算的?；诎攵畏至袻0最小化方法，文獻(xiàn)[6]提出了一種交替最小化法來(lái)求解。通過(guò)引入輔助變量u和g=（gh，gv）T分別代替x和?x，式（10）改寫(xiě)為：-12其中，σ為式（6）中定義的權(quán)重，當(dāng)β和μ接近無(wú)窮大時(shí)，式（12）的解近似等于式（10）的解。式（12）可以通過(guò)固定其他變量，交替地單獨(dú)最小化x、u、g來(lái)有效求解。u和g的值被初始化為零。每次迭代中，通過(guò)求解式（13）得到x的解：-13該最小二乘最小化問(wèn)題的閉型解為：-14其中，F(xiàn)（·）和F -1（·）為離散傅立葉變換（FFT）和離散傅立葉逆運(yùn)算（IFFT），為復(fù)共軛，，?h和?v為水平和垂直方向的微分算子。對(duì)于給定的x，通過(guò)以下兩個(gè)式子來(lái)計(jì)算u和g：-15式（15）是一個(gè)像素最小化問(wèn)題，根據(jù)文獻(xiàn)[6]，u和g的解為：-16-17算法一歸納了式（12）的求解過(guò)程。算法一：輸入：模糊圖y和模糊核k;x←y，β←2λσ重復(fù)通過(guò)式（16）得到uμ=2λ重復(fù)通過(guò)式（17）得到g通過(guò)式（14）得到xμ=2μ直到μ>μmax?β=2β直到β>βmax輸出：中間估計(jì)圖像x2.2? 用x估計(jì)k對(duì)于給定的x，式（11）是一個(gè)最小二乘極小化問(wèn)題，可以通過(guò)快速傅立葉變換方法求解。研究表明直接從式（11）得到的基于強(qiáng)度值的解是通常不準(zhǔn)確的[7，8]，可以用式（18）來(lái)估計(jì)梯度空間中的模糊核k：-18該最小二乘最小化問(wèn)題的解為：-19得到k后，我們將負(fù)元素設(shè)為0，并將其標(biāo)準(zhǔn)化，使其元素的和為1。

模糊核估計(jì)過(guò)程使用圖像金字塔以從低分辨率到高分辨率的方式執(zhí)行。算法二給出了金字塔結(jié)構(gòu)中單獨(dú)一層的模糊核估計(jì)算法的主要步驟。算法二：模糊核k估計(jì)算法輸入：模糊圖yfor I=1：5通過(guò)算法一得到x通過(guò)式（19）

得到k結(jié)束輸出：模糊核k和中間估計(jì)圖像x。

3? 實(shí)驗(yàn)仿真在這一節(jié)中，為了驗(yàn)證本文新提出算法的有效性，我們將本文提出的算法與其他幾種相近的去模糊方法對(duì)比進(jìn)行實(shí)驗(yàn)評(píng)估。參與對(duì)比的方法主要是文獻(xiàn)[3]和文獻(xiàn)[5]提出的去模糊方法。實(shí)驗(yàn)采用文獻(xiàn)Levin等提供的樣品集[9]，由4幅清晰圖像和8幅模糊核組成，其中清晰圖像尺寸均為255×255，模糊核尺寸最小為13×13，最大為27×27，清晰圖像和模糊核如圖2所示。通過(guò)組合利用模糊核對(duì)清晰圖像進(jìn)行退化，共產(chǎn)生32張模糊圖像用于本文實(shí)驗(yàn)仿真。本論文算法的參數(shù)設(shè)置為：λ=4e-3，γ=2，σ=1，βmax=23，μmax=1e5。

為客觀地展現(xiàn)本文方法的有效性，實(shí)驗(yàn)一采用峰值信噪比（PSNR）作為性能指標(biāo)對(duì)所選圖像進(jìn)行了仿真。PSNR是圖像處理中常用的評(píng)價(jià)指標(biāo)，該值越高說(shuō)明圖像復(fù)原的質(zhì)量越好。32張模糊圖采用三種方法去模糊的仿真結(jié)果如圖3所示。其中，橫坐標(biāo)xi，kj表示輸入的模糊圖像為第i張清晰圖經(jīng)第j個(gè)模糊核退化后得到，縱坐標(biāo)為計(jì)算得到的PSNR值。

實(shí)驗(yàn)二選取了Levin樣品集中的2張模糊圖，對(duì)幾種去模糊方法的還原效果進(jìn)行直觀評(píng)價(jià)，實(shí)驗(yàn)結(jié)果如圖4所示。

從圖3可以看出，本文提出算法有效提高了PSNR，復(fù)原質(zhì)量比另外兩種對(duì)比方法更優(yōu)。

圖4可以非常直觀地看出，本文方法恢復(fù)圖像的視覺(jué)效果明顯好于另外兩種方法，可以更好地恢復(fù)出圖像細(xì)節(jié)與紋理，取得了更好的圖像去模糊效果。

4? 結(jié)? 論

本文提出了一種基于模糊核結(jié)構(gòu)正則化約束的圖像盲去模糊算法。該算法設(shè)計(jì)了一種基于模糊核結(jié)構(gòu)先驗(yàn)的正則項(xiàng)，來(lái)使得估計(jì)出的模糊核更為集中。通過(guò)實(shí)驗(yàn)結(jié)果證明，本文算法相比于其他去模糊的算法，能夠取得更好的視覺(jué)效果和峰值信噪比，提升了圖像去模糊性能。另一方面，本文算法也存在一定局限性：首先，本文算法中的參數(shù)設(shè)置都是經(jīng)驗(yàn)取值，不夠魯棒;其次，本文算法不適用于過(guò)/欠曝光圖像，因?yàn)樗鼈儾环蠄D像成像過(guò)程是線性這一假設(shè)。因此，在今后的研究中，將考慮研究自適應(yīng)參數(shù)設(shè)定和更加有效的先驗(yàn)信息。

參考文獻(xiàn)：[1] WHYTE O，SIVIC J，ZISSERMAN A，et al. Non-uniform Deblurring for Shaken Images [J].International Journal of Computer Vision，2012，98（2）：168-186.

[2] LEVIN A，F(xiàn)ERGUS R，DURAND F，et al. Image and depth from a conventional camera with a coded aperture [J].ACM Transactions on Graphics（TOG），2007，26（3）：70.

[3] KRISHNAN D，TAY T，F(xiàn)ERGUS R. Blind deconvolution using a normalized sparsity measure [C]//Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE，2011：233-240.

[4] 方帥，劉遠(yuǎn)東，曹洋，等.基于模糊結(jié)構(gòu)圖的模糊核估計(jì) [J].電子學(xué)報(bào)，2017，45（5）：1226-1233.[5] PAN J S，HU Z，SU Z X，et al. Deblurring Text Images via L0-Regularized Intensity and Gradient Prior [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2014：2901-2908.

[6] XU L，LU C W，XU Y，et al. Image smoothing via L0 gradient minimization [J].ACM Transactions on Graphics，2011，30（6）：1-12.

[7] CHO S Y，WANG J，LEE S Y. Handling outliers in non-blind image deconvolution [C]//2011 International Conference on Computer Vision.IEEE，2011：495-502.

[8] LEVIN A，WEISS Y，DURAND F，et al. Efficient marginal likelihoodoptimization in blind deconvolution [C]//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition.Washington：IEEE Computer Society，2011：2657-2664.

[9] LEVIN A，WEISS Y，DURAND F，et al. Understanding Blind Deconvolution Algorithms [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（12）：2354-2367.

作者簡(jiǎn)介：岳燦（1982—），男，漢族，湖北當(dāng)陽(yáng)人，助理工程師，碩士，研究方向：通信與信息系統(tǒng);官斌（1979—），男，漢族，湖北武漢人，工程師，碩士，研究方向：軍事裝備系統(tǒng)監(jiān)造及效能評(píng)估;楊栩萌（1988—），男，漢族，江蘇連云港人，助理工程師，學(xué)士學(xué)位，研究方向：軍用顯控設(shè)備軟硬件。