盧 晶，胡 鋼，秦新強

?

多約束的運動模糊圖像盲復原方法

盧 晶1，胡 鋼2，秦新強2

（1.商洛學院 數(shù)學與計算機應用學院，陜西 商洛 726000；2. 西安理工大學 理學院，陜西 西安 710054）

運動模糊圖像的盲復原一直以來都是一個極具挑戰(zhàn)的問題。為了能夠準確地估計出運動模糊核（Motion Blur Kernel：MBK），進而得到高質量的復原圖像，提出了一種基于正則化技術的多約束運動模糊圖像盲復原方法。首先，為了能夠準確地提取出圖像中的大尺度邊緣，提出了一種基于梯度選擇的稀疏圖像平滑方法；然后，在MBK的估計階段，根據(jù)運動模糊核的內在特性，提出了一種多約束的正則化模型，同時結合提取的大尺度圖像邊緣，實現(xiàn)了對MBK的準確估計；最后，采用了半二次性的變量分裂策略對在模糊核估計階段所提出的多約束正則化模型進行最優(yōu)化求解，能夠在準確估計MBK的同時得到高質量的復原圖像。分別在人造的模糊圖像和真實的模糊圖像上進行了大量的實驗，實驗結果表明：提出的方法較近幾年的一些代表性的較為成功的運動模糊圖像盲復原方法相比，在主觀的視覺效果和客觀評價指標兩方面都具有明顯的改進。

運動模糊圖像；盲復原；大尺度圖像邊緣；運動模糊核；多約束正則化模型

0 引言

在成像過程中，因為成像系統(tǒng)的偏差、散焦、大氣湍流、噪聲以及成像鏡頭與成像物體的相對位移等眾多因素的影響，不可避免地會造成成像的模糊，質量的下降[1]。如今，隨著便攜式高像素成像設備和高清監(jiān)控設備的普及，在引起圖像質量退化的眾多因素中，由成像設備與被拍攝物體之間的相對運動而造成的圖像運動模糊已成為導致圖像質量下降最主要的因素之一。因此，本論文主要針對運動模糊圖像的盲復原方法進行研究。

運動模糊圖像的盲復原就是在MBK（Motion Blur Kernel：運動模糊核）未知的情況下，僅由觀察到的運動模糊圖像復原出原始的清晰圖像，并準確估計出MBK。BK（模糊核：Blur Kernel）是造成圖像模糊的原因，錯誤的BK不僅不能夠復原出原始的清晰圖像，反而會進一步惡化圖像的質量，因此能否準確估計出引起圖像模糊的BK是模糊圖像盲復原方法成功的關鍵。2006年，F(xiàn)ergus等人利用自然圖像梯度的統(tǒng)計特性成功實現(xiàn)了真實運動模糊圖像的盲復原[2]。該方法對復原圖像進行了自然圖像梯度的統(tǒng)計特性正則化約束，而針對MBK則運用了一種混合的指數(shù)分布來對其進行稀疏性的約束。2008年，Shan等人提出了一種分段函數(shù)來近似自然圖像梯度的分布，對MBK則采用了單一的L1范數(shù)來對其進行稀疏性約束[3]。2009年，Cho等人提出僅利用圖像中的強邊緣會有利于MBK的估計，并提出了一種基于雙邊濾波器、shock濾波器和梯度閾值法的圖像強壯邊緣提取方法[4]。2011年，Krishnan等人提出了一種L1/L2的圖像正則化約束項，但是對MBK對運動模糊核也僅是采用了單一的L1范數(shù)來對其進行稀疏性約束[5]。2012年，Cai等人提出了兩種正則化約束項來同時對運動模糊核的稀疏性和連續(xù)平滑特性進行正則化約束：小波域的L1范數(shù)保證支持域的稀疏特性，運動模糊核像素值強度的L2范數(shù)保證支持域的連續(xù)性[6]。2013年，Xu等人提出了一種基于L0范數(shù)的稀疏表示方法的模糊圖像盲復原方法[7]。2014年，Oliveira等人基于模糊圖像的頻譜，提出了一種運動模糊圖像的盲復原方法[8]。但是該方法只能適用于簡單的勻速直線運動模糊圖像。為了在保護圖像邊緣的同時能夠有效復原出圖像的紋理細節(jié)，唐述等人于2014年提出了一種結合局部全變差模型和非局部全變差模型的圖像復原模型，分別對圖像的邊緣和紋理細節(jié)進行正則化約束[9]。2014年，徐煥宇等人針對圖像非局部梯度信息和圖像塊稀疏表示各自的優(yōu)缺點，提出了一種稀疏表示與非局部全變差相結合的圖像復原模型[10]。2015年，Ma等人提出了一簇分段的線性懲罰函數(shù)，對圖像的梯度進行稀疏性約束[11]。2016年，Pan等人將L0范數(shù)分別運用到了復原圖像的圖像域和梯度域中，并對MBK進行了L2范數(shù)的稀疏性約束[12]。2016年，Schmidt等人將學習的方法運用到模糊圖像的復原處理中，提出了一種遞歸的級聯(lián)樹域方法來實現(xiàn)模糊圖像的復原[13]。

通過對現(xiàn)有的一些具有代表性的，且較為成功的運動模糊圖像盲復原方法的分析可知，現(xiàn)有的方法幾乎都存在一個主要的缺點：在MBK的估計階段，現(xiàn)有的絕大多數(shù)方法僅考慮了MBK的稀疏特性，而忽略了MBK的連續(xù)平滑特性[2-5,7-13]。雖然有少量的方法同時考慮了MBK的稀疏特性和連續(xù)的平滑特性[6]，但實際上它們卻并沒有將MBK的稀疏特性和連續(xù)平滑特性真正完全的表現(xiàn)出來，因為在圖像域進行L2范數(shù)的約束會使得求得的解更加偏向于稀疏而非連續(xù)平滑，因此文獻[6]的方法從某種程度上來說也只是僅對MBK進行了稀疏性的約束。由此可見，現(xiàn)有的方法并不能將MBK的內在特性完全、準確地表現(xiàn)出來，并不能夠真正準確地估計出MBK，從而不能得到高質量的復原圖像。

針對現(xiàn)有方法存在的缺陷，本論文提出了一種新的多約束正則化運動模糊圖像盲復原方法。提出方法的創(chuàng)新點主要有兩方面：①本論文首先提出了一種梯度選擇的稀疏圖像平滑方法來準確提取出圖像中的大尺度邊緣；②在MBK的估計階段，針對MBK的內在特性，提出了一種新的多約束的正則化模型來同時對MBK的稀疏性和連續(xù)平滑特性進行更好地約束，能夠在滿足MBK稀疏性的同時，更好地保證其連續(xù)平滑特性，實現(xiàn)MBK的真正準確估計。為了驗證本論文提出方法的有效性，分別在人造的模糊圖像和真實的模糊圖像上進行了大量的實驗，實驗結果表明：提出的方法較近幾年的一些代表性的且較為成功的運動模糊圖像盲復原方法相比，在主觀的視覺效果和客觀評價指標兩方面都具有明顯的提升。

1 提出的多約束運動模糊圖像盲復原方法

1.1 圖像中大尺度邊緣的提取和銳化

如前所述，在模糊圖像中，僅當圖像中邊緣的尺度大于BK的尺度時，該圖像邊緣才能夠有利于BK的估計。因此，圖像中的大尺度邊緣是相對于BK的尺度而言的，只要圖像中尺度大于BK尺度的圖像邊緣就稱為大尺度的圖像邊緣，反之，剩下的就是小尺度的圖像邊緣和噪聲?；谠撍枷耄菊撐奶岢隽艘环N基于梯度選擇的稀疏圖像平滑方法來準確提取出圖像中的大尺度邊緣，提出方法的數(shù)學模型如公式(1)所示：

再分析公式(1)，加入了權重(,)的公式(1)實際上就是一種各向異性擴散的圖像平滑操作。根據(jù)剛才對公式(2)的分析可知，較小的(,)值會導致(,)較大，從而能夠較好地平滑掉圖像中的小尺度邊緣、噪聲和平滑區(qū)域；相反，較大的(,)值則保證了圖像中的大尺度邊緣所受到的平滑影響較小。因此，很容易想到：只要將圖像塊h(,)的大小設置為等于或者略大于MBK的支持域，那么，在LSIEES階段，本論文所提出的基于梯度選擇的稀疏圖像平滑方法（公式(1)和公式(2)）就能夠很好地平滑掉圖像中的小尺度邊緣和噪聲，將圖像中尺度大于MBK尺度的大尺度邊緣準確地提取出來。

在大尺度邊緣被提取出來之后，還將對其進行初步銳化的預處理，在這里，本論文采用了現(xiàn)有方法中常用的shock濾波器[7]來對提取的大尺度圖像邊緣進行初步的銳化處理。

1.2 MBK的準確估計

如果將MBK轉化成一幅圖像，那么它反映的是成像設備與被拍攝物體之間相對運動的軌跡，是一條很“細”的且連續(xù)平滑的“曲線”，因此MBK應同時具有支持域的稀疏特性和連續(xù)的平滑特性[6]。針對MBK的這些內在特性，在Cai等人方法[6]的啟發(fā)下，本論文提出了一種新的多約束的正則化模型來同時對MBK的稀疏性和連續(xù)平滑特性進行更好地約束，其數(shù)學模型為：

由以上的分析可知，本論文提出的針對MBK的多約束的正則化模型（公式(3)），能夠在滿足MBK稀疏性的同時，更好地保證其連續(xù)平滑特性，將MBK的內在特性完全充分的表現(xiàn)出來，因而能夠估計出更加準確的MBK。結合LSIEES階段所得到的shock濾波之后的大尺度圖像邊緣，本論文提出的MBK估計的數(shù)學模型為：

式中：LS是在LSIEES階段得到的銳化的大尺度邊緣圖像；表示觀察到的運動模糊圖像。需要注意，在LSIEES階段，公式(1)的目的是提取出圖像中的大尺度邊緣，因此最理想的解是S僅具有大尺度的圖像邊緣，圖像中的小尺度邊緣和噪聲都被完全的平滑掉。顯而易見，一幅僅含有大尺度邊緣的圖像的梯度會比沒有平滑的原始圖像的梯度更加稀疏，因此本論中，的取值為0.5。

1.3 圖像的復原

利用在MBKE階段得到的MBK，在圖像的復原階段，本論文采用了文獻[14]的非盲復原方法來對模糊圖像進行復原，其數(shù)學表達式為：

式中：表示待求解的復原圖像；為圖像的正則化參數(shù)。

2 對提出方法的求解

本小節(jié)僅主要介紹對公式(4)的求解，因為對公式(1)的求解可采用同樣的方法，因此這里就不再贅述。針對提出的多約束正則化模型（公式(4)），本小節(jié)將采用半二次性的變量分裂策略對其進行求解，因此公式(4)可等效為：

因此，首先引入一個新的變量1，并產生一個約束項：1＝?，那么提出的模型（公式(4)）便轉化成一個新的非約束最優(yōu)化問題：

接下來，利用交互式的迭代策略對公式(7)進行求解：

①固定1，求解，對應的代價函數(shù)為：

很明顯，這是一個二次性的函數(shù)，因此，直接對求導，并利用快速的傅里葉變換可得到：

為了得到具有物理意義的解，在每一次迭代中，采用了盲復原方法中通用的一類約束條件對估計的MBK進行約束：

式中：max(k)表示k中最大的元素；×為MBK的大小。

②固定，求解1，對應的代價函數(shù)為：

對公式(11)，采用文獻[14]中的方法，得到：

對于圖像的復原（公式(5)），因為本論文是完全采用了文獻[14]的方法，因此，只要將公式(9)中求得的直接代入到公式(5)中，然后直接運用文獻[14]中的方法對其進行求解即可，這里也不再贅述，有興趣的讀者可參考文獻[14]。

式中：u表示在第層第次迭代的復原圖像結果。在算法的初始階段，變量1的初始值為0。

3 實驗結果及分析

本論文將提出的方法與近幾年提出的一些極具代表性的且較為成功的運動模糊圖像盲復原方法進行了比較（文獻[6]，文獻[7]和文獻[11]）。在客觀的評價指標方面，本論文采用了PSNR（Peak-Signal -Noise-Ratio：峰值信噪比），定義為：

來客觀比較本論文實驗中所涉及到的方法的性能，其中ori為原始的清晰圖像；est為復原圖像；ori-max和ori-min分別表示為ori中元素的最大值和最小值。本論文實驗所涉及到的方法均是在Windows7的操作系統(tǒng)上運行的，實驗所用的計算機具有8G內存和2.3GHz的雙核Intel處理器。為了保證實驗的公平性，實驗中的所有實驗結果都是經過了大量的實驗，通過對每種方法中參數(shù)的反復調試，而得到的最佳復原結果。

3.1 提出方法中的參數(shù)設置

式中：×表示模糊圖像的大小。參數(shù)控制著變量1與?之間的相似程度，本論文采用了一種連續(xù)的增加策略，即在算法的初始階段對參數(shù)設定一個較小的初始值，然后在每次迭代之后對的值加倍，也即是：＝1.5－1，直到達到的最大值為止。在本論文的實驗中，的初始值0＝1.5，最大值max＝2×106。

3.2 人造運動模糊圖像的實驗

在人造的運動模糊圖像的實驗中，本論文采用了文獻[7]中所采用的圖像數(shù)據(jù)：4幅255×255大小的灰度級標準測試圖像（如圖1所示）和文獻[7]中所采用的5種不同類型的運動模糊核（如圖2所示）驗證本論文提出方法的性能。圖1所示為本論文實驗中所使用的4幅255×255大小的灰度級標準測試圖像。圖2所示為實驗中所使用的5種不同的運動模糊核。實驗中，所有的模糊圖像均被加入了BSNR＝35dB的加性高斯白噪聲。

圖1 實驗中所采用的4幅灰度級測試圖像

由圖1和圖2可知，該圖像數(shù)據(jù)庫總共可產生出20幅人造的運動模糊圖像。本論文對所有的20幅人造運動模糊圖像均進行了比較實驗，但是因為篇幅的原因，在主觀的視覺比較方面，這里只給出了其中一幅圖像結果的主觀視覺效果比較圖，如圖3所示。圖3(a)所示為利用測試圖像“Face”和MBK5所得到的人造運動模糊圖像。

圖2 實驗中所采用的5種不同類型的運動模糊核

如圖3(b)所示，雖然Cai等人的方法[6]同時考慮了運動模糊核的稀疏性和連續(xù)平滑特性，但是如前所述，該方法實際上還是偏向于稀疏性，因此該方法所估計的MBK仍然會出現(xiàn)間斷，從而導致該方法并不能復原出準確的圖像。Xu等人的方法[7]所估計的MBK會產生出類似于振鈴的瑕疵，并且，該方法所得到的復原圖像呈現(xiàn)出分段常數(shù)的塊狀瑕疵（圖3(c)）。Ma等人的方法[11]所估計的MBK過于集中，并且得到的復原圖像整體較暗（圖3(d)）。相比之下，因為本論文提出的多正則化約束能夠對MBK的稀疏特性和連續(xù)平滑特性進行更好的約束，因此本論文提出方法所估計的MBK最接近真實的MBK，同時能夠獲得最清晰銳化的高質量復原圖像（圖3(e)）。圖3證明了，在人造的運動模糊圖像中，本論文提出的方法能夠得到最好的主觀視覺效果。

接下來，本章節(jié)將利用PSNR來客觀評價所提出方法的性能。如表1所示，從客觀的PSNR這個評價指標方面將本章提出的方法與Cai等人的方法[6]、Xu等人的方法[7]和Ma等人的方法[11]進行了比較。

由表1可以很明顯的看到，本論文提出的方法明顯優(yōu)于另外3種運動模糊圖像盲復原方法，在所有的20幅人造模糊圖像的實驗中總是能夠獲得最高的PSNR值。表1從客觀的評價指標方面證明了本論文提出方法的性能。

3.3 真實運動模糊圖像的實驗

為了進一步驗證本論文提出方法的性能，接下來，將提出的方法運用到真實運動模糊圖像的盲復原中。

圖3 所有方法在測試圖像Face和MBK5上的實驗結果

圖4(a)為文獻[7]中的一幅真實運動模糊圖像，其大小為593×417，在實驗中，我們假定MBK的大小是已知的，對于圖4(a)，MBK的大小被設定為63×63個像素。如圖4(b)所示，與人造的模糊圖像類似，Cai等人的方法[6]所估計的MBK的支持域并不連續(xù)，有明顯的間斷，對應的復原圖像也出現(xiàn)了較多的噪聲干擾和振鈴瑕疵。Xu等人的方法[7]所估計的MBK同樣具有類似的間斷（圖4(c)）。與Cai等人和Xu等人的方法相比，Ma等人的方法[11]能夠估計更合理的MBK，但是其模糊圖像中卻出現(xiàn)了類似于鬼影的瑕疵（圖4(d)）。相比之下，本論文提出的方法不僅能夠估計出更準確的MBK，而且對于復原圖像而言，還能夠有效抑制其他方法中存在的瑕疵，復原出最高質量的復原圖像（圖4(e)）。

圖5(a)為另一幅極具代表性的真實運動模糊圖像，其大小為454×588，其MBK的大小為35×35個像素點。需要注意，該幅圖像中還包含有許多的小尺度的圖像紋理細節(jié)（例如大量的樹葉），因此對該幅圖像是一幅比較有挑戰(zhàn)性的真實運動模糊圖像。如圖5所示，Cai等人的方法[6]、Xu等人的方法[7]和Ma等人的方法[11]的復原結果或多或少都含有一定的瑕疵。Cai等人的方法[6]所估計的MBK同樣具有間斷的現(xiàn)象（圖5(b)）。雖然Xu等人的方法[7]所估計的MBK沒有間斷，但是卻出現(xiàn)了分支；在復原圖像方面，雖然夠復原出較多的圖像細節(jié)，但同時也產生出了嚴重的振鈴瑕疵（圖5(c)）。Ma等人的方法[11]會產生出過度平滑的復原圖像，該類復原圖像中的大部分邊緣和紋理細節(jié)已被平滑掉（圖5(d)）。相比之下，本論文提出的方法估計出了最準確的MBK，沒有間斷，沒有分支；在圖像復原方面，本論文提出的方法能夠在復原出更多的圖像細節(jié)的同時有效抑制其他方法中出現(xiàn)的振鈴瑕疵（圖5(e)）。

表1 文獻[6]中方法，文獻[7]中方法，文獻[11]中方法和本論文提出的方法在所有20幅人造模糊圖像盲復原的實驗中所得到的PSNR (dB)值

圖4 真實運動模糊圖像的盲復原結果、估計的運動模糊核和對應圖像的局部放大圖

圖5 真實運動模糊圖像的盲復原結果、估計的運動模糊核和對應圖像的局部放大圖

4 結論

本論文主要針對運動模糊圖像的盲復原問題進行了研究，主要創(chuàng)新工作集中在MBK的準確估計方面。為了能夠準確地估計出MBK，本論文首先，提出了一種基于梯度選擇的稀疏圖像平滑方法來準確提取圖像中的大尺度邊緣；然后，在MBK的估計階段，針對現(xiàn)有方法中普遍存在的缺點，進步一對稀疏性和連續(xù)平滑特性進行了分析，提出了一種能夠對MBK的稀疏性和連續(xù)平滑特性進行更好約束的多約束正則化模型（梯度域的L2范數(shù)約束連續(xù)平滑特性，梯度域的L0范數(shù)約束稀疏性），能夠在滿足MBK稀疏性的同時，更好地保證其連續(xù)平滑特性，實現(xiàn)MBK的真正準確估計。最后，采用了半二次性的變量分裂策略對提出的模型進行最優(yōu)化求解。在實驗部分，分別在人造的模糊圖像和真實的模糊圖像上進行了大量的實驗，實驗結果表明：提出的方法較近幾年的一些代表性的較為成功的運動模糊圖像盲復原方法相比，在主觀的視覺效果和客觀評價指標兩方面都具有明顯的改進。

將提出的方法運用到實際生活中存在的空間變化的，以及非線性等更加復雜的模糊圖像盲復原中，是接下來研究工作的重點。

[1] GONZALEZ R C, Woods R E. 數(shù)字圖像處理[M]. 阮秋琦, 阮宇智譯. 3版: 北京: 電子工業(yè)出版社, 2011.

GONZALEZ R C, Woods R E.[M]. Translated by Qiuqi Ruan, Yuzhi Ruan. The third edition: Beijing: Publishing House of Electronic Industry, 2011.

[2] Fergus R, Singh B, Hertzmann A, et al. Removing camera shake from a single photograph[J]., 2006, 25(3): 787-794.

[3] SHAN Q, JIA J, Agarwala A. High-quality motion deblurring from a single image[J]., 2008, 27(3): 1-10.

[4] Cho S, Lee S. Fast motion deblurring[J]., 2009, 28(5): 145: 1-145:8.

[5] Krishnan D, Tay T, Fergus R. Blind deconvolution using a normalized sparsity measure[C]//(), 2011: 233-240.

[6] CAI J F, JI H, LIU C Q, et al. Framelet-based blind motion deblurring from a single image [J]., 2012, 21(2): 562-572.

[7] XU L, ZHENG S C, JIA J. Unnatural L0 sparse representation for natural image deblurring[C]//(), Portland, 2013: 1107-1114.

[8] Oliveira J P, Figueiredo M A T, Bioucas D J M. Parametric blur estimation for blind restoration of natural image: linear motion and out-of-focus[J]., 2014, 23(1): 466-477.

[9] TANG S, GONG W G, LI W H, et al. Non-blind image deblurring method by local and nonlocal total variation models[J]., 2014, 94: 339-349.

[10] 徐煥宇, 孫權森, 李大禹, 等. 基于投影的稀疏表示與非局部正則化圖像復原方法[J]. 電子學報, 2014, 42(7): 1299-1304.

XU Huanyu, SUN Quansen, LI Dayu, et al. Projection-based image restoration via sparse representation and nonlocal regularization[J]., 2014, 42(7): 1299-1304.

[11] MA Z, LIAO R, TAO X, et al. Handling motion blur in multi-frame super-resolution[C]//(), 2015: 5224-5232.

[12] PAN J S, HU Z, SU Z X, et al. L0-regularized intensity and gradient prior for deblurring text images and beyond[J]., 2017, 39(2): 342- 355.

[13] Schmidt U, Jancsary J, Nowozin S, et al. Cascades of regression tree fields for image restoration[J]., 2016, 38(4): 677-689.

[14] Krishnan D, Fergus R. Fast image deconvolution using hyper -Laplacian priors[R]. in Proc. Adv. Neural Inf. Process. Syst, Whistler, BC, Canada, 2009.

Multi-constraint Blind Restoration Method for Motion Blurred Image

LU Jing1，HU Gang2，QIN Xinqiang2

(1.,,726000,; 2.,,710054,)

Blind restoration of a motion-blurred image is a long-standing and challenging inverse problem. In order to estimate motion blur kernel (MBK) accurately and obtain a high-quality restoration image, a regularization-based multi-constraint blind restoration method for motion-blurred images is proposed. First, in order to extract the large-scale edges from the image accurately, a sparse image smoothing method, based on gradient selection, is proposed. Then, in the MBK estimation step, based on the inherent properties of the MBK, a multi-constraint regularization model, which combines the extracted large-scale image edges, is proposed. Finally, the multi-constraint regularization model, which is proposed in the MBK estimation step, is addressed by using a half-quadratic variable splitting scheme. Extensive experiments are performed on both synthetic blurred images and real-life blurred images. Experimental results indicate that in comparison with several recent successful representative image blind restoration methods, the proposed method is an improvement not only in terms of subjective vision, but also in terms of objective numerical measurement.

motion blurred image，blind restoration，large scale image edges，motion blur kernel，multi-constraint regularization model

TN911.73

A

1001-8891(2017)12-1098-09

2016-10-09；

2017-03-30.

盧晶（1983-），女（漢），陜西丹鳳人，講師，碩士，主要研究方向為圖形圖像處理、計算機輔助幾何設計。

陜西省科技計劃（工業(yè)攻關）項目（2014K05-22）。