楊愛萍，梁 斌，何宇清，張莉云，魏寶強

（天津大學電子信息工程學院，天津 300072）

聯合新型分塊稀疏表示和梯度先驗圖像盲復原

楊愛萍，梁 斌，何宇清，張莉云，魏寶強

（天津大學電子信息工程學院，天津 300072）

針對目前基于稀疏表示的圖像盲復原算法計算量大且細節(jié)恢復能力有限等問題，提出一種新的圖像盲復原方法.首先針對現有稀疏表示模型中重疊分塊計算復雜度高的問題，提出一種多模式非重疊分塊策略，在每種模式下獨立求解復原圖像，然后對各模式下復原圖像求平均以消除“偽像”；另外，用范數作為稀疏性度量，將圖像梯度稀疏先驗融入基于稀疏表示的圖像盲復原模型.最后，本文提出了聯合新型分塊字典稀疏表示和圖像梯度稀疏先驗的盲復原模型，采取迭代方法交替估計模糊核和待復原圖像.實驗結果表明，該方法在主觀和客觀評價下均取得較好的復原結果，并顯著降低算法整體復雜度.

盲復原；新型分塊字典稀疏表示；梯度稀疏先驗

圖像復原是典型的病態(tài)逆問題，根據模糊核是否已知可將圖像復原算法分為兩大類：一類是當模糊核已知時，稱為非盲復原問題，如維納濾波［1］和RL算法［2］是兩種最常見的非盲復原方法；另一類是當模糊核未知時，稱為盲復原問題，需要從退化圖像中同時估計出模糊核和原始圖像.

近年來，圖像盲復原技術成為研究的熱點，學者們提出了一系列有效算法.其中一類方法基于自然圖像梯度的稀疏性先驗而提出，Fergus等［3］提出變分貝葉斯方法，對圖像梯度的重尾分布用混合高斯模型進行建模.Krishnan等［4］使用la（a=0.5～0.8）范數度量稀疏性對圖像進行約束，提高了對自然圖像梯度重尾分布的擬合度.在此基礎上，Krishnan等［5］提出了基于l1/l2范數的稀疏性度量，保證算法收斂于全局最優(yōu)解.這些方法取得了很好的復原效果，但都需要求解反卷積問題，導致算法不穩(wěn)定且計算量大.

隨著稀疏表示理論的發(fā)展，基于字典稀疏表示［6-7］的圖像盲復原方法取得了一系列進展.Hu等［8］提出一種基于自適應字典學習的圖像盲去模糊算法，但該算法僅適用于小的核模糊，對于大的核模糊圖像復原效果很差.Zhang 等［9］提出基于稀疏表示的圖像盲去模糊算法，但因對圖像塊進行字典稀疏表示與重構，導致復原后圖像塊連接構成整幅圖像時產生“偽像”，影響圖像整體復原效果.Jia等［10］聯合字典稀疏表示和空域約束，以及Li等［11］引入正則化規(guī)范，均取得了不錯的復原效果，但對細節(jié)的恢復能力有限，仍需進一步改進.

筆者針對目前基于稀疏表示的盲復原算法中存在的計算復雜度高、細節(jié)恢復能力有限、易產生“偽像”等不足，結合字典稀疏表示和圖像梯度先驗約束，提出了一種新的圖像盲復原算法.主要包括：為了降低算法的復雜度，引入一種新的圖像非重疊分塊方式，并利用高效的稀疏編碼方法，提高訓練字典的自適應性和編碼的有效性；融入新的圖像稀疏先驗和模糊核先驗，構造新的代價函數.實驗結果表明，本文方法可有效克服目前算法中普遍存在的缺陷.

1　基于稀疏表示的圖像盲復原

1.1圖像盲復原問題

圖像模糊退化過程可建模如下：

式中：x和y分別為原始清晰圖像和模糊圖像字典排列的向量形式；k為模糊核或點擴散函數；n為加性高斯白噪聲；*為卷積運算符.由此可知，圖像復原過程即為由模糊加噪圖像y估計清晰圖像x的過程.當未知量個數小于已知變量個數時，圖像盲復原是典型的欠定問題，需要利用正則化方法融入圖像的先驗信息以得到穩(wěn)定解，常表示為如下最優(yōu)化問題：

式中：ρ（x）為正則化項，?；谧匀粓D像的先驗信息而給定［12-14］；φ（k）為模糊核先驗正則化項；μ和β分別為圖像先驗和模糊核正則化參數，μ≥0，β≥0.

1.2基于稀疏表示的圖像盲復原模型

在稀疏模型中，圖像通常被分解成很小的塊進行稀疏表示和重構［15］.對于給定的圖像x∈Rn，令為圖像塊提取矩陣，則每個圖像塊可表示為

如果圖像塊xi具有稀疏性，則xi可由過完備字典D∈Rn×L（n＜L）的原子進行線性表示，即

式中：字典D每1列稱為1個原子；αi為圖像塊xi在字典D下的稀疏表示系數.整幅圖像可表示為

由式（2）可知，基于稀疏表示的圖像盲復原模型可表示為

式中：Ri為提取圖像的第i塊的矩陣；公式右邊第1項為保真項，確?；謴偷膱D像與原始清晰圖像盡可能地接近；第2和第3項為圖像塊在過完備字典D下的稀疏表示；ξi和ψi分別為字典表示和稀疏系數向量參數，ξi≥0，ψi≥0；第4項為模糊核約束項.

1.3現有分塊模式的缺陷

如前所述，在稀疏表示模型中，圖像通常被分解成很小的塊進行稀疏表示和重構.為了降低復原圖像的塊效應，目前通常采用重疊取塊方式，如圖1所示.這種重疊取塊方式可在一定程度上抑制復原圖像的塊效應，但需要對每一塊進行稀疏表示.一方面，相鄰的塊具有相似特征，會產生過多無用的稀疏系數；另一方面，需要對每一塊進行復原計算，大大增加了算法的復雜度，而且恢復的圖像常常出現“偽像”［9］.

圖1　圖像重疊取塊方式Fig.1 Method of overlapping image patches

另外，目前基于稀疏表示的圖像盲復原框架中，對圖像先驗的約束常采用l1范數進行稀疏性度量.由文獻［5］可知，l1范數僅適用于圖像去噪，對于圖像復原問題，采用可取得更好的結果.因此，為解決上述問題，本文提出基于非重疊分塊稀疏表示的圖像盲復原框架，并將作為稀疏性度量，提出新的盲復原模型.

2　本文算法

2.1不同模式下的非重疊分塊

重疊取塊會產生過多無用的稀疏系數且大大增加了算法的復雜度，特別是當圖像尺寸較大時，問題尤為嚴重.在不降低復原圖像質量的前提下，為了解決這一問題，本文采用一種新的非重疊分塊方式，如圖2所示.

圖2　圖像非重疊取塊方式Fig.2 Method of non-overlapping image patches

由于這種非重疊取塊方式要求相鄰圖像塊之間沒有重疊區(qū)域且這些塊必須包含圖像的每個像素點，所以圖像可能不被均勻分割，即提取圖像塊的尺寸可能不相同.基于這一現象，本文將圖像按照幾種不同的模式進行非重疊分塊.例如，將一個大小為N1×N2的圖像按照塊尺寸n1×n2進行分塊.為便于說明，現將圖像塊類型分為內部塊、邊界塊和拐角塊，并規(guī)定所有的圖像塊水平和垂直對齊.

（1） 內部塊.如圖3中標記為1的塊，塊尺寸為n1×n2.

（2） 邊界塊.如圖3中標記為2的塊，若在圖像左邊界和右邊界，則行數為n1，列數小于n2；若在圖像上邊界和下邊界，則列數為n2列，行數小于n1.

（3） 拐角塊.如圖3中標記為3的塊，塊的尺寸小于n1×n2.

根據上述規(guī)定，圖像的非重疊取塊方式可以由圖像左上角塊的尺寸唯一確定，如圖3所示60× 60的圖像，在3種模式下進行的8× 8非重疊分塊.取圖像左上角塊大小分別為4× 8、8× 4和8× 2，并依據上述規(guī)定進行劃分，可以看出3幅圖像提取塊的邊界位于不同的像素點.

圖3　3種非重疊塊分割Fig.3 Three different ways of non-overlapping patches

在上述每種非重疊分塊模式下，求解基于稀疏表示的圖像盲復原問題模型.在每種獨立分塊模式下，復原圖像會在分塊邊界處產生明顯的塊效應，為了解決該問題，本文采用在多種分塊模式下獨立求解復原圖像，然后再總體求算術平均的方式.后續(xù)實驗驗證了該方法，能有效抑制“偽像”效應，提高PSNR值，且大大降低算法的復雜度.

2.2基于非重疊分塊字典稀疏表示和梯度先驗的圖像盲復原

自然圖像的梯度直方圖服從一種典型的重尾分布［3］，算法通常采用圖像的l1范數或la（a=0.5～0.8）范數作為稀疏性度量.由文獻［5］可知，這些范數在代價函數求解過程中，圖像高頻區(qū)域反而變得更加模糊，紋理細節(jié)無法有效得到復原.

式中：公式右邊第4項為圖像梯度約束項；?x為圖像在水平和垂直方向上的梯度，采用作為稀疏性度量范數，可以有效地提高圖像的復原能力；最后一項為模糊核約束項，選用l1范數進行約束，同時核滿足歸一化和非負值；ηi、λi、ρ、γi為平衡各項之間的參數.

3　模型的求解

稀疏表示中，字典D起著至關重要的作用，其原子與圖像特征的匹配程度直接影響著圖像復原的質量.本文采用文獻［16］提出的塊鄰域梯度字典學習（block proximal gradient，BPG）算法對Berkeley Segmentation Dataset［17］中200幅圖像隨機提取20,000個8× 8圖像塊進行學習得到需要的字典.BPG算法相比之前的KSVD算法［17］和OLM算法［18］等，具有更快的收斂速度和更強的自適應性.

式（7）中存在3個未知量：模糊核k、稀疏系數向量α、清晰圖像x，直接求解將面臨收斂慢速和容易陷入局部最小值等問題，本文采取交替更新的方法進行求解.分別固定其中兩個未知量，每次只求解1個參數，因此每一個迭代過程，將式（7）轉化成多個簡單的子問題.

3.1k-子問題：模糊核估計

該子問題中，固定系數α和圖像x，求圖像的模糊核k，式（7）可簡化為

這里采用在梯度域通過迭代收縮軟閾值ISTA算法對式（8）進行求解，求解過程可分兩步進行.首先求得約束下的梯度圖像?x，然后通過梯度圖?x、?y估計模糊核k，因此，式（8）可分解為

式中?x、?y分別為待復原圖像和模糊圖像在水平和垂直方向上的梯度.

這里可將式（9）中梯度的范數l2看作已知量，即則式（9）可轉化為范數l2與l1相加的形式，即

式（11）即可采用迭代收縮軟閾值ISTA算法求解，求得圖像的模糊核k，具體步驟如表1所示.

表1　模糊核k更新Tab.1 Kernel updating

3.2x-子問題：清晰圖像估計

當模糊核k和稀疏系數向量α固定時，可將式（7）簡化為

該子問題為最小二乘問題，可利用快速傅里葉變換（FFT）求解［14］，其解形式為

式中：F（·）為傅里葉變換；F-1（·）為F（·）的逆變換；為F（·）的共軛；°表示矩陣對應元素相乘.

在每種非重疊分塊模式下，分別得到清晰圖像的1個估計，即

通過多次實驗測試發(fā)現，對圖像進行3種模式的非重疊分塊即可有效抑制復原圖像的塊效應，過多模式的分塊對改善“偽像”影響不大，且會降低算法的效率，因此，本文采取3種非重疊分塊方式估計清晰圖像.

3.3α-子問題：稀疏系數估計

當估計得到的圖像x及模糊核k固定時，式（7）可簡化為

式（15）中，圖像塊之間是相互獨立的，可以轉化為各圖像塊的稀疏系數求解問題，即

為了提高稀疏表示效率，平衡所有系數對最優(yōu)解的影響，式（16）利用加權l(xiāng)1范數優(yōu)化算法.加權l(xiāng)1范數通過對圖像的平滑區(qū)域和邊緣采用不同的權重來提升細節(jié)恢復能力，在實際中獲得了廣泛的應用.這里采用稀疏系數的反函數形式，并為了確保權系數恒大于0，采用如下形式：

利用文獻［19］中的YALL1算法求解加權l(xiāng)1范數最優(yōu)化問題（即式（16））.

本文提出的基于新型分塊字典稀疏表示和梯度先驗的快速圖像盲復原算法具體步驟如表2所示.

表2　算法的整體思路Tab.2 Overall algorithm

4　實驗結果及分析

為了驗證本文所提算法的有效性，選取Levin圖像集中的16幅測試圖像［20］和2幅實拍模糊圖像［5］，分別進行盲復原實驗.

首先，針對測試圖像進行實驗.實驗對象選取模糊核分別為7× 7、13× 13、17× 17以及23× 23的高斯模糊圖像，并添加方差為0.01的加性高斯白噪聲.稀疏模型中選取圖像塊為8× 8；式（7）中各參數取值依次為：η=0.05、λ=0.1、ρ=0.15、γ=4.6.將本文提出的算法與近年來公認較為優(yōu)秀的單幅圖像盲復原算法（Levin和Babacan的空域復原方法［21-22］、Hu等［8］的稀疏域復原方法）進行比較，計算復原圖像與原圖像的峰值信噪比（PSNR），計算結果如表3所示.由表3可看出，本文提出的基于新型分塊字典稀疏表示和梯度先驗的盲復原方法取得了較高的PSNR值.

表3　幾種算法盲復原結果比較Tab.3Comparison of blind recovered results with different algorithms

圖4和圖5給出了復原圖像效果及估計的模糊核.由圖可看出，Levin算法和Babacan算法對模糊核的估計比較準確，復原圖像能夠恢復出一定的細節(jié)，但是相比于原始清晰圖像感覺有一層“薄霧”覆蓋在圖像上方；Hu的算法適用于模糊核尺寸不超過9× 9的圖像盲復原［8］，當尺寸較大時，對模糊核估計不準確，造成圖像復原效果較差；本文方法可準確估計較大尺寸模糊核，且復原圖像細節(jié)清晰，主觀效果較好.

圖4　Building復原效果比較Fig.4Recovered results of Building with different algorithms

圖5　Children復原效果比較Fig.5 Recovered results of Children with different algorithms

下面對本文算法的復雜度進行討論.上述幾種算法中，Levin和Babacan的算法是在空域進行的，本文研究稀疏表示框架下圖像盲復原問題，因此這里對相同條件下的Hu算法［8］（重疊5像素）、傳統重疊分塊稀疏表示（重疊4像素）、本文非重疊分塊稀疏表示下算法（式（7））的運行時間進行比較.實驗中選取預先學習得到的字典，計算相同迭代次數下的稀疏編碼、復原圖像和估計模糊核3個子問題的總運行時間，分別對高斯模糊核為7× 7、13× 13和23× 23 3種圖像盲復原時間進行統計，結果如表4所示.由表3、表4可以看出，本文提出的基于新型分塊模式算法在較好改善圖像復原質量的前提下，能有效降低算法的運行時間.

最后，為了進一步驗證本文算法的有效性，對幾幅實拍模糊圖像進行盲復原實驗，選取了盲復原算法中常用未知模糊核的“魚”和“佛”實拍圖像［5］，復原效果如圖6和圖7所示.由圖6和圖7可以看出，所提算法對高斯模糊之外的實際拍攝的模糊圖像也具有很好的復原效果.

圖6　魚復原效果比較Fig.6 Recovered results of Fish with different algorithms

圖7　佛復原效果比較Fig.7 Recovered results of Buddha with different algorithms

5　結　語

針對現有基于稀疏表示的圖像盲復原方法中計算量大且恢復細節(jié)有限等問題，本文采用一種新的非重疊分塊方式降低算法的復雜度，并利用新型的稀疏編碼算法提高字典的自適應性和編碼的有效性.另外將作為稀疏性度量范數融入總的代價函數，提出新的盲復原模型.實驗結果表明，本文提出的盲復原算法在保證改善圖像復原質量的同時，大大降低了算法的整體復雜度.

［1］ Wiener N. Extrapolation，Interpolation，and Smoothing of Stationary Time Series ［M］. Cambridge：MIT Press，1964.

［2］ Lucy L B. An iterative technique for the rectification of observed distributions ［J］. Astronomical Journal，1974，79（6）：745-754.

［3］ Fergus R，Singh B，Hertzmann P. Removing camera shake from a single photograph ［J］. ACM Transactions on Graphics，2006，25（3）：787-794.

［4］ Krishnan D，Fergus R. Fast image deconvolution using hyper-Laplacian priors ［C］//Advances in Neural Information Processing System. Vancouver，Canada，2009：1033-1041.

［5］ Krishnan D，Tay T，Fergus R. Blind deconvolution using a normalized sparsity measure ［C］//IEEE International Conference on Computer Vision and Pattern Recognition. Colorado，USA，2011：233-240.

［6］ 楊愛萍，鐘騰飛，何宇清. 基于非局部相似性和分類半耦合字典學習的超分辨率重建［J］. 天津大學學報：自然科學與工程技術版，2015，48（1）：87-94. Yang Aiping，Zhong Tengfei，He Yuqing. Superresolution reconstruction based on non-local similarity and clustered semi-coupled dictionary learning ［J］. Journal of Tianjin University：Science and Technology，2015，48（1）：87-94（in Chinese）.

［7］ 程廣濤，宋占杰，陳 雪. 基于二維圖像矩陣的稀疏表示分類方法［J］. 天津大學學報：自然科學與工程技術版，2014，47（6）：541-545. Cheng Guangtao，Song Zhanjie，Chen Xue. Classification based on sparse representation with two dimensional image matrix ［J］. Journal of Tianjin University：Science and Technology，2014，47（6）：541-545（in Chinese）.

［8］ Hu Z，Huang J B，Yang M H. Single image deblurring with adaptive dictionary learning［C］// IEEE International Conference on Image Processing. Piscataway，NJ，United States，2010：1169-1172.

［9］ Zhang H，Yang J，Zhang Y，et al. Sparse representation based blind image deblurring ［C］// IEEE International Conference on Multimedia and Expo. Barcelona，Spain，2011：1-6.

［10］ Jia C，Evans B L. Patch-based image deconvolution via joint modeling of sparse priors ［C］// IEEE International Conference on Information Processing. Brussels，Belgium，2011：681-684.

［11］ Li H，Zhang Y，Zhang H，et al. Blind image deblurring based on sparse prior of dictionary pair ［C］// IEEE International Conference on Pattern Recognition. Tsukuba，Japan，2012：3054-3057.

［12］ Roth S，Black M J. Fields of experts：A framework for learning image priors ［C］// IEEE International Conference on Computer Vision and Pattern Recognition. Boston，USA，2005：860-867.

［13］ Taeg S C，Joshi N，Zitnick Z L，et al. A content-aware image prior ［C］// IEEE International Conference on Computer Vision and Pattern Recognition. San Francisco，USA，2012：3054-3057.

［14］ Shan Q，Jia J Y，Agarwala A. High-quality motion deblurring from a single image ［J］. ACM Transactions on Graphics，2008，27（3）：1-10.

［15］ Elad M，Aharon M. Image denoising via sparse and redundant representations over learned dictionaries［J］. IEEE Transactions on Image Processing，2006，15（12）：3736-3745.

［16］ Xu Yangyang，Yin Wotao. A Fast Patch-Dictionary Method for Whole Image Recovery. CAM-Report-13-38［R］. Los Angeles，CA：UCLA，2013.

［17］ Aharon M，Elad M，Bruckstein A. K-SVD：An algorithm for designing overcomplete dictionaries for sparse representation ［J］. IEEE Transactions on Signal Processing，2006，54（11）：4311-4322.

［18］ Mairal J，Bach F，Ponce J，et al. Online dictionary learning for sparse coding ［C］// International Conference on Machine Learning. Montreal，Canada：ACM，2009：689-696.

［19］ Zhang Y，Yang J，Wotao Y. YALL1：Your Algorithms for l1，MATLAB Software［EB/OL］. http：//yall1. blogs. rice. edu/，2010-07-15.

［20］ Levin A，Weiss Y，Durand F，et al. Understanding and evaluating blind deconvolution algorithms ［C］//IEEE International Conference on Computer Vision and Pattern Recognition. Miami，USA，2009：1964-1971.

［21］ Levin A，Weiss Y，Durand F，et al. Efficient marginal likelihood optimization in blind deconvolution ［C］// IEEE Conference on Computer Vision and Pattern Recognition. Providence，USA，2011：2657-2664.

［22］ Babacan S D，Molina R，Do M N，et al. Bayesian blind deconvolution with general sparse image priors［C］// Computer Vision-ECCV 2012. Berlin，Germany，2012，7577：341-355.

（責任編輯：趙艷靜）

A Union of New Patch-Dictionary Sparse Representation and Gradient Prior for Blind Image Deblurring

Yang Aiping，Liang Bin，He Yuqing，Zhang Liyun，Wei Baoqiang
（School of Electronic Information Engineering，Tianjin University，Tianjin 300072，China）

In the light of the heavy computational loads and the limited ability in detail preserving of sparse representation-based blind image deblurring algorithms，a new method based on patch-dictionary approach and gradient prior was proposed in this paper.First，in order to increase the computational efficiency，a multimode non-overlapping strategy，in which the image recovery was independently carried out in each mode，was presented，and then the results of the subproblems were averaged to eliminate artificial effects；In addition，using thenorm as the sparsity measure，we incorporated the gradient prior into the sparse deblurring model.Finally，we designed a novel combined new patch-dictionary sparse representation and gradient prior image deblurring model in which the deblur kernel updating and the deblurred image estimating were performed in turn via the iteration.Experimental results show that the approach proposed achieves better results in both subjective and objective evaluation criteria and significantly reduces the overall complexity of the algorithm.

blind deblurring；new patch-dictionary sparse representation；sparse gradient prior

TP391

A

0493-2137（2016）09-0984-08

10.11784/tdxbz201501058

2015-01-21；

2015-05-22.

國家自然科學基金資助項目（61372145，61472274，61201371）.

楊愛萍（1977— ），女，博士，副教授.

楊愛萍，yangaiping@tju.edu.cn.

網絡出版時間：2015-05-28. 網絡出版地址：http://www.cnki.net/kcms/detail/12.1127.N.20150528.0828.001.html.