程俊廷，左旺孟

(1.黑龍江科技大學(xué) 機(jī)械工程學(xué)院，哈爾濱 150022；2.哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，哈爾濱 150001)

快速非均勻模糊圖像的盲復(fù)原模型

程俊廷1，左旺孟2

(1.黑龍江科技大學(xué) 機(jī)械工程學(xué)院，哈爾濱 150022；2.哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，哈爾濱 150001)

針對(duì)目前非均勻模糊圖像盲復(fù)原算法在復(fù)原效果、計(jì)算和存儲(chǔ)復(fù)雜性以及自動(dòng)化程度方面存在的問題和不足，研究基于廣義可加卷積模型的非均勻模糊計(jì)算方法，建立改善估計(jì)準(zhǔn)確度或增強(qiáng)復(fù)原圖像視覺質(zhì)量為目標(biāo)的圖像先驗(yàn)?zāi)Ｐ?，并改進(jìn)模型的復(fù)原效果和效率。結(jié)果表明：非均勻模糊圖像盲復(fù)原算法可有效復(fù)原出模糊圖像。與傳統(tǒng)算法相比，該算法復(fù)原效率較高，具有一定的實(shí)用價(jià)值。

圖像盲復(fù)原；去模糊；退化圖像；稀疏建模

0 引 言

成像技術(shù)的局限性、環(huán)境的復(fù)雜性、場(chǎng)景的三維特性、目標(biāo)的動(dòng)態(tài)性和非配合性等諸多因素都會(huì)導(dǎo)致獲取的圖像為有強(qiáng)噪聲、低品質(zhì)和失真等特性的退化圖像。圖像模糊是一種典型的圖像退化形式，焦距、相機(jī)抖動(dòng)、感知目標(biāo)的運(yùn)動(dòng)等因素都會(huì)造成圖像模糊，導(dǎo)致系統(tǒng)性能急劇下降[1]。研究模糊圖像的復(fù)原問題，即圖像去模糊[2]，從人觀察的角度來說將有助于提升圖像的視覺質(zhì)量；從系統(tǒng)的角度來說將有助于改善系統(tǒng)的穩(wěn)健性，因而有著重要的理論價(jià)值和應(yīng)用意義。

早期的模糊圖像復(fù)原研究往往假設(shè)退化模型已知，主要集中在數(shù)學(xué)模型和算法方面。而實(shí)際上，模糊圖像的盲復(fù)原是一個(gè)更加嚴(yán)重的不適定問題和更具挑戰(zhàn)的實(shí)際問題。Fergus等[3]研究了圖像的先驗(yàn)?zāi)Ｐ?，提出了一個(gè)均勻模糊圖像的盲復(fù)原方法。其他學(xué)者隨后研究發(fā)現(xiàn)實(shí)際的模糊圖像往往是非均勻模糊，并針對(duì)相機(jī)抖動(dòng)提出了若干個(gè)退化模型[4-5]。非均勻的運(yùn)動(dòng)模糊、圖像散焦模糊圖像復(fù)原問題也得到了一定程度的關(guān)注[6-7]。

雖然模糊圖像的盲復(fù)原研究取得了一定進(jìn)展并在實(shí)用化道路上邁出了很大一步，但仍然存在許多亟待解決的問題：(1)復(fù)原圖像品質(zhì)不高。主流的復(fù)原指標(biāo)是最小均方差(MSE)和峰值信噪比(PSNR)，而圖像品質(zhì)評(píng)價(jià)(IQA)的研究表明小MSE值和高PSNR值并不能保證復(fù)原結(jié)果的高品質(zhì)[8]。(2)計(jì)算復(fù)雜性過高。為了復(fù)原一幅512像素×512像素的非均勻模糊圖像，目前最快的算法在普通PC上仍需要10 min[9]，Gupta等[5]和Hu等[9]的算法則需要8～16 GB的內(nèi)存。顯然，如此之高的計(jì)算和內(nèi)存復(fù)雜性，使得目前的算法仍然只能停留在研究階段，很難真正應(yīng)用于相機(jī)、計(jì)算機(jī)和視覺分析系統(tǒng)。(3)自動(dòng)化程度不高，待調(diào)節(jié)參數(shù)過多。雖然能夠估計(jì)出均勻或非均勻模糊模型的參數(shù)，但目前的盲復(fù)原模型中仍然包含一定的超參數(shù)，需要用戶根據(jù)經(jīng)驗(yàn)或結(jié)果來設(shè)定和調(diào)整。

針對(duì)上述問題，筆者以相機(jī)抖動(dòng)造成的非均勻模糊為例，深入分析其特點(diǎn)，建立高效的非均勻模糊計(jì)算模型；針對(duì)模糊模型估計(jì)和非盲圖像復(fù)原問題，在稀疏和低秩模型的基礎(chǔ)上引入新的圖像先驗(yàn)，借鑒IQA前沿成果，研究改善復(fù)原效果的有效途徑。

1 模型建立

1.1 非均勻模糊建模

用一組濾波器和清晰圖像卷積的廣義線性加進(jìn)行非均勻模糊建模，即采用如下形式的廣義可加卷積模型:

其中，x是清晰圖像，ki是第i個(gè)基濾波器，fi和gi為任意的線性變換。根據(jù)具體的非均勻模糊的類型，設(shè)定具體的fi和gi，從而實(shí)現(xiàn)非均勻模糊的快速計(jì)算。例如，對(duì)于散焦模糊，令gi(x)=x，fi(x)=wi° x，其中“° ”表示點(diǎn)乘算子，則散焦模糊模型可以表示為

其中，wi和ki可以利用主成分分析(PCA)預(yù)先計(jì)算出來，因此這一模型可稱為可加卷積模型。通過將fi和gi設(shè)定為旋轉(zhuǎn)或極坐標(biāo)變換算子，進(jìn)一步將相機(jī)抖動(dòng)模糊建模為廣義可加卷積模型。旋轉(zhuǎn)角度一定時(shí)，不同平移作用下的相機(jī)抖動(dòng)模糊可以表示為

其中，Rθ表示角度為θ的旋轉(zhuǎn)操作，kti表示大小為t的平移操作。據(jù)此，將相機(jī)抖動(dòng)模糊建模為

Kx=ΣθRθ(kSθ?x)。

類似地，通過定義hPT(·)和hIPT(·)為極坐標(biāo)變換和逆極坐標(biāo)變換，平移一定時(shí)，不同旋轉(zhuǎn)角度下的相機(jī)抖動(dòng)模糊可以表示為

相機(jī)抖動(dòng)模糊因而可以建模為

Kx=ΣthIPT(wt?hPT(Ktx))。

1.2 圖像先驗(yàn)建模

為了避免陷入局部最優(yōu)，目前通用的方法是在模糊模型估計(jì)階段和非盲圖像復(fù)原階段使用不同的圖像先驗(yàn)?zāi)Ｐ?。不同于通用方法，采用從模糊模型估?jì)階段的圖像先驗(yàn)?zāi)Ｐ偷椒敲D像復(fù)原階段的圖像先驗(yàn)?zāi)Ｐ偷臐u進(jìn)過渡策略，從而將模型估計(jì)和非盲圖像復(fù)原納入到一個(gè)統(tǒng)一的框架下。例如，以超拉普拉斯(Lp)稀疏梯度先驗(yàn)為例，在盲復(fù)原初級(jí)階段采用較小的p范數(shù)，然后在迭代過程中逐漸增加p值直到自然圖像統(tǒng)計(jì)中的最優(yōu)p值范圍，即0.5

1.3 非均勻模糊圖像復(fù)原模型

非均勻模糊圖像的復(fù)原包括退化算子A估計(jì)和高品質(zhì)圖像復(fù)原。當(dāng)然，可以簡(jiǎn)單地使用最大化后驗(yàn)概率框架(MA,x)來同時(shí)估計(jì)退化算子和高品質(zhì)圖像。然而，MA,x框架往往是不可行的。因此，目前的做法是首先估計(jì)退化算子，然后再進(jìn)行非盲復(fù)原。

針對(duì)退化算子估計(jì)，重點(diǎn)探索兩種模型：

(1) MA框架

假設(shè)MA,x框架的損失函數(shù)是L(A,x)，采用如下的退化算子估計(jì)模型：

{A}=argminA∫L(A,x)dx。

(2)結(jié)合特定圖像先驗(yàn)的MA,x模型

近年來研究發(fā)現(xiàn)，通過在MA,x框架使用特定的圖像先驗(yàn)?zāi)Ｐ?，也能較好地估計(jì)退化算子。此外，在MA,x框架下引入雙通濾波和沖擊濾波器，同樣能夠用于估計(jì)退化算子。因此,沿著這個(gè)思路進(jìn)行探索，并結(jié)合理論推導(dǎo)和實(shí)驗(yàn)驗(yàn)證來揭示MA,x模型和MA模型的等價(jià)性。

最后，在給定A的情況下，結(jié)合圖像先驗(yàn)?zāi)Ｐ头矫娴难芯砍晒?x)，利用標(biāo)準(zhǔn)的Mx框架進(jìn)行非均勻模糊圖像復(fù)原：

2 實(shí)驗(yàn)結(jié)果與分析

文中提出可加卷積模型(ACM)將非均勻模糊圖像表示為一系列基礎(chǔ)濾波器與清晰圖像卷積結(jié)果的空間變化加權(quán)和：

表1 ACM與SBM方法復(fù)原模糊圖像的計(jì)算效率Table 1 Computational efficiency of restcration blurred image with ACM and SBM

a 抖動(dòng)圖像及復(fù)原結(jié)果

b 散焦圖像及復(fù)原結(jié)果

c 基礎(chǔ)濾波器數(shù)量的優(yōu)化

圖2為基于廣義可加卷積模型的相機(jī)抖動(dòng)模糊盲復(fù)原效果。由圖2可知，文中算法實(shí)現(xiàn)了基于廣義可加卷積模型的相機(jī)抖動(dòng)模糊盲復(fù)原，能夠?qū)φ鎸?shí)的相機(jī)抖動(dòng)圖像取得滿意的復(fù)原結(jié)果。在相同圖像環(huán)境下，通過多次分別運(yùn)行文中算法、Whyte等、Gupta等、Hu & Yang算法，通過軟件計(jì)時(shí)器計(jì)時(shí)，得到文中算法的平均速度分別是Whyte等、Gupta等、Hu & Yang算法的100.0、8.0和2.5倍。同時(shí)，所需內(nèi)存平均僅為Gupta等、Hu & Yang的方法的1/5。

3 結(jié)束語

在實(shí)際成像過程中，散焦、相機(jī)抖動(dòng)和運(yùn)動(dòng)模糊等因素都會(huì)造成圖像的非均勻模糊，進(jìn)而導(dǎo)致圖像視覺品質(zhì)和計(jì)算機(jī)視覺系統(tǒng)性能的急劇下降。針對(duì)日益受到廣泛關(guān)注的非均勻模糊圖像復(fù)原問題，筆者研究基于廣義可加卷積模型的非均勻模糊算法，采用圖像先驗(yàn)?zāi)Ｐ透纳颇：Ｐ凸烙?jì)準(zhǔn)確度或增強(qiáng)復(fù)原圖像視覺質(zhì)量，并進(jìn)行實(shí)驗(yàn)驗(yàn)證。結(jié)果表明，文中算法提高了模糊圖像盲復(fù)原的復(fù)原效果和效率，其速度分別是Whyte等、Gupta等、Hu & Yang算法的100.0、8.0和2.5倍，所需內(nèi)存僅為Gupta等、Hu & Yang方法的1/5。在今后的研究中，將進(jìn)一步從圖像先驗(yàn)?zāi)Ｐ?、自適應(yīng)參數(shù)估計(jì)和優(yōu)化算法等方面深入研究。

[1] Gopalan R,Taheri S,Turaga P,et al.A blur-robust descriptor with applications to face recognition[J].IEEE Trans Pattern Analysis and Machine Intelligence,2012，34(6): 1220-1226.

[2] Biemond J,Lagendijk R L,Mersereau R M.Iterative methods for image dDeblurring[J].Proc IEEE,1990,78: 856-883.

[3] Fergus R,Singh B,Hertzmann A,et al.Removing camera shake from a single photograph[J].Acm Transactions on Graphics,2006,25(5): 787-794.

[4] Whyte O,Sivic J,Zisserman A，et al.Non-uniform deblurring for shaken images[J].Int J Comput Vis,2012,98(2): 168-186.

[5] Gupta A,Joshi N,Zitnick C L,et al.Single image deblurring using motion density functions[J].Proc Europ Conf Comput Vis,2010,63(11),171-184.

[6] Zheng S,Xu L,Jia J.Forward motion dDeblurring[C]//Proceedings of ICCV,Sydney: IEEE,2013: 1465-1472.

[7] Zhu X,Cohen S,Schiller S,et al.Estimating spatially varying defocus blur from a single image[J].IEEE Trans on Image Processing,2013,22(12): 4879-4891.

[8] Wang Z,Bovik A C.Mean squared error: love it or leave it-a new look at signal fidelity measures[J].IEEE Signal Processing Magazine,2009,26(1): 98-117.

[9] Hu Z,Yang M H.Fast non-uniform deblurring using constrained camera pose subspace[J].Proc British Mach Vis Conf,2012,13(6): 1-11 .

(編校 王 冬)

Fast blind deblurring models for restoration of non-uniform blur images

ChengJunting1,ZuoWangmeng2

(1.School of Mechanical Engineering,Heilongjiang University of Science & Technology,Harbin 150022,China;2.School of Computer Science & Technology,Harbin Institute of Technology,Harbin 150001,China)

This paper follows from the need for addressing the problems with the existing non-uniform image deblurring methods in terms of restoration quality,computational and memory complexity,and automatic parameter selection.The study provides a novel model for improving the restoration quality and reducing computational and memory complexity; enhancing the computational efficiency for non-uniform blurring,using the generalized additive convolution model; and developing novel image prior models for enhancing image visual quality.The results demonstrate that the non-uniform blurred image blind restoration algorithm enables a more effective restoration of the blurred image and provides a higher restoration efficiency than the traditional algorithm.

image blind restoration; deblurring; degradation image; sparse modeling

2017-02-23

程俊廷(1973-)，男，內(nèi)蒙古自治區(qū)涼城人，教授，博士，研究方向：計(jì)算機(jī)視覺、圖像處理、增材制造，E-mail：chengjunting@163.com。

10.3969/j.issn.2095-7262.2017.02.021

TP391

2095-7262(2017)02-0196-04

A