洪漢玉，章秀華，范 艷，鄧哲煜，曹太騰，張?zhí)煨?/p>

(1. 武漢工程大學(xué) 電氣信息學(xué)院， 圖像處理與智能控制研究所，武漢 430205；2. 華中科技大學(xué) 自動(dòng)化學(xué)院， 圖像識(shí)別與人工智能研究所，武漢 430074)〗

多視點(diǎn)模糊圖像復(fù)原方法研究

洪漢玉1，章秀華1，范 艷1，鄧哲煜1，曹太騰1，張?zhí)煨?

(1. 武漢工程大學(xué) 電氣信息學(xué)院， 圖像處理與智能控制研究所，武漢 430205；2. 華中科技大學(xué) 自動(dòng)化學(xué)院， 圖像識(shí)別與人工智能研究所，武漢 430074)〗

提出了基于多視點(diǎn)圖像模糊核估計(jì)的復(fù)原方法.先給出了一種基于正則化保PSF路徑的模糊核估計(jì)算法，將各向異性正則化方法引入模糊核估計(jì)的迭代過(guò)程中，在此基礎(chǔ)上，為了降低噪聲和保護(hù)圖像邊緣，又給出了基于保邊緣的最大似然估計(jì)多視點(diǎn)去模糊方法.建立了多視點(diǎn)圖像PSF路徑之間的關(guān)系模型，確保多視點(diǎn)圖像特征點(diǎn)對(duì)應(yīng)關(guān)系.估計(jì)了兩視點(diǎn)圖像的PSF路徑后，利用PSF路徑對(duì)應(yīng)關(guān)系，計(jì)算了其它視點(diǎn)圖像的PSF路徑.當(dāng)獲得所有視點(diǎn)圖像的PSF路徑和模糊核后，利用最大似然估計(jì)去模糊方法，得到了多視點(diǎn)去模糊圖像.實(shí)驗(yàn)結(jié)果表明:該方法對(duì)多視點(diǎn)圖像復(fù)原效果好，提高了三維重建精度.

多視點(diǎn)；運(yùn)動(dòng)模糊；點(diǎn)擴(kuò)散函數(shù)；圖像復(fù)原

近年來(lái)，人們對(duì)多視點(diǎn)系統(tǒng)和三維重建越來(lái)越感興趣并取得了重要進(jìn)展.我們注意到，當(dāng)目標(biāo)運(yùn)動(dòng)時(shí)，捕獲的多視點(diǎn)圖像通常是模糊的，導(dǎo)致目前的三維重建算法不能準(zhǔn)確地重建目標(biāo).因此多視點(diǎn)圖像去模糊方法的研究是必要的.這也成為了多視點(diǎn)三維重建的瓶頸技術(shù)問(wèn)題.目前三維重建算法假定目標(biāo)沒(méi)有任何運(yùn)動(dòng).當(dāng)目標(biāo)有運(yùn)動(dòng)時(shí)，會(huì)導(dǎo)致圖像模糊，影響三維重建精度.

目前的運(yùn)動(dòng)去模糊方法主要集中于單視點(diǎn)圖像的去模糊.多視點(diǎn)圖像去模糊面臨許多難題，模糊核或者說(shuō)點(diǎn)擴(kuò)散函數(shù)(PSFs)在各個(gè)視點(diǎn)圖像中是不相同的，各個(gè)視點(diǎn)圖像的去模糊結(jié)果都會(huì)影響整個(gè)目標(biāo)的三維重建.當(dāng)模糊核和原圖像都未知時(shí)，模糊核估計(jì)是首要的.運(yùn)動(dòng)去模糊的主要難點(diǎn)在于精確估計(jì)模糊核.Joshi等[1]提出利用銳化邊緣預(yù)測(cè)法從單個(gè)模糊圖像中估計(jì)點(diǎn)擴(kuò)展函數(shù)，該算法利用預(yù)測(cè)值與觀測(cè)值來(lái)求解點(diǎn)擴(kuò)展函數(shù).如果能從模糊輸入圖中很好地預(yù)測(cè)出銳化圖像，則可以估計(jì)出模糊核.然而，輸入圖像的紋理使得銳化圖像及模糊核的大小難以預(yù)測(cè)，相應(yīng)的點(diǎn)擴(kuò)展函數(shù)不能被很好的估計(jì).Fergus[2]提出一種利用圖像梯度分布統(tǒng)計(jì)特性來(lái)逼近原圖像的變分貝葉斯方法.這種方法能有效地對(duì)圖像去模糊并可估計(jì)復(fù)雜的模糊核，但需要人為控制核的大小.其它的一些去模糊算法也被提了出來(lái)[3,4]，從單張模糊圖像中估計(jì)PSF非常困難.

對(duì)于多幀圖像的去模糊，Cho等[5]提出了從相同場(chǎng)景的多幀圖像中去除非均勻運(yùn)動(dòng)模糊的方法.Yuan等[6]提出利用模糊/噪聲估計(jì)模糊核和減少噪聲的去模糊方法.Chen等[7]通過(guò)引入魯棒的代價(jià)函數(shù)和一系列先驗(yàn)核知識(shí)來(lái)對(duì)兩幅圖像進(jìn)行去模糊.利用多幀圖像去模糊方法可以得到較好的效果，但多幀圖像去模糊方法要求原始場(chǎng)景完全相同，因而限制了其應(yīng)用.

為了解決這些問(wèn)題，本文先提出了一種基于正則化保PSF路徑的單視點(diǎn)圖像模糊核估計(jì)算法，在估計(jì)出的單視點(diǎn)模糊圖像PSF基礎(chǔ)上，建立多視點(diǎn)圖像的PSF路徑之間的關(guān)系，估計(jì)出其中兩個(gè)視點(diǎn)圖像的PSF路徑關(guān)系式，并利用這個(gè)關(guān)系式來(lái)計(jì)算和優(yōu)化其它視點(diǎn)圖像的PSF路徑，最后對(duì)多視點(diǎn)圖像進(jìn)行去模糊和三維重建.

1 單視點(diǎn)模糊核估計(jì)和去模糊

圖1為多視點(diǎn)圖像的立體視覺(jué)成像系統(tǒng).當(dāng)目標(biāo)在短曝光時(shí)間內(nèi)從A運(yùn)動(dòng)到B，對(duì)應(yīng)的投影點(diǎn)也從ai運(yùn)動(dòng)到bi.由于成像面視角不同，運(yùn)動(dòng)投影軌跡aibi在各個(gè)成像面上的長(zhǎng)度和方向都不相同.

各視點(diǎn)圖像可以表示為：

gi(x,y)=hi(x,y)?fi(x,y)+ni(x,y),

(1)

其中g(shù)i(x,y)為各視點(diǎn)的觀測(cè)圖像，hi(x,y)為對(duì)應(yīng)視圖的模糊核，fi(x,y)為各視點(diǎn)的原清晰投影圖像，ni(x,y)為各視點(diǎn)模糊圖像所含的噪聲，?表示二維離散卷積，下標(biāo)i為各視點(diǎn)序號(hào).

1.1 基于正則化的單視點(diǎn)模糊核估計(jì)

在進(jìn)行多視點(diǎn)圖像去模糊之前需要估計(jì)單視點(diǎn)模糊核.單視點(diǎn)圖像盲目估計(jì)模糊核可以闡述為將下面的代價(jià)函數(shù)最小化：

J(f,h)=‖h(x,y)?f(x,y)-g(x,y)‖2+λ1J(h)+λ2J(f),

(2)

其中第一項(xiàng)是數(shù)據(jù)項(xiàng)，后兩項(xiàng)是模糊核和模糊圖像的兩個(gè)正則化項(xiàng).

二次正則化導(dǎo)致大梯度懲罰過(guò)重[8]，產(chǎn)生總體過(guò)平滑現(xiàn)象[9].為了解決這一問(wèn)題, 我們采用各向異性正則化方法并使實(shí)際代價(jià)函數(shù)最小化：

(3)

其中φh(·)和φf(shuō)(·)為模糊核梯度及圖像梯度的各向異性正則化系數(shù)，h(i,k)=h(i)-h(k)，h(k)是點(diǎn)擴(kuò)散函數(shù)支撐域上當(dāng)前點(diǎn)的鄰域值.

一般要求對(duì)大梯度進(jìn)行較輕的平滑而對(duì)小梯度進(jìn)行較重的平滑處理[11, 12]，本文采用下列各向異性正則化函數(shù)：

φh(t)=t2/(1+t2),φf(shuō)(t)=lg(1+t2).

(4)

式中，將兩個(gè)函數(shù)αh(t)、αf(t)格式統(tǒng)一寫(xiě)為：

α(t)=1/(1+t2)w,w=1,2,…

(5)

圖2顯示了不同w時(shí)α(t)的曲線，其對(duì)小梯度進(jìn)行較重的懲罰而對(duì)大梯度懲罰較輕或不懲罰.

對(duì)式(4)進(jìn)行交替極小化，可以得到 ：

(6)

(7)

通過(guò)采用交替迭代方法，求解式(6)和式(7)中的h和f，得到單視點(diǎn)模糊圖像的PSF.

實(shí)際的運(yùn)動(dòng)模糊核是一條單像素寬的直線段或光滑曲線段.為使上述估計(jì)方法得到的PSF滿足要求，本文采用空間濾波器來(lái)抑制PSF支持域中的一些小值，然后通過(guò)對(duì)比候選的模糊核點(diǎn)的值和校驗(yàn)它是否與前一個(gè)的模糊核點(diǎn)在方向上一致來(lái)查找最大點(diǎn)和選擇當(dāng)前模糊核8鄰域里的下一個(gè)點(diǎn)來(lái)精確細(xì)化模糊核，從而得到單像素寬的PSF路徑.

1.2 基于最大似然估計(jì)的單視點(diǎn)去模糊

通過(guò)上一步驟，估計(jì)出模糊核后，我們采用一種改進(jìn)的最大似然估計(jì)算法來(lái)進(jìn)行單視點(diǎn)圖像去模糊處理.

原始圖像定義為{f(x),x∈X,f(x)≥0}，PSF定義為{h(y|x),y∈Y,x∈X}，i(y)表示y像素點(diǎn)的灰度值，我們有：

(8)

假定噪聲n(y)服從泊松分布并且獨(dú)立.對(duì)其取對(duì)數(shù)，并省略常數(shù)項(xiàng)，我們可以得到對(duì)數(shù)似然函數(shù)為:

(9)

合并圖像差異最小化準(zhǔn)則函數(shù)：

(10)

可以得到 ：

LP(f,h)=L(f,h)+ηΦ(f).

(11)

(12)

對(duì)式(11)求關(guān)于f (x)的偏微分并令其等于0，有 ：

(13)

(14)

(15)

1.3 R算法和ML算法的結(jié)合

本文提出的盲目去模糊正則化算法(即R算法)可以更嚴(yán)密的估計(jì)出PSF路徑.提出的最大似然估計(jì)算法(即ML 算法)可以更好的恢復(fù)圖像并且它可以允許PSF有一定的誤差.所以，我們用R算法來(lái)估計(jì)PSF，用ML算法來(lái)去模糊.

2 多視點(diǎn)模糊核估計(jì)和去模糊

2.1 多視點(diǎn)圖像PSF路徑關(guān)系的建立

假設(shè)[P]表示投影矩陣，(xyz1)表示一個(gè)均勻的三維坐標(biāo)，(uv1)表示一個(gè)均勻的二維坐標(biāo)，那么 (xyz1) 和(uv1)的關(guān)系可以用式(16)表示：

(16)

其中d 是空間點(diǎn)的深度.矩陣[P]由相機(jī)參數(shù)矩陣[K]*[R t]來(lái)確定，而相機(jī)參數(shù)矩陣已經(jīng)在多視點(diǎn)相機(jī)標(biāo)定過(guò)程中被計(jì)算出來(lái).

點(diǎn)(x,y,z)對(duì)點(diǎn)(u,v,d)有一個(gè)單一的對(duì)應(yīng)值，反之亦然，式(16)可以重新整理為：

(17)

其中矩陣[B]是矩陣[P]3×3的逆矩陣，有：

(18)

(19)

(20)

其中：

(21)

從根本上說(shuō)，每個(gè)PSF的值僅僅與各視點(diǎn)的運(yùn)動(dòng)投影軌跡有關(guān)，它們是：

psfi=h(Δu(i),Δv(i)),
psfj=h(Δu(j),Δv(j)).

(22)

(23)

其中(r0，r1，r2)由式(21)計(jì)算得出，但式(21)中參數(shù)i必須用參數(shù)n代替.

psfn=h(Δu(n),Δv(n)).

2.2 多視點(diǎn)圖像去模糊

建立多視點(diǎn)圖像PSF路徑關(guān)系后，我們可以對(duì)多視點(diǎn)模糊圖像進(jìn)行聯(lián)合去模糊，從而獲得特征點(diǎn)能夠保持關(guān)系對(duì)應(yīng)的清晰圖像，從而提高三維重建精度.多視點(diǎn)去模糊及三維重建主要流程見(jiàn)圖3.

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)1單視點(diǎn)模糊圖像的PSF估計(jì)及去模糊處理.圖4(a)為模糊圖像，圖 4(b)，(c)和(d)為分別用 Fish’s[12]，Joshi’s[1]和我們的算法對(duì)圖4(a)進(jìn)行去模糊后的結(jié)果.圖 4(e)，(f)和(g)分別為Fish’s，Joshi’s和我們算法估計(jì)得到的模糊核的二維和三維顯示，其中左下框?yàn)槎S的PSF路徑.通過(guò)對(duì)比，可以看出我們的算法具有更好的去模糊效果.

實(shí)驗(yàn)2 多視點(diǎn)圖像去模糊處理.圖5為對(duì)15個(gè)不同視點(diǎn)套娃模型模糊圖像進(jìn)行去模糊和三維處理的結(jié)果.由于篇幅所限，此處只選取了其中的第1，4，5，6，9共5個(gè)視點(diǎn)的圖像進(jìn)行顯示.圖5(a)為第1，4，5，6，9共5個(gè)視點(diǎn)的模糊圖像，圖5(b)為圖5(a)對(duì)應(yīng)的各視點(diǎn)去模糊圖像.圖5(c)，5(d)和5(e)分別為15個(gè)視點(diǎn)無(wú)模糊圖像，模糊圖像和多視點(diǎn)去模糊圖像的三維重建結(jié)果.從圖5(d)我們可以看到物體的三維表面有許多噪聲，并且有一些錯(cuò)誤的結(jié)構(gòu)形成和延伸.對(duì)比圖5(e)和5(d)，去模糊后的三維表面的噪聲被極大地降低.與圖5(c)對(duì)比，我們看到由去模糊后圖像重建的物體三維表面基本將物體重建出來(lái)，只是表面不如原始圖像重建表面平滑.

實(shí)驗(yàn)3 多視點(diǎn)去模糊圖像的保邊緣效果驗(yàn)證.圖6為對(duì)16個(gè)不同視點(diǎn)卡通模型模糊圖像進(jìn)行去模糊和三維處理的結(jié)果.本文在此只選取了其中的第1，2，5，9，10共5個(gè)視點(diǎn)的圖像進(jìn)行顯示.圖6(a)為第1，2，5，9，10共5個(gè)視點(diǎn)的模糊圖像，圖6(b)為圖6(a)對(duì)應(yīng)的各視點(diǎn)去模糊圖像.圖6(c)，6(d)和6(e)分別為16個(gè)視點(diǎn)無(wú)模糊圖像、模糊圖像和多視點(diǎn)去模糊圖像的三維重建結(jié)果.對(duì)比圖6(c)，6(d)，6(e)三維模型的邊緣，可以看出圖6(e)重建結(jié)果良好，這表明我們的多視點(diǎn)去模糊算法對(duì)于邊緣保留是有效的.從實(shí)驗(yàn)結(jié)果可以看出我們提出的多視點(diǎn)去模糊算法對(duì)于三維重建的質(zhì)量有明顯的改善.

4 結(jié)語(yǔ)

本文提出了多視點(diǎn)去模糊方法.建立了多視點(diǎn)圖像的PSF路徑關(guān)系，只要估計(jì)出兩個(gè)視點(diǎn)的PSF路徑，其它視點(diǎn)的PSF路徑就可以利用路徑關(guān)系模型計(jì)算出來(lái)，進(jìn)而去除所有視點(diǎn)模糊.實(shí)驗(yàn)結(jié)果表明，本文提出的多視點(diǎn)去模糊方法對(duì)于三維重建表面質(zhì)量有著明顯的改善.下一步的工作主要通過(guò)最優(yōu)化的方法得到更精確的多視點(diǎn)PSF路徑，獲取較完整的多視點(diǎn)模糊圖像復(fù)原信息，進(jìn)一步提高三維重建質(zhì)量.

[1] Joshi N, Szeliski R, Kriegman D J. PSF estimation using sharp edge prediction[C]//IEEE. Conference on Computer Vision & Pattern Recognition.New Jersey: CVPR, 2008: 1-8.

[2] Fergus R, Singh B,Hertzmann A,et al. Removing camera shake from a single photograph[J]. ACM Transsaction on Graphics (SIGGRAPH), 2006, 25(3): 787-794 .

[3] Jia J. Single image motion deblurring using transparency [C]//IEEE. Conference on Computer Vision & Pattern Recognition.New Jersey: CVPR, 2007: 1-8.

[4] Cai J,Ji H, Liu C, et al. Blind motion deblurring from a single image using sparse approximation[C]//IEEE. Conference on Computer Vision & Pattern Recognition. New Jersey: CVPR, 2009:104-111.

[5] Cho S, Matsushita Y, Lee S. Removing Non-Uniform Motion Blur from Images[C]//IEEE. Proceedings / IEEE International Conference on Computer Vision.New Jersey: IEEE International Conference on Computer Vision, 2007:1-8.

[6] Yuan L, Sun J, Quan L,et al. Image deblurring with blurred/noisy image pairs[J]. ACM Trans on Graphics (SIGGRAPH), 2007, 26(3): 204-213.

[7] Chen J,Yuan L, Tang C K, et al. Robust dual motion deblurring[C]//IEEE. Conference on Computer Vision & Pattern Recognition. New Jersey: CVPR, 2008:1-8.

[8] Park C, Kang M G. Noise-adaptive edge-preserving image restoration algorithm[J]. Opt Eng, 2000, 39(12): 3124-3136.

[9] Charbonnier P,Blanc-Feraud L, Aubert G,et al. Deterministic edge-preserving regularization in computed imaging[J]. IEEE Trans on Image Processing, 1997, 6(2):298-311.

[10] Geman D, Reynolds G. Constrained restoration and the recovery of discontinuities[J]. IEEE Trans Pattern Anal Machine Intell, 1992, 14(3): 367-383.

[11] Delaney A H, Bresler Y. Globally convergent edge-preserving regularized reconstruction: an application to limited-angle tomography[J]. IEEE Trans Image Process, 1998, 7(2): 204-221.

[12] Fish D,Brinicombe A,Pike E,et al.Blind deconvolution by means of the Richardson-Lucy algorithm[J]. Journal of the Optical Society of America A, 1994, 12(1):58-65.

Research on Restoration Method of Multiview Blur Images

Hong Hanyu1，Zhang Xiuhua1，F(xiàn)an Yan1，Deng Zheyu1，Cao Taiteng1，Zhang Tianxu2

(1 Institute for Image Processing and Intelligent Control, School of Electrical Information Engineering，Wuhan Institute of Technology, Wuhan 430205, China；2 Institute for Pattern Recognition and Artificial Intelligence，School of Automation ，Huazhong University of Science and Technology，Wuhan 430074, China)

For the restoration of multi-view blur image, the problem of exact estimation for each multi view image blur kernel is needed to be solved. So a restoration method based on multi view blur kernel estimation is proposed. Firstly a blur kernel estimation algorithm based on regularized with PSF path preserved is proposed, the anisotropy regularized method is introduced into the iteration process of the blur kernel estimation. On this basis, to reduce the noise and preserve the image edge, a multi view deblurring method based on maximum likelihood estimation with edge preserving is introduced. The relation model of PSF path for multi view image is built. Once the PSF path of two view images is estimated, by using the PSF path relation model, we can compute the PSF path of the other view images. The experimental results show the effectiveness of the proposed restoration method of multi view images, and the 3D reconstruction precision is enhanced.

multiview point；motion blur；PSF； image restoration

2015-10-10

洪漢玉(1964-)，男，教授，博士生導(dǎo)師，研究方向：目標(biāo)識(shí)別、三維重建、精確制導(dǎo)，E-mail: hhyhong@163.com

國(guó)家自然科學(xué)基金面上項(xiàng)目(61175013)

TP319

A

1672-4321(2015)04-0072-06