洪漢玉，范　艷，時(shí)　愈，華　夏，張?zhí)煨?/p>

(1.武漢工程大學(xué)電氣信息學(xué)院，湖北 武漢，430205；2.華中科技大學(xué)多譜信息處理技術(shù)國(guó)家級(jí)重點(diǎn)實(shí)驗(yàn)室，湖北 武漢，430074)

立體視覺(jué)雙目圖像MAP的優(yōu)化復(fù)原方法

洪漢玉1，范艷1，時(shí)愈1，華夏1，張?zhí)煨?

(1.武漢工程大學(xué)電氣信息學(xué)院，湖北 武漢，430205；2.華中科技大學(xué)多譜信息處理技術(shù)國(guó)家級(jí)重點(diǎn)實(shí)驗(yàn)室，湖北 武漢，430074)

摘要：為了有效地對(duì)立體視覺(jué)雙目模糊圖像進(jìn)行復(fù)原，提出一種動(dòng)目標(biāo)雙目圖像MAP的優(yōu)化復(fù)原方法，將雙目運(yùn)動(dòng)模糊圖像的復(fù)原問(wèn)題轉(zhuǎn)化為在模糊核路徑關(guān)系約束下的雙重循環(huán)MAP優(yōu)化估計(jì)問(wèn)題，在保證模糊核路徑對(duì)應(yīng)關(guān)系前提下，對(duì)雙目圖像進(jìn)行去模糊。建立了雙目圖像模糊核路徑的對(duì)應(yīng)關(guān)系模型，將關(guān)系模型作為約束條件式，嵌入到基于模糊核和雙目原圖像的MAP優(yōu)化估計(jì)過(guò)程中，通過(guò)雙重循環(huán)迭代獲取雙目圖像的模糊核和清晰圖像。實(shí)驗(yàn)結(jié)果表明，該方法能夠有效地去除立體視覺(jué)雙目圖像的模糊。

關(guān)鍵詞：立體視覺(jué)；動(dòng)目標(biāo)；雙目圖像； MAP；模糊核；圖像復(fù)原

在計(jì)算機(jī)視覺(jué)系統(tǒng)中，由于單觀測(cè)點(diǎn)圖像不能為目標(biāo)識(shí)別和監(jiān)控提供有效的三維信息，所以目前計(jì)算機(jī)視覺(jué)系統(tǒng)通常需要同步采集兩個(gè)觀測(cè)點(diǎn)圖像。而在短曝光時(shí)間內(nèi)，觀測(cè)目標(biāo)與成像系統(tǒng)之間存在相對(duì)運(yùn)動(dòng)，導(dǎo)致采集到的觀測(cè)圖像是模糊的，圖像質(zhì)量一般較差。因此，為了獲得完整的三維信息，實(shí)際工作中往往需要解決短曝光雙目視覺(jué)系統(tǒng)中動(dòng)目標(biāo)圖像復(fù)原的問(wèn)題。

目前動(dòng)目標(biāo)圖像復(fù)原方法主要有單幀圖像復(fù)原法[1-2]和多幀圖像復(fù)原法[3], 其中單幀圖像復(fù)原法基于單個(gè)相機(jī)采集的單幀圖像進(jìn)行復(fù)原，復(fù)原效果僅對(duì)同一視角的模糊圖像有效；而多幀圖像復(fù)原法去模糊效果較好，但有如下的限制條件：同一視角、同一場(chǎng)景，且需要較多的先驗(yàn)知識(shí)，適用范圍較窄。因此，基于混合圖像系統(tǒng)的圖像復(fù)原方法應(yīng)運(yùn)而生[4-5]。在混合圖像系統(tǒng)中，雖然相機(jī)采集到的圖像是兩個(gè)不同視角的觀測(cè)圖像，但該方法僅利用其中一個(gè)視角的觀測(cè)圖像信息對(duì)另一個(gè)視角的圖像進(jìn)行復(fù)原。以上方法并未考慮觀測(cè)圖像之間的像素位置關(guān)系，因而均不適用于解決雙目視覺(jué)系統(tǒng)中圖像的復(fù)原問(wèn)題。為此，本研究提出一種雙目觀測(cè)圖像最大后驗(yàn)估計(jì)(MaximumAPosteriori,MAP)優(yōu)化復(fù)原方法，在立體視覺(jué)系統(tǒng)中，建立雙目模糊核路徑的對(duì)應(yīng)關(guān)系數(shù)學(xué)模型，并對(duì)兩個(gè)模糊核路徑對(duì)應(yīng)關(guān)系進(jìn)行優(yōu)化處理，通過(guò)雙重循環(huán)迭代地估計(jì)雙目模糊核和清晰圖像。

1立體視覺(jué)雙目圖像的運(yùn)動(dòng)模糊形成機(jī)理

立體視覺(jué)系統(tǒng)中，三維(3D)空間中目標(biāo)的運(yùn)動(dòng)路徑投影如圖1所示。短曝光時(shí)間內(nèi)，在3D空間中，當(dāng)物體從P運(yùn)動(dòng)到Q，映射到觀測(cè)面上，對(duì)應(yīng)運(yùn)動(dòng)Mi(t)從pi運(yùn)動(dòng)到qi(i=1,2)，不同觀測(cè)面上成像視點(diǎn)的位置和角度是不同的，使得每個(gè)觀測(cè)面上piqi的長(zhǎng)度和方向也不同。觀測(cè)圖像gi(x,y)可以表示如下：

(1)

式中：hi(x,y)、fi(x,y)及ni(x,y)分別表示模糊核、清晰圖像和噪聲；?表示2D離散卷積；下標(biāo)i為觀測(cè)點(diǎn)標(biāo)號(hào)。

圖像模糊是由目標(biāo)在空間中的運(yùn)動(dòng)引起的。在短曝光時(shí)間內(nèi)，由于動(dòng)目標(biāo)在不同時(shí)刻的空間位置是不同的，所以，動(dòng)目標(biāo)在雙目左右兩個(gè)成像面上的投影是不一樣的。從光學(xué)理論上講，圖像模糊可看成動(dòng)目標(biāo)在成像積分時(shí)間內(nèi)的運(yùn)動(dòng)影像積累。因?yàn)樵谧笥覂蓚€(gè)像平面動(dòng)目標(biāo)影像的投影是不一樣的，動(dòng)目標(biāo)影像積累及運(yùn)動(dòng)軌跡也不一樣，因此兩個(gè)像平面內(nèi)雙目圖像的模糊核及模糊路徑是不同的。

圖1　立體視覺(jué)雙目運(yùn)動(dòng)路徑對(duì)應(yīng)關(guān)系示意圖

Fig.1 The correspondence between motion paths in the binocular stereo vision system

2雙目模糊核路徑的關(guān)系模型

雙目立體視覺(jué)兩個(gè)觀測(cè)面的模糊核路徑對(duì)應(yīng)3D空間中同一運(yùn)動(dòng)路徑。因此，兩個(gè)投影模糊核路徑之間存在對(duì)應(yīng)關(guān)系。模糊核可以由線段或平滑的曲線段近似表示[3]。對(duì)于雙目立體視覺(jué)系統(tǒng)中的運(yùn)動(dòng)模糊圖像復(fù)原，要迭代地估計(jì)兩個(gè)投影模糊核路徑，確保估計(jì)的投影模糊核路徑保持對(duì)應(yīng)關(guān)系。

2.1模糊核路徑的關(guān)系

考慮目標(biāo)的線性運(yùn)動(dòng)，令相機(jī)參數(shù)映射矩陣為P ；(xyz1)為3D齊次坐標(biāo)系中的一點(diǎn)，映射到2D觀測(cè)面上，則(u v 1)為 2D坐標(biāo)系中的一點(diǎn)，那么(x y z 1)和(u v 1)的對(duì)應(yīng)關(guān)系如下：

(2)

式中：d為相機(jī)的景深。

相機(jī)參數(shù)映射矩陣P可定義為K*[Rt]，其中相機(jī)參數(shù)矩陣K和[Rt]可在相機(jī)標(biāo)定的過(guò)程中計(jì)算得到。

從式(1)和圖1可知，每個(gè)觀測(cè)面的模糊核路徑是不同的。為簡(jiǎn)化計(jì)算，假設(shè)運(yùn)動(dòng)模糊核路徑是空間不變的。當(dāng)物體在空間中從P點(diǎn)運(yùn)動(dòng)到Q點(diǎn), 映射到兩個(gè)觀測(cè)面上分別為p1q1和p2q2,如圖2所示。相機(jī)參數(shù)映射矩陣P是可逆的，通過(guò)式(2)，可以從(u,v)和d推導(dǎo)得到(x,y,z)，如下式所示：

(3)

其中：

(4)

(a) 觀測(cè)面1(b) 觀測(cè)面2

圖2三維立體空間中運(yùn)動(dòng)piqi在兩個(gè)觀測(cè)面上的投影

Fig.2 Movement projection of piqion two observed imaging planes of 3D space

(5)

(6)

雙目立體視覺(jué)系統(tǒng)中，兩個(gè)觀測(cè)面上的點(diǎn)對(duì)(Δu(1),Δv(1))和(Δu(2),Δv(2))是相關(guān)的，那么一定滿足式(6)的關(guān)系，因此可以利用式(6)來(lái)檢查點(diǎn)對(duì)是否相關(guān)。

2.2離散化后的模糊核路徑的對(duì)應(yīng)關(guān)系

物體沿著空間路徑運(yùn)動(dòng)，在每個(gè)觀測(cè)面投影，對(duì)應(yīng)沿著投影路徑運(yùn)動(dòng)。不同觀測(cè)面的投影路徑不同。必須注意的是，對(duì)空間路徑上的任意一點(diǎn)，投影到觀測(cè)面，對(duì)應(yīng)兩個(gè)模糊核路徑上的點(diǎn)對(duì)(u(1)，v(1))和(u(2),v(2))。通過(guò)對(duì)模糊核支撐域沿著軌跡(模糊路徑)離散化，可建立模糊核路徑之間的關(guān)系：uk=u0+Δuk,vk=v0+Δvk(k=0,1,…,N-1)，其中k為沿著運(yùn)動(dòng)軌跡的離散點(diǎn)序號(hào)。

兩個(gè)觀測(cè)面上離散化的模糊核路徑上的點(diǎn)對(duì)是對(duì)應(yīng)的，對(duì)應(yīng)的點(diǎn)對(duì)是3D空間上同一個(gè)點(diǎn)的投影。類似于式(6)中模糊核路徑之間的關(guān)系，這里擴(kuò)展兩個(gè)觀測(cè)面上離散化的模糊核路徑上離散點(diǎn)對(duì)的關(guān)系，離散化后的模糊核路徑如圖3所示。由圖3中可知：

(a) 觀測(cè)面1

(b) 觀測(cè)面2

圖3兩個(gè)觀測(cè)面上離散化的模糊核路徑

Fig.3 Discretization of blur kernel paths on two observed imaging planes

3圖像復(fù)原優(yōu)化框架

3.1MAP優(yōu)化

(7)

式中：P(gi|fi,hi)表示在已知原始圖像fi(x)和模糊核hi(x)的前提下，模糊圖像gi(x)產(chǎn)生的概率；P(fi)和P(hi)分別表示原始圖像和模糊核的先驗(yàn)概率。

由于觀測(cè)到的模糊圖像、原始圖像和模糊核可以視為是獨(dú)立分布的，故可建立如下的MAP估計(jì)框架：

(8)

最大后驗(yàn)概率對(duì)原圖像和模糊核的估計(jì)，可以通過(guò)極小化條件概率密度函數(shù)P(fi,hi|gi)的非負(fù)對(duì)數(shù)函數(shù)獲得：

(9)

其中，

L(fi,hi|gi)=-log(P(fi,hi|gi))

(10)

由式(7)、式(8)可得：

(11)

將P(fi)和P(hi)的非負(fù)對(duì)數(shù)記為L(zhǎng)(fi)和L(hi)。在實(shí)際情況下，觀測(cè)到的模糊圖像往往受到噪聲的干擾，一般可假定每像元噪聲服從泊松分布，那么觀測(cè)圖像的概率密度函數(shù)可以表示為

(12)

對(duì)式(12)取對(duì)數(shù)，并去掉常數(shù)項(xiàng)，可以得到：

(13)

圖像復(fù)原是一個(gè)不適定問(wèn)題，為了提高圖像復(fù)原的穩(wěn)定性并抑制噪聲干擾，可以采用一些正則化技術(shù)。由于相鄰點(diǎn)相關(guān)，最小化它們的差異可以視為對(duì)空間相關(guān)性的約束，構(gòu)造如下正則化項(xiàng)[6]：

(14)

將式(14)合并到式(13)可得：

(15)

(16)

同理，對(duì)L(fi,hi|gi)取關(guān)于hi的導(dǎo)數(shù)并令其為零，模糊核可以通過(guò)如下公式迭代更新：

(17)

3.2目標(biāo)圖像估計(jì)過(guò)程

(18)

3.3模糊核估計(jì)過(guò)程

(19)

式中：下標(biāo)m表示內(nèi)循環(huán)次數(shù)。

在原圖像和模糊核估計(jì)過(guò)程中，分別進(jìn)行M1和M2次迭代。當(dāng)兩個(gè)內(nèi)循環(huán)迭代結(jié)束以后，再進(jìn)行下面的模糊核的優(yōu)化處理。

3.4雙目模糊路徑坐標(biāo)對(duì)應(yīng)關(guān)系的優(yōu)化處理

(20)

對(duì)雙目觀測(cè)點(diǎn)圖像的模糊核路徑對(duì)應(yīng)關(guān)系進(jìn)行優(yōu)化處理，然后將優(yōu)化以后的模糊核用于目標(biāo)圖像恢復(fù)的迭代過(guò)程中，直到滿足迭代終止條件為止。經(jīng)過(guò)幾次迭代以后，即可得到滿足雙目模糊核路徑對(duì)應(yīng)關(guān)系的模糊核和雙目復(fù)原圖像。

3.5雙目圖像復(fù)原算法流程圖

本文提出的算法主要包括以下流程：設(shè)置目標(biāo)圖像和模糊核的初始值，在兩個(gè)內(nèi)循環(huán)中估計(jì)目標(biāo)圖像和模糊核，對(duì)估計(jì)出來(lái)的雙目模糊核路徑進(jìn)行優(yōu)化處理，將優(yōu)化后雙目模糊核進(jìn)行外部循環(huán)，直到滿足終止條件為止。算法流程圖如圖4所示。

Fig.4 Flow chart of image restoration calculation in the binocular system

4仿真及實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證本研究的算法，采用VC++6.0編程，在Dell計(jì)算機(jī)(2.67 GHz CPU,4 GB內(nèi)存)上運(yùn)行，對(duì)雙目圖像進(jìn)行去模糊效果測(cè)試。

以雙目相機(jī)采集固定不動(dòng)目標(biāo)的雙目圖像作為基準(zhǔn)圖像(原圖像，圖像大小為1024×1024像素)進(jìn)行仿真，對(duì)本研究算法與目前圖像復(fù)原效果較好的Shan方法進(jìn)行比較，結(jié)果如圖5所示。由圖5中可知，本研究方法比Shan方法估計(jì)的模糊核路徑要精細(xì)一些。

以圖5中原圖像為基準(zhǔn)，分別計(jì)算模糊圖像、Shan方法恢復(fù)圖像及本研究方法恢復(fù)圖像的歸一化均方差值(Normalized Mean Squared Error，NMSE)，計(jì)算結(jié)果如表1所示。從表1可知，本研究方法得到的NMSE值最小，表明采用本研究方法恢復(fù)后的圖像與原圖最接近，圖像恢復(fù)效果好。

圖6所示為一組實(shí)際雙目圖像復(fù)原及視覺(jué)對(duì)比實(shí)驗(yàn)的結(jié)果，下方小圖為大圖中對(duì)應(yīng)方框內(nèi)局部圖的2.5倍放大圖)。由圖6中可以看出，采用Shan方法對(duì)左、右視點(diǎn)圖像分別進(jìn)行恢復(fù)，恢復(fù)結(jié)果有顯著振鈴效應(yīng)；而采用本研究方法恢復(fù)的結(jié)果振鈴效應(yīng)明顯減少，恢復(fù)的圖像清晰度高、視覺(jué)效果較好。局部放大圖的細(xì)節(jié)對(duì)比也表明本研究方法能夠獲得更好的恢復(fù)效果。

圖4　雙目圖像復(fù)原算法流程圖

(a) 原圖像

(b) 運(yùn)動(dòng)模糊圖像

(c) Shan方法恢復(fù)的圖像

(d) 本研究方法恢復(fù)的圖像

Fig.5 Restoration for simulated motion blurred binocular images

表1　NMSE值對(duì)比

(a) 實(shí)際運(yùn)動(dòng)模糊的雙目圖像

(c) 本研究方法恢復(fù)的雙目圖像

Fig.6 Restoration of real motion blur binocular images

5結(jié)語(yǔ)

在雙目相機(jī)同步采集情況下，本研究提出了雙目圖像MAP的優(yōu)化復(fù)原方法，將雙目圖像的復(fù)原問(wèn)題轉(zhuǎn)化為在模糊核路徑關(guān)系約束下的雙重循環(huán)MAP優(yōu)化估計(jì)問(wèn)題。建立了兩個(gè)觀測(cè)圖像模糊路徑之間的對(duì)應(yīng)關(guān)系模型，將關(guān)系模型作為約束條件式，嵌入到基于模糊核和雙目原圖像的MAP優(yōu)化估計(jì)過(guò)程中，有效地恢復(fù)雙目模糊圖像。實(shí)驗(yàn)結(jié)果表明本研究的方法對(duì)雙目模糊圖像的復(fù)原能夠獲得較好結(jié)果。

參考文獻(xiàn)

[1]Xiao L, Gregson J, Heide F, et al. Stochastic blind motion deblurring[J]. IEEE Transactions on Image Processing, 2015, 24(10):3071-3085.

[2]Shan Q, Jia J Y, Agarwala A. High-quality motion deblurring from a single image[J].ACM Transactions on Graphics, 2008, 27(3):Article 73.

[3]Hintermüller M, Wu T. Bilevel optimization for calibrating point spread functions in blind deconvolution[J].Inverse Problems and Imaging,2015,9(4):1139-1169.

[4]Ben-Ezra M, Nayar S. Motion-based motion deblurring[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(6):689-698.

[5]Tai Y W, Du H, Brown M S, et al. Correction of spatially varying image and video motion blur using a hybrid camera[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(6):1012-1028.

[6]Hong H Y, Park I K. Single-image motion deblurring using adaptive anisotropic regularization[J]. Optical Engineering, 2010, 49(9):097008.

[責(zé)任編輯鄭淑芳]

Method for MAP optimization image restoration in binocular stereo system

HongHanyu1,FanYan1,ShiYu1,HuaXia1,ZhangTianxu2

(1.School of Electrical and Information Engineering, Wuhan Institute of Technology, Wuhan 430205,China；2.National Key Laboratory of Science and Technology on Multi-spectral Information Processing,Huazhong University of Science and Technology, Wuhan 430074, China)

Abstract:In order to remove the motion image blurring in binocular stereo vision system effectivery, this paper presents a novel motion image restoration method based on MAP optimization. The problem of motion blurry binocular image restoration can be transformed into MAP optimization and estimation double loop problem within the constraint of the relationship of blur kernel paths. The binocular image deblurring is performed under the condition that the corresponding relationship of blur kernel paths is guaranteed.The corresponding relationship model of motion blur kernel paths for the binocular image is built, and embedded into MAP optimization estimation as the constraints. The clear image and blur kernel of the binocular image is obtained by double circulation iteration.Experimental results show that the proposed approach is effective to deblur the binocular image in the stereo vision system.

Key words：stereo vision; moving object; binocular images; MAP; blur kernel; image restoration

收稿日期：2015-12-20

基金項(xiàng)目：國(guó)家自然科學(xué)基金面上項(xiàng)目(61175013)；湖北省自然科學(xué)基金創(chuàng)新群體項(xiàng)目(2012FFA046).

作者簡(jiǎn)介：洪漢玉(1964-)，男，武漢工程大學(xué)教授，博士生導(dǎo)師.E-mail:hhyhong@163.com

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1674-3644(2016)01-0062-07