洪漢玉，張文莫，章秀華,時(shí)愈

武漢工程大學(xué)機(jī)電工程學(xué)院，湖北 武漢 430205

雙目視圖運(yùn)動(dòng)圖像去模糊方法

洪漢玉，張文莫，章秀華,時(shí)愈

武漢工程大學(xué)機(jī)電工程學(xué)院，湖北 武漢 430205

現(xiàn)代工業(yè)生產(chǎn)線上采集到的產(chǎn)品圖像存在運(yùn)動(dòng)模糊，對(duì)后期探測(cè)產(chǎn)品表面信息以及重建產(chǎn)品輪廓產(chǎn)生影響.為了解決這一問(wèn)題，提出一種基于雙目視圖的運(yùn)動(dòng)圖像去模糊方法.通過(guò)雙目相機(jī)之間的對(duì)極幾何關(guān)系以及相機(jī)模型，推導(dǎo)出兩視點(diǎn)圖像點(diǎn)擴(kuò)散函數(shù)路徑之間的內(nèi)在聯(lián)系，并運(yùn)用像機(jī)標(biāo)定模塊求取標(biāo)定矩陣中的參數(shù).通過(guò)此內(nèi)在約束條件求取精確的點(diǎn)擴(kuò)散函數(shù)，并對(duì)雙目視點(diǎn)圖像進(jìn)行統(tǒng)一去模糊.結(jié)果表明，通過(guò)雙視點(diǎn)圖像幾何關(guān)系求取的點(diǎn)擴(kuò)散函數(shù)路徑來(lái)進(jìn)行去模糊取得了較好的效果.

運(yùn)動(dòng)去模糊；雙目視圖；張正友標(biāo)定；對(duì)極幾何；點(diǎn)擴(kuò)散函數(shù)路徑

0 引言

隨著當(dāng)代工業(yè)制造加工工藝的不斷提升，產(chǎn)品加工過(guò)程也越來(lái)越強(qiáng)調(diào)技術(shù)的智能化，自動(dòng)化［1］．生產(chǎn)上需要精確，自動(dòng)以及高效的測(cè)量被測(cè)零件的外觀輪廓，幾何尺寸.而現(xiàn)代工業(yè)生產(chǎn)上零件外型復(fù)雜，測(cè)量又需要現(xiàn)場(chǎng)實(shí)時(shí)進(jìn)行，傳統(tǒng)的檢測(cè)方法已經(jīng)無(wú)法達(dá)到現(xiàn)代工業(yè)生產(chǎn)的需求［2］.

雙目測(cè)量技術(shù)是計(jì)算機(jī)視覺(jué)的關(guān)鍵技術(shù)之一，通過(guò)從圖像中提取有用的信息，處理被測(cè)圖像以獲得所需要的參數(shù)數(shù)據(jù)，然后通過(guò)雙目相機(jī)之間的幾何限定條件來(lái)求得物體運(yùn)動(dòng)軌跡在雙目相機(jī)上的投影關(guān)系，進(jìn)而建立雙目視點(diǎn)圖像模糊核路徑關(guān)系并對(duì)其進(jìn)行整體一致性的精確優(yōu)化［3］.這種非接觸測(cè)量具有效率高，系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，精確度高，自動(dòng)化程度高，成本低廉等優(yōu)點(diǎn)［4］，非常適合于制造現(xiàn)場(chǎng)的在線，非接觸產(chǎn)品測(cè)量檢測(cè)和質(zhì)量控制［5］.由于雙目測(cè)量系統(tǒng)能夠很大程度的滿足現(xiàn)代先進(jìn)制造業(yè)的要求，所以其在醫(yī)學(xué)、交通、工業(yè)、航空航天領(lǐng)域都有廣闊的發(fā)展前景.

1 相機(jī)模型與圖像標(biāo)定

1.1 攝像機(jī)模型參數(shù)

相機(jī)標(biāo)定主要包含以下參數(shù).

相機(jī)內(nèi)部參數(shù)：

其中，u0、v0為光學(xué)中心的坐標(biāo)，fx、fy分別是u軸和v軸上的有效焦距，s是u軸和v軸上的不垂直因子［6－7］，在理想情況下令s＝0.

相機(jī)外部參數(shù)：

式（2）中，R為相機(jī)旋轉(zhuǎn)矩陣而T為相機(jī)平移向量，通常將R和T稱為外部參數(shù)［8］.

而對(duì)于非線性模型的內(nèi)部參數(shù)還包括兩個(gè)徑向畸變參數(shù)k1，k1以及兩個(gè)切向畸變參數(shù)p1，p2［9-10］.

1.2 坐標(biāo)系轉(zhuǎn)換與相機(jī)模型

對(duì)于雙目相機(jī)的標(biāo)定系統(tǒng)總共包含四個(gè)不同的轉(zhuǎn)換坐標(biāo)系，它們分別是：攝像機(jī)坐標(biāo)系：ocxcyczc；世界坐標(biāo)系：owxwywxw；圖像（CCD）坐標(biāo)系：oxy和計(jì)算機(jī)圖像坐標(biāo)系：uv［11］；各個(gè)坐標(biāo)系之間存在相互轉(zhuǎn)換關(guān)系如下.

根據(jù)小孔成像模型，可以得到從攝像機(jī)坐標(biāo)系到圖像坐標(biāo)系有如下變換關(guān)系：

從圖像坐標(biāo)系到計(jì)算機(jī)坐標(biāo)系得變換：

式（4）中dx是每個(gè)像素在x方向上的物理長(zhǎng)度，dy是每個(gè)像素在y方向上的物理長(zhǎng)度，（cx，cy）為圖像中心坐標(biāo).

從而可以知道世界坐標(biāo)系到攝像機(jī)坐標(biāo)系之間的變換如下：

可以得到世界坐標(biāo)系表示的P點(diǎn)坐標(biāo)與其投影點(diǎn)p的計(jì)算機(jī)圖像坐標(biāo)（u，v）的變換關(guān)系：

根據(jù)針孔相機(jī)成像原理，由世界坐標(biāo)點(diǎn)到理想像素點(diǎn)變換如下：

2 雙目相機(jī)PSF之間的幾何關(guān)系推導(dǎo)

2.1 雙目相機(jī)極線約束方程

對(duì)極幾何是指雙目視圖兩視點(diǎn)之間的內(nèi)在影射幾何，它與外部的景物結(jié)構(gòu)無(wú)關(guān)，只決定于雙目攝像機(jī)的相對(duì)距離和內(nèi)部參數(shù)［12－14］.立體匹配中雙目相機(jī)之間存在如下幾何關(guān)系（見(jiàn)圖1）．

其中，P點(diǎn)為空間任一點(diǎn)P在圖像I1上的投影，P2點(diǎn)為空間任一點(diǎn)P在圖像I2上的投影，直線l1為成像面I1上對(duì)應(yīng)于P2點(diǎn)的極線，同樣直線l2為成像面I2上對(duì)應(yīng)于P1點(diǎn)的極線.如果已知P1點(diǎn)在圖像I1上的位置，則在圖像I2內(nèi)P1點(diǎn)所對(duì)應(yīng)的點(diǎn)必然位于它在圖像I2的極線上，即P2點(diǎn)一定在直線l2上.這就稱為極線約束［15］.

圖1 雙目相機(jī)對(duì)極幾何關(guān)系Fig.1 The epipolar geometry relationship between binocular cameras

由于雙目相機(jī)分別為小孔成像模型，可以將兩個(gè)相機(jī)的投影方程聯(lián)立：

此方程稱為極線約束方程，其中，Xw為空間某點(diǎn)P處于世界坐標(biāo)系之下的齊次坐標(biāo)；pl和pr是P點(diǎn)分別投影在左右視點(diǎn)圖像的齊次坐標(biāo).將標(biāo)定矩陣拆分，將Ml與Mr矩陣中左邊的3×3部分別寫成Ml1和Mr1，右邊的3×1部分則分別寫作ml和mr.

如果將Xw記作Xw＝（X 1）T，其中X＝（Xw，Yw，Zw）T.于是可將式（8）寫作：

聯(lián)立此方程，消去X可得

由于等式兩邊都是三維向量，式（10）中其實(shí)為三維方程，將此等式兩邊消去sl與sr可以得到一個(gè)關(guān)于pl和pr的關(guān)系式.通過(guò)一系列變換，可以得到pl和pr之間的關(guān)系為

2.2 雙目動(dòng)目標(biāo)模糊路徑分析

因?yàn)閷?duì)于運(yùn)動(dòng)模糊，模糊路徑即為物點(diǎn)在三維空間運(yùn)動(dòng)軌跡在成像面上的投影.因此，只需分別計(jì)算出物體上一點(diǎn)P在左視點(diǎn)上模糊路徑的起止點(diǎn)坐標(biāo)pl1，pl2，便可以通過(guò)式（11）計(jì)算出其在右視點(diǎn)上對(duì)應(yīng)的模糊路徑起止點(diǎn)坐標(biāo)pr1，pr2，如圖2所示，線段pl1pl2，pr1pr2分別為左右視點(diǎn)平面上的理想點(diǎn)擴(kuò)散函數(shù)路徑.

圖2 雙目視圖運(yùn)動(dòng)軌跡投影Fig.2 The motion trajectory projection of binocular cameras

對(duì)于單視點(diǎn)模糊圖像，各視點(diǎn)圖像可由式（13）描述：

其中g(shù)i（x，y）為實(shí)際觀測(cè)圖像即模糊圖像，hi（x，y）為圖像點(diǎn)擴(kuò)散函數(shù)PSF，fi（x，y）為原清晰圖像，ni（x，y）為圖像中包含的噪聲，?表示二維離散去卷積［16］.對(duì)于理想運(yùn)動(dòng)模糊而言，模糊核為具有一定方向的單像素直線段或光滑曲線段.

2.3 基于邊緣檢測(cè)的單視點(diǎn)圖像運(yùn)動(dòng)模糊核估計(jì)

圖像復(fù)原的質(zhì)量體現(xiàn)在對(duì)模糊核的精確估計(jì)之上，模糊圖像的模糊邊緣可以看做是一個(gè)理想的逐像素階梯狀邊緣被一個(gè)模糊算子卷積而成［17］.對(duì)于模糊圖像，圖像清晰邊緣的位置可以看做是未改變的，只有清晰邊緣兩側(cè)區(qū)域的像素灰度值發(fā)生了改變.可以利用高斯差分算子（DoG算子）分別與清晰邊緣與模糊邊緣做卷積，通過(guò)估計(jì)模糊邊緣并以此為基礎(chǔ)預(yù)測(cè)邊緣兩邊的清晰區(qū)域［18］.

3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

（1）圖像采集.實(shí)驗(yàn)平臺(tái)由實(shí)驗(yàn)臺(tái)，光源及幕布，小車，棋盤格標(biāo)定板，雙目相機(jī)及工控機(jī)組成.采集圖像步驟如下：首先固定雙目相機(jī)，設(shè)置相機(jī)參數(shù)及焦距，對(duì)雙目相機(jī)進(jìn)行標(biāo)定，然后讓被測(cè)物體勻速直線運(yùn)動(dòng)通過(guò)視平面，采集運(yùn)動(dòng)模糊圖像.模糊長(zhǎng)度由相機(jī)曝光時(shí)間控制.本實(shí)驗(yàn)雙目相機(jī)采用微視MV－3000UC相機(jī).

（2）圖像的預(yù)處理.因?yàn)椴杉降膱D像中包含了噪音以及許多與目標(biāo)無(wú)關(guān)的圖像信號(hào)，因而需要對(duì)原始圖像采取一定的預(yù)處理.圖像的預(yù)處理是為了將圖像無(wú)關(guān)的背景進(jìn)行抑制，從而提高信噪比.

（3）相機(jī)標(biāo)定.因?yàn)殡p目圖像點(diǎn)擴(kuò)散函數(shù)路徑之間存在關(guān)系僅僅由相機(jī)的幾何位置關(guān)系及相機(jī)成像模型決定，因此在求取點(diǎn)擴(kuò)散函數(shù)路徑關(guān)系式時(shí)所包含的未知參數(shù)即為相機(jī)的內(nèi)參和外參.相機(jī)的內(nèi)外參數(shù)由相機(jī)標(biāo)定矩陣給定，而相機(jī)的標(biāo)定矩陣可以用張正友棋盤格標(biāo)定法求取，具體步驟如下：

張正友標(biāo)定算法基本原理式：

其中（X Y 1）T為模板上點(diǎn)的齊次坐標(biāo)，（u v 1）T為模板上對(duì)應(yīng)點(diǎn)投影到圖像平面上的坐標(biāo).首先準(zhǔn)備一幅棋盤標(biāo)定板，在固定雙目相機(jī)并設(shè)定參數(shù)之后，分別用雙目相機(jī)拍攝標(biāo)定板，通過(guò)Harris算子提取角點(diǎn)，計(jì)算出相機(jī)的內(nèi)外參數(shù).

（4）模糊圖像點(diǎn)擴(kuò)散函數(shù)路徑的計(jì)算.將標(biāo)定矩陣進(jìn)行拆分，帶入式（10）求取左右視點(diǎn)圖像上對(duì)應(yīng)點(diǎn)之間的數(shù)量關(guān)系，通過(guò)一個(gè)視點(diǎn)的點(diǎn)擴(kuò)散函數(shù)路徑求取另一個(gè)視點(diǎn)的擴(kuò)散函數(shù).

（5）通過(guò)計(jì)算所得的點(diǎn)擴(kuò)散函數(shù)路徑對(duì)實(shí)驗(yàn)圖像進(jìn)行去模糊.

3.2 實(shí)驗(yàn)結(jié)果與分析

本文所采用算法通過(guò)計(jì)算機(jī)編程實(shí)現(xiàn).

圖3為用單幀去模糊方法分別對(duì)左右相機(jī)視點(diǎn)進(jìn)行單幀去模糊的結(jié)果.由圖3可見(jiàn)，單幀去模糊方法所估算的點(diǎn)擴(kuò)展函數(shù)路徑（PSF）為一團(tuán)離散的點(diǎn)陣.去模糊效果也不太理想，尤其是圖像邊緣，存在較為明顯的重影，這是由于粗略估算的PSF路徑上存在許多不真實(shí)的點(diǎn)，與原始模糊圖像進(jìn)行迭代去卷積的過(guò)程中，使圖像邊緣產(chǎn)生了振鈴效應(yīng).圖4為精確優(yōu)化后的PSF復(fù)原結(jié)果.因?yàn)閮?yōu)化過(guò)程中考慮到了雙目視點(diǎn)之間的幾何對(duì)應(yīng)關(guān)系，因此更接近于實(shí)際PSF值，使得圖像邊緣更為清晰，辨識(shí)度更高.表1為兩種方法復(fù)原圖像的歸一化的均方差值對(duì)比，表2為兩種復(fù)原方法的峰值信噪比對(duì)比.兩種評(píng)價(jià)指標(biāo)都反映出，用精確優(yōu)化的PSF進(jìn)行圖像復(fù)原效果更好.

由實(shí)驗(yàn)可見(jiàn)，通過(guò)雙目相機(jī)間的幾何約束關(guān)系求取的模糊核去模糊效果較好.因?yàn)榇朔椒ㄖ心骋灰朁c(diǎn)的模糊核由另一視點(diǎn)上起止點(diǎn)的坐標(biāo)以及相機(jī)參數(shù)通過(guò)矩陣運(yùn)算求得，而實(shí)際檢測(cè)中，相機(jī)參數(shù)是連續(xù)的，通常精確到小數(shù)點(diǎn)后三位，而PSF是以像素為單位離散的.若模糊長(zhǎng)度較小，在后續(xù)近似計(jì)算中會(huì)產(chǎn)生很大誤差，這部分誤差可以通過(guò)增大采集圖像分辨率來(lái)減小.而圖像PSF計(jì)算的精確性由相機(jī)矩陣的標(biāo)定來(lái)決定.

圖3 用單幀去模糊方法估計(jì)PSF去模糊結(jié)果Fig.3 The deblurring result with the PSF based on traditional deblurring method

圖4 用約束條件求取的PSF去模糊Fig.4 The deblurring result with our method

表1 去模糊質(zhì)量NMSE值對(duì)比Table 1 Comparison of NMSE values

表2 去模糊質(zhì)量PSNR值對(duì)比Table 2 Comparison of PSNR values

4 結(jié)語(yǔ)

由于實(shí)際生產(chǎn)線上的工件往往處于運(yùn)動(dòng)狀態(tài)，取得的圖像會(huì)產(chǎn)生運(yùn)動(dòng)模糊.而以往的圖像復(fù)原算法又通常只著眼于對(duì)單視點(diǎn)圖像進(jìn)行單獨(dú)的模糊核估計(jì)及圖像復(fù)原，不能很好的保持各個(gè)視點(diǎn)之間點(diǎn)擴(kuò)展函數(shù)路徑的幾何對(duì)應(yīng)關(guān)系.以上敘述的方法正是針對(duì)此類問(wèn)題提出.該方法推導(dǎo)了雙目相機(jī)之間的對(duì)極幾何關(guān)系并結(jié)合現(xiàn)有的非盲目去卷積算法，對(duì)雙目運(yùn)動(dòng)模糊圖像進(jìn)行整體一致的去模糊處理，并進(jìn)行了一系列復(fù)原實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果表明本文提出的復(fù)原方法是有效的.

致謝

衷心感謝國(guó)家自然科學(xué)基金委員會(huì)的資助！

［1］洪漢玉．現(xiàn)代圖像圖形處理與分析［M］．武漢：中國(guó)地質(zhì)大學(xué)出版社，2011：1－2．

HONG Han－yu．Advanced processing and analysis for image and graphics［M］．Wuhan：China University of Geosciences press，2005：11－12．（in Chinese）

［2］張?zhí)煨颍上褡詣?dòng)目標(biāo)識(shí)別［M］．武漢：湖北科學(xué)技術(shù)出版社，2005：11－12．

ZHANG Tian-xu．The automatically recognizes of imaging［M］．Wuhan：Hubei Science and Technology Press，2005：11－12．（in Chinese）

［3］盧在盛．單幅圖像運(yùn)動(dòng)模糊參數(shù)判定與去模糊研究［D］．廣西：廣西大學(xué)，2011．

LU Zai-sheng．Motion-blur indentification and delurring usingsingleimage［D］．Guangxi：Guangxi University，2011．（in Chinese）

［4］沈垣，李舜酩，毛建國(guó)，等．?dāng)?shù)字圖像復(fù)原技術(shù)綜述［J］．中國(guó)圖像圖形學(xué)報(bào)，2009，14（9）：1764－1775．

SHEN Yuan，LI Xunmin，MAO Jianguo，et al．Digital image restoration techniques［J］．Journal of Image and Graphics，2009，14（9）：1764－1775．（in Chinese）

［5］焦繼超，趙保軍，陶芬芳，等．一種基于局部圖像復(fù)原的天文圖像增強(qiáng)算法［J］．儀器儀表學(xué)報(bào)，2011，32（7）：1455－1461．

JIAO Ji-chao，ZHAO Bao-jun，TAO Fen-fang，et al．Astronomical image enhancement algorithm based on regional image restoration［J］．Chinese Journal of ScientificInstrument，2011，32（7）：1455－1461．（in Chinese）

［6］張紅民，陳新平，張亞娟．一種改進(jìn)的Wiener濾波圖像復(fù)原算法［J］．重慶理工大學(xué)學(xué)報(bào)自然科學(xué)，2010，24（7）：76－80．

ZHANG Hong-min，CHEN Xin-ping，ZHANG Ya-juan．Improved wiener filter algorithm for image restoration［J］．Journal of Chongqing Insitute of Technology Natural Science，2010，24（7）：76－80．（in Chinese）

［7］RASKAR R，AGRAWAL A，TUMBLIN J．Coded exposure photography：Motion deblurring using fluttered shutter［J］．ACM Trans Graph，25（3）：795－804．

［8］SIMON M K Probability distributions involving gaussian randomvariables：ahandbookforengineers［J］. Scientists and Mathematicians Springer,2002：1378-1382．

［9］HONG Han-yu，ZHANG Tian-xu．Fast restoration approach for rotational motion blurred image based on deconvolutionalongtheblurringpath［J］．Optical Engineering，42（12）:3471－3486．

［10］LEVIN A.Blind motion deblurring using image statistics［C］//In Advances in Neural Information Processing Systems NIPS．2006（2）：1738－1742．

［11］CHEN W G，NANDHAKUMAR N，MATIN W N．Image motionestimationfrommotionsmear－anew computational model［J］．Pattern Analysis and Machine Intelligence，1996，18（4）:412－425．

［12］RAV－AchaA，PELEGS．Two motion－blurred images are better than one［J］．Pattern Recognition Letters，2005,26（2－3）：311－317．

［13］BEN ME，Nayar S K．Motion－based motion eblurring［J］．IEEE Trans on Pattern Analysis and Machine Intelligence，2004，26（6）：689－698．

［14］YUAN L，SUN J，QUAN L，et al．Shum Image deblurring with blurred／noisy image pairs［J］.ACM TOG，26（3），374－379．

［15］YITZHAKY Y I，MOR A L，KOPEIKA N．Direct method for restoration of motion blurred images［J］. J Opt Soc Am A,15（6）:1512－1519.

［16］TSIN Y，RAMESH V，KANADE T.Statistical calibration of CCD image process［J］．Proc IEEE Int’l Conf Computer Vision，2001：480－487．

［17］HAMMETT S T，GEORGESON M A，GOREA A. Motion Blur and Motion Sharpening：Temporal Smear and Local Contrast Non-linearity［J］．Vision Resarch，1988（38）:20－99．

［18］章秀華，洪漢玉，華夏，等．動(dòng)目標(biāo)多視點(diǎn)基于標(biāo)定的去模糊方法［J］．武漢工程大學(xué)學(xué)報(bào)，2014，36（12）：56－62．

ZHANG Xiuhua，HONG Han-yu，HUA Xia，et al．Multi－view motion of moving target deblurring based on calibration［J］．JournalofWuhanInstitute ofTechnology，2014，36（12）：56－62．（in Chinese）

Deblurring of double view motion image

HONG han－yu，ZHANG Wen－mo，ZHANG Xiu－h(huán)ua，SHI Yu
School of Mechanical and Electrical Engineering，Wuhan Institute of Technology，Wuhan 430205，China

The images acquired from the actual production line in modern industrial production are motionblurred，which affects the detection of the surface information and the reconstruction of the profile．To solve this problem，we proposed a deblurring method based on double view motion image．We deduced the relationship of the point spread function path between the double view images through the epipolar geometry and the camera model，and solved the parameters in the calibration matrix with the calibration system based on MATLAB，then we got the association point spread function（PSF）path based on the constraint condition，and deblurred the motion images．The experimental results show that the motion image deblurring using the PSF path solved by the geometric relationship has better effect．

motion deblurring；binocular image；Zhengyou Zhang calibration；the epipolar geometry；point spread function path

TB35

A

10.3969/j.issn.1674-2869.2015.04.010

1674-2869（2015）04-0045-06

本文編輯：陳小平

2015-03-05

國(guó)家自然科學(xué)基金面上項(xiàng)目(61175013)；湖北省自然科學(xué)基金創(chuàng)新群體項(xiàng)目（2012FFA046）；武漢市國(guó)際科技合作計(jì)劃項(xiàng)目（編號(hào)2014030709020310）.

洪漢玉(1964-)，男，湖北陽(yáng)新人，教授,博士．研究方向：圖像處理與模式識(shí)別.