喬方博， 曾松偉， 宋洪軍,郜園園*

(1.浙江農(nóng)林大學信息工程學院智慧農(nóng)林業(yè)研究中心,浙江杭州 311300；2.北京交通大學電子信息工程學院，北京 100044；3.浙江省林業(yè)智能監(jiān)測與信息技術研究重點實驗室，浙江杭州 311300)

?

基于雙目立體視覺的果蔬深度信息獲取

喬方博1，2， 曾松偉1，3， 宋洪軍1,3,郜園園1，3*

(1.浙江農(nóng)林大學信息工程學院智慧農(nóng)林業(yè)研究中心,浙江杭州 311300；2.北京交通大學電子信息工程學院，北京 100044；3.浙江省林業(yè)智能監(jiān)測與信息技術研究重點實驗室，浙江杭州 311300)

摘要針對果蔬采摘機械采摘過程中深度信息不易獲的缺陷，該研究運用雙目立體視覺技術通過攝像機標定對豆角的位姿信息進行獲取。首先根據(jù)相機成像原理闡述圖像坐標系、相機坐標系、世界坐標系三者之間的轉換；其次通過對單目攝像機模型與平行相機模型之間的比較，推導雙目相機定位算法；最后通過對試驗結果的研究，分析該技術在不同場景應用過程中的注意事項，并對未來改進方向進行展望。

關鍵詞深度信息；雙目；立體視覺；攝像機標定

視覺是人類觀察世界、認知世界的重要功能手段，人類感知外部世界主要通過視覺、觸覺、聽覺和嗅覺等感覺器官，其中80%的信息是由視覺獲取的，機器視覺是人類利用計算機實現(xiàn)人的視覺功能一對客觀世界三維場景的感知、識別和理解，機器視覺是一個相當新而且發(fā)展迅速的研究領域，機器視覺技術正廣泛地應用于各個方面，許多人類無法感知的場合，如危險場景感知等，機器視覺更突顯其優(yōu)越性[1-3]。機器視覺屬于影像的重構技術，具有非接觸性測量、實施簡易的特點，具有廣闊的應用前景，是有待于進一步開發(fā)的領域。計算機視覺被認為是計算機科學和人工智能的一個分支，計算機視覺就是用機器代替人的眼睛和大腦，對客觀世界進行感知和解釋的技術。該系統(tǒng)的首要目標是使計算機具有通過一幅或者多幅二維圖像認知周圍的三維環(huán)境信息的能力。這種能力不僅可以使計算機能夠感知三維環(huán)境中物體的幾何信息，并且能夠對它們進行描述、存儲并使用圖像來創(chuàng)建和恢復現(xiàn)實世界模型，從而達到認知現(xiàn)實世界的目的。因此，自從計算機視覺這門科學出現(xiàn)以來就成為計算機科學的重要研究領域之一并且發(fā)展十分迅速。筆者在對攝像機成像模型進行分析的基礎上，以豆角為例，進行了果蔬位姿深度信息恢復試驗，對未來基于雙目立體視覺的果蔬深度信息獲取的改進方向提出展望。

1攝像機成像模型

1.1圖像坐標系、攝像機坐標系、世界坐標系攝像機主要的功能是把三維環(huán)境映射到二維平面上，這種映射方式要用成像變換來描述，即攝像機成像模型。以下介紹圖像坐標系、相機坐標系、世界坐標系三者之間的轉化。

圖1　圖像坐標系

圖1中，(u,v)軸表示以像素為單位的像素坐標系，(X,Y)表示以“mm”為單位的圖像坐標系。在(X,Y)坐標系中，原點O1定義在攝像機光軸和圖像平面的交點，位于圖像中心處。若O1在u、v軸坐標系中的坐標為(u0,v0)，每一個像素在X軸與Y軸方向上的物理尺寸為dX、dY，則圖像中任意一點的像素坐標與圖像坐標轉換關系如下：

(1)

轉換為齊次坐標形式：

(2)

由像素坐標表示圖像坐標：

(3)

在實踐中，攝像機可安放在環(huán)境中的任意位置，可任意選擇一個基準坐標系描述環(huán)境中所有物體的位置，同時也可表示攝像機的位置，該坐標系稱為世界坐標系。其坐標軸由XW、YW、ZW表示。圖2表示攝像機的成像模型。

圖2　攝像機坐標系與世界坐標系

圖2中O點是光學中心，光軸和所成圖像平面的交點O1一般在圖像的正中心，在這里是圖像坐標的原點，OO1為攝像機焦距[1]。x軸和y軸與圖像的X軸與Y軸平行，Z軸為攝像機光軸，垂直于圖像平面。由點O與x，y，z軸構成的直角坐標系稱為像機坐標系。

攝像機坐標系與世界坐標系之間的變換關系，可以用選擇旋轉矩陣R和平移向量t來建立[1]。則攝像機坐標系下的齊次坐標[Xc,Yc,Zc,1]T與空間中任意一點P在世界坐標系下的齊次坐標[Xw,Yw,Zw,1]T可通過如下關系來轉換：

(4)

式中，R為3×3旋轉矩陣，同時也是單位正交矩陣；t為三維平移向量；0=[0,0,0]T；M1為4×4矩陣。

1.2攝像機線性模型(針孔模型)攝像機線性模型也叫做針孔成像模型[4-5]?？臻g任意點P在圖像上的投影位置P是光心O與P點的連線OP與圖像平面的交點，根據(jù)坐標比例模型，有如下關系：

(5)

式中，(x,y)為p點的圖像物理坐標；(Xc,Yc,Zc)為空間點P的攝像機坐標，這種關系也成為稱為中心攝影或透視攝影，根據(jù)這一關系空間中任意一點P的圖像坐標可用針孔模型近似表示。利用齊次坐標與矩陣形式表示此透視投影關系：

(6)

將式(3)、式(4)與式(6)合并，得到P點的世界坐標(Xw,Yw,Zw)與其投影點p的圖像像素坐標(u,v)之間的關系：

=MXw

(7)

式中，ax=f/dx，ay=f/dy，Xw=[Xw,Yw,Zw]T；M為3×4的投影矩陣，M1由相機內參決定，M2由相機外參決定。

1.3標定原理攝像機標定是指建立攝像機圖像像素位置與點場景位置之間的關系，主要是根據(jù)攝像機模型，選取已知特征點的圖像坐標和世界坐標[6]，來求解攝像機的模型參數(shù)，也就是上一節(jié)提到的內參和外參，如表1所示。

表1　攝像機模型內參外參

表1表達式中，ax、ay、u0、v0、γ是線性模型的內部參數(shù)，ax、ay分別為u軸和v軸的尺度因子，或稱為有效焦距，與式(2)對比可得ax=f/dx,ay=f/dy，dx、dy分別為水平方向與豎直方向的相鄰兩像素點之間的間距，u0、v0是光學中心，γ是u軸和v軸不垂直因子(一般為0)內參與攝像機的內部結構有關；R和T是旋轉矩陣和平移矩陣，稱為外部參數(shù)，由攝像機相對于世界坐標系的位置決定。在非線性模型中，內部參數(shù)除了線性模型的ax，αy，u0，v0,γ外，還包括徑向畸變參數(shù)k1,k2切向畸變參數(shù)p1和p2[7]。

根據(jù)已知的參照物求投影M矩陣，當作其余算法的參照數(shù)據(jù)?？蓪⑹?7) 中的M矩陣改寫成下式：

(8)

式中，(Xwi,Ywi,Zwi,1)T為場景中第i個已知參照點的世界坐標；(ui,vi,1)為i個點的圖像像素坐標；mij為投影矩陣中位于第i行j列元素，式(8)可列為以下方程組：

(9)

將M矩陣分解， 式(2)～(7)的M矩陣與攝像機的內外參數(shù)如下：

(10)

(11)

依次計算得到r3、u0、v0、ax及ay：

r3=m34m3

(12)

(13)

(14)

(15)

(16)

進一步求出以下參數(shù)：

(17)

(18)

tz=m34

(19)

(20)

(21)

綜上所述，場景中最少6個點的世界坐標點以及相對應的像素坐標點可以求出M矩陣，并根據(jù)式(12)～(21) 依次確定攝像機的內外參數(shù)。

2果蔬位姿深度信息恢復試驗

2.1雙目平行相機模型人們早就認識到，雙眼觀察物體時會有立體感，雙目平行相機模型就是模仿這一視覺機理，通過對同一物體在左右圖像上投影的視差，根據(jù)幾何比例模型來計算該物體在場景中的坐標。如圖3所示視差原理，左相機和右相機的光學中心分別設為Cl和Cr，目標點P在兩相機圖像上的投影點分別為Pl和Pr，相機距離為b，焦距為f。P與ClCr的連線距離為d，過C1、Cr分別向圖像平面作垂線C1A1、CrAr，過點P向圖像平面作垂線PB。令|AlPl|=la，|ArPr|=lb,|PrB|=a。

圖3　視差測距原理

按照三角形相似原理得出：

(22)

解得：

(23)

假設C1、C2分別為兩相機的位置，則在三維空間的坐標分別為O1x1y1z1、O2x2y2zz，則在上述攝像機配置下，若任何空間P1點的坐標在C1坐標系下為(x1,y1,z1)，C2在坐標系下為(x1-b,y1,z1)。由中心攝影的比例關系可得：

(24)

(25)

其中(u1,v1)、(u2,v2)分別為p1與p2的圖像坐標。在圖3所示的簡單攝像機配置下，假設Cl坐標系就是世界坐標系的情況下，可得：

(26)

可見，由p1與p2的圖像坐標(u2，v2)，(u2,v2)可求出空間點P的三維坐標(x1,y1,z1)。同理可得出以另一個相機為基準的空間坐標。

圖4　基線長度的討論

2.2基線長度的選取調整雙目攝像機的過程中，要注意2個攝像頭在同一高度，2個鏡頭保持同一平面，以保證2個相機光軸平行。攝像機使其在試驗過程中不受干擾。在調整兩攝像機距離的過程中，需考慮以下問題：

(1) 雙目攝像機由于平行放置而很有可能導致2幅圖的共同特征點不能匹配。一種可能是由于兩相機的視差太大或在測量目標元素距離太近時，導致兩相機共同視野下不存在目標元素，只可在一個相機中成像；第二種可能是由于拍攝環(huán)境較為復雜，目標元素被其他物體遮擋下只可在其中一個相機中有投影。以上情況導致特征點在兩幅圖上找不到相互的對應性。解決方法只能減小相機距離，如圖4所示陰影部分為共同可視部分，隨著a的長度減小，可使其共同視野增加，出現(xiàn)上述情況的概率也隨之減小。

(2)雖然上述方法解決了視野問題，但隨之帶來的就是精確度問題。若一味地減小相機距離，當像機間隔趨近0時，雖不存在視野問題，但是雙目也就失去了意義。隨著基線長度增加，可減小2幅圖匹配后視差的相對誤差，將增加深度測量的精度，而共同視野及匹配的概率也隨之降低。

總而言之，基線長度的選取要充分考慮拍攝對象的大小和拍攝距離。

2.3豆角坐標定位考慮到豆角的長寬相對較小，拍攝距離相比豆角的實際大小相對較遠，為了提高結果的準確性，基線長度選定為200 mm。

圖5　豆角位姿坐標定位結果

根據(jù)標定結果，分別依次輸入2個攝像機的內外參數(shù)，讀入左右圖片(2幅圖盡可能保證在同一幀下拍攝，注意分辨率要與標定時一致)，再對同一目標分別在左右圖片上點選取特征點，計算2幅圖的相機坐標系。計算結果見圖5。針對豆角不同距離進行定位測試，將實際距離與測試距離比較，測試結果見表2。

表2　豆角位姿恢復試驗測試結果

由表2可知，當測試距離較近時，由于左右圖像上同一目標的橫向坐標相差交大，取點匹配后相對誤差較小，距離的計算結果較為精確。但隨著測試距離增加，同一目標點在左右圖像上的坐標變化不再明顯，這為取點匹配帶來一定困難，誤差隨之增大。事實上，隨著測試距離變?yōu)闊o限遠，雙目就失去了意義。

3結論

利用雙目平行相機模型，可以對三維場景進行模擬，但是人工調節(jié)下設備難以達到理想效果，并且需考慮實際拍攝物的遠近、大小來適當調整。如果需要進一步精確，還需要對拍攝圖像進行畸變處理。

智能化的發(fā)展對特征點自動提取和立體匹配的需求越來越強烈，但是自動提取需要在應對不同拍攝環(huán)境下需針對性處理，尤其是復雜的場景中特征點的提取難度也隨之增加。因此，優(yōu)化算法以應對實際生產(chǎn)生活中的諸多不確定因素，仍是雙目立體觀賞信息獲取技術改進的方向。

參考文獻

[1] 馬頌德,張正友. 計算機視覺:計算理論與算法基礎[M].北京：科學出版社,1998.

[2] 崔巖.基于雙目立體視覺的距離測量[D].長春：長春理工大學,2007.

[3] 田國會,李曉磊,趙守鵬,等.家庭服務機器人智能空間技術研究與進展[J].山東大學學報(工學版),2007,37(5):53-59.

[4] 徐冠華,田國良,王超,等.遙感信息科學的進展和展望[J].地理學報,1996,51(5):385-397.

[5] 馬玉真,胡亮,方志強,等.計算機視覺檢測技術的發(fā)展及應用研究[J].濟南大學學報 (自然科學版),2004,18(3)：222-227.

[6] 喬毅.移動機器人雙目視覺的三維重構[D].哈爾濱：哈爾濱工程大學,2007.

[7] 徐杰.機器視覺中攝像機標定 Tsai 兩步法的分析與改進[J].計算機工程與科學,2010,32(4):45-48.

收稿日期2015-11-20

作者簡介喬方博(1991- )，男，山西大同人，碩士研究生，研究方向：智能機器人、農(nóng)林業(yè)信息監(jiān)測等。*通訊作者，講師，博士，從事農(nóng)林業(yè)信息監(jiān)測、智能機器人控制技術等研究。

基金項目國家自然科學基金項目(61302185,31300539)；浙江省自然科學基金項目(LQ14F030014，LQ13F030012)；浙江省林業(yè)智能監(jiān)測與信息技術研究重點實驗室開放基金項目；浙江農(nóng)林大學智慧農(nóng)林業(yè)研究中心預研項目(2013ZHNL03)；浙江農(nóng)林大學人才啟動基金項目(2013FR023，2013FR085)。

中圖分類號S 126

文獻標識碼A

文章編號0517-6611(2015)36-374-05