郭凱敏，崔天時，張　楨，郭志強，朱鐵欣，謝學(xué)剛

(東北農(nóng)業(yè)大學(xué)，哈爾濱　150030)

?

西紅柿采摘機器人視覺系統(tǒng)的研究

郭凱敏，崔天時，張楨，郭志強，朱鐵欣，謝學(xué)剛

(東北農(nóng)業(yè)大學(xué)，哈爾濱150030)

摘要：針對果實采摘機器人果實識別率低的問題，設(shè)計了一組用于西紅柿識別和定位的雙目立體視覺系統(tǒng)，為機器人的采摘作業(yè)提供更有利的條件。為此，采用Bumblebee雙目立體視覺系統(tǒng)，基于成熟果實與植株顏色特征的差異進行圖像分割，來識別成熟的西紅柿；在完成相機標定、特征點提取和特征點匹配的基礎(chǔ)上，通過三維空間定位獲取果實的三維坐標。實驗結(jié)果表明：該系統(tǒng)果實識別的整個過程平均耗時150ms，對成熟西紅柿的識別率達到99%，測試誤差在10mm以內(nèi)，能夠較好地滿足西紅柿采摘工作的要求。

關(guān)鍵詞：農(nóng)業(yè)機器人；雙目立體視覺；相機標定；特征點提取；特征點匹配；三維重建；定位

0引言

機器視覺系統(tǒng)是采摘機器人實現(xiàn)準確采摘的首要條件，研究具有視覺功能的果實采摘機器人，在提高農(nóng)業(yè)生產(chǎn)力方面具有極大的應(yīng)用價值和現(xiàn)實意義。在機器人視覺的研究方面，國內(nèi)外都有很多的研究成果；但受到計算機視覺理論、相機標定方法及圖像處理的算法等方面的限制，機器視覺在農(nóng)業(yè)方面的應(yīng)用還有很大局限，距離現(xiàn)實應(yīng)用還有很大差距。由于農(nóng)田實際作業(yè)環(huán)境的復(fù)雜多變，導(dǎo)致果實的識別率和采摘成功率也不是十分理想。

為此，采用Bumblebee雙目立體視覺系統(tǒng)，通過對成熟西紅柿與周圍環(huán)境顏色特征的分布進行統(tǒng)計與分析，確定適用于成熟西紅柿目標分割的顏色因子；選取適合的顏色因子對成熟西紅柿識別，確定有效的采摘點，計算果實的空間定位。

1識別與定位系統(tǒng)建立

1.1　工作原理

雙目立體視覺的物體定位原理是基于視差，也就是從兩個視點對同一物體進行觀察，獲取不同的感知圖像，建立幾何模型；然后通過幾何模型的關(guān)系運算，獲取圖像像素間的坐標偏差，從而得到物體的三維坐標。這個過程與人類的立體感知過程相似。研究采用的Bumblebee視覺系統(tǒng)符合平行式立體視覺模型，如圖1 所示。

圖1　平行式立體視覺模型

該系統(tǒng)由兩臺光軸平行并且垂直于基線的CCD攝像頭right和left組成，焦距均為f，構(gòu)建以左目坐標為基準的三維坐標系，如圖2所示。

圖2　雙目立體定位原理

基線距B為兩攝像頭的投影中心連線的距離，假如兩攝像頭在同時看到空間物體的同一個標志點P(xc,yc,zc)，分別在左右兩個攝像頭上獲取了點P的圖像，圖像坐標分別為Pleft=(Xleft,Yleft)和Pright=(Xright,Yright)。假如兩攝像頭獲取的圖像處在同一個水平面上，則標志點P的圖像坐標Y相同，也就是Yleft=Yright=Y。因此，可以通過三角關(guān)系變換得

(1)

視差的計算公式為

Disparity=Xleft-Xright

(2)

因此，標志點P在以左相機為基準點的坐標系下的三維空間坐標的計算式為

(3)

由此可知：左攝像頭像面上的一點只要能在右攝像頭像面上找到對應(yīng)點(即匹配點)，就可以計算出該點的空間坐標。然而，這種方法是針對點對點的運算，如果要運用到實際環(huán)境中，還需要進行更復(fù)雜的處理變換。

1.2　軟硬件結(jié)構(gòu)

采用VC++6.0編程軟件，設(shè)計西紅柿采摘機器人的操作界面，包括圖像采集、圖像預(yù)處理、攝像頭標定、特征點提取與匹配及三維重建等5部分。計算機視覺的首要條件是獲取數(shù)字圖像。為獲取數(shù)字圖像，在機器人視覺中，常用的設(shè)備是CCD攝像頭和視頻采集卡。本文采用的雙目立體視覺系統(tǒng)是由Sony公司生產(chǎn)的彩色CCD雙目攝像機、PC機和1394視頻采集卡組成的系統(tǒng)，連接方式如圖3所示。

圖3　雙目立體視覺系統(tǒng)

立體攝像機參數(shù)為：CCD的尺寸：l/3inch(即CCD對角線的長度，為6mm);攝像機大小為160×40×50mm；兩攝像機的基線距B為12cm；采集圖像的像素為640×480；幀率為30Hz；焦距為6mm。其工作流程如圖4所示。

圖4　系統(tǒng)工作流程圖

1.3　攝像頭標定

攝像頭的標定是為了獲取攝像頭的內(nèi)外參數(shù)，以實現(xiàn)對目標的準確定位，計算出目標在實際空間中的位置信息。這需要建立識別后的左右匹配的特征點的三維坐標與圖像坐標之間的幾何關(guān)系。這個幾何關(guān)系由攝像頭內(nèi)外參數(shù)決定，也就是由攝像頭成像的幾何模型決定，獲取內(nèi)外參數(shù)的過程就是攝像頭的標定。采用張正友棋盤標定法，如圖5所示。

圖5　張正友棋盤標定模板

此方法標定模板與傳統(tǒng)標定和自標定方法相比具有設(shè)備簡單、操作方便、精度高及魯棒性好等優(yōu)點。

用此法獲取的內(nèi)外參數(shù)矩陣為

其徑向畸變系數(shù)k1=-0.7321，k2=0.7562。

2識別與定位

2.1　圖像采集

Bumblebee雙目攝像頭通過1394視頻采集卡與PC機相連的設(shè)備采集到的是數(shù)字圖像，CCD攝像機和視頻采集卡在PC機的控制下完成圖像的輸入及數(shù)字化工作。CCD攝像機先將局部視場內(nèi)的光學(xué)圖像信號轉(zhuǎn)換成相應(yīng)的電信號，該電信號帶有圖像空間信息，再與同步信號整合成完整的視頻信號，通過同軸電纜傳輸給圖像采集卡；視頻信號經(jīng)過圖像采集卡上的A/D轉(zhuǎn)換器轉(zhuǎn)換成圖像數(shù)據(jù)，存放在幀存儲器，以供計算機進行其他處理操作。

2.2　圖像預(yù)處理

在機器人視覺理論框架中，第1步就是對二維圖像預(yù)處理。其目的是使目標圖像與背景圖像分離，突出目標圖像的視覺效果，將圖像轉(zhuǎn)化為一種更適合機器分析處理的形式。

目標圖像的邊緣是圖像特征的一個重要部分，包含原始圖像中的很多有用的信息，往往通過一條簡單的輪廓線就能把物體識別出來。因此，圖像的邊緣輪廓特征提取在機器人視覺中占有很重要的地位。雙目視覺圖像預(yù)處理方法主要涉及到圖像預(yù)處理、圖像分割、邊緣檢測和特征提取等。

因此，采用了增強型的Hough變換的特征提取方法，預(yù)處理過程如圖6所示。

圖6　圖像預(yù)處理過程

2.2.1平滑處理

采用中值濾波的方法對原始圖像進行平滑處理，目的是為了消除圖像中存在的噪聲干擾，盡可能地提高圖像質(zhì)量。中值濾波是一種非線性處理技術(shù)，主要作用是讓與周圍像素灰度值差較大的像素修改為與周圍像素值接近的值，從而消除孤立的噪聲點，有效地抑制圖像中的噪聲。

2.2.2灰度化

RGB的顏色標準，分別代表紅、綠、藍3個通道的顏色，也稱為三基色，其他顏色由這3種顏色混合而成，是目前運用最廣泛的顏色系統(tǒng)之一。

RGB顏色模型中，原點(0,0,0)對應(yīng)黑色，頂點(1,1,1)對應(yīng)白色，在坐標軸上的3個頂點表示RGB三基色，如圖7所示。規(guī)定R、G、B取值的區(qū)間均為[0,255]，當(dāng)三色都為255時為白色，都為0時為黑色，三色數(shù)值相同時為無色彩的灰度色，白色與黑色的連線即表示灰度級。

用g(i,j)表示點(i,j)處的灰度值，R(i,j)、G(i,j)、B(i,j)分別表示該點的三基色色值。

圖7　RGB顏色模型

灰度化的公式為

g(i,j)=0.299R(i,j)+0.587G(i,j)+

0.114(i,j)+0.5

2.2.3二值化

很多情況下，進行圖像分析、特征提取和模式識別前，要對圖像進行預(yù)處理，目的是為了分離目標和背景在不同灰度等級范圍的圖像。采用圖像閾值分割法，可以極大地壓縮數(shù)據(jù)，簡化分析和處理的步驟，是一種最常用、最簡單的圖像分割方法。

圖像閾值化的方法是對圖像按照灰度級，對像素集合進行區(qū)域劃分，每個區(qū)域?qū)?yīng)圖像上一個現(xiàn)實景物，各個區(qū)域內(nèi)部具有屬性一致性，而且相鄰區(qū)域同樣有這種屬性一致性。

閾值化分割法是設(shè)定合適的閾值，將圖像像素點進行區(qū)域區(qū)分。設(shè)原始圖像為f(x,y)，以一定的準則在f(x,y)中找出合適灰度值，作為閾值t，對圖像進行分割，獲取的圖像g(x,y)為

若取b0=0(黑)、b1=1(白)，即為圖像二值化。

2.2.4邊緣檢測

通過圖像像素和空域微分算子的卷積可以完成邊緣的檢測，采用的算子為Canny算子。與傳統(tǒng)的算子相比，該算子檢測出的邊緣與實際邊緣距離誤差最小，效果好。

Canny算子的基本思路是先對需處理的圖像進行平滑處理，對此選擇Gauss濾波器，之后采用“非極值抑制”的處理，就可以得到所需的邊緣圖像。

在運用Canny算子進行邊緣檢測時，通常需要對高斯函數(shù)進行分解處理，可以把二維的高斯函數(shù)分解為兩個行列濾波器，從而提高運算速度。假設(shè)高斯函數(shù)為

(4)

分別求在x方向和y方向的導(dǎo)數(shù)為

(5)

(6)

將式(5)、式(6)與圖像f(x,y)卷積，輸出為

(7)

(8)

2.2.5增強型的Hough變換的特征提取

Circle Hough Transform(CHT)是特征提取常用的一種經(jīng)典方法，可利用三維空間參數(shù)提取圓。這種方法靈活簡單，具有很強的抗干擾能力；但同時也有缺點，如計算量大及對存儲空間要求較高等。另外，在處理復(fù)雜圖像信息時，通常會引入一些無用的累計計算，降低了算法性能。因此，提出一種增強型的Hough變換算法，算法原理如圖8所示。

圖8　增強型Hough變換流程圖

其中，vi=(xi,yi)為存儲至集合V中的邊緣點，計數(shù)器為記為c，失敗的次數(shù)設(shè)為f，集合中元素最少個數(shù)為m，邊緣厚度設(shè)為t，真實圓的閾值為p、n在V中的個數(shù)。提取圓心結(jié)果如圖9所示。

圖9　攝像機提取圓心結(jié)果

2.3　特征點提取與立體匹配

在圖像特征點匹配的確定方面，利用SIFT(Scale Invariant Feature Transform)算子進行圖像特征點匹配具有很高的可靠性，該算子提取的特征點同時具有很強的穩(wěn)定性。

可以通過高斯差分算子建立尺度空間，假如二維高斯函數(shù)定義為

(9)

其中，δ代表了高斯正態(tài)分布的方差。而尺度空間的定義為

L(x,y,δ)=G(x,y,δ)·I(x,y)

(10)

兩個不同尺度的高斯核的差分DoG可以定義為

D(x,y,δ)=D[(x,y,kδ)-G(x,y,δ)]·I(x,y)

=L(x,y,δ)-L(x,y,δ)

應(yīng)用SIFT算子進行特征點提取，需在DoG尺度空間和圖像二維平面空間中同時檢測局部極值作為特征點。特征點確定以后，要使其旋轉(zhuǎn)不變形，就要計算其領(lǐng)域像素的梯度方向分布特性，并且為每個特征點指定方向參數(shù)。

特征點提取以后，取一個8×8的窗口，以特征點像素中心，對窗口中求每個像素的梯度。然而，梯度值又易引起特征點間的誤匹配的現(xiàn)象，需重新將該窗口分成4部分，每個部分就有1個4×4的小窗口生成，每個窗口確定一個2×2的種子點，每個種子點有8個方向向量信息。這個種子點作為特征點標識符，如果兩個特征點標識符小于設(shè)定數(shù)值，那么這兩個特征就相互匹配。

確定兩個匹配點后，可以利用兩個匹配點的像素坐標，由式(3)計算出該物體的空間坐標。

3實驗研究

采用符合平行雙目立體視覺模型的雙目視覺系統(tǒng)，進行成熟西紅柿空間位置的計算。針對實驗室單個西紅柿的環(huán)境，該視覺軟件系統(tǒng)采用VC++6.0編程，采用面向?qū)ο蟮恼Z言C++進行程序設(shè)計的方法。

確定兩個匹配點后，可以利用兩個匹配點的像素坐標，由式(3)計算出該物體的空間坐標。軟件界面如圖10所示。

由雙目視覺系統(tǒng)測得的數(shù)據(jù)和激光傳感器測距獲得的數(shù)據(jù)相比較獲得誤差，如表1所示。

圖10　軟件界面

序號左匹配點右匹配點三維坐標距離誤差/%1(265,250)(234,248)(-106,98,1256)2.202(290,250)(259,250)(120,82,1249)2.253(200,200)(170,197)(-83,79,1246)2.30

4結(jié)論

利用Bumblebee雙目立體視覺系統(tǒng)，分析了成熟西紅柿的顏色特征模型，提出一種增強的Hough變換，可有效地分割西紅柿與背景。對識別后的果實進行定位，識別率可達到99%。同時，建立了一種目標定位誤差分析機制，可有效地對系統(tǒng)定位的準確性進行判斷。

參考文獻：

[1]周天娟.基于機器視覺的草莓采摘機器人技術(shù)研究[D].北京:中國農(nóng)業(yè)大學(xué),2007.

[2]周俊,程嘉煜.基于機器視覺的農(nóng)業(yè)機器人運動障礙目標檢測[J].農(nóng)業(yè)機械學(xué)報,2011,42(8):154-158.

[3]韓云生.基于雙目立體視覺的移動機器人目標定位[D].無錫:江南大學(xué),2009．

[4]張凱良,楊麗,張鐵中.草莓采摘位置機器視覺與激光輔助定位方法[J].農(nóng)業(yè)機械學(xué)報,2010,41(4):151- 156.

[5]Naoshi Kondo, Koki Yata, Michihisa Iida, et al. Development of an end-effector for a tomato cluster harvesting robot [J].Engineering in Agriculture,Environment and Food, 2010,3(1):20-24.

[6]蘭海濱,王平,趙保軍.基于色調(diào)空間的彩色圖像匹配算法[J].計算機應(yīng)用研究,2009(3):1174-1176．

[7]Xiong J,Zou X, Zou H, et al. Design and research of camera calibration system in binocular stereo vision[J].Key Engineering Materials,2011,460-461:219-224.

[8]Milan Sonka, Vaclav Hlavac, Roger Boyler.圖像處理、分析與機器視覺[M].艾海舟，譯.北京：清華大學(xué)出版社，2011.

Abstract ID:1003-188X(2016)12-0217-EA

Research on Tomato-harvesting Robot Visual System

Guo Kaimin， Cui Tianshi， Zhang Zhen， Guo Zhiqiang， Zhu Tiexin， Xie Xuegang

(Northeast Agricultural University, Harbin 150030, China)

Abstract：Aimed at the problem of low recognition rate of fruit picking robots,design a set of binocular stereo vision system is used to identify and locate tomato,provide more favorable conditions of picking robot operation.The Bumblebee binocular stereo vision system,the identification of visual system is developed through the difference between the color characteristics of ripe tomatoes and plant. after camera calibration, feature point extraction and feature points matching,the space coordinates is obtained through 3D reconstruction.The experiment results show that the identification rate of the vision system can reach 99%,and identification average time is about 0.15s,the absolute error of distance-measuring can be controlled within 10mm.It can meet the needs of practical work very well.

Key words：agricultural robot; binocular stereo vision; camera calibration; feature point extraction; feature points matching; 3dreconstruction; location

中圖分類號：S225.92；TP242

文獻標識碼：A

文章編號：1003-188X(2016)12-0217-05

作者簡介：郭凱敏(1988-)，男，河南周口人，碩士研究生，(E-mail)1035436878@qq.com。通訊作者：崔天時(1967-)，男，哈爾濱人，副教授，碩士生導(dǎo)師，博士。

基金項目：國家“863計劃”項目(810028)

收稿日期：2015-11-20