周濤 張棟 周毛
摘要為解決農(nóng)業(yè)果實(shí)自動采摘問題,設(shè)計(jì)了一種番茄采摘機(jī)器人。該采摘機(jī)器人采用Raspberry Pi 3B作為控制器,通過雙目攝像頭對目標(biāo)果實(shí)進(jìn)行識別與定位后,引導(dǎo)小車至目標(biāo)果實(shí),控制機(jī)械臂完成番茄的采摘。實(shí)驗(yàn)結(jié)果表明,該番茄采摘機(jī)器人具有自主性、準(zhǔn)確性和高效性。
關(guān)鍵詞采摘機(jī)器人;雙目視覺;機(jī)械臂;移動小車
中圖分類號S225.92文獻(xiàn)標(biāo)識碼A文章編號0517-6611(2018)28-0182-04
Design and Implementation of Tomatoes Harvesting Robot
ZHOU Tao, ZHANG Dong, ZHOU Maodeng et al
(School of Information and Control Engineering, Qingdao University of Technology, Qingdao,Shandong 266520)
AbstractIn order to solve the problem of automatic picking of agricultural fruits, a tomato harvesting robot is designed. The harvesting robot uses Raspberry Pi 3B as controller, after identifying and locating the target fruit by binocular camera, it guides the car to the target fruit and controls the robot arm to complete the tomato picking. The experimental results show that the tomato harvesting robot is active, accurate and efficient.
Key wordsHarvesting robot;Binocular vision;Mechanical arm;Mobile vehicle
目前,歐美等發(fā)達(dá)國家已將各式各樣的農(nóng)業(yè)采摘機(jī)器人投入到實(shí)際應(yīng)用中,而我國大多數(shù)果農(nóng)仍然采取人工采摘。人工采摘不僅成本會逐年增加,而且效率也不高[1-3]。為此,筆者設(shè)計(jì)一個(gè)原型番茄采摘機(jī)器人。首先搭建硬件平臺使采摘機(jī)器人有基本的功能結(jié)構(gòu),然后通過算法和軟件設(shè)計(jì)使機(jī)器人能夠完成果實(shí)采摘任務(wù),最后對所設(shè)計(jì)的機(jī)器人進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)表明,該機(jī)器人具有自主性、準(zhǔn)確性和高效性。
1硬件設(shè)計(jì)
該機(jī)器人主要由中央處理單元、雙目攝像頭、移動平臺和機(jī)械臂裝置構(gòu)成,設(shè)計(jì)原理框圖如圖1所示。
1.1中央處理單元
該系統(tǒng)不僅需要快速的對圖像進(jìn)行處理,而且還要對小車和機(jī)械臂進(jìn)行控制。該設(shè)計(jì)選用樹莓派3B(Raspberry Pi 3B)作為番茄采摘機(jī)器人的主控制器。Raspberry Pi是一款基于ARM的電腦主板,外表僅有銀行卡大小,可以連接鼠標(biāo)、鍵盤,這樣便可具備電腦的基本功能。Raspberry Pi 3B有4個(gè)USB接口,可與雙目攝像頭連接;多個(gè)GPIO接口可與機(jī)械臂上的舵機(jī)信號線相連,以傳送PWM信號。除此之外,Raspberry Pi 3B還有功耗低、價(jià)格便宜、易于開發(fā)等特點(diǎn),因此,采用Raspberry Pi 3B作為番茄采摘機(jī)器人的中央處理單元能夠滿足系統(tǒng)要求。
1.2雙目攝像機(jī)
雙目立體視覺是通過計(jì)算機(jī)相關(guān)技術(shù)模仿了人兩只眼睛捕捉到的信息,并對捕捉到的信息進(jìn)行處理分析,可以得到目標(biāo)物體在世界坐標(biāo)的位置。該設(shè)計(jì)采用萊娜機(jī)器視覺(LenaCV)提供的雙目攝像頭作為番茄采摘機(jī)器人的雙眼。此雙目攝像機(jī)基線可變,可以根據(jù)目標(biāo)物體距離視覺傳感器的遠(yuǎn)近來調(diào)整基線大小,如果目標(biāo)物體遠(yuǎn),則基線調(diào)大,相反,則調(diào)小,以此來保證定位的精確度。此雙目傳感器采用DSP作為處理芯片,幀率可達(dá)30幀/s,數(shù)據(jù)接口為USB 3.0,同時(shí)兼容USB 2.0,接口協(xié)議為免驅(qū)動UVC,可與Raspberry Pi直接通信。圖2為該設(shè)計(jì)所使用的雙目攝像機(jī)。
1.3移動平臺
為裝載機(jī)械臂、雙目攝像頭等,需要一個(gè)移動平臺,選用直流電機(jī)作為其驅(qū)動電機(jī)。直流電機(jī)相對于其他電機(jī)有以下優(yōu)點(diǎn):響應(yīng)快,力矩大,具有較大的過載能力,噪聲小。選用的電機(jī)主要參數(shù)如下:額定電壓12 V,額定電流350 mA,電機(jī)自帶減速箱,空載時(shí)輸出軸轉(zhuǎn)速為500 r/min。在實(shí)際應(yīng)用中,需要用電機(jī)驅(qū)動芯片來控制電機(jī)[4],該設(shè)計(jì)中使用SGS公司的L298N。該芯片為雙H橋的驅(qū)動芯片,每個(gè)H橋提供2 A的電流,可以同時(shí)驅(qū)動兩路電機(jī),通過控制輸入端的高低電平來實(shí)現(xiàn)電機(jī)正轉(zhuǎn)、反轉(zhuǎn)或停止,從而實(shí)現(xiàn)小車的前進(jìn)、后退和停止。L298N有2個(gè)使能端,4個(gè)邏輯輸入端和4個(gè)輸出端,其邏輯結(jié)構(gòu)如表1所示,表1中ENA為使能端,僅當(dāng)使能端為高電平時(shí),輸入IN1、IN2才有效,ENB中的IN3、IN4同理。
1.4機(jī)械臂裝置
機(jī)械臂裝置為5+1自由度機(jī)械手臂,即5個(gè)關(guān)節(jié)和1個(gè)執(zhí)行末端。由于機(jī)械手臂對精度的要求較高,
所以采用數(shù)字舵機(jī)作為機(jī)械臂的關(guān)節(jié)轉(zhuǎn)動電機(jī)。相比傳統(tǒng)的模擬舵機(jī),數(shù)字舵機(jī)有以下優(yōu)點(diǎn):響應(yīng)更快,精度更高,抗干擾能力更強(qiáng)。模擬舵機(jī)需要不斷地接收信號端的信號來維持當(dāng)前角度,而數(shù)字電機(jī)接收一次信號則可維持。舵機(jī)上的信號端與Raspberry Pi的GPIO端口相連,通過端口發(fā)送的PWM信號來對數(shù)字舵機(jī)的角度進(jìn)行控制,從而實(shí)現(xiàn)機(jī)器人關(guān)節(jié)的轉(zhuǎn)動。舵機(jī)的旋轉(zhuǎn)角度和PWM信號的占空比有著線性關(guān)系,只需要改變PWM的占空比就可以實(shí)現(xiàn)機(jī)械臂的轉(zhuǎn)動。圖3為番茄采摘機(jī)器人整體實(shí)物圖。
2算法設(shè)計(jì)
2.1機(jī)械臂建模
為了確定機(jī)械臂的最終位姿,需對機(jī)械臂進(jìn)行建模。D-H模型是分析機(jī)器人運(yùn)動學(xué)最常用的方法,可以應(yīng)用于各種結(jié)構(gòu)的機(jī)器人,無論機(jī)器人的結(jié)構(gòu)有多復(fù)雜,都可以使用D-H模型[5-7]。為了實(shí)現(xiàn)平抓[8],將末端旋轉(zhuǎn)關(guān)節(jié)保持不變,機(jī)械臂簡化為成4+1(4個(gè)關(guān)節(jié)和1個(gè)執(zhí)行末端)。根據(jù)右手法則可以確定各Z軸坐標(biāo),X軸坐標(biāo)為前一連桿的直線方向,由此可得到機(jī)械臂的連桿坐標(biāo)圖,如圖4所示。
2.2逆運(yùn)動學(xué)
逆運(yùn)動學(xué)在機(jī)器人學(xué)中同樣占據(jù)重要地位,根據(jù)逆運(yùn)動學(xué)計(jì)算機(jī)械臂的各個(gè)關(guān)節(jié)的θ值,從而使機(jī)械臂處于所期望的位姿。該設(shè)計(jì)使用最基本的代數(shù)解法,上一節(jié)中已求出基座與執(zhí)行末端的值,假設(shè)機(jī)械臂的執(zhí)行末端所期望的位姿,公式如下:
2.3目標(biāo)果實(shí)識別與定位
識別目標(biāo)果實(shí)的方法有很多,可以根據(jù)顏色、形狀和紋理來確定被識別物為樹葉、樹桿還是果實(shí)。其中,顏色是區(qū)分成熟果實(shí)和背景的最直觀的特征,該設(shè)計(jì)中也將使用顏色分割來識別成熟的番茄。利用RGB(RedGreenBlue)空間來提取顏色特征,RGB是通過紅綠藍(lán)3種顏色通道的變化和疊加來得到各種各樣的顏色。通過RGB像素程序,對成熟番茄進(jìn)行顏色分割[9],可以確定成熟番茄的像素范圍,R∈[66,255],G∈[0,46],B∈[0,255],再通過形態(tài)學(xué)操作,將周圍的噪聲去掉。這樣就完成了目標(biāo)果實(shí)的識別。圖5為處理過程。
雙目立體視覺的原理是2個(gè)攝像頭在一定的距離內(nèi)以一定的夾角分隔開,在2張圖中捕捉相同的場景。該設(shè)計(jì)采用的雙目攝像頭之間的夾角是180°,即左右2個(gè)攝像頭的光軸是平行的[10],其基本原理如圖6所示。
4實(shí)驗(yàn)
該實(shí)驗(yàn)對番茄采摘機(jī)器人進(jìn)行了基本的設(shè)計(jì),為了驗(yàn)證該機(jī)器人是否能正確識別成熟番茄,是否能成功采摘目標(biāo)果實(shí),對該機(jī)器人進(jìn)行測試實(shí)驗(yàn)。實(shí)驗(yàn)在實(shí)驗(yàn)室的模擬環(huán)境中進(jìn)行,對不同位置的番茄進(jìn)行了50次實(shí)驗(yàn)。結(jié)果表明,該采摘機(jī)器人能夠正確抓取目標(biāo)番茄的次數(shù)為39次,成功率為78%,從機(jī)械臂到達(dá)工作半徑范圍內(nèi)開始到成功摘取番茄,平均用時(shí)在15 s以內(nèi)。
造成機(jī)器人采摘番茄任務(wù)失敗的因素有:①光照條件的影響[11],光照太強(qiáng)或者太弱以及反光等因素都有可能使目
標(biāo)識別的準(zhǔn)確度下降,導(dǎo)致番茄的質(zhì)心定位有所偏移。②葉
子遮蓋住番茄將導(dǎo)致機(jī)器人識別的時(shí)候只識別到番茄的一部分。③2個(gè)或2個(gè)以上的番茄重疊在一起時(shí),機(jī)器人可能將它們判定為一個(gè)番茄。
5結(jié)論
該研究根據(jù)番茄采摘的要求,設(shè)計(jì)了一款基于雙目視覺的番茄采摘機(jī)器人。該機(jī)器人結(jié)構(gòu)簡單、反應(yīng)靈敏、執(zhí)行速度快,采摘成功率較高,總體上達(dá)到了設(shè)計(jì)的要求,對實(shí)現(xiàn)農(nóng)業(yè)采摘的無人化有著重要意義。
參考文獻(xiàn)
[1] 崔玉潔,張祖立,白曉虎.采摘機(jī)器人的研究進(jìn)展與現(xiàn)狀分析[J].農(nóng)機(jī)化研究,2007(2):4-7.
[2] 宋健.茄子采摘機(jī)器人結(jié)構(gòu)參數(shù)的優(yōu)化設(shè)計(jì)與仿真[J].機(jī)械設(shè)計(jì)與制造,2008(6):166-168.
[3] 孫承庭,胡平.嵌入式采摘機(jī)器人視覺測量與避障控制系統(tǒng)研究[J].農(nóng)機(jī)化研究,2016(11):219-223.
[4] 周柱.基于STM32的智能小車研究[D].成都:西南交通大學(xué),2011.
[5] 項(xiàng)有元,陳萬米,鄒國柱.基于D-H算法的自主機(jī)器人機(jī)械臂建模方法研究[J].工業(yè)控制計(jì)算機(jī),2014,27(3):113-115.
[6] 蔡自興.機(jī)器人學(xué)[M].北京:清華大學(xué)出版社,2009.
[7] CRAIG J J.Introduction to robotics:Mechanics and control [M].Beijing:China Machine Press,2005.
[8] 戰(zhàn)茜,屠大維.移動機(jī)器人自主抓取作業(yè)[J].計(jì)算機(jī)應(yīng)用,2016,36(S1):95-98,102.
[9] 鮑官軍,荀一,戚利勇,等.機(jī)器視覺在黃瓜采摘機(jī)器人中的應(yīng)用研究[J].浙江工業(yè)大學(xué)學(xué)報(bào),2010,38(1):114-118.
[10] 晁衍凱,徐昱琳,周勇飛,等.基于雙目視覺的機(jī)器人目標(biāo)定位與機(jī)械臂控制[J].計(jì)算機(jī)技術(shù)與發(fā)展,2013,23(7):6-9.
[11] 熊俊濤,鄒湘軍,彭紅星,等.擾動柑橘采摘的實(shí)時(shí)識別與采摘點(diǎn)確定技術(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2014,45(8):38-43.