馬 瑛，楊 旭

(河南工業(yè)職業(yè)技術(shù)學(xué)院，河南 南陽 473000)

?

草莓采摘機器人成熟果實識別及避障控制系統(tǒng)研究
—基于ARM與FPGA

馬 瑛，楊 旭

(河南工業(yè)職業(yè)技術(shù)學(xué)院，河南 南陽 473000)

目前,草莓的采摘主要靠人工完成，任務(wù)繁重，效率較低，人為造成的損失也比較大，減少了果農(nóng)的經(jīng)濟收入，也影響了草莓種植的發(fā)展。因此，研制草莓采摘機器人是解決人工采摘問題的關(guān)鍵。為此，大量研究了草莓種植的特點及人工采摘技巧，基于ARM與FPGA智能控制模塊及雙目機器視覺技術(shù)，設(shè)計了草莓采摘機器人成熟果實及避障控制系統(tǒng)。實驗結(jié)果表明：所設(shè)計的草莓采摘機器人成熟果實識及避障控制系統(tǒng)可以準(zhǔn)確識別成熟草莓果實，并能靈活避開采摘途徑中的障礙物，系統(tǒng)運行穩(wěn)定，對我國開展草莓采摘機器人果實識別和避障技術(shù)的研究具有一定的參考價值。

草莓采摘機器人；機器視覺；果實定位；避障；ARM；FPGA

0 引言

隨著社會的進步和勞動力成本的快速增長，勞動力的缺乏嚴(yán)重制約著農(nóng)業(yè)生產(chǎn)的發(fā)展，因此機器人技術(shù)應(yīng)用于農(nóng)業(yè)生產(chǎn)的可能性大大提高。進入21世紀(jì)，科學(xué)技術(shù)迅猛發(fā)展，農(nóng)業(yè)機械的自動化程度越來越高，已成為當(dāng)代農(nóng)業(yè)必備的生產(chǎn)工具，直接影響著農(nóng)民生產(chǎn)的方式和收益，農(nóng)業(yè)機器人的研究和推廣成為了全球關(guān)注的焦點。本文針對草莓采摘機器人的核心部分—草莓成熟果實識別及避障控制系統(tǒng)，主要研究了圖像分割識別技術(shù)及避障控制的方法，為設(shè)計草莓采摘機器人進行前期的理論研究工作，對研制出具有實際應(yīng)用價值的草莓采摘機器人具有十分重要的意義。

1 草莓采摘機器人控制系統(tǒng)整體設(shè)計

嵌入式系統(tǒng)憑借其體積小、集合度高、功能性強等優(yōu)點已被廣泛應(yīng)用于自動化控制中，其關(guān)鍵部件是微處理器。本文所研究的草莓采摘機器人成熟果實定位及避障控制系統(tǒng)，功能較多，需要同時控制多個運動電機、采集多路紅外和力學(xué)傳感器數(shù)據(jù)、處理采集視頻圖像信息，完成與上位機實時數(shù)據(jù)信息共享及人機交互等功能。整個系統(tǒng)外圍電路比較復(fù)雜，各類器件接口差別較大。因此，根據(jù)系統(tǒng)的整體功能需要，采用ARM與FPGA相結(jié)合的方式構(gòu)建系統(tǒng)，具有結(jié)構(gòu)簡單及系統(tǒng)靈活的特點，可大大縮短開發(fā)周期，提高了系統(tǒng)處理實時性和非實時性任務(wù)的能力。系統(tǒng)框架如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)框架圖

本文研究的草莓采摘機器人成熟果實識別及避障控制系統(tǒng)包括兩個核心微處理器：主處理器是ARM9系列的S3C2410芯片，主要完成與副處理器的信息傳遞、人機交互以及處理圖像處理系統(tǒng)信息；副處理器是現(xiàn)場可編程門陣列FPGA，主要控制電機驅(qū)動系統(tǒng)和障礙物檢測系統(tǒng)。

2 控制系統(tǒng)硬件設(shè)計

草莓采摘機器人控制系統(tǒng)系統(tǒng)硬件設(shè)計包含的部分比較多，本文主要闡述ARM模塊、FPGA模塊和電源模塊。

2.1 ARM模塊

系統(tǒng)主處理器采用ARM9(S3C2410)模塊，外圍電路比較簡單，主要包括復(fù)位、電源、通信、振蕩、JTAG接口、flash及顯示等電路。S3C2410是32的微處理器，具有體積小、成本低、待機功耗小的特點，支持32位ARM和16位Thumb指令集，指令處理速度快，執(zhí)行效率高，應(yīng)用領(lǐng)域相當(dāng)廣泛。ARM9信號處理原理圖如圖2所示。

圖2 ARM9信號處理原理圖

2.2 FPGA模塊

系統(tǒng)副處理器采用FPGA系列的EP1C6Q240，該可編程器件包含2萬多個邏輯單元，開發(fā)程度高，價格也比較低廉，為自動化設(shè)備提供了一種低成本的方案。FPGA模塊主要包含光電編碼器信號輸入、位置信號輸入、電機驅(qū)動系統(tǒng)、通信總線、開關(guān)量輸入輸出及脈沖和方向信號輸入等部分，需要處理和控制的信號與器件較多，采用FPGA可大大減少外圍電路的器件，減低系統(tǒng)成本，提高了系統(tǒng)可行性和穩(wěn)定性。FPGA模塊功能方框圖如圖3所示。

2.3 電源模塊

電源模塊包括兩個部分：一部分是產(chǎn)生3.3V電壓的電路；另一部分是產(chǎn)生1.25V的電壓電路。ARM9微處理需要雙電源電路供電，其內(nèi)核供電電壓是3.3V，外圍器件電壓是1.25V，本系統(tǒng)中FPGA采用3.3V供電。供電外部電源經(jīng)過DC-DC轉(zhuǎn)換器可以實現(xiàn)5～3.3V和3.3～1.25V的轉(zhuǎn)換。因外圍電路對處理芯片干擾大，故 DC-DC模塊的輸入和輸出需加濾波電容； ARM嵌入式模塊需要長期供電，當(dāng)外部斷電時需要采用電池來給其供電。系統(tǒng)電源電路如圖4所示。

圖3 FPGA功能方框圖

圖4 系統(tǒng)供電電源原理圖

嵌入式系統(tǒng)電源電路設(shè)計實現(xiàn)的方法有很多種，而電源的很多指標(biāo)不可能同時兼顧，往往需要在效率、噪聲性能、紋波、成本等方面進行折中考慮。出于成本、效率的考慮，整個系統(tǒng)電源電路一路采用標(biāo)準(zhǔn)三端線性穩(wěn)壓器進行DC-DC轉(zhuǎn)換，利用LM1117-33將5V降至3.3V，一路采用穩(wěn)壓芯片MAX8860EUA18將3.3V降至1.25V。

3 草莓采摘機器人成熟果實識別研究

草莓采摘識別定位采用雙目機器視覺技術(shù)，進行視頻圖像識別定位。首先要選定適宜的目標(biāo)特性，方便區(qū)分目標(biāo)與背景圖像；其次是運用準(zhǔn)確合適的分割技術(shù)，直到去背景及識別定位成熟草莓的目的。視頻圖像一般需要在自然光下采集，以便圖像處理系統(tǒng)準(zhǔn)確識別處理。視頻圖像中除了成熟的草莓，其他圖像均視為背景圖像。本文目標(biāo)果實識別定位系統(tǒng)根據(jù)顏色以及灰度特征分割，力求提高成熟果實識別定位的成功率。

3.1 機器視覺中的顏色表示

根據(jù)顏色色度學(xué)，人們可以準(zhǔn)確地識別色彩不一的物體或物體的不同部位。自然界中可見光的波長一般在400～700mm之間，根據(jù)紅、綠、藍三色光原理可以對光譜帶的光能量進行采樣識別。色度學(xué)從20世紀(jì)30年代開始發(fā)展，已經(jīng)出現(xiàn)了包括RGB、HIS、L*a*b等顏色模型。其中，RGB顏色模型以三基色為基準(zhǔn)，通過改變?nèi)臄?shù)量，可以混合出不用的顏色。本文研究的草莓自動識別與定位技術(shù)采用技術(shù)比較成熟的RGB顏色模型。RGB顏色模型如圖5所示。

圖5 RGB顏色模型

3.2 圖像分割原理與目標(biāo)果實的識別

雙目機器視覺系統(tǒng)最核心的部分就是圖像的分割與識別，其直接決定目標(biāo)成熟草莓的精準(zhǔn)識別與定位。圖像分割技術(shù)一直受到研究者的重視，到目前為止，圖像分割的方法已經(jīng)有1000種多。由于電子技術(shù)和色彩的局限性，以前的絕大多數(shù)圖像分割技術(shù)是以灰度學(xué)為基礎(chǔ)的，近年來電子技術(shù)的高速發(fā)展及彩色攝像機的推廣，彩色分割技術(shù)開始推廣開來。本文研究的對象是根據(jù)生長階段而發(fā)生顏色演變的草莓個體，草莓生長的環(huán)境不同，具體位置也不一樣。光照的變化及背光的陰影都會對視頻圖像采集造成很大的影響，進而降低系統(tǒng)識別定位的準(zhǔn)確率。采用圖像分割技術(shù)進行識別的結(jié)果如圖6所示。

圖6 圖像分割技術(shù)識別結(jié)果

草莓視頻圖像通過雙CCD工業(yè)攝像頭獲取，然后利用圖像分割技術(shù)，因采集到的果實圖像均為彩色，使得圖像分割更加準(zhǔn)確無誤。RGB顏色模型與XYZ系統(tǒng)的對應(yīng)關(guān)系為

(1)

將XYZ模型進行轉(zhuǎn)換，可以得到相應(yīng)色度坐標(biāo)為

(2)

本文主要根據(jù)圖像分割技術(shù)，區(qū)分出成熟草莓、枝葉及背景，然后與系統(tǒng)收集的成熟草莓顏色值進行對比分析，判斷出視頻圖像中的成熟草莓，完成目標(biāo)果實識別。

4 草莓采摘機器人避障設(shè)計

草莓的莖一般低于葉或近相等，側(cè)生小葉基部偏斜。因草莓在枝葉上位置不一，在采摘被枝葉遮擋的草莓時，容易碰撞到草莓枝桿，而枝桿韌性比較強，容易折斷，也容易損壞采摘機械手。針對這一問題，進行了枝葉等障礙物檢測的研究，通過提取與采集障礙物，并與特定特征值匹配，定位障礙物三維空間位置。在檢測過程中，重點就是圖像的分割，根據(jù)實際研究分析的草莓枝葉特征，結(jié)合RGB顏色模型進行對比，利用迭代閾值分割法去除枝葉以外的區(qū)域，再采用灰度對比辦法分割出圖像的枝葉區(qū)域。樹枝區(qū)域提取結(jié)果如圖7所示。

獲得草莓枝桿區(qū)域提取結(jié)果后，然后基于C空間對障礙物建立數(shù)學(xué)模型，利用雙目機器視覺系統(tǒng)反算障礙物三維空間信息，結(jié)合采摘機械手運動學(xué)原理，求出機械手臂的運動范圍θ，就可以成功避開采摘路徑上的障礙物。機器手臂避障運動角度如圖8所示。

圖7 枝桿區(qū)域提取結(jié)果

圖8 機器手臂避障運動角度

枝桿障礙物一般為直線型，重點需要考慮其長度，采摘機械手需要在一定角度內(nèi)避開枝桿障礙物，具體的C空間計算公式為

(3)

(4)

(5)

其中，l1、l2分別為機械長短手臂的長度；θta與θba分別為機械執(zhí)行手臂的最大最小角度；d為機械手臂的連桿偏移量。

5 實驗與結(jié)果分析

針對大棚內(nèi)草莓的不同生長情況，一共選取了圖6中的3幅圖片進行采摘與避障實驗，3幅圖片中一共有12顆成熟草莓。其中，有被草莓枝葉遮擋的草莓；但這些草莓的形狀還比較清晰，輪廓流失比重不大。因為草莓大小不一，為了準(zhǔn)確計算草莓識別的相對誤差，需考慮草莓的圖像面積。偏差誤差的計算公式為

(6)

其中，s是識別草莓的圖像面積。對于測試中的12個成熟草莓，無論是獨立沒有遮擋，還是有枝葉遮擋或者草莓之間存在相互重疊，只要是目標(biāo)果實的輪廓存在1/2以上時，該系統(tǒng)均可以很好地識別出成熟果實目標(biāo)，并且相對誤差在2.5%以下。草莓的輪廓并不是呈圓形，系統(tǒng)在計算過程中一般用圓形對比計算。此外，成熟的目標(biāo)果實一般顏色比較鮮艷，發(fā)光比較強烈。因此，識別定位的時候一般會存在一定的相對誤差。對于個別誤差比較大的個體，在計算過程中可以增加一定的人工補償，盡量減小計算誤差，提高系統(tǒng)識別能力。

表1 目標(biāo)果實識別結(jié)果

6 結(jié)論

以大棚溫室種植的草莓為研究對象，以實現(xiàn)成熟目標(biāo)果實識別及躲避機械臂采摘為目的，建立雙目機器視覺系統(tǒng)采集圖像信息。同時，利用RGB顏色模型對成熟草莓與背景的顏色架構(gòu)進行分析，采用灰度閾值分割法進行分割，運用迭代閾值法解決草莓識別與避障問題，設(shè)計和實現(xiàn)了草莓采摘機器人智能控制系統(tǒng)。實驗表明：該草莓識別與避障控制系統(tǒng)計算方法較好，計算量小，靈活性高，處理速度快，具有較高的實時性和研究價值。

[1] 陳利兵.草莓收獲機器人采摘系統(tǒng)研究[D].北京：中國農(nóng)業(yè)大學(xué),2005.

[2] 申川.基于雙目立體視覺系統(tǒng)的設(shè)施農(nóng)業(yè)作物位置信息獲取[D].杭州：浙江大學(xué),2006.

[3] 付中軍.果蔬采摘機器人視覺技術(shù)研究及系統(tǒng)構(gòu)建[D].沈陽：沈陽工業(yè)大學(xué),2014.

[4] 曲金芳.果蔬采摘機器人立體視覺技術(shù)研究[D].長春：吉林大學(xué),2008.

[5] 李占坤.果樹采摘機器人控制系統(tǒng)研究與設(shè)計[D].鎮(zhèn)江：江蘇大學(xué),2010.

[6] 袁志英,陳進.果蔬采摘機器人的發(fā)展現(xiàn)狀、問題及對策分析[J].四川農(nóng)業(yè)與農(nóng)機,2014(6):16-18.

[7] 馬強.蘋果采摘機器人關(guān)鍵技術(shù)研究[D].北京:中國農(nóng)業(yè)機械化科學(xué)研究院,2012.

[8] 占求香.成熟柑橘識別與樹干輪廓提取方法的研究與實現(xiàn)[D].長沙：湖南大學(xué),2012.

[9] 崔玉潔,張祖立,白曉虎.采摘機器人的研究進展與現(xiàn)狀分析[J].農(nóng)機化研究,2007(2):4-7.

[10] 戴劉江,張鐵中,楊麗.基于DSP的農(nóng)業(yè)機器人關(guān)節(jié)控制器的研究[J].伺服控制,2007(5):56-57.

[11] 戴劉江,張鐵中,楊麗.基于DSP的草莓采摘機器人關(guān)節(jié)控制器的研究[J].中國科技論文在線,2007(3): 231-234.

[12] 張鐵中,陳利兵,宋健.草莓采摘機器人的研究:Ⅱ.基于圖像的草莓重心位置和采摘點的確定[J].中國農(nóng)業(yè)大學(xué)學(xué)報,2005(1):48-51.

[13] 宋健,張鐵中,徐麗明,等. 果蔬采摘機器人研究進展與展望[J].農(nóng)業(yè)機械學(xué)報,2006(5):158-162.

[14] 呂繼東,趙德安,姬偉,等.開放分布式蘋果采摘機器人控制系統(tǒng)研究及實現(xiàn)[J].小型微型計算機系統(tǒng),2012(2):289-292.

[15] 馮青春,鄭文剛,姜凱,等.高架栽培草莓采摘機器人系統(tǒng)設(shè)計[J].農(nóng)機化研究,2012,34(7):122-126.

[16] 呂繼東,趙德安,姬偉,等.蘋果采摘機器人對振蕩果實的快速定位采摘方法[J].農(nóng)業(yè)工程學(xué)報,2012(13):48-53.

[17] 張凱良,楊麗,王糧局,等.高架草莓采摘機器人設(shè)計與試驗[J].農(nóng)業(yè)機械學(xué)報,2012(9):165-172.

[18] 孟海斌,張紅雨.嵌入式系統(tǒng)電源芯片選型與應(yīng)用[J]. 單片機與嵌入式系統(tǒng)應(yīng)用,2010(12):7-10.

[19] 徐世亮.農(nóng)業(yè)采摘機器人設(shè)計與研究[J].硅谷, 2014(12):21-22.

[20] 紀(jì)超,馮青春,袁挺,等.溫室黃瓜采摘機器人系統(tǒng)研制及性能分析[J].機器人,2011(6):726-730.

[21] 王麗麗,郭艷玲,王迪,等.果蔬采摘機器人研究綜述[J].林業(yè)機械與木工設(shè)備,2009(1):10-11,14.

[22] 張凱良,楊麗,張鐵中.草莓收獲機器人末端執(zhí)行器的設(shè)計[J].農(nóng)機化研究,2009，31(4):54-56,60.

[23] 高浩,王虎,陳軍.獼猴桃采摘機器人的研究與設(shè)計[J]. 農(nóng)機化研究,2013,35(2):73-76.

Research on the Recognition of Ripe Fruit of Strawberry Picking Robot Based on ARM and FPGA

Ma Ying, Yang Xu

(Henan Polytechnic Institute, Nanyang 473000, China)

At present, strawberry picking mainly rely on manual tasks, low efficiency, loss of man-made is relatively large, reducing the fruit of economic income, also influences the development of strawberry cultivation. Therefore, the production of strawberry picking robot is the key to solve the problem of artificial picking. In this paper, the characteristics of strawberry cultivation and the techniques of artificial picking, based on ARM and FPGA intelligent control module and binocular machine vision technology, were designed and studied. The experimental results show that the mature fruit of strawberry picking robot and the obstacle avoidance control system can accurately identify the mature strawberry fruit, and can avoid the obstacles in the process of picking.

strawberry picking robot; machine vision; fruit localization; obstacle avoidance; ARM; FPGA

2015-12-16

河南省科技攻關(guān)項目(152102110161)

馬 瑛(1982-)，男，河南南陽人，講師，碩士。

楊 旭(1983-)，男，河北平山人，講師，(E-mail) myandyx@qq.com。

S225.93；TP391.41

A

1003-188X(2017)02-0181-05