張帆 張帥輝 張俊雄 袁挺 李偉

|摘要|為了提高黃瓜采摘智能化水平、降低人工采收勞動(dòng)強(qiáng)度，設(shè)計(jì)了溫室黃瓜采摘機(jī)器人系統(tǒng)。闡述了機(jī)器人系統(tǒng)硬件構(gòu)成，提出了系統(tǒng)控制方案。針對(duì)黃瓜物理特性差異大、果皮脆嫩易損傷、果實(shí)葉片相互遮擋等問(wèn)題，設(shè)計(jì)了具有果實(shí)遮擋探測(cè)功能的柔性采收末端執(zhí)行器，可實(shí)現(xiàn)對(duì)果實(shí)的無(wú)損抓持和對(duì)果梗的準(zhǔn)確切割。針對(duì)黃瓜采摘環(huán)境光照復(fù)雜多變和近色系果實(shí)目標(biāo)識(shí)別問(wèn)題，提出了基于光譜圖像的近色系黃瓜識(shí)別方法，可實(shí)現(xiàn)自然環(huán)境下果實(shí)與背景的有效分割。經(jīng)機(jī)器人采摘作業(yè)測(cè)試，系統(tǒng)整體性能及各模塊運(yùn)轉(zhuǎn)良好，具備一定的實(shí)用和推廣價(jià)值，為農(nóng)業(yè)機(jī)器人進(jìn)入自然環(huán)境作業(yè)提供一種借鑒手段與實(shí)現(xiàn)模式。

引言

黃瓜是設(shè)施農(nóng)業(yè)生產(chǎn)中主要作物之一，設(shè)施栽培面積約占其總種植面積的47.85%[1]，收獲及采后處理時(shí)間約占黃瓜生產(chǎn)全部時(shí)間的50%，且收獲過(guò)程枯燥、繁重，工人需經(jīng)受比室外溫度高30%、濕度高90%的惡劣作業(yè)環(huán)境的考驗(yàn)。為了減輕工人勞動(dòng)強(qiáng)度、提高采收作業(yè)的質(zhì)與量，設(shè)計(jì)開(kāi)發(fā)黃瓜采收作業(yè)機(jī)器人勢(shì)在必行。

20世紀(jì)60年代，日本、荷蘭、美國(guó)、西班牙等國(guó)家開(kāi)始研究果蔬自動(dòng)化采摘相關(guān)技術(shù)和裝備，采摘對(duì)象涉及草莓、黃瓜、番茄等果蔬品種。日本的Kondo等[2-3]研制的黃瓜采摘機(jī)器人主要由視覺(jué)傳感器、六自由度機(jī)械臂、末端執(zhí)行器和移動(dòng)裝置組成，采摘成功率約60%，單果采摘平均耗時(shí)16 s;荷蘭的Van Henten等[4-5]研發(fā)的黃瓜采摘機(jī)器人，移動(dòng)平臺(tái)以0.8 m/s速度行走于溫室鋪設(shè)的軌道，采摘機(jī)械臂采用三菱七自由度工業(yè)機(jī)械臂，采用夾持方式夾緊果實(shí)，用高壓電極切斷果梗，果實(shí)識(shí)別率為95%，采摘成功率為80%，單果采摘平均耗時(shí)45 s。此外，草莓采摘機(jī)器人[6-7]、甜椒采摘機(jī)器人[8-10]、番茄采摘機(jī)器人[11-13]、水果采摘機(jī)器人[14]等試驗(yàn)樣機(jī)也被研制出來(lái)。盡管采摘機(jī)器人具有較高市場(chǎng)前景，但由于作業(yè)環(huán)境和作業(yè)對(duì)象的復(fù)雜性，尚未實(shí)現(xiàn)產(chǎn)業(yè)化應(yīng)用。

技術(shù)難點(diǎn)

大部分采摘機(jī)器人能夠?qū)崿F(xiàn)基本的采摘功能，但在果實(shí)識(shí)別、自主導(dǎo)航、避障規(guī)劃及采摘末端等方面仍存在較大的提升空間。

近色系果蔬識(shí)別難點(diǎn)

黃瓜果實(shí)與植株同為綠色，屬近色系，不宜通過(guò)顏色信息區(qū)分目標(biāo)與背景或判斷果實(shí)成熟度。解決近色系果實(shí)目標(biāo)識(shí)別成為黃瓜采摘機(jī)器人難點(diǎn)問(wèn)題之一。本文提出了基于光譜圖像的近色系黃瓜目標(biāo)識(shí)別方法，根據(jù)近紅外圖像中黃瓜果實(shí)與莖、葉的不同表達(dá)，利用不同光譜圖像內(nèi)作物灰度分布差異進(jìn)行融合，可實(shí)現(xiàn)自然光照環(huán)境下黃瓜果實(shí)與背景的有效分割識(shí)別，解決了果實(shí)特征提取、品質(zhì)成熟度判定、目標(biāo)信息空間匹配等問(wèn)題。

果蔬精準(zhǔn)采收難點(diǎn)

黃瓜果實(shí)脆嫩、掛果隨機(jī)，特別存在果實(shí)相互遮擋、莖葉遮擋果實(shí)等情況，這直接影響采摘成功率、果實(shí)破損率[12]。解決果實(shí)采摘信息遮擋探測(cè)與柔性抓取也成為黃瓜采摘機(jī)器人難點(diǎn)問(wèn)題之一。本文提出了具有探測(cè)果實(shí)采摘遮擋信息功能的黃瓜采收柔性末端執(zhí)行器，主要由兩個(gè)氣動(dòng)軟體關(guān)節(jié)組成，在保持一定柔性的同時(shí)也兼顧剛度，可實(shí)現(xiàn)黃瓜采摘機(jī)器人在復(fù)雜多變的采摘作業(yè)環(huán)境中對(duì)果實(shí)的準(zhǔn)確、無(wú)損傷抓持。

系統(tǒng)構(gòu)成

黃瓜采摘機(jī)器人作業(yè)于溫室非結(jié)構(gòu)環(huán)境下，是一種融合多傳感技術(shù)的高度協(xié)同自動(dòng)化系統(tǒng)，主要由自主移動(dòng)平臺(tái)、視覺(jué)伺服系統(tǒng)、采摘末端執(zhí)行器組成，可實(shí)現(xiàn)黃瓜種植壟間的自主導(dǎo)航運(yùn)動(dòng)，完成黃瓜果實(shí)信息獲取、成熟度判別、遮擋信息判斷，進(jìn)而確定收獲目標(biāo)的三維空間信息，引導(dǎo)六自由度機(jī)械臂與柔性末端執(zhí)行器完成果梗切割位置探測(cè)和柔性自適應(yīng)抓取采收，最終實(shí)現(xiàn)黃瓜作物的機(jī)器人化自主采摘作業(yè)，其硬件構(gòu)成如圖1所示。

自主移動(dòng)平臺(tái)

經(jīng)調(diào)研，溫室路面不平整，地面存在1～3 cm的起伏及部分角度為10～20°的小坡，輪式移動(dòng)平臺(tái)在行走過(guò)程中易顛簸且?guī)肽嗌?，為此采用越野履帶式移?dòng)平臺(tái)可有效提升車(chē)體平穩(wěn)性。導(dǎo)航攝像頭安裝于移動(dòng)平臺(tái)前端，實(shí)時(shí)獲取導(dǎo)航信息，通過(guò)差速控制機(jī)器人行走，平臺(tái)續(xù)航時(shí)間2 h，導(dǎo)航精度5 mm[16]。

視覺(jué)伺服系統(tǒng)

視覺(jué)伺服系統(tǒng)由雙目系統(tǒng)和采摘機(jī)械臂組成。雙目系統(tǒng)獲取采摘信息，對(duì)采摘環(huán)境和采摘目標(biāo)進(jìn)行實(shí)時(shí)感知及實(shí)時(shí)決策。采摘機(jī)械臂進(jìn)行路徑規(guī)劃，將采摘末端執(zhí)行器運(yùn)送到采摘點(diǎn)，并通過(guò)手眼協(xié)調(diào)，提高采摘機(jī)器人對(duì)復(fù)雜環(huán)境的適應(yīng)能力。

采摘末端執(zhí)行器

采摘末端執(zhí)行器具有夾持果實(shí)、推開(kāi)遮擋葉片、果梗檢測(cè)和剪切果梗的功能，其機(jī)械結(jié)構(gòu)根據(jù)黃瓜的形狀特點(diǎn)進(jìn)行設(shè)計(jì)，兩個(gè)氣動(dòng)柔性手指構(gòu)成的夾持機(jī)構(gòu)、旋轉(zhuǎn)氣缸構(gòu)成的剪切機(jī)構(gòu)降低了果實(shí)損傷率、提高了采摘成功率。

控制原理

溫室黃瓜采摘機(jī)器人由視覺(jué)信息獲取系統(tǒng)、采摘信息處理系統(tǒng)、運(yùn)動(dòng)執(zhí)行系統(tǒng)3大模塊組成信息獲取與控制系統(tǒng)結(jié)構(gòu)，如圖2所示。

機(jī)器人系統(tǒng)信息傳輸流程，根據(jù)信息內(nèi)容，又可分為導(dǎo)航信息系統(tǒng)與采摘信息系統(tǒng)兩大模塊。

導(dǎo)航信息系統(tǒng)通過(guò)導(dǎo)航攝像機(jī)實(shí)時(shí)獲取路面圖像信息，將圖像數(shù)據(jù)傳輸至中央控制器。中央控制器調(diào)用導(dǎo)航控制程序，計(jì)算獲得車(chē)輪電機(jī)驅(qū)動(dòng)器轉(zhuǎn)向所需的導(dǎo)航控制參數(shù)，最終通過(guò)控制車(chē)輪電機(jī)轉(zhuǎn)速實(shí)現(xiàn)導(dǎo)航轉(zhuǎn)向。

采摘信息系統(tǒng)通過(guò)雙目攝像機(jī)采集黃瓜圖像，中央控制器調(diào)用采摘控制程序?qū)D像進(jìn)行處理，計(jì)算黃瓜采摘點(diǎn)三維坐標(biāo)信息，并發(fā)送至機(jī)械手控制器。機(jī)械手控制器將一部分信號(hào)轉(zhuǎn)換為機(jī)械臂關(guān)節(jié)驅(qū)動(dòng)器可識(shí)別的運(yùn)動(dòng)參數(shù)，由機(jī)械臂關(guān)節(jié)電機(jī)完成目標(biāo)三維定位;另一部分信號(hào)由末端執(zhí)行器單片機(jī)轉(zhuǎn)換為電平信號(hào)，發(fā)送至末端執(zhí)行器電磁閥，超聲傳感器檢測(cè)到采收位置，通過(guò)末端執(zhí)行器氣缸的張合動(dòng)作完成果梗切割與夾持。

機(jī)器人采摘信息系統(tǒng)發(fā)現(xiàn)可采摘黃瓜后向?qū)Ш叫畔⑾到y(tǒng)發(fā)送停車(chē)指令，在移動(dòng)平臺(tái)停止前行后，進(jìn)行后續(xù)采摘?jiǎng)幼髁鞒獭?/p>

采摘流程

機(jī)器人采摘流程如圖3所示，系統(tǒng)啟動(dòng)后，機(jī)器人自主循線行走，開(kāi)啟果實(shí)信息獲取系統(tǒng)的單個(gè)攝像機(jī)動(dòng)態(tài)搜索視場(chǎng)內(nèi)適宜采摘的黃瓜果實(shí)，檢測(cè)到后立即停車(chē)，通過(guò)雙目立體測(cè)距算法對(duì)采摘目標(biāo)進(jìn)行初定位。機(jī)械臂引導(dǎo)末端執(zhí)行器運(yùn)動(dòng)至初定位位置后，推擋機(jī)構(gòu)往上運(yùn)動(dòng)，推開(kāi)葉片，使果實(shí)和果梗充分可見(jiàn)，同時(shí)紅外傳感器進(jìn)行實(shí)時(shí)監(jiān)測(cè)，進(jìn)行采摘點(diǎn)二次定位。隨后由柔性手指抓取黃瓜果柄，切刀切斷果梗。最后，機(jī)械臂引導(dǎo)末端執(zhí)行器運(yùn)動(dòng)至果實(shí)筐上方，釋放果實(shí)，機(jī)械臂復(fù)位，完成一個(gè)采摘循環(huán)。之后采摘機(jī)器人將繼續(xù)循線行走，重復(fù)執(zhí)行采摘流程，直到行走至終點(diǎn)停止。

末端執(zhí)行結(jié)構(gòu)設(shè)計(jì)

黃瓜采摘末端執(zhí)行器根據(jù)果實(shí)形狀、表面特性進(jìn)行設(shè)計(jì)，由葉片推擋機(jī)構(gòu)、果梗剪切機(jī)構(gòu)、果梗檢測(cè)機(jī)構(gòu)、直線導(dǎo)軌滑臺(tái)和軟體手幾部分組成（圖4），具有自適應(yīng)果梗剪切、無(wú)損傷抓持和去葉片遮擋3大功能，末端執(zhí)行器工作情況如圖5所示。

自適應(yīng)果梗剪切功能

在理想狀態(tài)下，黃瓜果實(shí)形狀為細(xì)長(zhǎng)圓柱狀，因重力作用果實(shí)自然垂下，果梗位于果實(shí)最上端。而實(shí)際情況是果實(shí)粗細(xì)不一、長(zhǎng)短各異，果梗位置無(wú)法準(zhǔn)確定位。為適應(yīng)不同長(zhǎng)度果實(shí)的果梗準(zhǔn)確切割，將柔性手指、機(jī)械臂末端、直線導(dǎo)軌基座固定連接，再將果梗檢測(cè)機(jī)構(gòu)、果梗剪切機(jī)構(gòu)、直線導(dǎo)軌滑臺(tái)固定連接，柔性手指與剪切機(jī)構(gòu)之間的位置關(guān)系隨直線導(dǎo)軌的移動(dòng)而變化。該設(shè)計(jì)可實(shí)現(xiàn)非結(jié)構(gòu)環(huán)境下黃瓜果實(shí)的仿形，柔性手指自適應(yīng)夾持黃瓜重心位置，直線導(dǎo)軌向上移動(dòng)，果梗檢測(cè)機(jī)構(gòu)檢測(cè)果梗，直至導(dǎo)軌將剪切機(jī)構(gòu)運(yùn)動(dòng)至果梗位置，用擺動(dòng)氣缸刀片切斷果梗，完成果實(shí)與植株分離。

無(wú)損傷抓持功能

適合機(jī)器人采摘的黃瓜果實(shí)，重量約100～250 g、直徑約30～40 mm。黃瓜表皮嬌嫩、表面凹凸不平，夾持時(shí)因表面凸起處受力大而導(dǎo)致局部破損。采用軟體手指夾持黃瓜，在保持一定柔性的同時(shí)也兼顧剛度，能有效貼合果實(shí)表面，果實(shí)表面受力均勻，以實(shí)現(xiàn)無(wú)損夾持。

去遮擋功能

除黃瓜果實(shí)形態(tài)不一之外，葉片對(duì)黃瓜果實(shí)的遮擋問(wèn)題也會(huì)大幅降低果梗剪切的成功率。針對(duì)該問(wèn)題團(tuán)隊(duì)設(shè)計(jì)了葉片推擋機(jī)構(gòu)，可隨導(dǎo)軌上升、推開(kāi)葉片，使果梗部分清晰可見(jiàn)，提高果梗檢測(cè)機(jī)構(gòu)的檢測(cè)成功率和果梗剪切機(jī)構(gòu)的剪切成功率，進(jìn)而提高采摘成功率。

視覺(jué)系統(tǒng)設(shè)計(jì)

黃瓜采摘機(jī)器人視覺(jué)系統(tǒng)由視覺(jué)系統(tǒng)硬件和視覺(jué)識(shí)別算法構(gòu)成，具有果實(shí)識(shí)別和果實(shí)三維定位功能。視覺(jué)系統(tǒng)硬件包含人工光源和雙目近紅外相機(jī)兩部分（圖6），近紅外相機(jī)拍攝固定波段的光譜圖像用于黃瓜識(shí)別，進(jìn)而根據(jù)雙目測(cè)距原理獲得黃瓜三維空間位置，有效解決自然環(huán)境下多變光照適應(yīng)問(wèn)題和近色系黃瓜識(shí)別問(wèn)題。

解決光照多變適應(yīng)問(wèn)題

由于溫室光照條件復(fù)雜多變，存在背光、逆光和側(cè)光等多種光照情況，使用鹵素射燈作為主動(dòng)光源，減少了自然強(qiáng)光照射、葉片陰影噪聲等不確定因素的影響，使得輸入圖像更加穩(wěn)定，更有利于目標(biāo)信息的有效感知。

解決近色系果實(shí)識(shí)別問(wèn)題

黃瓜顏色與背景顏色為近色系，普通彩色圖像不利于分割果實(shí)和背景，利用果實(shí)和莖葉對(duì)不同波段的光譜反射率不同轉(zhuǎn)化為圖像上的灰度差異，采用基于多光譜圖像的融合技術(shù)，利用其在時(shí)空上的相關(guān)性和信息上的互補(bǔ)性，可進(jìn)一步增加圖像分割、目標(biāo)提取的精確性、可靠性和對(duì)外界環(huán)境的抗干擾能力。黃瓜采摘果實(shí)視覺(jué)識(shí)別算法中，針對(duì)690 nm和830 nm黃瓜光譜圖像特征，采用歸一化線性極差（NRGD）進(jìn)行圖像融合，經(jīng)圖像增強(qiáng)、圖像分割、閾值優(yōu)化、噪聲處理后，可將黃瓜果實(shí)與背景成功分離（圖7）。

系統(tǒng)參數(shù)

黃瓜采摘機(jī)器人系統(tǒng)經(jīng)第三方檢測(cè)，其技術(shù)指標(biāo)如表1所示。實(shí)驗(yàn)結(jié)果表明黃瓜采摘機(jī)器人視覺(jué)系統(tǒng)定位最大誤差為-7 mm，X軸和Y軸定位誤差均在±2 mm范圍內(nèi)，該誤差遠(yuǎn)小于果實(shí)直徑及末端執(zhí)行器手指開(kāi)度，可滿足采摘需求。相比于國(guó)外同類(lèi)機(jī)器人，本設(shè)計(jì)的黃瓜采摘機(jī)器人在識(shí)別成功率、采摘成功率和單果耗時(shí)3個(gè)方面都具有一定優(yōu)勢(shì)。

結(jié)論

本文針對(duì)溫室環(huán)境下黃瓜機(jī)器人采摘所面臨的近色系果實(shí)識(shí)別、光照條件多變、果實(shí)形態(tài)不一、果實(shí)葉片相互遮擋等問(wèn)題，設(shè)計(jì)了溫室黃瓜采摘機(jī)器人并對(duì)其進(jìn)行了系統(tǒng)集成，通過(guò)第三方檢驗(yàn)機(jī)構(gòu)檢測(cè)，機(jī)器人視覺(jué)識(shí)別與定位、移動(dòng)平臺(tái)自主導(dǎo)航、機(jī)械臂空間運(yùn)動(dòng)、末端執(zhí)行器抓持與切割等環(huán)節(jié)執(zhí)行狀況良好，技術(shù)指標(biāo)滿足機(jī)器人采摘示范應(yīng)用要求，為智能化裝備真正進(jìn)入自然采收環(huán)境奠定了技術(shù)基礎(chǔ)。

參考文獻(xiàn)

[1] 豐收邦.直擊：全國(guó)5900萬(wàn)畝設(shè)施蔬菜主產(chǎn)區(qū)分布情況！[DB/OL]. 2018-01-17， https：//www.sohu.com/a/217341748_750909.

[2] Arima S，Kondo N.Basic studies on cucumber harvesting robot[J].Proceedings of ARBIP95， Japan Society of Agricultural Machinery，1995（1）：195-202.

[3] Arima S，Kondo N.Cucumber Harvesting Robot and Plant Training System[J].Journal of Robotics and Mechatronics，1999，11（3）：208-212.

[4] Henten E J V， Hemming J， Tuijl B A J V，et al.An Autonomous Robot for Harvesting Cucumbers in Greenhouses[J].Autonomous robots，2002，13（3）：

241-258.

[5] Henten E J V， Tuijl J V，Hemming J，et al.Field Test of an Autonomous Cucumber Picking Robot[J].Biosystems Engineering，2003，86（3）：305-313..

[6] Qingchun F， Xiu W ， Wengang Z，et al.A New Strawberry Harvesting Robot for Elevated-trough Culture[J].International Journal of Agricultural and Biological Engineering，2012，5（2）：1-8.

[7] Feng G，Qixin C，Yongjie C，et al.Fruit location and stem detection method for strawberry harvesting robot[J].Transactions of the Chinese Society of Agricultural Engineering，2008.

[8] Lehnert C， Sa I，Mccool C，et al.Sweet pepper pose detection and grasping for automated crop harvesting[C].2016 IEEE International Conference on Robotics and Automation （ICRA）. IEEE， 2016.

[9] Vitzrabin E，Edan Y.Changing Task Objectives for Improved Sweet Pepper Detection for Robotic Harvesting[J].IEEE Robotics and Automation Letters，2017，1（1）：578-584.

[10] Hemming J ， Bac C W ， Van Tuijl B A J， et al. A Robot for Harvesting Sweet-Pepper in Greenhouses[J]. International Conference of Agriculture Enginneering， 2014：1-8.

[11] 劉繼展，李萍萍，倪齊，等.番茄采摘機(jī)器人真空吸盤(pán)裝置設(shè)計(jì)與試驗(yàn)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010，41（10）：170-173+184

[12] 梁喜鳳，金超杞，倪梅娣，等.番茄果實(shí)串采摘點(diǎn)位置信息獲取與試驗(yàn)[J].農(nóng)業(yè)工程學(xué)報(bào)，2018，34（16）：163-169.

[13] Zhao Y ， Gong L ， Liu C ， et al. Dual-arm Robot Design and Testing for Harvesting Tomato in Greenhouse[J]. IFAC-PapersOnLine， 2016， 49（16）： 161-165.

[14] Chiu Y C ， Chen S ， Lin J F . Study of an Autonomous Fruit Picking Robot System in Greenhouses [J].Engineering in Agriculture Environment & Food，2013，6（3）：92-98.

[15] Bac C W ， Hemming J ， Van Tuijl B A J ， et al. Performance Evaluation of a Harvesting Robot for Sweet Pepper[J]. Journal of Field Robotics， 2017， 34（6）：1123-1139.

[16] 紀(jì)超，馮青春，袁挺，等.溫室黃瓜采摘機(jī)器人系統(tǒng)研制及性能分析[J].機(jī)器人，2011，33（6）：726-730.

*項(xiàng)目支持：國(guó)家高技術(shù)研究發(fā)展計(jì)劃（863計(jì)劃）資助項(xiàng)目“設(shè)施農(nóng)業(yè)裝備的數(shù)字化設(shè)計(jì)與智能控制技術(shù)”（編號(hào)2013AA102406）。

作者簡(jiǎn)介：張帆（1992-），女，云南楚雄人，博士研究生，主要從事機(jī)器視覺(jué)、農(nóng)業(yè)機(jī)器人、機(jī)器學(xué)習(xí)研究。

**通信作者：袁挺（1981-），男，浙江舟山人，副教授，博士，主要從事機(jī)器視覺(jué)、農(nóng)業(yè)機(jī)器人、農(nóng)業(yè)智能裝備研究。

[引用信息]張帆，張帥輝，張俊雄，等.溫室黃瓜采摘機(jī)器人系統(tǒng)設(shè)計(jì)[J].農(nóng)業(yè)工程技術(shù)，2020，40（25）：16-20.