李芳LI Fang；李霞LI Xia

（①北京經(jīng)濟(jì)管理職業(yè)學(xué)院，北京 100102；②北京城市學(xué)院，北京 100102）

0 引言

隨著水果種植規(guī)模化集約化、人工成本的上漲和社會(huì)人口老齡化，智能采摘機(jī)器人的應(yīng)用將會(huì)在農(nóng)業(yè)中得到大量推廣，它可在室內(nèi)外多種復(fù)雜環(huán)境下，高效、精準(zhǔn)地完成果實(shí)目標(biāo)檢測(cè)、位置確定、成熟度判斷和快速摘取功能，不僅能夠節(jié)省人力成本，還能夠提高生產(chǎn)效率。

目前市場(chǎng)上有多款水果采摘類機(jī)器人產(chǎn)品，主要為“荔枝采摘機(jī)器人”、“蘋果采摘機(jī)器人”等，能夠完成無(wú)損采摘，快速精準(zhǔn)摘取，雙目立體視覺(jué)定位，適應(yīng)復(fù)雜環(huán)境等，但采摘產(chǎn)品比較單一，應(yīng)用缺乏普遍性?；谇度胧郊夹g(shù)的智能采摘機(jī)器人，通過(guò)直流電機(jī)、顏色傳感器、TX2中心處理器以及YOLO算法等能夠識(shí)別隨機(jī)位置的果實(shí)，綜合判斷確定果實(shí)的成熟度、利用機(jī)械臂對(duì)果實(shí)進(jìn)行快速高效的精準(zhǔn)采摘。同時(shí)能夠?qū)崿F(xiàn)整體對(duì)采摘機(jī)器人多方向，少路徑，節(jié)時(shí)間的運(yùn)動(dòng)控制，實(shí)現(xiàn)平穩(wěn)移動(dòng)智能避障，降低功耗成本，提升采摘效率和工作穩(wěn)定性。

1 系統(tǒng)的整體設(shè)計(jì)

整個(gè)機(jī)器人系統(tǒng)分上層和下層兩層設(shè)計(jì)，上層系統(tǒng)可以向下層系統(tǒng)傳輸數(shù)據(jù)，對(duì)下層系統(tǒng)的功能進(jìn)行控制。上層系統(tǒng)主要負(fù)責(zé)數(shù)字圖像信息的采集與機(jī)器人步進(jìn)控制，包括樹莓派為主體的數(shù)據(jù)采集處理模塊和51開發(fā)板與各種測(cè)距傳感器、無(wú)線透?jìng)鳂?gòu)成的機(jī)械臂模塊。下層系統(tǒng)RM-A板為主體，連接無(wú)線透?jìng)?、測(cè)距傳感器、繼電器、電調(diào)、全向輪等實(shí)現(xiàn)步進(jìn)控制，負(fù)責(zé)控制機(jī)器人按照指定的姿態(tài)進(jìn)行移動(dòng)，控制推桿電機(jī)的升降。（圖1）

圖1 系統(tǒng)整體設(shè)計(jì)圖

上層系統(tǒng)：分為數(shù)字圖像信息的采集與處理、果實(shí)采摘（機(jī)械臂）的控制兩個(gè)部分，分別使用樹莓派和51板實(shí)現(xiàn)。

①數(shù)字圖像信息的采集與處理部分：由樹莓派連接顯示器、USB攝像頭、無(wú)線透?jìng)髂K組成。樹莓派通過(guò)USB接口連接攝像頭，用于爪子、果實(shí)位置的檢測(cè)；樹莓派連接顯示器，用于顯示經(jīng)過(guò)樹莓派處理后的圖像位置信息，便于監(jiān)測(cè)智能采摘機(jī)器人的工作狀態(tài)。無(wú)線透?jìng)髂K用于向RM-A開發(fā)板傳輸當(dāng)前果實(shí)的位置信息數(shù)據(jù)，由下層系統(tǒng)處理后確定機(jī)器人應(yīng)當(dāng)行進(jìn)的方向；樹莓派通過(guò)串口連接果實(shí)采摘控制模塊，提供果實(shí)和爪子的位置信息傳遞，由該模塊確定采摘過(guò)程。

②果實(shí)采摘（機(jī)械臂）的控制部分：由51板連接爪子舵機(jī)、云臺(tái)舵機(jī)、超聲波測(cè)距傳感器、紅外測(cè)距傳感器和無(wú)線透?jìng)髂K組成。爪子用于抓取果實(shí)，云臺(tái)用于收集果實(shí)。51開發(fā)板通過(guò)串口接收樹莓派的數(shù)據(jù)，利用D-H參數(shù)法計(jì)算出云臺(tái)和爪子的移動(dòng)數(shù)據(jù)，并由PWM控制舵機(jī)，實(shí)現(xiàn)云臺(tái)和爪子的移動(dòng)。超聲波測(cè)距傳感器、前紅外傳感器和下紅外傳感器對(duì)爪子與果實(shí)的相對(duì)位置進(jìn)行準(zhǔn)確定位，控制握爪時(shí)機(jī)，對(duì)樹莓派得出的位置信息進(jìn)行補(bǔ)充。無(wú)線透?jìng)髂K向下層系統(tǒng)傳遞果實(shí)與爪子的距離信息，從而控制智能采果機(jī)器人的移動(dòng)距離。

下層系統(tǒng)：使用一個(gè)RM-A 32開發(fā)板作為處理單元，實(shí)現(xiàn)步進(jìn)控制與系統(tǒng)通信。

①在系統(tǒng)間的通信上，RM-A開發(fā)板通過(guò)串口連接兩個(gè)無(wú)線透?jìng)髂K，用于接收上層系統(tǒng)傳遞的數(shù)據(jù)。

②在步進(jìn)控制的實(shí)現(xiàn)上，RM-A開發(fā)板通過(guò)UART協(xié)議連接一個(gè)測(cè)距傳感器，通過(guò)距離控制實(shí)現(xiàn)避障，配合IMU姿態(tài)閉環(huán)，實(shí)現(xiàn)步進(jìn)控制算法。RM-A開發(fā)板通過(guò)CAN總線連接底盤，底盤包含四個(gè)電調(diào)，分別連接4個(gè)電機(jī)和全向輪，步進(jìn)控制算法通過(guò)CAN總線傳輸電機(jī)運(yùn)轉(zhuǎn)速率，使得機(jī)器人能夠平穩(wěn)地移動(dòng)。

RM-A開發(fā)板通過(guò)IO口連接繼電器，開發(fā)板可以向繼電器提供5V電壓，從而控制推桿電機(jī)的升降。整個(gè)下層系統(tǒng)采用電壓為24V的RM電池進(jìn)行供電。

2 主要功能模塊介紹

2.1 目標(biāo)檢測(cè)模塊

目標(biāo)檢測(cè)模塊主要是由USB攝像頭、顯示器和無(wú)線透?jìng)髂K組成。通過(guò)軟硬件協(xié)同部署，用攝像頭采集果實(shí)圖片，經(jīng)過(guò)顏色傳感器采集圖片顏色，并通過(guò)TX2中心處理器綜合判斷的方式確定果實(shí)的成熟程度，并判斷是否執(zhí)行采摘?jiǎng)幼?。在快速識(shí)別果實(shí)位置的過(guò)程中，優(yōu)化并應(yīng)用YOLO算法，檢測(cè)速度相對(duì)較快，背景誤檢數(shù)量少了一半，能夠迅速識(shí)別果實(shí)位置并為精準(zhǔn)摘取做準(zhǔn)備。

TX2中心處理器主要負(fù)責(zé)對(duì)整個(gè)系統(tǒng)數(shù)據(jù)進(jìn)行處理和判斷，它采用NVIDIA推出的Jetson TX2。Jetson TX2具有多個(gè)多媒體流引擎，可通過(guò)卸載傳感器采集和分發(fā)來(lái)為其Pascal GPU提供數(shù)據(jù)。這些多媒體引擎包括六個(gè)專用MIPI CSI-2攝像頭端口，每個(gè)通道的帶寬高達(dá)2.5 Gb/s，雙圖像服務(wù)處理器（ISP）的處理速度為1.4gigapixels/s，以及支持H.265的4K視頻編解碼器每秒60幀。

2.2 測(cè)距模塊

在智能采果機(jī)器人中使用了超聲波測(cè)距、雷達(dá)測(cè)距、紅外測(cè)距三種測(cè)距模塊，這里重點(diǎn)介紹超聲波測(cè)距和雷達(dá)測(cè)距。

2.2.1 超聲波測(cè)距模塊

超聲波測(cè)距使用HC-SR04模塊，該模塊性能穩(wěn)定，測(cè)量距離精準(zhǔn)，盲區(qū)小。用于機(jī)器人機(jī)械臂測(cè)距。

本模塊使用方法簡(jiǎn)單，一個(gè)控制口發(fā)一個(gè)10μs以上的高電平，就可以在接收口等待高電平輸出。有高電平輸出就開啟定時(shí)器計(jì)時(shí)，當(dāng)接口輸出變?yōu)榈碗娖綍r(shí)讀定時(shí)器的值，得到此次測(cè)距的時(shí)間，即可得出距離。多次測(cè)量求平均值，即可測(cè)量出機(jī)械臂的移動(dòng)值。

2.2.2 激光雷達(dá)測(cè)距模塊

采用TFmini小型激光雷達(dá)功能模塊實(shí)現(xiàn)機(jī)器人底座移動(dòng)合理避障，該模塊成本低、體積小和功耗低，對(duì)于室外強(qiáng)光、不同溫度、不同反射率等不同環(huán)境下的適應(yīng)性較強(qiáng)。另外采用了串口連接，信息傳輸速度快。（圖2）

圖2 激光雷達(dá)測(cè)距模塊連接圖

該模塊在室內(nèi)工作時(shí)：探測(cè)目標(biāo)為90%反射率，有效探測(cè)距離為12m；探測(cè)目標(biāo)10%反射率，有效探測(cè)距離5m；在室外工作時(shí)：普通日照（照度70klux以下），有效探測(cè)距離7m；夏天烈日下（照度100klux）或者室外黑色背景板，有探測(cè)距離為3m。注：所有距離參數(shù)均為與探測(cè)物正對(duì)情況下。

圖3 激光雷達(dá)模塊測(cè)量的有效距離

2.3 舵機(jī)控制模塊

舵機(jī)控制模塊主要用來(lái)控制機(jī)械臂的旋轉(zhuǎn)，用來(lái)采摘果實(shí)和收集果實(shí)。通過(guò)51板輸出PWM控制舵機(jī)工作。

控制信號(hào)由接收機(jī)的通道進(jìn)入信號(hào)調(diào)制芯片，獲得直流偏置電壓。它內(nèi)部有一個(gè)基準(zhǔn)電路，產(chǎn)生周期為20ms，寬度為1.5ms的基準(zhǔn)信號(hào)，將獲得的直流偏置電壓與電位器的電壓比較，獲得電壓差輸出。電壓差的正負(fù)輸出到電機(jī)驅(qū)動(dòng)芯片決定電機(jī)的正反轉(zhuǎn)。當(dāng)電機(jī)轉(zhuǎn)速一定時(shí)，通過(guò)級(jí)聯(lián)減速齒輪帶動(dòng)電位器旋轉(zhuǎn)，使得電壓差為0，電機(jī)停止轉(zhuǎn)動(dòng)。

3 數(shù)據(jù)的采集與處理

3.1 數(shù)據(jù)采集設(shè)計(jì)

智能采果機(jī)器人采集的數(shù)據(jù)集主要是用來(lái)實(shí)現(xiàn)果實(shí)目標(biāo)檢測(cè)、成熟度的判斷和采摘。包括果實(shí)目標(biāo)檢測(cè)中：攝像頭采集的原始圖像數(shù)據(jù)、YOLO算法中的訓(xùn)練集和測(cè)試集、樹莓派處理后的果實(shí)位置信息以及動(dòng)態(tài)的機(jī)械臂爪子位置信息；采摘過(guò)程中：舵機(jī)和機(jī)械臂的移動(dòng)數(shù)據(jù)、果實(shí)與機(jī)械臂爪子的距離數(shù)據(jù)；成熟度判斷中的顏色數(shù)據(jù)信息、果實(shí)成熟度數(shù)據(jù)等等。

3.2 數(shù)據(jù)處理設(shè)計(jì)

首先通過(guò)攝像頭采集原始圖片數(shù)據(jù)，進(jìn)行顏色識(shí)別后經(jīng)過(guò)顏色傳感器采集對(duì)應(yīng)顏色，得到果實(shí)成熟度數(shù)據(jù)由TX2實(shí)現(xiàn)綜合判斷后待采果實(shí)。然后利用YOLO算法得到果實(shí)目標(biāo)檢測(cè)后的位置信息數(shù)據(jù)，再分別傳送給機(jī)械臂控制部分和機(jī)器人移動(dòng)控制部分。機(jī)械臂部分由51開發(fā)板接受果實(shí)位置信息，由超聲波和紅外傳感器完善位置數(shù)據(jù)，再用算法計(jì)算出舵機(jī)和機(jī)械臂爪子移動(dòng)數(shù)據(jù)，最后動(dòng)態(tài)向下傳遞果實(shí)與機(jī)械臂爪子的距離數(shù)據(jù)，具體數(shù)據(jù)處理過(guò)程如圖4所示。

圖4 數(shù)據(jù)處理流程

YOLO算法處理圖像簡(jiǎn)單直接，基本由以下幾個(gè)步驟完成：①將輸入圖像調(diào)整為448×448；②在圖像上運(yùn)行單個(gè)卷積網(wǎng)絡(luò)；③由模型的置信度對(duì)所得到的檢測(cè)進(jìn)行閾值處理。YOLO預(yù)測(cè)流程簡(jiǎn)單，速度很快。在Titan X GPU上基礎(chǔ)版可以達(dá)到45幀/s，快速版可以達(dá)到150幀/s。因此，YOLO可以實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。

4 解決的技術(shù)難點(diǎn)

在智能采果機(jī)器人的設(shè)計(jì)中，主要考慮了4個(gè)技術(shù)難點(diǎn)，具體技術(shù)難點(diǎn)及解決方法如下：

4.1 成熟度判斷技術(shù)難點(diǎn)

在果實(shí)采摘過(guò)程中，如何判斷果實(shí)成熟度是一個(gè)廣泛存在的技術(shù)難點(diǎn)，影響到采摘質(zhì)量、生產(chǎn)效率和產(chǎn)品的落地使用價(jià)值。因此采用攝像頭與顏色傳感器共同識(shí)別方法判斷果實(shí)成熟度。通過(guò)攝像頭的拍攝圖片對(duì)果實(shí)的顏色進(jìn)行識(shí)別，之后再經(jīng)過(guò)顏色傳感器來(lái)采集對(duì)應(yīng)的顏色，并通TX2中心處理器實(shí)現(xiàn)綜合判斷的方式，以實(shí)現(xiàn)果實(shí)的成熟程度的確定。

4.2 果實(shí)目標(biāo)檢測(cè)技術(shù)難點(diǎn)

在智能采摘過(guò)程中，果實(shí)位置檢測(cè)是一個(gè)基礎(chǔ)性的核心技術(shù)問(wèn)題，然而在復(fù)雜多樣環(huán)中提高檢測(cè)目標(biāo)的準(zhǔn)確率和提取準(zhǔn)確的位置信息具有難度。在核心算法上采用優(yōu)化的YOLO算法，檢測(cè)速度更快，能夠?qū)崿F(xiàn)處理流媒體視頻。背景誤檢數(shù)量少了一半。能更快速度識(shí)別果實(shí)位置，做到精準(zhǔn)摘取。通過(guò)無(wú)線透?jìng)髂K傳輸果實(shí)位置信息，超聲波測(cè)距傳感器、紅外傳感器對(duì)機(jī)械臂爪子與果實(shí)的相對(duì)位置進(jìn)行準(zhǔn)確定位，控制握爪時(shí)機(jī)，對(duì)樹莓派得出的位置信息進(jìn)行補(bǔ)充。

4.3 協(xié)同運(yùn)動(dòng)控制技術(shù)難點(diǎn)

整個(gè)采摘的完成，包括步進(jìn)運(yùn)動(dòng)控制和采摘?jiǎng)幼骺刂疲瑫r(shí)要實(shí)現(xiàn)兩個(gè)運(yùn)動(dòng)在采摘過(guò)程的協(xié)同控制，而兩個(gè)維度的運(yùn)動(dòng)協(xié)同控制是采摘成果的關(guān)鍵保障，否則將難以高效完成采摘。采用分層設(shè)計(jì)，上層系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)采集和機(jī)械臂控制，并將數(shù)據(jù)傳輸?shù)较聦酉到y(tǒng)，下層系統(tǒng)實(shí)現(xiàn)步進(jìn)控制。利用軟硬協(xié)同設(shè)計(jì)思想，由傳感器、高效目標(biāo)檢測(cè)算法經(jīng)樹莓派處理獲取并確定爪子和代采果實(shí)位置的數(shù)據(jù)，并利用無(wú)線透?jìng)鱾鬏敂?shù)據(jù)到上層系統(tǒng)中的機(jī)械臂控制部分（51開發(fā)板）和下層系統(tǒng)（RM-A開發(fā)板）。

4.4 復(fù)雜環(huán)境適用技術(shù)難點(diǎn)

實(shí)際采摘環(huán)境可能是相當(dāng)復(fù)雜的，溫度、反射率、室外光強(qiáng)等等對(duì)于機(jī)械控制數(shù)據(jù)的采集計(jì)算有很大影響。對(duì)此，將HC-SR04模塊用于測(cè)距，此模塊性能穩(wěn)定，測(cè)度距離精準(zhǔn)，模塊高精度，盲區(qū)小。同時(shí)利用TFmini小型激光雷達(dá)模組，在保證成本、小體積、低功耗基礎(chǔ)上，提高對(duì)不同溫度、光強(qiáng)、反射率環(huán)境下端適用性。

5 結(jié)語(yǔ)

智能采摘機(jī)器人雙重判斷果實(shí)成熟度方法、使用YOLO目標(biāo)檢測(cè)算法以及基于嵌入式技術(shù)以實(shí)現(xiàn)步進(jìn)抓取協(xié)調(diào)控制。整個(gè)系統(tǒng)采用分層的方式設(shè)計(jì)，上層模塊向下層模塊傳輸數(shù)據(jù)，對(duì)下層模塊的功能進(jìn)行控制。它可在室內(nèi)外多種復(fù)雜環(huán)境下，高效、精準(zhǔn)地完成果實(shí)目標(biāo)檢測(cè)、位置確定、成熟度判斷和快速摘取功能，為我國(guó)農(nóng)業(yè)的自動(dòng)化發(fā)展增值賦能。