摘要:隨著機器人、計算機圖像處理和人工智能技術的成熟,采摘機器人的研究和開發(fā)技術得到了快速發(fā)展。文章基于STM32設計實現(xiàn)的無線智能采摘機器人,主要由機械結構部分和無線智能控制系統(tǒng)兩部分構成。機械結構包括可移動載體、機械手臂、夾持器和橫向滑動裝置。無線智能控制系統(tǒng)主要包括計算機、伺服電機驅(qū)動、雙CCD攝像機、傳感器控制模塊、數(shù)據(jù)采集卡、GPIB卡、運動控制卡、鋰電池供電箱、GPIB卡和控制系統(tǒng)。該無線智能采摘機器人,可針對標準化種植的蘋果、梨等現(xiàn)代果園,集成視覺識別、柔性抓取、智能控制等人工智能和機器人技術,自主利用機械手臂,完成果實采摘和放置等動作,實現(xiàn)蘋果等水果的無人采摘。
關鍵詞:單片機;無線智能;采摘機器人;傳感器
中圖分類號:TP311
文獻標志碼:A
0 引言
隨著人工智能、無線互聯(lián)、物聯(lián)網(wǎng)等技術運用到傳統(tǒng)的果園生產(chǎn)中,智慧果園已引起水果市場和生產(chǎn)方式的變革,使水果生產(chǎn)經(jīng)營更加系統(tǒng)化、產(chǎn)業(yè)化、商業(yè)化,也促進小農(nóng)戶和現(xiàn)代果業(yè)的有效銜接[1]。由于采摘的作業(yè)空間環(huán)境,采摘目標自身的特點,傳統(tǒng)的采摘作業(yè)耗時又耗力,因此基于人工智能的智慧果園采摘系統(tǒng)應運而生。
水果種植和果園管理由于農(nóng)藝復雜精細,仍屬于勞動密集型產(chǎn)業(yè)[2]。部分農(nóng)藝如套袋摘袋、疏花疏果、剪枝采收等作業(yè)環(huán)節(jié),傳統(tǒng)機械化農(nóng)機無法應用,面臨著用工難用工貴的勞動力短缺問題。以機器人、人工智能和無線通信技術為基礎的果園作業(yè)機器人是代替人工解決上述問題的最佳方案[3]。智慧果園機器人作業(yè)主要實現(xiàn)果園水肥藥一體化施用、中耕除草、果園生長狀態(tài)監(jiān)測、采收運輸?shù)汝P鍵作業(yè)環(huán)節(jié)的機器人化作業(yè),大大降低人工勞動強度,實現(xiàn)果園生產(chǎn)的自動化和智能化[4]。本文在智慧果園背景下,實現(xiàn)無線智慧采摘,從而降低果園采收運輸成本,提高采收作業(yè)效率。
1 分析與設計
1.1 需求分析與總體流程
通過前期調(diào)研分析,隨著勞動力從農(nóng)村向城市的轉移,在果園管理中,果園將更多的機械取代人工,最大限度地實現(xiàn)省力化才是正確的發(fā)展方向。由“省錢”向“省力”轉變?,F(xiàn)有大部分果園里的采摘機都是人工控制行走,而且采摘機的高度可調(diào)范圍較小,具體采摘需要手動控制。部分果園在原有采摘機的基礎上,擴展了一些自動功能,但擴展成本較高,仍然需要人工控制,并不能提高果園的效益。若在現(xiàn)有的采摘機基礎上,加上無線控制系統(tǒng),并搭載末端執(zhí)行自動抓取功能,實現(xiàn)自動識別成熟果實,將大大提高采摘的效率,且不受環(huán)境影響,從而滿足果園對勞動力的需求。因此,果園管理應順應時代發(fā)展潮流,用智能采摘取代人工或半人工采摘,實現(xiàn)省力化和標準化。
基于上述需求和問題分析,本文確定無線智能采摘機器人的主要功能如下:通過雙CCD攝像頭和激光雷達來實現(xiàn)地圖定位與構建,根據(jù)定位和地圖信息,通過路徑規(guī)劃算法使無線智能機器人實現(xiàn)自主避障并前往目標位置。到達目標位置后,機械臂自主抓取成熟果實將其儲存至智能小車上。本文設計的無線智能采摘機器人的整體運作流程,如圖1所示。
1.2 智能機器人的相關技術分析
1.2.1 目標檢測技術
本文設計的無線智能采摘機器人對目標水果的檢測采用YOLOv算法實現(xiàn)。YOLOv的主要原理是將對象檢測問題分解為對象邊界框的定位、類別分類和精度估計。基于此3個問題,本文設計水果的目標檢測為3個步驟:第一,生成一系列感興趣區(qū)域,將其作為候選區(qū)域。第二,對每個感興趣區(qū)域進行分類判斷與置信度得分。第三,使用非極大值抑制NMS來篩選最準確的檢測框與類別。
生成一系列感興趣區(qū)域,需要從基礎的水果圖像分類出發(fā)。在水果分類中,輸入一張圖像,再由模型輸出所屬的類別。對于目標檢測,YOLOv算法與圖像分類的區(qū)別是:一張圖像上可能有多個類別目標,每個類別的數(shù)量也不盡相同,分布在整張圖像上。本文設計的想法是:每次提取圖像中的一小塊矩形區(qū)域,然后預測該矩形區(qū)域內(nèi)圖像的類別,這樣就能得到目標的類別和位置。這就是第一步的生成感興趣區(qū)域過程。
對這些區(qū)域進行分類判斷并輸出置信度得分,必須對每個框內(nèi)圖像都進行一次分類與置信度打分,然后對于閾值在0.9分之上的框進行保留,那么這些框就是本文檢測到的目標位置。由于每個錨框都進行了預測,所以結果很可能出現(xiàn)多個框預測的都是同一個目標,因此第三步需要進行非極大值抑制去重。
非極大值抑制在目標檢測的主要作用是對兩個重疊程度超過0.5的預測框,只保留其中置信度較高的框。重復此次過程,直到框的數(shù)量不再發(fā)生改變,那么就可得到最終去重后的目標結果。
1.2.2 無線控制技術
此次設計是在傳統(tǒng)采摘機上加上無線控制技術,通過無線控制調(diào)度,發(fā)送目標點位置、采摘成熟果實、運送等指令。采摘機器人的行走無線控制系統(tǒng)由控制面板、導向傳感器、方向電位器、狀態(tài)指示燈、避障傳感器、光電控制信號傳感器、驅(qū)動單元、導引磁條、電源組成。無線控制技術是根據(jù)導向傳感器所得到的位置信息,按相關路徑所提供的目標值計算出實際控制命令值,即給出設定速度和轉向角,這是無線控制技術的關鍵。無線控制導向有多種方法,比如說利用導向傳感器的中心點作為參考點,追蹤引導磁條上的虛擬點就是其中的一種。無線控制目標就是通過檢測參考點與虛擬點的相對位置,修正驅(qū)動輪的轉速以改變采摘機器人的行進方向,盡力讓參考點位于虛擬點的上方。這樣無線控制就能始終跟蹤引導線運行。在無線控制機器人上安裝機器臂,在特殊工作環(huán)境下代替人工作業(yè),本文就是利用此無線控制技術實現(xiàn)水果的采摘。
1.2.3 機械臂技術
機械臂控制技術是實現(xiàn)水果智能采摘的關鍵技術。機械臂的結構一般由兩個部分組成:機械臂本體和控制系統(tǒng)。機械臂本體由多個關節(jié)組成,每個關節(jié)可以實現(xiàn)不同的運動,如旋轉、抬升、收縮等??刂葡到y(tǒng)是機械臂的核心,它可以控制機械臂的運動,使其能夠?qū)崿F(xiàn)預定的動作。本文設計的無線智能采摘機器人的機械臂采用 ROS系統(tǒng)進行通信。
傳統(tǒng)的ROS機械臂采用的建模對機械臂自由度要求較高,多數(shù)需要5~6自由度的機械臂,同時對機械臂運動的平穩(wěn)度也有極高的要求。本文采用低自由度的機械臂,通過幾何法實現(xiàn)運動規(guī)劃,ROS系統(tǒng)僅用于話題通信。這樣工程量少、機械臂制作簡單且成功率較高。同時,利用二維碼輔助識別位置姿態(tài)。先根據(jù)圖像顏色進行無線控制的整體分割,再對分割后的圖像進行處理,利用二維碼作為角度標識,利用二維碼的角度偏轉,確定機械臂需要偏轉的角度,將角度反饋給上位機進行處理,同時根據(jù)二維碼信息確定無線控制的相關信息。
2 無線智能采摘機器人的實現(xiàn)
2.1 硬件部分的實現(xiàn)
本文設計的智能采摘機器人的硬件平臺,為機器人進行成熟果實識別與采摘奠定了堅實的基礎,其各個部件的作用各不相同,結合起來實現(xiàn)采摘機器人的自動控制??梢苿虞d體是智能機器人的基礎,是其他控制采集系統(tǒng)的平臺,智能采摘機器人的信號采集、電機驅(qū)動、傳感器模塊及智能控制系統(tǒng)都需要以可移動載體為載體??梢苿虞d體采用履帶行走方式,履帶式移動載體與地面接觸面積大,受力面積大,給地面的壓力小,適合在松軟的果林路面上行進。機器人行走裝置根據(jù)智能控制系統(tǒng)的指令進行驅(qū)動,伺服電機采用直流供電。
機械手臂裝置采用多關節(jié)機械手臂,有3個主自由度,可以做轉動和移動的動作;再加上夾持器的X,Y軸轉動,可以使夾持器到達臂長范圍的任何三維坐標點。本文設計的機器人的機械手臂裝置韌性強、承受負載大、自身輕薄、靈活性高、到達指定位置誤差小,在整個采摘作業(yè)過程中,運行速度適中,慣性較小,平穩(wěn)度非常高。
夾持器是采摘過程中作用最大的部件,是采摘機器人的手,水果的抓取收獲依靠其完成,可以根據(jù)命令直接執(zhí)行采摘任務。該設計中的夾持器最大工作角度為88,采摘過程中夾緊力為270 N,質(zhì)量為0.6 kg,閉合時間為0.2 s;裝置輕便,采摘角度大,耗時短,力度適中,不會給果實帶來機械損傷。
2.2 軟件部分的實現(xiàn)
軟件組成部分的主要工作闡述如下:(1)無線控制器采集到的水果圖像信息通過深度學習網(wǎng)絡實現(xiàn)對水果圖像的檢測與識別;(2)通過 YOLOv 神經(jīng)網(wǎng)絡框架,對水果的種類進行精確識別,能夠判斷水果是否成熟;(3)云端數(shù)據(jù)中心記錄水果的種類及數(shù)量并簡潔的可視化出來;(3)云端數(shù)據(jù)中心可根據(jù)需求實時調(diào)度智能小車;(4)在云端數(shù)據(jù)中心的調(diào)度下,智能小車可自主前往目標位置;(5)智能小車通過路徑規(guī)劃算法實現(xiàn)自主導航與避障;(6)智能小車通過無線通信,實現(xiàn)智能小車返回指導目標位置;(7)自主采摘成熟果實。
本文在軟件設計過程中,由于受到網(wǎng)絡信號、數(shù)據(jù)處理的影響,無線控制器到服務器上的通信會有一定的延遲,故采用多進程技術并行處理來加快處理的速度以減少延遲。本文開設三個進程:一個用來接收數(shù)據(jù),一個用來處理數(shù)據(jù),一個用來顯示結果。此外,使用隊列數(shù)據(jù)結構存儲數(shù)據(jù),以避免數(shù)據(jù)堵塞,進一步降低通信延遲。另外,在圖像采集部分,采用生產(chǎn)者消費者模式,攝像頭采集圖像作為生產(chǎn)者,將采集到的圖像放入循環(huán)隊列緩沖區(qū),圖像處理進程則作為消費者不斷從緩沖區(qū)獲取圖像進行處理。
3 結語
本文詳細闡述了無線智能采摘機器人的設計全過程,包括前期的需求分析、總體流程、硬件和軟件的設計與實現(xiàn)。最后,通過實驗驗證,在復雜果園環(huán)境下,能解決目標檢測深度網(wǎng)絡對成熟水果的識別并定位,識別算法的優(yōu)化以及 Socket 實時無線通信的優(yōu)化。后期還需要在優(yōu)化視頻跟蹤算法、保證傳輸實時性、測試主流方案方面,對比選取效果最好的方案,解決無線控制的短續(xù)航問題。還將建立世界坐標系,通過深度圖和歐幾里得距離公式計算對象相對于相機的距離,最后計算成熟果實在世界坐標系上的位置。
參考文獻
[1]胡廣銳,孔微雨,齊闖,等.果園環(huán)境下移動采摘機器人導航路徑優(yōu)化[J].農(nóng)業(yè)工程學報,2021(9):175-184.
[2]倪江楠.基于計算機視覺的機器人采摘實驗平臺設計與實現(xiàn)[J].信息與電腦,2021(12):175-177.
[3]肖楊,管秀君,林楠,等.基于無線網(wǎng)絡的采摘機器人控制系統(tǒng)設計[J].農(nóng)機化研究,2021(10):191-195.
[4]華超,褚凱梅,陳昕,等.軟體水果采摘機械手系統(tǒng)設計分析與試驗[J].林業(yè)科技開發(fā),2021(3):127-132.
(編輯 姚 鑫)
Design of wireless intelligent picking robot based on microcontroller
Liu Yang, Duan Yuanmei
(School of Intelligent Manufacturing, Hunan University of Science and Engineering, Yongzhou 425199, China)
Abstract: With the maturity of robot, computer image processing and artificial intelligence technology, the research and development technology of picking robot has been developed rapidly. In this paper, the design and implementation of wireless intelligent picking robot based on STM32, mainly composed of mechanical structure and wireless intelligent control system two parts. The mechanical structure includes a movable carrier, a mechanical arm, a gripper and a lateral sliding device. Wireless intelligent control system mainly includes computer, servo motor drive, double CCD camera, sensor control module, data acquisition card, GPIB card, motion control card, lithium battery power supply box, GPIB card and control system. The wireless intelligent picking robot can integrate artificial intelligence and robot technology such as visual recognition, flexible grasping and intelligent control for modern orchards such as standardized planting apples and pears, and independently use mechanical arms to complete fruit picking and placing actions, so as to realize unmanned picking of apples and other fruits.
Key words: microcontroller; wireless intelligence; picking robot; sensor