代云中 , 蔣天宸 , 楊 威 , 楊 昕 , 楊新茂 , 劉 楊 , 文宏康
(1.宜賓職業(yè)技術學院智能制造學院,四川 宜賓 644003;2.電子科技大學航空航天學院,四川 成都 611731)
名優(yōu)茶采摘原料要求是“獨芽、無黑頭、無發(fā)酵”以及“一芽一葉、一芽兩葉、一芽三葉”等,采摘時間為1~2天,及時采摘才能凸顯名優(yōu)茶的顏色、氣味、口感[1-2]。文獻[3]的市場調研表明,名優(yōu)茶(特級茶)的市場均價約為1 200 元/kg,兩葉/三葉的市場均價為100 元/kg。研究表明,名優(yōu)茶雖然價格高,但是銷量好,是更受廣大人民喜愛的品質,但采摘不及時會造成產量低的情況出現(xiàn)[4-5]。
人工采摘名優(yōu)茶一般每人每天工作8 h左右,最多也只能采摘2 kg~3 kg的茶葉,勞動強度大且工作效率低,特別到了春茶季節(jié),葉芽不及時采摘將影響成品茶的質量[6-8]。名優(yōu)早春茶具有較高的實用性與經(jīng)濟價值,名優(yōu)茶采摘仍多為人工采摘,存在采摘效率低、采摘不及時等問題,給茶農帶來了巨大的損失,采摘效率低成為名優(yōu)茶產業(yè)高質量發(fā)展的瓶頸[8-10]。隨著人工智能、高速GPU大容量芯片、云計算、智能技術等一系列學科和技術的交互與衍生,使機器自動采摘名優(yōu)茶成為可能。
針對人工采摘名優(yōu)茶成本高且效率低的問題,非常有必要設計一種高效的智能采摘系統(tǒng)和采摘方法。本文基于人工智能、傳感器、云服務器等技術,提出了一種基于圖像識別的名優(yōu)茶智能采摘系統(tǒng)及方法,很好地解決了人工采茶效率低且成本高的問題[11-12]。
本文提出的基于YOLOv5算法的智能采摘機器人主要包括數(shù)據(jù)獲取單元、服務器、控制單元、電機驅動器、滑臺、末端名優(yōu)茶機械采摘手、通信單元。
整個名優(yōu)茶智能采摘系統(tǒng)工作過程如圖1所示。其中,數(shù)據(jù)獲取單元用于獲取一個區(qū)域的名優(yōu)茶圖像信息和距離信息,并將獲取的信息傳至服務器。在收到獲取的信息后,服務器對獲取的圖像信息進行圖像識別,將識別結果符合要求的信息的距離信息轉換為坐標信息并發(fā)送給控制單元。控制單元將坐標信息轉換為可變脈寬PWM信號,并將PWM信號發(fā)送給電機驅動器。然后電機驅動器根據(jù)PWM信號控制滑臺向多軸進行移動,并在信號指示位置控制機械手進行名優(yōu)茶的采摘和收集[1-2]。
圖1 系統(tǒng)工作流程示意圖
在整個系統(tǒng)中,數(shù)據(jù)采集單元與服務器、服務器與控制單元、控制單元與電機驅動器、電機驅動器與滑臺通過通信模塊實現(xiàn)數(shù)據(jù)傳輸。數(shù)據(jù)采集單元通過USB免驅動的雙目測距同步模組進行圖像的獲取,通過激光測距模組來獲取圖像的位置信息。
服務器對獲取的圖像信息進行識別,將識別結果符合要求的信息的距離信息轉換為坐標信息,在將位置信息發(fā)送給控制單元前,將圖像劃分為N個區(qū)域,并計算獲取N個區(qū)域中心的坐標信息,其中N為機械手的數(shù)量。在每個所述區(qū)域內,通過蟻群算法計算獲取機械手的行進路徑坐標[3-4]。
控制單元包括三個PWM接口。機械手通過紅外感應器來感應名優(yōu)茶并控制刀片靠攏完成名優(yōu)茶的采摘。系統(tǒng)包含一個供電單元,供電單元設置有2個12 V/2 A的電池,串聯(lián)后由24 V轉12 V的直流轉換器進行降壓輸出。
本課題提出的名優(yōu)茶采摘機器人如圖2(a)所示,采用可獨立運動且無重疊工作區(qū)域的2組采摘裝置。2組獨立的單芽采摘裝置組裝為一個整體后,用4支帶有輪子的支腿連接,整個設計采用輕質的鋁合金框架結構,質量僅約20 kg,制造成本較低且便于搬運。單組采摘裝置如圖2(b)所示,包括上層的雙目攝像頭,下層的采摘裝置,X、Y、Z軸的運動裝置以及搭載在Z軸的單芽采摘手,以此完成名優(yōu)茶的智能采摘。
圖2 總體機械設計圖
課題組還設計了一種基于圖像識別的名優(yōu)茶智能采摘方法,該方法包括以下步驟:
步驟A,通過數(shù)據(jù)獲取單元獲取設定區(qū)域的名優(yōu)茶及其三維坐標,并將其上傳至服務器。
步驟B,服務器通過圖像識別算法識別圖像內是否為可采摘的名優(yōu)茶,再將位置信息轉換為坐標信息,并將坐標信息上傳至控制單元。
步驟C,控制單元將坐標信息轉換為PWM信號,并傳給電機驅動器。
步驟D,根據(jù)PWM信號控制滑臺向多軸進行移動,并在信號指示位置控制機械手進行名優(yōu)茶的采摘和收集。
系統(tǒng)服務器將識別結果符合要求的信息的距離信息轉換為坐標信息的具體步驟為:服務器通過YOLOv5算法對圖像進行識別,判斷圖像是否為可采摘的名優(yōu)茶,如果判斷結果為不是可采摘的名優(yōu)茶,則進行下一區(qū)域的圖像獲取;如果判斷結果為是可采摘的名優(yōu)茶,則提取圖像的位置信息,并將圖像的位置信息轉換為坐標信息。接著將具體坐標發(fā)送給機器人,控制機器人采摘手運動到目標名優(yōu)茶位置完成采摘[7]。
把雙目攝像頭視覺拍攝范圍內的茶葉分成不同的采摘區(qū)域。2區(qū)是指將采摘區(qū)域分成2個獨立的采摘區(qū)域,每個區(qū)域均有獨立的機械采摘手進行采摘。4區(qū)則是指將采摘區(qū)域分成4個獨立的采摘區(qū)域。本文提出的智能采摘手的分區(qū)采用2區(qū),在不影響采摘質量的前提下,可有效節(jié)約硬件成本。
為了實現(xiàn)茶葉機械采摘手依次將采摘區(qū)域內的名優(yōu)茶完全采摘,需要對名優(yōu)茶的采摘路徑進行規(guī)劃,本文采用了蟻群算法作為采摘路徑的規(guī)劃算法。在實現(xiàn)蟻群規(guī)劃算法時,需要先將雙目攝像頭獲得的所有名優(yōu)茶坐標數(shù)據(jù)進行歸一化處理,再對整個采摘區(qū)域進行2分區(qū)。本文的采摘區(qū)域分區(qū)原理是使名優(yōu)茶采摘區(qū)域內的名優(yōu)茶數(shù)量相等或者分區(qū)后的采摘區(qū)域面積基本相同。首先,初始化蟻群算法中的參數(shù),然后進行解空間構建,接著采用貪婪法則計算下一個需要采摘的名優(yōu)茶位置。實現(xiàn)一次循環(huán)后,會得出一個最優(yōu)解,然后將信息素進行全局更新,再進行下一次迭代,迭代次數(shù)加1,從而重新開始求解新一輪的最優(yōu)解。當?shù)螖?shù)達到了設定值,將得到的最優(yōu)解進行輸出,從而完成路徑規(guī)劃[6]。
基于GPU芯片的視覺圖像處理與運動控制系統(tǒng)技術路線如圖3所示。首先,采用英偉達GeForce RTX30系列的GPU對雙目攝像頭拍攝的茶葉圖像進行降噪、灰度化、分割等預處理,對分割完的茶葉圖片形態(tài)進行分類,確定名優(yōu)茶采摘對象為單芽,同時確定名優(yōu)茶的X、Y坐標;其次,通過蟻群規(guī)劃算法確定目標區(qū)域內各名優(yōu)茶的采摘順序,根據(jù)得出的目標葉芽X、Y坐標控制采摘手X、Y軸步進電機運動到目標葉芽位置,同時觸發(fā)激光測距儀測出目標區(qū)域各個葉芽與采摘手的距離,得出目標葉芽的Z坐標;最后,根據(jù)目標葉芽的Z坐標控制Z軸步進電機運動到目標葉芽位置完成采摘。
圖3 基于GPU芯片的視覺圖像處理與運動控制系統(tǒng)技術路線
基于TensorFlow和OpenCV圖像處理的軟件開發(fā)方法及YOLOv5算法,采集了名優(yōu)茶的圖像,形成了名優(yōu)茶的圖像數(shù)據(jù)庫,并對數(shù)據(jù)庫圖像進行了初步分析。采用YOLOv5算法對名優(yōu)茶進行人工智能識別的實驗圖如圖4所示。
圖4 茶葉名優(yōu)茶目標及其驗證中心點
課題組設計了一種基于圖像識別的名優(yōu)茶智能采摘系統(tǒng)及方法,并對采用YOLOv5算法對名優(yōu)茶進行人工智能識別的過程進行了實驗,與現(xiàn)有技術相比,主要有以下幾個優(yōu)點:
1)由控制單元、滑臺、機械手組合而成的名優(yōu)茶智能采摘機器人能顯著提高名優(yōu)茶采摘的效率。
2)通過YOLOv5算法進行圖像識別,提高了名優(yōu)茶采摘的準確度。
3)使用服務器進行圖像識別和數(shù)據(jù)處理的方式,降低了單個設備的價格,有利于推廣。
4)通過服務器進行復雜數(shù)據(jù)處理的方式,可以配備大量操作設備,適合大規(guī)模采摘,縮短大面積采摘的時間。
5)通過路徑規(guī)劃和紅外感應的方式,可以降低對不能采摘的名優(yōu)茶的損壞。