凌 軒,劉江濤,梁超越,王旭東
(仲愷農(nóng)業(yè)工程學(xué)院機(jī)電工程學(xué)院,廣東 廣州 510225)
近年來,我國草莓栽培面積以及產(chǎn)量迅速擴(kuò)大,草莓成熟后必須及時(shí)采摘,尤其是盛果期(約30 d),草莓的產(chǎn)量多,種植面積廣,人工采摘草莓,勞動強(qiáng)度和作業(yè)量非常大。草莓有其獨(dú)特的生長方式,多為二歧聚傘花序,按次序先后開花結(jié)果,造成果實(shí)的不定期成熟,需要人工不定時(shí)地進(jìn)行判斷和收獲,草莓采摘的及時(shí)性要求給果農(nóng)的采摘帶來了諸多挑戰(zhàn),由此開發(fā)一種能夠代替人工作業(yè)的草每收獲機(jī)器人勢在必行。
20 世紀(jì) 80 年代起,世界各國開始了果蔬采摘自動化的研究。美國佛羅里達(dá)大學(xué)、日本岡山大學(xué)和我國的上海交通大學(xué)和中國農(nóng)業(yè)大學(xué)相繼開展了草莓采摘機(jī)器人的研究工作[1-3],并取得了眾多成果,但目前仍存在以下幾點(diǎn)問題,如采摘運(yùn)動機(jī)構(gòu)復(fù)雜、定位采摘算法運(yùn)算量大、適應(yīng)性不高、成本較高等。
本文針對地壟栽培模式下草莓的生長特點(diǎn),提出采用三軸同步滑臺機(jī)構(gòu)作為運(yùn)動定位機(jī)構(gòu),用面向?qū)ο笳Z言開發(fā)了總控制中心,編寫了串口與PLC和單片機(jī)通訊協(xié)議,提高了系統(tǒng)的柔性,可配置性及交互性??蓪σ欢ǚ秶鷥?nèi)成熟草莓進(jìn)行自動定位和無損傷采摘,一定程度上減輕了勞動強(qiáng)度,提高了自動化作業(yè)水平。
我國的大部分農(nóng)田采用壟作栽培的草莓種植模式,兩壟間相隔一道寬度,草莓植株種植在壟頂,果實(shí)貼在壟坡,并且在垂直壟坡方向上沒有重疊;采摘作業(yè)過程中除了少許的葉子遮擋外基本沒有別的障礙物。根據(jù)這種農(nóng)藝條件,在標(biāo)準(zhǔn)種植區(qū)域使用合適寬度的四輪驅(qū)動最為合適。
本文設(shè)計(jì)的智能自動草莓采摘機(jī)器人如圖1 所示,主要由底座模塊、XYZ 同步滑臺模塊、PLC 控制器模塊和柔性采摘機(jī)械手模塊組成。底座安裝4個(gè)輪子方便移動,3 個(gè)滑臺構(gòu)成X,Y,Z 軸,可以實(shí)現(xiàn)機(jī)械手位置在各個(gè)方向上的移動,機(jī)械手由3 個(gè)舵機(jī)進(jìn)行控制,實(shí)現(xiàn)對草莓果實(shí)的抓取并通過扭轉(zhuǎn)實(shí)現(xiàn)采摘。
圖1 自動草莓采摘機(jī)器人結(jié)構(gòu)框圖Fig.1 The structure of automatic strawberry picking robot
末端執(zhí)行器安裝在 Z 軸同步滑臺上,以適當(dāng)力度夾持并扭轉(zhuǎn)果柄,完成采摘動作。由于草莓果實(shí)表皮十分嬌嫩,夾持果實(shí)本體容易造成果皮損傷,影響果實(shí)品質(zhì),進(jìn)而影響后續(xù)加工、儲藏。采摘機(jī)器人末端執(zhí)行器采用了柔性網(wǎng)狀材料打印成型,以保護(hù)嬌嫩果實(shí)。
在采摘過程中,末端執(zhí)行器貼壟坡沿 X 方向運(yùn)動,當(dāng)?shù)竭_(dá)目標(biāo)草莓域正下方時(shí),停止 X 方向的運(yùn)動,然后沿壟坡向上Y 方向運(yùn)動,接著機(jī)械臂帶動末端執(zhí)行器向Z 方向運(yùn)動,將草莓抓取扭轉(zhuǎn)收獲。因此,在 X 方向?qū)?zhǔn)目標(biāo)草莓域后,只需獲得末端執(zhí)行器到草莓采摘點(diǎn)之間的Y 方向上的距離和草莓域?qū)挾龋纯蓪?shí)現(xiàn)對目標(biāo)草莓的采摘[4,5]。
草莓目標(biāo)識別及其采摘點(diǎn)位置計(jì)算分為3 個(gè)步驟,即圖像預(yù)處理、目標(biāo)草莓識別和采摘點(diǎn)位置計(jì)算等。攝像機(jī)首先攝取水平地面上收獲區(qū)域內(nèi)草莓的圖像,經(jīng)圖像分割后提取收獲區(qū)域內(nèi)所有成熟草莓的重心位置,計(jì)算草莓個(gè)數(shù),并按重心坐標(biāo)值對草莓排序,驅(qū)動機(jī)械手進(jìn)行采摘。
圖像處理包括讀入圖像、色差變換、二值化去噪音、區(qū)域標(biāo)記、重心提取等[6-10]。首先把采集到的圖像通過HIS 顏色模型識別出成熟草莓紅色區(qū)域,選取合適的閾值對圖像進(jìn)行二值化圖像分割,本文閾值取65。然后再采用與原圖通過膨脹與腐蝕去除噪音獲得草莓的完整區(qū)域,并進(jìn)行區(qū)域標(biāo)記和通過計(jì)算獲取重心位置。
圖2 中a 為采集到原始圖像,圖b 為經(jīng)過閾值分割并濾波去噪音后提取出的草莓位置信息。從圖中可以看出,采用的圖像分割算法能夠適應(yīng)草莓顏色非均一性和圖像光的復(fù)雜性,能很好地去除樹葉等復(fù)雜背景,而且能較好地保存未被遮擋的草莓區(qū)域,滿足所需分割效果。
圖2 草莓圖像識別過程Fig.2 The process of strawberry image recognition
本文草莓采摘機(jī)器人控制系統(tǒng)通過一個(gè)Windows 窗體應(yīng)用程序作為總控制中心,與PLC 和單片機(jī)通訊,從而實(shí)現(xiàn)草莓的采摘,如圖3 所示。
圖3 草莓采摘機(jī)控制框圖Fig.3 The control block diagram of strawberry picker
控制系統(tǒng)設(shè)計(jì)為2 個(gè)模塊,由手動采摘調(diào)試模塊和自動識別采摘模塊組成。分別由信息采集層、運(yùn)動執(zhí)行層,算法控制層組成。信息采集層由采集攝像頭、安裝在同步滑臺模組兩端的光電行程開關(guān)、機(jī)械手定位開關(guān)等設(shè)備組成,可實(shí)時(shí)顯示采集圖像及檢測畫面;運(yùn)動執(zhí)行層由精密同步帶運(yùn)動定位機(jī)構(gòu)及驅(qū)動步進(jìn)電機(jī)、末端執(zhí)行器以及相應(yīng)的驅(qū)動電路模塊(24 V 獨(dú)立直流電源供電)組成,負(fù)責(zé)實(shí)時(shí)響應(yīng)上位機(jī)發(fā)來的控制信號,驅(qū)動采摘機(jī)器人完成所需動作;算法控制層由上位機(jī)控制,主要負(fù)責(zé)調(diào)試模塊和采摘模塊算法的執(zhí)行處理。
采摘機(jī)控制軟件上位機(jī)采用面向?qū)ο笳Z言編寫,用C#編程語言完成用戶界面及功能函數(shù)的編程,用串口開發(fā)工具完成用戶軟件、計(jì)算機(jī)和傳感器之間數(shù)據(jù)的交換,使控制系統(tǒng)能夠按照用戶的要求工作。左邊界面為視覺監(jiān)控及檢測實(shí)時(shí)顯示模塊,右邊界面為功能模組可完成手動測試及自動采摘等,底部信息模塊可實(shí)時(shí)顯示執(zhí)行情況和采摘效果,如圖4 所示。
圖4 自動草莓采摘機(jī)上位機(jī)控制界面Fig.4 The control interface of automatic strawberry picking machine
為了測試設(shè)計(jì)的草莓采摘機(jī)的各部件能否正常工作,設(shè)計(jì)了手動測試模塊。包括相機(jī)的測試、機(jī)械手的轉(zhuǎn)動抓取、三軸滑臺的XYZ 軸的移動上升下降等,均可通過程序按鈕控件測試,同時(shí)可手動控制模擬采摘過程,PLC 和末端執(zhí)行器通過串口同計(jì)算機(jī)通訊。當(dāng)計(jì)算機(jī)發(fā)出指令時(shí),可驅(qū)動執(zhí)行機(jī)構(gòu)完成所需的動作。
圖5 為Y 軸同步滑臺步進(jìn)電機(jī)PLC 程序,X006 和X005 為滑臺限位開關(guān),當(dāng)滑塊運(yùn)行到限位開關(guān)時(shí),自動停止或返回。
圖5 草莓采摘機(jī)單軸驅(qū)動PLC程序Fig.5 The PLC program of single axis driving for picking machine
本文設(shè)計(jì)的自動識別采摘過程算法如下:首先草莓采摘機(jī)器人向前運(yùn)動到合適的位置距離,使用攝像機(jī)采集圖像,分辨成熟草莓位置,存在則進(jìn)行下一步驟,否則繼續(xù)前行重復(fù)。若發(fā)現(xiàn)成熟草莓,確定位置和數(shù)量,形成自動采摘方案,上位機(jī)驅(qū)動末端執(zhí)行器手爪張開,驅(qū)動PLC 控制執(zhí)行機(jī)構(gòu)運(yùn)行到計(jì)算的草莓重心位置,抓取并扭轉(zhuǎn)果實(shí)完成采摘及收集,重復(fù)進(jìn)行,直到全部采摘成功。再判斷行程是否結(jié)束,結(jié)束就停止不動,否則繼續(xù)前行,重復(fù)上述流程。
在實(shí)驗(yàn)室搭建測試平臺,試驗(yàn)中用仿真草莓模型替代真實(shí)草莓,用泡沫板作壟,分別有成熟草莓,青紅草莓及不成熟草莓等測試模型。
為了驗(yàn)證本文設(shè)計(jì)的草莓摘果機(jī)性能是否滿足要求,設(shè)計(jì)并制作了自動草莓收獲采摘機(jī)器人樣機(jī)如圖6 所示,底座為由鋁合金型材固連而成,用于支撐連接機(jī)器人各機(jī)械部件;運(yùn)動機(jī)構(gòu)采用三軸同步帶滑臺機(jī)構(gòu),XYZ軸移動范圍分別為500 mm×500 mm×300 mm;驅(qū)動系統(tǒng)采用三菱fx3n PLC作控制器,可同時(shí)高速驅(qū)動3個(gè)步進(jìn)電機(jī)運(yùn)動;視覺模塊采用500萬像素工業(yè)攝像機(jī),鏡頭焦距為12 mm;控制臺采用微型電腦,通過串口連接PLC、舵機(jī)控制板、各類傳感器實(shí)現(xiàn)相互間通訊,根據(jù)設(shè)定的算法實(shí)現(xiàn)識別采摘等動作。
在實(shí)驗(yàn)室搭建測試平臺,過道兩側(cè)隨機(jī)安排40顆草莓(包含成熟草莓35 顆),測試試驗(yàn)如圖7所示。
圖6 自動草莓采摘機(jī)器人樣機(jī)Fig.6 automatic strawberry picking robot
以采摘耗時(shí)和采摘成功率為評價(jià)指標(biāo),共進(jìn)行3 組試驗(yàn),每組試驗(yàn)進(jìn)行 10 次,每次記錄采摘成功粒數(shù)與應(yīng)采摘總粒數(shù)的比值及采摘果實(shí)所需的時(shí)間。如果出現(xiàn)夾持不住果實(shí)或采摘生草莓的情況則該次果實(shí)采摘失敗。
采摘測試中,成功采摘草莓26 顆,由于遮擋等原因果實(shí)誤判2 次,試驗(yàn)過程如圖8 所示。測試結(jié)果表明,在試驗(yàn)環(huán)境下對草莓的平均判別速度為1 s,果實(shí)誤判率7%,采摘成功率約為90%。
圖8 自動草莓采摘機(jī)器人采摘測試界面Fig.8 The test interface of automatic strawberry picking robot
1)設(shè)計(jì)了針對地壟栽培模式下的草莓智能采摘機(jī)器人軟、硬件系統(tǒng),制造了機(jī)器人樣機(jī)。該采摘機(jī)器人基于三菱PLC 控制系統(tǒng),采用三軸精確同步滑臺機(jī)構(gòu),具有移動精度高、結(jié)構(gòu)簡單、控制算法合理等特點(diǎn)。
2)草莓采摘末端執(zhí)行器采用柔性材料設(shè)計(jì),通過機(jī)器視覺技術(shù)實(shí)現(xiàn)果實(shí)的精準(zhǔn)識別與定位,為草莓采摘提供位置信息并快速精確定位抓取同時(shí)包住目標(biāo)草莓,通過扭轉(zhuǎn),實(shí)現(xiàn)果實(shí)和葉柄分離,避免對果實(shí)表皮造成損傷。
3)構(gòu)建了開放式的機(jī)器人控制系統(tǒng),基于面向?qū)ο缶幊碳糃#編寫了窗體應(yīng)用程序作為總控制中心,通過串口與PLC 和單片機(jī)通訊,提高了系統(tǒng)的柔性,可配置性及交互性。
4)采摘機(jī)器人性能試驗(yàn)結(jié)果表明,在試驗(yàn)環(huán)境下對草莓的平均判別速度為1 s,果實(shí)誤判率7%,采摘成功率為90%,達(dá)到設(shè)計(jì)要求。