汪小旵 李為民 王 琳 施印炎 武 堯 王得志

(1.南京農(nóng)業(yè)大學工學院, 南京 210031; 2.江蘇省現(xiàn)代設施農(nóng)業(yè)技術(shù)與裝備實驗室, 南京 210031;3.智能農(nóng)業(yè)動力裝備全國重點實驗室, 洛陽 471039)

0 引言

蘆筍具有豐富的營養(yǎng)價值,被譽為“蔬菜之王”[1]。我國蘆筍種植總面積達1.320 6×106hm2,占全球的90%[2]。目前蘆筍采收基本靠人工進行,由于蘆筍成熟期較長,期間需要進行多次采收,勞動強度大,采收成本高[3]。隨著機器人技術(shù)的成熟,采用機器人選擇性采收蘆筍是實現(xiàn)機器替代人工的必由之路[4-5]。蘆筍采收機器人的核心和關(guān)鍵是實現(xiàn)成熟蘆筍的形狀特征檢測以及采收機械手的精確定位。

近年來,多家研究機構(gòu)都對蘆筍選擇性采收機器人的蘆筍成熟性檢測與采收切割點定位進行了研究[6-13],按其所使用的蘆筍檢測與定位方法大致可以分為基于傳統(tǒng)的圖像處理方法和基于目標檢測框與圖像處理相結(jié)合的方法?；趥鹘y(tǒng)的圖像處理方法通常需要先對RGB圖像進行顏色空間轉(zhuǎn)換、白平衡,或?qū)?D點云進行濾波、RANSAC聚類等預處理操作來獲得目標蘆筍的感興趣區(qū)域,對該區(qū)域進行去噪處理后通過閾值分割、聚類等方法提取出目標蘆筍[6-10];基于目標檢測框與圖像處理相結(jié)合的方法首先使用Faster R-CNN等目標檢測模型對待采區(qū)域進行蘆筍檢測,然后分別對檢測框內(nèi)圖像進行后處理提取出目標蘆筍[11-13]。在分割出目標蘆筍后,提取其表型信息進行成熟性判斷,根據(jù)分割的位置信息定位成熟蘆筍采收切割點。這兩種方法都能獲得較好的蘆筍檢測分割效果并定位成熟蘆筍采收切割點,但前者的目標提取過程較為復雜,檢測速度較慢[14-15];后者提高了檢測速度,而在對目標檢測框內(nèi)圖像進行后處理時,如受到如隔壟蘆筍等干擾,其分割效果并不理想。

融合色彩、形態(tài)以及紋理等多尺度特征建立的實例分割模型,避免了復雜的構(gòu)建過程,其作為“端到端”的像素級檢測分割模型,可以有效改善蘆筍的識別分割效果,并且具有更高的識別分割精度,被廣泛應用于果蔬的識別與定位[16-17]。YU等[18]提出了一種基于Mask R-CNN的草莓采摘點視覺定位方法,該方法使用殘差網(wǎng)絡和特征金字塔網(wǎng)絡(Feature pyramid network,FPN)來進行特征提取,然后對區(qū)域建議網(wǎng)絡進行了針對性訓練,將實例分割的平均準確率提升至95.78%;賈偉寬等[19]提出一種基于SOLO(Segmenting objects by locations)模型的綠色果實優(yōu)化算法,通過在分離注意力網(wǎng)絡的基礎上融入FPN實現(xiàn)對綠色果實的多尺度特征提取,該方法的識別準確率為96.16%;ZHENG等[20]提出了一種基于Mask R-CNN的芒果采摘點定位方法,通過添加關(guān)鍵點檢測分支實現(xiàn)端到端的芒果實例分割和采摘點定位,采摘點定位精度達0.984。以上針對的目標對象均為形狀相對規(guī)范且長寬比較為均衡的果實,而大部分蘆筍在生長過程中呈現(xiàn)彎曲狀態(tài),并且作為細長物體,具有較大的長寬比,使用上述方法不一定適用于蘆筍的檢測與定位[21]。

因此,為實現(xiàn)設施蘆筍精準選擇性收獲,本研究提出一種成熟蘆筍檢測-判別-定位方法,擬在實例分割模型YOLACT++(You only look at coefficients)的基礎上融合CBAM(Convolutional block attention module)注意力機制以及SPP(Spatial pyramid pooling)結(jié)構(gòu),實現(xiàn)設施環(huán)境下成熟蘆筍的準確檢測與判別,最后定位其采收切割面。

1 蘆筍采收機器人設計

基于壟作式栽植模式,本文設計了一種壟間行走式采收機器人(圖1)。該機器人包括3個主要模塊:采收裝置、視覺模塊和行走裝置。

圖1 蘆筍采收機器人設計三維圖與實物圖

采收裝置主要由末端執(zhí)行器和機械臂組成,如圖1c所示,末端執(zhí)行器的最大開口寬度為45 mm,可切割的蘆筍直徑在20 mm范圍以內(nèi);機械臂(CR5)具有6個自由度,末端執(zhí)行器固定于機械臂法蘭盤上,使得整機采收工作半徑可達108 cm。

視覺模塊使用一個分辨率為640像素×480像素的深度相機(Intel RealSense D435i),其通過相機固定板固定于機械臂第一轉(zhuǎn)動軸上,可以繞機械臂底座旋轉(zhuǎn)±180°,可以使機器人實現(xiàn)壟間雙邊采收。

行走裝置采用長80 cm、寬58 cm的履帶底盤,除了固定的六自由度機械臂,底盤上部還配備了收集筐和控制柜?？刂乒癜ㄖ骺刂破?LENOVO_LEGION_R7000P)、Arduino控制板、機械臂控制柜、電壓轉(zhuǎn)換模塊、驅(qū)動器和接線端子。

整機控制系統(tǒng)基于Ubuntu 20.04中的機器人操作系統(tǒng)(Robot operating system,ROS)進行構(gòu)建。深度相機、CR5、末端執(zhí)行器和主控制器之間的通訊由ROS實現(xiàn)。

2 成熟蘆筍檢測-判別-定位方法

成熟蘆筍檢測-判別-定位方法包括2個步驟:①使用改進的YOLACT++算法對輸入的RGB圖像進行識別分割,提取出蘆筍在圖像中的掩膜。②對蘆筍掩膜進行骨架擬合,利用相機的深度信息評估蘆筍長度和基部直徑,判別出成熟蘆筍后定位其采收切割面。

2.1 基于改進YOLACT++的蘆筍檢測

2.1.1CBAM注意力機制

主干特征提取網(wǎng)絡在提取完圖像特征之后將所得特征圖C3、C4、C5直接進行拼接得到FPN中P3、P4、P5特征圖,拼接過程中各特征圖權(quán)重相同,特征圖中各空間信息的權(quán)重也相同,由于蘆筍的生長環(huán)境中存在如隔壟蘆筍、雜草以及土壟等其他非檢測目標,導致輸入的圖像中存在較多噪聲,提取的特征圖中也包含噪聲干擾,隨著網(wǎng)絡的加深會影響模型精度[23-24],因此,在FPN進行特征融合之前引入融合了通道注意力機制和空間注意力機制的CBAM[25]模塊。

CBAM模塊結(jié)構(gòu)如圖3所示,該模塊不僅可以改變特征通道之間的權(quán)重差異,還可以讓模型關(guān)注特征空間中的關(guān)鍵信息,提高模型的檢測精度,而為了防止因加入注意力機制后C5特征圖因通道數(shù)過多、尺度太小導致的模型過擬合問題,僅在C3和C4特征圖后加入注意力機制。引入的CBAM模塊定義為

圖3 CBAM注意力機制

F′=MC(F)?F

(1)

F″=MS(F′)?F′

(2)

式中F——輸入特征層

F′——通道注意力加權(quán)結(jié)果

F″——輸出特征層

MC——通道注意力模塊

MS——空間注意力模塊

其中F、F′、F″∈RW×H×C,MC∈R1×1×C,MS∈R1×H×C。

2.1.2基于SPP結(jié)構(gòu)的特征融合

模型對蘆筍特征進行提取時,由于尺寸最小的一層特征通道數(shù)較多,存在卷積神經(jīng)網(wǎng)絡對圖像相關(guān)特征重復提取的問題,YOLACT++網(wǎng)絡中雖然有FPN作為特征融合結(jié)構(gòu),但是蘆筍為細長物體,此問題會使得模型對蘆筍的局部特征提取不夠充分,降低模型的檢測精度。通過在C5特征圖后加入SPP[26]結(jié)構(gòu)實現(xiàn)局部特征和全局特征的融合,進而豐富特征圖的表達能力,可以提高模型的檢測精度[27]。引入的SPP結(jié)構(gòu)如圖4所示,在特征層輸入網(wǎng)絡以及輸出網(wǎng)絡時使用卷積核大小均為3×3的卷積來改變通道數(shù),中間所用池化核大小分別為5×5、9×9、13×13。

圖4 SPP結(jié)構(gòu)

2.1.3蘆筍檢測錨框長寬比設計

圖5 蘆筍目標框統(tǒng)計

由圖5可知,蘆筍目標邊框的長寬比主要分布在2～16之間,因此,本研究將P3～P7這5層特征圖的錨框長寬比改為{2,4,16},錨框尺度保持不變,共生成15種不同的錨點,以保證覆蓋到不同尺寸和姿態(tài)的蘆筍。

2.2 成熟蘆筍判別與切割面定位

成熟蘆筍判別與切割面定位流程如圖6所示,經(jīng)過改進的YOLACT++模型實例分割后,得到完整的蘆筍掩膜(圖6b,ouv表示像素坐標系)。對蘆筍掩膜進行初始點位獲取(圖6c),進而得到蘆筍骨架關(guān)鍵點,擬合出蘆筍骨架輪廓(圖6d)。然后進行蘆筍長度、基部直徑計算以及空間位姿估計(圖6e),進而判定出成熟蘆筍,最后確定其基部區(qū)域切割點位置,定位最終采收切割面(圖6h)。

(1)初始點獲取。首先獲得蘆筍掩膜在像素坐標系v軸投影的最高點、最低點坐標值,計算式為

(3)

(4)

v(i)——蘆筍在v軸投影輪廓坐標值

(5)

(6)

圖7 蘆筍彎曲示例與顏色分布

(7)

其中

式中b——斜率a——截距

(3)長度、基部直徑以及位姿計算。使用pyrealsense2庫中的get_distance()函數(shù)將像素坐標系ouv下的初始點、骨架關(guān)鍵點、最高點和最低點轉(zhuǎn)換為相機坐標系OcXcYcZc下對應坐標,利用上述坐標分別計算出各段蘆筍長度,蘆筍總長度為k段長度之和。長度計算公式為

L(i)=

(8)

式中L(i)——蘆筍總長度

(9)

(10)

式中ψ(i)——蘆筍滾轉(zhuǎn)角

φ(i)——蘆筍俯仰角

基部直徑如圖6e中白色線段所示,使用第Ⅰ段與第Ⅱ段對應的蘆筍輪廓初始點以及滾轉(zhuǎn)角計算得出,計算公式為

(11)

其中

式中D(i)——蘆筍基部直徑

(4)成熟蘆筍判別。蘆筍雌雄粗細不同,對應成熟標準也不同,根據(jù)國家蘆筍等級規(guī)格[28]以及農(nóng)戶根據(jù)市場所確定的蘆筍等級規(guī)格,成熟蘆筍判定標準如表1所示。表中L表示蘆筍長度,D表示蘆筍基部直徑,×表示蘆筍未成熟,√表示蘆筍成熟,O表示蘆筍過成熟。

表1 成熟蘆筍判別標準

市面上鮮銷的蘆筍根據(jù)其直徑主要分為3個等級,分別為細筍、中筍和大筍。蘆筍直徑小于8 mm為細筍,長度超過20 cm時成熟;蘆筍直徑介于8～13 mm之間為中筍,長度超過24 cm時成熟;蘆筍直徑不小于13 mm為大筍,長度超過28 cm為成熟。當蘆筍長度超過40 cm為過成熟蘆筍,此時蘆筍出現(xiàn)散頭現(xiàn)象,經(jīng)濟價值低下,故不作為選擇性采收的目標。

(12)

3 模型訓練與評價指標

3.1 數(shù)據(jù)集制作

本文使用的蘆筍圖像于2022年3—5月在江蘇省紅窯鎮(zhèn)春華園蘆筍種植基地(33°N,119°E)分批次采集,蘆筍品種為翡翠明珠F1。分別在不同天氣光照條件下進行拍攝,拍攝相機為Intel RealSense D435i,夜間拍攝采用LED補光燈進行補光,拍攝成像距離為0.6～1 m,成像高度為40 cm(成像距離及成像高度均與蘆筍采收機器人實地工作時一致),相機連接計算機使用快門拍攝方式,共保存圖像1 918幅,圖像分辨率為640像素×480像素,圖像格式為JPEG。對所有圖像按照COCO數(shù)據(jù)集格式使用專業(yè)標注軟件Labelme進行標注,標注文件格式保存為JSON,共標注蘆筍4 730根,形成原始數(shù)據(jù)集,用于訓練生成蘆筍掩膜。

為了避免訓練過程中出現(xiàn)過擬合,提高模型對于蘆筍識別分割的魯棒性和泛化性,采用數(shù)據(jù)增強方法對數(shù)據(jù)集進行擴充。在擴充前將原始數(shù)據(jù)集按3∶1∶1的比例劃分為初始訓練集、初始驗證集和測試集,之后分別通過水平翻轉(zhuǎn)、平移、運動模糊、隨機改變亮度、添加高斯噪聲和椒鹽噪聲6種數(shù)據(jù)增強方法對初始訓練集和初始驗證集進行擴充。最終所得數(shù)據(jù)集圖像共11 122幅,其中訓練集圖像8 053幅,驗證集圖像2 685幅,測試集圖像384幅。

3.2 軟硬件配置及訓練策略

本研究模型訓練與試驗分別在2臺計算機上進行,模型訓練使用工作站硬件環(huán)境:CPU型號為Intel Xeon Gold 5220R,內(nèi)存為32 GB,頻率為2.2 GHz,GPU型號為PNY Quadro RTXA5000,顯存為24 GB;試驗平臺的硬件環(huán)境:CPU型號為AMD R7-5800H,內(nèi)存為16 GB,頻率為3.2 GHz,GPU型號為GeForce GTX 3060,顯存為6 GB。所使用的軟件環(huán)境均為:Ubuntu20.04 LST操作系統(tǒng),Pytorch1.7.1深度學習框架,NVIDIA 460.56顯卡驅(qū)動,CUDA 11.2版本。

為了節(jié)省模型訓練所用時間,本研究使用遷移學習方法進行模型訓練,訓練迭代次數(shù)50 000次,訓練初始學習率為0.001,分別在訓練到25 000、37 500、45 000次時學習率調(diào)整為前一階段學習率的1/10。GPU同時處理圖形數(shù)為64,優(yōu)化器采用Adam,參數(shù)設置為β1=0.9,β2=0.999,ε=10×10-8。

3.3 評價指標

采用檢測準確率(Accuracy,Acc)、掩膜平均準確率(Mask average precision,APmask)和平均檢測時間(td)評價模型性能。

采用成熟蘆筍判別準確率(M)、切割點在X/Y/Z方向定位誤差以及標準差(σX±sX,σY±sY,σZ±sZ)、俯仰角定位誤差以及標準差(σφ±sφ)、滾轉(zhuǎn)角定位誤差以及標準差(σψ±sψ)、判別與定位時間(tp)作為評估成熟蘆筍判別與切割面定位方法性能的評價指標。其中tp表示從獲得蘆筍識別分割結(jié)果到定位成熟蘆筍切割面所用的時間。

4 試驗結(jié)果與分析

4.1 蘆筍檢測試驗

4.1.1消融試驗

改進后的YOLACT++模型在YOLACT++模型的基礎上融合CBAM模塊、SPP結(jié)構(gòu),并且改變錨框長寬比,為了驗證改進后模型中所改進模塊結(jié)構(gòu)的合理性以及有效性,設計消融試驗,將384幅測試集圖像放入訓練好的模型中進行模型性能對比,最終得到不同模型下蘆筍檢測與分割的評價結(jié)果如表2所示。表中Y表示YOLACT++模型,A表示改變特征圖錨框長寬比,S表示添加SPP結(jié)構(gòu),C表示添加CBAM注意力機制,Acc50表示IoU(Intersection over union)為0.5時模型檢測準確率,APmask50和APmask75分別表示IoU為0.5、0.75時的掩膜平均準確率。

表2 模型性能對比結(jié)果

由表2可知,原始模型的Acc50僅為69.75%,融合CBAM注意力機制和SPP結(jié)構(gòu)并且改變錨框長寬比的模型Acc50最高,達到95.22%。與原始模型相比,添加CBAM注意力機制后模型的Acc50提升15.89個百分點,添加SPP結(jié)構(gòu)后模型的Acc50提升5.55個百分點,改變了FPN特征圖錨框長寬比后模型的Acc50提升效果最為明顯,為17.73個百分點,表明所設計的錨框長寬比更加適合蘆筍的檢測。

在圖像分割方面,添加CBAM注意力機制的模型在APmask50指標上明顯優(yōu)于未添加CBAM注意力機制的模型。A-YOLACT++、C-YOLACT++、AC-YOLACT++在添加了SPP結(jié)構(gòu)后APmask50提升5.24、3.61、4.46個百分點,而APmask75則提升4.40、3.28、3.42個百分點,表明模型在繼續(xù)添加了SPP結(jié)構(gòu)后,FPN減少了對蘆筍圖像相關(guān)特征重復提取的問題,并且分割性能的提升主要集中在IoU大于0.75時的高精度分割上,改善了模型對于蘆筍局部細節(jié)區(qū)域的分割效果。

添加了CBAM注意力機制以及SPP模塊后增加了計算量,但是改變了FPN特征圖錨框長寬比提高了產(chǎn)生候選框的速度,模型可以更快更準確地定位到目標蘆筍,最終改進后模型掩膜生成的準確率(APmask50+APmask75)提升27.80個百分點,但是檢測時間僅比原模型增加3.46 ms,表明改進后的模型整體性能得到了提升。

圖8為不同閾值下模型精準率與召回率變化曲線,從圖中可以看出,在相同閾值的情況下,改進YOLACT++(ASC-YOLACT++)模型的精準率更高;當閾值大于0.1時,改進YOLACT++的召回率較YOLACT++更大,最大差值達49.00個百分點;改進YOLACT++模型綜合性能更好,泛化能力更強。

圖8 不同閾值下模型精準率與召回率變化曲線

4.1.2模型改進前后識別分割效果

為了驗證所改進模型在不同天氣場景下的識別分割效果,本試驗選取測試集中晴天順光、晴天逆光、陰天和夜間補光4種不同天氣光照條件下圖像開展模型改進前后對比試驗,結(jié)果如圖9所示。

圖9 模型改進前后的檢測結(jié)果

從圖9可以看出,在檢測方面,改進后的模型可以準確地檢測出所有目標蘆筍,沒有出現(xiàn)漏檢和誤檢的情況,并且相較于改進前檢測精度更高。在分割方面,原模型出現(xiàn)分割不完整、過分割的情況,如圖9e中框1與框3所示,前者所分割出來的蘆筍基部掩膜與真實區(qū)域相差較大,這會使得蘆筍基部直徑的計算值遠小于真實值;后者將部分土壤分割為蘆筍,這會導致蘆筍長度的計算值與真實值有較大偏差,分析其原因是由于蘆筍紋理特征模糊以及土壤與蘆筍底部顏色較為接近導致了該現(xiàn)象的發(fā)生。改進后模型對這些現(xiàn)象有明顯改善,使得分割的蘆筍掩膜較真實區(qū)域更為接近。

為了進一步驗證4種天氣光照條件下的識別分割效果,統(tǒng)計了改進前后模型的檢測準確率、掩膜平均準確率和檢測時間(表3)。與原始模型相比,改進后模型在4種不同光照條件下的檢測精度和分割精度均有較大提升,其中對陰天條件下提升最大,Acc50和APmask50分別提升27.78、23.61個百分點。在夜間補光條件下改進后模型的Acc50最高,為96.05%,在晴天順光條件下改進后模型的APmask50最高,為96.64%,說明在夜間補光以及晴天順光條件下蘆筍顏色、紋理以及輪廓更為清晰,較易被模型檢測出。但是,在陰天光照條件下改進后模型的Acc50和APmask50分別為94.39%、95.04%,相比其他3種天氣光照條件下,其準確率較低,可能的原因是在陰天光照條件下,光照強度較低,導致蘆筍顏色與其他背景環(huán)境顏色相似,蘆筍上半部分輪廓較為模糊。在晴天逆光條件下APmask50僅為95.05%,分析其原因可能是因為蘆筍在成像時呈現(xiàn)黑色,其下半部分輪廓較為模糊,與土壤連接處難以分辨導致掩膜平均準確率偏低。

表3 模型改進前后對比結(jié)果

通過對不同天氣光照條件下蘆筍掩膜分割的可視化結(jié)果和性能指標統(tǒng)計結(jié)果的分析,本研究提出的融合CBAM注意力機制和SPP結(jié)構(gòu)并改變錨框長寬比的改進方法能有效解決輸入蘆筍圖像中噪聲干擾的問題,強化網(wǎng)絡對蘆筍局部特征的提取,提升檢測分割結(jié)果。

4.1.3不同算法對比試驗

為進一步驗證改進模型檢測性能,本研究將改進YOLACT++模型與Mask R-CNN、SOLO這2種常用實例分割網(wǎng)絡進行對比試驗,分別訓練2種算法至收斂,然后對比這3種模型在測試集上的檢測結(jié)果。圖10為3種模型在訓練過程中的掩膜平均準確率曲線,Mask R-CNN模型在15 000～30 000次迭代時出現(xiàn)強烈振蕩,30 000次迭代后達到最大掩膜平均準確率;SOLO模型大約在12 000次迭代后性能下降較為嚴重且振蕩幅度相對較大,直到在40 000次迭代后才趨于穩(wěn)定。與前兩種模型相比,改進YOLACT++模型的收斂速度更快,其在前15 000次迭代迅速擬合,掩膜平均準確率快速提升,然后逐漸趨于穩(wěn)定,只有稍許的振蕩。

圖10 掩膜平均準確率曲線

模型檢測結(jié)果表明,Mask R-CNN模型、SOLO模型和改進YOLACT++模型的Acc50分別為94.83%、88.71%、95.22%,APmask50分別為93.32%、86.27%、95.60%,平均檢測耗時分別為238.01、108.69、53.65 ms。與Mask R-CNN模型相比,改進YOLACT++模型的Acc50和APmask50分別提高0.39、2.28個百分點;與SOLO模型相比,改進YOLACT++模型的Acc50和APmask50分別提高6.51、9.33個百分點;除此之外,改進YOLACT++模型相較于Mask R-CNN模型和SOLO模型在檢測速度上具有明顯優(yōu)勢,單幅圖像檢測耗時可分別減少184.36、55.04 ms。

通過對蘆筍目標檢測的可視化結(jié)果(圖11)可以看出,對于單根以及雙根蘆筍,3種模型均能成功檢測到目標蘆筍;而對于多根蘆筍,SOLO模型則存在漏檢現(xiàn)象,改進YOLACT++模型與Mask R-CNN模型依然可以成功檢測到所有蘆筍。

圖11 不同算法實際檢測結(jié)果

綜上所述,改進YOLACT++模型在收斂速度、檢測準確率、掩膜平均準確率以及檢測耗時等性能指標上均優(yōu)于Mask R-CNN模型和SOLO模型。

4.2 成熟蘆筍判別與切割面定位試驗

為了驗證成熟蘆筍判別與切割面定位方法的性能,開展成熟蘆筍判別與切割面定位試驗。分別采用Mask R-CNN模型、SOLO模型、YOLACT++模型和改進YOLACT++模型對蘆筍進行檢測分割后,判別出成熟蘆筍并定位其采收切割面,每種模型共進行21次試驗,通過人工測量蘆筍長度和基部直徑來判別成熟蘆筍(圖12a、12b);在蘆筍總長度ε處標記點位(圖12c),使用D435i型相機測得該點位在相機坐標系下坐標,操作時相機與壟面平行放置(圖12d),此處取ε=3/20進行切割點定位精度的評估;使用角度測量儀對蘆筍滾轉(zhuǎn)角和俯仰角進行測量(圖12e、12f)。通過人工獲取的數(shù)據(jù)與本研究所提出的成熟蘆筍判別和切割面定位算法所評估出的結(jié)果進行對比來驗證該方法的有效性。

圖12 蘆筍參數(shù)測量

使用改進YOLACT++模型進行成熟蘆筍判別試驗結(jié)果如表4所示,表中0為未成熟蘆筍,1為成

表4 改進YOLACT++模型成熟蘆筍判別結(jié)果

熟細筍,2為成熟中筍,3為成熟大筍。21次試驗中,僅有試驗14判別失敗。試驗1的長度評估誤差最大,為-3.13 cm,試驗20的長度評估誤差最小,為-0.02 cm,平均評估誤差為-1.17 cm,說明算法評估的大部分長度值小于真實值,這是由于蘆筍嫩莖發(fā)生不同程度的彎曲導致的;除此之外,相較于長度較短的蘆筍,長度較長的蘆筍評估誤差整體上偏大,說明其受到彎曲的影響更大。試驗21的基部直徑評估誤差最大,為-2.90 cm,試驗16的基部直徑評估誤差最小,為-0.16 mm,其中大筍被誤判為中筍的情況出現(xiàn)最多,可能是在計算過程中受到滾轉(zhuǎn)角測量誤差的影響,導致算法評估的直徑偏小。

為了進一步探究改進YOLACT++模型的成熟蘆筍判別性能,對比該模型和其他3種模型的成熟蘆筍判別與切割面定位的試驗結(jié)果(表5)。改進YOLACT++模型的長度和基部直徑的評估誤差均為最小,分別為(-1.17±1.14)cm和(-0.60±1.34)mm,成熟蘆筍判別準確率達到95.24%。Mask R-CNN模型的成熟蘆筍判別準確率與改進YOLACT++模型相同,但蘆筍的成熟程度根據(jù)其長度以及直徑進行判定,屬于區(qū)間判斷,后者的長度和直徑評估誤差均低于前者,容錯區(qū)間更大,魯棒性更強。與SOLO、YOLACT++模型相比,改進YOLACT++模型的成熟蘆筍判別準確率分別提升4.77、14.29個百分點,并且長度和基部直徑的評估誤差均遠低于前2種模型。

表5 成熟蘆筍判別與切割面定位結(jié)果

改進YOLACT++模型在X、Y、Z方向的最大定位誤差不超過2.89 mm,相比于其他3種模型分別降低1.07、1.41、1.92 mm,并且在單方向定位上,改進YOLACT++模型的定位誤差以及定位標準差均為最小。

對于蘆筍位姿估計,改進YOLACT++模型的滾轉(zhuǎn)角以及俯仰角最大評估誤差分別為4.58°和7.17°,相比于其他3種模型,滾轉(zhuǎn)角評估誤差分別降低1.81°、2.46°、3.27°,在俯仰角評估誤差上分別降低了0.45°、0.88°和3.81°。4種模型的俯仰角評估誤差整體上比滾轉(zhuǎn)角評估誤差大,可能是Z方向定位誤差相較于X方向定位誤差偏大造成的。相比于Mask R-CNN模型和SOLO模型,改進YOLACT++模型在判別與定位時間上最大減少2.53 ms,相比于YOLACT++模型僅僅只增加0.77 ms,而該方法的其他性能均高于YOLACT++模型。

從成熟蘆筍判別與切割面定位試驗的綜合效果來看,改進YOLACT++模型在各方面的性能指標上均優(yōu)于其他3種模型。

4.3 機器人采收試驗

為了驗證本研究所提算法的實地適用性,在江蘇省紅窯鎮(zhèn)春華園蘆筍種植基地進行了實地采收試驗。機器人采收流程包括視覺定位、夾持剪切、運輸和放置4個步驟(圖13)。

圖13 采收流程

對78根蘆筍進行采收,其中采收失敗3根,采收成功率達96.15%,平均采收單根蘆筍耗時12.15 s,表明該算法具有較高的魯棒性和較強的適應能力。

5 結(jié)論

(1)在蘆筍檢測試驗中,與原始YOLACT++模型相比,改進YOLACT++模型對蘆筍的檢測準確率Acc0.5提升25.47個百分點,掩膜平均準確率APmask0.5提升21.41個百分點;與Mask R-CNN模型、SOLO模型相比,改進模型的Acc0.5分別提升0.39、6.65個百分點,APmask0.5分別提升2.28、9.33個百分點,檢測耗時分別減少184.36、55.04 ms。改進模型在檢測精度以及分割精度方面都得到提升,并且在檢測耗時上相較于其他算法優(yōu)勢顯著,更有利于實現(xiàn)成熟蘆筍的快速檢測。

(2)基于改進YOLACT++模型的成熟蘆筍判別準確率為95.24%,與基于Mask R-CNN模型持平,相較于基于SOLO模型和傳統(tǒng)的YOLACT++模型分別提升4.77、14.29個百分點;其次,改進YOLACT++模型在X、Y、Z方向定位誤差最大僅為2.89 mm,滾轉(zhuǎn)角和俯仰角最大評估誤差分別為4.58°和7.17°,相比于Mask R-CNN模型、SOLO模型和傳統(tǒng)的YOALCT++模型,最大定位誤差分別降低1.07、1.41、1.92 mm,滾轉(zhuǎn)角誤差分別降低1.81°、2.46°、3.27°,俯仰角誤差分別降低0.45°、0.88°、3.81°?；诟倪MYOLACT++模型的成熟蘆筍判別準確率最高、定位誤差最低,進一步降低了對成熟蘆筍的定位誤差以及位姿估計誤差。

(3)基于提出的方法試制的蘆筍選擇性采收機器人,采收成功率為96.15%,采收單根蘆筍平均耗時僅為12.15 s,在設施環(huán)境下采用該方法能較好地進行成熟蘆筍快速檢測、判別與定位,實現(xiàn)蘆筍的精準選擇性收獲。