李 明 ， 黎澤龍 ， 王潤濤 ， 劉 瑤 ， 薛 忠

（1.嶺南師范學(xué)院電子與電氣工程學(xué)院，廣東 湛江 524048；2.中國熱帶農(nóng)業(yè)科學(xué)院南亞熱帶作物研究所，廣東 湛江 524091）

菠蘿是熱帶四大水果之一，富含大量人體所需的維生素、礦物質(zhì)、有機(jī)酸、纖維質(zhì)等營養(yǎng)成分。菠蘿收獲后，80%以鮮果的形式進(jìn)入市場，采收時(shí)間與采摘方式均是影響鮮果品質(zhì)的關(guān)鍵因素[1-2]?，F(xiàn)階段，全球的菠蘿產(chǎn)地主要以人工采摘配合機(jī)械收集平臺(tái)協(xié)同作業(yè)的方式進(jìn)行菠蘿采收，該方式需要大量的人力，勞動(dòng)力成本占菠蘿生產(chǎn)銷售利潤的近50%[3-4]。由于菠蘿植株堅(jiān)硬且外表呈刺狀，導(dǎo)致采收環(huán)境惡劣，嚴(yán)重影響人工采摘效率，采摘過程易造成果實(shí)外傷，不利于后續(xù)儲(chǔ)存運(yùn)輸。本文研究的菠蘿全向定位采摘方法可實(shí)現(xiàn)菠蘿全自動(dòng)無損采摘，較大程度減輕果農(nóng)的采收負(fù)擔(dān)，對(duì)促進(jìn)菠蘿產(chǎn)業(yè)發(fā)展具有重要的意義。

1 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

采摘裝置結(jié)構(gòu)如圖1所示，主要包括控制中心、全向定位機(jī)構(gòu)、雙臂采摘機(jī)構(gòu)，控制中心的功能由ARM與DSP實(shí)現(xiàn)，控制中心的殼體前面板設(shè)置屏幕和鍵盤，可以實(shí)現(xiàn)和用戶的交互。全向定位機(jī)構(gòu)用于獲取采摘目標(biāo)的深度數(shù)據(jù)，按照控制中心指令移動(dòng)至最佳采樣點(diǎn)，并在雙臂采摘機(jī)構(gòu)完成視野內(nèi)采摘任務(wù)后，自動(dòng)改變采摘裝置角度；雙臂采摘機(jī)構(gòu)用于移動(dòng)機(jī)械終端至采摘定位點(diǎn)，夾取采摘目標(biāo)，切斷果梗，實(shí)現(xiàn)對(duì)菠蘿果實(shí)的無損采摘并放回原點(diǎn)收集；采摘裝置的每個(gè)執(zhí)行終端均配設(shè)電機(jī)，整個(gè)過程無需人工參與，完全自動(dòng)化運(yùn)行。

圖1 菠蘿自動(dòng)化采摘裝置示意圖

2 系統(tǒng)控制流程

系統(tǒng)啟動(dòng)，控制中心初始化各終端原點(diǎn)位置，攝像頭接收指令后將菠蘿圖像的深度數(shù)據(jù)發(fā)送至控制中心，對(duì)圖像數(shù)據(jù)進(jìn)行處理運(yùn)算。針對(duì)當(dāng)前的視野范圍標(biāo)定采摘目標(biāo)，判斷采摘目標(biāo)個(gè)數(shù)n是否為0，如果n=0，控制中心發(fā)送控制信號(hào)驅(qū)動(dòng)電機(jī)帶動(dòng)旋轉(zhuǎn)底座順時(shí)針轉(zhuǎn)動(dòng)30°，并用旋轉(zhuǎn)后的位置更新原點(diǎn)位置；如果n>0，控制中心對(duì)各個(gè)采摘目標(biāo)按照深度進(jìn)行排序，并存入a[n]。

估計(jì)目標(biāo)果實(shí)a[i]的最佳采樣空間位置（xi,yi,zi），將其作為攝像頭的目標(biāo)采樣點(diǎn)?？刂浦行尿?qū)動(dòng)電機(jī)帶動(dòng)升降桿調(diào)整縱向高度，使采樣點(diǎn)趨近yi，驅(qū)動(dòng)旋轉(zhuǎn)桿帶動(dòng)攝像頭調(diào)整角度，減小與目標(biāo)采樣點(diǎn)的誤差距離（xiΔ,yiΔ,ziΔ），對(duì)當(dāng)前采樣點(diǎn)的圖像進(jìn)行深度數(shù)據(jù)運(yùn)算，得出捕獲手的2個(gè)夾取鉗中心點(diǎn)移動(dòng)的目標(biāo)位置，即捕獲定位點(diǎn)（xib,yib,zib），切割手的2個(gè)切割鉗中心點(diǎn)移動(dòng)的目標(biāo)位置，即切割定位點(diǎn)（xiq,yiq,ziq）。肩關(guān)節(jié)轉(zhuǎn)動(dòng)，使捕獲定位點(diǎn)趨近（xib,yib,zib）。

捕獲支臂的主軸移動(dòng)減?。▁ibΔ,yibΔ,zibΔ），旋轉(zhuǎn)軸轉(zhuǎn)動(dòng)調(diào)整夾取角度。捕獲手執(zhí)行夾取任務(wù)并固定目標(biāo)果實(shí)，傳感器實(shí)時(shí)監(jiān)測(cè)修正切割定位點(diǎn)（xiq,yiq,ziq）。切割支臂調(diào)整切割角度，切割手執(zhí)行切割?？刂浦行陌l(fā)送控制信號(hào)驅(qū)動(dòng)捕獲機(jī)構(gòu)各電機(jī)，恢復(fù)原點(diǎn)位置，釋放目標(biāo)果實(shí)a[i]，完成對(duì)目標(biāo)a[i]的采摘；如果i≤n，則循環(huán)采摘下一個(gè)目標(biāo)果實(shí)，直至i>n，整個(gè)裝置旋轉(zhuǎn)至下一角度進(jìn)行采摘；當(dāng)裝置周圍360°均無采摘目標(biāo)時(shí)，結(jié)束整個(gè)菠蘿采摘裝置所在地面位置的采摘，可將采摘裝置移動(dòng)至下一地面位置進(jìn)行采摘。具體的系統(tǒng)作業(yè)流程如圖2所示。

圖2 系統(tǒng)流程圖

3 菠蘿定位算法

3.1 菠蘿圖像預(yù)處理

由于光照等因素影響，獲取的菠蘿圖像存在較大差異，導(dǎo)致數(shù)據(jù)不均衡，為了擴(kuò)充菠蘿圖像的數(shù)據(jù)集，增強(qiáng)菠蘿圖像特征提取效果，達(dá)到泛化模型的目的。本文基于Python對(duì)菠蘿圖像進(jìn)行離線數(shù)據(jù)增強(qiáng)處理，通過對(duì)原始菠蘿圖像進(jìn)行裁剪、旋轉(zhuǎn)、鏡像、加噪聲等預(yù)處理，擴(kuò)增數(shù)據(jù)集樣本，增強(qiáng)效果圖如圖3所示。采用離線增強(qiáng)方法，擴(kuò)增后得到8 000張菠蘿數(shù)據(jù)集圖像，編寫Python程序?qū)Σぬ}數(shù)據(jù)集按照8∶1∶1的比例進(jìn)行隨機(jī)劃分，劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。

圖3 菠蘿圖像預(yù)處理

3.2 定位算法模型

本文采用YOLOv5深度學(xué)習(xí)算法進(jìn)行菠蘿果實(shí)的識(shí)別定位，YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)由四個(gè)部分組成，分別是輸入端、Backbone、Neck以及Prediction[5-8]。其中，輸入端包括Mosaic數(shù)據(jù)增強(qiáng)和自適應(yīng)錨框計(jì)算；Backbone骨干網(wǎng)絡(luò)中加入了CSP和Focus結(jié)構(gòu)，F(xiàn)ocus結(jié)構(gòu)通過切片操作來擴(kuò)充輸入通道，對(duì)上部分進(jìn)行傳統(tǒng)的殘差塊堆疊，而下部分幾乎不計(jì)算，類似一個(gè)殘差邊與上部分計(jì)算后的結(jié)果進(jìn)行拼接，通過對(duì)兩部分的跨級(jí)拼接與通道整合，增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力。

在菠蘿目標(biāo)識(shí)別過程中，引入?yún)f(xié)同注意力機(jī)制對(duì)特征提取進(jìn)行優(yōu)化，進(jìn)而提升模型檢測(cè)性能。在模型中添加通道注意力可有效提升模型的性能，通常輕量級(jí)網(wǎng)絡(luò)的注意力機(jī)制大多數(shù)都采用SE模塊和CBAM模塊[9]。SE模塊只考慮通道間的信息，忽略了位置信息，盡管引入CSAM模塊在降低通道數(shù)的方向上采用卷積來提取位置的注意力信息，但是卷積只能提取局部關(guān)系，在長距離關(guān)系提取能力上較差[10-11]。為此，本文引入?yún)f(xié)同注意力機(jī)制（Coordinate Attention,CA）模塊對(duì)菠蘿果實(shí)進(jìn)行識(shí)別。

通過與YOLOv5識(shí)別基礎(chǔ)網(wǎng)絡(luò)進(jìn)行對(duì)比試驗(yàn)，驗(yàn)證引入CA注意力模塊對(duì)YOLOv5識(shí)別模型性能的影響，協(xié)同注意力改進(jìn)對(duì)比分析表如表1所示。

表1 協(xié)同注意力改進(jìn)對(duì)比分析表

結(jié)果表明：增加CA模塊對(duì)參數(shù)量略有增加，mAP同時(shí)增大，檢測(cè)速度提升。提高了動(dòng)態(tài)情況下菠蘿目標(biāo)識(shí)別的實(shí)時(shí)響應(yīng)效率，識(shí)別效果如圖4所示。自然環(huán)境下，引入CA的YOLOv5s算法動(dòng)態(tài)識(shí)別每幅耗時(shí)40 ms，識(shí)別精度為99.2%，能夠滿足自動(dòng)化實(shí)時(shí)定位需求。

圖4 YOLOv5基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)圖

4 系統(tǒng)測(cè)試

為驗(yàn)證系統(tǒng)采摘的可靠性與穩(wěn)定性，于徐聞縣“菠蘿的?！边M(jìn)行大田試驗(yàn)，時(shí)間選擇6月份夏菠蘿成熟期。菠蘿采摘裝置安裝于自行走車載云臺(tái)，采摘裝置完成當(dāng)前位置的采摘任務(wù)后會(huì)發(fā)出信號(hào)，指引車載云臺(tái)前進(jìn)至下一采摘點(diǎn)，采摘試驗(yàn)結(jié)果如表2所示。

表2 采摘試驗(yàn)結(jié)果

分析表中晴天與陰天的采摘結(jié)果，晴天時(shí)光線強(qiáng)，攝像頭采集的圖像比較清晰，識(shí)別精度高。陰天時(shí)雖然受光線影響會(huì)出現(xiàn)誤判，但誤判數(shù)比例較小。大田試驗(yàn)表明：菠蘿全向定位自動(dòng)化采摘系統(tǒng)可實(shí)現(xiàn)全自動(dòng)化菠蘿采摘，單個(gè)果實(shí)平均采摘耗時(shí)約22 s，采摘精度高于93.5%。

5 結(jié)論

本文提供了一種深度視覺的菠蘿全向定位自動(dòng)化采摘方法，主要結(jié)論如下：1）采用改進(jìn)的YOLOv5算法可在保證實(shí)時(shí)性的前提下實(shí)現(xiàn)菠蘿果實(shí)的準(zhǔn)確定位，識(shí)別精度高達(dá)99.2%；2）采摘裝置能夠?qū)崿F(xiàn)菠蘿果實(shí)全角度識(shí)別定位、固定夾取、果梗切割，裝置的各個(gè)部分能夠協(xié)調(diào)銜接，整個(gè)過程無需人工參與；3）大田采摘試驗(yàn)結(jié)果驗(yàn)證了采摘裝置的可行性，晴天條件下采摘精度達(dá)100%，陰天條件下采摘精度高于93.5%。