張連兆 徐惠東 李萍

摘? ?要：文章通過百度定制化訓(xùn)練平臺(tái)Easy DL，提出了一種基于深度學(xué)習(xí)的菠蘿果實(shí)識(shí)別方法。以漳州市實(shí)地調(diào)研的菠蘿果實(shí)圖像為訓(xùn)練數(shù)據(jù)，對(duì)菠蘿果實(shí)識(shí)別模型進(jìn)行了訓(xùn)練。測(cè)試結(jié)果表明，該模型能夠迅速準(zhǔn)確地識(shí)別出菠蘿果實(shí)以及果實(shí)在圖像中的數(shù)量和位置，為將來菠蘿采摘機(jī)器人的研發(fā)奠定了基礎(chǔ)。

關(guān)鍵詞：Easy DL;菠蘿;圖像識(shí)別

1? ? 采摘問題分析

菠蘿又稱鳳梨，是世界第7大水果，第3大熱帶水果，同時(shí)，也是國(guó)際水果貿(mào)易中極其活躍的熱帶水果，廣泛分布于南北緯30°之間的80多個(gè)國(guó)家和地區(qū)[1]，在我國(guó)海南、廣東、廣西等地均有大面積種植。菠蘿果實(shí)品質(zhì)優(yōu)良，營(yíng)養(yǎng)豐富，含有大量的果糖、葡萄糖、維生素B、維生素C、檸檬酸、蛋白酶以及各類微量元素等[2]。菠蘿葉中含有豐富的纖維，是一種具有優(yōu)良?xì)⒕阅艿募徔棽牧蟍3-4]，而且在藥用領(lǐng)域具有抗腫瘤、降血糖、調(diào)血脂的等作用[5-6]。

菠蘿作為經(jīng)濟(jì)附加值較高的水果，具有廣闊的市場(chǎng)前景。然而在主要產(chǎn)區(qū)，因菠蘿種植面積大、采摘周期短，采摘是生產(chǎn)中最重要的一個(gè)環(huán)節(jié)。目前，我國(guó)菠蘿主要依靠人工采摘，需要大量人力，勞動(dòng)力成本高，且菠蘿葉緣帶有銳刺，人工采收必須穿戴防護(hù)服在高溫下作業(yè)，勞動(dòng)強(qiáng)度大、效率低下，導(dǎo)致菠蘿種植成本升高、經(jīng)濟(jì)效益差，影響了果農(nóng)的收入。

基于上述菠蘿采摘過程中存在的問題，用機(jī)器人采摘菠蘿將成為提高采摘效率、解放勞動(dòng)力、增加種植戶收入的必然趨勢(shì)。菠蘿果實(shí)的識(shí)別是菠蘿采摘機(jī)器人采摘菠蘿的關(guān)鍵步驟，需要將菠蘿從復(fù)雜的環(huán)境中快速準(zhǔn)確的識(shí)別出來，獲取菠蘿果實(shí)的大致位置信息。李斌等[7]提出了一種基于單目視覺的田間菠蘿果實(shí)識(shí)別，通過去噪、區(qū)域處理、中心點(diǎn)提取、聚類分析等操作，識(shí)別菠蘿果實(shí)果眼，獲取菠蘿果眼的中心點(diǎn)信息，對(duì)菠蘿果實(shí)進(jìn)行識(shí)別并定位。吳沛晟等[8]提出了一種基于雙目視覺的菠蘿采摘機(jī)器人，在HSV空間中對(duì)圖像進(jìn)行閾值分割，采用Shape Contexts算法對(duì)菠蘿果實(shí)目標(biāo)進(jìn)行識(shí)別，用Open CV計(jì)算機(jī)開源庫對(duì)目標(biāo)進(jìn)行三維重建，進(jìn)而識(shí)別并定位菠蘿果實(shí)。本文提出了一種基于百度Easy DL定制化訓(xùn)練平臺(tái)的菠蘿果實(shí)識(shí)別方法，作為后續(xù)菠蘿采摘機(jī)器人的研發(fā)的基礎(chǔ)。

2? ? 圖像數(shù)據(jù)獲取

本文選用2018年12月在福建省漳州市拍攝的55張菠蘿果實(shí)照片作為訓(xùn)練圖片（見圖1）。當(dāng)?shù)胤N植戶對(duì)菠蘿果實(shí)進(jìn)行了套袋遮蓋處理，首先，將菠蘿果實(shí)頭部的葉子去掉。其次，用報(bào)紙將菠蘿果實(shí)包住。最后，對(duì)菠蘿果實(shí)進(jìn)行套袋處理。這樣處理之后的菠蘿果實(shí)與菠蘿葉子區(qū)分出來，提高了識(shí)別準(zhǔn)確度。

3? ? Easy DL平臺(tái)使用

本文采用百度Easy DL定制化訓(xùn)練平臺(tái)對(duì)菠蘿圖像進(jìn)行深度學(xué)習(xí)，現(xiàn)該平臺(tái)支持圖像分類、物體檢測(cè)、聲音分類和文本分類等深度學(xué)習(xí)，由于是從圖像中識(shí)別菠蘿果實(shí)，因此本文選用“物體檢測(cè)”模型。物體檢測(cè)模型能在一張圖像上識(shí)別出物體的名稱、數(shù)量和位置，可以識(shí)別圖片中有多個(gè)主體的場(chǎng)景。

平臺(tái)用戶進(jìn)入平臺(tái)后，首先，創(chuàng)建模型和數(shù)據(jù)集，并將菠蘿圖像上傳，在數(shù)據(jù)集管理中對(duì)圖像進(jìn)行標(biāo)注。其次，訓(xùn)練模型并檢驗(yàn)效果。最后，上線模型獲取API或離線SDK。

3.1? 上傳圖像并標(biāo)注

創(chuàng)建模型后在“數(shù)據(jù)中心”創(chuàng)建數(shù)據(jù)集，在“數(shù)據(jù)集管理”下找到剛才創(chuàng)建的數(shù)據(jù)集，將拍攝的55張典型的靜態(tài)菠蘿圖像上傳。使用Easy DL平臺(tái)的標(biāo)注工具，拖動(dòng)畫框，將圖像中菠蘿果實(shí)框出，方框剛好框住菠蘿果實(shí)即可，菠蘿果實(shí)標(biāo)注如圖2所示。

3.2? 訓(xùn)練模型

在將所有圖片標(biāo)注完成之后，選擇“模型中心”下的“訓(xùn)練模型”對(duì)模型進(jìn)行訓(xùn)練，Easy DL平臺(tái)將70%的模型用于訓(xùn)練，剩余30%的模型用于檢驗(yàn)?zāi)Ｐ托Ч＜s3 h后完成訓(xùn)練。

mAP是衡量模型效果的指標(biāo)。對(duì)于物體檢測(cè)任務(wù)，每一類檢測(cè)目標(biāo)都可以計(jì)算出精確率和召回率，在不同閾值下多次計(jì)算或試驗(yàn)，每個(gè)類都可以得到一條P-R曲線，曲線下的面積就是AP的值。“mean”的意思是對(duì)每個(gè)類的AP再求平均，得到的就是mAP值，mAP值越接近于1，模型效果越好。

精確率為正確識(shí)別的物體數(shù)與識(shí)別物體總數(shù)之比，召回率為正確識(shí)別的物體數(shù)與真實(shí)物體數(shù)之比。

4? ? 測(cè)試結(jié)果分析

應(yīng)用類型為云服務(wù)、版本為v2時(shí)，模型訓(xùn)練結(jié)果的mAP、精確率、召回率、建議閾值見表1。

mAP 精確率 召回率 建議閾值

97.9% 100% 90% 0.6

應(yīng)用類型為離線SDK、版本為v1時(shí)，模型訓(xùn)練結(jié)果的mAP、精確率、召回率、建議閾值如表2所示。

mAP 精確率 召回率 建議閾值

92% 94.7% 90% 0.3

對(duì)離線SDK模型檢測(cè)結(jié)果如圖3所示。

圖3? 離線SDK模型檢驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，此訓(xùn)練模型能夠較為準(zhǔn)確地識(shí)別圖像中的菠蘿果實(shí)并將菠蘿果實(shí)在圖中的位置和果實(shí)的數(shù)量標(biāo)注出來，基于Easy DL訓(xùn)練的模型，通過擴(kuò)充訓(xùn)練，可以提高菠蘿在不同場(chǎng)景下識(shí)別的準(zhǔn)確度，對(duì)獲得的離線SDK進(jìn)行適當(dāng)?shù)匦薷?，可以擴(kuò)大模型的平臺(tái)范圍。

5? ? 結(jié)語

菠蘿果實(shí)采摘目前以人工采摘為主，用菠蘿采摘機(jī)器人采摘菠蘿將是必然趨勢(shì)，菠蘿果實(shí)識(shí)別具有廣闊的發(fā)展前景。本文依托百度Easy DL定制化圖像識(shí)別系統(tǒng)平臺(tái)，訓(xùn)練出了菠蘿果實(shí)識(shí)別模型，模型對(duì)菠蘿果實(shí)識(shí)別的速度、準(zhǔn)確度較高，為后期研究菠蘿采摘機(jī)器人識(shí)別菠蘿果實(shí)技術(shù)奠定了基礎(chǔ)。

作者簡(jiǎn)介：張連兆（1997— ），男，山東日照人，本科生;研究方向：機(jī)械電子工程。

[參考文獻(xiàn)]

[1]陳海芳，袁曉麗，張秀梅.菠蘿品質(zhì)生理的研究進(jìn)展及展望[J].中國(guó)南方果樹，2016（6）：172-176.

[2]劉世彪，彭小列，田儒玉.世界熱帶五大名果樹[J].生物學(xué)通報(bào)，2003（3）：11-13.

[3]郁崇文，張?jiān)?菠蘿葉纖維的性能研究[J].中國(guó)紡織大學(xué)學(xué)報(bào)，1997（6）：17-20.

[4]劉恩平，郭安平，郭運(yùn)玲，等.菠蘿葉纖維的開發(fā)與應(yīng)用現(xiàn)狀及前景[J].紡織導(dǎo)報(bào)，2006（2）：32-35.

[5]王偉，丁怡，邢東明，等.菠蘿葉酚類成分研究[J].中國(guó)中藥雜志，2006（15）：1242-1244.

[6]王金萍，王宏英，杜力軍，等.菠蘿葉中新的酰胺類成分[J].中國(guó)中藥雜志，2007（5）：401-403.

[7]李斌，NING WANG，汪懋華，等.基于單目視覺的田間菠蘿果實(shí)識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2010（10）：245-249.

[8]孫?？?基于Easy DL的超新星自動(dòng)搜尋系統(tǒng)設(shè)計(jì)[J].智能計(jì)算機(jī)與應(yīng)用，2019（1）：206-263.

Abstract：This paper proposes a pineapple fruit recognition method based on deep learning through Baidu customized training platform Easy DL. Based on the training data of pineapple fruit in Zhangzhou City， the pineapple fruit recognition model was trained. The test results showed that the model can quickly and accurately identify the pineapple fruit， and identifyied the number and location of pineapple fruit in the image. It laid the foundation for the future development of pineapple picking robots.

Key words：Easy DL; pineapple; image identification