張三林，張立萍，鄭威強(qiáng)，郭壯，付子強(qiáng)

(新疆大學(xué)機(jī)械工程學(xué)院，烏魯木齊市，830047)

0 引言

新疆南疆地區(qū)日照時間長、積溫高，有利于核桃的生長，是我國重要的核桃生產(chǎn)地。當(dāng)?shù)氐暮颂乙赞r(nóng)戶小規(guī)模零散種植為主，造成核桃品種混亂的局面[1]。不同品種的核桃混在一起，不僅會決定核桃加工的方式，更重要的是會影響核桃品質(zhì)和核桃利用價值，所以在加工之前對核桃的分揀成為了一項必不可少的工作。目前，南疆地區(qū)核桃的分揀工作仍然以傳統(tǒng)的人工方式為主，勞動強(qiáng)度大、生產(chǎn)效率較低，耗費了大量的財力和人力，不利于當(dāng)?shù)睾颂耶a(chǎn)業(yè)的發(fā)展。

隨著人工智能技術(shù)的快速發(fā)展，用機(jī)器代替人工作成為一種趨勢。采用機(jī)器人自主分揀可大大減輕勞動壓力，提高工作效率，有利于推動當(dāng)?shù)睾颂耶a(chǎn)業(yè)的機(jī)械化發(fā)展。核桃品種的準(zhǔn)確識別和精準(zhǔn)定位是機(jī)器人完成自主分揀的基礎(chǔ)和前提，目前國內(nèi)外已有眾多學(xué)者對果實的檢測研究取得了很大的進(jìn)展。如Ji等[2]利用SVM分類器對蘋果種類進(jìn)行識別，可以達(dá)到89%的準(zhǔn)確率；Hussin等[3]利用Hough變換對柑橘進(jìn)行檢測；馬翠花等[4]通過改進(jìn)Hough變換對未成熟的番茄進(jìn)行識別，檢測精度為77.6%。以上方法都需要基于其顏色、紋理、形狀等特征人為地構(gòu)建特征提取器來提取特征，需要耗費人們大量的精力與時間，對專業(yè)領(lǐng)域知識要求極高，并且時常出現(xiàn)檢測效果不佳、泛化能力差、檢測效率難以達(dá)到實時檢測水平等問題。

自2012年AlexNet奪得ImageNet競賽冠軍以后，以多層卷積網(wǎng)絡(luò)為特征提取器的深度學(xué)習(xí)模型在計算機(jī)視覺領(lǐng)域大放異彩。此類方法不再需要人為構(gòu)造特征提取器，且提取效率高，泛化能力強(qiáng)，在果實檢測方面得到廣泛應(yīng)用。如Sa等[5]借助Faster-RCNN 檢測算法構(gòu)建甜椒檢測系統(tǒng)；薛月菊等[6]采用YOLOv2方法在復(fù)雜背景下對未成熟的芒果進(jìn)行識別；趙德安等[7]將YOLOv3算法應(yīng)用于對蘋果的采摘；李善軍等[8]基于SSD檢測算法對柑橘進(jìn)行實時分類檢測；成偉等[9]基于改進(jìn)的YOLOv3對溫室番茄進(jìn)行識別。基于深度學(xué)習(xí)的目標(biāo)檢測算法在果實檢測方面應(yīng)用廣泛，但是還沒有將此類算法用于核桃品種與定位的相關(guān)研究。不同品種核桃之間外觀相似、顏色相近，對核桃的檢測造成巨大挑戰(zhàn)。為實現(xiàn)對傳送帶上不同品種的核桃進(jìn)行快速識別與精準(zhǔn)定位，提出一種基于YOLOv5的核桃檢測方法。研究結(jié)果可為機(jī)器人自主分揀核桃提供研究基礎(chǔ)。

1 數(shù)據(jù)集制作

1.1 圖像采集

本試驗以南疆主要生產(chǎn)的3種核桃為樣本，自制了一個核桃數(shù)據(jù)集。三種核桃依次是新2核桃、新光核桃和溫185核桃。為模擬真實工廠環(huán)境，以黑色傳送帶為背景，考慮了相互遮擋、不同光照、不同角度以及不同密集度等情況，進(jìn)行多角度拍攝，拍攝圖像尺寸為4 032像素×3 024像素，獲得符合試驗條件的圖像共500張，保存格式為JPG。

1.2 數(shù)據(jù)集預(yù)處理

基于深度學(xué)習(xí)的目標(biāo)檢測算法需要大量的標(biāo)注樣本才能獲得良好的性能。試驗利用Labelme標(biāo)注工具對樣本進(jìn)行標(biāo)注，為了增加數(shù)據(jù)集的大小和樣本的多樣性，減少模型訓(xùn)練的過擬合現(xiàn)象，對樣本依次進(jìn)行有監(jiān)督的模糊處理、隨機(jī)裁剪、添加噪聲、隨機(jī)擦除、翻轉(zhuǎn)、亮度變換和銳化處理等操作將數(shù)據(jù)集擴(kuò)充到4 000張，按照8∶1∶1的比例劃分，最終得到訓(xùn)練集3 200張、驗證集400張，測試集400張。

2 YOLOv5檢測算法

2.1 YOLOv5網(wǎng)絡(luò)模型

YOLOv5目標(biāo)檢測算法是YOLO[10]的第5個版本，其核心思想是將整張圖作為網(wǎng)絡(luò)的輸入，在輸出層直接回歸出目標(biāo)的位置坐標(biāo)和類別，其特點是檢測精度高、檢測速度快，滿足實時監(jiān)測的需求。

YOLOv5網(wǎng)絡(luò)有4個版本，依次是YOLOv5s、YOLOv5 m、YOLOv5l和YOLOv5x，其網(wǎng)絡(luò)結(jié)構(gòu)相似，網(wǎng)絡(luò)深度和特征圖的寬度在YOLOv5s的基礎(chǔ)上依次增加，其精度和推理速度隨之變化，本文以基礎(chǔ)的YOLOv5s網(wǎng)絡(luò)為主，其結(jié)構(gòu)圖如圖1所示，介紹YOLOv5目標(biāo)檢測算法。

2.2 網(wǎng)絡(luò)輸入端

YOLOv5s網(wǎng)絡(luò)模型在輸入端共進(jìn)行三個主要操作，分別是Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計算和自適應(yīng)圖片縮放。其中Mosaic數(shù)據(jù)增強(qiáng)有利于檢測小目標(biāo)，適用于本文對核桃這種小目標(biāo)的檢測。自適應(yīng)圖片縮放操作將不同尺寸的圖片固定為640像素×640像素作為輸入。YOLOv5s模型在訓(xùn)練不同數(shù)據(jù)集時，可自適應(yīng)計算出所用數(shù)據(jù)集的初始錨框，所計算出的本文數(shù)據(jù)集的初始錨框為[74，77，86，79，96，86]、[84，92，95，96，99，107]、[106，95，111，111，124，125]，這極大地簡化了網(wǎng)絡(luò)的訓(xùn)練過程。

2.3 主干網(wǎng)絡(luò)

在主干網(wǎng)絡(luò)中，YOLOv5s主要采用了Focus結(jié)構(gòu)和CSP結(jié)構(gòu)。其中Focus結(jié)構(gòu)是YOLOv5s網(wǎng)絡(luò)提出來的，其目的是在下采樣的時候防止信息的丟失。在本文中，F(xiàn)ocus結(jié)構(gòu)將輸入的640像素×640像素×3通道的圖像變?yōu)?20像素×320像素×32通道的特征圖。CSP結(jié)構(gòu)是借鑒了CSP網(wǎng)絡(luò)[11]的思想，其目的是通過局部跨層融合來獲取更豐富的特征圖且減少了計算量，在YOLOv5s網(wǎng)絡(luò)中設(shè)計了兩種CSP結(jié)構(gòu)，如圖1所示，依次是CSP1_X和CSP2_X。

圖1 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

2.4 特征融合

特征融合階段主要借鑒了PANet[12]的思想，采用FPN+PAN結(jié)構(gòu)。FPN結(jié)構(gòu)是采用上采樣的方式，由上而下的方式進(jìn)行特征信息融合，而PAN結(jié)構(gòu)采用自底向上的金字塔結(jié)構(gòu)，利用下采樣的方式進(jìn)行特征信息融合，具體結(jié)構(gòu)如圖2所示。

圖2 FPN+PAN結(jié)構(gòu)

2.5 預(yù)測輸出端

預(yù)測輸出端延續(xù)了YOLO之前的思想，同時輸出三個尺度的預(yù)測圖，分別適用于檢測小、中、大目標(biāo)。YOLOv5s在預(yù)測時最大的改變是將GIOU_Loss[13]作為損失函數(shù)，替換了YOLOv3中的IOU_Loss，解決了后者不能優(yōu)化兩個邊界框不相交的情況。

3 試驗

3.1 試驗環(huán)境

本次試驗運行環(huán)境的CPU為英特爾?酷睿TMi7-10700K，3.8 GHz，GPU為英偉達(dá)RTX2080TI，顯存為11 G，運行內(nèi)存為64 G，操作系統(tǒng)為Ubuntu18.4，加速環(huán)境為CUDA10.1，編程語言為Python3.7，深度學(xué)習(xí)框架為Pytorch1.7。

3.2 評估指標(biāo)

本文采用目標(biāo)檢測算法中的多項指標(biāo)對YOLOv5s算法的性能進(jìn)行評估，其具體評估指標(biāo)包括精確度(P)、召回率(R)、平均精度均值(mAP)、調(diào)和平均值(F1)以及單幅圖像檢測耗時，其中mAP值和單幅圖像檢測耗時是目標(biāo)檢測算法中最重要的評估指標(biāo)，衡量了檢測算法的精度與速度。精確度P、召回率R、平均精度均值mAP以及調(diào)和平均值F1的計算表達(dá)式如式(1)～式(4)所示。

(1)

(2)

(3)

(4)

式中：TP——真正樣本數(shù)量；

FP——假正樣本數(shù)量；

FN——假負(fù)樣本數(shù)量；

N——樣本中種類數(shù)量。

3.3 模型訓(xùn)練

網(wǎng)絡(luò)模型訓(xùn)練階段，將總迭代周期設(shè)置為300，迭代批次大小值設(shè)置為8。動量因子是影響梯度下降的重要參數(shù)，本試驗設(shè)置為0.9。學(xué)習(xí)速率過大，可能會造成網(wǎng)絡(luò)無法收斂，學(xué)習(xí)率過小，會造成網(wǎng)絡(luò)收斂速度過慢，因此本試驗將學(xué)習(xí)速率設(shè)為0.001。為防止過擬合，本試驗將權(quán)值衰減系數(shù)設(shè)為0.000 5，將置信度閾值設(shè)為0.5，非極大抑制閾值設(shè)為0.3，如表1所示。訓(xùn)練過程中，損失值和平均精度值隨迭代周期變化情況如圖3所示。

表1 訓(xùn)練參數(shù)

(a) 損失函數(shù)值變化曲線

模型在前50個迭代周期中，損失值迅速下降至0.03左右，同時mAP值急速上升，快速升至80%左右，在第50至250個迭代周期之間，損失值下降逐漸平緩，逐漸接近于0.02，mAP值上升緩慢，逐漸接近于99%，在第250個迭代周期之后，損失值趨于穩(wěn)定，保持在0.02左右，同時mAP值也趨于穩(wěn)定，保持在99%左右，因此認(rèn)為模型達(dá)到穩(wěn)定收斂。

4 試驗結(jié)果與討論

4.1 試驗結(jié)果分析

將訓(xùn)練好的模型在測試集上測試，結(jié)果如表2所示。

表2 模型檢測結(jié)果

由模型測試結(jié)果可知，該模型對新2核桃的檢測精確度高達(dá)99.1%，且召回率高達(dá)96.5%，因此該模型對新2核桃檢測的平均精度值(AP)高達(dá)99.5%，調(diào)和平均值為97.8%，而該模型對新光和溫185核桃檢測的AP值分別為98.4%和97.1%，調(diào)和平均值分別為94.2%和92.2%。由結(jié)果可知，該模型對新2核桃的檢測效果是最佳的。這是由于新2核桃的外形相較于新光核桃和溫185核桃呈明顯的長橢圓狀，表面更光滑，因此更容易識別，而新光核桃和溫185核桃外觀均呈圓球狀，表面紋理特征相近，因此對識別造成干擾，造成檢測效果相對較低的結(jié)果。但是該模型對三種核桃檢測的平均精度均值(mAP)高達(dá)98.3%，且單幅圖檢測僅耗時7 ms，在快速檢測的同時保持了高精度水平。

4.2 不同算法模型比較

為了進(jìn)一步驗證本研究所提出方法的性能，用該模型與其他基于深度學(xué)習(xí)的主流目標(biāo)檢測算法進(jìn)行對比試驗，其中包括屬于單階段目標(biāo)檢測算法的YOLOv3[14]和YOLOv4[15]，也包括屬于雙階段目標(biāo)檢測算法的Faster RCNN[16]，在相同的數(shù)據(jù)集和實驗環(huán)境下，各算法的試驗結(jié)果如表3所示。

表3 算法性能對比

由試驗結(jié)果可知，YOLOv5算法的單幅圖檢測耗時僅為7 ms，比Faster RCNN算法快了7倍，且模型大小僅為14.4 MB，為YOLOv4算法的1/14，在本研究制作的數(shù)據(jù)集上訓(xùn)練時間僅為14.67 h，是所有對比算法中用時最短的，且YOLOv5算法的平均精度均值為98.3%，是所有對比算法中最高的。

本文選擇的YOLOv5算法與所有對比算法中mAP值最高的YOLOv4算法在不同條件下的檢測效果圖如圖4～圖7所示(圖上的數(shù)值為置信度)。通過對比可以看出，在不同條件下，YOLOv5算法的整體置信度是高于YOLOv4的。在相互遮擋情況下，YOLOv4不僅置信度偏低，甚至出現(xiàn)了漏檢的情況，雖然 YOLOv5檢測結(jié)果的置信度有所降低，但是沒有出現(xiàn)漏檢、誤檢的情況。在不同尺度和不同視角下，YOLOv4均出現(xiàn)了誤檢的情況，如圖7、圖8所示，而YOLOv5不僅沒有出現(xiàn)漏檢、誤檢的情況，且保持了較高的置信度。

(a) YOLOv4

(a) YOLOv4

(a) YOLOv4

綜上所述，無論是平均精度均值還是檢測速度，本文選擇的YOLOv5目標(biāo)檢測算法在所有對比算法中都是最優(yōu)的，可以對不同品種的核桃進(jìn)行準(zhǔn)確的識別與定位，且模型占用內(nèi)存最小，訓(xùn)練時間較短，更適合本研究對核桃進(jìn)行實時性檢測的需求。

5 結(jié)論

1) 針對機(jī)器人自主分揀核桃工作中對核桃實時檢測的需求，本文研究了基于YOLOv5目標(biāo)檢測算法對不同品種核桃檢測的方法。通過建立以南疆主產(chǎn)的新2、新光及溫185核桃的數(shù)據(jù)集對YOLOv5s模型進(jìn)行訓(xùn)練與測試。該模型對新2、新光及溫185核桃檢測的mAP值分別為99.5%、98.4%和97.1%，單幅圖像的檢測時間為7 ms，可以達(dá)到對核桃實時檢測的需求。

2) 為驗證本文選擇模型的性能，本文與其他主流的目標(biāo)檢測算法進(jìn)行了對比試驗，結(jié)果表明，本文選擇的YOLOv5s算法的檢測精度最高、檢測速度最快、訓(xùn)練時間較短且模型的占用內(nèi)存最小，更適合本研究的檢測需求。

3) 綜上所述，本文選擇的YOLOv5目標(biāo)檢測算法滿足對核桃的實時性檢測需求，該研究可為對動態(tài)核桃自主分揀研究提供研究基礎(chǔ)，為機(jī)器人實現(xiàn)自主分揀核桃以及核桃產(chǎn)業(yè)的自動化發(fā)展具有推動意義。