黃少華，梁喜鳳

基于改進YOLOv5的茶葉雜質檢測算法

黃少華，梁喜鳳※

（中國計量大學機電工程學院，杭州 310018）

針對現(xiàn)有目標檢測算法檢測茶葉雜質精度低、速度慢的問題，該研究提出了一種基于改進YOLOv5的茶葉雜質檢測算法。采用K-Means聚類算法對雜質真實框聚類，以獲取適合茶葉雜質特征的錨框尺寸；通過在主干特征提取網(wǎng)絡CSPDarkNet中引入前饋卷積注意力機制（Convolutional Block Attention Module，CBAM），將茶葉雜質輸入特征圖依次經(jīng)過通道注意力模塊和空間注意力模塊，獲得特征圖通道維度和空間維度的關鍵特征；在頸部網(wǎng)絡中添加空間金字塔池化（Spatial Pyramid Pooling，SPP）模塊，融合并提取不同感受野的關鍵特征信息；將普通卷積替換成深度可分離卷積，增大小目標預測特征圖的置信度損失權重，構建了輕量化的改進YOLOv5網(wǎng)絡結構模型；分別制作了鐵觀音茶葉中混合有稻谷、瓜子殼、竹枝和茶梗4種雜質的數(shù)據(jù)集并進行茶葉雜質檢測試驗。結果表明，改進的YOLOv5比常規(guī)YOLOv5在茶葉雜質檢測中具有更高的置信度分數(shù)，且定位更為準確，未出現(xiàn)漏檢現(xiàn)象。改進YOLOv5的多類別平均精度（Mean Average Precision，mAP）和每秒傳輸幀數(shù)（Frame Per Second，F(xiàn)PS）達到96.05%和62幀/s，均優(yōu)于主流的目標檢測算法，驗證了改進算法的高效性和魯棒性。該研究成果可為提升茶葉制作過程中小目標雜質檢測精度與檢測速度奠定基礎。

深度學習；算法；目標檢測；YOLOv5；茶葉雜質

0 引 言

茶葉具有很高的商業(yè)價值和藥用價值，在中國具有龐大的消費市場。茶葉分揀是茶葉制作工序中重要環(huán)節(jié)。茶葉采集過程中，通常會混入樹枝、谷物等雜質，影響茶葉的口感和品質[1-4]。為提升茶葉成品質量，對采摘收集到的新茶炒制成成品茶葉后還需進一步分揀，剔除掉多余的雜質。傳統(tǒng)的茶葉分揀方式采用人工手動分揀剔除雜質，需要消耗大量人力，耗時長，效率低。近年來，機器視覺逐漸應用于茶葉雜質分揀，識別精準高，有助于實現(xiàn)茶葉自動化分揀，對茶葉分揀技術的產(chǎn)量化具有較高的應用價值[5]。

基于深度學習的目標檢測算法通過強大的卷積神經(jīng)網(wǎng)絡學習茶葉雜質的特征信息，并使用回歸器和分類器對雜質進行定位和分類，能夠實現(xiàn)復雜場景下的茶葉雜質檢測。常見的基于深度學習目標檢測算法根據(jù)是否使用區(qū)域建議網(wǎng)絡（Region Proposal Network，RPN）[6-7]可分為雙階段目標檢測和單階段目標檢測。雙階段檢測精度較高但訓練復雜，檢測耗時較長[8]。常見的單階段檢測算法有SSD網(wǎng)絡[9-10]和YOLO系列網(wǎng)絡[11]。單階段檢測省去了候選框生成的工作，精簡了模型參數(shù)量，在犧牲了部分檢測精度的前提下，檢測速度顯著快于雙階段目標檢測。目前大部分檢測任務為了追求實時性原則，均以單階段檢測為主。其中，以YOLOv5為代表的單階段輕量級網(wǎng)絡在綜合匯聚了前幾代YOLO系列網(wǎng)絡的基礎上，改良了對小目標的檢測速度和精度，具有較好的檢測效果?；诖耍萚12]以YOLOv5為基線，利用卷積核組進行了復雜背景下茶尺蠖的檢測。尚鈺瑩等[13]提出了一種基于YOLOv5s深度學習的草果花朵的檢測方法。Bochkovskiy等[14]在YOLOv5的基礎上融合多種策略，以適應不同場景下的目標檢測任務。呂禾豐等[15]在通過替換YOLOv5中損失函數(shù)的方法，提高了交通標志識別精度和準確率。呂軍等[16]提出在YOLOv5模型采用CSPDarknet53 特征提取網(wǎng)絡進行茶葉嫩芽檢測，改進了自然光照條件檢測的魯棒性。Zhu等[17]構建了TPH-YOLOv5網(wǎng)絡，在原始YOLOv5基礎上增添了Transformer模塊和CBAM卷積注意力模塊，提升了網(wǎng)絡模型對小尺度目標的檢測性能。徐鳳如等[18]通過采用改進型YOLOv4-Dense算法，研究了茶樹芽葉采摘點的定位方法，具有良好的識別率。以上研究對YOLOv4或YOLOv5目標檢測網(wǎng)絡進行了改進和優(yōu)化。然而在茶葉雜質檢測任務中，茶葉簇雜亂無章，背景較為復雜，且雜質目標較小，混入在茶葉中檢測難度大，樹枝等雜質和茶葉顏色相近，增加了檢測難度，目前的YOLOv5網(wǎng)絡提取雜質特征能力不足，檢測精度較低，預測框定位不準確，檢測重疊的小目標雜質容易出現(xiàn)漏檢等，不能滿足小目標茶葉雜質檢測需求。

因此，針對以上存在問題，本文提出了一種基于改進YOLOv5的茶葉雜質檢測算法。采用K-Means聚類錨框尺寸，主干網(wǎng)絡CSPDarkNet引入卷積注意力機制（Convolutional Block Attention Module，CBAM），頸部網(wǎng)絡中添加空間金字塔池化（Spatial Pyramid Pooling，SPP）模塊，利用深度可分離卷積代替普通卷積，增大小目標預測特征圖的置信度損失權重等方面對YOLOv5模型進行改進，并對多種茶葉雜質數(shù)據(jù)集進行試驗，驗證改進算法的高效性和魯棒性，以提高茶葉制作中雜質檢測的精度與速度。

1 改進的YOLOv5網(wǎng)絡結構

YOLOv5模型參數(shù)量最少，檢測速度快，廣泛應用在實際場景中。因此選取YOLOv5作為茶葉雜質檢測的基礎模型。但是，茶葉雜質一般較小，種類復雜，且樹枝等雜質顏色與茶葉相近，混入茶葉簇，因此需要在錨框尺寸、關鍵特性關注度、檢測精度等方面進行YOLOv5網(wǎng)絡改進，從而適應茶葉雜質檢測需求。

1.1 先驗錨框選取

初始的先驗錨框尺寸影響網(wǎng)絡訓練速度和定位準確性，常規(guī)YOLOv5錨框針對COCO（Microsoft Common Objects in Context）和VOC（Visual Object Classes）數(shù)據(jù)集，而茶葉雜質均為小目標，基于初始錨框的訓練不適用于茶葉雜質。如果數(shù)據(jù)集標注信息針對默認錨框的最佳召回率小于0.98時，則需要重新計算符合此數(shù)據(jù)集的錨框[19]。YOLOv5的重新自適應錨框計算采用K-means[20-22]重新定義錨框尺寸的聚類算法，實現(xiàn)步驟如下：

1）取出茶葉雜質真實框的寬高值作為坐標點集合，在所有坐標點中隨機抽取個初始簇心。

2）計算剩余坐標點與簇心的歐氏距離，將剩余坐標點與最近簇歸為同一種類，當所有坐標點歸類完成后，根據(jù)每個簇中所有坐標點的平均值重新計算每個簇心。

3）反復迭代上述步驟2，直至簇心不再改變。

由于YOLOv5頭部網(wǎng)絡輸出3種尺度預測特征圖，每個預測特征圖均具有大、中、小三種尺度錨框，因此取9，此時茶葉雜質錨框被分為9種不同尺寸的簇。

聚類試驗達到穩(wěn)定后的9種錨框尺寸參數(shù)如表1所示，聚類后的錨框尺寸更符合茶葉雜質的尺寸和寬高比例特征。

表1 改進的YOLOv5錨框尺寸

1.2 注意力機制

針對茶葉雜質的目標檢測任務，除了需要考慮雜質的語義特征外，同時還需考慮茶葉雜質的空間位置，在YOLOv5主干網(wǎng)絡中引入注意力機制，能夠自適應學習茶葉雜質的關鍵特征。根據(jù)訓練獲得的注意力權重可增加網(wǎng)絡對關鍵特征的注意力，降低干擾特征的關注度。

CBAM將通道維度和空間維度相結合[23]，最終權衡得到特征圖通道維度和空間維度的關鍵特征。通道注意力模塊對輸入茶葉雜質特征圖矩陣按照寬高方向進行一次全局平均池化（AvgPool）和全局最大池化（MaxPool），輸出2個與通道數(shù)相等、大小為1×1的池化層。然后將2個池化層輸入多層感知機（Multilayer Perceptron，MLP）分別通過兩次共享全連接層，最后將輸出的2個通道權重層融合后進行非線性激活，得到充分權衡通道維度上的權重層M，計算式如下：

M=Sigmoid(MLP(AvgPool())+MLP(MaxPool()))（1）

將M權重參數(shù)與輸入的茶葉雜質特征圖矩陣在通道上相乘，實現(xiàn)在通道上施加注意力機制，大幅提升特征圖通道維度的關鍵特征利用率。

空間注意力模塊對上述通道注意力模塊提煉的茶葉雜質特征圖矩陣′通道維度上分別進行最大池化和平均池化，獲得2個通道數(shù)為1、尺寸為′大小的池化層后進行堆疊，利用一次卷積降維至單通道特征圖，最后經(jīng)過非線性激活，增加非線性因素，得到充分權衡空間維度上的權重層M，計算式如下：

M=Sigmoid(7×7(Concat(AvgPool(),(MaxPool())))（2）

式中7×7表示濾波器尺寸為 7×7 的卷積運算。

將M權重參數(shù)與′逐像素相乘，實現(xiàn)在空間維度上施加注意力機制，以提升特征圖空間維度的關鍵特征利用率。因此，將CBAM模塊引入YOLOv5主干網(wǎng)絡中能夠提升茶葉雜質特征信息的關注度。

1.3 YOLOv5主干網(wǎng)絡改進策略

為驗證YOLOv5引入注意力機制對茶葉雜質檢測性能的影響，在主干網(wǎng)絡的CSP1_1、CSP1_3與CSP2_1 3個跨階段局部網(wǎng)絡（Cross Stage Partial Network，CSPNet）模塊后分別添加CBAM注意力機制。通過將原圖輸入不同策略下改進主干網(wǎng)絡的最終預測結果圖，采用熱力圖可視化[24]的方式，直觀展示網(wǎng)絡更加關注的區(qū)域。圖1對比了常規(guī)YOLOv5和3種改進策略的熱力圖，其中區(qū)域顏色越深代表網(wǎng)絡越感興趣。

從圖1中可看出，主干網(wǎng)絡中引入注意力機制有助于茶葉雜質特征提取效果，且引入3個注意力機制CBAM的改進策略關注的特征區(qū)域最為準確。

1.4 目標檢測評價指標

目標檢測指標通常有以下4種：

1）單類別精確率：

2）單類別召回率：

3）單類別曲線下面積：

AP=(,)（5）

4）多類別平均精度：

式中P表示精確率；R表示召回率；Tc表示當前茶葉雜質種類被預測正確的數(shù)量；FC表示其他茶葉雜質種類但被預測為當前茶葉雜質種類的數(shù)量；FN表示當前茶葉雜質種類被預測為其他茶葉雜質種類的數(shù)量；AP表示單類別檢測結果，AP值越大，單類別檢測性能越好；AP反映多類別檢測精度；c表示所有類別數(shù)量。

1.5 改進的主干網(wǎng)絡測試

利用改進的主干網(wǎng)絡策略，對茶葉雜質數(shù)據(jù)集進行試驗，保持頸部網(wǎng)絡（Feature Pyramid Network，F(xiàn)PN）和頭部網(wǎng)絡YoloHead不變，共訓練500代數(shù)，試驗結果如表2所示。

表2 不同策略試驗結果

注：mAP為多類別平均精度，F(xiàn)PS為每秒傳輸幀數(shù)。下同。

Note: mAP refers to mean average precision of multiple categories, and FPS refers to frame per second. Same below.

從表2中可看出，檢測精度隨著引入CBAM模塊數(shù)的增加而提高，加入1個CBAM、2個CBAM和3個CBAM的多類別平均精度mAP分別提升了0.54、0.9和1.48個百分點，優(yōu)于常規(guī)YOLOv5，最終選取加入3個CBAM策略下的主干網(wǎng)絡改進方法。但同時FPS略有降低，表明網(wǎng)絡檢測速度有所降低，需要進一步優(yōu)化YOLOv5網(wǎng)絡結構。

2 網(wǎng)絡結構優(yōu)化

2.1 優(yōu)化方法

在常規(guī)YOLOv5的頸部網(wǎng)絡（FPN）內(nèi)添加空間金字塔池化（Spatial Pyramid Pool，SPP）模塊[25]，有助于聚合茶葉雜質的不同感受視野特征信息，提取多尺度的關鍵特征，提升網(wǎng)絡的檢測精度。因此，在不影響特征圖上下采樣和通道拼接的前提下，對頸部網(wǎng)絡FPN中的每一個CSP模塊后添加SPP模塊。同時考慮到檢測的實時性，對網(wǎng)絡參數(shù)需要進一步優(yōu)化，將FPN內(nèi)的普通卷積Conv替換成深度可分離卷積Dwise[26]，能夠保證在精度不降低的前提下，大幅減少網(wǎng)絡運算量，提升檢測速度。

在改進主干網(wǎng)絡加入3個CBAM策略基礎上，改進并優(yōu)化的網(wǎng)絡整體結構如圖2。

2.2 平衡不同尺度損失

YOLOv5的頭部網(wǎng)絡YoloHead共輸出3個不同尺度大小的預測特征圖，其中YoloHead1、YoloHead2和YoloHead3分別為80×80、40×40和20×20（像素）的特征圖，對輸入圖像的感受野逐漸增大，分別用于預測小目標物體、中等目標物體和大目標物體。由于茶葉雜質均為小目標，增大YoloHead1的損失權重，能夠提高YOLOv5檢測小目標的精度。因此，經(jīng)過訓練試驗，對3個預測特征圖（YoloHead1、YoloHead2和YoloHead3）的置信度損失設置不同的權重，獲得總置信度損失如下：

式中L為茶葉雜質檢測網(wǎng)絡的總置信度損失，其上標表示不同預測特征圖。

3 茶葉雜質檢測試驗

3.1 茶葉雜質數(shù)據(jù)集制作

茶葉在采摘和炒制過程中通常會混有一些雜質，例如谷物、茶梗、樹枝等，因此本次試驗以市場購買的鐵觀音茶葉為研究對象，在茶葉中摻雜現(xiàn)實場景中容易混入稻谷、瓜子殼、竹枝和茶梗4種雜質，制作了具有雜質的茶葉雜質檢測數(shù)據(jù)集。采用分辨率為150 dpi的超低畸變相機，拍攝了4×500共2 000張包含4種茶葉雜質的圖像。通過水平鏡像、上下翻轉、亮度變換和隨機對比度等數(shù)據(jù)增強方式將茶葉雜質數(shù)據(jù)集擴充至4 000張圖像，按照8∶1∶1的比例隨機劃分訓練集、驗證集和測試集。利用Labelimg軟件對其進行標注，生成雜質真實框坐標和種類信息的標簽文件。

注：FPN為特征圖金字塔網(wǎng)絡結構；CBAM為前饋卷積注意力機制；SPP 為空間金字塔池化結構；CSP為跨階段局部網(wǎng)絡。

3.2 試驗環(huán)境

試驗環(huán)境配置：深度學習框架Pytorch-GPU V1.7.1，顯卡Nvidia GeForce GTX 1660，顯存6 GB，處理器Inter Core i7-9700k 3.60 GHz八核，內(nèi)存16 GB，神經(jīng)網(wǎng)絡加速庫CUDNN7.6.4和CUDA10.1，所用到的相關庫Pillow8.0.1、Opencv4.4.0、numpy1.19.4和matplotlib3.3.3；操作系統(tǒng)為Windows10，編程語言為Python3.7；光照環(huán)境為1 000 lx光源；茶葉隨機鋪設一層。

3.3 網(wǎng)絡訓練

將改進后的YOLOv5網(wǎng)絡在圖形處理器 (Graphics Processing Unit，GPU)上進行訓練，采用隨機梯度下降優(yōu)化器（Stochastic Gradient Descent，SGD）更新參數(shù)，初始學習率設置成0.001，學習率衰減系數(shù)為0.000 1，批尺寸（Batch_size）為8，共訓練500個世代，損失值變化如圖3所示。從圖3中可以看出，隨著訓練代數(shù)的增加，改進YOLOv5的損失值逐漸降低，整體趨于穩(wěn)定，最終損失值收斂于0.3附近，證明改進的網(wǎng)絡達到了較優(yōu)的訓練結果。

圖3 損失值變化曲線

3.4 檢測試驗對比

將常規(guī)YOLOv5和改進的YOLOv5在測試集上進行試驗對比，且保證光照環(huán)境相等，每種雜質采樣1 000張圖像，各自隨機選擇1張檢測結果展示，如圖4所示。其中，Ⅰ、Ⅱ、Ⅲ和Ⅳ分別代表茶葉中含有稻谷、瓜子殼、竹枝和茶梗雜質圖像。

注：圖中錨框代表檢測出的雜質。

從圖4可以看出，由于稻谷雜質目標較小，混入茶葉中不易發(fā)現(xiàn)，常規(guī)YOLOv5對于部分被遮擋的稻谷出現(xiàn)了漏檢現(xiàn)象，而改進的YOLOv5只是置信度略有降低。對于有茶葉遮擋的竹枝，常規(guī)YOLOv5的置信度分數(shù)大大低于改進的YOLOv5。由于茶梗和茶葉特征相似，且顏色相近，常規(guī)YOLOv5中出現(xiàn)了漏檢現(xiàn)象。從4種圖像檢測結果對比圖中可看出，改進的YOLOv5相較于常規(guī)YOLOv5具有更高的置信度分數(shù)，且定位更為準確，沒有出現(xiàn)漏檢現(xiàn)象，尤其對于有遮擋情況的雜質表現(xiàn)更為明顯。同時可以發(fā)現(xiàn)，目標檢測雜質被遮擋部分越多，則檢測的置信度值越低。

通過視覺檢測的定性分析后，還需對YOLOv5改進的每個策略進行消融試驗對比的定量分析，如表3所示。

表3 不同策略消融試驗結果

注：方法1表示常規(guī)YOLOv5，方法2表示改進錨框尺寸，方法3表示改進錨框尺寸并引入注意力機制，方法4表示改進錨框尺寸、引入注意力機制并對網(wǎng)絡整體結構進行改進，方法5表示改進錨框尺寸、引入注意力機制、改進網(wǎng)絡整體結構和平衡不同尺度損失。

Notes: Method 1 represents Regular YOLOv5. Method 2 indicates improved anchor frame size. Method 3 means to improve the size of anchor frame and introduce attention mechanism. Method 4 means to improve the size of anchor frame, introduce attention mechanism and improve the overall network structure. Method 5 represents improving the size of anchor frame, introducing attention mechanism, improving the overall network structure and balancing losses of different scales.

從表3可知，方法2比方法1檢測精度略有提升，表明利用K-means聚類得到的錨框尺寸更符合茶葉雜質數(shù)據(jù)集特征。方法3檢測精度優(yōu)于常規(guī)YOLOv5，但檢測速度略有減慢，表明引入注意力機制有利于網(wǎng)絡提取茶葉雜質的關鍵特征，但同時也增加了少量的模型復雜度。方法4的檢測精度和速度都有一定提升，表明在FPN中添加空間金字塔池化（SPP）模塊有助于提取多尺度的特征，檢測精度得到提升，且深度可分離卷積的引入節(jié)省了網(wǎng)絡運算量，實現(xiàn)網(wǎng)絡輕量化，提升了檢測速度。本文采用的方法5的mAP和FPS達到了96.05%和62幀/s，優(yōu)于以上方法，針對稻谷和瓜子殼小目標的mAP得到較大提升，表明增大小目標損失權重，對于提高小目標檢測精度有很大幫助。

3.5 不同目標檢測網(wǎng)絡試驗對比

選用Faster R-CNN、SSD、YOLOv3、YOLOv4、YOLOv5等主流目標檢測網(wǎng)絡和改進YOLOv5進行試驗對比，結果如表4所示。

表4 不同網(wǎng)絡試驗結果

Table 5 Experimental results based on different network

可以看出，F(xiàn)aster R-CNN的檢測精度較高，但其采用雙階段檢測方式，結構復雜且網(wǎng)絡參數(shù)多，檢測速度最慢，無法滿足實時性要求。SSD參數(shù)量較少，檢測速度較快，但特征提取能力弱于YOLO系列算法，mAP最低。YOLOv3和YOLOv4檢測效果都低于常規(guī)YOLOv5。改進后的YOLOv5相對于Faster R-CNN、SSD、YOLOv3、YOLOv4和常規(guī)YOLOv5檢測精度和速度均最優(yōu)。

4 結 論

以常規(guī)YOLOv5網(wǎng)絡為基礎進行改進，更高效地實現(xiàn)茶葉雜質檢測。使用K-Means聚類獲得適合茶葉雜質特征的錨框，引入注意力機制，提高主干網(wǎng)絡特征提取能力，添加空間金字塔池化（Spatial Pyramid Pooling，SPP）模塊，融合不同感受野多尺度特征，提升檢測精度，采用深度可分離卷積降低網(wǎng)絡復雜度，加快檢測速度，平衡不同尺度損失，提高對小目標檢測精度。通過定性和定量試驗結果對比，驗證了改進YOLOv5網(wǎng)絡的有效性。改進YOLOv5的多類別平均精度mAP和每秒傳輸幀數(shù)（Frame Per Second，F(xiàn)PS）分別達到96.05%和62幀/s，滿足茶葉雜質檢測的需求，并且對小目標檢測領域提供了一定的參考。

對于不同的背景、光照條件、茶葉平鋪厚度以及圖像分辨率等復雜條件對改進YOLOv5模型在茶葉雜質檢測精度等方面產(chǎn)生的影響，仍需要進一步的研究與試驗。

[1] 鹿瑤，王偉，鐘斌，等. 融合光電色選的皮帶篩式油茶果殼籽分選機設計與試驗[J]. 農(nóng)業(yè)機械學報，2020，51(S1)：429-439.

Lu Yao, Wang Wei, Zhong Bin, et al. Design and experiment of belt screen seed sorter forfused with photoelectric color sorting technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(S1): 429-439. (in Chinese with English abstract)

[2] 李仿舟. 茶葉色選機的技術創(chuàng)新和發(fā)展趨勢[J]. 農(nóng)機質量與監(jiān)督，2018，27(12)：18-19.

[3] 丁勇，徐奕鼎，王燁軍. 工夫紅茶精制中色選技術應用研究[J]. 中國茶葉加工，2009，26(3)：22-23，27.

[4] 黃留鎖，宋艷. 茶葉茶梗的計算機在線識別技術及其應用[J]. 福建茶葉，2016，38(7)：161-162.

[5] 陳培俊. 基于圖像處理和模式分類的茶葉雜質識別研究[D]. 南京：南京航空航天大學，2014：1-2.

Chen Peijun. Research on Recognizing Tea-Leaves and Impurities Based on Image Processing and Pattern Classification[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2014: 1-2. (in Chinese with English abstract)

[6] Cao S T, Jiang Y L. Combining attention mechanisms with RPN networks for target tracking[J]. International Core Journal of Engineering, 2021, 7(10): 438-443.

[7] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA: IEEE, 2014: 580-587.

[8] Ren S, He K M, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[9] 亢潔，劉港，郭國法. 基于多尺度融合模塊和特征增強的雜草檢測方法[J]. 農(nóng)業(yè)機械學報，2022，53(4)：254-260.

Kang Jie, Liu Gang, Guo Guofa. Weed detection based on multi-scale fusion module and feature enhancement[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(4): 254-260. (in Chinese with English abstract)

[10] Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision, German: Springer, 2016: 21-37.

[11] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA: IEEE, 2016: 779-788.

[12] 胡根生，吳繼甜，鮑文霞，等. 基于改進YOLOv5網(wǎng)絡的復雜背景圖像中茶尺蠖檢測[J]. 農(nóng)業(yè)工程學報，2021，37(21)：191-198.

Hu Gensheng, Wu Jitian, Bao Wenxia, et al. Detection of Ectropics oblique in complex background images using improved YOLOv5[J]. Trasnsations of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 191-198. (in Chinese with English abstract)

[13] 尚鈺瑩，張倩如，宋懷波，等. 基于YOLOv5s的深度學習在自然場景蘋果花朵檢測中的應用[J]. 農(nóng)業(yè)工程學報，2022，38(9)：222-229.

Shang Yuying, Zhang Qianru, Song Huaibo. Application of deep learning using YOLOv5s to apple flower detection in natural scenes[J]. Trasnsations of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(9): 222-229. (in Chinese with English abstract)

[14] Bochkovskiy A, Wang C Y, Liao H Y M. YOLOv4: Optimal speed and accuracy of object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition, Seattle, USA: IEEE, 2020: 1-17.

[15] 呂禾豐，陸華才. 基于YOLOv5算法的交通標志識別技術研究[J]. 電子測量與儀器學報，2021，35(10)：137-144.

Lyu Hefeng, Lu Huacai. Research on traffic sign recognition technology based on YOLOv5 algorithm[J]. Journal of Electronic Measurement and Instrumentation, 2021, 35(10): 137-144. (in Chinese with English abstract)

[16] 呂軍，方夢瑞，姚青，等. 基于區(qū)域亮度自適應校正的茶葉嫩芽檢測模型[J]. 農(nóng)業(yè)工程學報，2021，37(22)：278-285.

Lyu Jun, Fang Mengrui, Yao Qing, et al. Detection model for tea buds based on region brightness adaptive correction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 278-285. (in Chinese with English abstract)

[17] Zhu X, Lyu S, Wang X, et al. TPH-YOLOv5: Improved YOLOv5 Based on Transformer prediction head for object detection on drone-captured scenarios[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, Canada: IEEE, 2021: 2778-2788.

[18] 徐鳳如，張昆明，張武，等. 一種基于改進YOLOv4算法的茶樹芽葉采摘點識別及定位方法[J]. 復旦學報（自然科學版），2022，61(4)：460-471.

Xu Fengru, Zhang Kunming, Zhang Wu, et al. Identification and localization method of tea bud leaf picking point based on improved YOLOv4 algorithm[J]. Journal of Fudan University (Natural Science), 2022, 61(4): 460-471. (in Chinese with English abstract)

[19] 彭成，張喬虹，唐朝暉，等 .基于 YOLOv5增強模型的口罩佩戴檢測方法研究[J].計算機工程, 2022, 48 (4): 39-49.

Peng Cheng, Zhang Qiaohong, Tang Zhaohui, et al. Research on mask wearing detection method based on YOLOv5 enhancement model[J]. Computer Engineering, 2022, 48 (4): 39-49. (in Chinese with English abstract)

[20] 楊俊闖，趙超. K-Means聚類算法研究綜述[J]. 計算機工程與應用，2019，55(23)：7-14.

Yang Junchuang, Zhao Chao. Survey on K- Means clustering algorithm[J]. Computer Engineering and Applications, 2019, 55(23): 7-14. (in Chinese with English abstract)

[21] 安曉飛，王培，羅長海，等. 基于K-means聚類和分區(qū)尋優(yōu)的秸稈覆蓋率計算方法[J]. 農(nóng)業(yè)機械學報，2021，52(10)：84-89.

An Xiaofei, Wang Pei, Luo Changhai, et al. Corn straw coverage calculation algorithm based on K-means clustering and zoning optimization method[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(10): 84-89. (in Chinese with English abstract)

[22] Darmawan E, Novantara P J, Suwarto G P, et al. The implementation of K-means algorithm to determine the quality of teak wood in image based on the texture[J]. Journal of Physics: Conference Series, 2021, 1933(1): 1-7.

[23] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision, German: Springer, 2018: 3-19.

[24] Selvaraju R R, Cogswell M, Das A, et al. Grad-cam: Visual explanations from deep networks via gradient-based localization[C]//IEEE International Conference on Computer Vision, Venice, Italy: IEEE, 2017: 618-626.

[25] He K, Zhang X, Ren S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[26] Chollet F. Xception: Deep learning with depthwise separable convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA: IEEE, 2017: 1251-1258.

Detecting the impurities in tea using an improved YOLOv5 model

Huang Shaohua, Liang Xifeng※

(&,,310018,)

Tea sorting has been one of the most important links in tea production. Manual sorting has been often adopted to remove the excess impurities (such as branches and grains) from the collected fresh tea in traditional processing. However, the current sorting cannot fully meet the high requirement of taste and quality in the finished tea products after collection in recent years, due to the labor-intensive and high cost. Fortunately, machine vision has been gradually applied to tea impurity sorting, particularly for fully automatic sorting in the process of tea collection. Among them, the single-stage lightweight network (represented by YOLOv5 deep learning) can perform better performance for small targets with high detection speed and accuracy. However, the conventional YOLOv5 network cannot be used to extract the characteristics of tea impurities, due to the disorderly clusters, the generally small targets, the complex types of impurities, and the similar color to the tea. Particularly, the overlapping small targets can cause an inaccurate prediction box, leading to low accuracy or miss detection of the tea impurities. It is necessary to improve the conventional YOLOv5 network to meet the requirements of tea impurity detection. In this study, an improved YOLOv5 model was proposed to detect the tea impurity with a higher accuracy and detection speed than before. The YOLOv5 was taken as the baseline network. The K-Means clustering was applied to cluster the real boxes of impurities as the anchor frame size suitable for the characteristics of tea impurities. Convolutional Block Attention Module (CBAM) was introduced into the backbone feature extraction network (CSPDarkNet). The key features were obtained using the channel and spatial dimension of feature images. A Spatial Pyramid Pooling (SPP) module was added to the neck network, in order to integrate and extract the multi-scale features of different sensory fields. The deep separable convolution was updated to reduce the number of network parameters for the higher detection speed. The confidence loss weight of the small target prediction in the feature map was improved for the higher detection accuracy of the network for the small targets. The data set was taken as the Tieguanyin tea mixed with the rice, melon seed shell, bamboo branches, and tea stems. The results show that the improved YOLOv5 presented a higher confidence score than the conventional one, where the positioning was much more accurate without missing detection. The mAP and FPS of improved YOLOv5 reached 96.05% and 62 frames/s, respectively. The higher efficiency and robustness of the improved model were achieved to compare the mainstream target detections. The findings can provide a strong reference for the detection accuracy and speed of small target impurities in the tea production process.

deep learning; algorithm; object detection; YOLOv5; tea impurities

10.11975/j.issn.1002-6819.2022.17.036

TP391

A

1002-6819(2022)-17-0329-08

黃少華，梁喜鳳. 基于改進YOLOv5的茶葉雜質檢測算法[J]. 農(nóng)業(yè)工程學報，2022，38(17)：329-336.doi：10.11975/j.issn.1002-6819.2022.17.036 http://www.tcsae.org

Huang Shaohua, Liang Xifeng. Detecting the impurities in tea using an improved YOLOv5 model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(17): 329-336. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.17.036 http://www.tcsae.org

2022-06-18

2022-08-27

國家自然科學基金項目（31971796）作者簡介：黃少華，研究方向為農(nóng)業(yè)智能信息處理。

梁喜鳳，教授，研究方向為農(nóng)業(yè)機器人、農(nóng)業(yè)智能信息處理等。Email：lxfcjlu@cjlu.edu.cn