余紅霞，羅瑞林，云利軍*,3，陳載清，張春節(jié)

1. 云南師范大學信息學院，昆明市呈貢區(qū)聚賢街768 號 650500

2. 云南省煙草煙葉公司設備信息科，昆明市經(jīng)濟開發(fā)區(qū)西邑村182 號 650218

3. 云南師范大學云南省光電信息技術重點實驗室，昆明市呈貢區(qū)聚賢街768 號 650500

散把是在煙葉分選前通過人工或機器將一把煙葉均勻分散地平鋪在傳送帶上，保證單片煙葉不重疊且擺放方向與傳送帶運動方向垂直。散把不均勻會導致煙葉重疊，增加分選難度并出現(xiàn)分選后煙葉部位混雜、混合非煙物料等問題，影響分選速度和精度，降低煙葉等級純度，導致煙葉質量無法滿足卷煙工業(yè)企業(yè)生產(chǎn)需求。目前主要通過人工觀察或傳感器測量煙葉間距離等方式判斷散把情況，存在生產(chǎn)成本高、測量難度大等問題。針對此，杜東亮等［1］基于計算機視覺設計了一種煙葉自動分級系統(tǒng)，煙葉經(jīng)輸送裝置打散攤平后由CCD 相機采集圖像，實現(xiàn)對煙葉等級的準確識別和在線稱量。魏揚帆［2］通過一個或多個變速傳送帶進行煙葉散把，利用傳送帶之間的速度差拉開煙葉間的距離，同時利用編碼器判斷煙葉間距離以監(jiān)測散把情況。袁奎等［3］設計了一種煙葉圖像拍攝與物距顯示裝置，通過測量煙葉間距離來判斷散把情況。崔建軍等［4］研制了一種煙葉分層切斷設備代替人工進行鋪葉、解把、切斷等操作，提高了煙葉配葉均勻性。潘東彪等［5］設計了一種滾刷式煙葉鋪平裝置，能夠在煙葉圖像采集工序前將褶皺煙葉鋪平。上述研究大多著重于散把裝置的改進以提高煙葉分級準確性，而利用檢測算法對煙葉散把程度進行判別則鮮見報道。YOLOv5［6］是當前主流的單階段目標檢測算法之一，具有速度快、精度高、移植方便等特點，但將其應用于工業(yè)生產(chǎn)環(huán)境下的實時檢測時所需的存儲和運算能力較難滿足［7］，需要在保證識別效果的前提下降低模型復雜程度，簡化網(wǎng)絡結構。為此，以YOLOv5模型為基礎，對其主干網(wǎng)絡和瓶頸層進行改進，建立煙葉散把程度檢測模型，以期為提高煙葉分選速度和準確性提供支撐。

1 材料與方法

1.1 材料和設備

2021 年云南省楚雄市C2F 等級煙葉（云南省煙草煙葉公司）。

MER-503-20GM/C-P 水星（MER-G-P）系列數(shù)字相機（北京市大恒圖像有限公司）。

1.2 模型建立

1.2.1 數(shù)據(jù)集構建

在自然光環(huán)境下拍攝不同重疊程度的原始煙葉圖像254張，拍攝角度固定且垂直于煙葉，圖像分辨率為1 152 px×864 px。煙葉圖像紋理信息和前景目標提取過程為：①將原始圖像（圖1a）由RGB［Red（紅）、Green（綠）、Blue（藍）］色彩空間轉換為HSV［色 調（Hue）、飽和度（Saturation）、亮度（Value）］色彩空間（圖1b）；②對HSV 色彩空間進行通道分離，提取HSV 圖像的飽和度（S 通道）信息得到煙葉紋理特征圖像（圖1c）；③根據(jù)HSV 顏色對照表，查找前景目標對應色彩的H、S、V 閾值，對HSV 圖像（圖1b）進行二值化處理并得到相應圖像（圖2a）；④將二值化圖像作為掩膜與HSV 圖像進行像素級的與運算，分割得到前景圖像（圖2b）。原始圖像、紋理特征圖像和前景圖像各254 張共同構成數(shù)據(jù)集，按9∶1 的比例將數(shù)據(jù)集隨機劃分為訓練集和測試集。

圖1 煙葉圖像紋理信息提取過程Fig.1 Extraction process of texture information from tobacco image

圖2 煙葉顏色分割提取前景目標Fig.2 Extracting foreground object by color segmentation of tobacco

1.2.2 算法構建

如圖3a 所示，利用YOLOv5 原始模型在主干網(wǎng)絡（Backbone）對輸入圖片進行切片（Focus）、卷積（Conv）后，采用跨階段局部網(wǎng)絡（Cross Stage Partial Network，CSPNet）［8］中的 CSP 模塊進行特征提取，將不同網(wǎng)絡層梯度變化集成到特征圖中；然后在瓶頸層（Nick）采用PANet［9］將一系列特征圖融合后將圖像特征傳遞至預測端進行預測。以原始YOLOv5 模型為基礎，對主干網(wǎng)絡和瓶頸層進行改進，建立煙葉散把程度的檢測模型（圖3b），具體步驟：①采用 4 個 Ghost 模塊［10］（輸入輸出通道數(shù)分別為64/128、128/256、256/512、512/1 024，卷積核大小為3，步長為2）代替普通卷積對圖像進行高維特征提取并生成冗余特征圖，以減少網(wǎng)絡參數(shù)量（Parameters）和計算量（GFLOPS）；②基于非對稱卷積網(wǎng)絡（Asymmetric Convolutional Network，ACNet）［11］的AC 模塊設計ACIN 模塊，并用2 個卷積核大小為3、步長為2、輸入輸出通道數(shù)相同的ACIN 模塊代替瓶頸層中特征融合時的普通卷積，加強對局部特征信息的提取和融合。

圖3 改進前后YOLOv5模型Fig.3 YOLOv5 models before and after modification

如圖 4 所示，ACIN 模塊主要將 AC 模塊的 3 個卷積分支（3×3 卷積、1×3 卷積和3×1 卷積）融合成為2 個輸出維度相同的分支（1×3 卷積+3×1 卷積、3×3卷積），2 個分支的特征相加后用步長為2 的1×1 卷積進行線性組合。以原始YOLOv5 模型為基礎，驗證ACIN 模型的有效性，結果見表1?？梢?，與AC模塊相比，ACIN模塊參數(shù)量和計算量均有所減少。

表1 AC模塊與ACIN模塊的參數(shù)量和計算量對比Tab.1 Parameter numbers and calculation amounts of AC and ACIN modules

圖4 AC模塊和ACIN模塊卷積示意圖Fig.4 Schematic diagram of convolution of AC and ACIN modules

1.2.3 散把程度表征

依據(jù) IoU（Intersection over Union）［12］的計算方法定義松散度以表征煙葉散把程度。如圖5 所示，采用改進后YOLOv5 模型對煙葉進行檢測并獲取預測框，計算預測框的寬度wi和中心坐標（xi,y）i等位置信息，將所有預測框按x 坐標進行排序，則相鄰煙葉間的分散比和松散度計算公式為：

圖5 煙葉松散度計算過程Fig.5 Calculation process of loosening degree of tobacco leaves

式中：O(i,i+1)為第i 張煙葉與第i+1 張煙葉的分散比，%；xi和 xi+1分別為第 i 張和第 i+1 張煙葉預測框中心點的 x 坐標；Wi和 Wi+1分別為第 i 張和第 i+1 張煙葉預測框的寬度；S(i,i+1)為第i 張煙葉與第i+1 張煙葉的松散度，%。

若分散比O(i,i+1)≥50%，說明相鄰煙葉間無重合且松散度為100%；若分散比O(i,i+1)＜50%，說明相鄰煙葉間有重合，松散度越大則相鄰煙葉間重疊程度越低，散把情況越好。

1.3 模型訓練

模型在Windows 10 操作系統(tǒng)下運行，采用Pytorch 框架在NVIDIA GeForce RTX 3060 12GB GPU 上進行訓練和測試。將訓練集圖像分辨率縮小至640 px×640 px，利用改進后YOLOv5 模型進行訓練。模型參數(shù)設置：初始學習率為0.01，衰減方式為余弦退火（Cosine annealing）［13］，衰減率為0.000 5，采用自適應矩估計（Adam）優(yōu)化器，訓練輪次（epoch）為 300，每 3 輪 epoch 進行一次 warmup［14］操作，批次（batch）大小為32，錨框（Anchor）高寬比設為6，添加Mixup［15］數(shù)據(jù)增強并將其概率設為1。

1.4 模型評價指標

選用網(wǎng)絡的參數(shù)量（Parameters）、計算量（GFLOPS）、模型大?。╓eights）、每秒傳輸幀數(shù)（FPS）以及平均精確率（mean Average Precision，mAP）5 個指標評價模型性能。其中，Parameters、GFLOPS、FPS 可以在模型訓練時自動計算得到，Weights 取訓練結束后直接生成的網(wǎng)絡模型權重，mAP的計算方法為：

式中：TP（True Positives）為預測是正樣本并且預測正確的樣本數(shù)量，個；FP（False Positives）為預測是正樣本但預測錯誤的樣本數(shù)量，個；FN（False Negatives）為預測是負樣本并且預測錯誤的樣本數(shù)量，個；P 為查準率（Precision），衡量所有正樣本預測中正確預測的比例，%；R 為召回率（Recall），衡量所有正樣本中預測正確的比例，%；P（R）為以R 為參數(shù)的曲線（橫坐標為召回率R，縱坐標為查準率P）；AP（Average Precision）為單類別精確率，是查準率P（R）在［0,1］范圍內對R 進行積分，即P（R）曲線下的面積大??；mAP 為所有類別的平均精確率，%；C表示類別數(shù)，本研究中C=1。

對樣本進行預測時，利用公式（7）計算預測框（A）與真實框（B）之間的交并比。一般取IoU=0.5 計算mAP，即IoU≥0.5預測為TP，反之則為FP。

2 結果與分析

2.1 模型訓練結果

分別采用改進前后YOLOv5 模型對訓練集圖像進行訓練，結果見圖6?？梢?，改進后模型在前50 epoch 迅速收斂，在100 epoch 后趨于穩(wěn)定，并且平均精確率和損失值均優(yōu)于改進前YOLOv5模型。

圖6 改進前后YOLOv5模型訓練結果Fig.6 YOLOv5 model training results before and after modification

2.2 模型評價

在參數(shù)設置一致的前提下，對改進后模型進行消融實驗，結果見表2?？梢?，在原始YOLOv5 模型基礎上添加Ghost模塊后，網(wǎng)絡的參數(shù)量和計算量分別下降10.8%和11.1%，模型大小減少10.9%，平均精確率未下降，表明Ghost模塊對減少網(wǎng)絡參數(shù)量和計算量、改善網(wǎng)絡性能具有一定的作用；在原始YOLOv5模型基礎上添加ACIN模塊后，計算量增加14.0%，參數(shù)量和網(wǎng)絡模型大小分別減少1.7%和2.1%，平均精確率提升0.3 百分點；在原始YOLOv5模型基礎上加入Ghost模塊和ACIN模塊后，網(wǎng)絡參數(shù)量和模型大小分別減少12.8%和12.4%，計算量變化不大，平均精確率提高0.2 百分點，表明改進后的YOLOv5 模型具有良好的檢測效果且優(yōu)化了網(wǎng)絡結構。

表2 改進后YOLOv5模型消融實驗結果Tab.2 Ablation results of modified YOLOv5 model

如表3 所示，與當前主流的目標檢測模型相比，改進后YOLOv5 模型平均精確率優(yōu)于其他模型且參數(shù)量相對較少，檢測速度與原始YOLOv5 模型接近，達到32.25 幀/s，能夠滿足煙葉散把檢測的實時性要求。

表3 不同模型對比實驗結果Tab.3 Comparative experimental results of different models

2.3 散把程度檢測效果

如圖7 所示，利用測試集圖像驗證改進前后YOLOv5 模型的檢測效果?？梢?，改進后模型對煙葉檢測的精確率以及預測框的定位精準度均優(yōu)于改進前模型，有效提高了煙葉松散度計算結果的準確性。

圖7 改進前后YOLOv5模型對煙葉散把程度的檢測效果Fig.7 Detection effects of YOLOv5 models before and after modification on tobacco bundle-loosening degree

3 結論

采用 Ghost 模塊和 ACIN 模塊對 YOLOv5 模型的主干網(wǎng)絡和瓶頸層進行改進，對訓練集煙葉圖像訓練后建立了煙葉散把程度檢測模型。分別利用改進前后YOLOv5 模型進行訓練，結果表明：與原始YOLOv5 模型相比，改進后YOLOv5 模型在未明顯增加計算量的前提下，參數(shù)量減少12.8%，模型大小減小12.4%，平均精確率提升0.2 百分點，優(yōu)化了網(wǎng)絡結構，降低了模型復雜程度；改進后模型與YOLOv4、Efficientdet-d0、Faster R-CNN 等目標檢測模型相比，平均精確率、檢測速度均為最優(yōu)且參數(shù)量較少，有利于在工業(yè)環(huán)境下以及移動端進行部署，實現(xiàn)煙葉散把情況的實時檢測。