馬文寶，田芳明，譚峰

（黑龍江八一農(nóng)墾大學信息與電氣工程學院，大慶 163319）

人工智能正在改變著人類的生活，深度學習作為人工智能的一個應用方向，成為過去十年該研究領域取得的關鍵性成就之一，其在計算機視覺、圖像處理、語音分析識別和自然語言處理等場景下都取得了極大的突破[1-2]。例如，馬曉丹[3]采用神經(jīng)網(wǎng)絡實現(xiàn)了大豆葉片病斑區(qū)域的識別，識別準確率達到100%，證明了神經(jīng)網(wǎng)絡對農(nóng)作物病斑識別的可行性，同時為水稻、玉米等農(nóng)作物的葉片病斑識別提供理論依據(jù)。劉凱旋[4]設計了一種基于級聯(lián)R-CNN 的水稻害蟲檢測算法，算法使用了2 855 張照片，使用labelImg 標注水稻害蟲類別和位置后形成訓練集，然后進行模型訓練，最終多種害蟲檢測準確率平均值mAP 達到94.15%，檢測效果取得了較大提升。上述監(jiān)督學習模型需要利用幾萬、甚至幾十萬張標注數(shù)據(jù)訓練模型，如ImageNet 用于物體分類的數(shù)據(jù)集，分為2 萬個類別，共1 400 萬張圖像[5]，Microsoft COCO用于物體分類的數(shù)據(jù)集共250 萬張圖像。這些數(shù)據(jù)集數(shù)量十分龐大，并且大多數(shù)都是靠手工標注的，如亞馬遜的眾包平臺亞馬遜土耳其機器人（AMT，Amazon mechanical turk）數(shù)據(jù)標注[6]。這種方式雖然為社會提供了就業(yè)機會，但是其標注成本高且效率低，存在費時耗力的問題。因此，如何提升標注效率，降低標注成本，成為研究人員進行深度學習研究所面臨的一個重要問題。針對上述問題，以農(nóng)業(yè)圖像研究方向中水稻莖葉病斑標注為目標，提出基于YOLOv5 改進的圖像自動標注方法。

1 實驗材料與設計

1.1 實驗材料

在Kaggle 上下載600 張水稻莖葉病斑圖片組成了實驗使用的數(shù)據(jù)集，圖片中包含許多小目標病斑和數(shù)量密集的病斑，可以用來訓練模型對小目標和密集目標的感知。圖片挑選后用LabelImg 軟件手工標注，采用txt 格式的標注文件進行訓練，標注后的圖像如圖1 所示。研究將數(shù)據(jù)集中的600 張圖片以3∶1 的比例進行劃分，其中450 張圖片作為訓練集，150 張圖片作為驗證集。

圖1 標注后的水稻莖葉病斑圖像Fig.1 Marked image of disease spots on rice stems and leaves

1.2 實驗環(huán)境

實驗的操作系統(tǒng)為Windows11，CPU 型號為Intel（R）Core（TM）i5-12400F CPU @ 2.5 GHz，運行內(nèi)存為16 GB。GPU 型號為NVIDIA GeForce RTX 3060，顯存為12 GB，硬盤為500 GB。代碼測試環(huán)境使用的Pytorch 的版本為1.11，Python 的版本為3.7.11，使用CUDA11.3.1 和CUDNN8.2.1 對GPU 進行加速。

1.3 實驗設計

為了驗證改進模型的有效性，并且能夠?qū)崿F(xiàn)植物病斑圖像的快速標注，搭建了Python 和Pytorch 的實驗環(huán)境，通過Kaggle 平臺下載的水稻病斑圖像進行手動標注，對YOLOv5 模型結(jié)構(gòu)進行改進，為了驗證改進的有效性，在水稻莖葉病斑圖像上實驗，然后驗證結(jié)論的有效性[7]。實驗流程如圖2 所示。

圖2 實驗流程Fig.2 Experimental flow

2 YOLOv5 結(jié)構(gòu)的改進

2.1 改進YOLOv5 模型結(jié)構(gòu)

YOLOv5 的網(wǎng)絡結(jié)構(gòu)由Input、Backbone、Neck 和Prediction 四部分構(gòu)成[8]，對YOLOv5 網(wǎng)絡結(jié)構(gòu)進行改進，其中，將FPN（Feature Pyramid Networks）改進為加權雙向特征金字塔網(wǎng)絡BiFPN（Bidirectional Feature Pyramid Network），相比FPN 來說BiFPN 增加了雙向交叉尺度連接和加權特征融合，可以更加方便、快速的進行多尺度特征融合。由于Backbone 部分是由多層卷積層堆疊，導致特征提取并不充分和模型泛化能力差，將ViT（Vision Transformer）模型引入Backbone 部分，將C3 與ViT 結(jié)合形成C3TR 模塊，用來提升Backbone 部分的特征提取能力。同時將YOLOv5 中的IoU（Intersection of Union）函數(shù)替換為CIoU 損失函數(shù)，使預測框更加符合真實框。嘗試將C3TR 模塊替換YOLOv5 網(wǎng)絡結(jié)構(gòu)中不同位置的C3模塊，主要分為兩種替換方式。其中第一種替換方式是將SPPF 之前的C3 模塊進行替換，為了方便區(qū)分并命名為YOLOv5-TR-BiFPN。另外一種替換方式是除了替換SPPF 前的C3 模塊為C3TR 模塊，并將Neck 部分中的3 個用于特征提取的C3 模塊替換為C3TR 模塊，并命名為YOLOv5-TR-BiFPN-1。以上兩種結(jié)構(gòu)如圖3 所示。

圖3 改進的YOLOv5-TR-BiFPN 結(jié)構(gòu)Fig.3 Improved YOLOv5-TR-BiFPN structure

2.2 Vision Transformer 模塊

Transformer 是由谷歌在2017 年針對自然語言處理領域提出的模型。由于更早的RNN（Recurrent Neural Network）模型記憶長度有限且無法并行化，Transformer 克服了RNN 的問題，在自然語言處理領域引來極大的震動。最近一些文章創(chuàng)新性地將Transformer 技術跨領域地引入到計算機視覺任務中，開創(chuàng)了視覺領域的新時代。2020 年10 月谷歌的Dosovitskiy 等人提出了ViT（Vision Transformer）模型，主要由Embedding、Transformer Encoder、MLP Head三層構(gòu)成，是基于自注意力機制的圖像分類方案。

ViT 模型為了將圖像轉(zhuǎn)化成Transformer 結(jié)構(gòu)可以處理的序列數(shù)據(jù)，引入了圖像塊（patch）的概念。首先將二維圖像做分塊處理，每個圖像塊展平成一維向量，接著對每個向量進行線性投影變換（Linear Projection of Flattened Patches），同時引入位置編碼[9]（Position Embedding），加入序列的位置信息，在輸入的序列數(shù)據(jù)之前添加了一個分類標志位（class），更好地表示全局信息[10]，然后將這些信息輸入到Transformer Encoder 模塊中進行編碼，在Transformer Encoder 模塊中引入了多頭注意力機制[11]（Multi-Head Attention），多頭注意力機制能夠聯(lián)合來自不同head部分學習到的信息，因此可以學習到多種目標的特征。通過Transformer Encoder 后輸出和輸入的形狀是保持不變的，由于ViT 模型是分類模型，所以要提取出分類標志位（class）中生成的對應的分類結(jié)果，將其傳遞給MLP Head，MLP Head 模塊由全連接層組成，通過MLP Head 可以得到最終的分類結(jié)果，ViT模型結(jié)構(gòu)如圖4 所示。

圖4 ViT 和Transformer Encoder 結(jié)構(gòu)圖Fig.4 Structure diagram of ViT and transformer encoder

將ViT 模型進行修改與YOLOv5 中的C3 卷積模塊融合形成C3TR 卷積模塊，并嵌入到Y(jié)OLOv5 模型的Backbone 中，增強Backbone 的特征提取能力。曾嘗試將YOLOv5 中所有卷積模塊替換為C3TR 卷積模塊[12]，但是運算量太大，GPU 內(nèi)存被占滿，導致訓練不能繼續(xù)。將YOLOv5 的Backbone 部分C3 模塊和Neck 部分C3 模塊分別替換為C3TR 卷積模塊時雖然能夠訓練，但是模型運算量依然很大，GPU 內(nèi)存最多只能運行一個batch_size，訓練結(jié)果也不夠理想。經(jīng)過測試與對比發(fā)現(xiàn)只將SPPF 模塊前的一個卷積模塊替換為C3TR 卷積模塊，可以達到一個良好的訓練結(jié)果，所以，將改進后的ViT 模型融合到Y(jié)OLOv5的Backbone 部分。

2.3 加權雙向特征金字塔

多尺度特征融合就是融合不同分辨率的特征圖，方法存在各個尺度的特征信息不一致的問題，所以，Tan 等[13]提出了加權雙向特征金字塔（Bidirectional Feature Pyramid Network，BiFPN），BiFPN 采 用高效的雙向交叉尺度連接的方案，其結(jié)構(gòu)圖如圖5所示，因為只有一個輸入邊界且沒有特征融合的節(jié)點信息量有限，對融合不同特征的特征網(wǎng)絡沒有太大貢獻，所以，BiFPN 通過移除這些節(jié)點來簡化雙向網(wǎng)絡，同時也能減少計算量。另外就是加權特征圖融合，為了在不增加成本的情況下融合更多的特征，并增強特征的表示能力，在原始輸入到輸出節(jié)點處于同一水平的時候增加一條殘差邊，BiFPN 將每個雙向路徑當作一個特征網(wǎng)絡層同時重復多次，從而實現(xiàn)更高層次的特征融合，由于不同輸入特征的不同分辨率對輸出特征的貢獻不同[14]，所以針對融合的各個尺度特征增加一個權重，調(diào)節(jié)每個尺度特征的貢獻度，并讓模型學習每個不同權重的輸入特征[15]。BiFPN 采用Fast normalized fusion 加權融合方法，每個標準化權重的取值范圍為（0，1），但是由于沒有softmax 操作，因此效率更高，從而提高檢測速度。為了更好地平衡不同尺度的特征信息，更高效的進行多尺度特征融合，將YOLOv5 結(jié)構(gòu)中的FPN 改進為BiFPN。

圖5 BiFPN 結(jié)構(gòu)圖Fig.5 Structure diagram of BiFPN

2.4 CIoU 損失函數(shù)

YOLOv5 模型的Bounding Box 損失則采用了GIoU 損失函數(shù)計算損失，GIoU（Generalized Intersection over Union）解決了IoU（Intersection over Union）檢測框和真實框沒有重疊時Loss 等于0 問題。但是當檢測框和真實框出現(xiàn)包含的時候GIoU 退化成IoU，當兩個框相交時，在水平和垂直方向上收斂變慢[16]。DIoU 要比GIou 更加符合目標框回歸的機制，將目標與anchor 之間的距離，重疊率以及尺度都考慮進去，使得目標框回歸變得更加穩(wěn)定，不會像IoU和GIoU 一樣在訓練過程中出現(xiàn)發(fā)散的問題。CIoU（Complete-Intersection over Union）相比DIoU 充分考慮了預測框的長寬比和目標框之間的長寬比的一致性[17]，從而提升預測框接近真實框的概率，所以，將YOLOv5 中計算Bounding box 的損失函數(shù)由GIoU 改進為CIoU，在使用預測框標注圖像時可以使預測框更加接近真實框的位置。CIoU Loss的計算公式如式（1）所示。

其中ρ2（b，bgt）分別代表了預測框和目標框的中心點的歐氏距離，c 代表的是最小包圍兩個邊界框的閉包區(qū)域的對角線距離，v 代表目標框和anchor 框之間的長寬比相似度，α 是權重函數(shù)[18]，α 和v 的公式如式（2）所示，其中分別代表目標框和預測框的寬高比。

2.5 CIOU-NMS

非極大值抑制（Non Maximum Suppression，NMS），在計算機視覺任務中都有廣泛應用，例如邊緣檢測、目標檢測等，NMS 中需要計算當前得分最高的檢測框和其他檢測框之間對應的IoU 值，并將超過閾值的預測框全部過濾。由此可以知道在傳統(tǒng)的NMS 中IoU 值的作用是控制預測框是否被濾除。但是在IoU 值比較大時，NMS 會出現(xiàn)濾除過多的現(xiàn)象，導致很多對象沒有目標框產(chǎn)生漏檢，所以NMS 的IoU 設置要同時考慮到預測框與真實框的重疊面積、中心點距離、長寬比等方面因素，這樣才能剩下位置更加準確的目標框[19]。但是IoU 只考慮到了預測框與真實框重疊區(qū)域，并沒有考慮到中心點距離、長寬比。CIoU 克服了IoU 的缺點，CIoU 同時兼顧了預測框與真實框的重疊面積、長寬比、中心點距離[20]，這樣過濾后剩下的預測框就會更加的符合現(xiàn)實場景的使用，因此，將YOLOv5 中的IoU-NMS 改進為CIoUNMS，這樣就可以保證濾除掉多余預測框之后剩下的預測框與真實框位置最接近，保證圖像中的每一個目標都被預測框選中。CIoU 的公式如式（3）所示，傳統(tǒng)NMS 計算公式（4）。

其中si代表每個邊框的得分，M 為當前得分最高的框，bi為剩余框的某一個，Ni為設定的閾值，可以看到，當IoU 大于Ni時，邊框的得分直接置0，相當于被舍棄掉了，這就會造成邊框被過濾導致目標漏檢，而CIoU-NMS 考慮了中心點距離、長寬比，認為兩個中心點較遠同時IoU 比較大的Box 可能位于不同的對象上，不會將其刪除，這樣就會降低目標漏檢的概率。CIoU-NMS 的計算公式如式（5）所示：

3 實驗

3.1 實驗參數(shù)設置

為了測試相同條件下不同模型的性能，在模型訓練過程中均使用相同的數(shù)據(jù)集和參數(shù)設置，并對訓練結(jié)果進行對比，部分訓練參數(shù)設置如表1 所示。

表1 參數(shù)設置Table 1 Parameter settings

3.2 模型訓練算法

模型輸入為水稻病斑圖像及標注文件，模型的輸入初始化參數(shù)包括學習率、批量大小、動量、IoU 閾值、yaml 配置文件、數(shù)據(jù)增強系數(shù)和訓練輪數(shù)，在準備的數(shù)據(jù)集基礎上，分別加載訓練集和測試集，對輸入圖像進行預處理，包括調(diào)整圖像大小和數(shù)據(jù)增強，其中，數(shù)據(jù)增強包括Mosaic、Mixup、Copy_paste 等，預處理后加載初始化參數(shù)、配置和數(shù)據(jù)集，然后，加載網(wǎng)絡模型并對輸入圖像進行處理，隨著epoch 增加不斷更新學習率篩選出最佳模型，保存權重文件和AP、mAP 等指標數(shù)據(jù)。

3.3 評價指標

實驗使用平均精度均值mAP（mean Average Precision）、準確率P（Precision）、平均準確率AP（Average Precision）、召回率R（Recall）、F1 值（F1-score）等評價指標對模型進行評價，計算公式如式（6）所示，其中TP 為正類樣本被模型預測為正類的比例；TN 為負類樣本被模型預測為負類的比例；FP為負類樣本被模型預測為正類的比例；FN 為正類樣本被模型預測為負類的比例[21]。

3.4 實驗結(jié)果與分析

基于YOLOv5s 改進了模型結(jié)構(gòu)，在訓練時將改進后的YOLOv5-TR-BiFPN 模型先在coco128 上進行300 輪預訓練獲得訓練權重，然后使用預訓練權重在手動標注的水稻莖葉病斑圖像數(shù)據(jù)集上進行200輪訓練，訓練獲得mAP_0.5 達到73%，mAP_0.5∶0.95達到35%，準確率Precision 達到86.3%，召回率Recall 達到86%，如圖6 所示。

圖6 改進后的YOLOv5-TR-BiFPN 模型訓練結(jié)果Fig.6 Improved YOLOv5-TR-BiFPN model training results

研究對YOLOv5 模型結(jié)構(gòu)進行了改進。由于ViT基于自注意力機制的圖像分類方案具有優(yōu)秀的分類表現(xiàn)，因此，研究將ViT 和YOLOv5 結(jié)構(gòu)中的C3 模塊結(jié)合形成C3TR，并用C3TR 替換YOLOv5 結(jié)構(gòu)中原有的C3 模塊，用于提升YOLOv5 的模型準確率。由于YOLOv5 中采用了很多C3 模塊，因此替換不同位置的C3 會得到不同的效果，研究只采用兩種替換方案分別命名為YOLOv5-TR-BiFPN 和YOLOv5-TR-BiFPN-1。另外，研究將BiFPN 融入到Y(jié)OLOv5結(jié)構(gòu)中，用于增強YOLOv5 的特征提取能力。為了能夠分析出每一項改進對YOLOv5 的影響，分別訓練YOLOv5s、YOLOv5-TR、YOLOv5-BiFPN、YOLOv5-TR-BiFPN 和YOLOv5-TR-BiFPN-1 五種結(jié)構(gòu)的模型，最終對比改進模型獲得的效果。五種模型訓練的準確率對比如圖9 所示，mAP 值如圖7 所示。

圖7 五種模型訓練平均準確率對比Fig.7 Comparison of mAP_0.5 of five models

將五種模型訓練后，通過準確率對比圖、平均準確率對比圖，可以看到Y(jié)OLOv5-TR-BiFPN 和YOLOv5-TR-BiFPN-1 兩個模型的收斂速度相對于另外三個模型來說較快，并且YOLOv5-TR-BiFPN的平均準確率最高。改進后的YOLOv5-TR-BiFPN相比YOLOv5s 模型的平均準確率（mAP）提升了3.8%，召回率（Recall）提升了3%，F(xiàn)1 值提升了3%，權重大小相差0.1 M，訓練結(jié)果詳細對比如表2 所示。

表2 模型訓練結(jié)果對比Table 2 Comparison of model training results

從表2 中可以看到Y(jié)OLOv5-TR-BiFPN 結(jié)構(gòu)模型的訓練效果最好，所以，將改進結(jié)構(gòu)訓練獲得效果最好的權重文件進行模型驗證，采用訓練過程所使用的一部分圖像對模型進行驗證。同一幅手動標注的圖像和驗證模型標注的圖像見圖8 和圖9。經(jīng)過對比可知，圖8 中一塊未標注的病斑在圖9 模型驗證過程中被成功標注。因此，該模型可準確標注病斑，達到了預期效果。

圖8 數(shù)據(jù)集中手動標注的圖像Fig.8 Manually labeled images in data set

圖9 驗證模型自動標注的圖像Fig.9 Image of automatic annotation of verification model

3.5 小樣本條件下結(jié)果驗證

為了驗證上述綜合表現(xiàn)較好的YOLOv5-TRBiFPN 模型在少量訓練樣本情況下的適用性和不同種類植物病斑的適用性，研究將60 張標注后的水稻莖葉病斑圖像劃分出30 張圖像做訓練集，30 張圖像做驗證集。并且將上述YOLOv5-TR-BiFPN 模型訓練后的權重文件作為初始訓練權重。對從Kaggle 網(wǎng)站下載的60 張水稻莖葉病斑圖像進行手動標注，標注后的水稻莖葉病斑圖像如圖10 所示。為了方便衡量模型的可用性，驗證模型的訓練初始化參數(shù)與表1中參數(shù)保持一致。

圖10 手動標注的水稻莖葉病斑圖像Fig.10 Manually labeled image of rice stem and leaf disease spot

在水稻莖葉病斑圖像數(shù)據(jù)集下，經(jīng)過200 輪訓練之后獲得的訓練平均準確率mAP 達到了89.3%，準確率Precision 達到84.1%，召回率Recall 到達88.5%，F(xiàn)1 值達到86%，模型測試結(jié)果匯總?cè)绫? 所示，整體上該模型表現(xiàn)優(yōu)秀，表明YOLOv5-TRBiFPN 在小樣本條件下可以準確標注病斑圖像。由于訓練采用了之前水稻數(shù)據(jù)集訓練后的權重文件作為初始權重，所以在訓練開始階段具有了比較優(yōu)秀的表現(xiàn)，訓練曲線在經(jīng)歷一定起伏之后不斷上升，最終模型快速達到收斂狀態(tài)，mAP 訓練曲線在200 輪時整體趨于穩(wěn)定，并最終穩(wěn)定在89.3%，mAP 曲線如圖11 所示。

表3 水稻莖葉病斑數(shù)據(jù)集下YOLOv5-TR-BiFPN 模型測試結(jié)果Table 3 Test Results of YOOv5-TR-BiFPN model under rice stem and leaf disease spot data set

圖11 模型在水稻莖葉病斑圖像數(shù)據(jù)集中訓練過程的mAP 曲線Fig.11 mAP curve of the training process of the model in rice stem and leaf disease spot image data set

使用上述訓練過程中產(chǎn)生的權重文件進行水稻莖葉病斑圖像自動標注的驗證，驗證結(jié)果如圖12 所示，從圖中可以看到模型將水稻莖葉上所有病斑都進行標注，并且預測概率大部分都在0.9 左右，由此可以得知經(jīng)過改進的YOLOv5-TR-BiFPN 模型能夠在少量訓練樣本的情況下快速收斂，可以準確的定位圖像中病斑位置且進行標注，同時對圖像中較小的病斑也能夠準確標注。

圖12 驗證模型的標注結(jié)果圖像Fig.12 Annotation result image of verification model

4 結(jié)論

將YOLOv5 模型結(jié)構(gòu)改進為YOLOv5-TRBiFPN 模型結(jié)構(gòu)，把BiFPN 和ViT 融入到Y(jié)OLOv5-TR-BiFPN 結(jié)構(gòu)中，增強了YOLOv5-TR-BiFPN 模型的感受野和對目標的精確定位能力，從而提高了模型的標注精度，并且采用CIoU 計算Loss 和NMS 提高目標框的準確度。實驗結(jié)果表明，YOLOv5-TRBiFPN 模型平均準確率達到了73%，相比YOLOv5s提高了3%，能夠?qū)λ厩o葉上的小病斑和密集病斑獲得良好的標注效果。在少量水稻莖葉病斑圖像數(shù)據(jù)下測試，YOLOv5-TR-BiFPN 模型的mAP_0.5 達到89.3%，且快速收斂，證明YOLOv5-TR-BiFPN 模型可以在少量樣本的情況下能夠?qū)Σ“邎D像進行快速標注。這為農(nóng)作物病斑圖像自動標注提供了可能，同時為各專業(yè)研究領域標注專用圖像數(shù)據(jù)集提供了一種快速標注方法，具有較高的應用價值。