劉正波,鮑義東,孟慶偉

(貴州航天智慧農(nóng)業(yè)有限公司,貴陽 550081)

我國是世界第一大產(chǎn)棉國,同時也是世界第一大棉花進口國,這也造就了中國成為世界紡織大國的地位[1].棉花作為種植作物中產(chǎn)業(yè)鏈最長的大田經(jīng)濟作物,集大宗農(nóng)產(chǎn)品和紡織工業(yè)原料為一身,在國民經(jīng)濟中占有重要地位.棉花產(chǎn)業(yè)屬于勞動密集型產(chǎn)業(yè),傳統(tǒng)的棉花種植采摘技術落后,需要大量的人力物力,隨著勞動力成本的增長,棉花采摘機械化成為必然趨勢.我國采棉機的發(fā)展起步較晚,雖然在不斷進步,但是對棉花采摘的采凈率和除雜率上還有待提高.傳統(tǒng)采棉機相比人工采摘雖然在采摘效率上有較大提升,但采摘的同時降低了棉花的品質(zhì),并且采棉機在采摘結(jié)束后仍有較多棉花在棉桿上,導致單位面積的棉花減產(chǎn)[2].因此,智能采棉機成為了降低勞動成本、提高棉花產(chǎn)量和棉花質(zhì)量的必要途徑.智能采棉機是根據(jù)棉花自然成熟周期進行多批次精準采摘,采摘關鍵在于對單個棉花實現(xiàn)精準識別與定位.傳統(tǒng)機器視覺在采用圖像預處理、閾值分割、特征提取等方法上對作物識別和檢測上取得了較好效果,但是對于多個目標重疊、障礙物遮掩等情況還是會出現(xiàn)漏采和誤采.

近年來,計算機視覺技術發(fā)展迅速,視覺技術廣泛運用于農(nóng)業(yè)領域,解決農(nóng)作物或雜草檢測、作物疾病檢測等難題.在棉花檢測領域,目前研究集中對采棉機器人配備的攝像機采集的棉花圖片進行識別與分割,少有研究考慮到田間實際采摘中復雜環(huán)境.Wang 等[3]提出一種基于RGB 顏色空間分布的棉花檢測算法用于采棉機器人,并采用Freeman 鏈碼提高識別準確率.韋皆頂?shù)萚4]提出基于HSV 彩色模型的棉花飽和度圖像分割算法,能夠很好地將棉花和背景分割開來,并且受光照影響較小,但無法處理田間棉花葉片遮擋等情況.劉坤等[5]提出一種基于RGB 彩色空間模型和Hough變換的棉桃識別技術,能準確識別自然環(huán)境中被遮擋的棉花.陳欽政等[6]結(jié)合最大類間方差法提出了一種在OHTA 顏色空間下基于支持向量機的棉花圖像分割算法,提高了分割的準確度和實用性,但對復雜環(huán)境采棉適用度不高.盡管文獻[3-7]已提出一系列高精度棉花檢測和分割算法,但是這些方法都采用手工提取特征方式進行識別,算法魯棒性不強,并且沒有綜合考慮田間棉花采摘復雜背景、葉片遮擋和棉花重疊等情況,難以用于田間棉花采摘.因此本文提出一種基于改進YOLOv4的棉花檢測算法,應用于采棉機器人進行田間棉花采摘.

1 算法理論基礎

1.1 YOLOv4 算法

YOLOv4[7]算法在YOLOv3[8]算法基礎上,從數(shù)據(jù)處理、訓練方法、激活函數(shù)、損失函數(shù)、網(wǎng)絡結(jié)構(gòu)等方面做出不同程度優(yōu)化,使算法模型在目標檢測速度和精度上達到當前最優(yōu)平衡.

YOLOv4 在YOLOv3 損失函數(shù)基礎上使用CIoU(Complete Intersection over Union) 損失替代MSE(Mean Square Error)損失作為回歸框預測損失.損失函數(shù)可分為回歸框預測損失LCIoU、置信度損失LConf、分類損失Lcls三部分.

回歸框預測損失LCIoU表示為:

其中,IoU為預測框與真實框的交并比,b為預測框中心點,bgt為真實框中心點,ρ為兩個框中心點間的歐式距離,c是同時包含預測框和真實框的最小封閉區(qū)域的對角線距離,av是對長寬比的懲罰項.v表示度量長寬比的相似性系數(shù),定義為:

其中,wgt為真實框?qū)挾?hgt為真實框高度,w為預測框?qū)挾?h為預測框高度.a為長寬比的懲罰項系數(shù),具體定義為:

置信度損失LConf為:

式(5)中,S2表示網(wǎng)格劃分網(wǎng)格數(shù),B是每個網(wǎng)格中先驗框個數(shù),表示預測邊界框包含目標,表示預測的邊界框不包含目標,為預測置信度,為實際置信度,λnobj為預先設定的參數(shù)值.分類損失Lcls表示為:

式中,c表示檢測目標所屬分類,和分別表示單元格目標屬于類別c的實際概率與預測概率.

YOLOv4 目標檢測算法的網(wǎng)絡結(jié)構(gòu)如圖1所示,主要包括特征提取網(wǎng)絡CSPDarkNet53、空間金字塔池化網(wǎng)絡SPP和特征聚合網(wǎng)絡PANet 三部分.CSPDarkNet53作為YOLOv4 算法的主干特征提取網(wǎng)絡,是在Dark-Net53 網(wǎng)絡的基礎上改進而來.CSPDarkNet53 包含5 個CSPNet 模塊,首先將輸入特征劃分為兩部分,對輸入特征進行卷積和批量歸一化處理后,使用Mish 激活函數(shù)激活,最后跨階段融合兩部分特征,在復雜度增加較小的情況下提高了模型整體的穩(wěn)定性和準確性,輸出更加平滑并且很好的解決了梯度飽和的問題.CSPDarkNet53將DarkNet53的5 個殘差模塊替換為CSPNet 模塊,CSPNet 模塊中主干提取部分和殘差邊分離的結(jié)構(gòu)能夠更好的提取圖像特征,在保持輕量化的同時保持較高準確率、降低計算量.主干特征提取網(wǎng)絡CSPDarkNet53充分提取圖像特征后,將后3 個CSPNet 模塊提取的不同尺度圖像特征傳入SPP 網(wǎng)絡和PANet 網(wǎng)絡進行特征融合.

圖1 YOLOv4 算法網(wǎng)絡結(jié)構(gòu)

對CSPDarkNet53 網(wǎng)絡最后一個特征層進行一次特征卷積后,特征傳入SSP 網(wǎng)絡,利用SSP 網(wǎng)絡中4 種不同尺度最大池化核充分融合圖像特征,極大增加感受野,分離得到顯著的上下文特征來.PANet 結(jié)構(gòu)是由卷積操作、上采樣操作、特征層融合、下采樣操作構(gòu)成的循環(huán)金字塔結(jié)構(gòu).對傳入的圖像特征進行反復的特征提取,自底而上融合從主干網(wǎng)絡不同特征層提取的特征,形成強定位特征,進一步提高特征提取和定位能力.從PANet 提取的特征輸出為3 個不同尺度YOLOHead 預測層,預測層信息包括目標得分、預測錨框尺寸坐標、分類置信度等.利用YOLOHead 預測層的信息對錨框的位置、尺寸做出適當調(diào)整,利用目標得分篩除掉部分錨框,最后通過非極大值抑制將3 個預測層的結(jié)果合并,得到最終預測結(jié)果.

1.2 錨框計算

YOLOv4 目標檢測算法的默認錨框是在Coco 數(shù)據(jù)集上使用聚類算法計算得出的通用尺寸,Coco 數(shù)據(jù)中包含各種不同的檢測目標,目標的尺寸比例差別較大,因此錨框的尺寸也不盡相同,在實際應用場景中需要根據(jù)數(shù)據(jù)集,計算相應的錨框尺寸.由于棉花圖片數(shù)據(jù)庫網(wǎng)絡資源有限,本文采用自建的棉花數(shù)據(jù)集,棉花在不同圖像中的形狀基本一致,因此可以針對棉花的實際形狀大小計算相應錨框尺寸.

采用K-means 聚類算法計算錨框尺寸,具體計算步驟如圖2所示.首先讀取數(shù)據(jù)集中歸一化的錨框尺寸大小,錨框的寬、高組成坐標點作為待分類數(shù)據(jù),并隨機初始化9 個聚類中心.計算各個錨框坐標點與聚類中心錨框之間的交并比(Intersection over Union,IoU),以(1-IoU)作為坐標之間的相對距離,距離最小的聚類中心為對應錨框的分類,把各個類別的中心坐標作為下一次迭代的聚類中心.不斷重復上述過程,直至聚類中心不再變化,把此時的9 個聚類中心作為最終的得到的錨框尺寸.使用K-means 算法計算得到的錨框尺寸更適合當前數(shù)據(jù)集,實現(xiàn)單株棉花的精準檢測.

圖2 K-means 算法計算錨框尺寸

1.3 數(shù)據(jù)增強

自然環(huán)境下棉花檢測任務面向復雜田間環(huán)境,檢測精度不僅受到葉片遮擋、多簇棉花重疊等因素的影響,還需要考慮天氣、棉花尺寸形態(tài)、自然光照等自然因素.因此除了要在數(shù)據(jù)采集的過程中考慮以上因素,盡可能多的采集各種不同場景和自然條件下的棉花圖片作為數(shù)據(jù)集,也要通過數(shù)據(jù)增強方法對數(shù)據(jù)集圖片做出處理,提高模型的魯棒性.

數(shù)據(jù)增強分為離線增強和在線增強兩種方式.離線數(shù)據(jù)增強主要用于數(shù)據(jù)量較小的數(shù)據(jù)集,直接處理原始數(shù)據(jù)集圖片,新數(shù)據(jù)圖片數(shù)量擴增為原數(shù)據(jù)集圖片的n倍 (n為數(shù)據(jù)增強因子),主要用來防止過擬合.在線增強是在讀取一批次數(shù)據(jù)集圖片后,對圖片數(shù)據(jù)進行增強操作,提高模型在不同場景中泛化能力.主要處理流程是先對數(shù)據(jù)集圖片作離線增強,對圖片進行翻轉(zhuǎn)、裁剪、旋轉(zhuǎn)、縮放、平移和添加噪聲等操作,得到的數(shù)據(jù)集大小為原數(shù)據(jù)集的3 倍.在訓練過程中,YOLOv4 自帶的Mosaic 數(shù)據(jù)增強操作對片進行處理.Mosaic 數(shù)據(jù)增強的效果如圖3所示,首先讀入4 張圖片,對圖片作翻轉(zhuǎn)、縮放、色域變換等操作,然后以矩陣的形式截取圖片的固定區(qū)域并將其拼接為一張圖片,極大的豐富檢測物體的背景,提升檢測算法的魯棒性.

圖3 Mosaic 數(shù)據(jù)增強

1.4 網(wǎng)絡模型改進

在田間實際場景中對棉花進行檢測時,由于復雜背景的影響,以及葉片和枝丫對棉花的遮擋,常規(guī)的目標檢測算法受到置信度的影響,往往會漏檢部分棉花從而造成損失.為了讓檢測網(wǎng)絡學習到細致的局部信息,并融合全局信息做出更加準確的判斷,避免誤檢測和漏檢測,可采取增大全局感受野的方式,捕獲更多的圖像特征描述圖片.

對YOLOv4的特征提取網(wǎng)絡做出改進,改進后網(wǎng)絡結(jié)構(gòu)如圖4所示,將SENet (Squeeze-and-Excitation Networks) 結(jié)構(gòu)嵌入到Y(jié)OLOv4 主干特征提取網(wǎng)絡CSPDarkNet53的Residual 模塊中,得到SE-Residual殘差塊.用SE-Residual 替換原有的Residual 模塊,加大特征提取網(wǎng)絡的全局感受野,增強特征提取能力,從而能有效減少環(huán)境背景和障礙物遮擋對棉花檢測的影響,避免誤檢測和漏檢測.SENet是Hu 等[9]在2017年提出,網(wǎng)絡結(jié)構(gòu)如圖4所示,主要包括Squeeze、Excitation和Scale 三部分.SENet中的Squeeze 部分用全局池化層順著空間維度進行特征壓縮,在各個通道上得到具有全局感受野的實數(shù).Excitation 模塊接著使用兩個全連接層結(jié)構(gòu)對各個通道的重要性進行預測,得到不同通道重要性.最后Scale 部分將提取得到的通道重要性作用到全局特征上.SENet 在減少參數(shù)的同時,對各個通道的特征進行加權(quán)操作,各個通道的信息交互,強化有效信息,抑制無效信息,提高網(wǎng)絡準確率.

圖4 YOLOv4 改進算法網(wǎng)絡結(jié)構(gòu)

2 實驗結(jié)果與分析

2.1 實驗數(shù)據(jù)集

實驗數(shù)據(jù)集主要在棉田內(nèi)實際拍攝取得,為充分反映棉田內(nèi)真實的棉花采摘情況,在不同天氣情況下從不同的角度對棉花植株的棉花進行拍攝.并通過互聯(lián)網(wǎng)獲取部分棉花圖片對數(shù)據(jù)集進行擴充,經(jīng)過篩選后選取6000 張相關圖片作為初始數(shù)據(jù)集,然后使用離線數(shù)據(jù)增強方法對數(shù)據(jù)集圖片翻轉(zhuǎn)、縮放、平移和加噪聲操作,進一步擴充數(shù)據(jù)集,最終得到的實驗數(shù)據(jù)集包含18 000 張相關圖片.如圖5所示,數(shù)據(jù)集圖片主要包括單個棉花、多個棉花重疊、遮掩棉花和非棉花4 種情況.

圖5 棉花數(shù)據(jù)集

數(shù)據(jù)集獲取后需要對其進行標注,所使用標注軟件為labelImg,該軟件免費且操作簡單,只需對圖片中單個棉花的區(qū)域使用錨框標注為Cotton.選用標注格式為PASAL VOC2007,然后利用隨機函數(shù)將數(shù)據(jù)集隨機分成訓練集和測試集,其中訓練集和測試集圖片數(shù)量比例為5:1,在訓練集中再細分為訓練集和驗證集比例為9:1.

2.2 實驗分析

試驗在高性能計算平臺上進行,平臺操作系統(tǒng)為Windows10,實驗開發(fā)平臺的配置為:CPU 選用Intel(R)Core (TM) i7-8700,GPU 選用 NVIDIA GeForce RTX 2070,內(nèi)存為16 GB.加載軟件環(huán)境有Pycharm、Python3.7、Cuda10.2.模型通過PyTorch 深度學習框架搭建.

在深度學習模型的訓練上,采用遷移學習的方式通過預訓練模型進行訓練.遷移學習的方式減少了構(gòu)建深度學習模型所需的訓練數(shù)據(jù)和計算力,降低了模型的訓練時間,能很好解決小數(shù)據(jù)集容易在復雜網(wǎng)絡結(jié)構(gòu)上的過擬合問題.首先對公開數(shù)據(jù)集Coco 數(shù)據(jù)集來獲得預訓練模型,然后用棉花數(shù)據(jù)集基于預訓練模型進行遷移學習.遷移學習先凍結(jié)特征提取網(wǎng)絡前端訓練50 個Epoch,利用已經(jīng)訓練好具有較強特征提取能力的預訓練模型先進行特征提取,然后根據(jù)訓練集/測試集對特征融合網(wǎng)絡和分類檢測網(wǎng)絡的參數(shù)進行微調(diào),最后對整個網(wǎng)絡的參數(shù)進行訓練和調(diào)整并輸出最后的分類檢測結(jié)果.

采用查準率P和查全率R作為評價檢測算法性能的指標,查準率P和查全率R的計算公式為:

其中,真正例TP表示在棉花存在的網(wǎng)格單元中,同時滿足置信度大于0.8、預測框與真實框的IoU大于0.5、預測類別正確3 個條件.假正例FP中包含兩種情況,一種是在棉花存在的網(wǎng)格單元中,置信度大于0.8 但不是真正例,另一種是在棉花不存在的網(wǎng)格單元中,置信度大于0.8.假反例FN代表在棉花存在的網(wǎng)格單元中,置信度小于0.8.

在網(wǎng)絡的訓練上對每種算法模型重復3 次,每次訓練650 個Epoch,具體訓練參數(shù)設置為:批處理數(shù)為16,梯度優(yōu)化選用Adam 算法,初始學習率為0.001,每50 次迭代后學習率衰減為原來的1/10,動量為0.9,衰減系數(shù)為0.0005,分類置信度閾值為0.8,IoU閾值為0.5.

改進算法的訓練的損失值、查準率和查全率曲線如圖6所示,在使用遷移學習方法后,損失值在200 次迭代后趨近0,查準率和查全率曲線在迭代300 次后逐漸趨于平穩(wěn),并且穩(wěn)定后的查準率和查全率都在90%以上,結(jié)果如圖6所示.

圖6 YOLOv4 改進算法

本文提出的YOLOv4 改進算法與YOLOv3 算法、YOLOv4 算法及其改進結(jié)構(gòu)的性能對比如表1所示,對比結(jié)果表明對YOLOv4 目標檢測算法在網(wǎng)絡結(jié)構(gòu)和錨框上的改進,相較于YOLOv3 算法和原YOLOv4算法在性能上有較明顯的提升.本文在YOLOv4 算法中加入的新錨框計算方法,在查準率上的提升較小,在查全率上有3%左右的性能提升.在網(wǎng)絡結(jié)構(gòu)中添加SENet 模塊的方法,在查準率上有明顯的性能提升,在查全率上也有較明顯的性能提升.綜合結(jié)果表明,本文提出的YOLOv4 改進算法,在復雜環(huán)境下也有很好的性能表現(xiàn),相較于傳統(tǒng)方法能夠更好的適應棉花采摘的實際田間環(huán)境.

表1 算法檢測性能對比(%)

3 結(jié)論

采用K-means 算法進行錨框計算,通過在YOLOv4中嵌入SENet 結(jié)構(gòu)得到Y(jié)OLOv4 改進算法,融合YOLOv4與SENet的優(yōu)勢,增加網(wǎng)絡的感受野,提升網(wǎng)絡的特征提取能力.實驗結(jié)果表明,在復雜田間環(huán)境下,本文算法仍能夠準確識別目標,減少誤采摘和漏采摘,得到較高的查準率.