彭 文，蘭玉彬，岳學(xué)軍，程子耀，王林惠，岑振釗，盧 楊，洪金寶

(1 國家精準(zhǔn)農(nóng)業(yè)航空施藥技術(shù)國際聯(lián)合研究中心/華南農(nóng)業(yè)大學(xué) 電子工程學(xué)院/人工智能學(xué)院，廣東 廣州 510642；2 湖南科技學(xué)院 電子與信息工程學(xué)院，湖南 永州 425199)

水稻是我國主要糧食作物，在糧食生產(chǎn)中占有極其重要的地位。我國是水稻生產(chǎn)大國，水稻種植面積居世界第2位，總產(chǎn)量居第1位，單產(chǎn)高于世界稻谷平均單產(chǎn)近1倍，位居世界前列[1]。而雜草對水稻種植的影響很大，主要包含以下方面：1)雜草與水稻共處同一生長環(huán)境，會與水稻搶奪必須的肥料、水分、土壤資源以及生長所需的空間；2)雜草同時也為農(nóng)作物害蟲或其他有害寄生菌提供了良好的棲息環(huán)境[2]。因此，雜草的防治始終是水稻種植中最基本的任務(wù)。由于水稻田雜草防治會耗費(fèi)大量的人力物力，因此利用機(jī)器視覺發(fā)展的先進(jìn)成果，精準(zhǔn)有效地對水稻田雜草進(jìn)行識別與防治是我國農(nóng)業(yè)經(jīng)濟(jì)發(fā)展提升的一個關(guān)鍵環(huán)節(jié)。

Lecun等[3]提出的卷積神經(jīng)網(wǎng)絡(luò)(Convolution nerual network, CNN)是機(jī)器學(xué)習(xí)的經(jīng)典模型,。隨著深度學(xué)習(xí)理論以及硬件條件的不斷發(fā)展，人類能夠構(gòu)建更深層的神經(jīng)網(wǎng)絡(luò)。注意力機(jī)制(Attentionbased model)在深度網(wǎng)絡(luò)中的應(yīng)用是近年來機(jī)器視覺領(lǐng)域發(fā)展的里程碑，選擇性搜索(Seletive search)是注意力機(jī)制在目標(biāo)識別網(wǎng)絡(luò)上的體現(xiàn)，其最初應(yīng)用在R-CNN(Region proposal CNN)網(wǎng)絡(luò)中，用以初篩選冗余的目標(biāo)區(qū)域并提高物體識別網(wǎng)絡(luò)的性能[4]。但是選擇性搜索會在ROI區(qū)域附近生成多個冗余的候選目標(biāo)區(qū)域，CNN網(wǎng)絡(luò)針對每個候選目標(biāo)區(qū)域都需要計算物體識別的結(jié)果，嚴(yán)重影響了目標(biāo)識別網(wǎng)絡(luò)的性能。為了進(jìn)一步提高模型性能，Lin等[5]提出了Fast R-CNN網(wǎng)絡(luò)，利用目標(biāo)區(qū)域提議網(wǎng)絡(luò)(Region proposal network, RPN)生成候選目標(biāo)區(qū)域。基于卷積神經(jīng)網(wǎng)絡(luò)深度模型的缺陷在于對于已訓(xùn)練的模型，其只能處理寬度和高度尺寸相同的輸入圖像，通常的解決辦法是在輸入圖像之前作剪裁等歸一化操作，但是這樣的歸一化操作往往會影響圖像的語義信息或者目標(biāo)物體的形狀，從而導(dǎo)致圖像識別模型精度降低。Ren等[6]提出了SPP網(wǎng)絡(luò)(Spatial pyramid pooling network)，SPP網(wǎng)絡(luò)通過在卷積層和全連接層之間加入1個空間池化操作使得CNN可以處理不定尺寸的輸入圖片，拓寬了卷積神經(jīng)網(wǎng)絡(luò)能力范圍，并且提高了深度模型的精度。

圖像識別技術(shù)在雜草識別的應(yīng)用上早已有所實踐[7-10]，El-Faki等[11-12]利用雜草葉片與成熟作物的顏色差異簡單區(qū)分雜草與作物。而如今最為主流的是基于深度學(xué)習(xí)模型的圖像識別技術(shù)[13-14]，楊會清等[15]利用BP神經(jīng)網(wǎng)絡(luò)設(shè)計了一種田間除草綜合評價模型，可以快速精確地輸出田間除草等級。孫俊等[16]利用空洞卷積結(jié)合全局池化的卷積神經(jīng)網(wǎng)絡(luò)對幼苗與雜草進(jìn)行了識別，模型能達(dá)到較高的平均識別準(zhǔn)確率及分類成功率。但總體來說利用深度學(xué)習(xí)模型對雜草進(jìn)行識別的相關(guān)研究較少[17-18]，因此，本文從田間雜草精準(zhǔn)防治命題出發(fā)，以水稻田常見的伴生雜草為主要研究對象，進(jìn)行傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度模型對照試驗，以期能為農(nóng)業(yè)種植中的雜草精準(zhǔn)防治以及農(nóng)業(yè)信息化、智能化、機(jī)械化生產(chǎn)作出一定的理論和實踐探索。

1 材料與方法

1.1 試驗環(huán)境

模型的訓(xùn)練在TensorFlow框架下完成，硬件環(huán)境：華擎B450主板、Intel I5 8500 2.8GHzCPU、16G DDR4 2133MHz內(nèi)存、GTX1060 6G顯存顯卡。軟件環(huán)境：CUDA toolkit9.0、CUDNN V7.0；Python3.5.2；TensorFlow-GPU1.8.0；Windows10 的64位操作系統(tǒng)；編程語言為Python。

1.2 數(shù)據(jù)來源

分別于2018年4月5日以及同年8月10日在華南農(nóng)業(yè)大學(xué)水稻試驗田中采集田間雜草圖像數(shù)據(jù)。采集設(shè)備為Cannon EOS800D單反相機(jī)，鏡頭型號為EF-S18-55 mm f/4-5.6 IS STM，其有效像素為2 420萬像素，滿足雜草圖像采集的要求。相機(jī)采集圖像的高度應(yīng)比照正常的農(nóng)業(yè)種植機(jī)械能夠安裝攝像頭的高度，這個高度約為15～60 cm，圖像采集的角度為攝像頭和地面呈60°～90°的夾角。雜草圖像采集需要對不同天氣光照狀況、不同背景復(fù)雜度以及不同雜草類型等各個方面的因素作綜合考慮，以增強(qiáng)數(shù)據(jù)集的通用性，其中水稻田中雜草圖像采集的背景復(fù)雜度主要是由水面反射的陽光、秸稈和泥土混合以及渾水等因素構(gòu)成，水稻田中充足的水分為各類生物的生長提供了良好的環(huán)境。采集圖像背景主要包括水面、泥水混合、干濕土壤以及秸稈等，圖像采集的天氣條件為陰天，當(dāng)采集光照條件不足的時候采用閃光燈進(jìn)行補(bǔ)光。PFMW數(shù)據(jù)集中不同背景下的水稻田雜草圖像樣本如下圖1所示。根據(jù)長江中下游地區(qū)稻田優(yōu)勢雜草物種的研究[19-20]，本文選擇水稻田中優(yōu)勢雜草類別構(gòu)建PFMW數(shù)據(jù)集[21-23]。數(shù)據(jù)集包含水稻田雜草圖像共1 364幅，其中鬼針草Bidens pilosa(Bidens)156幅、鵝腸草Cerastium aquaticum(Goose starwort)164幅、蓮子草Gomphrena sessilis(Gomphrena)188幅、千金子Leptochloa chinensis(Sprangle)293幅、鱧腸Eclipta prostrata(Eclipta)173幅、澎蜞菊Wedelia chinensis(Wedelia)390幅。

圖1 PFMW數(shù)據(jù)集中不同背景下的雜草圖像樣本Fig. 1 Samples of weed images in different backgrounds in PFMW dataset

1.3 分析方法

在深度學(xué)習(xí)模型中，利用卷積層作為特征提取器，試驗選用的模型分別為標(biāo)準(zhǔn)ResNet50、MobileNet、InceptionV3、NASNetMobile、DenseNet121、Xception、VGG16、DenseNet169。

本試驗?zāi)Ｐ偷膬?yōu)化器選擇RMS，將模型學(xué)習(xí)率統(tǒng)一設(shè)置為0.000 1，損失函數(shù)采用交叉熵?fù)p失函數(shù)，損失值 (J)的計算公式如下：

其中：K是雜草種類數(shù)量；y是標(biāo)簽，如果類別是i，則yi=1，否則為0；p是神經(jīng)網(wǎng)絡(luò)的輸出，也就是指類別是i的概率。深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程如圖2所示。

2 結(jié)果與分析

2.1 基于深度學(xué)習(xí)模型的雜草識別結(jié)果

PFMW數(shù)據(jù)集上深度學(xué)習(xí)模型的準(zhǔn)確率－召回率曲線(Precision-recall curve，PR)如圖3所示。

從圖3中可以看出，深度學(xué)習(xí)模型中NASNet Mobile和 DenseNet169模型的F值較低，DenseNet169模型的F值為深度模型中最低水平，其F值為0.655。MobileNet模型的F值為0.833，ResNet50、Xception、InceptionV3、DenseNet121 和VGG16模型的精度比較接近，其F值分別為0.917、0.921、0.935、0.948 和 0.954，其中 VGG16 模型的精度最高。DenseNet121和DenseNet169模型的參數(shù)量分別為8.062 M和14.307 M，模型深度分別為121和169層，從圖3中可知DenseNet121和DenseNet169模型的F值分別為0.948和0.655，試驗結(jié)果表明，對于PFMW數(shù)據(jù)集，深度學(xué)習(xí)模型的層數(shù)過多會造成模型的F值嚴(yán)重下降。深度學(xué)習(xí)模型在不同類別雜草的F值如表1所示。

結(jié)合圖3和表1可以看出，DenseNet121模型在雜草鵝腸草和鱧腸中取得最高F值(0.959和0.969), 而InceptionV3模型則在鬼針草和蓮子草中取得最高F值(0.975和0.978),VGG16模型在千金子和澎蜞菊中取得最高F值(0.955和0.992)。

圖3 PFMW數(shù)據(jù)集上深度學(xué)習(xí)模型的PR曲線Fig. 3 PR curve of deep learning model on PFMW dataset

表1 基于深度學(xué)習(xí)模型對雜草分類的F值Table 1 The F value of weed classification based on deep learning model

2.2 深度學(xué)習(xí)模型優(yōu)化器對試驗結(jié)果的影響

從前文的敘述可知優(yōu)化器控制著深度學(xué)習(xí)模型訓(xùn)練下降的梯度，本節(jié)基于深度學(xué)習(xí)模型對常用的SGD、Adam和RMS優(yōu)化器進(jìn)行試驗，并優(yōu)選出合適的優(yōu)化器，從而進(jìn)一步提高模型的識別精度。從上節(jié)的試驗結(jié)果可知，VGG16模型的精度較高，故本節(jié)試驗的基準(zhǔn)模型設(shè)置為經(jīng)典的VGG16。

本文將各優(yōu)化器的學(xué)習(xí)率均設(shè)置為0.000 1，不同優(yōu)化器作用下VGG16雜草分類模型的F值如表2所示。

從表2可以看出，VGG16-SGD、VGG16-Adam和VGG16-RMS的F值均值分別為0.977、0.941和0.953。其中VGG16-SGD在雜草鬼針草、鵝腸草、蓮子草、千金子和鱧腸中取得最高F值, 分別為 0.987、0.974、0.965、0.967 和 0.989，VGG16-RMS在雜草澎蜞菊中取得最高F值，其值為0.992。從上述分析可知，對于VGG16模型而言，SGD優(yōu)化器在上述3種優(yōu)化器中為最優(yōu)。

表2 不同優(yōu)化器的VGG16模型雜草分類F值Table 2 The F value of weed classification using VGG16 model with different optimizers

2.3 非平衡數(shù)據(jù)集對試驗結(jié)果的影響

模型訓(xùn)練過程容易受到樣本類別數(shù)量不平衡的影響，不平衡的數(shù)據(jù)集可能會導(dǎo)致模型效果下降，本節(jié)將針對非平衡數(shù)據(jù)集對模型準(zhǔn)確率的影響進(jìn)行試驗。在PFMW數(shù)據(jù)集中，每個類別選用100幅雜草圖像，每個類別隨機(jī)挑選20幅圖像作為測試集，各類別的雜草樣本比例如表3所示。

試驗中，VGG16模型訓(xùn)練學(xué)習(xí)率設(shè)置為1 e-4，學(xué)習(xí)率衰減系數(shù)設(shè)置為1 e-6，batch size設(shè)置為32，訓(xùn)練迭代次數(shù)Epoch設(shè)置為100，VGG16在各配置數(shù)據(jù)集上的識別準(zhǔn)確率如表4所示。

從表4中可以看出，平衡數(shù)據(jù)集(Dataset 1)的平均識別準(zhǔn)確率能夠達(dá)到0.900，在本試驗中為最高平均識別準(zhǔn)確率，其中，對鬼針草、鵝腸草、蓮子草、千金子、鱧腸和澎蜞菊的識別準(zhǔn)確率分別為0.952、0.857、0.917、0.819、0.917 和 0.939，對千金子的識別準(zhǔn)確率較低。在16.7%類別樣本數(shù)量失衡試驗中，類別數(shù)量欠均衡的數(shù)據(jù)集會使得訓(xùn)練模型的準(zhǔn)確率向樣本數(shù)量較多的類別傾斜，傾斜程度依類別樣本數(shù)量的欠均衡程度而有所不同，其中欠均衡程度較大的數(shù)據(jù)集(Dataset 3和Dataset 5)的平均準(zhǔn)確率較低，其中Dataset 5的平均準(zhǔn)確率為0.845，是整個試驗中最低的平均準(zhǔn)確率。在33.3%和50.0%類別樣本數(shù)量的失衡試驗中可以看出，多類別樣本數(shù)量失衡對模型平均準(zhǔn)確率的影響比單一類別失衡的影響略小，故采集圖像樣本時應(yīng)該注意各雜草類別樣本數(shù)量應(yīng)當(dāng)大致均衡，這樣通過數(shù)據(jù)集訓(xùn)練出的模型才能在各類別雜草識別任務(wù)中達(dá)到較好的識別水平。

表3 數(shù)據(jù)集各植物類別樣本數(shù)量分布比Table 3 Proportions of sample quantities for different plant types of the dataset

表4 數(shù)據(jù)集各植物類別VGG16模型識別準(zhǔn)確率Table 4 Recognition accuracies of VGG16 model for different plant types of the dataset

3 結(jié)論

本文以華南農(nóng)業(yè)大學(xué)分子育種重點試驗基地的水稻田雜草為主要研究對象，構(gòu)建了水稻田雜草數(shù)據(jù)集PFMW，并基于深度模型對數(shù)據(jù)集進(jìn)行建模分析。采用 ResNet50、MobileNet、InceptionV3、NASNetMobile、DenseNet121、Xception、VGG16、DenseNet169等深度模型對PFMW數(shù)據(jù)集進(jìn)行建模與分析，并對深度模型優(yōu)化器SGD、Adam、RMS進(jìn)行了對比試驗，主要結(jié)論如下：

1) 在深度模型的對比試驗研究中，VGG16模型取得了最高精度，其在鬼針草、鵝腸草、蓮子草、千金子、鱧腸和澎蜞菊中的F值分別為0.957、0.931、0.955、0.955、0.923和 0.992，其平均F值為0.954。在本文所設(shè)置的深度模型優(yōu)化器試驗中，VGG16-SGD模型取得了最高精度，其在鬼針草、鵝腸草、蓮子草、千金子、鱧腸和澎蜞菊中的F值分別為 0.987、0.974、0.965、0.967、0.989 和 0.982，其平均F值為0.977。

2) 在本文所設(shè)計的PFMW數(shù)據(jù)集的樣本類別數(shù)量均衡試驗中，無失衡雜草數(shù)據(jù)集訓(xùn)練出來的VGG16 深度模型的準(zhǔn)確率為0.900，而16.7%、33.3%和66.6%類別失衡的數(shù)據(jù)集訓(xùn)練的模型準(zhǔn)確率分別為0.888、0.866和0.845，從試驗數(shù)據(jù)可知，數(shù)據(jù)集樣本數(shù)量均衡因素對訓(xùn)練模型的影響較大。本文研究工作為農(nóng)業(yè)種植中化學(xué)農(nóng)藥的精準(zhǔn)噴施以及農(nóng)業(yè)信息化、智能化提供了一定的理論以及實踐的依據(jù)。