尚建偉 蔣紅海 喻剛 陳頡顥 王博 李兆旭 張偉平

摘 要：田間除草技術(shù)在農(nóng)業(yè)生產(chǎn)中具有重要意義。針對(duì)復(fù)雜背景下農(nóng)作物與雜草識(shí)別率低、算法魯棒性差等問(wèn)題，提出一種圖像分割網(wǎng)絡(luò)Res-Unet。該網(wǎng)絡(luò)為unet網(wǎng)絡(luò)的改進(jìn)版本，采用resnet50網(wǎng)絡(luò)代替unet主干網(wǎng)絡(luò)，解決復(fù)雜背景下農(nóng)作物與雜草區(qū)域提取困難、小植株檢測(cè)效果差、分割邊緣震蕩、變形問(wèn)題。將圖像的平均交并比、準(zhǔn)確率、訓(xùn)練時(shí)長(zhǎng)作為評(píng)價(jià)指標(biāo)進(jìn)行實(shí)驗(yàn)。結(jié)果表明：使用Res-Unet模型的平均交并比為82.25%，平均像素準(zhǔn)確率為98.67%。改進(jìn)的Res-Unet模型相對(duì)于Unet平均交并比高出4.74%，相較于segnet平均交并比高出10.68%，訓(xùn)練時(shí)間減少3小時(shí)。該方法對(duì)復(fù)雜背景下甜菜雜草檢測(cè)效果良好，可為機(jī)器人精確除草提供參考。

關(guān)鍵詞：圖像分割;卷積神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí);圖像識(shí)別;雜草識(shí)別

DOI：10. 11907/rjdk. 201392 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP319文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2020）007-0127-04

Weed Identification System Based on Deep Learning

SHANG Jian-wei1， JIANG Hong-hai1， YU Gang1， CHEN Jie-hao1， WANG Bo1， LI Zhao-xu1， ZHANG Wei-ping2

（1. School of Mechanical and Electrical Engineering， Kunming University of Science and Technology， Kunming 650504， China;

2. 78098 Military Training Team， Chengdu 610200，China）

Abstract： The field weeding technology is of great significance in agricultural production. The traditional weed identification technology has the disadvantages of low efficiency or great limitations. To solve the problem of low recognition rate of crops and weeds in complex background and poor robustness of algorithm， an image segmentation network res UNET is proposed. Res UNET is an improved version of UNET network. It uses resnet50 network instead of the main network of UNET to solve the problem of crop and weed area extraction under complex background， poor detection effect of small plants， edge vibration and deformation of segmentation. The average intersection ratio， accuracy and training time of the image are selected as evaluation indexes. The results show that the average cross union ratio of res UNET model is 83.25%， and the average pixel accuracy is 98.67%. The improved res UNET model is 4.74% higher than the UNET average， 10.68% higher than the segnet average， and the training time is reduced by 3 hours. This method has a good detection effect on beet weeds in complex background， and can provide a reference for the follow-up robot precision weeding.

Key Words： image segmentation; convolutional neural network; deep learning; image identification; weed identification

0 引言

雜草控制是農(nóng)場(chǎng)最重要的作業(yè)之一，因?yàn)椴皇芸刂频碾s草會(huì)對(duì)作物產(chǎn)量和質(zhì)量產(chǎn)生重大影響。噴灑除草劑和人工除草是最常用的除草方法，但從經(jīng)濟(jì)和環(huán)境角度看都不可取。人工除草成本較高且效率較低。機(jī)器視覺(jué)在取代人類進(jìn)行植物識(shí)別方面顯示出巨大潛力，自動(dòng)精確除草系統(tǒng)有望填補(bǔ)這一空白[1]。自動(dòng)除草關(guān)鍵是快速準(zhǔn)確獲取作物與雜草位置[2]。顏色、形狀[3-4]、光譜和紋理[5]是雜草識(shí)別的主要特征。

Cho等[6]對(duì)蘿卜的長(zhǎng)徑比、細(xì)長(zhǎng)度及周長(zhǎng)等形狀特征進(jìn)行評(píng)價(jià)，以區(qū)分蘿卜和雜草。除圓度外，還包括7個(gè)不變中心矩（ICM）用于從雜草物種中識(shí)別出玉米和大豆[7]。對(duì)大豆、玉米和玉米田低水平紋理特征均作出評(píng)價(jià)，指標(biāo)如偏度、平均值、方差[8]、灰度共生矩陣、角二階矩、慣性、熵、局部均勻性等[9];之后Gabor小波紋理特征占據(jù)主流，對(duì)雜草/作物分類技術(shù)形成了較大改進(jìn)[10]。紋理特征與現(xiàn)代分類器，如模糊聚類、貝葉斯分類器、支持向量機(jī)和神經(jīng)模糊分類器[11-13]已用于作物識(shí)別系統(tǒng)。

近年興起的深度學(xué)習(xí)方法在雜草識(shí)別方面表現(xiàn)卓越。彭明霞等[14]融合特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN）的Faster R-CNN，提出在復(fù)雜背景下高效識(shí)別棉田雜草方法，檢測(cè)效果較好;孫俊等[15]提出一種空洞卷積與全局池化相結(jié)合的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別作物幼苗與雜草方法，平均識(shí)別準(zhǔn)確率與分類成功率均較高。上述方法顯示深度學(xué)習(xí)方法在雜草識(shí)別領(lǐng)域的光明前景，但這些模型參數(shù)量大，結(jié)構(gòu)較為復(fù)雜。

針對(duì)現(xiàn)有模型網(wǎng)絡(luò)復(fù)雜度高、不易訓(xùn)練問(wèn)題，提出Res- Unet雜草檢測(cè)模型。以Unet為主要框架，用Resnet50代替Unet主干網(wǎng)絡(luò)。使用resnet50卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行下采樣，從加深網(wǎng)絡(luò)結(jié)構(gòu)、提取多尺度特征、減小模型數(shù)據(jù)量等方面優(yōu)化網(wǎng)絡(luò)。

1 圖像分割與實(shí)驗(yàn)

1.1 圖像采集與實(shí)驗(yàn)設(shè)計(jì)

本研究圖像數(shù)據(jù)來(lái)源于德國(guó)波恩大學(xué)采集的甜菜與雜草圖片[16]。圖像采集由博世DeepField Robotics公司生產(chǎn)的多用途機(jī)器人完成，采集設(shè)備為JAI AD-130GE攝像頭，提供最大分辨率1 296×966像素圖像，采集時(shí)間為2016年5月23日。圖1為農(nóng)田信息采集機(jī)器人 BoniRob、數(shù)據(jù)采集樣本樣例及標(biāo)簽圖。紅色標(biāo)簽為甜菜，其它顏色為雜草。

由于卷積殘差網(wǎng)絡(luò)能夠自動(dòng)從不同尺寸圖像中提取特征，所以樣本圖像可直接用于本文的圖像分割模型進(jìn)行訓(xùn)練與測(cè)試，不需要縮放等預(yù)處理操作。將甜菜和雜草樣本分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。其中訓(xùn)練集910張，測(cè)試集390張，驗(yàn)證集100張。訓(xùn)練集用于訓(xùn)練模型參數(shù)，測(cè)試集用于評(píng)估模型泛化能力，驗(yàn)證集用于模型超參數(shù)調(diào)優(yōu)。最后應(yīng)用典型評(píng)測(cè)指標(biāo)——平均交并比（Mean-IOU）衡量模型檢測(cè)器性能。

1.2 圖像分割

1.2.1 殘差卷積網(wǎng)絡(luò)

2015年何凱明等[17]提出Resnet網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)大幅提高神經(jīng)網(wǎng)絡(luò)深度，并在與ISLVRC和COCO比賽中勝出。常規(guī)的網(wǎng)絡(luò)優(yōu)化思想是通過(guò)大量網(wǎng)絡(luò)堆疊提高網(wǎng)絡(luò)性能，但深層神經(jīng)網(wǎng)絡(luò)帶來(lái)梯度消失和梯度爆炸問(wèn)題，Resnet網(wǎng)絡(luò)的殘差塊思想使神經(jīng)網(wǎng)絡(luò)深度提高，從而取得更好的訓(xùn)練結(jié)果。

圖2 （a）為Conv Block網(wǎng)絡(luò)結(jié)構(gòu)，圖2（b）為Identity Block網(wǎng)絡(luò)結(jié)構(gòu)，圖2（c）為resnet50網(wǎng)絡(luò)結(jié)構(gòu)。Resnet50由Conv Block與Identity Block兩個(gè)基本殘差塊組成，兩個(gè)基本塊有主路徑和跳躍路徑，主路徑有3個(gè)卷積層，3層卷積核分別為1×1、3×3和1×1;Conv Block的跳躍路徑經(jīng)過(guò)1×1卷積網(wǎng)絡(luò)后與主路徑輸出相加，Identity Block跳躍路徑直接與主路徑輸出相加。當(dāng)網(wǎng)絡(luò)輸入與輸出維度一致時(shí)，可選用Identity Block直接將輸入與輸出相加。當(dāng)網(wǎng)絡(luò)輸入與輸出維度不一致時(shí)，選用Conv Block改變網(wǎng)絡(luò)維度。

1.2.2 Res-Unet圖像分割模型

圖像分割是從像素層次識(shí)別圖像，為圖像中的每個(gè)像素指定類別標(biāo)記。UNet是一種編碼—解碼網(wǎng)絡(luò)結(jié)構(gòu)的語(yǔ)義分割模型。Res-Unet模型將Unet主干網(wǎng)絡(luò)替換為Resnet50，該模型不僅保留resnet網(wǎng)絡(luò)收斂速度快、網(wǎng)絡(luò)深的優(yōu)點(diǎn)，還兼顧unet網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、數(shù)據(jù)量小優(yōu)勢(shì)。圖3為Res-Unet網(wǎng)絡(luò)結(jié)構(gòu)，左邊為編碼器，將輸入圖片送入resnet50進(jìn)行下采樣，圖片被4次壓縮，得到較低分辨率但經(jīng)學(xué)習(xí)可高效區(qū)分類別的特征圖;右邊為解碼器，下采樣特征為全分辨率分割圖，下采樣中的層與上采樣中的層之間存在許多合并連接，有助于解碼器使用上采樣恢復(fù)圖像細(xì)節(jié)。

2 模型訓(xùn)練

2.1 實(shí)驗(yàn)條件

本文使用keras與tensorflow深度學(xué)習(xí)開源框架訓(xùn)練模型。實(shí)驗(yàn)配置為：處理器：Intel（R） Core？ i7-8550U 四核，主板：惠普8471，內(nèi)存：8GB（三星 DDR4 2666MHz），硬盤：英特爾SSDPEKKF360G7H（360GB/固態(tài)硬盤），顯卡：Nvidia GeForce MX150 （2 GB），環(huán)境為keras2.2.0，tensorfolw1.13.1，python3.6。

2.2 網(wǎng)絡(luò)模型訓(xùn)練方法

采用910張?zhí)鸩穗s草圖像進(jìn)行網(wǎng)絡(luò)訓(xùn)練，選用Adam優(yōu)化器[18]使錯(cuò)誤最小化。Adam優(yōu)化器是一種基于一階梯度的隨機(jī)目標(biāo)函數(shù)優(yōu)化算法，基于低階矩自適應(yīng)估計(jì)。使用Adam優(yōu)化器計(jì)算效率高、內(nèi)存要求低、梯度對(duì)角重新縮放不變以及非常適合數(shù)據(jù)或參數(shù)較大場(chǎng)合。Adam優(yōu)化器學(xué)習(xí)速率設(shè)置為1×[10-3]。分類交叉熵函數(shù)用作損失函數(shù)，使用Mean-IOU評(píng)估網(wǎng)絡(luò)模型。使用Xavier初始化權(quán)重[19]。Xavier初始化通過(guò)在整個(gè)層中將信號(hào)保持在合理值范圍確保合適權(quán)重。其保持輸入梯度和輸出梯度方差相同，有助于保持整個(gè)網(wǎng)絡(luò)中梯度大小基本相同。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 損失函數(shù)變化情況

本文研究屬于3類別圖像分割問(wèn)題，分別為甜菜、雜草、土壤。選擇分類交叉熵函數(shù)作為圖像分割模型的損失函數(shù)，計(jì)算公式如下：

式（1）中，N為樣本數(shù)，K為標(biāo)簽數(shù)，[yik=1]為正樣本真實(shí)標(biāo)簽，[yik=0]為負(fù)樣本真實(shí)標(biāo)簽，[y*ik]為樣本預(yù)測(cè)概率。loss值為實(shí)際輸出概率與期望輸出概率之差。交叉熵的值越小，兩個(gè)概率分布就越接近。

首先將1 300張?zhí)鸩穗s草數(shù)據(jù)集和它們對(duì)應(yīng)的標(biāo)簽圖送入Res-Unet圖像分割模型中訓(xùn)練，訓(xùn)練集圖片910張，測(cè)試集圖片390張，觀察網(wǎng)絡(luò)訓(xùn)練過(guò)程中訓(xùn)練集和測(cè)試集損失函數(shù)的變化。圖4顯示分類交叉熵?fù)p失函數(shù)變化情況，其中橫坐標(biāo)表示訓(xùn)練輪數(shù)，縱坐標(biāo)表示交叉熵?fù)p失函數(shù)數(shù)值。為控制網(wǎng)絡(luò)的過(guò)擬合情況，對(duì)網(wǎng)絡(luò)進(jìn)行不同的Dropout值（50%、65%和80%）訓(xùn)練，以找到損失函數(shù)最低值，并選擇50%作為網(wǎng)絡(luò)的dropout值。圖4顯示Dropout值為50%的均損失函數(shù)。從圖4可以很明顯看出網(wǎng)絡(luò)迅速融合。網(wǎng)絡(luò)訓(xùn)練前20輪學(xué)習(xí)率較大，網(wǎng)絡(luò)參數(shù)更新速度快，損失函數(shù)波動(dòng)較大。網(wǎng)絡(luò)訓(xùn)練20～40輪之間，損失函數(shù)逐漸達(dá)到平穩(wěn)數(shù)值范圍，此時(shí)訓(xùn)練集損失函數(shù)為0.016，測(cè)試集損失函數(shù)為0.021。

3.2 甜菜雜草目標(biāo)識(shí)別結(jié)果與分析

網(wǎng)絡(luò)訓(xùn)練完成后，將100張驗(yàn)證集圖片輸入訓(xùn)練完成的模型中。盡管在復(fù)雜環(huán)境背景田地中，但網(wǎng)絡(luò)對(duì)于圖像依舊表現(xiàn)良好。圖5為預(yù)測(cè)圖像與真實(shí)標(biāo)簽對(duì)比，圖5（a）為采集的原始圖像，圖5（b）為其對(duì)應(yīng)的像素級(jí)標(biāo)簽，圖5（c）為預(yù)測(cè)圖像。

3.3 結(jié)果評(píng)估

圖像分割中評(píng)估模型性能標(biāo)準(zhǔn)很多，本文使用mean-iou作為評(píng)估指標(biāo)。mean-iou計(jì)算如下：

式（2）中，k為圖像中標(biāo)簽類別數(shù)，i表示真實(shí)類別，[pij]表示屬于i類但被判定為j類的像素?cái)?shù)量，即假陽(yáng)性像素?cái)?shù)量，[pji]為假陰性像素?cái)?shù)量，[pii]為預(yù)測(cè)正確的像素?cái)?shù)量。

如圖6所示，在訓(xùn)練的前20輪，訓(xùn)練集和測(cè)試集的mean-iou波動(dòng)很大，擬合度很低。在訓(xùn)練的20～40輪之間，兩個(gè)數(shù)據(jù)集中的mean-iou一直平穩(wěn)增加，且曲線擬合度慢慢增大。40輪后，模型的mean-iou不再增加。在40輪時(shí)，測(cè)試集的mean-iou達(dá)到82.25%。

3.4 與其它技術(shù)比較

將模型結(jié)果與幾種方法進(jìn)行對(duì)比，這里比較Segnet[20]、Unet[21]圖像分割網(wǎng)絡(luò)效果。如表1所示，將網(wǎng)絡(luò)模型的訓(xùn)練時(shí)長(zhǎng)、平均交并比、平均像素準(zhǔn)確率進(jìn)行對(duì)比。其中訓(xùn)練時(shí)長(zhǎng)Res-Unet和Unet遠(yuǎn)遠(yuǎn)優(yōu)于Segnet。Res-Unet在Mean-IOU和Accuracy指標(biāo)上表現(xiàn)最為優(yōu)異，最高值分別為82.25%、98.67%，高于Unet和Segnet網(wǎng)絡(luò)。

圖7為Res-Unet、Unet和Segnet網(wǎng)絡(luò)的分割效果。對(duì)比發(fā)現(xiàn)，Res-Unet圖像分割網(wǎng)絡(luò)可以很清晰地識(shí)別出雜草與甜菜，而Unet和Segnet有很大的假陽(yáng)率和假陰率，并且Res-Unet網(wǎng)絡(luò)對(duì)小植株識(shí)別明顯優(yōu)于其它兩個(gè)模型。面對(duì)圖像分割模型遇到的圖像分割邊緣震蕩問(wèn)題，Res-Unet網(wǎng)絡(luò)表現(xiàn)更優(yōu)秀，邊緣更加清晰。復(fù)雜背景下的雜草識(shí)別受很多因素影響，Res-Unet網(wǎng)絡(luò)從多尺度提取圖像特征，算法魯棒性更好。

4 結(jié)語(yǔ)

本文基于深度學(xué)習(xí)的圖像分割技術(shù)對(duì)雜草和作物進(jìn)行識(shí)別，對(duì)傳統(tǒng)的Unet網(wǎng)絡(luò)進(jìn)行改進(jìn)，采用Resnet50代替Unet網(wǎng)絡(luò)下采樣部分，與原始模型相比加深了網(wǎng)絡(luò)結(jié)構(gòu)，不需要進(jìn)行縮放等預(yù)處理操作，能夠更有效地提取甜菜和雜草的特征信息。通過(guò)對(duì)復(fù)雜背景下甜菜和雜草的田間試驗(yàn)，驗(yàn)證了模型的有效性：平均交并比達(dá)到82.25%，平均像素準(zhǔn)確率達(dá)到98.67%，具有較高的分割識(shí)別精度，為研制智能除草機(jī)提供了理論依據(jù)。

參考文獻(xiàn)：

[1] SUJARITHA M， ANNADURAI S. Weed detecting robot in sugarcane fields using fuzzy real time classifier[J]. Computers and Electronics in Agriculture，2017， 134（6）：160-171.

[2] LI N， T E GRIFT， YUAN T， et al. Image processing for crop/weed discrimination in fields with high weed pressure[C]. In 2016 American Society of Agricultural and Biological Engineers Annual International Meeting， 2016.

[3] PEREZ A J，LOPEZ F，BENLLOCH J V， et al. Colour and shape analysis techniques for weed detection in cereal fields[J].? Computers and Electronics in Agriculture. 2000，25（3）：197-212.

[4] LAMM R D， SLAUGHTER D C， GILES D K. Precision weed control system for cotton[J]. Transactions of the ASAE，2002，45（1）：231-238.

[5] GUIJARRO M，PAJARES G，RIOMOROS I，et al. Automatic segmentation of relevant textures in agricultural images[J]. Computers and Electronic in Agriculture，2011，75（1）：75-83.

[6] CHO S I，LEE D S，JEONG J Y. Weed-plant discrimination by machine vision and artificial neural network[J]. Biosystems Engineering， 2002，83（3）：275-280.

[7] WOEBBECKE D M， MEYER G E， VON BARGEN K， et al. Shape features for identifying young weeds using image analysis[J]. Am，Soc，Agric， Eng，1995，38 （1）：271-281.

[8] FRANZ E， GEBHARDT M R， UNKLESBAY K B. Shape description of completely visible and partially occluded leaves for identifying plants in digital images[J]. Transactions of the ASAE，1991，34 （2）：673-681.

[9] MEYER G E， NETO J C. Verification of colour vegetation indices for automated crop imaging applications[J].? Computers and Electronic in Agriculture，2008，63（2）：282-293.

[10] TANG L， TIAN L F， STEWARD B L， et al. Texture-based weed classification using gabor wavelets and neural network for real-time selective herbicide applications[J].? Urbana，1999，51（9）：61-80.

[11] TANG L， TIAN L， STEWARD B L. Classification of broadleaf and grass weeds using gabor wavelets and an artificial neural network[J]. Transactions of the ASAE，2003，46 （4）：1247-1254.

[12] CRUZ G，JESúS M，ROMEO G，et al. A new expert system for greenness identification in agricultural images[J]. Expert Syst， Appl，2013，40 （6）：2275-2286.

[13] RAINVILLE F M， DURAND A， FORTIN F A， et al. Bayesian classification and unsupervised learning for isolating weeds in row crops[J]. Pattern Anal， Appl，2014，17 （2）：401-414.

[14] 彭明霞，夏俊芳，彭輝. 融合FPN的Faster R-CNN復(fù)雜背景下棉田雜草高效識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35（20）：202-209.

[15] 孫俊，何小飛，譚文軍，等. 空洞卷積結(jié)合全局池化的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別作物幼苗與雜草[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34 （11）：159-165.

[16] CHEBROLU N， LOTTES P， SCHAEFER A， et al. Agricultural robot dataset for plant classification， localization and mapping on sugar beet fields[J]. The International Journal of Robotics Research，2017，36（10）：1045-1052.

[17] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[DB/OL]. http：//arxiv.org/abs/1512.03385.

[18] KINGMA D， BA J. Adam：a method for stochastic optimization[J].? arXiv， 2014， 13（5）：12-44.

[19] GLOROT X，BENGIO Y. Understanding the dif？culty of training deep feedforward neural networks[J]. Aistats，2010，9（2）：249-256.

[20] VIJAY BADRINARAYANAN， ALEX KENDALL， ROBERTO CIPOLLA. Segnet： a deep convolutional encoder-decoder architecture for scene segmentation[J]. IEEE，2017，56（15）：2481-2495.

[21] OLAF RONNEBERGER，PHILIPP FISCHER，THOMAS BROX. U-net： convolutional networks for biomedical image segmentation[J].? MICCAI， 2015， 9351（3）：234-241.

（責(zé)任編輯：杜能鋼）