張小青 邵松 郭新宇 樊江川

摘要：目前對(duì)玉米出苗動(dòng)態(tài)檢測(cè)監(jiān)測(cè)主要是依靠人工觀測(cè)，耗時(shí)耗力且只能選擇小的樣方估算整體出苗情況。為解決人工出苗動(dòng)態(tài)管理不精準(zhǔn)的問題，實(shí)現(xiàn)田間精細(xì)化管理，本研究以田間作物表型高通量采集平臺(tái)獲取的高時(shí)序可見光圖像和無(wú)人機(jī)平臺(tái)獲取的可見光圖像兩種數(shù)據(jù)源構(gòu)建了不同光照條件下的玉米出苗過程圖像數(shù)據(jù)集?？紤]到田間存在環(huán)境背景復(fù)雜、光照不均等因素，在傳統(tǒng)Faster R-CNN的基礎(chǔ)上構(gòu)建殘差單元，使用ResNet50作為新的特征提取網(wǎng)絡(luò)來(lái)對(duì)Faster R-CNN進(jìn)行優(yōu)化，首先實(shí)現(xiàn)對(duì)復(fù)雜田間環(huán)境下玉米出苗識(shí)別和計(jì)數(shù);進(jìn)而基于表型平臺(tái)所獲取的高時(shí)序圖像數(shù)據(jù)，對(duì)不同品種、不同密度的玉米植株進(jìn)行出苗動(dòng)態(tài)連續(xù)監(jiān)測(cè)，對(duì)各玉米品種的出苗持續(xù)時(shí)間和出苗整齊度進(jìn)行評(píng)價(jià)分析。試驗(yàn)結(jié)果表明，本研究提出的方法應(yīng)用于田間作物高通量表型平臺(tái)出苗檢測(cè)時(shí)，晴天和陰天的識(shí)別精度分別為95.67%和91.36%;應(yīng)用于無(wú)人機(jī)平臺(tái)出苗檢測(cè)時(shí)晴天和陰天的識(shí)別精度分別91.43%和89.77%，可以滿足實(shí)際應(yīng)用場(chǎng)景下玉米出苗自動(dòng)檢測(cè)的需求。利用表型平臺(tái)可獲取時(shí)序數(shù)據(jù)的優(yōu)勢(shì)，進(jìn)一步進(jìn)行了玉米動(dòng)態(tài)出苗檢測(cè)分析，結(jié)果表明利用本模型得到的動(dòng)態(tài)出苗結(jié)果與人工實(shí)際觀測(cè)具有一致性，說明本研究提出的模型的具有魯棒性和泛化性。

關(guān)鍵詞：玉米苗期;Faster R-CNN;識(shí)別;計(jì)數(shù);出苗動(dòng)態(tài)監(jiān)測(cè)

中圖分類號(hào)：S24文獻(xiàn)標(biāo)志碼：A文章編號(hào)：202103-SA003

引用格式：張小青，邵松，郭新宇，樊江川.田間玉米苗期高通量動(dòng)態(tài)監(jiān)測(cè)方法[J].智慧農(nóng)業(yè)（中英文），2021， 3 （2）： 88-99.

ZHANG Xiaoqing， SHAO Song， GUO Xinyu， FAN Jiangchuan. High-throughput dynamic monitoring method of field maize seedling[J]. Smart Agriculture， 2021， 3（2）： 88-99. （in Chinese with English abstract）

1引言

作物出苗是影響田間管理決策的重要農(nóng)藝因素，通過監(jiān)測(cè)出苗情況可在正確的時(shí)間進(jìn)行補(bǔ)種以減少損失[1]。傳統(tǒng)上，通常通過用少數(shù)采樣點(diǎn)進(jìn)行目視觀察（人工計(jì)數(shù)）來(lái)估測(cè)作物出苗數(shù)量[2]，既費(fèi)時(shí)又費(fèi)力，無(wú)法覆蓋大的生產(chǎn)領(lǐng)域。隨著圖像獲取方式的進(jìn)步，計(jì)算機(jī)視覺技術(shù)在作物生長(zhǎng)檢測(cè)中的應(yīng)用[3-6]得到了廣泛的關(guān)注。獲取高分辨率的特定地點(diǎn)作物出苗信息是實(shí)施精確田間管理的基礎(chǔ)。同時(shí)，準(zhǔn)確的作物出苗信息可用于了解土壤和環(huán)境對(duì)作物出苗的影響[7]。因此，為提高監(jiān)測(cè)效率，近距離遙感技術(shù)被用來(lái)評(píng)估作物出苗情況?；跓o(wú)人機(jī)圖像數(shù)據(jù)進(jìn)行的出苗檢測(cè)方法，在各種作物中得到了廣泛的應(yīng)用[8]。目前使用無(wú)人機(jī)對(duì)作物出苗的研究主要集中在出苗數(shù)量和均勻性上[9]。

21世紀(jì)以來(lái)，成像技術(shù)的發(fā)展為高通量植物表型平臺(tái)（Plant High-throughput Phenotypic Platform，HTPP）的開發(fā)提供了機(jī)會(huì)。1998年，比利時(shí)CropDesign公司成功開發(fā)世界上首套大型植物高通量表型平臺(tái)，命名為TraitMill[10]。2016年，德國(guó)Lemna Tec公司開發(fā)了第一個(gè)產(chǎn)品級(jí)田間高通量植物表型平臺(tái)Scanalyzer Field[11]，標(biāo)志著植物表型獲取技術(shù)正式走向大田測(cè)量。高通量表型平臺(tái)的高通量、自動(dòng)化、高精度等特點(diǎn)，極大地提高了作物圖像采集的效率和準(zhǔn)確性，同時(shí)也為玉米出苗動(dòng)態(tài)監(jiān)測(cè)提供了新的研究手段。

近年來(lái)，隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，深度學(xué)習(xí)已在自然語(yǔ)言處理[12]、圖像識(shí)別[13]、視頻跟蹤[14]等領(lǐng)域超越了傳統(tǒng)的機(jī)器學(xué)習(xí)算法。在農(nóng)業(yè)領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)較強(qiáng)的圖像特征提取能力也使越來(lái)越多的研究人員將深度學(xué)習(xí)應(yīng)用于作物表型信息獲取[15]、遙感影像分類[16]等領(lǐng)域。深度學(xué)習(xí)模型已經(jīng)用于從無(wú)人機(jī)、地面機(jī)器人系統(tǒng)收集的圖像數(shù)據(jù)集中提取隱藏信息，以監(jiān)測(cè)作物發(fā)育[17]和預(yù)測(cè)產(chǎn)量[18]。一些流行的深度學(xué)習(xí)模型AlexNet[19]、VGG[20]、GoogleNet[21]和ResNet[22]等被用于處理農(nóng)業(yè)中的復(fù)雜數(shù)據(jù)?；诰矸e神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法如YOLO[23]和SSD[24]一階檢測(cè)器系列和Faster R-CNN[25]兩階檢測(cè)系列已被證實(shí)在對(duì)作物出苗檢測(cè)上取得了不錯(cuò)的效果。

根據(jù)以上分析，本研究目的是利用田間作物表型平臺(tái)獲取的高時(shí)序、連續(xù)可見光圖像以及無(wú)人機(jī)平臺(tái)獲取的可見光圖像構(gòu)建數(shù)據(jù)集，提出基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional. Neural. Network，CNN）的圖像特征自動(dòng)提取方法，實(shí)現(xiàn)對(duì)復(fù)雜的田間環(huán)境下玉米幼苗的快速準(zhǔn)確識(shí)別，為玉米田間智能耕作管理提供技術(shù)儲(chǔ)備。基于優(yōu)化的Faster R-CNN模型來(lái)實(shí)現(xiàn)玉米出苗檢測(cè)，結(jié)合非極大值抑制方法（Non-Maximum Suppression，NMS）對(duì)單位面積的玉米幼苗進(jìn)行計(jì)數(shù)。依據(jù)表型平臺(tái)的時(shí)序圖像實(shí)現(xiàn)不同玉米品種的出苗動(dòng)態(tài)監(jiān)測(cè)，以此來(lái)判斷出不同品種玉米的出苗特征及差異，并對(duì)兩種平臺(tái)的出苗檢測(cè)精度進(jìn)行驗(yàn)證比較。

2材料與方法

2.1圖像采集

研究分別使用無(wú)人機(jī)平臺(tái)和田間作物表型高通量采集平臺(tái)（軌道式）搭載可見光傳感器進(jìn)行高通量原始圖像數(shù)據(jù)獲取。因此，圖像采集試驗(yàn)分為兩部分，其中試驗(yàn)一使用無(wú)人機(jī)平臺(tái)進(jìn)行圖像獲取，試驗(yàn)二使用田間作物表型高通量采集平臺(tái)進(jìn)行圖像獲取。

2.1.1無(wú)人機(jī)可見光圖像采集

試驗(yàn)一于2018年在北京市通州區(qū)實(shí)驗(yàn)基地開展（39°56′N，116°16′E）。使用大疆M600 Pro六旋翼無(wú)人機(jī)作為圖像采集平臺(tái)，搭載型號(hào)為SONY-5100的相機(jī)（采用20 mm的定制機(jī)械鏡頭）對(duì)試驗(yàn)田內(nèi)玉米苗期冠層圖像進(jìn)行采集。考慮到小型無(wú)人機(jī)的續(xù)航能力和圖像的分辨率等問題，設(shè)置無(wú)人機(jī)的飛行高度為30m，航向重疊度為70%，旁向重疊度為65%。試驗(yàn)的采集時(shí)間為2018年5月8日（出苗）至2018年5月23 日?？紤]所獲取圖像的質(zhì)量問題，選擇在無(wú)風(fēng)或者微風(fēng)的時(shí)候用無(wú)人機(jī)采集數(shù)據(jù)。所獲取的可見光原始圖像分辨率為5280×3956px。圖1展示了無(wú)人機(jī)實(shí)物圖、田間場(chǎng)景圖以及無(wú)人機(jī)獲取可見光圖像。

2.1.2表型平臺(tái)可見光圖像采集

試驗(yàn)二在北京市農(nóng)林科學(xué)院試驗(yàn)田內(nèi)開展（39°56′N，116°16′E）。試驗(yàn)二地塊長(zhǎng)15m，寬6m。在其上方搭建了數(shù)字植物北京市重點(diǎn)實(shí)驗(yàn)室自主研發(fā)的田間作物高通量表型平臺(tái)（軌道式）。在平臺(tái)的覆蓋范圍內(nèi)種植了AD268和XD20兩個(gè)玉米品種，每個(gè)品種分別以25，000株/ha，40，000株/ha和55，000株/ha三種密度進(jìn)行種植，共計(jì)6個(gè)小區(qū)，每個(gè)小區(qū)種植4行，共24行，行長(zhǎng)2.5m。兩個(gè)品種玉米于2020年7月23日播種，種植后以正常水肥管理。圖2為地塊中種植情況示意圖。

在本次試驗(yàn)中，使用Microsoft，Kinect V2.0作為成像單元圖像采集設(shè)備，有效像素為500萬(wàn)px。鏡頭垂直向下，采用自動(dòng)曝光模式獲取玉米冠層圖像。圖像采集時(shí)間從2020年7月26日（出苗）開始到2020年9月28日止，每天分別選擇上午10點(diǎn)和下午3點(diǎn)兩個(gè)時(shí)間點(diǎn)采集玉米出苗冠層圖像，所獲取的圖像原始分辨率為2048×2048 px。田間作物高通量表型平臺(tái)圖像采集裝置如圖3所示。

2.2數(shù)據(jù)集構(gòu)建

2.2.1圖像預(yù)處理

綜合考慮硬件條件和試驗(yàn)參數(shù)的需要，同時(shí)為了便于模型訓(xùn)練，將試驗(yàn)二中獲取的原始圖像（分辨率為2048×2048 px）縮放至960×960 px輸入模型。而為了與田間作物高通量表型平臺(tái)獲取的圖像保持統(tǒng)一，對(duì)試驗(yàn)一中獲取的無(wú)人機(jī)可見光原始圖像（分辨率為5280×3956 px）同樣縮放至960×960 px，采用滑動(dòng)步長(zhǎng)剪裁的方式裁剪圖像。并且為了充分覆蓋到遙感影像中目標(biāo)的信息，裁剪時(shí)保證一定的重疊度，從而能夠提高模型后期訓(xùn)練的效率和精度。

使用圖像注釋工具LabelImg對(duì)裁剪及縮放后的圖像進(jìn)行幼苗的邊界框標(biāo)注，通過最小外接矩形將樣本中的玉米苗標(biāo)出，記錄該矩形的左上和右下的頂點(diǎn)坐標(biāo)，并設(shè)置類別標(biāo)簽為seedling。圖4展示了數(shù)據(jù)從縮放、裁剪到標(biāo)注的整體流程。

2.2.2最終數(shù)據(jù)集組成

為實(shí)現(xiàn)玉米出苗檢測(cè)的目標(biāo)，本研究選取試驗(yàn)一中玉米剛出苗時(shí)期的無(wú)人機(jī)獲取的圖像作為數(shù)據(jù)集，即5月8日至5月10日，共計(jì)4天。分別選取每天原始圖像數(shù)據(jù)28張，共計(jì)112張。經(jīng)過滑動(dòng)步長(zhǎng)裁剪后，每張?jiān)紙D像被裁剪成12張960×960 px的圖像，共計(jì)1344張。考慮到圖像的質(zhì)量問題，手動(dòng)剔除了過度曝光、質(zhì)量較低的圖像。經(jīng)過篩選后，剩余1188張圖像構(gòu)成試驗(yàn)一數(shù)據(jù)集。將此數(shù)據(jù)集按照7：3的比例劃分為訓(xùn)練集和測(cè)試集。對(duì)于試驗(yàn)二，選取玉米剛出苗時(shí)期的表型平臺(tái)獲取的圖像作為數(shù)據(jù)集，即7月28日至8月3日，共計(jì)6天。分別選取每天原始圖像數(shù)據(jù)150張，共計(jì)1200張。經(jīng)過縮放后放入試驗(yàn)二數(shù)據(jù)集。同時(shí)由于所選取日期的天氣情況不同（即同時(shí)包括了晴天和陰天），能夠保證不同光照條件下模型的泛化性能。

本研究最終數(shù)據(jù)集組成如表1所示。圖5展示了兩種平臺(tái)數(shù)據(jù)分別在不同光照條件下預(yù)處理后的圖像及其標(biāo)注，其中圖5（a）為不同光照條件下無(wú)人機(jī)平臺(tái)圖像及其標(biāo)注，圖5 （b）為不同光照條件下表型平臺(tái)圖像及其標(biāo)注。

2.3玉米幼苗檢測(cè)網(wǎng)絡(luò)

本研究基于卷積神經(jīng)網(wǎng)絡(luò)在圖像特征提取上的優(yōu)異表現(xiàn)，構(gòu)建了基于Faster R-CNN玉米出苗動(dòng)態(tài)檢測(cè)模型，該模型以無(wú)人機(jī)和田間作物高通量表型平臺(tái)采集的玉米冠層圖像為數(shù)據(jù)源，對(duì)玉米田間出苗狀況進(jìn)行監(jiān)測(cè)。玉米出苗網(wǎng)絡(luò)的檢測(cè)過程如圖6所示。

2.3.1Faster R-CNN模型框架

本研究采用Faster R-CNN深度學(xué)習(xí)模型作為基礎(chǔ)框架，其網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

由圖7可見，F(xiàn)aster R-CNN網(wǎng)絡(luò)主要有四個(gè)主要內(nèi)容。首先是卷積層對(duì)輸入的圖片，F(xiàn)aster R-CNN使用一組基礎(chǔ)的conv+relu+pooling層提取圖片的特征圖（Feature map），用于后續(xù)候選框檢測(cè)網(wǎng)絡(luò)（Region Proposal. Network）和全連接層。在RPN層中使用尺寸為3×3 px的滑動(dòng)窗口遍歷該特征圖，以每個(gè)錨點(diǎn)（滑動(dòng)窗口中心）為中心，設(shè)計(jì)不同的長(zhǎng)寬比生成多尺度候選區(qū)域。ROI Pooling層在此基礎(chǔ)上提取候選特征圖（Proposal. Feature Maps），得到固定尺寸的候選特征。最后經(jīng)過分類和回歸，輸出候選區(qū)所屬的類和候選區(qū)域在圖中的精確位置。

2.3.2ResNet50特征提取網(wǎng)絡(luò)

本研究以田間玉米冠層圖像為數(shù)據(jù)，進(jìn)行出苗動(dòng)態(tài)檢測(cè)。田間場(chǎng)景比較復(fù)雜，不同光照和不同采集裝置得到的圖像具有很大的差異，傳統(tǒng)的Faster R-CNN網(wǎng)絡(luò)中特征提取網(wǎng)絡(luò)為VGG。VGG結(jié)構(gòu)層次相對(duì)較淺，難以達(dá)到預(yù)期效果，因此本研究在Faster R-CNN網(wǎng)絡(luò)基礎(chǔ)上設(shè)計(jì)應(yīng)用殘差（Residual）學(xué)習(xí)單元，使用ResNet50作為特征提取網(wǎng)絡(luò)。

研究中用到的特征提取網(wǎng)絡(luò)ResNet50結(jié)構(gòu)如圖8所示。ResNet50共有5個(gè)編碼層，第一個(gè)編碼層是由卷積層和池化層構(gòu)成，后面4個(gè)編碼層就是4個(gè)殘差塊。殘差結(jié)構(gòu)中包括兩個(gè)分支，其中，第一個(gè)分支是使用三個(gè)卷積層、批歸一化層以及修正線性單元（Rectified Linear Unit， ReLU）[26]層進(jìn)行特征處理，而另一個(gè)分支則是通過直接映射處理。在使用特征映射融合將這兩個(gè)分支集成起來(lái)后，整個(gè)網(wǎng)絡(luò)只需要學(xué)習(xí)輸入和輸出之間的差異，簡(jiǎn)化了學(xué)習(xí)的目標(biāo)和難度。表2展示了特征提取網(wǎng)絡(luò)的具體參數(shù)配置。

2.3.3激活函數(shù)與損失函數(shù)

本研究中網(wǎng)絡(luò)訓(xùn)練時(shí)選取ReLu作為激活函數(shù)，當(dāng)輸入值為負(fù)時(shí)，ReLu函數(shù)的輸出值恒為0;當(dāng)輸入值為正時(shí)，ReLu函數(shù)的值與輸入值相等，即：

（1）

本研究模型的損失函數(shù)主要由兩部分組成，其中第一部分是分類損失[27]，其具體公式如下：

（2）

其中，p為第i個(gè)檢測(cè)框的預(yù)測(cè)值;當(dāng)預(yù)測(cè)值與標(biāo)注區(qū)域的重疊區(qū)域大于0.7時(shí)p=1，當(dāng)預(yù)測(cè)值與標(biāo)注區(qū)域的重疊區(qū)域小于0.3時(shí)p=0;N表示網(wǎng)絡(luò)訓(xùn)練過程中生成的256個(gè)檢測(cè)框。

第二部分是回歸損失，用于確定網(wǎng)絡(luò)訓(xùn)練過程中的偏移量，其具體公式為：

（3）

其中，t表示訓(xùn)練階段預(yù)測(cè)值的偏移量;t表示訓(xùn)練階段相對(duì)于實(shí)際的偏移量;λ是平衡回歸損失和分類損失的參數(shù)。

3結(jié)果與分析

3.1試驗(yàn)參數(shù)設(shè)置及訓(xùn)練過程分析

模型訓(xùn)練硬件平臺(tái)采用Intel （R） Xeon（R） CPU E5-2683 v3處理器，128 GB內(nèi)存，兩塊GTX 1070Ti顯卡，以及8GB顯存。軟件環(huán)境在Windows 10操作系統(tǒng)下進(jìn)行配置，語(yǔ)言開發(fā)環(huán)境為Python3.6、Anaconda3和TensorFlow 1.13.2。

選擇隨機(jī)梯度下降法（Stochastic Gradient Descent，SGD）來(lái)更新學(xué)習(xí)率，從而對(duì)Faster RCNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練。訓(xùn)練時(shí)將初始學(xué)習(xí)率設(shè)置為le：衰減率設(shè)置為0.9。為了加快訓(xùn)練速度和訓(xùn)練初期防止權(quán)值被破壞，在迭代前20個(gè)epoch時(shí)候，凍結(jié)一部分網(wǎng)絡(luò)權(quán)值的更新，迭代20個(gè)epoch之后把所有神經(jīng)網(wǎng)絡(luò)進(jìn)行解凍訓(xùn)練，同時(shí)將學(xué)習(xí)率調(diào)整為le，衰減率依然設(shè)置為0.9。設(shè)置網(wǎng)絡(luò)訓(xùn)練的迭代次數(shù)為500個(gè)epoch，每個(gè)epoch訓(xùn)練1000步。訓(xùn)練Loss曲線如圖9所示。

由圖9可以看出，模型在前40個(gè)批次損失快速下降，40個(gè)批次后模型的損失曲線趨于平穩(wěn)。不斷對(duì)模型進(jìn)行訓(xùn)練，直到損失趨于穩(wěn)定并不再變化，最終迭代到500次時(shí)，停止訓(xùn)練。

3.2模型訓(xùn)練結(jié)果

該模型對(duì)于無(wú)人機(jī)可見光以及田間作物高通量表型平臺(tái)可見光兩種圖像在不同光照條件下的玉米幼苗檢測(cè)效果如圖10所示。直觀上可以看出，以ResNet50作為特征提取網(wǎng)絡(luò)進(jìn)行的幼苗檢測(cè)，具有更好的檢測(cè)結(jié)果，而且晴天檢測(cè)結(jié)果優(yōu)于陰天檢測(cè)結(jié)果。表型平臺(tái)圖像中基本所有出苗都被有效地檢測(cè)出來(lái)，而無(wú)人機(jī)圖像中有很少一部分出苗的玉米沒有被檢測(cè)出來(lái)。

3.3評(píng)價(jià)指標(biāo)

對(duì)訓(xùn)練結(jié)束之后的模型進(jìn)行性能判斷，對(duì)于分類模型通常采用精確率（Precision）、召回率（Recall）、交并比（Intersection Over Union，IOU）作為評(píng)價(jià)指標(biāo)，而平均絕對(duì)誤差（Mean Absolute Error，MAE）通常被用來(lái)評(píng)價(jià)計(jì)數(shù)模型的性能。本研究采用以上4個(gè)評(píng)價(jià)指標(biāo)來(lái)對(duì)模型的檢測(cè)計(jì)數(shù)性能進(jìn)行客觀的評(píng)估。各評(píng)價(jià)指標(biāo)的公式如下：

（4）

（5）

其中，尸為Precision，表示在所有模型預(yù)測(cè)為玉米幼苗的結(jié)果中，預(yù)測(cè)正確數(shù)量占總數(shù)的比例;R為Recall，表示模型預(yù)測(cè)為玉米幼苗的數(shù)量占實(shí)際幼苗數(shù)量的比例;TP（True Positive）表示正陽(yáng)性是指樣本預(yù)測(cè)值為正實(shí)際也為正;FP（False Positive）表示假陽(yáng)性是指樣本預(yù)測(cè)值為正實(shí)際為負(fù);FN（False Negative）表示假陰性是指樣本預(yù)測(cè)值為負(fù)實(shí)際為正的。

（6）

其中，IOU表示模型預(yù)測(cè)的邊界框與真實(shí)標(biāo)注的邊界框的交集和并集的比值;A表示模型預(yù)測(cè)的邊界框;B表示人工標(biāo)注的邊界框即為真實(shí)值。

（7）

其中，表示預(yù)測(cè)值;y表示真實(shí)值;和y可以是任意形狀，每個(gè)形狀包含m個(gè)元素。MAE即為絕對(duì)誤差的平均值，可以更好地反映預(yù)測(cè)值誤差的實(shí)際情況，平均絕對(duì)誤差值越小即表示模型訓(xùn)練的效果越好。

根據(jù)上述所列出的評(píng)價(jià)指標(biāo)對(duì)無(wú)人機(jī)圖像和表型平臺(tái)圖像進(jìn)行分析，結(jié)果如表3～表5所示。圖11（97頁(yè)）為模型在不同平臺(tái)和不同天氣下輸出的P-R曲線。PR曲線中將recall設(shè)置為橫坐標(biāo)，precision設(shè)置為縱坐標(biāo)。曲線與坐標(biāo)周包圍的面積為AP，AP越大，說明檢測(cè)結(jié)果越好

由表3可以看到本研究基于ResNet特征提取網(wǎng)絡(luò)的Faster R-CNN在整體測(cè)試集上的表現(xiàn)要優(yōu)于傳統(tǒng)的Faster R-CNN模型。由表4和表5可以看出本研究模型晴天時(shí)在高通量表型平臺(tái)上精度可以達(dá)到95.67%，表現(xiàn)要優(yōu)于無(wú)人機(jī)平臺(tái)精度（91.43%），陰天時(shí)在表型平臺(tái)和無(wú)人機(jī)平臺(tái)上的識(shí)別精度也可以達(dá)到91.36%和89.77%。改進(jìn)后的Faster R-CNN模型可以滿足對(duì)高通量表型平臺(tái)和無(wú)人機(jī)平臺(tái)對(duì)出苗檢測(cè)的要求。

3.4玉米出苗動(dòng)態(tài)監(jiān)測(cè)

考慮到田間作物高通量表型平臺(tái)能夠獲取每天的時(shí)序性可見光圖像（圖12）。本研究采用其所獲取圖像實(shí)現(xiàn)不同品種玉米的動(dòng)態(tài)出苗檢測(cè)。平臺(tái)覆蓋地塊中分別以三種不同密度種植了AD268和XD20兩種玉米植株，每種密度四次重復(fù)。除去保護(hù)行，共24行，行長(zhǎng)為2.5m即密度為25，000株/ha每行種植6棵植株，密度為40，000株/ha每行種植9棵植株，密度為55，000株/ha每行種植12棵植株。各品種玉米于7月23日同時(shí)播種。使用本研究訓(xùn)練的模型從7月26日（未出苗）開始對(duì)各品種玉米連續(xù)10d的冠層圖像進(jìn)行出苗檢測(cè)計(jì)數(shù)，直至所有植株完全出苗。統(tǒng)計(jì)并繪制了同一個(gè)品種不同密度的植株出苗數(shù)量的變化曲線，如圖12所示。

從圖12（a）可以看出AD268品種玉米植株于7月27日開始出苗，于8月4日全部出苗結(jié)束。而圖12（b）的XD20品種玉米植株同樣于7月27日開始出苗，三種不同密度植株在8月1日均全部出苗。為了更加直觀地展示不同密度玉米植株的出苗情況，分別統(tǒng)計(jì)了不同種類和不同種植密度的玉米植株從第一天出苗至出苗結(jié)束所需天數(shù)，如表6所示。

結(jié)合圖12可知，XD20品種的玉米植株比AD268品種的玉米植株從開始出苗到結(jié)束所需的時(shí)間更短即出苗更整齊。而在本次試驗(yàn)中，在相同種植條件及灌溉條件下，密度為25，000株/ha的玉米植株從開始出苗至結(jié)束所需時(shí)間相對(duì)另兩種密度玉米植株更短。利用本研究所提模型進(jìn)行動(dòng)態(tài)出苗檢測(cè)結(jié)果與人工實(shí)測(cè)結(jié)果保持一致，說明本研究所提方法具有一定的魯棒性和泛化性。

4結(jié)論

本研究以無(wú)人機(jī)平臺(tái)可見光圖像以及田間作物表型高通量采集平臺(tái)可見光圖像兩種數(shù)據(jù)源構(gòu)建了不同光照條件下玉米冠層圖像數(shù)據(jù)集。使用Resnet 50代替VGG 16來(lái)優(yōu)化Faster R-CNN模型，對(duì)所獲取共計(jì)2388張圖像進(jìn)行了訓(xùn)練和測(cè)試。優(yōu)化后的模型在測(cè)試集上的平均識(shí)別精度為91.87%，并對(duì)在不同平臺(tái)和不同光照下的模型檢測(cè)精度進(jìn)行了對(duì)比。其中，高通量表型平臺(tái)對(duì)出苗進(jìn)行預(yù)測(cè)時(shí)，晴天和陰天的識(shí)別精度可以分別達(dá)到95.67%和91.63%。無(wú)人機(jī)平臺(tái)對(duì)出苗進(jìn)行預(yù)測(cè)時(shí)，晴天和陰天的識(shí)別精度可以分別達(dá)到91.36%和89.77%。研究結(jié)果表明，應(yīng)用本模型可實(shí)現(xiàn)在田間作物高通量表型平臺(tái)上玉米幼苗檢測(cè)，達(dá)到可觀的效果。而在無(wú)人機(jī)平臺(tái)上的檢測(cè)精度卻相對(duì)偏低。這是由于兩種平臺(tái)所獲取的圖像空間分辨率大小不一樣、采用的預(yù)處理方式也不一樣。導(dǎo)致處理后兩種平臺(tái)的圖像數(shù)據(jù)所包含的玉米幼苗數(shù)量也不一致，因此在進(jìn)行幼苗檢測(cè)時(shí)會(huì)出現(xiàn)不同平臺(tái)的檢測(cè)精度差。

在此基礎(chǔ)上，根據(jù)田間作物高通量表型平臺(tái)所獲取的時(shí)序圖像對(duì)玉米出苗數(shù)量變化進(jìn)行統(tǒng)計(jì)，分析了本試驗(yàn)中AD268和XD20兩個(gè)品種玉米在三種不同種植密度條件下，從出苗開始至結(jié)束所需時(shí)間。結(jié)果表明，不同品種的出苗持續(xù)時(shí)間存在顯著差異，XD20相比AD268出苗持續(xù)時(shí)間更短，出苗更整齊。本研究方法具備一定的準(zhǔn)確性和科學(xué)性，同時(shí)也為使用無(wú)人機(jī)和表型平臺(tái)獲取玉米冠層圖像進(jìn)行識(shí)別計(jì)數(shù)任務(wù)及出苗動(dòng)態(tài)檢測(cè)提供了一定的理論依據(jù)和借鑒價(jià)值。

本研究根據(jù)田間作物表型平臺(tái)從玉米未出苗開始連續(xù)10天所獲取的時(shí)序可見光圖像，進(jìn)一步應(yīng)用該優(yōu)化模型對(duì)不同玉米品種在不同種植密度下的出苗動(dòng)態(tài)進(jìn)行了監(jiān)測(cè)。以上結(jié)果說明本研究建立的基于深度學(xué)習(xí)的玉米出苗檢測(cè)模型不僅可以實(shí)現(xiàn)無(wú)人機(jī)可見光圖像中玉米幼苗的準(zhǔn)確識(shí)別與檢測(cè)，也能夠通過田間作物表型高通量平臺(tái)實(shí)現(xiàn)對(duì)玉米出苗的動(dòng)態(tài)連續(xù)監(jiān)測(cè)。通過對(duì)兩種平臺(tái)的對(duì)比，田間表型高通量平臺(tái)相對(duì)于無(wú)人機(jī)表型平臺(tái)所獲取的圖像更加精細(xì)，時(shí)序性更強(qiáng)，所以出苗檢測(cè)的準(zhǔn)確度更高，能夠更好地為玉米播種質(zhì)量和種子質(zhì)量評(píng)價(jià)提供技術(shù)支撐，為田間大面積測(cè)定出苗率及產(chǎn)量估算提供參考。

參考文獻(xiàn)：

[1] JIM S. New systems enhance seed and product-placement at planting[J]. Cotton Grower， 2021， 57（1）： 16-18.

[2] WILES L J， SCHWEIZER E E. The cost of counting and identifying weed seeds and seedlings[J]. Weed Science， 1999， 47（6）： 667-673.

[3] ZHAO W， YAMADA W， Li T， et al. Augmenting crop detection for precision agriculture with deep visual. transfer learning： A case study of bale detection[J]. Remote Sensing， 2021， 13： ID 23.

[4] SAKO Y， MCDONALD M， FUJIMURA K， et al. A system for automated seed vigour assessment[J]. Seed Science and Technology， 2001， 29（3）： 625-636.

[5] HOFMASTER A， FUJIMURA K， MCDONALD M， et al. An automated system for vigor testing three-day-old soybean seedlings[J]. Seed Science and Technology， 2003， 31（3）： 701-713.

[6] MARCOS-FILHO J， BENNETT M， MCDONALD M， et al. Assessment of melon seed vigour by an automated computer imaging system compared to traditional. procedures[J]. Seed Science and Technology， 2006， 34 （2）： 485-497.

[7] FORCELLA F， ARNOLD R L B， SANCHEZ R， et al. Modeling seedling emergence[J]. Field Crops Research， 2000， 67（2）： 123-139.

[8] FENG A， ZHOU J， VORIES E， et al. Evaluation of cotton emergence using UAV-based narrow-band spectral. imagery with customized image alignment and stitching algorithms[J]. Remote Sensing， 2020， 12（11）： ID 1764.

[9] GNADINGER F， SCHMIDHALTER U. Digital. counts of maize plants by unmanned aerial. vehicles （UAVs）[J]. Remote sensing， 2017， 9（6）： ID 544.

[10] REUZEAU C， FRANKARD V， HATZEELD Y， et al. Traitmill?： A functional. genomics platform for the phenotypic analysis of cereals[J]. Plant Genetic Resources： Characterisation and Utilisation， 2006， 4： 20-24.

[11] VIRLET N， SABERMANESH K， SADEGHI - TEHRAN P， et al. Field scanalyzer： An automated robotic field phenotyping platform for detailed crop monitoring[J]. Functional. Plant Biology， 2017， 44（1）： 143-153.

[12]李寒冰.基于深度學(xué)習(xí)的輿情監(jiān)測(cè)系統(tǒng)[D].北京：北京交通大學(xué)，2019.

LI H. Public opinion monitoring system based on deep learning[D]. Beijing： Beijing Jiaotong University， 2019.

[13]李衛(wèi).深度學(xué)習(xí)在圖像識(shí)別中的研究及應(yīng)用[D].武漢：武漢理工大學(xué)，2014.

LI W. The research and application of deep learning in image recognition[D]. Wuhan： Wuhan University of Technology， 2014.

[14]史璐璐.深度學(xué)習(xí)及其在視頻目標(biāo)跟蹤中的應(yīng)用研究[D].南京：南京郵電大學(xué)，2019.

SHI L. Research on deep learning and its applications in video object tracking[D]. Nanjing： Nanjing University of Posts and Telecommunications， 2019.

[15] GRINBLAT G L， UZAL. L， GLARESE M. Deep learning for plant identification using vein morphological. patterns [J]. Computers and Electronics in Agriculture， 2016， 127：418-424.

[16]楊建宇，周振旭，杜貞容，等.基于SegNet語(yǔ)義模型的高分辨率遙感影像農(nóng)村建設(shè)用地提取[J].農(nóng)業(yè)工程學(xué)報(bào)，2019， 35（5）： 251-258.

YANG J， ZHOU Z， DU Z， et al. Rural. construction land extraction from high spatial. resolution remote sensing image based on SegNet semantic segmentation model[J]. Transactions of the CSAE， 2019， 35（5）： 251-258.

[17] HUMPHREY E J， BELLO J P， LECUN Y. Moving beyond feature design： Deep architectures and automatic feature learning in music informatics[C]// The 13th International. Society for Music Information Retrieval. Conference. Piscataway， New York， USA： IEEE， 2012： 403-408.

[18] NANNI L， GHIDONI S， BRAHNAM S. Handcrafted vs. non-handcrafted features for computer vision classification[J]. Pattern Recognition， 2017， 71： 158-172.

[19] KRIZHEVSKY A. One weird trick for parallelizing convolutional. neural. networks[EB/OL]. 2014. http：// arxiv.org/abs/1404.5997v2.

[20] SIMONYAN K， ZISSERMAN A. Very deep convolutional. networks for large-scale image recognition[EB/OL]. 2014. arXiv： 1409.1556 [cs.CV].

[21] SZEGEDY C， LIU W， JIA Y， et al. Going deeper withconvolutions[C]// The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， New York， USA： IEEE， 2015： 1-9.

[22] HE K， ZHANG X， REN S， et al. Deep residual. learning for image recognition[C]// The IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC， USA： IEEE Computer Society， 2016： 770-778.

[23] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection[C]// The IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway， New York， USA： IEEE， 2016： 779-788.

[24] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot multibox detector[C]// European Conference on Computer Vision. Springer， Cham， Switzerland： 2016： 21-37.

[25] REN S， HE K， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal. networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 39（6）： 1137-1149.

[26] MADEC S， JIN X， LU H， et al. Ear density estimation from high resolution RGB imagery using deep learning technique[J]. Agricultural. and Forest Meteorology， 2019，264：225-234.

[27] ZOU H， LU H， LI Y， et al. Maize tassels detection： A benchmark of the state of the art[J]. Plant Methods， 2020， 16（1）： 1-15.

High-Throughput Dynamic Monitoring Method of Field Maize Seedling

ZHANG Xiaoqing1，2，3， SHAO Song1，2， GUO Xinyu1，2， FAN Jiangchuan1，2*

（1. Beijing Research Center for Information Technology in Agriculture， Beijing 100097， China; 2. Beijing Key Lab of Digital. Plant， National. Engineering Research Center for Information Technology in Agriculture， Beijing 100097， China; 3. College of Information Technology， Shanghai Ocean University， Shanghai 201306， China）

Abstract： At present， the dynamic detection and monitoring of maize seedling mainly rely on manual. observation， which is timeconsuming and laborious， and only small quadrats can be selected to estimate the overall emergence situation. In this research， two kinds of data sources， the high-time-series RGB images obtained by the plant high-throughput phenotypic platform （HTPP） and the RGB images obtained by the unmanned aerial. vehicle （UAV） platform， were used to construct the image data set of maize seedling process under different light conditions. Considering the complex background and uneven illumination in the field environment， a residual. unit based on the Faster R-CNN was built and ResNet50 was used as a new feature extraction network to optimize Faster R-CNN to realize the detection and counting of maize seedlings in complex field environment. Then，based on the high time series image data obtained by the HTPP， the dynamic continuous monitoring of maize seedlings of different varieties and densities was carried out， and the seedling duration and uniformity of each maize variety were evaluated and analyzed. The experimental. results showed that the recognition accuracy of the proposed method was 95.67% in sunny days and 91.36% in cloudy days when it was applied to the phenotypic platform in the field. When applied to the UAV platform to monitor the emergence of maize， the recognition accuracy of sunny and cloudy days was 91.43% and 89.77% respectively. The detection accuracy of the phenotyping platform image was higher， which could meet the needs of automatic detection of maize emergence in actual. application scenarios. In order to further verify the robustness and generalization of the model， HTPP was used to obtain time series data， and the dynamic emergence of maize was analyzed. The results showed that the dynamic emergence results obtained by HTPP were consistent with the manual. observation results， which shows that the model proposed in this research is robust and generalizable.

Key words： field maize; Faster R-CNN; recognition; counting; dynamic seedling detection

（登陸www.smartag.net.cn免費(fèi)獲取電子版全文）

作者簡(jiǎn)介：張小青（1995—），女，碩士研究生，研究方向?yàn)樯疃葘W(xué)習(xí)與圖像處理。E-mail：15151935830@163.com。

*通訊作者：樊江川（1988—），男，碩士，工程師，研究方向?yàn)橹参锉硇徒M學(xué)、農(nóng)業(yè)遙感。電話：13381125869。E-mail：fanjc@nercita.org.cn。