朱永寧，周 望，楊 洋，李劍萍，李萬春，金紅偉，房 峰

基于Faster R-CNN的枸杞開花期與果實成熟期識別技術(shù)*

朱永寧1，3，4，周 望2**，楊 洋1，3，4，李劍萍1，3，4，李萬春1，3，4，金紅偉2，房 峰2

（1.中國氣象局旱區(qū)特色農(nóng)業(yè)氣象災(zāi)害監(jiān)測預(yù)警與風(fēng)險管理重點實驗室，銀川 750002；2.航天新氣象科技有限公司，無錫 214000；3.寧夏氣象防災(zāi)減災(zāi)重點實驗室，銀川 750002；4.寧夏氣象科學(xué)研究所，銀川 750002）

以寧夏16套枸杞農(nóng)田實景監(jiān)測系統(tǒng)2018年和2019年拍攝的圖像作為資料，結(jié)合枸杞開花期和果實成熟期的植物學(xué)特征，利用更快速的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（Faster R-CNN）方法對圖像進(jìn)行訓(xùn)練、分類，構(gòu)建枸杞開花期和果實成熟期的識別算法，以平均精確率（AP）和平均精度均值（mAP）作為模型的評價指標(biāo)，并將自動識別結(jié)果與專家目視判斷結(jié)果和田間觀測記錄進(jìn)行對比。結(jié)果表明：當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)中重要超參數(shù)批尺寸（batch size）和迭代次數(shù)（iterations）分別取值64和20000時，mAP值達(dá)到0.74，在測試集上對花和果實的識別效果好于其它參數(shù)?；贔aster R-CNN判識的枸杞開花期和果實成熟期與專家目視判斷的差異在2～5d，這兩種方法的判斷對象和判斷標(biāo)準(zhǔn)一致，可比性強(qiáng)，專家目視判斷的結(jié)果可以作為自動識別技術(shù)的驗證標(biāo)準(zhǔn)，用來優(yōu)化并調(diào)整算法。自動識別結(jié)果與同期田間觀測記錄的差異在0～12d，差異的主要原因是這兩種方法的判識對象和標(biāo)準(zhǔn)不一致，難以利用田間觀測的結(jié)果優(yōu)化自動識別算法。

枸杞；開花期識別；果實成熟期識別；發(fā)育期識別；Faster R-CNN；圖像識別

作物觀測是農(nóng)業(yè)氣象觀測的重要組成部分，主要包括發(fā)育期、生長狀況、產(chǎn)量結(jié)構(gòu)以及病蟲害等，發(fā)育期作為諸多農(nóng)業(yè)氣象指標(biāo)的分界線[1]，是氣象為農(nóng)服務(wù)的基礎(chǔ)信息。根據(jù)現(xiàn)行的農(nóng)業(yè)氣象觀測規(guī)范，要求對作物環(huán)境的物理要素（氣象要素、田間土壤濕度等）和作物要素（發(fā)育期、生長狀況、產(chǎn)量等）進(jìn)行平行觀測[2]。氣象要素觀測從2020年4月即實現(xiàn)了全面自動化，目前土壤水分的監(jiān)測也有了自動土壤水分站，但作物要素的觀測仍然依靠人工和簡單的儀器進(jìn)行實地測量[3]，長期以來農(nóng)業(yè)氣象觀測耗費人力、時效性不足，另外要求具有豐富經(jīng)驗的專業(yè)人員，難以普及[4]，現(xiàn)行的觀測方法已不能滿足業(yè)務(wù)服務(wù)發(fā)展的需求。

近年來隨著物聯(lián)網(wǎng)、計算機(jī)硬件尤其是圖形處理器（GPU）的出現(xiàn)以及深度學(xué)習(xí)等技術(shù)的發(fā)展，基于圖像的作物分類、作物發(fā)育期以及病蟲害識別等均取得了不少研究成果。李濤等利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行訓(xùn)練，對玉米雄穗進(jìn)行識別進(jìn)而對玉米抽雄期進(jìn)行判識，其識別率、精確度和召回率分別達(dá)到了99.42%、99.53%和99.37%[5]，陸明等分別用RGB和HSL顏色空間提取綠色和黃色像素占整幅圖像的比例對夏玉米發(fā)育期進(jìn)行判定，識別正確率達(dá)到了94.24%，其中播種期、出苗期、三葉期和七葉期的識別正確率達(dá)到100%[6]。劉闐宇等通過Faster R-CNN方法準(zhǔn)確定位圖像中的葡萄葉片，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的病害檢測算法，對6種常見葡萄病害的平均精度值達(dá)到66.47%，其中褐斑病與白粉病的平均精度值超過70%[7]。劉永娟利用計算機(jī)視覺技術(shù)對玉米發(fā)育期識別進(jìn)行了研究，其結(jié)果與人工觀測結(jié)果誤差在2d以內(nèi)[8]。熊俊濤等利用Mask R-CNN模型對大豆葉片生長期葉片缺素癥狀的檢測方法進(jìn)行了研究，訓(xùn)練的模型在測試機(jī)上的分類準(zhǔn)確率為89.42%[9]。張博等將空間金字塔池化與改進(jìn)的YOLOv3深度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出了一種農(nóng)作物害蟲種類識別算法，該算法在實際場景下對20類害蟲進(jìn)行了識別測試，識別精度均值達(dá)到88.07%[10]。多位學(xué)者的研究表明，圖像識別技術(shù)在作物發(fā)育期、病蟲害等方面的識別均有良好的應(yīng)用前景和可行性[11-12]，其優(yōu)勢在于省時、高效且能克服人工觀測的主觀性。

由于卷積神經(jīng)網(wǎng)絡(luò)（CNN）具有局部連接，權(quán)重共享以及匯聚的特性，這些特性使其具有一定程度上的平移、縮放和旋轉(zhuǎn)不變形，在圖像和視頻分析任務(wù)上表現(xiàn)突出[13]。近年來發(fā)展出了包括R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、YOLO以及SSD算法等，其中YOLO和SSD作為一階檢測器，其效率更高，在實時目標(biāo)檢測方面具有更強(qiáng)的適用性。而R-CNN、Fast R-CNN以及Faster R-CNN是基于候選區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)，其檢測性能更優(yōu)，在公開基準(zhǔn)上取得了更好的結(jié)果。Faster R-CNN模型由區(qū)域建議網(wǎng)絡(luò)和Fast R-CNN結(jié)合而成，用區(qū)域建議網(wǎng)絡(luò)代替選擇性搜索算法，解決了技術(shù)區(qū)域建議時間開銷大的瓶頸問題，在識別速度和精度上都進(jìn)一步提高[14]，被廣泛用于作物特征識別[15-19]、雜草識別[20-22]以及遙感、醫(yī)學(xué)等多個領(lǐng)域的研究[23-24]。

2018年，在寧夏農(nóng)業(yè)氣象服務(wù)體系和農(nóng)村氣象災(zāi)害防御體系項目的支持下，建成了16套枸杞農(nóng)田實景監(jiān)測系統(tǒng)。為了充分利用圖像資料，研究枸杞發(fā)育期的自動識別算法，逐步實現(xiàn)發(fā)育期的自動觀測，本研究探索了枸杞開花期和果實成熟期的識別技術(shù)，由于發(fā)育期的觀測無需做到實時檢測，只需要對圖像中的目標(biāo)特征進(jìn)行高精度的檢測，因此選擇Faster R-CNN技術(shù)。

1 資料與方法

1.1 資料

枸杞圖像資料來自2018-2019年寧夏16套枸杞農(nóng)田小氣候站上的實景監(jiān)測系統(tǒng)，該系統(tǒng)采用高清攝像機(jī)DH-SD-6A9630U，攝像頭有效像素為500萬，可以實現(xiàn)360°水平旋轉(zhuǎn)、0～90°垂直旋轉(zhuǎn)和變焦拍攝。每套監(jiān)測系統(tǒng)于枸杞生長季（4月1日-11月15日）每天拍攝10張圖像，圖像拍攝高度為6m，圖像分辨率為2560×1920，圖像文件為24位RGB真彩色JPG格式。拍攝到枸杞開花期和果實成熟期特征圖像共3000余張，去除鏡頭污損、拍攝視場角度不理想的圖像，最后剩余圖像樣本數(shù)為1210張。為避免參與訓(xùn)練的某類別圖像數(shù)目過少或過多而出現(xiàn)欠擬合或過擬合現(xiàn)象，采用旋轉(zhuǎn)、裁剪、翻轉(zhuǎn)的方法進(jìn)行數(shù)據(jù)增強(qiáng)，保證枸杞開花期和果實成熟期兩個類別的圖像樣本數(shù)量均衡，最后得到試驗樣本共7260張，其中訓(xùn)練集圖像5808張，測試集圖像1452張。將數(shù)據(jù)增強(qiáng)后的樣本按照PASCAL VOC2007數(shù)據(jù)集格式進(jìn)行劃分，圖像分辨率為2560×1920，圖像文件為24位RGB真彩色JPG格式。根據(jù)枸杞開花期和果實成熟期具有的顯著圖像特征，利用labelImg標(biāo)簽工具將所有圖像樣本中的花和果實作為標(biāo)簽對象，共標(biāo)出12100朵“花”的標(biāo)簽和11602個“果實”標(biāo)簽（圖1）。

1.2 研究方法

攝像頭控制。在攝像頭的有效拍攝范圍內(nèi)選定兩個區(qū)域，每個區(qū)域選定連續(xù)排列的5棵枸杞樹，設(shè)定攝像頭拍攝角度，每次拍攝時都按照設(shè)定的角度對每棵枸杞樹樹冠進(jìn)行拍攝，每天拍攝1次，每次拍攝10張圖像。

開花期和果實成熟期資料的獲取采用3種方法。

（1）田間觀測法。參照《農(nóng)業(yè)氣象觀測規(guī)范枸杞》[25]，2019年在銀川枸杞研究所觀測站（Y0200）和中寧石喇叭村觀測站（Y0211）于枸杞生長季同步進(jìn)行田間觀測。田間觀測選擇與攝像頭拍攝相同的10棵枸杞樹，在每個觀測植株上選定2個枝條作為觀測枝條。當(dāng)觀測枝條上出現(xiàn)某一發(fā)育期的特征時，即認(rèn)為該枝條進(jìn)入此發(fā)育期，地段內(nèi)枸杞群體進(jìn)入發(fā)育期的時間，按照觀測的總枝條數(shù)中進(jìn)入發(fā)育期的枝條數(shù)所占的百分率確定，≥50%即為進(jìn)入普遍期。枸杞的發(fā)育期中包含開花與果實成熟特征的主要發(fā)育期有6個，即老眼枝開花期（老眼枝上有花開放）、老眼枝果實成熟期（老眼枝上的青果迅速膨大，變成鮮紅色，有光澤）、夏果枝開花期（夏果枝上有花開放）、夏果成熟期（夏果枝上的青果迅速膨大，變成鮮紅色，有光澤）、秋梢開花期（秋果枝上有花開放）以及秋果成熟期（秋果枝上的青果變紅）。

圖1 枸杞“花”和“果實”的特征標(biāo)簽

（2）專家目視判斷法。選取Y0200和Y0211兩個站點的全部圖像，由5名經(jīng)驗豐富的專家對圖像進(jìn)行目視判斷，判斷標(biāo)準(zhǔn)是一張圖像中出現(xiàn)某一發(fā)育期的特征達(dá)到5個，則認(rèn)為這一棵枸杞樹達(dá)到了這一發(fā)育期的普遍期，某一天的10張圖像中有5張達(dá)到普遍期，則認(rèn)為地段內(nèi)的枸杞群體進(jìn)入該發(fā)育期，綜合各位專家的意見給出專家目視判斷的結(jié)果。

（3）自動判識法。利用Faster R-CNN對訓(xùn)練集圖像進(jìn)行訓(xùn)練，構(gòu)建枸杞開花期和果實成熟期自動識別算法，根據(jù)算法對圖像中開花和果實成熟的特征進(jìn)行標(biāo)注。該方法的仿真實驗平臺為GPU服務(wù)器，處理器為Intel Broadwell E5-2650 v4，主頻2.2GHz，128GB內(nèi)存，4TB硬盤，GPU采用NVIDIA Titan XP，運行環(huán)境為Ubuntu 16.04.9，Python 2.7，數(shù)學(xué)內(nèi)核庫MKL 2017版，CUDA 8.0與cuDNN 8.0深層神經(jīng)網(wǎng)絡(luò)庫，深度學(xué)習(xí)框架采用Caffe。

根據(jù)觀測經(jīng)驗，枸杞樹冠一般修剪為兩層，每層平均10個枝條，攝像頭由于俯拍的原因能夠拍攝到第一層的10個枝條。按照觀測總枝條的50%出現(xiàn)某發(fā)育期的特征作為進(jìn)入普遍期的原則，規(guī)定當(dāng)一張圖像中出現(xiàn)5個特征點即認(rèn)定這幅圖像拍攝的這棵枸杞樹進(jìn)入了普遍期。拍攝的10幅圖像中，有5幅圖像達(dá)到普遍期即算作觀測的田塊達(dá)到了普遍期。

由于枸杞的發(fā)育期中，具有開花特征和果實成熟特征的各有3個發(fā)育期，利用Faster R-CNN構(gòu)建的開花期和果實成熟期識別算法，只能對特征進(jìn)行識別，但無法識別出是屬于老眼枝的花（或果實）還是春梢或者秋梢的花（或果實）。根據(jù)枸杞發(fā)育特征，在判斷不同階段的開花或果實成熟時引入時間序列判斷。從有圖像開始逐日判識，將第一次判識出開花普遍期的時間認(rèn)定為老眼枝開花普遍期，將10張圖像中開花特征為0的時間作為第一個節(jié)點，再往后判斷出現(xiàn)開花普遍期時，認(rèn)定為夏果枝開花普遍期，至10張圖像中開花特征為0的時間作為第二個節(jié)點，再往后判斷出現(xiàn)開花普遍期時，則作為秋梢開花普遍期。同樣的方式用以判斷果實成熟期的日期。

2 結(jié)果與分析

2.1 基于Faster R-CNN進(jìn)行枸杞開花期和果實成熟期判斷的關(guān)鍵技術(shù)

2.1.1 Faster R-CNN整體流程

Faster R-CNN主要由RPN網(wǎng)絡(luò)和Fast R-CNN目標(biāo)檢測組成[26]，VGG16網(wǎng)絡(luò)用于提取候選圖像的特征圖，RPN網(wǎng)絡(luò)用于生成區(qū)域候選框。Fast R-CNN基于RPN提取的候選框檢測并識別候選區(qū)域中的目標(biāo)。Faster R-CNN的整體流程共有4個環(huán)節(jié)（圖2）。

圖2 Faster R-CNN的目標(biāo)檢測結(jié)構(gòu)

（1）特征提?。篎aster R-CNN首先使用VGG16網(wǎng)絡(luò)提取候選圖像的特征圖，該特征圖被共享用于后續(xù)RPN層和全連接層。

（2）RPN網(wǎng)絡(luò)：RPN網(wǎng)絡(luò)用于生成候選區(qū)域框。該層通過判斷錨點屬于前景或者背景，再利用邊界框回歸修正錨框獲得精確的候選框。

（3）ROI池化：該層收集輸入的特征圖和候選的目標(biāo)區(qū)域，綜合這些信息后提取目標(biāo)區(qū)域的特征圖，送入后續(xù)全連接層判定目標(biāo)類別。

（4）目標(biāo)分類和回歸：利用目標(biāo)區(qū)域特征圖計算目標(biāo)區(qū)域的類別，同時再次利用邊界框回歸獲得檢測框最終的精確位置。

2.1.2 VGG16網(wǎng)絡(luò)模型

特征圖的提取對最后的結(jié)果準(zhǔn)確與否至關(guān)重要，VGG16的卷積層和池化層均采用相同的卷積核參數(shù)和池化核參數(shù)，模型由若干卷積層和池化層堆疊的方式構(gòu)成，比較容易形成較深的網(wǎng)絡(luò)結(jié)構(gòu)，具有很強(qiáng)的特征提取能力[27]。該網(wǎng)絡(luò)具有13個卷積層、13個激勵層和4個池化層（圖3）。其中卷積操作的步長為1，邊界填充為1，卷積核寬、高為3×3，既保證了卷積前后圖像寬高不變，又可以在提升網(wǎng)絡(luò)深度的同時避免權(quán)重參數(shù)過多。池化層采用2×2且步長為2的最大池化，池化層不影響圖像的通道數(shù)目，但每次池化過后圖像的寬高都將減半。卷積的通道數(shù)有64、128、256、512個等級別，通道數(shù)量表示圖像經(jīng)卷積提取特征后的特征圖數(shù)量。每個卷積層之后用ReLu激活函數(shù)進(jìn)行非線性變換，此操作不影響特征的寬高及通道數(shù)目。通過參數(shù)設(shè)置，輸入圖像經(jīng)過13層卷積和4層池化后得到的輸出特征圖的寬高變?yōu)樵瓐D像的1/16，通道數(shù)目由RGB三通道變?yōu)?12。

圖3 VGG16網(wǎng)絡(luò)結(jié)構(gòu)

2.1.3 試驗指標(biāo)評價

為了客觀評價訓(xùn)練模型的優(yōu)劣，選用平均精確率（AP）和平均精度均值（mAP）作為模型性能的評價指標(biāo)。AP是P-R曲線下面的面積，P為精確率，R為召回率。AP是針對單個類別，AP值越高分類器分類效果越好。mAP是多個類別AP的平均值，mAP的取值范圍為[0，1]，mAP越大，說明訓(xùn)練出來的識別模型目標(biāo)檢測效果越好。P和R的計算式為

式中，TP為被正確劃分為正樣本的數(shù)量，F(xiàn)P為被錯誤劃分為正樣本的數(shù)量，F(xiàn)N為被錯誤劃分為負(fù)樣本的數(shù)量。

2.1.4 網(wǎng)絡(luò)訓(xùn)練

在數(shù)據(jù)集固定的情況下，深度學(xué)習(xí)模型的最終效果取決于超參數(shù)調(diào)節(jié)的好壞。超參數(shù)優(yōu)化是一個組合優(yōu)化問題，無法像一般參數(shù)通過自我學(xué)習(xí)不斷調(diào)整，需要進(jìn)行人工或優(yōu)化算法進(jìn)行設(shè)置。使用網(wǎng)格搜索的方式來調(diào)整優(yōu)化超參數(shù)。為了保證實際環(huán)境中拍攝的圖像與訓(xùn)練圖像樣本保持一致性，在訓(xùn)練數(shù)據(jù)時，對前80% epoch進(jìn)行所有數(shù)據(jù)的訓(xùn)練，后面20% epoch只訓(xùn)練原始數(shù)據(jù)。在學(xué)習(xí)率固定的情況下，選取重要超參數(shù)batch size和iterations按照網(wǎng)格搜索方式尋找最佳參數(shù)組合。其中，學(xué)習(xí)率為0.001，batch size取值范圍為[32，64]，迭代次數(shù)為[10000，20000，30000]。測試時，將枸杞開花和果實成熟特征的提取和分類加載到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，將分辨率為2560×1920的24位RGB真彩色的枸杞生長圖像輸入進(jìn)行卷積運算，進(jìn)行端到端處理，利用評價指標(biāo)對不同參數(shù)測試結(jié)果進(jìn)行評價，結(jié)果見表1。

由表1可知，基于本研究采用的試驗仿真平臺，在使用VGG16作為特征提取網(wǎng)絡(luò)的基礎(chǔ)上，當(dāng)學(xué)習(xí)率為0.001，網(wǎng)絡(luò)重要超參數(shù)batch size和iterations分別取值64和20000時，在測試集上對花和果實的識別效果好于其它參數(shù)。

表1 不同超參數(shù)組合在測試集上的測試結(jié)果

注：AP 是平均精確率，mAP是平均精度均值。

Note: AP is Average Precision，mAP is mean Average Precision.

2.2 Faster R-CNN自動識別與田間觀測結(jié)果對比分析

對比2019年Faster R-CNN自動識別的枸杞開花和果實成熟普遍期結(jié)果與田間觀測結(jié)果（表2），由表2可知，Y0200站自動識別結(jié)果比田間觀測結(jié)果整體偏晚2～11d，差異最大的是夏果枝開花期，差異最小的為老眼枝開花期和秋果成熟期。而Y0211站的情況正好相反，自動識別的結(jié)果比田間觀測記錄結(jié)果整體偏早0～12d，差異最大的是夏果枝開花期，差異最小的為老眼枝果實成熟期?？梢姡贔aster R-CNN判識的結(jié)果與田間觀測結(jié)果在不同發(fā)育期和不同站點表現(xiàn)不一致。分析導(dǎo)致差異的原因，一是判識對象不一致，田間觀測時不僅明確了每棵枸杞樹，同時明確了每個枝條，觀測不會因遮擋、隱藏影響觀測結(jié)果。自動識別算法的判識對象是圖像，由于是二維信息無法解決遮擋的問題，當(dāng)出現(xiàn)的特征被遮擋、隱藏?zé)o法拍攝到時，自動判識結(jié)果比田間觀測結(jié)果偏晚。二是判識標(biāo)準(zhǔn)不一致，田間觀測以出現(xiàn)發(fā)育期特征的枝條數(shù)占觀測總枝條數(shù)的百分比作為標(biāo)準(zhǔn)，圖像識別中以一副圖像中出現(xiàn)5個特征點為標(biāo)準(zhǔn)，兩種方式的可對比性不強(qiáng)。

表2 2019年枸杞開花期和果實成熟普遍期自動識別結(jié)果與田間觀測結(jié)果對比

注：Y0200為銀川枸杞研究所觀測站，Y0211為中寧石喇叭村觀測站。P1、P2、P3、P4、P5和P6分別為老眼枝開花期、老眼枝果實成熟期、夏果枝開花期、夏果成熟期、秋梢開花期和秋果成熟期?！?”表示沒有得到對應(yīng)的發(fā)育期日期。下同。

Note: Y0200 is the code of YinchuanResearch Institute Observation Station, Y0211 is the code of Zhongning Shilabacun Observation Station. P1,P2,P3,P4,P5 and P6 are flowering period on the first fruit bearing shoot, fruit maturity on the first fruit bearing shoot, flowering period on the summer fruit bearing shoot, fruit maturity on the summer fruit bearing shoot, flowering period on the autumn fruit bearing shoot, fruit maturity on the autumn fruit bearing shoot, respectively. - means that the corresponding developmental date has not been obtained.The same as below.

由于2019年9月的連陰、降雨天氣導(dǎo)致Y0211站花蕾嚴(yán)重受損，后期未觀測到秋梢開花普遍期和秋果成熟普遍期，自動識別技術(shù)也未識別到這兩個發(fā)育期，兩種方法結(jié)果一致。

2.3 Faster R-CNN自動識別與專家目視判斷結(jié)果對比分析

對比2019年Faster R-CNN自動識別的枸杞開花期和果實成熟普遍期結(jié)果與專家目視判斷結(jié)果（表3），由表3可知，Y0200站自動識別結(jié)果與田間觀測結(jié)果整體相差2～4d，差異最大的是夏果枝開花期，差異最小的是老眼枝開花期和秋果成熟期。Y0211站自動識別結(jié)果與專家目視判斷結(jié)果相差3～5d。Y0211站由于天氣原因未出現(xiàn)秋梢開花普遍期和秋果成熟普遍期，自動識別技術(shù)也未識別到這兩個發(fā)育期，結(jié)果一致。整體上看，自動識別結(jié)果與專家目視判斷的結(jié)果差異明顯縮小，主要原因首先是觀測對象一致，兩種方法均從圖像中獲取信息，如果完全遮擋，自動識別和專家目視均無法判斷，另外，兩種方法的觀測標(biāo)準(zhǔn)一致。二者依然存在差異的原因是圖像中開花和果實成熟特征部分被遮擋，專家認(rèn)為是開花或果實成熟特征，但自動識別會遺漏，這一點專家的判斷結(jié)果明顯好于自動識別（圖4），自動識別算法在這一點上還需完善。圖4a中，專家目視判斷出的開花特征共6個，自動識別結(jié)果為4個，圖4b中，專家目視判斷出的果實成熟特征共5個，自動識別結(jié)果為3個。造成差異的原因都是特征被樹葉或枝條遮擋，自動識別算法未提取到，可見利用VGG16提取的特征還存在缺陷，需要進(jìn)一步完善。

表3 2019年枸杞開花期和果實成熟普遍期自動識別結(jié)果與專家目視判斷結(jié)果對比

圖4 Faster R-CNN自動識別與專家目視判斷開花特征和果實成熟特征結(jié)果

注：紅色邊框為專家目視判斷結(jié)果，綠色錨點為自動判斷結(jié)果。

Note: Red frame is the result of expert visual judgment, green anchor point is the result of automatic judgment.

3 結(jié)論與討論

3.1 結(jié)論

（1）在學(xué)習(xí)率固定的情況下，選取重要超參數(shù)batch size和iterations，按照網(wǎng)格搜索方式尋找最佳參數(shù)組合，當(dāng)batch size和iterations分別取值64和20000時，在測試集上對枸杞花和果實的識別效果好于其它參數(shù)。

（2）基于Faster R-CNN自動識別的枸杞開花和果實成熟普遍期結(jié)果與田間觀測結(jié)果相差0～12d，導(dǎo)致差異較大的原因一是兩種方法的判識對象不同，二是觀測標(biāo)準(zhǔn)不一致。由于差異無法從根本上避免，所以難以利用田間觀測結(jié)果對自動識別算法進(jìn)行調(diào)整或優(yōu)化。

（3）基于Faster R-CNN自動識別結(jié)果與專家目視判斷結(jié)果相差2～5d，兩種方式都以圖像作為判識對象，在判斷標(biāo)準(zhǔn)上也一致，具有更強(qiáng)的可比性，存在差異的主要原因是自動識別算法提取的特征存在缺陷，可以用專家目視判斷的結(jié)果加以優(yōu)化。

3.2 討論

隨著服務(wù)需求的變化和各項技術(shù)的發(fā)展，自動觀測將是農(nóng)業(yè)氣象觀測發(fā)展的一個趨勢。基于圖像識別技術(shù)的發(fā)育期自動判識如果想要代替現(xiàn)有的田間觀測，首先需要足夠準(zhǔn)確的算法，還同時需要一套不同于田間觀測的規(guī)范和標(biāo)準(zhǔn)。從本研究結(jié)果看，田間觀測和圖像識別的結(jié)果有著難以解決的差異，后期應(yīng)該在開展識別技術(shù)研究的同時推進(jìn)規(guī)范和標(biāo)準(zhǔn)的制定。

判斷一幅圖像是否達(dá)到某發(fā)育期時，本研究設(shè)定當(dāng)一幅圖像中具有5個特征點時即算作達(dá)到了普遍期，這一點是根據(jù)前期的觀測經(jīng)驗給出的標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)的適用性還需進(jìn)一步討論。另外，本研究認(rèn)為現(xiàn)行的田間觀測規(guī)范中判斷地段作物群體進(jìn)入發(fā)育期的原則在自動觀測中仍然可以遵循，以觀測的總圖像數(shù)中進(jìn)入發(fā)育普遍期的圖像數(shù)所占的百分率確定。

[1]王純枝,毛留喜,楊曉光,等.黃淮海地區(qū)冬小麥農(nóng)業(yè)氣象指標(biāo)體系的構(gòu)建[J].氣象與環(huán)境科學(xué),2019,42(1):3-10.

Wang C Z,Mao L X,Yang X G,et al.Construction of agrometeorological index system for winter wheat in HuangHuaiHai region[J].Meteorological and Environmental Sciences,2019,42(1):3-10.(in Chinese)

[2]中國氣象局.農(nóng)業(yè)氣象觀測規(guī)范[M].北京:氣象出版社,1993:9-10.

China Meteorological Administration.Specification for agrometeorological observation[M].Beijing:China Meteorological Press,1993:9-10. (in Chinese)

[3]胡萌琦.普及型生態(tài):農(nóng)業(yè)氣象自動觀測方法研究與應(yīng)用[D].南京:南京農(nóng)業(yè)大學(xué),2011.

Hu M Q.Study of universal eco-meteorological and agro-meteorological automatic observation method[D]. Nanjing:Nanjing Agriculture University,2011.(in Chinese)

[4]張雪芬,薛紅喜,孫涵,等.自動農(nóng)業(yè)氣象觀測系統(tǒng)功能與設(shè)計[J].應(yīng)用氣象學(xué)報,2012,23(1):105-112.

Zhang X F,Xue H X,Sun H,et al.Function and designing of automatic system for agro-meteorology[J].Journal of Applied Meteorological Science,2012,23(1):105-112.(in Chinese)

[5]李濤,吳東麗,胡錦濤,等.基于深度學(xué)習(xí)的玉米抽雄期判識[J].電子測量技術(shù),2019,42(11):102-106.

Li T,Wu D L,Hu J T,et al.Maize tasseling period recognition based on deep learning[J].Electronic Measurement Technology,2019,42(11):102-106.(in Chinese)

[6]陸明,申雙和,王春艷,等.基于圖像識別技術(shù)的夏玉米生育期識別方法初探[J].中國農(nóng)業(yè)氣象,2011,32(3):423-429.

Lu M,Shen S H,Wang C Y,et al.Initial exploration of maize phenological stage based on image recognition[J].Chinese Journal of Agrometeorology,2011,32(3):423-429.(in Chinese)

[7]劉闐宇,馮全,楊森.基于卷積神經(jīng)網(wǎng)絡(luò)的葡萄葉片病害檢測方法[J].東北農(nóng)業(yè)大學(xué)學(xué)報,2018,49(3):73-83.

Liu T Y,Feng Q,Yang S.Detecting grape diseases based on convolutional neural network[J].Journal of Northeast Agricultural University,2018,49(3):73-83.(in Chinese)

[8]劉永娟.基于計算機(jī)視覺技術(shù)的玉米生育期識別研究[D].無錫:江南大學(xué),2017.

Liy Y J.Research on recognition of corn growth period based on computer vision technology[D].Wuxi:Jiangnan University,2017.(in Chinese)

[9]熊俊濤,戴森鑫,區(qū)炯洪,等.基于深度學(xué)習(xí)的大豆生長期葉片缺素癥狀檢測方法研究[J/OL].農(nóng)業(yè)機(jī)械學(xué)報,http://kns.cnki.net/kcms/detail/11.1964.S.20191112.0943.004.html.

Xiong J T,Dai S X,Qu J H,et al.Leaf deficiency symptoms detection of soybean based on deep learning[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,http://kns.cnki.net/kcms/detail/11.1964.S.20191112.0943.004.html.(in Chinese)

[10]張博,張苗輝,陳運忠.基于空間金字塔池化和深度卷積神經(jīng)網(wǎng)絡(luò)的作物害蟲識別[J].農(nóng)業(yè)工程學(xué)報,2019,35(19): 209-215.

Zhang B,Zhang M H,Chen Y Z.Crop pest identification based on spatial pyramid pooling and deep convolution neural network[J].Transactions of the CSAE,2019,35(19): 209-215.(in Chinese)

[11]王彥翔,張艷,楊成婭,等.基于深度學(xué)習(xí)的農(nóng)作物病害圖像識別技術(shù)進(jìn)展[J].浙江農(nóng)業(yè)學(xué)報,2019,31(4):669-676.

Wang Y X,Zhang Y,Yang C Y,et al.Advances in new nondestructive detection and identification techniques of crop diseases based on deep learning[J].Acta Agriculturae Zhejiangensis,2019,31(4):669-676.(in Chinese)

[12]梁胤豪,陳全,董彩霞,等.基于深度學(xué)習(xí)和無人機(jī)遙感技術(shù)的玉米雄穗檢測研究[J].福建農(nóng)業(yè)學(xué)報,2020,35(4): 456-464.

Liang Y H,Chen Q,Dong C X,et al.Application of deep-learning and UAV for field surveying corn tassel[J].Fujian Journal of Agricultural,2020,35(4):456-464. (in Chinese)

[13]邱錫鵬.神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)[M].北京:機(jī)械工業(yè)出版社,2020:114.

Qiu X P.Neural networks and deep learning[M].Beijing: China Machine Press,2020:114.(in Chinese)

[14]陳思聰.深度學(xué)習(xí)技術(shù)及在花卉識別中的應(yīng)用[J].信息與電腦,2019(21):70-72.

Chen S C.Deep learning technology and its application in flower recognition[J].China Computer & Communication, 2019(21):70-72.(in Chinese)

[15]孫哲,張春龍,葛魯鎮(zhèn),等.基于Faster R-CNN的田間西蘭花幼苗圖像檢測方法[J].農(nóng)業(yè)機(jī)械學(xué)報,2019,50(7): 216-221.

Sun Z,Zhang C L,Ge L Z,et al.Image detection method for broccoli seedlings in field based on faster R-CNN[J]. Transactions of the Chinese Society for Agricultural Machinery,2019,50(7):216-221.(in Chinese)

[16]席芮,姜凱,張萬枝,等.基于改進(jìn)Faster R-CNN的馬鈴薯芽眼識別方法[J].農(nóng)業(yè)機(jī)械學(xué)報,2020,51(4):216-223.

Xi R,Jiang K,Zhang W Z.et al.Recognition method for potato buds based on improved faster R-CNN[J]. Transactions of the Chinese Society for Agricultural Machinery,2020, 51(4):216-223. (in Chinese)

[17]王靜濤,宋文龍,李克新,等.依據(jù)Faster R-CNN的活體植株葉片氣孔檢測方法[J].東北林業(yè)大學(xué)學(xué)報,2020,48(2): 34-39.

Wang J T,Song W L,Li K X,et al.A Stoma detection method for living plant leaves with faster R-CNN[J]. Journal of Northeast Forestry University,2020,48(2):34-39. (in Chinese)

[18]Shu Q T,Jing P,Hao F L,et al.Passion fruit detection and counting based on multiple scale Faster R-CNN using RGB-D images[J].Agriculture Week,2020,21(11):1072-1091.

[19]李就好,林樂堅,田凱,等.改進(jìn)Faster R-CNN的田間苦瓜葉部病害檢測[J].農(nóng)業(yè)工程學(xué)報,2020,36(12):179-185.

Li J H,Lin L J,Tian K,et al.Detection of leaf diseases of balsam pear in the field based on improved Faster R-CNN[J].Transactions of the CSAE,2020,36(12):179-185. (in Chinese)

[20]李春明,逯杉婷,遠(yuǎn)松靈,等.基于Faster R-CNN的除草機(jī)器人雜草識別算法[J].中國農(nóng)機(jī)化學(xué)報,2019,40(12): 171-176.

Li C M,Lu S T,Yuan S L,et al.Weed identification algorithm of weeding robot based on Faster R-CNN[J]. Journal of Chinese Agricultural Mechanization,2019, 40(12):171-176.(in Chinese)

[21]張樂,金秀,傅雷揚,等.基于Faster R-CNN深度網(wǎng)絡(luò)的油菜田間雜草識別方法[J].激光與光電子學(xué)進(jìn)展,2020, 57(2): 304-312.

Zhang L,Jin X,Fu L Y,et al.Recognition approaches of weeds in rapeseed field based on Faster R-CNN deep network[J].Laser & Optoelectronics Progress,2020,57(2): 304-312.(in Chinese)

[22]彭明霞,夏俊芳,彭輝.融合FPN的Faster R-CNN復(fù)雜背景下棉田雜草高效識別方法[J].農(nóng)業(yè)工程學(xué)報,2019, 35(20):202-209.

Peng M X,Xia J F,Peng H.Efficient recognition of cotton and weed in field based on Faster R-CNN by integrating FPN[J].Transactions of the CSAE,2019,35(20):202-209.(in Chinese)

[23]Wang J W,Luo H B,Yu P F,et al.Small objects detection in UAV aerial images based on improved Faster R-CNN[J]. Journal of Measurement Science and Instrumentation, 2020,1(11):11-16.

[24]周兵,李潤鑫,尚振宏,等.基于改進(jìn)的Faster R-CNN目標(biāo)檢測算法[J].激光與光電子學(xué)進(jìn)展,2020,57(10):105-112.

Zhou B,Li R X,Shang Z H,et al.Object detection algorithm based on improved Faster R-CNN[J].Laser & Optoelectronics Progress,2020,57(10):105-112.(in Chinese)

[25]劉靜,馬力文,李潤懷,等.農(nóng)業(yè)氣象觀測規(guī)范枸杞:QX/T 282-2015[S].中國氣象局,2015.

Liu J,Ma L W,Li R H,et al.Specification for agrometeorological observation:QX/T 282-2015[S].China Meteorological Administration,2015. (in Chinese)

[26]Ren S Q,He K M,Girshick R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J]. Transactions on Pattern Analysis and Machine Intelligence, 2017,39(6):1137-1149.

[27]Simonyan K,Zisserman A.Very deep convolutional networks for large-scale image recognition[J/OL]. ComputerScience,2014 [2014-09-01]. https://arxiv.org/abs/ 1409.1556.

Automatic Identification Technology ofFlowering Period and Fruit Ripening Period Based on Faster R-CNN

ZHU Yong-ning1，3，4, ZHOU Wang2, YANG Yang1，3，4, LI Jian-ping1，3，4, LI ,Wan-chun1，3，4, JIN Hong-wei2, FANG Feng2

（1.Key Laboratory for Meteorological Disaster Monitoring and Early Warning and Risk Management of Characteristic Agriculture in Arid Regions, CMA, Ningxia Yinchuan 750002, China; 2. Aerospace Newsky Technology Co.Ltd, Wuxi 214000; 3. Key Laboratory of Meteorological Disaster Prevention and Reduction of Ningxia, Yinchuan 750002; 4.Ningxia Meteorological Science Institute, Yinchuan 750002）

From 2018 to 2019, 16 sets offarmland monitoring systems had been built in Ningxia. Each system took 10 images every day, and over 30,000 images of the growth oftrees were taken in two years. To study the recognition technology of the flowering period and fruit ripening period ofbased on these images, three methods were used in this paper to judge the developmental stage of. The first one was the field observation method. In this method, two fields where the real-life monitoring system was installed were selected, and thetrees in the two fields were manually observed once in every two days during the growing season. Thetrees selected by manual observation should be consistent with the ones photographed by the farmland monitoring systems. The second method was expert visual judgment, in which 5 experienced experts were invited to judge all the images. The judgment standard was as follows. If there were 5 features in a certain developmental period in an image, it was considered that thistree had reached the universal period of this developmental period. If 5 out of 10 images on a certain day reached the universal period of this developmental period, it was considered that thepopulation in the filed had entered this developmental period. Based on the opinions of the experts, the result of the expert visual judgment was given. The third method is the automatic recognition method. In this method, more than 3000 images with characteristics offlowering and fruit ripening were screened out from all the images. Removed the images with lens fouling or unsatisfactory field of view, and finally, the number of remaining image samples was 1210. To avoid the phenomenon of underfitting or overfitting due to too few or too many images of a certain category involved in training, rotation, cropping and flipping were used for data enhancement. The data enhanced samples were divided according to the format of the PASCAL VOC2007 data set. Finally, a total of 7260 experimental samples were obtained, including 5808 images in the training set and 1452 images in the test set. According to the significant image characteristics ofin the flowering and fruit ripening periods, the labelImg label tool was used to label all the flowers and fruits in the image samples, marking 12100 ‘flower’ labels and 11602 ‘fruit’ labels. Then, faster region-based convolutional neural network (Faster R-CNN) was utilized to train and classify the selected images, and to construct the algorithm for identifying the flowering period and fruit ripening period of. In the constructed algorithm, the judgment standard was the same as that in the second method, and the time series judgment was introduced when judging the different stages of flowering or fruit ripening. Taking AP and mAP as the evaluation indicators of the automatic recognition model, the results showed that the mAP value could reach 0.74 on the test set when the important hyperparameters batch size and the number of iterations in the network structure were set to be 64 and 20000 respectively, which outperforms other hyperparameters setting. Comparing the results of the three methods, it could be found that the difference between the automatic recognition results and the field observation records during the same period was 0-12 days. The main reason for the difference was that the observation objects and standards of the two methods were inconsistent. The observation object of the automatic recognition method was a two-dimensional image, and it could not be judged when the feature was occluded. The object of field observation is thetree, which is not affected by occlusion. Besides, the standards of these two methods were different. The standard of the automatic recognition method was based on the number of feature points observed in the image, while the field observation method was based on the ratio of the observed feature points to the expected feature points of thetree that could not be obtained in the automatic recognition method. The difference between the two methods could not be eliminated fundamentally, so it was difficult to optimize the automatic recognition algorithm using the results of the field observations method. The comparison results also showed that the difference between the automatic recognition results and the expert visual judgments was within 2-5d. The judgment objects and standards of these two methods were consistent, so the results were highly comparable. The results of expert visual judgment could be used as the verification standard to optimize and adjust the automatic recognition method.

；Flowering period recognition; Fruit ripening period recognition; Growth stages recognition；Faster R-CNN；Automatic image recognition

10.3969/j.issn.1000-6362.2020.10.006

朱永寧,周望,楊洋,等.基于Faster R-CNN的枸杞開花期與果實成熟期識別技術(shù)[J].中國農(nóng)業(yè)氣象,2020,41(10):668-677

2020-05-20

周望，E-mail：zhou.wang@js1959.com

中國氣象局旱區(qū)特色農(nóng)業(yè)氣象災(zāi)害監(jiān)測預(yù)警與風(fēng)險管理重點實驗室開放研究基金（CAMF-201813）；第四批寧夏青年科技人才托舉工程項目（TJGC2019058）；寧夏回族自治區(qū)重點研發(fā)計劃（2019BEH03008）；寧夏回族自治區(qū)重點研發(fā)項目（2017BY080）

朱永寧，E-mail：zhuyongning.007@163.com