付虹雨,崔國(guó)賢*,佘瑋,王輝, 張端智
(1.湖南農(nóng)業(yè)大學(xué)苧麻研究所,湖南 長(zhǎng)沙 410128;2.保險(xiǎn)職業(yè)學(xué)院,湖南 長(zhǎng)沙 410000;3.湖南省瀏陽(yáng)市澄潭江鎮(zhèn)人民政府農(nóng)業(yè)農(nóng)村辦,湖南 瀏陽(yáng) 410300)
植株數(shù)量是作物重要的田間表型性狀之一。植株數(shù)量能反映田間作物的覆蓋度和密度信息,對(duì)農(nóng)田生產(chǎn)管理過(guò)程中光、熱、水、肥需求以及種內(nèi)競(jìng)爭(zhēng)等多方面都有影響[1-3]??焖贉?zhǔn)確的作物株數(shù)統(tǒng)計(jì)對(duì)高產(chǎn)栽培、智能測(cè)產(chǎn)和良種選育都具有重要價(jià)值[4-5]。當(dāng)前,增加遺傳增益的創(chuàng)新主要來(lái)自基因組選擇和高通量表型技術(shù)的結(jié)合,快速、精準(zhǔn)鑒定作物性狀是加速遺傳改良和產(chǎn)量增加的重要舉措。然而,傳統(tǒng)的人工田間計(jì)數(shù)方法費(fèi)時(shí)費(fèi)力,具有破壞性,易出現(xiàn)漏數(shù)錯(cuò)數(shù)的情況。因此,需要開(kāi)發(fā)新的方法提高田間作物植株計(jì)數(shù)的準(zhǔn)確性,協(xié)調(diào)作物生產(chǎn)管理以及驅(qū)動(dòng)作物產(chǎn)量潛力。
由于計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)的發(fā)展,基于圖像的作物表型分析取得極大進(jìn)展,有學(xué)者提出從RGB高分辨圖像中定量作物植株數(shù)量的方法[6]。主要方法有特征回歸法、目標(biāo)檢測(cè)法和密度監(jiān)測(cè)法等[7]。如Fernandez等[8]通過(guò)在圖像中尋找局部峰值來(lái)確定麥穗。Li等[9]結(jié)合顏色指數(shù)ExG和Laws紋理特征實(shí)現(xiàn)麥穗的分割和檢測(cè),該方法對(duì)穗部的鑒別準(zhǔn)確率為80%左右。He等[10]展示了YOLOv4實(shí)現(xiàn)小麥計(jì)數(shù)的潛力,識(shí)別正確率為96.71%。Madec等[11]提出了一種利用Fast-RCNN和高空間分辨率RGB圖像進(jìn)行穗密度估計(jì)的方法。密度監(jiān)測(cè)通過(guò)學(xué)習(xí)目標(biāo)特征和相應(yīng)密度圖之間的線性映射,在學(xué)習(xí)過(guò)程中結(jié)合空間信息估計(jì)作物數(shù)量。鮑文霞等[12]采用擁擠場(chǎng)景識(shí)別網(wǎng)絡(luò)構(gòu)建麥穗密度圖估計(jì)模型,麥穗的計(jì)數(shù)準(zhǔn)確率為90%左右。Khaki等[13]提出了一種創(chuàng)新的用于小麥數(shù)量檢測(cè)的框架,這個(gè)框架首先結(jié)合點(diǎn)標(biāo)記和MobileNetV2特征提取器,然后基于兩個(gè)分支,生成圖像的密度圖和定位圖,研究顯示MAE和RMSE分別為3.85和5.19。
隨著高通量表型獲取平臺(tái)的發(fā)展,RGB圖像可通過(guò)手持照相機(jī)、地面裝置(固定監(jiān)測(cè)塔[14]、農(nóng)藥機(jī)械平臺(tái)[15]、智能移動(dòng)平臺(tái)[16])、空中遙感等多種方式獲得。其中,基于地面的表型獲取裝置能在指定田間區(qū)域內(nèi)進(jìn)行作業(yè),具有高空間分辨率,已被一些學(xué)者應(yīng)用于作物植株信息獲取[17]。但是,基于地面的表型獲取裝置不能滿足高通量、快速、大面積田間信息采集的需要,仍需進(jìn)一步改進(jìn)[18]。無(wú)人機(jī)遙感平臺(tái)具有小型化、實(shí)用性、高分辨率以及大眾可承受性的優(yōu)勢(shì),已經(jīng)成為大面積田間作物信息獲取的新途徑。盡管高通量表型數(shù)據(jù)采集已成為現(xiàn)實(shí),機(jī)器學(xué)習(xí)的發(fā)展為數(shù)據(jù)處理提供了更加有效的手段[19],但以往的研究多是在單個(gè)數(shù)據(jù)集上構(gòu)建模型,很難擴(kuò)展到其他作物。當(dāng)進(jìn)行新作物和新情況研究時(shí),從原始數(shù)據(jù)中提取特征性狀用以開(kāi)發(fā)高效、穩(wěn)定的模型仍具有挑戰(zhàn)[20],因?yàn)槟P偷男阅芎艽蟪潭壬先Q于訓(xùn)練樣本數(shù)據(jù)集的數(shù)量和多樣性[21],這需要考慮觀測(cè)條件、基因型差異、發(fā)育階段等多方面的可變性。
基于無(wú)人機(jī)遙感圖像構(gòu)建的作物植株識(shí)別模型對(duì)標(biāo)記樣本提出要求。因?yàn)闃颖緲?biāo)記過(guò)程十分煩瑣,并且數(shù)據(jù)集中標(biāo)記樣本的數(shù)量和質(zhì)量對(duì)模型運(yùn)行的速度、最終模型效果非常敏感,因此,解決標(biāo)記樣本問(wèn)題具有一定挑戰(zhàn),如果能大量減少標(biāo)記將意義重大。為此,有學(xué)者提出了用弱監(jiān)督概念來(lái)降低標(biāo)記樣本的成本。如Ghosal等[22]基于弱監(jiān)督深度學(xué)習(xí)的方法,展現(xiàn)了在不降低檢測(cè)模型性能的情況下減少標(biāo)注訓(xùn)練數(shù)據(jù)集大小的可能性。Gma等[23]考慮3種類型的弱監(jiān)督,利用測(cè)試時(shí)間增強(qiáng)技術(shù)提高了高粱頭部監(jiān)測(cè)的效果。數(shù)據(jù)增強(qiáng)是增加不完全監(jiān)督訓(xùn)練數(shù)據(jù)的數(shù)量,解決大量標(biāo)記問(wèn)題的一個(gè)可嘗試方案[24]。數(shù)據(jù)增強(qiáng)通過(guò)幾何改變[25]、電光轉(zhuǎn)換[26]、數(shù)據(jù)合成[27]等,在保留標(biāo)簽的基礎(chǔ)上人為地膨脹數(shù)據(jù)集,憑借其計(jì)算代價(jià)低、容易實(shí)現(xiàn)的優(yōu)勢(shì),提高深度學(xué)習(xí)性能和防止過(guò)度擬合。
苧麻是重要的紡織工業(yè)原料和傳統(tǒng)出口創(chuàng)匯產(chǎn)品。苧麻的植株數(shù)量與產(chǎn)量有直接的相關(guān)性,但苧麻具有生長(zhǎng)稠密、冠層覆蓋度大等特點(diǎn),故苧麻植株數(shù)統(tǒng)計(jì)煩瑣。為實(shí)現(xiàn)在有限數(shù)據(jù)集上構(gòu)建苧麻植株識(shí)別模型,本文提出了一種基于數(shù)據(jù)增強(qiáng)和深度學(xué)習(xí)方法,達(dá)到少標(biāo)記、易標(biāo)記即可實(shí)現(xiàn)復(fù)雜的稠密目標(biāo)計(jì)數(shù)手段。研究目標(biāo)具體包括:評(píng)估數(shù)據(jù)增強(qiáng)方法對(duì)苧麻植株計(jì)數(shù)模型的貢獻(xiàn);評(píng)估不同空間分辨率、不同算法模型的計(jì)數(shù)效果;驗(yàn)證模型應(yīng)用于多基因型苧麻小區(qū)數(shù)據(jù)的表現(xiàn),并評(píng)估該方案在單獨(dú)的小樣本研究中的可行性。
試驗(yàn)于2020年6—7月在湖南省長(zhǎng)沙市芙蓉區(qū)湖南農(nóng)業(yè)大學(xué)耘園教學(xué)基地(28°11′01.981″N,113°04′10.159″E)進(jìn)行,屬于亞熱帶季風(fēng)性濕潤(rùn)氣候,降水充沛,光熱條件良好,苧麻生長(zhǎng)良好。該區(qū)域地形相對(duì)平坦,為無(wú)人機(jī)進(jìn)行苧麻遙感監(jiān)控提供了良好的條件。
研究樣本來(lái)自2個(gè)不同的試驗(yàn)(長(zhǎng)期試驗(yàn)和種質(zhì)資源試驗(yàn)):用于長(zhǎng)期試驗(yàn)的田塊包括2個(gè)不同品種的苧麻(湘苧三號(hào)和湘苧七號(hào)),每個(gè)品種分為12個(gè)小區(qū),共24個(gè)小區(qū),每個(gè)小區(qū)面積約為12 m2,4行×8列;用于種質(zhì)資源研究的田塊包含154個(gè)小區(qū),共154份種質(zhì)資源,小區(qū)面積2 m×1.8 m,2行×4蔸,蔸間距為0.4 m,行間距為0.6 m,排水溝寬為0.5 m。2個(gè)試驗(yàn)區(qū)灌溉排水便捷,田間水肥管理一致。為了完成后期模型的重建,提高經(jīng)緯、高程位置校準(zhǔn)的精度,試驗(yàn)地從空間和高度上均勻布置了多個(gè)地面控制點(diǎn)(GCP),具體試驗(yàn)小區(qū)分布圖見(jiàn)圖1。
圖1 試驗(yàn)小區(qū)分布圖Fig.1 Locations of experimental plot
研究采用大疆悟2四旋翼無(wú)人機(jī)遙感平臺(tái),搭載的傳感器為zenmusex5s 35 mm高清數(shù)碼相機(jī),該相機(jī)有效像素可達(dá)2080萬(wàn),最大分辨率為5280×3956。試驗(yàn)于2020年二季苧麻封行期(6月21日)采集苧麻試驗(yàn)田的冠層圖像。無(wú)人機(jī)遙感系統(tǒng)采取距離地面10 m的高度搭配-90°云臺(tái)俯仰角進(jìn)行拍攝。為避免云層遮擋以及太陽(yáng)光線影響,選擇晴朗無(wú)風(fēng)的天氣,上午10:00-12:00時(shí)間段進(jìn)行飛行,該時(shí)間段光線狀況好,有利于后期圖像觀察和處理。拍攝參數(shù)、航線規(guī)劃在飛行任務(wù)執(zhí)行前設(shè)置完成,數(shù)碼相機(jī)的曝光模式選擇自動(dòng),避免參數(shù)對(duì)圖像產(chǎn)生影響。
長(zhǎng)期試驗(yàn)區(qū)域內(nèi),共拍攝得到49張冠層圖像,按照1∶4的比例,其中10張作為訓(xùn)練樣本,39張作為測(cè)試樣本。種質(zhì)資源試驗(yàn)區(qū)域內(nèi),獲取了40張冠層圖像,這部分圖像將被用于多基因型苧麻植株監(jiān)測(cè)。
1.3.1 基于SVM分類目標(biāo)樣本
研究利用SVM分類算法快速對(duì)10張訓(xùn)練樣本進(jìn)行處理。HOG-SVM算法是一種廣泛用于行人檢測(cè)的算法:首先采用滑動(dòng)窗口法掃描每幅圖片的所有子窗口,進(jìn)而通過(guò)目視檢測(cè)得到尺寸為90×90 size的單株圖像,提取單株圖像的RGB特征和HOG特征,并借助SVM分類器實(shí)現(xiàn)全部單株圖像的采集。圖2為獲取的單株圖像。
圖2 單株圖像Fig.2 Single plant image
本研究所需要的數(shù)據(jù)包括訓(xùn)練樣本、驗(yàn)證樣本和測(cè)試樣本。采用SVM分類算法獲取的單株圖像經(jīng)過(guò)數(shù)據(jù)增強(qiáng)處理后,按照1∶3的比例分為訓(xùn)練樣本和驗(yàn)證樣本。測(cè)試樣本為獲取的39張冠層原圖,采用labelimg軟件對(duì)測(cè)試樣本進(jìn)行標(biāo)注。
1.3.2 數(shù)據(jù)增強(qiáng)
Mosaic數(shù)據(jù)增強(qiáng)是一種在YOLOv5中提出的數(shù)據(jù)增強(qiáng)方式,被用于事先執(zhí)行樣本數(shù)據(jù)庫(kù)的數(shù)據(jù)轉(zhuǎn)化。這種數(shù)據(jù)增強(qiáng)方式通過(guò)隨機(jī)縮放、隨機(jī)裁減、隨機(jī)排布的方式把4張圖片拼接(圖3)。采用該方法可以模擬密集場(chǎng)景下植被的狀態(tài),豐富檢測(cè)物體目標(biāo)及其背景。
圖3 數(shù)據(jù)增強(qiáng)后的樣本圖像Fig.3 Sample image after data augmentation
1.3.3 地面采樣距離計(jì)算
地面采樣距離(Ground Sampling Distance,GSD)是指地面上測(cè)量的兩個(gè)連續(xù)像素中心之間的距離,單位為cm/像素。研究通過(guò)改變圖像的地面采樣距離來(lái)模擬不同飛行高度下航拍的結(jié)果,計(jì)算公式如下[28]:
式中:H—飛行高度,m;Sw—傳感器寬度,mm;imW—圖像寬度,mm;Fr—鏡頭焦距,mm。
1.4.1 YOLOv5
目標(biāo)檢測(cè)算法包括兩類:一類是One-Stage目標(biāo)檢測(cè)算法,如YOLO、SSD、CornerNet等,由于無(wú)須產(chǎn)生候選區(qū)域,One-Stage目標(biāo)檢測(cè)算法在速度上占有優(yōu)勢(shì);另一類是Two-Stage目標(biāo)檢測(cè)算法,如R-CNN、Fast R-CNN、Faster R-CNN等,這類算法具有更高的準(zhǔn)確度。YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)包括輸入端、Backbone、Neck、Head 4 個(gè)部分:
(1)輸入端。輸入端主要包括Mosaic數(shù)據(jù)增強(qiáng)和自適應(yīng)錨框計(jì)算。Mosaic數(shù)據(jù)增強(qiáng)即把4張圖片通過(guò)隨機(jī)縮放、隨機(jī)裁減、隨機(jī)排布的方式進(jìn)行拼接。Yolov5通過(guò)運(yùn)用自適應(yīng)錨框計(jì)算,實(shí)現(xiàn)不同訓(xùn)練集最佳錨框值的計(jì)算。
(2)Backbone。Backbone包含F(xiàn)ocus結(jié)構(gòu)和CSP結(jié)構(gòu)。Focus對(duì)圖片進(jìn)行切片操作,將輸入通道擴(kuò)充為原來(lái)的4倍。CSP結(jié)構(gòu)用于形成圖像特征,解決了梯度信息重復(fù)問(wèn)題,將梯度的變化從頭到尾集成到特征圖中。
(3)Neck。Neck采用FPN+PAN結(jié)構(gòu)來(lái)生成特征金字塔。FPN自上而下傳遞語(yǔ)義特征,PAN自下而上傳遞定位特征,這兩部分的結(jié)合提高了特征融合。
(4)Head。Head主要用于最終檢測(cè)部分。它在特征圖上應(yīng)用錨定框,并生成帶有類概率、對(duì)象得分和包圍框的最終輸出向量。
1.4.2 Faster-RCNN
Fast R-CNN于2015年提出,其不僅被廣泛地應(yīng)用于作物表型分析,而且對(duì)各種作物和植物器官的檢測(cè)做出了巨大貢獻(xiàn)[29]。Faster RCNN已將feature extraction、bounding box regression、classification整合在一個(gè)網(wǎng)絡(luò)中,使得其綜合性能有較大提高,在提高訓(xùn)練和測(cè)試速度的同時(shí)提高了檢測(cè)精度。
1.4.3 訓(xùn)練環(huán)境
本研究使用的機(jī)器為 Thinkpad P15 gen1,CPU為 Xeon W-10885M,8核16線程,GPU為Nvidia RTX5000,16G顯存,64G運(yùn)行內(nèi)存,Windows10專業(yè)工作站版。YOLOv5采用CSPDarknet作為backbone,使用yolov5s預(yù)訓(xùn)練權(quán)重,SGD優(yōu)化函數(shù),初始動(dòng)量為0.937,衰減參數(shù)為0.000 5,初始學(xué)習(xí)率為0.01,batchsize為16。Faster-RCNN采用resnet50作為backbone,使用resnet50的預(yù)訓(xùn)練權(quán)重,SGD優(yōu)化函數(shù),初始動(dòng)量為0.937,衰減參數(shù)為0.000 5,初始學(xué)習(xí)率為0.01,batchsize為16。
在本研究中,Precision、Recall用于評(píng)估模型在訓(xùn)練和測(cè)試集上的性能。如果檢測(cè)得到的邊界框包含完整的單株植株,則認(rèn)為其是正確的(true positive,TP),否則視為識(shí)別假陽(yáng)性(FP)。當(dāng)檢測(cè)邊界框內(nèi)包含不完整植株時(shí),這種結(jié)果視為假陰性(FN)。在此基礎(chǔ)上,進(jìn)行精度和召回度計(jì)算。具體公式如下。
均方根誤差(Root mean square error,RMSE)和決定系數(shù)(Coefficient of determination,R2)用于評(píng)估模型在驗(yàn)證集上的性能,并對(duì)苧麻植株計(jì)數(shù)的性能進(jìn)行量化。
式中:n—測(cè)試圖像個(gè)數(shù);Ri—參考計(jì)數(shù);Di—檢測(cè)計(jì)數(shù);Ri—平均參考計(jì)數(shù)。
研究發(fā)現(xiàn),數(shù)據(jù)增強(qiáng)方法能在一定程度上優(yōu)化模型性能。原始單株圖像為215個(gè),通過(guò)裁切、平移、變換等數(shù)據(jù)增強(qiáng),最終增加到1522個(gè)。為對(duì)比數(shù)據(jù)增強(qiáng)對(duì)模型的影響,在生成增強(qiáng)樣本后,關(guān)閉Yolov5默認(rèn)的數(shù)據(jù)增強(qiáng)方式,訓(xùn)練200次,共耗時(shí)19 min。由表1可知,數(shù)據(jù)增強(qiáng)前模型精度為0.920,增強(qiáng)后為0.981,精度上漲6.606%。模型召回率在進(jìn)行數(shù)據(jù)增強(qiáng)處理后,由0.972降低到0.967,下降幅度為0.480%。結(jié)果表明,數(shù)據(jù)增強(qiáng)是在目標(biāo)檢測(cè)任務(wù)中處理數(shù)據(jù)量不足、提高目標(biāo)檢測(cè)精度的一種非常有效的方法。
表1 數(shù)據(jù)增強(qiáng)對(duì)驗(yàn)證樣本檢測(cè)結(jié)果的影響Table 1 The impact of data augmentation on detecting validation samples
如圖4所示,數(shù)據(jù)增強(qiáng)前,模型 R2特別低,僅為0.03,RMSE為27.437。增強(qiáng)后 R2為0.728,RMSE為10.881。RMSE在進(jìn)行數(shù)據(jù)增強(qiáng)處理后,降幅為60.342%。
圖4 數(shù)據(jù)增強(qiáng)對(duì)測(cè)試樣本檢測(cè)結(jié)果的影響Fig.4 The impact of data augmentation on detecting test samples
圖5為數(shù)據(jù)增強(qiáng)前后的檢測(cè)結(jié)果,數(shù)據(jù)增強(qiáng)前,模型的漏檢率很高,而數(shù)據(jù)增強(qiáng)后,目標(biāo)的漏檢率明顯降低。這說(shuō)明數(shù)據(jù)增強(qiáng)融合原始樣本和增強(qiáng)樣本進(jìn)行訓(xùn)練,能提供更加穩(wěn)健的識(shí)別模型,并在驗(yàn)證中得到更高的正確檢測(cè)率。
圖5 使用Yolov5數(shù)據(jù)增強(qiáng)前后的檢測(cè)結(jié)果圖Fig.5 Detection results of Yolov5 before and after data augmentation
采用Faster-RCNN模型進(jìn)行訓(xùn)練,訓(xùn)練次數(shù)為200次,耗時(shí)1 h 27 min。由表2可知,YOLOv5和Faster-RCNN兩種模型都能準(zhǔn)確地識(shí)別苧麻:Faster-RCNN在驗(yàn)證集中具有較好的識(shí)別性能,檢測(cè)精度為0.857,召回率為0.709;YOLOv5在指標(biāo)上稍好于Faster-RCNN,在訓(xùn)練速度方面也明顯快于Faster-RCNN。
表2 不同模型下驗(yàn)證樣本檢測(cè)結(jié)果分析Table 2 Detection results of validation samples with different models
通過(guò)測(cè)試集的植株計(jì)數(shù)準(zhǔn)確率來(lái)對(duì)比YOLOv5和Faster-RCNN的檢測(cè)效果(圖6)。YOLOv5的檢測(cè)效果明顯優(yōu)于Faster-RCNN,其R2為0.774,比Faster-RCNN提高了44.762%;YOLOv5模型的RMSE為10.549,比Faster-RCNN降低31.183%。因此,YOLOv5在苧麻株數(shù)檢測(cè)任務(wù)中表現(xiàn)更加優(yōu)秀,其更適合復(fù)雜情況下小目標(biāo)作物的識(shí)別,以及對(duì)象之間存在重疊擁擠的情況。
圖6 不同模型下測(cè)試集樣本檢測(cè)結(jié)果分析Fig.6 Detection results of test sets with different models
對(duì)圖像原始GSD(0.250 cm/像素)進(jìn)行縮小和放大。由表3可知,當(dāng)GSD為0.125 cm/像素時(shí),實(shí)際株數(shù)和預(yù)測(cè)株數(shù)間的擬合程度最好,決定系數(shù)為0.811。當(dāng)圖像的GSD為0.167 cm/像素時(shí),R2達(dá)到0.806。對(duì)原始GSD進(jìn)行縮小后,R2得到提升。因此,低GSD能在一定程度上提高預(yù)測(cè)性能。當(dāng)GSD為0.500 cm/像素時(shí),實(shí)際株數(shù)和預(yù)測(cè)株數(shù)間均方根誤差最小(RMSE=9.001)。根據(jù)RMSE指標(biāo)對(duì)不同GSD下的模型性能進(jìn)行排序,表現(xiàn)為0.500 cm/像素>1.000 cm/像素>0.167 cm/像素>0.125 cm/像素>0.250 cm/像素。這表明GSD對(duì)監(jiān)測(cè)的準(zhǔn)確率存在影響,通過(guò)確定最佳GSD能夠最大化模型的監(jiān)測(cè)性能。另外。隨著GSD的減小,測(cè)試每張圖像所需要的時(shí)間逐漸縮短,測(cè)試原始樣本所需要的平均時(shí)間為0.010 4 s,當(dāng)測(cè)試樣本GSD為0.125 cm/像素時(shí),測(cè)試每張圖像所需要的平均時(shí)間約為0.009 9 s,速度提升4.808%。
表3 不同GSD下YOLOv5的性能分析Table 3 Performance analysis of YOLOv5 at different GSDs
由圖7可知,當(dāng)測(cè)試樣本為154份不同苧麻品種資源時(shí),植株數(shù)量檢測(cè)的效果較差,模型的R2為0.109,RMSE為12.422。這表明,基于單一品種、單一生育期或單一環(huán)境的作物植株監(jiān)測(cè)具有很大的局限性,如果所構(gòu)建的模型沒(méi)有綜合考慮各方面的因素,模型是無(wú)法推廣的。數(shù)據(jù)增強(qiáng)的效果主要體現(xiàn)在同一品種以及生育階段的目標(biāo)檢測(cè)上。因?yàn)槠渌捎玫姆绞绞呛?jiǎn)單的幾何變換和光照變換,當(dāng)訓(xùn)練集中只存在單一基因型或基因型多樣性不足時(shí),數(shù)據(jù)增強(qiáng)的效果很微弱。
圖7 154份苧麻資源植株檢測(cè)結(jié)果分析Fig.7 Analysis results of detecting 154 ramie resources
作物的植株計(jì)數(shù)有以下幾個(gè)難點(diǎn):(1)公共的作物標(biāo)記數(shù)據(jù)缺少,阻礙模型在更多作物中的應(yīng)用;(2)在大田環(huán)境中,檢測(cè)場(chǎng)景更為復(fù)雜,除了會(huì)出現(xiàn)常見(jiàn)的遮擋問(wèn)題、光照問(wèn)題外,還需要考慮不同基因型的變化;(3)作物具有季節(jié)變化性,不同生育期作物形態(tài)差異明顯。同時(shí)氣候變化(多云、多風(fēng)等)也會(huì)影響到遙感成像。因此,為田間作物建立訓(xùn)練模型的要求更加嚴(yán)格。考慮上述問(wèn)題,研究確定了田間作物植株數(shù)量監(jiān)測(cè)的局限性,同時(shí),試驗(yàn)提出的結(jié)合數(shù)據(jù)增強(qiáng)和深度學(xué)習(xí)的方案是可行的,能夠準(zhǔn)確地實(shí)現(xiàn)復(fù)雜環(huán)境的稠密作物的計(jì)數(shù)。
準(zhǔn)確計(jì)算大田環(huán)境下群體作物的株數(shù)對(duì)于作物育種、生產(chǎn)管理以及早期估產(chǎn)至關(guān)重要。然而當(dāng)前大多數(shù)植株計(jì)數(shù)研究主要是針對(duì)單一品種或單一生育期進(jìn)行。因此,確定作物計(jì)數(shù)監(jiān)測(cè)的局限性是有必要的。
在樣本量較少的條件下,利用數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集是有效的。通過(guò)訓(xùn)練數(shù)據(jù)增強(qiáng)之后的樣本數(shù)據(jù)集,苧麻植株計(jì)數(shù)模型的準(zhǔn)確率明顯提高。數(shù)據(jù)增強(qiáng)的優(yōu)勢(shì)在于,減少樣本標(biāo)記的工作量,增加訓(xùn)練的數(shù)據(jù)量,提高模型的泛化能力。當(dāng)前,絕大多數(shù)作物并沒(méi)有建立完整的大型帶標(biāo)記數(shù)據(jù)庫(kù),研究提出的方案對(duì)基于深度學(xué)習(xí)的研究具有借鑒價(jià)值。另外,通過(guò)幾何變換、光學(xué)變換等方式增加噪聲數(shù)據(jù),還能提升模型的魯棒性。
樣本多樣性缺乏是阻礙作物表型分析模型構(gòu)建以及推廣的重要因素之一。在單個(gè)試驗(yàn)中,獲取包含不同生長(zhǎng)環(huán)境、基因型以及其他具有可變特征的樣本存在難度。利用數(shù)據(jù)增強(qiáng)或特殊手段創(chuàng)建虛擬樣本,將很大程度上降低工作量并提高監(jiān)測(cè)效果。研究測(cè)試了計(jì)數(shù)模型在多基因型下的表現(xiàn),結(jié)果表明,當(dāng)測(cè)試樣本為多份不同作物品種資源時(shí),模型的效果很差。數(shù)據(jù)增強(qiáng)處理解決了樣本量不足的問(wèn)題,使得在單個(gè)試驗(yàn)中獲取較高的田間作物植株計(jì)數(shù)準(zhǔn)確率具有可行性。但是,在處理樣本多樣性缺乏問(wèn)題上,數(shù)據(jù)增強(qiáng)的作用很微弱。因?yàn)閿?shù)據(jù)增強(qiáng)方法主要包括圖像的翻轉(zhuǎn)、縮放、位移、添加噪聲等,這些操作無(wú)法生成不同品種或生育階段的作物圖像。由此可見(jiàn),構(gòu)建作物表型分析模型時(shí),最可靠的方式是盡可能獲取多樣性豐富的原始圖像,建立樣本數(shù)據(jù)庫(kù)。
近年來(lái),越來(lái)越多的學(xué)者借助圖像處理技術(shù)和深度學(xué)習(xí)的交叉應(yīng)用[30],進(jìn)一步提高植株計(jì)數(shù)的精度和計(jì)算速度。目標(biāo)檢測(cè)方法可以提供更加詳細(xì)的信息,包括植株數(shù)量、單株作物的位置、大小等[31-32],同時(shí),目標(biāo)檢測(cè)也進(jìn)一步提高了作物植株識(shí)別的準(zhǔn)確率。研究對(duì)比了當(dāng)前常用的2種目標(biāo)檢測(cè)算法(YOLOv5和Faster RCNN)的應(yīng)用效果,結(jié)果表明YOLOv5在小對(duì)象目標(biāo)檢測(cè)任務(wù)中具有一定優(yōu)勢(shì)。
研究基于無(wú)人機(jī)遙感系統(tǒng)獲取的作物冠層RGB圖像,采用深度學(xué)習(xí)技術(shù)統(tǒng)計(jì)苧麻植株數(shù)量。結(jié)果表明,研究檢測(cè)到的苧麻植株數(shù)量與實(shí)際植株數(shù)量具有很高的一致性。這種方法顯著優(yōu)于傳統(tǒng)的人工計(jì)數(shù)方法:首先,無(wú)人機(jī)遙感系統(tǒng)能夠無(wú)損、快速、高通量地得到作物表型信息,降低人工計(jì)數(shù)的成本,省時(shí)省力;其次,無(wú)人機(jī)作業(yè)更多地克服了環(huán)境因素,提高了計(jì)數(shù)的準(zhǔn)確性。
高分辨率的獲得往往與航拍高度相關(guān),通常來(lái)說(shuō),飛行高度越低,空間分辨率越大,GSD越小,即遙感影像上能夠識(shí)別的兩個(gè)相鄰地物的最小距離越小。研究通過(guò)改變?cè)紙D像GSD來(lái)模擬不同航拍高度下獲取的冠層圖像,同時(shí)用于評(píng)估GSD對(duì)模型效果的影響。研究表明,基于高分辨率圖像構(gòu)建的模型具有更加穩(wěn)定的性能,能顯著提高捕獲作物目標(biāo)的精確度,但不同GSD下模型效果差異性不顯著。當(dāng)GSD為0.125 cm/像素時(shí),YOLOv5被證明具有最佳性能。GSD越大,植株的特征信息越模糊,導(dǎo)致特征信息被忽略,模型的識(shí)別性能降低。還有一點(diǎn)需要注意,盡管改變圖像GSD能夠模擬航拍高度變化,但是飛行器旋轉(zhuǎn)氣流產(chǎn)生的運(yùn)動(dòng)模糊無(wú)法通過(guò)改變GSD來(lái)實(shí)現(xiàn)。在低空飛行下,無(wú)人機(jī)槳葉旋轉(zhuǎn)產(chǎn)生的氣流會(huì)導(dǎo)致作物冠層葉片結(jié)構(gòu)不穩(wěn)定,增加表型分析和檢測(cè)的難度。因此,應(yīng)在不影響圖像質(zhì)量的基礎(chǔ)上,選擇最佳航拍高度,盡可能獲取高分辨率圖像。同時(shí),在提供高分辨率的同時(shí),盡量控制無(wú)人機(jī)遙感系統(tǒng)的捕獲吞吐量,提高飛行工作效率。
本研究提出了一種基于無(wú)人機(jī)遙感影像檢測(cè)苧麻植株數(shù)的方法,解決了小樣本、復(fù)雜作物背景、小而密集的檢測(cè)目標(biāo)的問(wèn)題。結(jié)果表明,YOLOv5在小目標(biāo)監(jiān)測(cè)上具有優(yōu)勢(shì),苧麻植株計(jì)數(shù)R2為0.728,RMSE為10.881。數(shù)據(jù)增強(qiáng)可以提高植物計(jì)數(shù)的效果,增強(qiáng)后識(shí)別準(zhǔn)確率平均提高了6.606%。當(dāng)?shù)孛娌蓸泳嚯x為0.125 cm/像素時(shí),苧麻植株計(jì)數(shù)模型可以取得最佳性能。無(wú)人機(jī)遙感與深度學(xué)習(xí)技術(shù)相結(jié)合,為作物密度監(jiān)測(cè)提供了一種新的途徑,該方法簡(jiǎn)單快捷,可廣泛應(yīng)用于其他作物類型的植株數(shù)量監(jiān)測(cè)。