文 飛，莫嘉維，胡宇琦，蘭玉彬,2，陳 欣,2，陸健強(qiáng),2，鄧小玲,2

(1 華南農(nóng)業(yè)大學(xué) 電子工程學(xué)院/國(guó)家精準(zhǔn)農(nóng)業(yè)航空施藥技術(shù)國(guó)際聯(lián)合研究中心, 廣東 廣州 510642；2 嶺南現(xiàn)代農(nóng)業(yè)科學(xué)與技術(shù)廣東省實(shí)驗(yàn)室, 廣東 廣州 510642)

我國(guó)是世界第一荔枝生產(chǎn)大國(guó)，種植面積和產(chǎn)量分別約占全世界的80%和65%以上，荔枝栽培歷史悠久，品種資源和生產(chǎn)經(jīng)驗(yàn)豐富，其中，廣東省是我國(guó)荔枝種植大省。荔枝的花量通常都偏多，尤其是大花穗品種，1個(gè)花穗其小花量可達(dá)數(shù)千朵，荔枝常年花量偏大，消耗的養(yǎng)分過(guò)多反而影響坐果[1]。荔枝花期的現(xiàn)白點(diǎn)時(shí)間、花穗數(shù)量、花量、雄花數(shù)、雌花數(shù)、開(kāi)花時(shí)間、謝花時(shí)間等指標(biāo)要素對(duì)荔枝生產(chǎn)精準(zhǔn)管理格外重要。根據(jù)果樹(shù)花期長(zhǎng)勢(shì)監(jiān)測(cè)結(jié)果，在修剪促萌、灌水、環(huán)割作業(yè)時(shí)間或藥劑處理上進(jìn)行精準(zhǔn)控制，以實(shí)施精準(zhǔn)促花壯花或疏化?；ǖ却胧?，有利于提高坐果率。近年來(lái)，多項(xiàng)研究表明，在花期進(jìn)行合理的管控有利于果實(shí)產(chǎn)量與品質(zhì)的提升，如疏花加快了無(wú)核荔枝果實(shí)生長(zhǎng)發(fā)育，并提高了果實(shí)的產(chǎn)量和品質(zhì)[2]。在花穗生長(zhǎng)中期修剪花穗，能明顯提高單穗掛果數(shù)和產(chǎn)量，綜合效果最好[3]。通過(guò)“一疏二控三割”控穗疏花技術(shù)可以顯著提高‘妃子笑’的最終坐果率、株產(chǎn)和果實(shí)固酸比[4]。不同程度的疏花方式均能夠顯著減少花量，縮短開(kāi)花時(shí)期，并增加坐果量[5]。疏花可以提高單個(gè)花穗的雌花比例，提前一批雄花和第一批雌花的開(kāi)放高峰，延長(zhǎng)雌花的持續(xù)開(kāi)放時(shí)間，進(jìn)而增加初始坐果量，降低生理落果[6]。此外，隨著荔枝種植規(guī)模的擴(kuò)大，人力成本越來(lái)越高，基于無(wú)人機(jī)遙感的大面積果園果樹(shù)花期長(zhǎng)勢(shì)的智能監(jiān)測(cè)需求日益增加。

近距離拍攝荔枝花的圖像，并利用計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)的方法進(jìn)行花期識(shí)別和診斷，是目前主流的研究方法。Wang等[7]提出夜間環(huán)境下修正的芒果花分割方法，該方法將拍攝效果好的圖像作為參照?qǐng)D像，使用歸一化放縮法將其他圖像灰度放縮到參照?qǐng)D像的灰度范圍內(nèi)，從而起到修正作用。用固定的閾值分割出芒果花、葉片和枝干后，訓(xùn)練識(shí)別花的支持向量機(jī)，精確分割出芒果花，并計(jì)算花密度，其準(zhǔn)確率達(dá)到85. 8%。Yousefi等[8]得出基于隨機(jī)森林的油棕櫚開(kāi)花期分類模型在準(zhǔn)確率和F度量值(F-measure)方面要高于K最近鄰算法 (K-nearest neighbor，K-NN)和支持向量機(jī) (Support vector machine，SVM)算法，證明了利用隨機(jī)森林模型對(duì)油棕櫚開(kāi)花期4個(gè)階段進(jìn)行分類的可行性，隨機(jī)森林模型的階段分類準(zhǔn)確率可以達(dá)到72.36%。Lu等[9]通過(guò)攝像頭進(jìn)行柑橘開(kāi)花率評(píng)估，利用MobileNetv3作為特征提取器，結(jié)合深度可分離卷積進(jìn)一步加速，改進(jìn)的柑橘開(kāi)花率統(tǒng)計(jì)模型均值平均精度 (Mean average percision，mAP)為 84.84%，在保證一定精度的前提下，具有內(nèi)存占用少、檢測(cè)速度快等優(yōu)點(diǎn)。朱永寧等[10]提出結(jié)合枸杞開(kāi)花期和果實(shí)成熟期的植物學(xué)特征，利用Faster R-CNN方法對(duì)圖像進(jìn)行訓(xùn)練、分類，構(gòu)建枸杞開(kāi)花期和果實(shí)成熟期的識(shí)別算法，mAP達(dá)到74%。楊其晟等[11]提出一種改進(jìn) YOLOv5 的蘋果花朵生長(zhǎng)狀態(tài)檢測(cè)方法，對(duì)花蕾、半開(kāi)、全開(kāi)、凋落這4類蘋果樹(shù)開(kāi)花期花朵生長(zhǎng)狀態(tài)進(jìn)行檢測(cè)。該方法首先對(duì)跨階段局部網(wǎng)絡(luò)模塊進(jìn)行改進(jìn)，并調(diào)整模塊數(shù)量，結(jié)合協(xié)同注意力模塊設(shè)計(jì)主干網(wǎng)絡(luò)，提高模型檢測(cè)性能并減少參數(shù)，mAP達(dá)到92.2%。熊俊濤等[12]提出一種基于深度語(yǔ)義分割網(wǎng)絡(luò)識(shí)別荔枝花、葉片像素并實(shí)現(xiàn)分割的方法，構(gòu)建深度為34層的ResNet 主干網(wǎng)絡(luò)，引入稠密特征傳遞方法和注意力模塊，提取荔枝花、葉片的特征；最后通過(guò)全卷積網(wǎng)絡(luò)層對(duì)荔枝花、葉片進(jìn)行分割，模型的平均交并比(Mean intersection over union，mIoU)為 0. 734，像素識(shí)別準(zhǔn)確率達(dá)到87%。鄧穎等[13]提出基于實(shí)例分割的柑橘花朵識(shí)別與花量統(tǒng)計(jì)方法，以花期的柑橘樹(shù)冠圖像為樣本進(jìn)行花朵實(shí)例的識(shí)別及分割，通過(guò)對(duì) Mask R-CNN 主體卷積部分和掩膜分支部分的優(yōu)化，實(shí)現(xiàn)對(duì)復(fù)雜結(jié)構(gòu)圖像中密集小尺度柑橘花朵目標(biāo)的高效檢測(cè)，獲取圖像中可見(jiàn)花數(shù)量識(shí)別神經(jīng)網(wǎng)絡(luò)的平均精度為36.3，花量計(jì)算誤差為 11.9%。

隨著無(wú)人機(jī)行業(yè)的發(fā)展，低空遙感已經(jīng)開(kāi)始應(yīng)用于農(nóng)業(yè)農(nóng)事的判斷和管理，無(wú)人機(jī)低空遙感相比于地面攝像頭和人工采集圖像，可以獲得更加豐富的農(nóng)作物和地理信息，相比于衛(wèi)星遙感具有獲取方式更靈活、時(shí)效高、影像分辨率高等特點(diǎn)，在農(nóng)情監(jiān)測(cè)、精準(zhǔn)農(nóng)業(yè)等領(lǐng)域得到越來(lái)越多的應(yīng)用[14-17]。杜蒙蒙等[18]在小麥分蘗期內(nèi)獲取可見(jiàn)光波段的無(wú)人機(jī)遙感圖像，建立植被指數(shù)與小麥莖蘗密度地面真值之間的預(yù)測(cè)模型，在田塊尺度上定量反演小麥莖蘗密度，小麥莖蘗密度定量反演BP神經(jīng)網(wǎng)絡(luò)模型的均方根誤差及平均絕對(duì)百分比誤差分別為19%及3.62%，具有較高的小麥莖蘗密度預(yù)測(cè)精度。朱圣等[19]通過(guò)獲取水稻田的低空遙感圖像，分析得到雜草分布圖，構(gòu)建CNN網(wǎng)絡(luò)對(duì)圖像的分類，精度達(dá)到 92.41%，生成的水稻田雜草分布圖效果最好。楊蜀秦等[20]提出一種改進(jìn)的玉米雄蕊識(shí)別模型，能夠準(zhǔn)確地檢測(cè)無(wú)人機(jī)遙感圖像中尺寸較小的玉米雄蕊，檢測(cè)精度分別比 Faster R CNN 和 YOLO v4模型高26. 22%和3. 42%，為玉米抽雄期的農(nóng)情監(jiān)測(cè)提供參考。

綜合研究表明，目前大多通過(guò)地面攝像頭和人工手持相機(jī)采集荔枝花數(shù)據(jù)，由于角度受限，導(dǎo)致地面拍攝的花期信息不夠全面，無(wú)法應(yīng)用于大規(guī)模荔枝園。由于荔枝花主要集中在冠層，側(cè)面花較少，且荔枝樹(shù)均較高，人工觀測(cè)荔枝冠層耗時(shí)長(zhǎng)、收效低，因此利用無(wú)人機(jī)拍攝冠層可以獲取更多荔枝花期的信息，同時(shí)能夠節(jié)省部分人力和物力，一定程度上可以提升農(nóng)業(yè)農(nóng)事的效率。蘭玉彬教授研究團(tuán)隊(duì)在基于無(wú)人機(jī)遙感技術(shù)進(jìn)行果樹(shù)大面積智能監(jiān)測(cè)方面，積累了較好的研究經(jīng)驗(yàn)，Mo等[21]從無(wú)人機(jī)獲取的圖像中對(duì)果樹(shù)冠層進(jìn)行實(shí)例分割，對(duì)于果園的精準(zhǔn)管理具有重要意義；李繼宇等[22]基于文獻(xiàn)計(jì)量學(xué)，得出農(nóng)用無(wú)人機(jī)仍處于活躍的發(fā)展階段，應(yīng)用場(chǎng)景日趨豐富，縱向發(fā)展稍有阻滯，未來(lái)可能會(huì)在畜牧業(yè)和漁業(yè)上挖掘到新的研究應(yīng)用方向?，F(xiàn)有的研究鮮見(jiàn)通過(guò)荔枝冠層進(jìn)行觀測(cè)分析，本研究擬采用大疆精靈P4 Multispectral無(wú)人機(jī)采集荔枝花期冠層數(shù)據(jù)，重點(diǎn)優(yōu)選和優(yōu)化荔枝開(kāi)花率評(píng)估分類模型，并建立更加精準(zhǔn)的荔枝花期長(zhǎng)勢(shì)評(píng)估模型，以期為后續(xù)荔枝花期疏花保果、精準(zhǔn)施肥施藥提供決策依據(jù)。

1 材料與方法

1.1 研究區(qū)域

研究區(qū)域位于廣東省廣州市從化區(qū)荔博園(23°58′N,113°62′E)，如圖 1a所示，該區(qū)域?qū)賮啛釒Ъ撅L(fēng)區(qū)，氣候溫和，雨量充沛，全年平均氣溫22.0 ℃，年降雨量 2 305.1 mm，年日照 1 638.0 h，適宜的溫度、肥沃的土壤共同組成了荔枝生長(zhǎng)的理想環(huán)境。

圖1 試驗(yàn)地概況Fig. 1 The overview of experimental site

1.2 圖像采集與數(shù)據(jù)集構(gòu)建

采用大疆精靈P4 Multispectral拍攝園區(qū)荔枝樹(shù)冠層可見(jiàn)光圖像，該無(wú)人機(jī)采用TimeSync時(shí)間同步系統(tǒng)，通過(guò)將飛控、相機(jī)與RTK的時(shí)鐘系統(tǒng)進(jìn)行微秒級(jí)同步，實(shí)現(xiàn)相機(jī)成像時(shí)刻的毫秒級(jí)誤差。系統(tǒng)還對(duì)每個(gè)相機(jī)鏡頭中心點(diǎn)位置與天線中心位置，結(jié)合設(shè)備姿態(tài)信息，進(jìn)行實(shí)時(shí)補(bǔ)償，使影像獲得更加豐富的位置信息。本研究于2021年2月底至3月底拍攝園區(qū)花期荔枝冠層，飛行高度約45 m，飛行速度約 5 m/s，結(jié)合地面站軟件 DJI GS PRO 進(jìn)行航線規(guī)劃。園區(qū)占地面積約20 hm2，拍攝園區(qū)荔枝共141棵，通過(guò)大疆制圖軟件對(duì)獲取圖像進(jìn)行拼接。拼接后圖像分辨率為 10 863像素×10 974 像素，試驗(yàn)基地荔枝冠層俯拍圖如圖1b所示。

為獲得單棵荔枝冠層圖像，將整張園區(qū)冠層圖像首先進(jìn)行分塊處理，再運(yùn)用YOLACT實(shí)例分割模型對(duì)園區(qū)內(nèi)的冠層進(jìn)行分割，網(wǎng)絡(luò)訓(xùn)練優(yōu)化器為隨機(jī)梯度下降 (Stochastic gradient descent，SGD)，學(xué)習(xí)率為 0.001，權(quán)重衰減為 5×10-4，動(dòng)量因子為 0.9，分割最佳精確度 (Average precision，AP)達(dá)到96.25%，模型推理結(jié)束后對(duì)圖像進(jìn)行合并處理，去除冗余重復(fù)的部分，并結(jié)合圖片中每棵樹(shù)的位置信息，拼接后最終獲得單棵荔枝樹(shù)的冠層圖像[22]，冠層分割效果如圖2所示。綜合地面調(diào)查，結(jié)合園藝專家的綜合判斷，對(duì)每棵冠層圖像標(biāo)記開(kāi)花率，標(biāo)注的開(kāi)花率分別為0、10%～20%、50%～60%、80%及以上，對(duì)應(yīng)荔枝花期的未開(kāi)花、分化、初花、盛花期：將開(kāi)花率為0%的冠層圖像定為第0類即未開(kāi)花；開(kāi)花率10%～20%的冠層圖像定為第1類，即分化；開(kāi)花率50%～60%的冠層圖像定為第2類，即初花期；開(kāi)花率80%及以上的冠層圖像定為第3類，即盛花期。得到565張荔枝原始冠層圖像，按照6∶2∶2比例隨機(jī)劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。遙感圖像開(kāi)花率示例如圖3所示。

圖2 冠層分割示例Fig. 2 Samples of canopy segmentation

圖3 不同開(kāi)花率示例Fig. 3 Samples of different flowering rates

1.3 數(shù)據(jù)集增強(qiáng)

在已有訓(xùn)練集的基礎(chǔ)上，在訓(xùn)練過(guò)程中利用PyTorch框架進(jìn)行多項(xiàng)數(shù)據(jù)增強(qiáng)，包括隨機(jī)裁剪、垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)一定角度，可以在訓(xùn)練過(guò)程中擴(kuò)充數(shù)據(jù)集，增加數(shù)據(jù)的多樣性，提升深度學(xué)習(xí)的魯棒性，使得模型學(xué)習(xí)更加全面。數(shù)據(jù)增強(qiáng)效果如圖4所示。

圖4 數(shù)據(jù)集圖像增強(qiáng)示例Fig. 4 Samples of dataset image enhancement

1.4 開(kāi)花率評(píng)估模型構(gòu)建

1.4.1 深度卷積神經(jīng)網(wǎng)絡(luò)ResNet網(wǎng)絡(luò)[23]參考了VGG19網(wǎng)絡(luò)，在其基礎(chǔ)上進(jìn)行了修改，并通過(guò)短路機(jī)制加入了殘差單元解決退化問(wèn)題，根據(jù)研究得出，隨著層數(shù)的增加，ResNet的精度隨之增加，同時(shí)計(jì)算復(fù)雜度也隨之增加。后續(xù)提出的多維殘差網(wǎng)絡(luò) (Next dimension resNet，ResNeXt)[24]在網(wǎng)絡(luò)結(jié)構(gòu)上對(duì)ResNet 進(jìn)行了改進(jìn)，借鑒了Inception分組[25]的思想，區(qū)別于Inception需要人工設(shè)計(jì)每個(gè)分支，ResNeXt的每個(gè)分支拓?fù)浣Y(jié)構(gòu)是相同的，通過(guò)多分支卷積網(wǎng)絡(luò) (Multi-branch convolutional networks)、分組卷積(Group convolution)結(jié)構(gòu)在不明顯增加參數(shù)量級(jí)的情況下提升模型的準(zhǔn)確率，同時(shí)由于拓?fù)浣Y(jié)構(gòu)相同，超參數(shù)減少，便于模型移植。

ShuffleNetv1[26]是一個(gè)可用于移動(dòng)設(shè)備的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)，在ResNet的基礎(chǔ)上改進(jìn)，其中Channel shuffle解決了多個(gè)分組卷積(Group convolution)疊加出現(xiàn)的邊界效應(yīng)，借鑒了MobileNet的深度可分離卷積、逐點(diǎn)組卷積(Pointwise group convolution)和深度可分離卷積(Depthwise separable convolution)，主要減少了計(jì)算量，可以在有限的算力之下實(shí)現(xiàn)最優(yōu)精度，更加適用于高時(shí)效、低延遲的場(chǎng)景。ShuffleNetv2[27]中提出了FLOPs不能作為衡量目標(biāo)檢測(cè)模型運(yùn)行速度的標(biāo)準(zhǔn)，ShuffleNetv1大量使用1×1組卷積增加了內(nèi)存訪問(wèn)成本 (Memory access cost)，同時(shí)使用過(guò)多的組會(huì)造成網(wǎng)絡(luò)碎片化，減少模型的并行度。為了彌補(bǔ)ShuffleNetv1的缺陷引入了通道分割(Channel split)，將 1×1組卷積修改為 1×1卷積，將2個(gè)分支的輸出連接在一起，緊接著將2個(gè)分支連接的結(jié)果進(jìn)行Channle shuffle，以保證2個(gè)分支信息交流，模型基本單元結(jié)構(gòu)如圖5a所示。下采樣模塊不再用Channel split，2個(gè)分支都直接復(fù)制1份輸入，分支均采用步長(zhǎng)為2的卷積層進(jìn)行下采樣，接著增加1個(gè) 1×1 卷積進(jìn)行通道數(shù)的調(diào)整，最后將2個(gè)分支進(jìn)行合并，特征圖空間大小減半、通道數(shù)翻倍，空間下采樣單元結(jié)果如圖5b所示。

圖5 ShuffleNetv2的基本單元(a)和下采樣單元(b)Fig. 5 Basic unit (a) and down sampling unit (b) of ShuffleNetv2

1.4.2 基于 ShuffleNetv2的改進(jìn)模型作為輕量級(jí)網(wǎng)絡(luò)，ShuffleNetv2復(fù)雜度比ResNet和ResNeXt都低，且適用場(chǎng)景更廣，所以選取ShuffleNetv2作為本研究的基礎(chǔ)網(wǎng)絡(luò)模型。ShuffleNetv2的整體結(jié)構(gòu)如圖6所示。

圖6 ShuffleNetv2模型的整體結(jié)構(gòu)Fig. 6 Overall structure of ShuffleNetv2 model

本研究在ShuffleNetv2基礎(chǔ)上，對(duì)尾部結(jié)構(gòu)進(jìn)行了修改，即將網(wǎng)絡(luò)最后全連接層1 000個(gè)類別改為4類，剔除不需要的參數(shù)，減少參數(shù)量，選取較大的學(xué)習(xí)率，能夠更好地學(xué)習(xí)擬合本研究的數(shù)據(jù)，達(dá)到更好的效果。訓(xùn)練過(guò)程中運(yùn)用遷移學(xué)習(xí)的方法，即以在ImageNet數(shù)據(jù)集訓(xùn)練得到的權(quán)重作為本研究的預(yù)訓(xùn)練權(quán)重，該項(xiàng)操作有助于新模型的訓(xùn)練，避免隨機(jī)初始化權(quán)重導(dǎo)致訓(xùn)練的效果不好、訓(xùn)練時(shí)間過(guò)長(zhǎng)，通過(guò)預(yù)訓(xùn)練能夠使得網(wǎng)絡(luò)更好地?cái)M合。

此外，CBAM(Convolutional block attention module)是一種輕量型的模塊，作為即插即用的模塊能夠集成到現(xiàn)有的網(wǎng)絡(luò)中，且能夠節(jié)約參數(shù)和算力，在ResNet和MobileNet中均取得了不錯(cuò)的效果，其中的空間注意力模塊(Spatial attention module，SAM)[28]使得網(wǎng)絡(luò)主要集中學(xué)習(xí)特征圖中的位置信息。因此，本研究在ShuffleNetv2網(wǎng)絡(luò)結(jié)構(gòu)中加入SAM。SAM的運(yùn)行流程是將輸入的特征圖進(jìn)行基于通道的全局最大池化(Global max pooling)和全局平均池化 (Global average pooling)，然后將得到的2個(gè)結(jié)果進(jìn)行基于通道的連接(Conact)操作?；谕ǖ赖牟僮骺梢杂行У赝怀鲂畔^(qū)域，經(jīng)過(guò)1個(gè)卷積操作，降維后得到1個(gè)通道的特征圖，再經(jīng)過(guò)Sigmod函數(shù)生成空間特征圖(Spatial attention feature)，最后將得到的特征圖和該模塊的輸入特征圖進(jìn)行相乘，得到最終生成的特征，如圖7所示。

圖7 空間注意力模塊Fig. 7 Spatial attention module

本研究加入的SAM的計(jì)算公式如下：

式中：Ms(F)為計(jì)算得到的特征；σ為Sigmoid的函數(shù)；f7×7表示卷積核尺寸是表示最大池化和平均池化操作。

在ShuffleNetv2網(wǎng)絡(luò)結(jié)構(gòu)中加入SAM，本研究進(jìn)行多次試驗(yàn)得到加入SAM的最佳位置，即在階段2后加入SAM。改進(jìn)后的網(wǎng)絡(luò)模塊如圖8所示。

圖8 改進(jìn)后的ShuffleNetv2結(jié)構(gòu)圖Fig. 8 Structure diagram of improved shufflenetv2

2 結(jié)果與分析

2.1 試驗(yàn)環(huán)境

本試驗(yàn)使用的服務(wù)器處理器為 Intel Core i7-10 700 CPU @ 2.90GHZx 16，內(nèi)存 16 GB，顯卡為 GeForce GTX 3 070。軟件方面，系統(tǒng)為 Ubuntu16.04，CUDA版本為11.3?；赑ython編程語(yǔ)言使用PyTorch框架進(jìn)行深度學(xué)習(xí)模型的搭建。

2.2 評(píng)價(jià)指標(biāo)

本研究所用的測(cè)試指標(biāo)主要為準(zhǔn)確率和損失值。準(zhǔn)確率廣泛地應(yīng)用于分類的評(píng)估中，準(zhǔn)確率是指預(yù)測(cè)正確的樣本數(shù)占全部總樣本數(shù)的比例，針對(duì)的是所有樣本的統(tǒng)計(jì)量，計(jì)算較為簡(jiǎn)單，在分類問(wèn)題中是最直觀的評(píng)價(jià)指標(biāo)。

式中，Acc表示準(zhǔn)確率，TP表示判斷正確的正例數(shù)，TN 表示判斷正確的負(fù)例數(shù)，F(xiàn)P 表示判斷錯(cuò)誤的正例數(shù)，F(xiàn)N 表示判斷錯(cuò)誤的負(fù)例數(shù)。

訓(xùn)練模型時(shí)使用交叉熵?fù)p失函數(shù)來(lái)訓(xùn)練優(yōu)化本研究模型參數(shù)，損失函數(shù)的公式如下：

式中，Loss表示損失值， ypre_i表示輸入數(shù)據(jù)的類是第i類的概率，i 表示樣本標(biāo)簽即真實(shí)值，F(xiàn)c表示類的總數(shù)量。

2.3 模型訓(xùn)練

針對(duì)荔枝冠層花期遙感圖像，進(jìn)行花期評(píng)估，本研究進(jìn)行多項(xiàng)對(duì)比試驗(yàn)，將改進(jìn)后的ShuffleNetv2與深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)ResNet18、ResNet34、ResNet50和ResNeXt50進(jìn)行多方面的對(duì)比。均采用遷移學(xué)習(xí)的方法，加載預(yù)訓(xùn)練的權(quán)重，模型訓(xùn)練迭代次數(shù)為50次，批處理尺寸為32，損失函數(shù)為對(duì)數(shù)交叉熵?fù)p失 (Cross entropy loss)，優(yōu)化算法為隨機(jī)梯度下降 (Stochastic gradient descent，SGD) 。動(dòng)態(tài)調(diào)整學(xué)習(xí)率，動(dòng)量因子為 0. 9，其中 ShuffleNetv2屬于輕量型網(wǎng)絡(luò)，相對(duì)本研究其他網(wǎng)絡(luò)較小，ShuffleNetv2和改進(jìn)后的ShuffleNetv2初始學(xué)習(xí)率設(shè)定為0.1，能夠更快地?cái)M合本研究數(shù)據(jù)，擬合效果更好，其余對(duì)比模型較大，學(xué)習(xí)率過(guò)大會(huì)造成網(wǎng)絡(luò)無(wú)法收斂，在最優(yōu)值附近振蕩，初始學(xué)習(xí)率設(shè)定為0.001。

2.4 對(duì)比分析

圖9為本文改進(jìn)的ShuffleNet v2模型與其他5種主流深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型的損失值變化曲線的比較。由圖9a可以看出，ShuffleNetv2在訓(xùn)練集上損失值降低得較快。損失值可以很好地反映模型的擬合能力，損失越低表示模型擬合能力越強(qiáng)，其中，ResNet18層數(shù)過(guò)淺導(dǎo)致學(xué)習(xí)特征不夠，模型擬合效果欠佳，而ShuffleNetv2和改進(jìn)后的ShuffleNetv2最終達(dá)到較小的損失值，表明ShuffleNetv2對(duì)荔枝花期冠層的特征提取能力強(qiáng)，模型表征充分，和ResNet50、ResNeXt50相比，損失值相差很小。由圖9b可以看出，ResNet50損失值最終在0.55左右，ResNeXt50損失值維持在0.51左右，改進(jìn)后的ShuffleNetv2在驗(yàn)證集上損失值波動(dòng)很小且達(dá)到最低，維持在0.49左右，證明相比其他模型該模型泛化能力強(qiáng)。

圖9 不同數(shù)據(jù)集的損失值變化曲線Fig. 9 Loss curves of different datasets

由圖10a可以看出，在訓(xùn)練集上，ShuffleNetv2和改進(jìn)后的ShuffleNetv2準(zhǔn)確率均高于ResNet，與ResNeXt準(zhǔn)確率十分接近。由圖10b可以看出，在驗(yàn)證集上，ResNet50的準(zhǔn)確率達(dá)到0.78左右，ResNeXt50的準(zhǔn)確率達(dá)到0.80左右，ShuffleNetv2和改進(jìn)后的ShuffleNetv2準(zhǔn)確率分別達(dá)到0.83和0.84左右，效果比ResNet、ResNeXt好，表明模型學(xué)習(xí)效果較好。

圖10 不同數(shù)據(jù)集的準(zhǔn)確率變化曲線Fig. 10 Accuracy change curve of different datasets

表1為不同模型對(duì)荔枝開(kāi)花率評(píng)估的性能對(duì)比。由表1可知，隨著層數(shù)的增加，ResNet訓(xùn)練時(shí)間延長(zhǎng)；ShuffleNetv2的訓(xùn)練時(shí)間相比于ResNet18較少。與ResNet、ResNeXt網(wǎng)絡(luò)相比，ShuffleNetv2的訓(xùn)練速度大幅提高，將有利于后期補(bǔ)充新的數(shù)據(jù)集，更加迅速地?cái)M合。在單張驗(yàn)證的時(shí)間上，ShuffleNetv2和改進(jìn)的ShuffleNetv2都要比ResNet34短，體現(xiàn)出一個(gè)輕量型網(wǎng)絡(luò)在驗(yàn)證速度上的優(yōu)勢(shì)。在測(cè)試集上，改進(jìn)后的ShuffleNetv2模型能夠準(zhǔn)確地分類出不同花期的冠層，可以準(zhǔn)確分析出所處花期為哪一類，尤其是第1類(開(kāi)花率10%～20%)和第2類(開(kāi)花率50%～60%)識(shí)別效果相比 ResNet、ResNeXt有大幅提升。ResNet、ResNeXt模型效果不如改進(jìn)后的ShuffleNetv2，主要識(shí)別錯(cuò)誤集中在第2類上，第2類上ResNet34識(shí)別準(zhǔn)確率只能達(dá)到52%，誤判率較高，因?yàn)榈?類和第2類荔枝冠層的花期特征十分接近，所以模型識(shí)別困難，本研究關(guān)鍵難點(diǎn)也在于此，改進(jìn)后的ShuffleNetv2在保持第0類(開(kāi)花率0%)和第3類(開(kāi)花率80%及以上)高準(zhǔn)確率的基礎(chǔ)上，大大提升了第2類的準(zhǔn)確率，第2類識(shí)別準(zhǔn)確率可以達(dá)到68%，相比于ResNet、ResNeXt高出約8個(gè)百分點(diǎn)，模型整體的識(shí)別準(zhǔn)確率提升，可以為后期果園精準(zhǔn)管控提供參考。

表1 不同模型的性能對(duì)比Table 1 Performance comparison of different models

圖11為不同網(wǎng)絡(luò)模型用于評(píng)估荔枝開(kāi)花率的參數(shù)量比較。由圖11可知，隨著層數(shù)的增加，ResNet參數(shù)量成正比增加，數(shù)量級(jí)都很大；ResNeXt50相對(duì)于ResNet50，參數(shù)量有所減少，因?yàn)镽esNeXt50引入了分組卷積，使得參數(shù)減少的情況下效果更好，減少了超參數(shù)的數(shù)量。ShuffleNetv2的參數(shù)量相對(duì)ResNet和ResNeXt要少很多，比最少的 ResNet18的參數(shù)少 10 866 148，而識(shí)別效果要好很多。ShuffleNetv2和ResNeXt50相比，參數(shù)量相差達(dá)到 23 167 106，效果略差一點(diǎn)，改進(jìn)后的ShuffleNetv2參數(shù)量與ShuffleNetv2幾乎沒(méi)有區(qū)別，但是識(shí)別效果有了較大的提升。荔枝冠層模型分類的最終效果如圖12所示。

圖11 不同網(wǎng)絡(luò)模型的參數(shù)量Fig. 11 Parameters of different networks model

圖12 改進(jìn)的ShuffleNetv2模型荔枝冠層分類效果Fig. 12 Effect of improved shufflenetv2 model on litchi canopy classification

3 討論與結(jié)論

3.1 討論

本研究的荔枝花期遙感圖像數(shù)據(jù)中，單棵荔枝冠層圖像分辨率均較低，經(jīng)過(guò)與ResNet、ResNeXt大量的對(duì)比試驗(yàn)發(fā)現(xiàn)，較深的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于本試驗(yàn)，會(huì)出現(xiàn)冠層特征消失、過(guò)擬合等問(wèn)題，網(wǎng)絡(luò)層數(shù)過(guò)多且沒(méi)有明顯地提升準(zhǔn)確率，訓(xùn)練和識(shí)別速度比較慢，所以ResNet、ResNeXt網(wǎng)絡(luò)不適用于本研究。在同樣的參數(shù)設(shè)定下，輕量級(jí)網(wǎng)絡(luò)ShuffleNetv2對(duì)本研究數(shù)據(jù)有著較好的擬合效果，未優(yōu)化時(shí)準(zhǔn)確率已達(dá)到86.84%，與ResNeXt50相差0.17個(gè)百分點(diǎn)，且ShuffleNetv2的訓(xùn)練時(shí)間、驗(yàn)證時(shí)間有著絕對(duì)的優(yōu)勢(shì)，參數(shù)量最少。試驗(yàn)過(guò)程中發(fā)現(xiàn)，荔枝冠層花期第2類(開(kāi)花率50%～60%)誤判率最高，識(shí)別精度難以有效提升，相比于ResNet、ResNeXt一貫地依靠增加網(wǎng)絡(luò)層數(shù)來(lái)提升精度，ShuffleNetv2的基礎(chǔ)單元中加入了Channle split，能夠巧妙地有效學(xué)習(xí)第2類花期冠層的特征，且能夠保持冠層特征不會(huì)消失。

將ShuffleNetv2進(jìn)行主體結(jié)構(gòu)優(yōu)化，在階段2后加入SAM模塊，使得網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中注意面增寬，更加注意輸入圖像的位置信息，能夠?qū)笾趯舆b感圖像進(jìn)行更加精準(zhǔn)的學(xué)習(xí)，更加關(guān)注荔枝冠層花的位置信息，從而能夠更好地判斷和識(shí)別花期所屬的類別，進(jìn)一步提升網(wǎng)絡(luò)的泛化性和識(shí)別準(zhǔn)確率，改進(jìn)后的ShuffleNetv2分類準(zhǔn)確率相比未優(yōu)化的ShuffleNetv2提升1.76個(gè)百分點(diǎn)，相比ResNeXt50提升1.59個(gè)百分點(diǎn)，最終能達(dá)到88.60%，且參數(shù)量和未優(yōu)化的ShuffleNetv2相差甚微。在增加空間注意力模塊和優(yōu)化主干網(wǎng)絡(luò)以后，訓(xùn)練時(shí)間反而會(huì)降低，因?yàn)槟Ｐ透雨P(guān)注荔枝花的部分，重點(diǎn)學(xué)習(xí)荔枝冠層的各項(xiàng)特征，有效剔除掉與花期無(wú)關(guān)的信息，所以訓(xùn)練速度會(huì)變快。本研究可以應(yīng)用于大型荔枝園的花期評(píng)估，可以在很大程度上節(jié)省人力、物力和財(cái)力。方法上充分運(yùn)用了遷移學(xué)習(xí)，節(jié)省了訓(xùn)練時(shí)間，能夠充分地學(xué)習(xí)到冠層花期的特征。

3.2 結(jié)論

本文使用無(wú)人機(jī)采集荔枝冠層的可見(jiàn)光遙感圖像，將遙感圖像以實(shí)例分割的方法進(jìn)行有效的冠層分割，得到單獨(dú)每棵荔枝冠層的圖像，將圖像預(yù)處理后送入分類網(wǎng)絡(luò)中。由于荔枝花期特征較為接近，識(shí)別較為困難，通過(guò)無(wú)人機(jī)獲取遙感圖像，在獨(dú)特的視角下進(jìn)行花期的分類。加入空間注意力模塊，改進(jìn)后的ShuffleNetv2能夠挖掘?qū)W習(xí)更為細(xì)節(jié)的荔枝冠層花期信息，不僅具有較高的識(shí)別精度，而且有著很快的訓(xùn)練和識(shí)別速度，對(duì)荔枝花期的評(píng)估有很大的優(yōu)勢(shì)。

本研究對(duì)荔枝冠層的遙感圖像進(jìn)行處理，實(shí)現(xiàn)了大型荔枝園的花期評(píng)估，同時(shí)降低了計(jì)算成本，具有很強(qiáng)的實(shí)時(shí)性，為荔枝花期的花量提供數(shù)據(jù)支撐，在荔枝研究領(lǐng)域有著很高的實(shí)用價(jià)值。同時(shí)本研究結(jié)果可以更好地被應(yīng)用與推廣，可以在不顯著要求算力的情況下進(jìn)行模型的推理，本研究的方法為其他種類果樹(shù)的花期評(píng)估提供了一個(gè)新思路，利用輕量級(jí)網(wǎng)絡(luò)對(duì)無(wú)人機(jī)拍攝的冠層圖像進(jìn)行花期的研究與評(píng)估。未來(lái)可以加入不同地區(qū)的果樹(shù)冠層數(shù)據(jù)，提升數(shù)據(jù)的多樣性，并結(jié)合地面攝像頭數(shù)據(jù)，進(jìn)一步提升模型識(shí)別效果。將模型精簡(jiǎn)后部署到邊緣智能終端，節(jié)約算力資源，可以在無(wú)人機(jī)拍攝過(guò)程中，更快地實(shí)現(xiàn)花期的判斷。