肖 珂，王文靜，高冠東，么 煒

（1.河北農業(yè)大學 信息科學與技術學院，河北 保定 071001；2.河北省農業(yè)大數(shù)據(jù)重點實驗室，河北保定 071001；3.中央司法警官學院 信息管理系，河北 保定 071000）

果樹在種植過程中不可避免地受到病蟲害的侵擾，而目前的傳統(tǒng)噴藥方法不僅造成了農藥的浪費，而且噴藥效果也不理想。隨著“精準農業(yè)”的提出，機器視覺技術在噴施過程中得到越來越廣泛的應用［1-2］。然而，在利用機器視覺提升噴施效率的同時，存在復雜背景下果樹樹冠難以檢測與識別的問題。另外，不同的樹形也十分影響噴施效果，因此，需要對復雜背景下不同樹形果樹的檢測識別進行研究。近些年，針對在精準噴施中果樹的識別問題，一些學者借助傳統(tǒng)的機器視覺技術進行了研究。2016 年，丁為民等［3］在利用機器視覺提取樹冠圖像時，將圖像的分割問題與圖的最小分割相聯(lián)系，通過非完全標記的方式，取代了傳統(tǒng)分割算法中的前景與背景灰度直方圖，提高了算法的運行速度與分割準確性。2021 年，Cheng 等［4］提出了1 種基于馬哈拉諾比斯距離和條件隨機場的分割模型用于識別櫻桃樹，所提出的方法比傳統(tǒng)的K-means 與GrabCut 具有更高的準確率。隨著深度學習的發(fā)展，深度學習被用于識別蘋果果實［5］、草莓果實［6］、蘋果花［7］、梨花［8］、蘋果樹枝［9］、棗［10］，等。近些年逐漸將深度學習應用到樹冠識別的研究當中。2019 年，Lin 等［11］應用全卷積網(wǎng)絡（Fully convolutional neural networks，F(xiàn)CN）進行番石榴果實和樹枝的分割，并實現(xiàn)了水果和樹枝的IoU分別為0.806 和0.473，對424×512 像素的圖像進行分割的時間成本為0.165 s。2021 年，王輝等［12］針對復雜果園背景中識別分割單株果樹樹冠困難的問題，研究了1 種基于Mask R-CNN［13］單株柑橘樹冠識別與分割方法，參與建模的果園中單株柑橘樹冠的分割準確率達到97%。以上的研究表明，傳統(tǒng)圖像處理方法一般對背景簡單的果樹環(huán)境處理效果較好，對于背景復雜、光線多變的果園環(huán)境中的果樹處理效果不理想，而深度學習對背景復雜的環(huán)境有較好的處理效果，準確率與魯棒性也較高。

進行精準噴施時，不僅需要將復雜環(huán)境下的果樹樹冠與背景分離，還需要考慮果樹樹形對施藥過程的影響，國內外部分學者研究了樹形對噴施過程的影響。牛萌萌等［14］的研究中介紹到樹冠形狀使噴頭與目標物之間距離發(fā)生變化，影響了噴霧的分布與農藥霧滴到達目標時的重疊量的大小，表明樹冠形狀對噴施有顯著影響。另外，Wandkar 等［15］在論文中指出，樹木結構的不同對噴霧沉積有很大的影響，不考慮樹木結構易造成噴灑過量或者噴灑不足。由此可見，樹形的不同對于噴施過程中施藥策略、施藥量等方面產生了非常大的影響。

近年來，有部分學者研究了果樹樹形的識別，2017 年， AKERBLOM 等［16］提出了1 種利用地面激光掃描數(shù)據(jù)進行全自動樹種分類的方法，研究中基于定量結構的樹模型從地面激光掃描數(shù)據(jù)中識別樹種信息。2021 年，YAN 等［17］借助卷積神經網(wǎng)絡對高分辨率的衛(wèi)星遙感圖像中的森林樹種進行識別，識別的效果優(yōu)于隨機森林與支持向量機。以上研究能夠識別出不同的樹形，但無法將樹冠的檢測與樹形的識別相結合，本文使用深度學習的方法將樹冠的檢測與樹形的識別相結合，能夠在精準噴施中提供噴施區(qū)域，并提供果樹樹形以供噴施系統(tǒng)調整噴施策略。

在精準噴施中果樹識別方面的研究對復雜背景討論較少，另外在識別果樹時主要針對某一種樹形果樹或某一種品種果樹進行研究。然而，目前我國果園大多處于非標準化的經營狀態(tài)，不同的果園修剪的樹形不盡相同，并且噴施過程中果樹背景復雜，因此需要1 種方法能夠對復雜背景下的果樹進行檢測與樹形的識別。

針對上述問題，本文在Mask R-CNN 模型的基礎上進行改進，提出1 種檢測模型B-Mask R-CNN，本算法在采樣時引入IoU 平衡采樣（IoU-balanced sampling）用于平衡難易樣本數(shù)；在邊界框損失函數(shù)中引入平衡L1 損失（BalancedL1 loss）用于平衡多分類的損失。另外，修改了錨框（Anchor）比例提高模型準確率。本文所提出的B-Mask R-CNN 能夠對搜集的復雜背景下矮化密植形、小冠疏層形、自然開心形、自然圓頭形以及Y 形5 種常見修剪樹形的果樹進行檢測識別，檢測精度高，魯棒性好。這將為復雜環(huán)境下果樹樹冠檢測與樹形識別提供有效的檢測方法，為后續(xù)精準噴施中噴施模式和控制參數(shù)的分析研究奠定基礎。

1 材料與方法

1.1 圖像采集與數(shù)據(jù)集的構建

目前，大部分精準噴施中樹冠檢測的研究對復雜背景與果樹樹形的討論較少，本文為了提高模型檢測的泛化能力與魯棒性，通過互聯(lián)網(wǎng)平臺搜集復雜環(huán)境下5 種常見的修剪樹形的果樹制作數(shù)據(jù)集，數(shù)據(jù)集的內容如表1 所示。

表1 數(shù)據(jù)采集情況Table 1 Data acquisition situation

為了增強算法魯棒性，通過搜索引擎搜集了在不同場景、不同背景復雜度、不同亮度、不同尺寸、不同品種、不同樹形、不同分辨率的果樹圖像共1 280 張。針對Y 形果樹在側面拍攝角度下，樹形不易識別的問題，制作數(shù)據(jù)集時對圖像進行了篩選，選取能夠體現(xiàn)樹形特征的圖像進行試驗。為了保證數(shù)據(jù)的平衡，每種樹形各選取50 張，共250 張圖片，本文對選取的250 張圖片進行手工標注，標注的工具為麻省理工計算機科學與人工智能實驗室研發(fā)的圖像標注工具Labelme，標注圖如圖1 所示。標注完成后將數(shù)據(jù)集按照COCO2017 的格式進行轉換。為了擴充數(shù)據(jù)集，對標注完的數(shù)據(jù)進行數(shù)據(jù)增強。數(shù)據(jù)增強的方式為：

圖1 果樹原圖與標簽圖Fig.1 Original picture and label of fruit trees

(1) 水平鏡面翻轉，每張圖片被翻轉的概率為0.5；

(2)高斯擾動，擾動的概率為0.5，標準差的值為0 ～1.0；

(3)亮度變化，變化的概率為0.5，參數(shù)值的范圍為0.5 ～1.5。

經過數(shù)據(jù)增強后獲得數(shù)據(jù)集共1 500 張，每種樹形各300 張。將數(shù)據(jù)集按照8∶1∶1 的比例劃分為訓練集、驗證集與測試集。

1.2 B-Mask R-CNN 模型建立

B-Mask R-CNN 基于Mask R-CNN 提出，本算法能夠同時實現(xiàn)樹冠的檢測與樹形的識別。本文在進行特征提取時使用包含殘差結構的ResNet 網(wǎng)絡［18］，殘差結構能夠在不增加模型參數(shù)的情況下有效緩解梯度消失與訓練退化的問題。另外，引入特征金字塔網(wǎng)絡（Feature pyramid networks，F(xiàn)PN）［19］，實現(xiàn)了多尺度檢測的目的。在提取特征框時，本文選用區(qū)域推薦網(wǎng)絡（Region proposal network，RPN）結構， RPN 基于全卷積網(wǎng)絡，能夠與網(wǎng)絡共享圖像的卷積特征，極大地提升了檢測速度。

B-Mask R-CNN 模型為了解決正負樣本不均衡的問題引入了IoU-balanced sampling；在邊界框損失函數(shù)中引入BalancedL1 loss 損失函數(shù)，解決了邊界框損失與多分類損失不易收斂、準確率動蕩明顯的問題；除此之外，不同數(shù)據(jù)識別目標的尺寸大小不同，為了生成合適的目標候選框，調整了RPN 中的Anchor 比例。調整后的模型訓練過程圖如圖2 所示。

圖 2 模型訓練過程圖Fig.2 The process diagram of model training

1.2.1 IoU-balanced sampling 的引入 本文提出的模型B-Mask R-CNN 在采樣時引入了IoU-balanced sampling。研究發(fā)現(xiàn)［20］，樣本的分布在IoU 上并不是均勻分布，60%的困難樣本分布在大于0.05 的地方，隨機采樣只提供了30%，這導致出現(xiàn)了大量的負樣本，不利于訓練。IoU-balanced sampling 通過在IoU 上均勻采樣，實現(xiàn)了難樣本在IoU 上的均勻分布，平衡了難易樣本的分布。

IoU-balanced sampling 的采樣公式如（1）所示。

式中Pk為每個區(qū)間采樣的概率，N為采樣個數(shù)，Mk為候選采樣數(shù)，K為劃分區(qū)間數(shù)，k為區(qū)間定位。上述公式（1）中每個區(qū)間采樣的概率指的是從Mk個候選采樣數(shù)中選取N個負樣本的概率，取值范圍為［0,1］。

1.2.2 BalancedL1 loss 的引入 本文提出的模型B-Mask R-CNN 的多分類損失（L）由三部分組成：分類損失、邊界框損失（Lbbox）與分割損失。當分類與分割效果較好時，Lbbox的大小十分影響損失與訓練過程。直接提升Lbbox的損失權重會使得模型對困難樣本更加敏感，產生過大梯度，而簡單樣本只占30%的梯度。本文為了平衡梯度，引入BalancedL1 loss 損失函數(shù)，使Lbbox與L更好地收斂。

使用Lb來表示本損失函數(shù)，如（2）所示。

公式（2）中，x為預測框與標簽之間的差異值。α 為常數(shù)，用于控制在不影響困難樣本梯度的情況下，對簡單樣本進行提升,試驗中設置為0.5。γ 為常數(shù)，可以調整梯度的上界，當損失非常大時，能夠幫助目標函數(shù)更好地平衡所涉及的各個任務，在試驗中設置為1.5。b 為常數(shù)，用于保證公式（2）在Lb(x=1)時函數(shù)的連續(xù)性，α、γ、b 滿足αlan(b+1)=γ，在本研究中b=e3-1。C 為任意的常數(shù)值。為推導函數(shù)過程中損失函數(shù)求積分所得。

1.2.3 Anchor 縮放比例調整 在模型訓練過程中，Anchor 的面積和寬高比的設置是根據(jù)先驗知識確定，先驗知識對于減少網(wǎng)絡的數(shù)據(jù)量非常重要，因此，選取合適的Anchor 能夠有效地較少數(shù)據(jù)的運算量。

Anchor 的大小由面積與寬高比共同決定。為了保證設置的Anchor 能夠覆蓋原圖的所有區(qū)域，本研究根據(jù)FPN 產生的5個不同尺度的特征圖，將Anchor 設置為5個不同的面積，選取的面積如表2所示。

Anchor 框的大小計算公式為（3）與（4）所示。

式中，R為Anchor 的寬高比，h為Anchor 的高，w為Anchor 的寬，base_size為Anchor 面積的邊長。最終每個區(qū)域中心生成的15 個Anchor 框的大小如表2 所示。

表2 錨框大小Table 2 The Size of Anchor

2 試驗過程

2.1 運行環(huán)境

本文所有試驗在實驗室的服務器上完成，服務器的操作系統(tǒng)為Ubuntu18.04.1，CPU 的型號為Intel Core i7-9700CPU @3.00GHz8，GPU 的型號為NVIDIA GeForce RTX 2080，運行內存為32G。在此基礎上使用Pytorch 的深度學習框架，使用Python3.7進行編程。

2.2 模型的訓練

超參數(shù)的選擇對模型的訓練至關重要，本試驗所涉及的超參數(shù)主要有學習率lr與訓練輪數(shù)epochs。Mask R-CNN 在顯卡數(shù)量為8 的情況下lr=0.02，本試驗所使用的顯卡數(shù)量為1，參考服務器的顯卡數(shù)量，令lr=0.02/8，即lr=2.5e-3，并按照指數(shù)標尺擴大10 倍學習率與縮小10 倍學習率分別選取lr=0.025、lr=2.5e-3、lr=2.5e-4 進行試驗，最終試驗結果表明2.5e-3 的學習率為最佳。另外，本試驗以常用的訓練輪數(shù)6 為基準，縮小2 倍訓練輪數(shù)與擴大2 倍訓練輪數(shù)分別選取epochs=3、epochs=6、epochs=12 進行試驗，試驗表明epochs=6 時效果最好。

Mask R-CNN 所用的數(shù)據(jù)集為COCO 數(shù)據(jù)集，本文針對矮化密植形、小冠疏層形、自然開心形、自然圓頭形以及Y 形5 種常見的修剪樹形進行檢測與識別，對網(wǎng)絡模型進行微調，將網(wǎng)絡模型中邊界框檢測頭、掩膜檢測頭以及數(shù)據(jù)集的類別數(shù)修改為5。

本試驗為了加快模型的訓練速度以及改善訓練效果，使用了遷移學習的方法。加載了ImageNet 預訓練模型，并對預訓練模型進行微調以適應自己的數(shù)據(jù)集。

2.3 評估指標

為了檢驗模型對果樹檢測與分割的效果，選取的評估指標有平均精度AP、均值平均精度mAP、準確率Acc以及平均準確率mAcc。

上述表達式（5）中P為精準率，r為召回率；表達式（6）中AP1為第一類的檢測精度，AP2為第二類的檢測精度，APn是第n類的檢測精度，n代表類別數(shù)。表達式（7）中TP是正樣本且被檢測為正樣本的數(shù)，F(xiàn)P是負樣本但被檢測為正樣本的數(shù)，TN是負樣本且被預測為負樣本的數(shù)，F(xiàn)N是正樣本但被檢測為負樣本的數(shù)；表達式（8）中Acc1為第一類的準確率，Acc2為第二類的準確率，Accn為第n類的準確率，n代表類別數(shù)。

3 結果與分析

3.1 B-Mask R-CNN 模型效果

（1）IoU-balanced sampling 提升效果

在進行采樣時，本文引入了IoU-balanced sampling，此采樣策略可以平衡模型在學習過程中的難易樣本比例，優(yōu)化學習模型，提升模型準確率。本文將B-Mask R-CNN 與Mask R-CNN 模型的檢測效果進行了對比，對比時從目標檢測框（bbox）與語義分割（segm）兩方面進行對比。

表3 為bbox 對應的矮化密植形、小冠疏層形、自然開心形、自然圓頭形以及Y 形5 種樹形的AP值與mAP值的對比，表4 為segm 對應的5 種樹形的AP值與mAP值的對比。

表3 bbox 檢測精度對比Table 3 Comparison of bbox detection accuracy

表4 segm 分割精度對比Table 4 Comparison of segmentation accuracy

表3 與表4 中的AP1、AP2、AP3、AP4、AP5分別表示上述5 種樹形的AP值。在表3 與表4 中IoU=0.50指IoU閾值為0.50 的mAP值，使用的范圍更廣泛，IoU=0.50∶0.95 時的mAP值取的是從0.50 到0.95之間，每隔0.05 所取的平均值，這個評價指標可以更好地表示模型檢測與識別的效果。

從表3 與表4 的數(shù)值進行對比分析得知，本研究所提模型B-Mask R-CNN 比Mask R-CNN 在目標檢測框與語義分割兩方面都得到了顯著地提升。本試驗中表3 與表4 中的AP4為自然圓頭形柑橘樹的識別結果，由于試驗中樹冠部分與背景的邊緣部分標注更加細致，數(shù)據(jù)集考慮了光照、角度、尺度等因素，并且識別的樹形更多，導致檢測結果與文獻［12］中單一柑橘樹的準確率相比較低，但本算法魯棒性和實用性更強。

（2）BalancedL1 loss 提升效果

BalancedL1 loss 損失函數(shù)的引入有效地降低了Lbbox與L，使得模型更好地收斂與學習。圖3 為改進算法前后Lbbox的對比效果。

圖3 改進前后Lbbox 對比Fig.3 Comparison of Lbbox before and after improvement

結果表明改進后的Lbbox起始的位置更低，訓練過程中也更加平穩(wěn)，損失值也更加的低。圖4 為改進前后L的對比效果，結果表明改進后損失收斂更快，損失值更小，說明了BalancedL1 loss 損失函數(shù)的有效性。

圖 4 改進前后L 對比Fig.4 Comparison of L before and after improvement

（3）Anchor 比例調整提升效果

Anchor 比例調整后，圖5 的效果顯示出，改進后的Acc得到了提高，并且起始的準確率也更高，震蕩幅度小，易收斂。

圖 5 改進前后Acc 對比Fig.5 Comparison of accuracy before and after improvement

3.2 ResNet50/101 對比

隨著ResNet 深度的加深，特征提取的效果會相應提升，但同時也會增加網(wǎng)絡模型訓練的負擔，增加訓練時長。為了確定是否選用深度更深的ResNet101網(wǎng)絡用于特征提取，本文將B-Mask R-CNN 模型中的Backbone 換為ResNet50 與ResNet101 進行對比。（表5）

表5 ResNet50 與ResNet101 對比Table 5 Comparison of ResNet50 and ResNet101

使用測試集中150 張圖片對B-Mask R-CNN 模型進行測試，表5 中訓練速度的單位s/iter 指的是每迭代1 次所用的秒數(shù)。由表5 結果分析，使用ResNet101 能夠提升一點精度，但訓練速度也大大降低，為了實現(xiàn)實時的樹冠檢測與識別，本研究最終將ResNet50 作為特征提取網(wǎng)絡進行訓練。

3.3 自然場景檢測試驗

3.3.1 不同復雜背景下檢測效果對比 為了檢驗本文提出的B-Mask R-CNN 模型在不同復雜背景情況下樹冠檢測效果的優(yōu)越性，從測試集中挑選圖片進行對比試驗。測試集由矮化密植形、小冠疏層形、自然開心形、自然圓頭形、Y 形5 種樹形組成，每種樹形各30 張，從中選取5 種復雜背景情況。5 種復雜情況分別為樹冠間距小、樹冠背景近處有其他樹、樹冠背景遠處有其他樹、樹冠旁有相近顏色物體與樹冠未處于圖像中央 。

將B-Mask R-CNN、Mask R-CNN、目標檢測網(wǎng)絡Faster R-CNN［21］、語義分割網(wǎng)絡U-Net［22］以及傳統(tǒng)分割算法K-means 分別對5 種樹形進行檢測與識別，以上5 種算法的檢測結果與原圖、標簽圖的對比結果如圖6 所示。

圖 6 復雜背景下各算法檢測效果對比Fig.6 Comparison of detection effects of various algorithms in complex background

圖6 進行結果展示時， Mask R-CNN 檢測時易出現(xiàn)多個檢測框，并且易將相近顏色物體與背景樹識別為樹冠區(qū)域。Faster R-CNN 得到了樹冠的目標檢測框與樹形的類別，但不能實現(xiàn)樹冠區(qū)域的分割，在檢測樹冠間距小的樹冠時，易將旁邊樹冠識別在內，并且易出現(xiàn)識別不全的問題。U-Net 算法在進行樹冠檢測時僅得到了樹冠區(qū)域的二值圖像，在對復雜背景的樹冠進行分割時，易將與樹冠顏色相近的物體識別為樹冠區(qū)域。K-means 也僅得到了樹冠區(qū)域的二值圖像，分割結果中顯示將大量的背景區(qū)域分割到了樹冠區(qū)域中。本文所提出的B-Mask R-CNN 算法能夠得到樹冠的目標檢測框、分割得到的樹冠噴施區(qū)域以及樹形的類別。本算法對樹冠間距小、樹冠背景近處有其他樹、樹冠背景遠處有其他樹、樹冠旁有相近顏色物體與樹冠未處于圖像中央 5 種復雜背景情況下的果樹進行檢測識別時，分割出的輪廓更加清晰，不易將旁邊的樹、背景樹、旁邊綠色物體以及道路誤識別。

為了進一步驗證所提算法的有效性，使用矮化密植形、小冠疏層形、自然開心形、自然圓頭形以及Y 形5 種樹形各30 張，總共使用150 張測試集的圖片進行測試，使用平均準確率mAcc作為評價標準。將本文提出的B-Mask R-CNN 與Mask R-CNN、Faster R-CNN、U-Net 以及K-means 算法對比平均準確率，結果如表6 所示。表6 的結果可以顯示出本文所提出的B-Mask R-CNN 算法的優(yōu)越性。

表 6 5 類算法的平均準確率mAccTable 6 Average accuracy of five algorithms

綜上所述，相比較Mask R-CNN、Faster R-CNN、U-Net 以及K-means 算法，本文所提出的B-Mask R-CNN 算法能夠實現(xiàn)更好的檢測與識別效果。

3.3.2 不同光照條件對比 傳統(tǒng)的分割算法往往對光線條件比較敏感，而本文所提出B-Mask R-CNN模型對不同光照條件下的果樹檢測與識別有很好的魯棒性，圖7 以小冠疏層形的果樹為例，展示了本算法在不同光照條件下的檢測效果。本文挑選弱光、正常光、強光3 種不同光照條件下的圖像進行對比，本算法均能夠將樹冠從復雜的背景中分割出來，證明了本算法對不同光照條件下復雜背景果樹檢測分割的有效性。

圖 7 不同光照條件下檢測效果對比Fig.7 Comparison of different brightness detection effects

3.3.3 不同樹形對噴施效果的影響 本試驗采集的5 種樹形對噴頭噴施范圍有不同的影響，圖8 利用紅色框標注出噴施范圍。當樹冠同時位于圖像中央時，大部分情況下，Dwarf 形圖像的上下邊界為0，左右邊界有空余；Layered 形與Yshape 形圖像的上下左右邊界為0；Openheart 形與Roundhead 形圖像左右邊界為0，下邊界留有較大距離。

另外，從圖8 的噴施范圍中也能夠觀察到，不同樹形的噴施區(qū)域中樹冠分布區(qū)域也不相同，樹冠分布區(qū)域將影響到進行精準噴施時噴頭是否打開，因此樹形也會影響到噴頭施藥時的開閉情況。

圖 8 樹形對噴施的影響Fig.8 Effect of tree shapes on spraying

4 結論

（1）本文基于Mask R-CNN 進行改進，提出了B-Mask R-CNN 模型，本模型引入了采樣策略IoUbalanced sampling 提升了算法的精度，邊界框損失函數(shù)Lbbox引入BalancedL1 loss 使得損失更好地收斂，調整先驗知識Anchor 比例，提升了算法的準確率。改進后算法在bbox 與segm 兩方面的mAP值均達到了98.7%，檢測速度為3.356e-1 s/iter，能夠達到實時檢測的標準。

（2）本文所提的B-Mask R-CNN 算法相較其他的算法實現(xiàn)了更精準地檢測與識別，對5 種不同復雜背景下的樹冠都能夠進行較好地檢測與識別，對不同光線下的樹冠檢測也具有很好的魯棒性。其次，本文討論了樹形對施藥過程的影響。本研究最終實現(xiàn)了復雜背景下樹冠的檢測與樹形的識別，能夠為后續(xù)的精準噴施研究提供樹形信息，并為構建最優(yōu)噴施控制模型奠定研究基礎。

（3）本文在研究多種樹形時，只討論了5 種樹形，今后可以增加更多的樹形進行試驗，進一步提高模型的泛化能力。另外，本文在討論樹形對精準噴施中施藥過程的影響時，只針對本文在互聯(lián)網(wǎng)上采集的數(shù)據(jù)集進行了討論，未考慮到距離、角度等因素，下一步可以在實際場景下設定合適的控制變量，進一步研究樹形對果園精準噴施中施藥過程的影響。