李秋潔，童岳凱，薛玉璽，徐志強，李相程，劉旭

(南京林業(yè)大學機械電子工程學院，南京 210037)

由于溫室效應、人為干擾等因素的影響，行道樹病蟲害日益增多，致使行道樹枯萎或死亡，不僅嚴重影響行道樹綠化與美化效果，而且直接影響城市生態(tài)環(huán)境與居民生活，成為園林綠化精細化管理的制約因素[1-2]。我國行道樹防治藥械主要采用手動噴霧器、踏板式噴霧器等人力藥械，擔架式噴霧機、背負式噴霧噴粉機等部分機動植保機械，部分地區(qū)采用高射程噴霧機?？傮w來說，操作人員勞動強度大、作業(yè)效率低。由于行道樹間距較大，連續(xù)噴霧施藥方式使得大量藥液流失到地面或揮發(fā)到空氣中，嚴重污染城市環(huán)境，影響居民生活工作[3]。

對靶施藥技術采用紅外[4]、超聲波[5]、激光[6]、激光雷達(light detection and ranging，LiDAR)[7]、攝像頭[8]實時傳感器在線探測靶標信息，控制噴頭進行有樹噴藥樹間隙不噴的對靶噴霧，以及根據靶標大小、形狀、體積調整施藥劑量的變量施藥[9]。目前，對靶施藥技術已在果園病蟲害防治中取得成功應用，與連續(xù)噴霧施藥方式相比，可節(jié)省20%～75%的藥液，并有效提高藥液在樹木上的沉積率，降低農藥殘留[10-11]。

在眾多傳感器中，激光雷達能夠快速獲取樹木三維點云數據，實現(xiàn)高精度高效的靶標檢測，廣泛應用于果園對靶施藥[7]。城市街道包含建筑物、路燈、電線桿、標志牌等多種地物目標，靶標識別難度增加，向對靶施藥技術提出了更高的要求。當前行道樹點云分割方法主要有兩類：一類方法將點云數據劃分為多個格網或體素，作為基本數據處理單元，然后分析地物目標的形貌，設計用于分割的特征和規(guī)則，逐步過濾非行道樹點云[12-13]；另一類方法直接處理原始點云數據，從每個點的鄰域中提取多個特征，訓練一個二分類器識別行道樹點云[14-15]。已有方法由人工設計分割/分類特征，采用聚類、區(qū)域增長等手段提取出單株行道樹，存在特征表達能力弱、難以描述地物復雜變化以及建模能力弱等問題。

行道樹靶標點云分割是一個點云實例分割問題，需要從街道點云數據中分割出每一棵行道樹靶標點云數據。目前，有眾多基于深度學習的端到端點云實例分割算法，如SGPN[16]、JSIS3D[17]、3D-BoNet[18]，這類方法無須人工設計特征或規(guī)則，以原始點云為輸入，自動挖掘多層次點云特征，輸出點云實例分割模型。然而，受點云離散化程度高和不均勻分布影響，上述方法的時間/空間復雜度較高，不滿足對靶施藥的靶標實時檢測需求。另一類方法先將點云無損轉換為圖像，再利用時間/空間復雜度較低的卷積神經網絡(convolutional neural net，CNN)、融合MobileNet特征提取器的Mask RCNN 等端到端圖像實例分割算法建立點云實例分割模型，如PointIT[19]、SqueezeSeg[20]。這類方法在KITTI自動駕駛數據集[21]上取得了不錯的分割結果，然而，它們處理的是三維LiDAR采集的點云數據，而對靶施藥技術采用二維LiDAR構建移動激光掃描(mobile laser scanning，MLS)測量系統(tǒng)，因此，這類方法不適用于行道樹靶標點云分割。

針對上述問題，本研究基于移動激光掃描采集的街道點云數據，將其無損轉換為三通道圖像，采用實時圖像實例分割算法建立行道樹靶標分割模型，實現(xiàn)行道樹靶標點云的快速準確分割。

1 研究方法

本研究方法包括街道點云采集、街道點云轉換和行道樹點云分割3個步驟。首先，使用基于二維LiDAR的MLS測量系統(tǒng)采集街道三維點云數據；然后，建立由LiDAR掃描線組成的包含深度、回波強度和回波次數信息的3通道圖像；最后，采用YOLACT圖像實例分割算法在圖像切片上訓練行道樹靶標分割模型。

1.1 街道點云采集

采用Hokuyo公司生產的二維LiDAR UTM-30LX-EW，該款LiDAR根據發(fā)射激光束和目標反射回波的時間，測量目標與LiDAR的距離，最大測量距離為60 m。如果發(fā)射激光束擊中目標邊緣，會反射一個以上的回波[22]，UTM-30LX-EW記錄前3次回波的距離r1、r2、r3(4字節(jié)無符號整數，mm)和強度I1、I2、I3(2字節(jié)無符號整數，無量綱)。若沒有接收到回波，距離和強度值為0。

UTM-30LX-EW掃描角度范圍為270°，每次掃描獲取目標的一條輪廓線，又稱為掃描線。相鄰掃描線的時間間隔Δt為25 ms，同一條掃描線上相鄰激光束的角度增量Δθ為0.25°，每條掃描線包含1 081 個激光束的測量數據。

實驗采用文獻[14]描述的MLS測量系統(tǒng)，UTM-30LX-EW搭載在智能小車上，掃描平面與車輛行駛方向垂直，掃描中心線平行于地面，指向被測目標。車輪上安裝有測速編碼器，采用比例-微分-積分(proportion-integral-differential，PID)算法控制車輪轉速，控制小車沿道路直線勻速行駛。

建立坐標系如圖1所示，LiDAR起始位置為原點，x軸為小車行駛方向，y軸為深度方向，z軸垂直地面向上。MLS 測量點可以用掃描線序號和掃描線內測量點的序號進行索引，第i個掃描線內第j個測量點的三維坐標為：

圖1 MLS測量系統(tǒng)的坐標系Fig. 1 Coordinate system of the MLS measurement system

(1)

式中：v為車速；r1(i,j)為第i個掃描線中第j個測量點的一次回波距離；θ(j)為掃描線內第j個測量點的掃描角度，范圍為[-135°,135°]。

智能小車于2021年5月沿(32°04′53.5″N，118°49′02.2″E)一段長300 m的街道“U”形行駛，采集街道兩側數據，如圖2所示。采集場景包含121棵行道樹和建筑、車道、人行道、自行車、行人、路燈、標志牌、柵欄、長椅、垃圾桶、灌木、草皮、花壇等地物目標。

圖2 數據采集地Fig. 2 Location of data collection

由于UTM-30LX-EW存在90°盲區(qū)，只能完整采集街道單側信息，因此，僅保留y軸正半軸街道點云數據，對應掃描角度范圍[-90°，90°]。最終得到60 000條掃描線，每條掃描線包含720個測量點，共有43 200 000個測量點。街道三維點云數據如圖3所示。為方便觀看，采用高度信息(z坐標值)對點云進行染色處理。

圖3 街道三維點云Fig. 3 3D point cloud of the street

1.2 街道點云轉換

基于二維LiDAR的MLS點云數據可以用測量點的掃描線序號i和掃描線內序號j進行規(guī)則格網索引，因此，可將MLS點云數據無損轉換為圖像格式，掃描線對應圖像中的一列，掃描線內測量點對應一個像素。

彩色圖像僅包含R、G、B 3個通道，而LiDAR測量點信息包括三維坐標(x,y,z)、前3次回波的距離r1、r2、r3和強度I1、I2、I3，需要從中選擇最能區(qū)分行道樹和其他地物的3個點云數據。采用測量點的深度y、一次回波強度I1和回波次數n分別構建圖像R、G、B通道。

1)深度y：測量點的x坐標刻畫了它在街道長度方向上的位置，而行道樹靶標可能位于一條街道的任何位置。此外，x坐標與像素列號(即掃描線序號i)成正比，其信息已經包含在圖像中，因此，不使用x坐標。測量點的z坐標刻畫了它的高度，行道樹的高度有一定范圍，因此，z坐標有助于行道樹靶標檢測。由于行道樹垂直地面生長，其點云z坐標與像素行號(即掃描線內序號j)有較強的相關性，為避免冗余，也不使用z坐標。測量點的y坐標刻畫了它在街道深度方向上的位置，由于行道樹的種植位置存在特定范圍，y坐標有助于行道樹靶標檢測。此外，行道樹點云y坐標與像素行號不相關，與像素列號相關性較弱，因此，使用y坐標構建圖像的一個通道。

2)一次回波強度I1：回波強度與目標的光譜反射特性有關，可以作為區(qū)分行道樹和其他地物目標的一種手段[23]。前3次回波中，選取最先返回的一次回波的強度I1表征行道樹的光譜反射特性。

3)回波次數n：激光束擊中樹葉邊緣時會反射多次回波，因此，可以利用回波次數濾除表面無空隙的地物目標[24]。原始測量點數據不記錄回波次數，可根據前3次回波的距離/強度值是否為0來統(tǒng)計測量點的回波次數n。

采用最大最小歸一化將深度y、一次回波強度I1和回波次數n的取值范圍變換到0～255。由MLS點云數據構建的2幅30 000×720彩色圖像及其包含的3個單通道圖像見圖4。

圖4 街道點云圖像Fig. 4 Images of the street point clouds

1.3 行道樹點云分割

1.3.1 行道樹數據集構建

原始街道點云圖像太寬，無法直接處理，對其切片，得到的每幅圖像包含1或2棵行道樹，再采用水平翻轉進行圖像擴充，最終得到1 948張行道樹圖像。

使用在線圖像標注工具Labelme標注行道樹，沿行道樹輪廓取點構成一個多邊形，如圖5所示。標注完成后產生一個后綴為json的掩膜文件，里面記錄了每個行道樹的多邊形頂點信息。

圖5 行道樹靶標標注Fig. 5 Annotation of street tree target

1.3.2 行道樹分割模型建立

采用YOLACT算法訓練行道樹靶標分割模型。YOLACT將圖像實例分割劃分為掩膜原型生成和掩膜系數預測兩個并行子任務，首次實現(xiàn)了實時圖像實例分割[25]。

算法框架如圖6所示。

圖6 YOLACT算法框架Fig. 6 Annotation of street tree target

具體步驟如下：

1)特征提取。將輸入圖像調整至550×550，采用特征金字塔網絡(feature pyramid networks，F(xiàn)PN)提取圖像特征。

2)掩膜原型生成分支。采用全卷積網絡(fully convolutional network，F(xiàn)CN)，對整幅圖像產生k個掩膜原型。

3)掩膜系數預測分支。生成多個大小和寬高比不同的錨框(候選行道樹區(qū)域)，對每個錨框，采用全連接層(fully connected layer，F(xiàn)C)預測它的類別、邊界框系數和k個掩膜系數，然后采用快速非極大值抑制(non-maximum suppression，NMS)從全部錨框中篩選出行道樹實例。

4)掩膜融合。對每個行道樹實例，采用對應的掩膜系數線性組合k個掩膜原型，再經過Sigmoid函數運算、裁剪、閾值化等處理，得到每個行道樹實例的最終掩膜。

2 試 驗

2.1 試驗平臺

試驗采用開源深度學習目標檢測工具箱MMDetection實現(xiàn)YOLACT算法，建立行道樹靶標點云分割模型，實驗平臺配置參數見表1。

表1 試驗平臺配置Table 1 Configuration of experiment platform

2.2 行道樹分割模型訓練

將1 948張圖像按照6∶2∶2的比例劃分出訓練集(1 176張，共1 764棵行道樹)、驗證集(386張，共579棵行道樹)和測試集(386張，共579棵行道樹)。輸入訓練集和驗證集的圖像和對應json掩膜文件，訓練行道樹分割模型。設置掩膜原型個數k=32。8 091次迭代的損失曲線見圖7，約5 000次迭代后損失趨于收斂。

圖7 損失曲線Fig. 7 Loss curve

2.3 行道樹分割模型測試

文獻[14]中使用與本研究同樣基于二維LiDAR的MLS測量系統(tǒng)獲取街道點云數據，然后訓練2個二分類器分別檢測出樹冠和樹干點云，最后在樹干分割的基礎上提取完整的行道樹點云數據。

將本研究方法與文獻[14]進行對比，令檢測框與真值框的交并比(intersection over union，IoU)閾值為0.5～0.9，以0.05為步長增加，若檢測框與真值框的IoU大于閾值，判定為正確檢測出行道樹，否則，判定為錯誤檢出。統(tǒng)計386張測試圖像上各IoU閾值下行道樹分割的精確率(precision)、召回率(recall)和F1分數，以及掃描線平均處理時間。此外，選用兩階段圖像實例分割算法Mask R-CNN訓練行道樹分割模型，與單階段圖像實例分割算法YOLACT進行對比。試驗結果如表2所示，可以看到，本研究方法的分割精度和效率顯著優(yōu)于文獻[14]，在全部IoU閾值下的平均精確率為0.973、平均召回率為0.985、平均F1分數為0.979、掃描線平均處理時間為12.903 ms，小于25 ms的掃描線周期，滿足靶標實時檢測需求。Mask R-CNN算法得到的行道樹分割模型在精度上比YOLACT稍好，但處理時間為YOLACT的3倍，大于掃描線周期，因此，選擇YOLACT算法訓練行道樹分割模型更加合適。

表2 行道樹分割模型對比Table 2 Comparison of street tree segmentation models

本研究方法的部分分割結果見圖8。左邊是測試結果，右邊是真值?？梢钥吹?，樹冠不存在粘連和遮擋時，樹冠輪廓分割較為完整，如圖8a右樹、圖8c右樹、圖8d左樹、圖8f；樹冠被路燈、行人等遮擋時，被遮擋部分能被正確分割，如圖8a左樹、圖8b、圖8c左樹、圖8e、圖8g；樹冠之間存在粘連時，粘連部分的分割不夠準確，如圖8d右樹、圖8g、圖8h、圖8i。

圖8 行道樹分割結果Fig. 8 Results of street tree segmentation

3 結 論

1)針對復雜城區(qū)環(huán)境下行道樹靶標點云檢測難度較大的問題，提出一種基于YOLACT的行道樹點云分割方法，將MLS系統(tǒng)采集的街道點云數據無損轉化為包含深度、回波強度和回波次數信息的三通道圖像，采用實時圖像實例分割算法YOLACT訓練行道樹靶標分割模型。

2)檢測框與真值框的交并比閾值在0.5～0.9以0.05為步長變化時，得到的測試集行道樹分割平均精確率為0.973，平均召回率為0.985，平均F1分數為0.979，平均每條LiDAR掃描線的處理時間是12.903 ms。實驗結果表明，提出的方法能夠快速準確地分割出行道樹靶標，分割精度和效率明顯優(yōu)于現(xiàn)有方法。