李秋潔,李相程

(南京林業(yè)大學機械電子工程學院,江蘇 南京 210037)

行道樹是城市生態(tài)系統(tǒng)的重要組成部分,對于改善城市生態(tài)環(huán)境具有重要意義[1-3]。病蟲害防治在行道樹養(yǎng)護管理工作中占有重要地位,其中,向葉面噴施農藥是防治行道樹病蟲害的重要手段[4-5]。傳統(tǒng)的連續(xù)施藥方式會導致大量藥液流失到地面或空氣中,造成城市環(huán)境污染,影響居民的生活和工作。目前,對靶施藥技術已成功應用于果園病蟲害防治,這類技術采用搭載在施藥車輛上的傳感器在線探測樹冠,根據(jù)樹冠位置靶向施藥,從而提高病蟲害防治效率,減少藥液流失[6-9]。與單一果園環(huán)境不同,城市街道環(huán)境包含多種地物目標,極大地增加了樹冠檢測的難度,限制了對靶施藥在行道樹上的推廣應用。

眾多靶標檢測傳感器中,激光雷達(light detection and ranging,LiDAR)能夠快速準確地測量物體表面距離信息,隨著施藥車輛的移動,獲得道路兩側物體表面的高分辨率、高精度三維點云數(shù)據(jù)。這種移動激光掃描(mobile laser scanning,MLS)技術在果園對靶施藥中得到了廣泛應用[10-12],也為行道樹樹冠檢測提供了數(shù)據(jù)支持[13-15]。

針對MLS獲取的城市街道點云數(shù)據(jù),現(xiàn)有行道樹檢測方法主要分為兩類:一類為首先將空間劃分為二維格網(wǎng)或三維體素,來作為基本數(shù)據(jù)處理單元,通過分析各種地物目標與行道樹的形貌差異設計分類特征和規(guī)則,逐步過濾非行道樹點云[13-14, 16]。由于這類方法需要利用街道場景的全部點云數(shù)據(jù),從中提取行道樹及其他地物目標的全局特征,因此不能滿足行道樹樹冠在線檢測需求。另一類直接處理原始點云數(shù)據(jù),從待識別點的鄰域中提取多個局部特征,訓練一個二分類器檢測行道樹或其他地物目標[17-20]。這類逐點檢測的方法計算復雜度較高,為提高處理效率,常采用k-D樹法建立街道點云數(shù)據(jù)索引。因此,雖然這類方法只需要利用待識別點鄰域的信息判斷其是否為行道樹點,但受到點云索引方式的限制,無法實現(xiàn)行道樹樹冠在線檢測。此外,現(xiàn)有逐點檢測方法缺乏針對行道樹進行點云局部特征鑒別力分析以及不同監(jiān)督學習算法的性能比較,需要開展對比實驗深入分析。

針對上述問題,本研究采用MLS的行道樹樹冠點云逐點檢測方法,基于MLS點云數(shù)據(jù)結構,構建能夠在線處理的點云鄰域搜索方法,比較不同點云局部特征以及不同監(jiān)督學習算法生成的樹冠檢測器性能,建立能夠在線、快速、準確檢測出行道樹樹冠點云的高性能樹冠檢測器,從實時采集的若干幀LiDAR數(shù)據(jù)中實時檢測出樹冠點云。

1 材料與方法

1.1 MLS數(shù)據(jù)采集

MLS技術采用車輛搭載一個或多個2D LiDAR或3D LiDAR,在車輛行駛過程中實時獲取道路三維點云數(shù)據(jù)[21-23]。其中,搭載一個2D LiDAR的MLS具有數(shù)據(jù)結構簡單、易于在線處理的優(yōu)點,因此在果園對靶施藥中得到廣泛應用。MLS的數(shù)據(jù)采集示意圖見圖1。以LiDAR初始位置為原點O建立直角坐標系,令x軸為車輛行駛方向,y軸為深度方向,z軸垂直地面向上,2D LiDAR掃描平面與yOz平行。隨著車輛移動,2D LiDAR進行推掃式掃描,返回一組物體輪廓線的測量數(shù)據(jù),圖中繪制了第i次和第i+1次掃描的激光束和測量點。

圖1 MLS數(shù)據(jù)采集示意圖Fig. 1 MLS data acquisition diagram

實驗采用2D LiDAR UTM-30LX-EW[24],其最大測量距離是60 m,掃描周期是25 ms,具有270°的掃描范圍和0.25°的角度分辨率,每次掃描返回1 081根激光束的測量數(shù)據(jù),包括前3次回波的距離r1、r2、r3和強度I1、I2、I3。若超過最大測量距離,1次回波強度值為0,距離值為60 m。若2、3次無回波,距離值和強度值為0,可根據(jù)這一特征統(tǒng)計回波次數(shù)n,n∈{0,1,2,3}。

將LiDAR搭載在遙控小車上,以LiDAR掃描中心線(第541根激光束)為y軸,進行-135°～135°的掃描。控制小車以0.78 m/s的恒定速度沿一段長137 m的道路“U”形行駛,來測量道路兩側數(shù)據(jù)。最終得到14 000條掃描線和15 134 000個測量點,其中,LiDAR測量距離范圍有7 309 776個測量點。

根據(jù)原始測量數(shù)據(jù)求取點云三維坐標,第i條掃描線內第j個測量點P(i,j)的三維坐標為:

(1)

式中:v為車速;Δt為LiDAR的掃描周期,即1次掃描所需的時間;r1(i,j)為第i條掃描線中第j根光束測量的1次回波距離;Δα為LiDAR的弧度分辨率,即相鄰兩根激光束的夾角。

由于逐點檢測方法只利用以待識別點為中心的鄰域信息,而鄰域內車輛姿態(tài)、速度可認為保持不變,因此,這里未對點云坐標進行地理校正,直接將其用于行道樹樹冠在線檢測。

采集場景的三維點云數(shù)據(jù)見圖2,包括50棵高度范圍4.6～8.2 m、冠幅范圍2.1～7.4 m的行道樹和建筑、車道、人行道、長凳、路燈、自行車、標志牌、柵欄、灌木、草皮、花壇、行人等地物目標。為便于觀測,只顯示y坐標在0～15 m范圍內的點云,并分別用y坐標、一次回波強度(I1)以及回波次數(shù)(n)給點云著色。從圖2可看出,樹冠點云的深度、一次回波強度都在一定范圍內,樹冠內部有較多的多次回波點。

圖2 街道三維點云Fig. 2 Street 3D point clouds

1.2 鄰域搜索

由于待識別點包含的信息有限,需要搜索它的空間鄰域點,從中提取點云特征。常用點云鄰域有k近鄰和半徑為δ球域,k近鄰查找離待識別點距離最近的k個點,δ球域查找以待識別點為中心、δ為半徑的球體內的點[25]。由于不同點云密度下k近鄰占據(jù)的空間尺寸有較大差異,而受LiDAR掃描方式限制,距離LiDAR越遠的物體獲取的測量點越稀疏,因此k近鄰不利于點云特征的穩(wěn)定提取,本研究采用δ球域作為點云鄰域。

圖3 δ球域搜索范圍Fig. 3 Search scope of δ spherical neighborhood

(2)

1.3 特征提取

搜索到待識別點的δ球域后,從Nδ個鄰域點的三維坐標(x,y,z)、一次回波強度(I1)及回波次數(shù)(n)中提取點云局部特征,用于行道樹樹冠檢測。

首先,針對每個點云屬性,提取其鄰域均值(μa)、標準差(σa)和范圍(Δa),a∈{x,y,z,I1,n},計算公式為:

(3)

式中,anδ為第nδ個鄰域點的點云屬性。

δ球域內點云三維坐標的協(xié)方差矩陣特征值可以反映點云在球域內的整體分布特性。協(xié)方差矩陣(C)的計算公式為:

(4)

這里,矩陣元素cov是坐標之間的協(xié)方差,以cov(x,y)為例,

(5)

將協(xié)方差矩陣的3個特征值λ按降序排列:λ1≥λ2≥λ3≥0。如果λ1?λ2、λ3,點云呈線狀分布;如果λ1、λ2?λ3,點云呈平面分布;如果λ1?λ2?λ3,點云呈球狀分布?；谏鲜龇治?定義線度(Lλ)、面度(Pλ)、球度(Sλ)和全方差(Oλ)4個維度特征[26]:

(6)

最后,考慮δ球域內的點云密度特征。為去除LiDAR測量距離對點云密度的影響,定義歸一化密度(d):

(7)

式中:rmax為LiDAR最大測量距離;Vδ為δ球域體積。

采用的7類19個點云局部特征見表1。由于寬度均值(μx)描述待識別點在車輛行駛方向上的位置,而行道樹和其他地物目標可能出現(xiàn)在車輛行駛方向上的任一位置,因此μx不具有鑒別力,不用于行道樹樹冠點云檢測。

表1 7類點云局部特征

1.4 檢測器訓練

采用監(jiān)督學習算法融合局部特征,訓練行道樹樹冠檢測器。檢測器輸入為待識別點的δ球域特征,輸出為該點的預測類別,即樹冠或非樹冠。

為訓練檢測器及評估檢測器的性能,采用點云處理軟件CloudCompare對街道點云數(shù)據(jù)進行手動類別標注,為每一個點添加類別信息,標注結果如圖4所示。從道路兩側各選一段街道作為訓練集,點云個數(shù)占總數(shù)據(jù)集的11.5%,剩余88.5%的點云數(shù)據(jù)用于測試,訓練/測試集的詳細信息見表2。

表2 數(shù)據(jù)集劃分

圖4 街道點云數(shù)據(jù)標注Fig. 4 Annotation of street point cloud data

1.5 測試平臺

實驗采用搭載Windows 10操作系統(tǒng)的戴爾Precision T7820塔式圖形工作站,CPU型號為Intel(R) Xeon(R) Silver 4114,主頻為2.2 GHz,內存容量為32.0 GB,顯卡型號為NVIDIA Quadro P4000。采用MATLAB R2020a設計程序,在街道點云數(shù)據(jù)集上開展鄰域搜索方法、監(jiān)督學習算法、點云局部特征和樹冠逐點檢測器4個對比實驗。

2 結果與分析

2.1 鄰域搜索方法對比

用δ球域點數(shù)Nδ與查詢點數(shù)的比值衡量本研究方法的鄰域搜索效率。球域半徑δ取0.1～1.0 m時鄰域搜索效率箱形圖見圖5,從圖5中可看出,平均搜索效率為22.83%～35.42%,也就是說每查詢3～5個點,就有1個是鄰域點。

圖5 鄰域搜索效率Fig. 5 Neighborhood search efficiency

采用MATLAB統(tǒng)計與機器學習工具箱中的KDTreeSearcher函數(shù)建立k-D樹點云數(shù)據(jù)索引,設置葉節(jié)點最大點云個數(shù)為50。由于街道點云數(shù)據(jù)量較大,為每10 000點建立一個k-D樹,共生成731個k-D樹。

提出的δ球域搜索方法在(2Δi+1)(2Δj+1)個測量點中查詢δ球域,時間復雜度為O(Δi,Δj),代入式(2),時間復雜度化簡為多項式時間O(δ2)。本研究方法鄰域搜索時間tNS隨球域半徑δ變化的擬合曲線見圖6。

圖6 鄰域搜索時間擬合曲線Fig. 6 Fitting curve of neighborhood search time

采用Rangesearch函數(shù)實現(xiàn)k-D樹δ球域搜索,球域半徑δ取0.1～1.0 m時本研究方法和k-D樹的δ球域搜索時間見表3,本研究方法的平均搜索時間較短,為k-D樹的10.90%。

表3 鄰域搜索時間對比

2.2 監(jiān)督學習算法對比

設置球域半徑(δ)為0.5 m,采用表1描述的7類特征比較4種常用監(jiān)督學習算法的性能,包括神經(jīng)網(wǎng)絡(neural network,NN)、支持向量機(support vector machine,SVM)、Boosting和隨機森林(random forest,RF)[27]。

采用MATLAB深度學習工具箱中的Patternnet函數(shù)構建NN,采用MATLAB統(tǒng)計與機器學習工具箱中的Fitcsvm、Fitckernel、Fitclinear函數(shù)實現(xiàn)SVM算法,Fitensemble函數(shù)實現(xiàn)Boosting算法,TreeBagger函數(shù)實現(xiàn)RF算法。調整學習算法的超參數(shù),使其在測試集上分類性能最好:選擇3層NN網(wǎng)絡,令隱含層節(jié)點數(shù)hiddenSizes從5開始,每次增加1;令SVM核函數(shù)分別取高斯核、多項式核和線性核;選擇以決策樹為弱學習器的GentleBoost算法,令弱學習器個數(shù)NLearn從100開始,每次增加50;令RF決策樹個數(shù)NumTrees從5開始,每次加1。

為評價行道樹樹冠檢測精度,將樹冠視為正例(positive)、非樹冠視為反例(negative)定義混淆矩陣,如表4所示。TP代表正確分類的樹冠點;TN代表正確分類的非樹冠點;FP代表將非樹冠點錯誤分類為樹冠點,又稱為虛警;FN代表將樹冠點錯誤分類為非樹冠點,又稱為漏檢。采用查準率、查全率和F1分數(shù)度量評價行道樹樹冠檢測精度。查準率(precision,P)、查全率(recall,r)和F1分數(shù)計算公式如下:

表4 混淆矩陣

(8)

(9)

(10)

查準率表示檢測出的樹冠點中真實樹冠點的占比;查全率指所有真實樹冠點中被正確檢測出樹冠點的占比;F1分數(shù)是查準率和查全率的調和平均,能綜合反映樹冠檢測精度。

每種學習算法的超參數(shù)設置和訓練/測試集上的計算時間、查準率、查全率和F1分數(shù)見表5。從中可看出,線性SVM對特征進行簡單的線性加權,分類器結構簡單,因此具有最少的訓練/測試時間,但由于分類器復雜度低,無法很好地擬合訓練數(shù)據(jù),產生了欠擬合,因此不適用于樹冠檢測問題,生成的線性樹冠檢測器在訓練/測試精度上不如其余3種算法生成的非線性樹冠檢測器。集成學習算法Boosting與RF通過組合多個決策樹的預測結果可有效克服單個決策樹的過擬合問題,提高分類器的泛化能力,兩種算法的訓練/測試精度均略好于NN。因此,本研究選擇訓練/測試時間更少、訓練/測試精度更高的RF算法訓練樹冠檢測器。

表5 監(jiān)督學習算法對比

2.3 點云局部特征對比

設置球域半徑(δ)為0.5 m,采用RF算法訓練樹冠檢測器,比較7類點云局部特征及其組合的性能。

每類特征的計算時間和訓練/測試集上的查準率、查全率和F1分數(shù)見表6。密度特征計算較簡單,但鑒別力不如其他特征;維度特征計算較復雜,在組合特征中優(yōu)勢不明顯,需要提高檢測速度時可首先考慮將其去除;單類特征的測試集F1分數(shù)≤81.47%,泛化性能明顯不如組合特征,組合特征在測試集上的F1分數(shù)均大于99%。

表6 點云局部特征對比

7類特征及其組合的部分測試集檢測結果見圖7,其中,圖7b是俯視視角。從圖7中可看出各類特征在樹冠檢測中的特點:寬度/密度特征的鑒別力不高,樹冠內部有較多漏檢點,非樹冠點虛警也較多;深度/高度特征的泛化性能較差,超過訓練樣本深度/高度特征范圍的樹冠點被漏檢,在訓練樣本深度/高度特征范圍內的非樹冠點成為虛警;樹冠枝葉末梢的維度/回波次數(shù)特征與樹冠內部有較大差異,存在較多漏檢,部分建筑表面凸起,柵欄、草地的形狀和多孔結構與樹冠相似,成為虛警;回波強度受測量距離影響較大,強度值隨距離增大衰減,漏檢集中在測量距離較遠的一側,而與樹冠內樹枝部分具有相似反射特性的樹干存在較多虛警。與單類特征相比,組合特征能夠更好地區(qū)分樹冠和其他地物目標,漏檢和虛警較少,部分漏檢出現(xiàn)在樹冠枝葉末梢,另一部分漏檢和大部分虛警出現(xiàn)在樹冠與樹干連接處。

圖7 樹冠點云檢測結果Fig. 7 Results of crown point cloud detection

2.4 樹冠逐點檢測器對比

將本研究設計的樹冠逐點檢測器與文獻[17]的方法進行對比,兩種樹冠逐點檢測器在鄰域搜索方法和點云局部特征設計上有所差異。文獻[17]采用k-D樹搜索待識別點的k近鄰,為得到最佳鄰域尺寸k,利用鄰域三維坐標協(xié)方差矩陣特征值計算特征熵,選擇特征熵最小的k個鄰域點,從中提取26個點云局部特征,然后采用RF算法訓練樹冠檢測器。由于離LiDAR越遠的物體獲取的測量點越稀疏,因此k近鄰不利于點云特征的穩(wěn)定提取,從而影響樹冠檢測精度。

球域半徑(δ)取0.1～1.0 m時本研究方法與k-D樹法[17]在訓練/測試集上的計算時間、查準率、查全率和F1分數(shù)見表7。對于δ的所有取值情況,本研究方法都在檢測精度和效率上優(yōu)于k-D樹,測試集F1分數(shù)≥97.74%。δ取0.1 m時,本研究方法平均每幀檢測時間為22.58 ms,小于LiDAR掃描周期,能夠實現(xiàn)樹冠的在線檢測。

表7 樹冠點云檢測器對比

3 結 論

1)針對行道樹樹冠在線檢測問題,研究一種基于MLS的行道樹樹冠點云逐點檢測方法,建立能夠在線、快速、準確檢測出行道樹樹冠點云的高性能樹冠檢測器。

2)構建一種點云δ球域快速搜索方法,時間復雜度為O(δ2)。δ取0.1～1.0 m時,平均搜索效率為22.83%～35.42%,平均搜索時間僅為k-D樹法的10.90%。

3)對比NN、SVM、Boosting和RF 4種監(jiān)督學習算法的性能,RF的訓練/測試精度最優(yōu)。

4)提取寬度、深度、高度、維度、密度、次數(shù)和強度7類點云局部特征,單類特征的測試集F1分數(shù)≤81.47%,與單類特征相比,組合特征有更好的分類精度,在測試集上的F1分數(shù)>99%。

5)球域半徑δ在0.1～1.0 m范圍內變化時,本研究方法表現(xiàn)穩(wěn)定,測試集F1分數(shù)≥97.74%,在檢測精度和效率上均優(yōu)于已有方法。δ取0.1 m時,本研究方法平均每幀檢測時間為22.58 ms,小于LiDAR掃描周期,能夠實現(xiàn)樹冠在線檢測。