孟琮棠, 趙銀娣, 韓文泉, 何晨陽, 陳錫秋

(1.中國礦業(yè)大學(xué)環(huán)境與測繪學(xué)院,徐州 221116； 2.南京市測繪勘察研究院股份有限公司，南京 210019)

0 引言

建筑物是城市中的重要主體，在一定程度上反映了城市的發(fā)展規(guī)模。準(zhǔn)確獲取建筑物變化信息對于城市發(fā)展規(guī)劃、非法建筑物識別、災(zāi)害評估和地理數(shù)據(jù)庫更新等實際領(lǐng)域中具有重要的作用與意義。利用遙感手段對城市建筑物進(jìn)行變化檢測可以快速準(zhǔn)確地獲取建筑物的變化信息，借助機(jī)載激光雷達(dá)(light detection and ranging，LiDAR)點云數(shù)據(jù)可以實現(xiàn)建筑物的三維變化檢測，本文三維變化檢測意在獲取建筑物在三維空間中面積與高程的變化，包括水平面上的新增、拆除以及高度方向上的增高、降低的變化位置與面積。

多年來，研究者們持續(xù)挖掘點云在變化檢測中的潛力，并發(fā)展出了多種檢測建筑物三維變化的方法，如基于2期數(shù)字表面模型(digital surface model,DSM)差分結(jié)果進(jìn)行人工解譯[1]、直方圖統(tǒng)計[2]、連通性分析[3]等確定發(fā)生變化的建筑物； 或分別對2期點云的DSM通過邊界擬合[4]、高度與平整度分析后聚類[5]等方法提取建筑物后，再差分進(jìn)行變化檢測； 通過先提取點云中的非地面點，再利用影像與分類樹提取建筑物后，與現(xiàn)有地理數(shù)據(jù)庫對比的方法[6]； 通過影像數(shù)字制圖產(chǎn)品與激光雷達(dá)(light detection and ranging,LiDAR)點云經(jīng)過支持向量機(jī)(support vector machine，SVM)提取建筑物后對比的方法[7]； 使用航空影像密集圖像匹配點云與LiDAR點云建立差分DSM提取變化信息后，再使用點云法線方向方差的方法確定變化的建筑物[8]。可見在這些方法中，獲取變化建筑物主要有2種手段： 提取建筑物后再檢測變化； 先確定變化候選區(qū)域，再確定屬于建筑物的變化。而上述方法存在的問題在于： 將點云轉(zhuǎn)換為其他規(guī)則格式數(shù)據(jù)易造成信息丟失，局部點甚至更大尺度點云間的關(guān)系被忽略； 沒有充分利用點的強(qiáng)度和光譜信息特征； 自動化程度低，需要較多的后處理分析來改善精度。

隨著近年來深度學(xué)習(xí)技術(shù)的迅速發(fā)展，圖像處理算法層出不窮[9-15]，且在遙感影像分類與目標(biāo)檢測等任務(wù)中的表現(xiàn)優(yōu)于多種傳統(tǒng)方法[16-20]。點云語義分割方法同樣發(fā)展迅速[21]，既有以PointNet[22-24]為代表的適用于室內(nèi)場景點云的語義分割算法，也有適用于大規(guī)模點云的RandLA-Net[25]，但利用深度學(xué)習(xí)方法進(jìn)行點云的變化檢測卻少有研究。

本文采用深度學(xué)習(xí)與分類后檢測的方法研究基于機(jī)載LiDAR點云的建筑物三維變化檢測，與當(dāng)前主流點云變化檢測研究不同的是： ①引入基于深度學(xué)習(xí)的點云語義分割網(wǎng)絡(luò)RandLA-Net，快速準(zhǔn)確地提取建筑物； ②結(jié)合本文的建筑物提取方法，設(shè)計了針對本文異源點云數(shù)據(jù)的處理方法，以減少點云間的差異，保證變化檢測的精度； ③充分考慮局部點間的結(jié)構(gòu)與距離特征，加入LiDAR點云的反射強(qiáng)度特征與影像賦予的光譜信息作為語義特征，以提高建筑物提取的準(zhǔn)確率。

1 研究區(qū)數(shù)據(jù)采集與標(biāo)注

1.1 研究區(qū)概況與數(shù)據(jù)源

研究使用的機(jī)載LiDAR點云，與車載LiDAR不同之處在于： 飛機(jī)在一定高度飛行，點云密度較為一致，而車載LiDAR主要為獲得較近處的點云，點云密度相較于機(jī)載雷達(dá)高，但遠(yuǎn)近點云的密度不同，且點云規(guī)模較機(jī)載點云規(guī)模小。選擇南京市部分區(qū)域為研究區(qū)，地理坐標(biāo)在N32°2′26″～32°4′8″，E118°34′17″～118°36′21″之間。通過航空機(jī)載LiDAR分別采集研究區(qū)2017年3月2日及2019年4月6日的點云數(shù)據(jù)，獲得包含地物位置信息以及反射強(qiáng)度的點云，2017年與2019年點云密度分別為1點/m2與16點/m2，點數(shù)量分別為10 428 812與181 208 261個點。點云數(shù)據(jù)示例見圖1。

(a) 示例1 (b) 示例2 (c) 示例3 (d) 示例4 (e) 示例5圖1 LiDAR點云數(shù)據(jù)示例Fig.1 Examples of LiDAR point cloud data

1.2 數(shù)據(jù)集制作

2期點云數(shù)據(jù)由不同的LiDAR傳感器獲取，其點云的不同主要在于點云密度與反射強(qiáng)度的值域。由于RandLA-Net在獲取局部點信息時，使用了K最鄰近(K-nearest neighbor，KNN)算法，并固定了最鄰近點的數(shù)量，導(dǎo)致在點云密度不同的情況下獲取的局部信息存在差異，進(jìn)而在較小樣本上進(jìn)行訓(xùn)練時，網(wǎng)絡(luò)損失與精度曲線難以收斂。因此使用稀疏的2017年點云進(jìn)行訓(xùn)練，并對2019年點云下采樣(圖2)，使得2期點云密度相同，以保證異源數(shù)據(jù)的語義分割精度，但是，本文使用網(wǎng)格采樣的方法，采樣后的點云結(jié)構(gòu)同樣存在差異，2017年獲取的點云是完全無序的，而2019年點云在采樣后則存在著一定的有序性，其表現(xiàn)為點云呈網(wǎng)格狀排列。其次，2期點云的反射強(qiáng)度值域不同，2017年點云值為1～6的整數(shù)，2019年點云為1～65 535的整數(shù)，本文將2019年點云強(qiáng)度值線性映射至2017年的反射強(qiáng)度值域。

(a) 2017年 (b) 2019年圖2 采樣后點云結(jié)構(gòu)Fig.2 Point cloud structure after sampling

點云數(shù)據(jù)集基于MicroStation的Terrascan軟件，結(jié)合航拍影像判讀，對研究區(qū)內(nèi)建筑物點云進(jìn)行目視解譯并人工標(biāo)注。由于實驗用的點云重復(fù)區(qū)域較多，因此僅將2017年點云數(shù)據(jù)進(jìn)行數(shù)據(jù)劃分，其中2期點云5%的區(qū)域用于測試，并將2017年點云其他部分按4∶1的比例劃分為訓(xùn)練集與驗證集，2019年點云數(shù)據(jù)不參與訓(xùn)練，僅用于測試。

數(shù)據(jù)集的格式參考點云語義分割數(shù)據(jù)集Semantic3D格式標(biāo)準(zhǔn)[26]，以方便研究與使用時數(shù)據(jù)集格式的統(tǒng)一。點云數(shù)據(jù)集包含有標(biāo)簽、坐標(biāo)、反射強(qiáng)度和光譜信息，標(biāo)注后的點云數(shù)據(jù)集如圖3所示。

(a) 示例1 (b) 示例2 (c) 示例3 (d) 示例4 (e) 示例5圖3 點云數(shù)據(jù)集示例Fig.3 Examples of point cloud dataset

2 研究方法

傳統(tǒng)的使用點云數(shù)據(jù)進(jìn)行變化檢測，往往基于DSM差分的方法，依賴于高程與手動調(diào)整閾值提取建筑物與其變化信息，忽略了較多的局部信息與點云特征，且自動化程度低，結(jié)果易與樹木混淆，導(dǎo)致低矮建筑物檢測結(jié)果不佳。針對這些問題，本文引入基于深度學(xué)習(xí)方法的RandLA-Net點云語義分割網(wǎng)絡(luò)提取建筑物，利用點云坐標(biāo)、局部點的位置關(guān)系、強(qiáng)度、光譜信息，快速、高精度、自動化地提取建筑物。結(jié)合分類后檢測的變化檢測方案，比較前后時期點云語義分割結(jié)果，定性與定量地獲得目標(biāo)區(qū)域地物范圍與高程的變化。同時，本文還通過實驗研究了不同特征的組合對最終結(jié)果的影響，提出了不同情況下的應(yīng)用建議。

點云具有無序性的特點，以及前后時期點云數(shù)據(jù)密度大多不同，無法實現(xiàn)2期點云的分割結(jié)果的直接差分進(jìn)行變化檢測。因此本文結(jié)合影像差分的思路，將RandLA-Net網(wǎng)絡(luò)提取出的點云建筑物通過正射投影的方式，按照相同的空間分辨率投影為包含建筑物高度信息的灰度影像。投影時根據(jù)點云的尺寸以及設(shè)定的空間分辨率自動計算點云每點坐標(biāo)與影像像素坐標(biāo)的轉(zhuǎn)換公式，獲得每點對應(yīng)的像素坐標(biāo)，像素值為該像素內(nèi)所有建筑物點的最大Z值，非建筑物目標(biāo)像素值為0； 然后通過2期結(jié)果差分前后的狀態(tài)與差分后的值定性定量地判斷建筑物目標(biāo)在三維空間上的變化。其中，假設(shè)前一時期的投影結(jié)果對應(yīng)像素值為A，后一時期為B，則差分時的評判規(guī)則為： 若B>A，且A=0，則該位置為新增建筑物； 若B>A，且A≠0，則為增高； 若B

2.1 RandLA-Net算法結(jié)構(gòu)

RandLA-Net結(jié)構(gòu)遵循具有跳躍連接的編碼解碼思想。其結(jié)構(gòu)如圖4所示，點云不同于影像在于無法通過卷積核的遍歷影像提取特征，因此在點云的語義分割算法中，其基本單元為多層感知機(jī)(multilayer perceptron，MLP)。在編碼端，點云通過每一層的局部特征聚合(local feature aggregation，LFA)算法豐富與學(xué)習(xí)點的特征，并使用隨機(jī)采樣(random sampling，RS)減小點云的規(guī)模，每次保留25%的點云數(shù)量，每一層的特征維數(shù)為(8，32，128，256，512)。解碼端使用每個點與KNN獲得最鄰近點的線性插值方法進(jìn)行上采樣(up-sampling,US)，通過跳躍連接與編碼端的特征圖疊加，然后輸入共享的MLP進(jìn)行特征降維。最后，3個全連接層(fully connected layers,FC)與Dropout層用于預(yù)測每個點的類別。

圖4 RandLA-Net整體結(jié)構(gòu)圖Fig.4 RandLA-Net overall structure

2.2 LFA算法

LFA算法是RandLA-Net結(jié)構(gòu)的核心，主要由3個模塊組成，包括局部空間編碼(local spatial encoding，LocSE)、注意力池化(attentive pooling)與擴(kuò)張殘差塊(dilated residual block)，LFA的模塊結(jié)構(gòu)如圖5所示。

圖5 LFA模塊結(jié)構(gòu)Fig.5 LFA module structure

2.2.1 LocSE

(1)

式中⊕表示兩者串聯(lián)拼接。經(jīng)過MLP編碼后的特征數(shù)為d，并與原始輸入的特征疊加。最終的輸出是該點K個2d長度的特征信息。

2.2.2 注意力池化

注意力池化模塊用于聚合點的局部特征。LocSE獲得的局部點特征，經(jīng)過可學(xué)習(xí)的FC與Softmax激活函數(shù)獲得每個鄰近點特征的得分作為輸入鄰近點特征的權(quán)重，對所有鄰近點特征加權(quán)求和后獲得該點2d長度的特征，在經(jīng)過MLP后，獲得該點最終池化后的特征。

2.2.3 擴(kuò)張殘差塊

為了處理大規(guī)模的點云，RandLA-Net采用了隨機(jī)采樣的方法對編碼端的點云進(jìn)行下采樣，因為其具有時間與空間復(fù)雜度低的特點，高效且占用內(nèi)存小。但是隨機(jī)采樣有幾率造成關(guān)鍵點信息的丟失，因此使用擴(kuò)張殘差塊模塊對LocSE、注意力池化與MLP進(jìn)行堆疊，增加每個點的感受野，降低隨機(jī)采樣丟失關(guān)鍵點信息的影響。

在擴(kuò)張殘差塊中，將LocSE與注意力池化模塊進(jìn)行多次堆疊，并在每次進(jìn)行LocSE前將點的位置信息加入。同時在輸入前與輸出后饋入MLP，以獲得必要的特征數(shù)，并將堆疊后的輸出特征與輸入點云經(jīng)過MLP處理后的特征相加，獲得最終的聚合特征。

3 實驗與結(jié)果分析

3.1 實驗環(huán)境與各項參數(shù)

本文的實驗環(huán)境為I5-8400處理器，內(nèi)存大小16 G， NVIDIA GeForce GTX 1080Ti 11 G顯卡，使用CUDA 11.0 加速GPU計算，深度學(xué)習(xí)框架為基于Python 3.5.6的TensorFlow-GPU 1.11.0。實驗準(zhǔn)備數(shù)據(jù)采樣為1點/m2的點云，模型使用的最鄰近點K值為16，單次輸入點數(shù)為40 960，初始學(xué)習(xí)率為0.01，動量為0.95，模型迭代次數(shù)為100。點云的預(yù)處理與數(shù)據(jù)集的制作主要基于MicroStation上的TerraScan軟件，點云投影影像空間分辨率為1 m。

3.2 LiDAR點云建筑物提取

從LiDAR點云中準(zhǔn)確提取建筑物有著諸多干擾，首先是低矮建筑物高度往往低于周邊的高大樹木，因此在提取過程中，單純考慮建筑物的高度常會混淆樹木與建筑物的提取結(jié)果，同理，在地形地勢起伏較大的區(qū)域，也存在著這種問題，因此建筑物中點與點之間的關(guān)系信息不能忽略。同時，在考慮點與點之間關(guān)系時，往往受困于建筑物不同的幾何結(jié)構(gòu)，而人工尋找并定義這些結(jié)構(gòu)費時費力。另一方面，可以借助LiDAR點云的反射強(qiáng)度信息作為輔助信息，在同一棟建筑物上的反射強(qiáng)度常常具有一致性，但是不同建筑物仍然會表現(xiàn)不同的強(qiáng)度信息，甚至與周圍地物強(qiáng)度一致，所以無法單獨作為判斷的依據(jù)。再者，點云也可以結(jié)合影像的光譜信息作為輔助特征，本文則基于以上信息，分析了不同方法以及不同特征對建筑物提取以及變化檢測結(jié)果的影響。

使用RandLA-Net結(jié)合不同的點云特征提取2時期異源點云中的建筑物，并同時使用傳統(tǒng)基于DSM高程閾值的方法與基于軟件ENVI LiDAR和TerraScan的建筑物提取方法進(jìn)行了對比。在基于DSM的方法中，為了盡可能獲得最好的結(jié)果，對每一塊區(qū)域單獨設(shè)置基于人工判斷的高度閾值，包括最低、最高與分段的高度閾值。測試區(qū)域選取了2017—2019年變化較大的區(qū)域，并存在著不同形態(tài)的建筑物，如矮于樹木的低矮臨時建筑物、形狀不規(guī)則的樓宇以及常見的小區(qū)住宅樓等。為了直觀表達(dá)建筑物提取結(jié)果以及便于精度評價，將點云垂直投影為二維圖像，并通過分級色彩表達(dá)建筑物的高程信息，如表1—2所示。其中，RandLA-Net代表本文使用的方法； I代表訓(xùn)練與測試時，除坐標(biāo)外使用了反射強(qiáng)度信息作為特征； RGB表示結(jié)合了后期賦予點的光譜信息作為特征； IRGB則表示同時加入了強(qiáng)度信息與光譜信息； C代表該數(shù)據(jù)中每一點云塊的坐標(biāo)轉(zhuǎn)換為最小坐標(biāo)為0的相對坐標(biāo)。

表1 2017年點云建筑物提取結(jié)果Tab.1 Point cloud building extraction results in 2017

表2 2019年點云建筑物提取結(jié)果Tab.2 Point cloud building extraction results in 2019

由建筑物提取結(jié)果可以看出，使用RandLA-Net算法提取建筑物在2017年與2019年2期點云數(shù)據(jù)上的結(jié)果完整度高，漏檢與錯檢的情況少，并且可以很好地區(qū)分低矮建筑物與樹木，如圖6所示，其中深綠色表示建筑物，紅色表示樹木，對應(yīng)表1第一行結(jié)果。尤其坐標(biāo)轉(zhuǎn)換后的點云建筑物提取精度提升明顯。

(a) 低矮建筑物與樹木 (b) 局部放大圖6 低矮建筑物與樹木區(qū)分Fig.6 Low buildings and trees

一方面，使用傳統(tǒng)方法時，本文未對原始點云進(jìn)行下采樣，由TerraScan提取的建筑物在稀疏與密集的點云上表現(xiàn)較為一致，但是目標(biāo)的邊界準(zhǔn)確度低，存在著較多的錯檢情況； 而ENVI LiDAR的結(jié)果受點云密度影響較大，難以有效提取2017年點云的建筑物； 使用人工DSM設(shè)置高程閾值的方法簡單，且不受點云質(zhì)量差異的影響，但是高聳的樹木與地形的起伏使得在處理時要面對樹木與低矮建筑物的取舍，同時，為了避免較多的誤差，分區(qū)域地設(shè)置閾值人工成本高，自動化程度低。

另一方面，在使用RandLA-Net算法時，對比了4種情況，考慮到LiDAR點云數(shù)據(jù)普遍帶有反射強(qiáng)度信息，且在早期測試中的結(jié)果也反映出帶有特征的點云比單純使用坐標(biāo)信息的結(jié)果要好，因此本文并沒有單獨使用坐標(biāo)信息。在設(shè)置的組合中，最值得注意的是，在同樣只使用強(qiáng)度信息作為特征時，將坐標(biāo)轉(zhuǎn)換為相對坐標(biāo)帶來的提升效果明顯，尤其在對低矮建筑物的提取上，使用相對坐標(biāo)則有著更完整的建筑物個體與更為準(zhǔn)確的建筑物邊界?；赗andLA-Net的結(jié)果明顯好于其他方法，其誤差主要在于建筑物本身上，很少存在將樹木或其他地物錯分為建筑物的情況。精度對比如表3所示。

表3 建筑物提取方法精度對比Tab.3 Accuracy comparison of the building extraction method

由表3計算出的各項指標(biāo)可以看出，基于RandLA-Net算法獲得建筑物區(qū)域的各項指標(biāo)均優(yōu)于ENVI LiDAR，TerraSacn以及DSM高程閾值的方法。對比不同特征的影響，在2017年點云上進(jìn)行的訓(xùn)練，并同時對2017年與2019年點云進(jìn)行測試，結(jié)果是： 2017年點云同時使用反射強(qiáng)度與光譜信息的結(jié)果最好，2019年點云僅使用光譜信息結(jié)果最好，2期點云差異如圖2所示。因此建議： ①在提取建筑物時，使用格網(wǎng)采樣后的2019年點云，僅需加入光譜信息?？紤]到LiDAR傳感器大多無法同時獲取光譜信息，或者相機(jī)參數(shù)未知及相機(jī)參數(shù)誤差較大，無法利用光譜信息的時候，僅使用強(qiáng)度信息同樣可以獲得很好的結(jié)果，不建議同時加入強(qiáng)度和光譜信息； ②在處理質(zhì)量較差的2017年點云時，其點云整體無序，則需要更多的特征，此時越豐富的特征帶來的效果越好，正如結(jié)合了反射強(qiáng)度與光譜信息的2017年點云結(jié)果最好。

此外，點云差異如第1.2節(jié)所述，使用點的位置、鄰近點的位置、2點的相對位置關(guān)系以及其歐式距離來表達(dá)坐標(biāo)位置的特征。如圖2(b)，越是規(guī)則的點云其相對位置關(guān)系的特征越是一致，這點在RandLA-Net原文中也有闡述。這也解釋了在2017年點云上訓(xùn)練的網(wǎng)絡(luò)在不同特征組合下，2019年的結(jié)果會比2017年結(jié)果更好的現(xiàn)象。

3.3 LiDAR點云建筑物變化檢測

點云存在無序性的特點，以及2期點云獲取的傳感器不同導(dǎo)致的密度不同，無法直接使用點云間差分的方法進(jìn)行變化檢測，因此本文的思路是將提取建筑物后的點云投影為二維的灰度影像，使用灰度值表示建筑物目標(biāo)的高度，投影后的二維影像進(jìn)行差分獲得建筑物的變化情況。變化檢測結(jié)果如表4所示，其中不同顏色表示建筑物變化類型，面積與高度變化檢測精度分別為1 m2和1 m，此精度決定于點云的密度。使用混淆矩陣評定建筑物變化檢測的精度，如表5所示。

表4 變化檢測結(jié)果Tab.4 Change detection results

表5 建筑物變化檢測結(jié)果精度對比Tab.5 Accuracy comparison of building change detection results

(續(xù)表)

由變化檢測結(jié)果與指標(biāo)的計算結(jié)果可知，使用RandLA-Net方法獲得的結(jié)果明顯優(yōu)于傳統(tǒng)方法，其中使用光譜信息與相對坐標(biāo)的點云獲得最優(yōu)的變化檢測結(jié)果，而不是加入所有的特征。同時，使用相對坐標(biāo)比使用絕對坐標(biāo)的變化檢測結(jié)果精度提升明顯，而且在僅使用強(qiáng)度信息與相對坐標(biāo)時的結(jié)果與最好的結(jié)果差異較小，這些與上一階段提取建筑物結(jié)果的結(jié)論基本一致。

但是明顯的問題是存在2期建筑物邊界不完全重合的情況，即使在原始數(shù)據(jù)上也存在著邊界的粗差，雖然對指標(biāo)的計算影響較小，但是在實際應(yīng)用時仍然有著一定問題。其主要原因在于： 原始點云的差異，如圖2所示的點云結(jié)構(gòu)，使得2期點云表達(dá)的建筑物存在偏差。面對此種問題的處理可使用形態(tài)學(xué)的后處理方法，但本文為了表現(xiàn)實驗過程中的真實性，并未進(jìn)行過多的后處理。

4 結(jié)論與展望

為了同時實現(xiàn)建筑物的面積與高程定性定量的變化檢測，使用機(jī)載LiDAR點云數(shù)據(jù)制作建筑物點云語義分割數(shù)據(jù)集，并基于深度學(xué)習(xí)方法RandLA-Net的點云語義分割網(wǎng)絡(luò)提取建筑物，利用點云的語義分割結(jié)果投影為二維影像并進(jìn)行分類后檢測。本研究得出以下結(jié)論：

1)使用的RandLA-Net算法在建筑物提取與變化檢測上的總體精度優(yōu)于常用的軟件與DSM分析的方法。

2)在對點云的數(shù)據(jù)預(yù)處理上，使用相對坐標(biāo)要比使用絕對坐標(biāo)結(jié)果好。

3)在對點云特征的取舍上，過多的特征會造成冗余，僅使用光譜或強(qiáng)度信息時獲得的變化檢測結(jié)果有時要好于兩者結(jié)合的結(jié)果，結(jié)合成本分析，僅使用LiDAR點云特有的強(qiáng)度信息是最佳方案。

雖然使用的RandLA-Net算法獲得了很好的建筑物提取與變化檢測效果，但是仍然存在由點云差異而影響建筑物邊界精度的問題。本文僅使用了較少的建筑物樣本進(jìn)行訓(xùn)練，且只使用了2017年的點云進(jìn)行訓(xùn)練與驗證，在之后的研究中會增加點云中目標(biāo)的樣本，通過上下采樣增加點云結(jié)構(gòu)化程度； 同時優(yōu)化算法與數(shù)據(jù)組成，提高模型在異源點云數(shù)據(jù)上的泛化能力，改善異源點云數(shù)據(jù)的變化檢測精度； 未來會加入點云法向量作為特征，進(jìn)一步提高點云語義分割的性能。