姚萌萌,李曉明,王偉璽,謝林甫,黃俊杰,黃鴻盛,湯圣君

(1. 深圳大學(xué)建筑與城市規(guī)劃學(xué)院智慧城市研究院,廣東 深圳 518061; 2. 自然資源部城市國土資源監(jiān)測與仿真重點實驗室,廣東 深圳 518061; 3. 粵港澳智慧城市聯(lián)合實驗室,廣東 深圳 518061)

隨著激光掃描、深度傳感器的快速發(fā)展,室內(nèi)高精度三維點云數(shù)據(jù)的獲取越來越便捷,對點云數(shù)據(jù)的語義信息提取逐漸成為支撐各類面向室內(nèi)空間應(yīng)用的關(guān)鍵[1],如室內(nèi)導(dǎo)航[2]、室內(nèi)機器人[3]和增強現(xiàn)實[4]等。因此,如何實現(xiàn)室內(nèi)三維點云的精細化語義分割逐漸成為該研究領(lǐng)域的熱點問題[5]。

傳統(tǒng)的三維點云語義分割通?；邳c云的幾何特征進行,如基于滾動圓的邊緣檢測算法[6]、分割論與區(qū)域增長相結(jié)合的數(shù)據(jù)分割方法[7]、法向量與顏色聚類的點分割方法[8]和隨機采樣一致性的平面分割方法[9]。而隨著卷積神經(jīng)網(wǎng)絡(luò)(CNN)在二維圖像上取得的巨大進步,越來越多的學(xué)者逐步開始利用各種改進的神經(jīng)網(wǎng)絡(luò)對三維點云數(shù)據(jù)進行研究,如Squeeseseg[10]、O-CNN[11]、MVCNN[12]、PointNet[13]、PointNet++[14]等神經(jīng)網(wǎng)絡(luò)。

基于幾何特征的分割方法可以快速有效地獲取平面結(jié)構(gòu),通過聚類算法可以準確地將不同類型要素分割開,然而這類方法依靠幾何信息僅能進行簡單的語義分割,如墻面、地板、天花板等,難以對結(jié)構(gòu)復(fù)雜的桌椅等要素進行識別。而基于深度學(xué)習(xí)的分割方法,依賴大樣本數(shù)據(jù)進行訓(xùn)練,可以實現(xiàn)場景的不同類型要素的語義分割,但受限于樣本數(shù)量和質(zhì)量,其分割主要以局部特征作為依據(jù),導(dǎo)致其語義分割模型泛化能力較弱。針對上述問題,本文充分考慮兩類方法的局限性和優(yōu)勢,擬利用深度學(xué)習(xí)的三維點云語義分割框架初步獲取室內(nèi)點云各部件語義信息,并結(jié)合點云幾何特征的傳統(tǒng)點云分割方法對語義結(jié)果進行再優(yōu)化,以期獲取室內(nèi)高精度三維點云語義分割結(jié)果。

1 室內(nèi)點云語義分割優(yōu)化方法

該方法首先通過深度神經(jīng)網(wǎng)絡(luò)對目標點云進行初分割,獲取具有語義標簽的“深度學(xué)習(xí)語義分割點云”;然后在此基礎(chǔ)上,采用幾何特征約束的分割方法對原始點云進行精細分割,得到不含標簽信息的“幾何分割點云”;最后基于概率模型,將“深度學(xué)習(xí)語義分割點云”與“幾何分割點云”進行交叉融合,實現(xiàn)語義分割點云的整體優(yōu)化。整體流程如圖1所示。

圖1 幾何特征與神經(jīng)網(wǎng)絡(luò)聯(lián)合優(yōu)化流程

1.1 深度學(xué)習(xí)語義分割點云

在深度學(xué)習(xí)部分,本文采用RandLA-Net[15]框架實現(xiàn)點云的初步分割,該網(wǎng)絡(luò)采用隨機降采樣高效處理大規(guī)模點云數(shù)據(jù),同時引入局部特征聚合模塊降低隨機降采樣造成的點云幾何特征丟失問題。

隨機降采樣:從N個點中均勻選取k個點進行隨機抽樣,得到降采樣后點集P。該方法計算效率與輸入點個數(shù)無關(guān),只與設(shè)置的選取點數(shù)K有關(guān),公式為

P={N1,N2,…,Nk}k∈N

(1)

局部特征聚合:由局部空間編碼,注意力機制池化和擴張殘差塊3部分組成。首先,利用基于歐式距離的近鄰算法(KNN)對臨近點進行聚合。對于中心點的K個近鄰點進行相對位置編碼,公式為

(2)

本文利用RandLA-Net神經(jīng)網(wǎng)絡(luò)初步獲得深度學(xué)習(xí)分割點云。其中,分割結(jié)果包含13種類別。如圖2所示。

圖2 室內(nèi)部件類別

1.2 基于幾何與顏色特征的點云分割

1.2.1 多級平面提取

由于室內(nèi)各部件的形狀與幾何特征差異較大,結(jié)構(gòu)復(fù)雜,因此按照幾何特征相似性定義建筑主體平面和室內(nèi)部件兩類部件類別。其中,建筑主體結(jié)構(gòu)包括地板、天花板、墻面,以及窗戶、黑板等墻面附著物;室內(nèi)部件為去除建筑主體平面的其他物體,如桌子、椅子、雜物等。

本文針對傳統(tǒng)RANSAC[16]平面提取方法不適用于多平面提取的問題,設(shè)計多級平面提取方法對室內(nèi)點云建筑主體平面進行識別與提取,包含平面粗提取與精細提取兩部分。

平面粗提取:尋找原始室內(nèi)點云最大值、最小值坐標Pmin、Pmax。根據(jù)原始點云特點可知建筑主體平面靠近Pmin、Pmax形成的矩形包圍盒的邊界。因此,計算包圍盒6個平面的平面模型,公式為

ax+by+cz+D=0

(3)

創(chuàng)建6個點云空集{a,b,c,d,e,f},設(shè)置距離閾值T,遍歷原始點云數(shù)據(jù)P,對每一個點云Pi∈P依次判斷包圍盒的6個平面的位置,當Pi與包圍盒平面的距離d小于閾值T時,將其添加到包圍盒平面對應(yīng)的點云集中,進而完成室內(nèi)點云建筑主體平面的粗提取,距離判斷公式為

(4)

圖3 多級平面提取流程

1.2.2 室內(nèi)部件聚類分割

在經(jīng)過多級平面提取之后,能夠獲取建筑主體平面的精確點云,為使室內(nèi)組件聚類不受建筑主體平面的干擾,首先在原始點云中將精確的建筑主體平面點云集{S1,S2,S3,S4,S5,S6}剔除。具體為利用KNN近鄰查詢,以每個點u∈{S1,S2,S3,S4,S5,S6}為搜索中心,采用歐式距離為度量單位,在原始點云V中搜索距離中心u最近的點。之后利用該點的索引值,在原始點云中將該點云剔除,獲得室內(nèi)組件點云Pa。距離判斷公式為

(5)

其中,v∈V。經(jīng)過建筑主體平面剔除后,能夠保留室內(nèi)部件點云,再利用基于歐式距離的聚類分割算法[17]進行室內(nèi)部件點云的粗分割,將每個部件提取成不同的聚類,如圖4所示。

圖4 室內(nèi)部件聚類分割流程

1.2.3 顏色區(qū)域增長分割

多級平面分割與歐式距離聚類方法主要依靠三維點云空間幾何特點對點云進行分割,并未考慮點云顏色信息,而對于復(fù)雜的室內(nèi)場景,顏色作為重要的特征對點云分割具有重要作用。為此,本文在分割出的建筑主體平面點云和室內(nèi)部件聚類點云的基礎(chǔ)上,利用基于顏色的區(qū)域增長方法對點云進行再分割,獲取最終的基于幾何與顏色特征的點云分割點集合,如圖5所示。顏色區(qū)域增長算法流程如下:

圖5 基于顏色區(qū)域增長分割流程

(1)在每個點云集合中隨機選取一點作為種子點n。

(2)對每個種子點查詢K近鄰點。

(3)合并顏色相近的近鄰點形成簇A,重新選取除A外任意一點,重復(fù)上述操作直至所有點都包含在點云簇中。

(4)合并顏色相近的簇,將平均顏色差異性較小的兩個相鄰簇合并在一起,形成集群。

(5)對每個集群進行點云總數(shù)的驗證,若點云總數(shù)小于閾值K,則將當前集群與最近的相鄰集群合并。

1.3 基于統(tǒng)計信息的語義標簽優(yōu)化

基于深度學(xué)習(xí)語義分割方法能夠得到含有語義信息的深度學(xué)習(xí)分割點云,基于幾何與顏色特征分割方法能夠得到不含語義信息的幾何分割點云。本文利用統(tǒng)計信息關(guān)聯(lián)兩個分割結(jié)果,采用概率模型對關(guān)聯(lián)結(jié)果進行交叉融合,可以得到含有語義信息的精細分割結(jié)果。具體流程為,首先以幾何分割結(jié)果點云Ps中的每個點Psi作為查詢點,以深度學(xué)習(xí)分割點云Pd作為搜索點,利用K近鄰查詢算法,獲取Pd中距離Psi最近點的語義標簽,獲取對應(yīng)的語義標簽集合L;其次,統(tǒng)計Ps中每個聚類中語義標簽的統(tǒng)計直方圖,計算各類標簽的占比,占比公式為

(6)

式中,Li為L中每類標簽的總數(shù);K為L中包含的類別數(shù)量;Ni為計算得到的各標簽占比。計算標簽占比最大的點云類別Lmax,即

Lmax=max{N1,N2,…,Nk}

(7)

利用各聚類中語義標簽的占比值,將標簽占比值Ni

圖6 標簽重分割

2 試驗與分析

2.1 試驗數(shù)據(jù)與精度評估

S3DIS數(shù)據(jù)集[18]為斯坦福大學(xué)于2016年利用Matterport掃描儀采集的室內(nèi)三維空間數(shù)據(jù)集,包含6個大規(guī)模三維空間的室內(nèi)場景,面積約為6000 m2,并標注了室內(nèi)常見的13種語義類別。為驗證本文方法的有效性,從中挑選3個室內(nèi)場景的點云數(shù)據(jù)進行試驗,如圖7所示。場景包含辦公室、走廊和會議室,涵蓋室內(nèi)簡單到復(fù)雜的場景。

圖7 試驗數(shù)據(jù)集

本文采用交并化率IoU與ACC評價點云分割的準確性。IoU表示數(shù)據(jù)分割的真實值FN與預(yù)測結(jié)果FP的交集與并集之比,公式為

(8)

ACC表示TP(FN∩FP)與FP的比值,公式為

(9)

2.2 試驗結(jié)果與精度分析

針對3組不同復(fù)雜度的室內(nèi)場景點云,首先通過深度神經(jīng)網(wǎng)絡(luò)RandLA-Net獲取初步的深度學(xué)習(xí)分割點云,然后利用幾何與顏色特征獲取精細化的幾何分割點云,最后對深度學(xué)習(xí)分割點云與幾何分割點云進行交叉融合,實現(xiàn)語義分割點云的整體優(yōu)化。3組場景具體試驗結(jié)果如圖8—圖10所示。房間＿1中對于分割錯誤的墻面有明顯的優(yōu)化作用,房間＿2中分割錯誤的墻面、板狀物與梁也有不同程度的優(yōu)化,房間＿3中對室內(nèi)部件點云也有不同程度的優(yōu)化作用。其中,真實標簽為各房間真實部件語義信息,深度學(xué)習(xí)分割標簽為RandLA-Net神經(jīng)網(wǎng)絡(luò)初步分割結(jié)果,優(yōu)化結(jié)果為幾何特征與神經(jīng)網(wǎng)絡(luò)聯(lián)合優(yōu)化結(jié)果。

圖8 房間＿1點云分割結(jié)果

圖9 房間＿2點云分割結(jié)果

圖10 房間＿3點云分割結(jié)果

本文對比了RandLA-Net語義分割結(jié)果與本文方法優(yōu)化結(jié)果的13種部件類別的IoU精度,在3組數(shù)據(jù)中使用本文方法能夠正確修正類別分錯的語義標簽,對墻、門與椅子的精度提升最為穩(wěn)定,會有2%～10%的提升。對分割精度較差的類別約有10%的提升,對一些精度較高的類別,如地板、天花板等會有一定程度的精度損失,約為0.05%,見表1。

表1 深度學(xué)習(xí)分割結(jié)果與本文方法分割結(jié)果精度評估

本文方法在3組不同復(fù)雜度的室內(nèi)場景數(shù)據(jù)中整體精度會有穩(wěn)定的提升,mIoU提升約1.9%,mACC提升約1.6%,見表2。

表2 各部件整體精度評估

3 結(jié) 語

本文提出了一種基于幾何特征與神經(jīng)網(wǎng)絡(luò)聯(lián)合優(yōu)化的室內(nèi)三維點云語義分割方法。該方法首先基于深度學(xué)習(xí)分割獲取初步語義分割結(jié)果,進而結(jié)合幾何與顏色特征對原始點云實現(xiàn)精細分割,前者可以獲取帶標簽的語義信息,后者可實現(xiàn)精準的結(jié)構(gòu)分割。然后基于聯(lián)合概率進行深度學(xué)習(xí)語義標簽優(yōu)化,實現(xiàn)語義分割結(jié)果優(yōu)化。最后采用S3DIS數(shù)據(jù)集中的3組不同復(fù)雜程度場景進行了試驗,并對本文提出的語義分割方法的有效性和精度進行評估與分析。試驗結(jié)果表明,本文提出的室內(nèi)點云語義分割方法能夠充分利用深度學(xué)習(xí)與特征分割優(yōu)勢,有效提升點云語義分割精度,該分割方法可以應(yīng)用于大規(guī)模復(fù)雜的室內(nèi)三維點云語義分類分割中。