周行行， 鄒崢嶸， 張?jiān)粕?鄭特

(中南大學(xué)地球科學(xué)與信息物理學(xué)院，長沙 410083)

?

顧及幾何及顏色信息的傾斜影像立面點(diǎn)云提取

周行行， 鄒崢嶸， 張?jiān)粕?鄭特

(中南大學(xué)地球科學(xué)與信息物理學(xué)院，長沙 410083)

針對建筑物立面自動提取難題，根據(jù)多角度航空傾斜影像密集匹配生成的三維點(diǎn)云，提出了一種顧及點(diǎn)云幾何及顏色信息的建筑物立面點(diǎn)云自動提取方法。首先通過計(jì)算三維點(diǎn)云中各點(diǎn)對應(yīng)的法向量，并根據(jù)法向量方向進(jìn)行粗略的分割； 然后根據(jù)各點(diǎn)的顏色信息剔除植被點(diǎn)云； 在此基礎(chǔ)上剔除少量地面點(diǎn)，通過基于聚類分析的后處理獲取立面點(diǎn)云。利用2組數(shù)據(jù)進(jìn)行了實(shí)驗(yàn)，結(jié)果表明,本文方法能夠自動提取出建筑物的立面，立面的完整性和正確性都大于90%，準(zhǔn)確率大于83%，為后續(xù)立面的重建提供了基礎(chǔ)。

傾斜攝影； 立面提?。?點(diǎn)云； 法向量； 聚類分析

0 引言

關(guān)于激光點(diǎn)云數(shù)據(jù)立面提取的方法已經(jīng)有較多研究，如李必軍等[3-4]通過投影點(diǎn)密度和閾值分割的方式實(shí)現(xiàn)建筑物邊界的提取; 魏征等[5]改進(jìn)了點(diǎn)投影密度的缺點(diǎn)，提出了一種新的特征圖像生成方法; Shahzad等[6]提出TomoSAR數(shù)據(jù)的定向散射密度估計(jì)方法，并結(jié)合立面的幾何形態(tài)，采用聚類、分割等算法優(yōu)化，分割出立面點(diǎn)。這些方法雖然取得了一定的進(jìn)展，但是難以直接應(yīng)用于傾斜影像密集匹配生成的三維點(diǎn)云。目前有關(guān)傾斜影像的立面提取方法較少，如Hohmann等[7]采用GML形狀語法，在立面圖像中人為地確定語法規(guī)則; Musialski等[8]是基于圖像的半自動化立面建模，該方法結(jié)合了一致性概念，但需進(jìn)行人工同步編輯; Teeravech等[9]在立面圖像中利用隨機(jī)抽樣一致性算法發(fā)現(xiàn)重復(fù)模式，通過在主結(jié)構(gòu)中發(fā)現(xiàn)重復(fù)模式(如窗戶、陽臺等)，此算法實(shí)際應(yīng)用易受噪聲影響，建立在重復(fù)模式是規(guī)則分布的假設(shè)上。Xiao等[10]提出一種基于圖像的交互式方法，利用啟發(fā)式分離方法自動細(xì)分立面，但該方法需大量的用戶交互。黃敏兒等[11]提出了一種利用傾斜影像生成的像素高度圖來識別和提取三維建筑物目標(biāo)的方法。

針對以上方法的不足，本文提出一種顧及幾何及顏色信息的傾斜影像立面點(diǎn)云提取方法，根據(jù)點(diǎn)云數(shù)據(jù)中的法向量幾何信息和對應(yīng)影像的光譜信息提取立面點(diǎn)云有良好的完整性和正確性。

1 建筑物立面提取方法

圖1為本文提出的點(diǎn)云立面提取方法流程。

圖1 傾斜點(diǎn)云立面提取重建流程圖

對于航空傾斜攝影系統(tǒng)采集的多角度傾斜影像密集匹配生成的點(diǎn)云，首先利用法向量對點(diǎn)云進(jìn)行初始分割； 然后根據(jù)顏色信息剔除大部分的植被點(diǎn)，并采用漸近三角網(wǎng)加密的方法[12]獲取數(shù)字高程模型(digital elevation model,DEM)，從而剔除掉點(diǎn)云中的地面點(diǎn)； 最后利用聚類算法將以上步驟獲取的點(diǎn)云進(jìn)行聚類，根據(jù)點(diǎn)云的數(shù)量和點(diǎn)間距剔除非立面點(diǎn)，實(shí)現(xiàn)立面點(diǎn)云的提取。

本文試驗(yàn)數(shù)據(jù)為某城市區(qū)域的2組傾斜點(diǎn)云以及對應(yīng)的傾斜影像，其中一組數(shù)據(jù)如圖2所示，圖2(a)為點(diǎn)云，圖2(b)為其對應(yīng)的傾斜影像。

(a) 點(diǎn)云 (b) 傾斜影像

圖2 點(diǎn)云和對應(yīng)的傾斜影像

Fig.2 Oblique image and point cloud

1.1 基于法向量的立面點(diǎn)云提取

本文中，假設(shè)城市區(qū)域的傾斜點(diǎn)云主要包含了3種對象： 建筑物、植被和地面。其中建筑物又可以看成由立面和屋頂組成。這4類對象在三維點(diǎn)云和2維影像顏色上表現(xiàn)出不同的特征。對于立面，幾乎垂直地面，位于墻上的各點(diǎn)緊密相鄰，有著幾乎水平的法向量； 對于植被，鄰近點(diǎn)的位置不規(guī)則且點(diǎn)密度稀疏，各點(diǎn)的法向量分布通常也不規(guī)則，對應(yīng)的點(diǎn)云在原始傾斜影像中的光譜特征與其他對象有著明顯區(qū)別； 對于地面點(diǎn)和屋頂，表面平滑，法向量異于立面對象； 其他對象的點(diǎn)密度小且高度相對很低。

根據(jù)以上特征，首先計(jì)算所有點(diǎn)的法向量，保留法向量與水平面夾角度小于δA的點(diǎn)。為了保證立面點(diǎn)在該步過濾中不損失，δA取經(jīng)驗(yàn)值40。由于植被上的大部分點(diǎn)也有著近于水平的法向量，植被點(diǎn)在初次濾波中不能完全被過濾，植被的大部分點(diǎn)也被保留。原始點(diǎn)云數(shù)據(jù)基于法向量方向?yàn)V波前后的結(jié)果如圖3所示。

反應(yīng)壽險(xiǎn)需求的指標(biāo)較多，在這里我們考慮數(shù)據(jù)的可得性和人口數(shù)量對壽險(xiǎn)需求的影響，選取人均壽險(xiǎn)保費(fèi)收入(元)Y來作為被解釋變量。

(a) 處理前 (b) 處理后

圖3 基于法向量的立面點(diǎn)云初步提取結(jié)果

Fig.3 Segmentation result according to normal information

1.2 基于顏色信息的植被點(diǎn)云過濾

經(jīng)過法向量方向?yàn)V波后，結(jié)果點(diǎn)云中主要是建筑物立面點(diǎn)和植被點(diǎn)以及少量的地面點(diǎn)?？紤]到植被點(diǎn)對應(yīng)的綠色波段值相對較高，根據(jù)點(diǎn)云和影像的對應(yīng)關(guān)系獲取每個(gè)點(diǎn)的顏色值(RGB)，利用綠化率(GreenRatio)來識別樹木、草地等植被[13]，即

(1)

式中：R，G，B分別表示點(diǎn)在原影像中對應(yīng)的紅色、綠色和藍(lán)色波段亮度值。

根據(jù)實(shí)驗(yàn)可以發(fā)現(xiàn)，植被點(diǎn)云的綠化率在0.20～0.35之間，因此根據(jù)綠化率去除大部分植被點(diǎn)，但由于樹木上的一些點(diǎn)位于樹葉間的陰影點(diǎn)，不具有正常綠色植被點(diǎn)的光譜特征，所以這些特殊的植被點(diǎn)仍被保留，基于顏色信息過濾前后的結(jié)果如圖4所示。

(a) 顏色信息過濾前的點(diǎn)云(b) 顏色信息過濾前點(diǎn)云在影像上的對應(yīng)位置

(c) 顏色信息過濾后的點(diǎn)云(d) 顏色信息過濾后點(diǎn)云在影像上的對應(yīng)位置

圖4 基于顏色信息的植被點(diǎn)云過濾

Fig.4 Point cloud filtering based on spectral feature

1.3 地面點(diǎn)的去除

經(jīng)過1.2節(jié)初始分割后，立面點(diǎn)幾乎都被提取出來了，但依然混有少量植被及地面點(diǎn)?？梢园l(fā)現(xiàn)這些非立面點(diǎn)的分布有離散且不規(guī)則的特點(diǎn)。

針對少量的地面點(diǎn)，本文采用漸進(jìn)三角網(wǎng)加密算法進(jìn)行非地面點(diǎn)和地面點(diǎn)的分離，以過濾掉經(jīng)初始分割和顏色信息處理后點(diǎn)云中殘留的少量地面點(diǎn)。經(jīng)過該算法處理后，聚集在植被附近的地面點(diǎn)以及建筑物下的地面點(diǎn)被剔除，同時(shí)使得植被類附近的點(diǎn)變得更加稀疏。去除地面點(diǎn)前后及局部效果如圖5所示。

(a) 去除地面點(diǎn)前的點(diǎn)云(b) 去除地面點(diǎn)處理前局部影像效果

(c) 去除地面點(diǎn)后的點(diǎn)云(d) 去除地面點(diǎn)處理后局部影像效果

圖5 地面點(diǎn)去除結(jié)果

Fig.5 Result of removing the ground points

1.4 基于聚類分析的立面提取結(jié)果后處理

將上步結(jié)果點(diǎn)云投影到對應(yīng)影像中可發(fā)現(xiàn)，建筑物立面點(diǎn)幾乎全被提取出來，剩下的噪聲點(diǎn)主要集中在樹木的陰影處和距離地面一定高度的車身側(cè)面，分布離散且數(shù)量較少。因此，首先采用密度聚類方法[14]將保留的點(diǎn)聚集成簇群,由于植被點(diǎn)相對離散，點(diǎn)密度較小，故保留點(diǎn)數(shù)大于500以及點(diǎn)間距小于2.0 m的點(diǎn)； 第一次聚類后仍有少量的植被點(diǎn)和車身側(cè)面點(diǎn)，這些點(diǎn)相對集中，密度較大，須進(jìn)行第二次聚類，保留點(diǎn)數(shù)大于2 000以及點(diǎn)間距小于1.5 m的點(diǎn)，結(jié)果如圖6所示。

(a) 初次聚類 (b) 二次聚類

圖6 聚類后優(yōu)化結(jié)果

Fig.6 Clustering results

2 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文方法，采用了2組數(shù)據(jù)進(jìn)行試驗(yàn)。第一組數(shù)據(jù)如圖2所示； 第二組數(shù)據(jù)如圖7所示。為了對實(shí)驗(yàn)結(jié)果進(jìn)行定量分析，采用人機(jī)交互的方式標(biāo)記出參考立面點(diǎn)云，圖8為兩組數(shù)據(jù)的參考立面在原始傾斜影像中的投影。

(a) 點(diǎn)云 (b) 傾斜影像

圖7 第二組數(shù)據(jù)

Fig.7 The second group data

(a) 第一組(b) 第二組

圖8 參考立面

Fig.8 Reference facades

圖9為兩組數(shù)據(jù)提取結(jié)果的投影圖。將原始點(diǎn)云中的點(diǎn)分為立面點(diǎn)和非立面點(diǎn)2類，通過本文方法識別的立面點(diǎn)且為參考立面中的點(diǎn)定義為“正確點(diǎn)”(true positive, TP)，如圖9中藍(lán)色顯示的點(diǎn)； 本文方法未識別的立面點(diǎn)但是為參考立面點(diǎn)，定義為“遺漏點(diǎn)”(false negative, FN)，如圖9中綠色顯示的點(diǎn)； 本文方法中識別的立面點(diǎn)但不是參考立面點(diǎn)，定義為“錯(cuò)誤點(diǎn)”(false positive, FP)，如圖9中紅色顯示的點(diǎn)。

(a) 第一組(b) 第二組

圖9 立面提取結(jié)果

Fig.9 Results of facade extraction

本文采用文獻(xiàn)[15]的精度評定方法，評價(jià)實(shí)驗(yàn)結(jié)果的完整性(Completeness)、正確性(Correctness)及準(zhǔn)確率(Quality),評價(jià)指標(biāo)為

(2)

對2組實(shí)驗(yàn)數(shù)據(jù)結(jié)果中的TP，F(xiàn)N，F(xiàn)P各點(diǎn)數(shù)進(jìn)行統(tǒng)計(jì)，按照式(2)計(jì)算提取的立面點(diǎn)云的完整性、正確性及準(zhǔn)確率，結(jié)果如表1所示。

表1 實(shí)驗(yàn)結(jié)果評價(jià)表

由參考立面圖以及提取的結(jié)果圖可見，第一組實(shí)驗(yàn)數(shù)據(jù)中共52個(gè)參考立面，本文方法共檢測出55個(gè)立面，其中提取出51個(gè)正確立面，4個(gè)錯(cuò)誤立面； 由表1可看出提取結(jié)果的完整性、正確性及準(zhǔn)確率均達(dá)到91%以上。第二組實(shí)驗(yàn)數(shù)據(jù)中共38個(gè)參考立面，本文方法共檢測出43個(gè)立面，其中正確提取出37個(gè)立面，6個(gè)為錯(cuò)誤立面； 提取結(jié)果也具有較好的完整性、正確性及準(zhǔn)確率。從結(jié)果可見本文方法能夠自動提取出大部分的立面，將絕大部分的地面、植被等非立面點(diǎn)濾除，提取出的立面能夠保持很好的完整性和連貫性。

3 結(jié)論

從傾斜影像密集匹配生成點(diǎn)云中提取建筑物能大大降低城市三維建模的成本，在建筑物識別及提取方面具有很大的優(yōu)勢。針對現(xiàn)有方法對該類點(diǎn)云的適用性不足，本文根據(jù)城市中各種對象的幾何特征和光譜顏色信息提取立面點(diǎn)云并進(jìn)行聚類優(yōu)化，自動提取立面點(diǎn)云。試驗(yàn)結(jié)果表明，本文的方法能夠有效地自動提取出建筑物的立面，提取出的立面有著很好的完整性和連貫性，能夠保持較高的正確率。后續(xù)工作將進(jìn)一步深入研究點(diǎn)云的特征及規(guī)律，在識別立面的基礎(chǔ)上,進(jìn)行單體建筑物的識別,并且對立面進(jìn)行精細(xì)重建。

[1] Musialski P,Wonka P,Aliaga D G,et al.A survey of urban reconstruction[J].Computer Graphics Forum,2013,32(6):146-177.

[2] Xiong X H,Adan A,Akinci B,et al.Automatic creation of semantically rich 3D building models from laser scanner data[J].Automation in Construction,2013,31:325-337.

[3] 李必軍,方志祥,任娟.從激光掃描數(shù)據(jù)中進(jìn)行建筑物特征提取研究[J].武漢大學(xué)學(xué)報(bào):信息科學(xué)版,2003,28(1):65-70. Li B J,Fang Z X,Ren J.Extraction of building’s feature from laser scanning data[J].Geomatics and Information Science of Wuhan University,2003,28(1):65-70.

[4] Li B J,Li Q Q,Shi W Z,et al.Feature extraction and modeling of urban building from vehicle-borne laser scanning data[C]//International Archives of the Photo-grammetry,Remote Sensing and Spatial Information Sciences.Istanbul:ISPRS,2004:934-939.

[5] 魏征,楊必勝,李清泉.車載激光掃描點(diǎn)云中建筑物邊界的快速提取[J].遙感學(xué)報(bào),2012,16(2):291-296. Wei Z,Yang B S,Li Q Q.Automated extraction of building footprints from mobile LIDAR point clouds[J].Journal of Remote Sensing,2012,16(2):286-290.

[6] Shahzad M,Zhu X X.Robust reconstruction of building facades for large areas using spaceborne TomoSAR point clouds[J].IEEE Transactions on Geoscience and Remote Sensing,2015,53(2):752-769.

[7] Hohmann B,Havemann S,Krispel U,et al.A GML shape grammar for semantically enriched 3D building models[J].Computers & Graphics,2010,34(4):322-334.

[8] Musialski P,Wimmer M,Wonka P.Interactive coherence-based fa?ade modeling[J].Computer Graphics Forum,2012,31(2pt3):661-670.

[9] Teeravech K,Nagai M,Honda K,et al.Discovering repetitive patterns in facade images using a RANSAC-style algorithm[J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,92:38-53.

[10]Xiao J,Gerke M,Vosselman G.Building extraction from oblique airborne imagery based on robust fa?ade detection[J].ISPRS Journal of Photogrammetry and Remote Sensing,2012,68:56-68.

[11]黃敏兒,杜志強(qiáng),朱慶,等.利用像素高度圖的三維建筑物屋頂和立面提取方法[J].武漢大學(xué)學(xué)報(bào):信息科學(xué)版,2014,39(10):1221-1224. Huang M E,Du Z Q,Zhu Q,et al.3D building facade and roofs objects extraction from pixel height map[J].Geomatics and Information Science of Wuhan University,2014,39(10):1221-1224.

[12]Axelsson P.DEM generation from laser scanner data using adaptive tin models[J].International Archives of Photogrammetry and Remote Sensing,2000,33:110-117.

[13]Rau J Y,Jhan J P,Hsu Y C.Analysis of oblique aerial images for land cover and point cloud classification in an urban environment[J].IEEE Transactions on Geoscience and Remote Sensing,2015,53(3):1304-1319.

[14]熊仕勇.一種新型的基于密度和柵格的聚類算法[J].計(jì)算機(jī)應(yīng)用研究,2011,28(5):1721-1723,1727. Xiong S Y.Novel clustering algorithm based on grid and density[J].Application Research of Computers,2011,28(5):1721-1723,1727.

[15]Pu S,Rutzinger M,Vosselman G,et al.Recognizing basic structures from mobile laser scanning data for road inventory studies[J].ISPRS Journal of Photogrammetry and Remote Sensing,2011,66(6):S28-S39.

(責(zé)任編輯： 李瑜)

Facade extraction from oblique point cloud considering geometrical and color information

ZHOU Hanghang, ZOU Zhengrong, ZHANG Yunsheng, ZHENG Te

(SchoolofGeosciencesandGeomatics,CentralSouthUniversity,Changsha410083,China)

Aimed at tackling the difficulty in extracting facade from point cloud derived from dense matching of multi-angle airborne oblique images, this paper proposes a facade extraction method considering point cloud geometrical and color information. This method calculates normal vector for each point in the point cloud, and then uses the orientation of the normal vector for initial facade segmentation. After that, color information is used to remove point cloud about vegetation. On the basis of the initial result, the remaining ground points are removed. Finally, clustering analysis is used to refine the result, and facade point cloud can be obtained. Two groups of data sets are used for experiments, and the results reveal that the proposed method can automatically extract the facade of the building, with the completeness and correctness up to 90%, and the accuracy is more than 83%, thus providing the basis for the subsequent facade reconstruction.

oblique photogrammetry; facade extraction; point cloud; normal vector; clustering analysis

10.6046/gtzyyg.2016.04.07

周行行，鄒崢嶸，張?jiān)粕?等.顧及幾何及顏色信息的傾斜影像立面點(diǎn)云提取方法[J].國土資源遙感,2016,28(4):43-48.(Zhou H H,Zou Z R,Zhang Y S,et al.Facade extraction from oblique point cloud considering geometrical and color information[J].Remote Sensing for Land and Resources,2016,28(4):43-48.)

2015-05-15；

2015-07-23

國家“863”計(jì)劃資助項(xiàng)目“統(tǒng)一時(shí)空體系下的城市多種類型空間信息接入與加載的規(guī)范”(編號： 2013AA122301)、國家自然科學(xué)基金“自適應(yīng)三角形約束的多角度影像多基元匹配方法”(編號： 41201472)及湖南省高校創(chuàng)新平臺開放基金項(xiàng)目“面向?yàn)?zāi)害應(yīng)急響應(yīng)的無人機(jī)影像快速處理方法”(編號： 12K009)共同資助。

P 208

A

1001-070X(2016)04-0043-06

周行行(1990-)，女，碩士研究生，主要從事傾斜影像立面提取方面的研究。Email： zhh1990926@163.com。