徐 健 王圣偉 鄧 創(chuàng)
(國網(wǎng)四川省電力公司電力應(yīng)急中心)
為了實(shí)現(xiàn)快速三維場景重建,研究人員一直在算法和技術(shù)上進(jìn)行嘗試。在傳統(tǒng)攝影測量領(lǐng)域,研究人員重點(diǎn)關(guān)注非測量型相機(jī)在近景攝影測量及無人機(jī)載航測中的應(yīng)用[1]。在計算機(jī)視覺領(lǐng)域,由于不關(guān)注相對和絕對幾何精度,甚至僅在仿射空間中進(jìn)行三維重建即可以作為有意義的結(jié)果數(shù)據(jù),故該領(lǐng)域的研究人員更多地關(guān)注三維重建的自動化算法[2-6]。
本文研究的主要內(nèi)容是將應(yīng)急現(xiàn)場獲取的多角度、多點(diǎn)位圖片信息進(jìn)行融合處理,結(jié)合這些信息源的位置、方向、角度、光學(xué)信息等,通過幾何校正、航測平差、數(shù)字點(diǎn)云生成、三維貼圖等步驟實(shí)現(xiàn)應(yīng)急現(xiàn)場具備測繪精度的三維空間場景的重建??傮w而言,基于現(xiàn)場勘測圖片重建的三維場景,可給現(xiàn)場提供直觀、完整、豐富的可視化災(zāi)情展示,在現(xiàn)場災(zāi)情細(xì)節(jié)的具體測繪和分析中,也可以充分利用空間信息對災(zāi)情的嚴(yán)重程度、發(fā)展態(tài)勢以及救援方案進(jìn)行分析和輔助推演,大大提高應(yīng)急現(xiàn)場災(zāi)情研判和指揮決策的信息化程度,對提升應(yīng)急救援的效率和技術(shù)水平具有重要的意義。
圖1 系統(tǒng)架構(gòu)圖
如圖1所示,三維應(yīng)急現(xiàn)場重建系統(tǒng)的整體架構(gòu)共分5個步驟[7-9]:①實(shí)驗(yàn)數(shù)據(jù)采集及預(yù)處理:分別利用典型的消費(fèi)級成像設(shè)備,采微型無人機(jī)搭載方式獲取空中俯視圖像集;②高精度本底數(shù)據(jù)預(yù)處理:對影像底圖進(jìn)行預(yù)先計算得到本底特征庫,預(yù)提取的特征即包括SIFT、SURF算子提取的特征點(diǎn),也包括 Harris、DoG算子提取的角點(diǎn);③特征匹配與內(nèi)外參數(shù)恢復(fù):對于特征點(diǎn)的匹配,采用SFM的成熟算法,對于特征面和特征邊之間的匹配,參照SFM算法構(gòu)造一種混合特征點(diǎn)和特征面和特征邊的匹配方式; ④改進(jìn)的稠密點(diǎn)云重建:本研究擬改進(jìn)PMVS算法,充分利用由拍攝、地點(diǎn)確定的太陽高度角和氣候狀況估計建筑物光照情況;⑤點(diǎn)云重建結(jié)果的變化檢測與融合:本研究擬采用機(jī)器學(xué)習(xí)的方法在三維空間中進(jìn)行點(diǎn)云數(shù)據(jù)的變化檢測,并以此為基礎(chǔ)實(shí)現(xiàn)點(diǎn)云更新和融合。
系統(tǒng)主要有以下兩個技術(shù)難點(diǎn):①基于無人機(jī)的高精度影像配準(zhǔn)技術(shù)。本文首先要實(shí)現(xiàn)無人機(jī)數(shù)據(jù)與其他參考數(shù)據(jù)源之間的高精度自動配準(zhǔn)。在分析無人機(jī)數(shù)據(jù)存在的幾何形變和參考數(shù)據(jù)源的特點(diǎn)的基礎(chǔ)上,針對不同的參考數(shù)據(jù)源,采用與之特點(diǎn)相適用的匹配方法。②基于計算機(jī)視覺的三維重建技術(shù),如何提高SFM算法的效率以適應(yīng)可用數(shù)據(jù)源數(shù)量的迅速增多已經(jīng)成為三維重建領(lǐng)域研究的熱點(diǎn);此外,由于拍攝點(diǎn)不能完全覆蓋場景,上述方法得到的點(diǎn)云肯定是不完備的,因此將利用更多傳感器搭載手段獲取完備的城區(qū)影像數(shù)據(jù)及相應(yīng)的算法也是一個技術(shù)。
三維重建的任務(wù)規(guī)劃系統(tǒng)是無人機(jī)采集數(shù)據(jù)時候的一個重要指導(dǎo)系統(tǒng)。無人機(jī)采集的數(shù)據(jù)對后面的重建工作起到關(guān)鍵性作用,而三維重建任務(wù)規(guī)劃系統(tǒng)能有效指導(dǎo)無人進(jìn)行相關(guān)數(shù)據(jù)采集,使得采集回來的數(shù)據(jù)能滿足后面重建的要求[10]。
無人機(jī)數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)圖如圖2所示。
圖2 無人機(jī)數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)圖
由結(jié)構(gòu)圖可知全景相機(jī)數(shù)據(jù)采集系統(tǒng),需要GPS全球衛(wèi)星定位系統(tǒng)提供連續(xù)可靠的地理坐標(biāo)信息和UTC時間。首先,把地理坐標(biāo)信息提供給姿態(tài)IMU,配合IMU數(shù)據(jù)形成更加穩(wěn)定和連續(xù)的實(shí)時定位信息。然后,提供PPS秒脈沖給同步曝光控制模塊,用于同步系統(tǒng)時鐘。最后,在同步曝光信號的驅(qū)動下,同步記錄GPS數(shù)據(jù)。
三維應(yīng)急場景重建系統(tǒng)主要包括以下模塊:
相機(jī)標(biāo)定分為內(nèi)標(biāo)定和外標(biāo)定。內(nèi)標(biāo)定主要標(biāo)定相機(jī)自身的參數(shù)。外標(biāo)定主要是標(biāo)定相機(jī)模型與世界坐標(biāo)系之間的方位參數(shù)。
相機(jī)姿態(tài)計算模塊主要用于計算相機(jī)拍攝不同影像時的姿態(tài),再通過歸一化得到每次成像時相機(jī)的姿態(tài),從而為后面三維重建模塊提供條件。
三維點(diǎn)云重建模塊主要解決從影像到三維點(diǎn)云的生成問題,利用上面兩步算出來的結(jié)果再結(jié)合多目視覺約束關(guān)系把在影像上的像素點(diǎn)生成點(diǎn)云。
三維模型生成模塊是從上面得出的點(diǎn)云中進(jìn)一步處理得到相應(yīng)的三維模型。
為了把三維模型和影像更好地展示出來并在其上面做常用的處理,本文研發(fā)了數(shù)據(jù)展示平臺,這個數(shù)據(jù)展示平臺包含了三維GIS標(biāo)繪系統(tǒng)的通用功能。按實(shí)際開發(fā)可以分幾個功能:數(shù)據(jù)操作、天氣特效、粒子特效、三維測量、標(biāo)繪系統(tǒng)。
以一臺配置四核處理器、16G內(nèi)存、1TB空間硬盤、Win7操作系統(tǒng)的電腦為地面工作平臺;以主要系統(tǒng)參數(shù)是起降方式手拋滑跑起飛/降落/傘降、機(jī)身材料EPO、翼展1800mm、機(jī)身長度1230mm、機(jī)身高度160mm、任務(wù)倉最大寬度135mm、空機(jī)重量1165g、續(xù)航時間40~120min的無人機(jī)為航拍設(shè)備,實(shí)現(xiàn)將四川某地區(qū)變電所三維建模的任務(wù)。
四川地區(qū)變電站三維重建點(diǎn)云展示,如圖3所示。
從上述應(yīng)用結(jié)果可看出來,點(diǎn)云比較精細(xì),起伏明顯。整個方案最終有效地把從無人機(jī)采集回來的影像數(shù)據(jù),GPS數(shù)據(jù),IMU數(shù)據(jù)融合在一起最總生成精確的三維點(diǎn)云和三維模型。
圖3 四川地區(qū)變電站三維重建點(diǎn)云展示
近年來對電力供應(yīng)的可靠性、持續(xù)性的要求越來越高,因此考慮電力應(yīng)急反應(yīng)的高效性、準(zhǔn)確性變得越來越重要。未來還有很多工作可以持續(xù)開展,如:
1)在以地圖模型進(jìn)行了分析時,如何綜合考慮各種因素,以及各因素內(nèi)部關(guān)系的正確處理將是未來研究的趨勢。
2)地質(zhì)災(zāi)害對電網(wǎng)的影響因素多,如何利用更加真實(shí)全面的地形數(shù)據(jù),改進(jìn)各類災(zāi)害的預(yù)測模型以提高預(yù)測準(zhǔn)確度也是今后研究的重點(diǎn)。
3)根據(jù)詳盡的地理模型對災(zāi)變下電網(wǎng)的相關(guān)風(fēng)險分析也是研究的方向。
本文提出了采用照相機(jī)、攝像機(jī)、拍照手機(jī)等消費(fèi)級圖像采集設(shè)備對高精度場景三維重建成果進(jìn)行更新的技術(shù)路線,闡明了未標(biāo)定圖像三維重建的基本原理、誤差模型、精度控制及自動化方法,改進(jìn)了計算機(jī)視覺中特征匹配算法和稠密點(diǎn)云重建算法,建立一套完整的低成本三維場景模型更新軟件原型體系。給現(xiàn)場提供直觀、完整、豐富的可視化災(zāi)情展示,使得災(zāi)情現(xiàn)場的信息展示更具有整體性,可大大提升指揮決策的效率。
[1]陳兵旗, 孫明. 實(shí)用數(shù)字圖像處理與分析[M]. 北京:中國農(nóng)業(yè)大學(xué)出版社, 2003.
[2]羅軍輝, 馮平. Matlab在圖像處理中的應(yīng)用[M]. 北京: 機(jī)械工業(yè)出版社, 2007.
[3]VATTIBR. A generic solution to polygon clipping[J]. Communications of the ACM, 1992, 35(7): 56- 63.
[4]紀(jì)鳳, 歐宗瑛, 秦緒佳. 基于Delaunay三角剖分的層析圖像離散數(shù)據(jù)表面重建算法[J]. 工程圖學(xué)學(xué)報, 2001, 22(2): 53- 58.
[5]BAKSHIS, YANGY. Shape from shading for non-lambertian surfaces[C]//Proc of International Conference on Image Processing, 1994: 130-134.
[6]劉華松, 莊飛. 新農(nóng)村建設(shè)與村莊規(guī)劃[J]. 中國新技術(shù)新產(chǎn)品, 2009(4): 196.
[7]呂厚宜. 無人機(jī)發(fā)展與無人機(jī)技術(shù)[J]. 世界科技研究與發(fā)展, 1998, 20(6): 113-116.
[8]王海斌, 葛雪雁, 宋玉珍. 無人機(jī)的發(fā)展趨勢與技術(shù)預(yù)測[J]. 飛航導(dǎo)彈, 2009(11): 46-52.
[9]馬輪基, 馬瑞升, 林宗桂, 等. 微型無人機(jī)遙感應(yīng)用初探[J]. 廣西氣象, 2005, 26(Z1): 180-181.
[10]金偉, 葛宏立, 杜華強(qiáng), 等. 無人機(jī)遙感發(fā)展與應(yīng)用概況[J]. 遙感信息, 2009, 88(5): 88-92.