明國輝，委民正

(1.福建省電力勘測設(shè)計院,福建 福州 350003;2.福建省地質(zhì)測繪院，福建 福州 350011)

SURF算法在無人機傾斜攝影測量三維建模中的應(yīng)用

明國輝1，委民正2

(1.福建省電力勘測設(shè)計院,福建 福州 350003;2.福建省地質(zhì)測繪院，福建 福州 350011)

針對無人機傾斜攝影測量影像的特點，采用一種影像特征點自動提取匹配算法，解決影像之間的比例尺不一致、分辨率不一致等問題，實現(xiàn)影像的自動精確匹配，最終構(gòu)建具有精確地理信息的三維模型。實驗結(jié)果表明構(gòu)建的三維模型滿足數(shù)字城市建設(shè)的需求，可為城市基礎(chǔ)設(shè)施建設(shè)提供一種科學可靠的依據(jù)。

無人機；傾斜攝影測量技術(shù)；圖像匹配 ；SURF；三維建模

傳統(tǒng)的三維地形建模主要依靠衛(wèi)星遙感影像和航空遙感影像提供基礎(chǔ)數(shù)據(jù)，人工地面采集所需控制點，經(jīng)內(nèi)業(yè)處理后構(gòu)建三維地形，此種作業(yè)方式成本高、耗時費力、數(shù)據(jù)分辨率不高、作業(yè)周期較長，不利于實時快速構(gòu)建精細三維地形。三維激光掃描利用激光測距原理可以快速獲取大量的地面三維幾何數(shù)據(jù)，但該方法無法獲取地物的紋理數(shù)據(jù)，仍需依靠大量的人機交互作業(yè)來完成三維地物的紋理貼圖，其構(gòu)建三維地形的效率和逼真度較低。

無人機技術(shù)和傾斜攝影測量技術(shù)的出現(xiàn)為三維地形構(gòu)建提供了一種新型的技術(shù)方法[1-3]。利用無人機技術(shù)獲取數(shù)據(jù)，操作便利、高效，大大降低作業(yè)風險和成本；傾斜攝影測量技術(shù)改變了傳統(tǒng)的影像獲取模式，其利用不同角度的相機同步獲取地形地物的影像，批量自動提取地形地物的紋理信息，極大地提高了三維地形模型的逼真程度。

李軍等[4]人利用無人機影像制作了分辨率高、逼真程度高的地震災區(qū)三維景觀圖，為災區(qū)的震后重建提供詳細的三維地理信息；曲林等[5]人基于無人機傾斜攝影測量數(shù)據(jù)，利用商用軟件實現(xiàn)了實景三維建模，為智慧城市的三維建模提供一種解決方案；譚仁春等[6]人將傾斜攝影測量技術(shù)和MAX技術(shù)相結(jié)合實現(xiàn)了城市三維建模，并對建模方法進行部分優(yōu)化，取得理想的效果。孫宏偉[7]基于傾斜測量技術(shù)實現(xiàn)城市三維建模的快速化，為實際生產(chǎn)操作提供一種可借鑒且有效的技術(shù)方案。上述文獻大多探討了無人機傾斜攝影測量技術(shù)的操作流程，多使用專業(yè)的商用軟件來實現(xiàn)三維建模，其中影像特征點的匹配算法多涉及商業(yè)機密，且軟件具有一定的局限性，故無法有針對性地對傾斜攝影測量存在的問題如影像比例尺不一致、分辨率不一致等進行深入分析與研究。本文在深入研究無人機傾斜攝影測量數(shù)據(jù)處理技術(shù)的基礎(chǔ)上，采用一種傾斜影像特征點自動匹配算法，有效剔除數(shù)據(jù)中的粗差，提高影像的匹配精度，最終實現(xiàn)精度和逼真度較高的三維模型。

1 傾斜攝影技術(shù)原理

傳統(tǒng)航空攝影只能從正下方角度拍攝影像，而傾斜影像為相機主光軸在一定傾斜角時拍攝的影像[8-10]。具體操作為：在飛機正下方垂直角度、前后左右4個傾斜角度搭載5臺傳感器，采集如下數(shù)據(jù)：航向重疊度、旁向重疊度、坐標值、飛行航向、航速及航高，為后續(xù)的三維建模提供精確的基礎(chǔ)數(shù)據(jù)，圖1為傾斜攝影測量原理示意圖。同時傾斜攝影與GNSS、地理信息等技術(shù)相結(jié)合，可實現(xiàn)多種類信息的融合，從而進一步提高三維模型分辨率和幾何精度，使得構(gòu)建的三維模型逼真程度高，用戶體驗感強。

圖1 傾斜攝影測量原理示意圖

2 無人機傾斜攝影三維建模流程

無人機傾斜攝影三維建模主要涉及3個關(guān)鍵內(nèi)容：①自動空三：依據(jù)測區(qū)內(nèi)均勻分布的地面控制點，利用立體測圖技術(shù)，解算匹配加密點的平面坐標和高程；②密集匹配：將多張影像上的同一特征點進行匹配，計算影像之間的空間變換模型；③影像拼接：依據(jù)計算得到的空間變化模型對影像進行拼接處理，使得同名特征點能夠準確疊合，消除影像比例尺不一致、分辨率不一致對三維模型的影響。圖2為無人機傾斜攝影測量三維建模流程圖。

圖2 無人機傾斜攝影測量三維建模流程

3 SURF算法原理及特征點匹配

SURF(Speeded Up Robust Features)[11-13]算法包括：特征點檢測和特征點描述兩個部分。特征點檢測是利用積分對圖像進行處理以獲取積分圖像，通過積分圖像對尺度空間的響應(yīng)來尋找特征點的位置；特征點描述是指利用特征矢量來描述特征點及其方向。

3.1 SURF特征點檢測

利用Hessian矩陣行列式的極大值來檢測，假設(shè)I為圖像，X(x,y)為圖像中的一點，尺度為σ，則點X處的Hessian矩陣為

(1)

其中：Lxx(X,σ)為點X處的高斯二階微分與圖像I的卷積，其余各項含義相似。

SURF算法將近似Hessian矩陣的行列式作為X(x,y,σ)處的斑點響應(yīng)，以加快運算效率，具體算式為

Det(Happrox)=DxxDyy-(0.9Dxy)2.

(2)

具體算法如下：計算圖像中每一個點的斑點響應(yīng)值，組成響應(yīng)圖像。通過比較某一點在本尺度空間和上下尺度空間的響應(yīng)值的大小，來判斷某一點是否為候選特征點，若響應(yīng)值比26個鄰域值都大或者都小，則將該點作為最終的候選特征點，并計算其位置和尺度參數(shù)。

3.2 SURF特征點描述

3.2.1 特征點主方向分配

首先進行Haar小波運算，具體參數(shù)為：6 s為半徑，特征點為中心，邊長為4 s，獲取點在x，y方向上的Harr小波響應(yīng)值，其中s為空間尺度。

然后進行高斯加權(quán)運算，具體參數(shù)為：張角為π/3的扇形滑動窗口，步長為0.2弧度滑動窗口，對窗口內(nèi)圖像的Harr小波響應(yīng)值dx，dy進行累加，獲得矢量(mw,θw)為

(3)

(4)

求取Harr小波響應(yīng)值累加值在多個方向中值最大的一個方向，則該方向作為特征點的主方向。

3.2.2 特征點特征矢量生成

構(gòu)建以20 s為邊長，特征點為中心，方向與特征點主方向保持一致，大小為 4×4的規(guī)則子窗口。采用邊長為2σ的Harr小波對圖像進行處理，以獲得x，y方向上的響應(yīng)值dx，dy，利用高斯加權(quán)計算每一個子窗口的響應(yīng)值，以獲得每一個子窗口的特征矢量。

(5)

一組描述子特征矢量共包含4×4×4=64維特征矢量，這樣可獲取一個特征點的完整信息：空間尺度、坐標、64維矢量特征，圖3為SURF描述子特征矢量組成示意圖。

圖3 SURF描述子特征矢量組成

3.3 特征點匹配

初始匹配點對中通常不可避免地含有粗差點[14-15]，故需剔除粗差點。為此采取雙重匹配算法，具體為先對初始匹配點對進行粗略匹配，剔除明顯的粗差點對，再采用RANSAC算法進行精確匹配，構(gòu)建轉(zhuǎn)換模型，最后使用未參與計算的匹配點對空間轉(zhuǎn)換模型進行驗證和優(yōu)化，進一步提高匹配精度和可靠性。圖4為特征點匹配流程。

圖4 特征點匹配流程

4 實驗分析

實驗所用數(shù)據(jù)來源于福州某地電力工程建設(shè)中采集的無人機影像。技術(shù)參數(shù)如下：無人機相對飛行高750 m，航向重疊度為70%，旁向重疊度為50%，共拍攝600多張無人機傾斜影像。硬件系統(tǒng)選取GeoVison的SWDC-5，該系統(tǒng)由1個垂直相機和4個傾斜相機構(gòu)成，相機選用哈蘇相機，焦距為50～100 mm， 像元大小6 μ，傾斜角度45°，最短曝光間隔2.5″。

首先對影像進行歸一化、均光、均色處理，以消除影像在飽和度、亮度、色相等方面的差異；再對影像進行相對定向、絕對定向、區(qū)域網(wǎng)平差，以獲取每張影像的外方位元素；最后使用SURF算法對影像進行特征點檢測，如圖5、圖6所示，圓心點為特征點的位置，半徑為特征點所在的空間尺度，半徑所指的方位為特征點的主方向。圖7為粗略匹配結(jié)果圖，圖8為剔除錯誤匹配點對形成的粗略匹配特征點對集合，圖9為精確匹配結(jié)果圖

圖5 原始圖像(左)與特征點檢測結(jié)果(右)

圖6 原始圖像(左)與特征點檢測結(jié)果(右)

圖7 粗略匹配效果

圖8 剔除粗差后匹配效果圖

圖9 精確匹配效果圖

圖5檢測出336個特征點，圖6檢測出362個特征點，通過SURF算法自動搜尋同名特征點組成粗略匹配點對，如圖7中綠色線條標記的匹配點對，可以看出其中包含少數(shù)明顯錯誤的匹配點，圖8為剔除錯誤匹配點對后的匹配效果圖。表1為SUFR算法與某商用軟件算法匹配點檢測效果對比，從表中可以看出SURF算法計算出的特征點個數(shù)要少于商用軟件算法計算的特征點個數(shù)，但商用軟件算法耗時要遠遠高于SURF算法。若匹配點過多往往會造成數(shù)據(jù)冗余，降低運算效率，而SURF算法在耗時方面要遠遠優(yōu)于商用軟件算法，這有助于提高影像匹配的整體效率。

表1 SURF算法與某商用軟件算法比較

實際應(yīng)用中并非匹配點對越多越好，匹配點對過多反而會降低運算效率，為此對匹配點對進行優(yōu)化，從中尋找出最優(yōu)的匹配點對，為計算精確的空間變化模型參數(shù)提供依據(jù)，降低數(shù)據(jù)冗余，提高運算效率。圖9為經(jīng)過匹配點對尋優(yōu)后的精確匹配效果圖，可以直觀地看出，匹配點對位置清晰準確，無錯誤匹配點對，無數(shù)據(jù)冗余。

表2為匹配點對優(yōu)化前后匹配效果對比，優(yōu)化前共檢測到匹配點對167對，匹配率為89.8%，共耗時5.836 s；優(yōu)化后共檢測到匹配點對89對，匹配率為96.2%，共耗時2.628 s?？梢钥闯?，優(yōu)化后的算法運算效率明顯優(yōu)于優(yōu)化前的算法。

表2 匹配點對優(yōu)化前后效果對比

經(jīng)過影像精確匹配之后，形成數(shù)字表面模型DSM,將紋理圖像映射到DSM模型表面，形成初始的三維模型。針對模型中缺失較為明顯的區(qū)域和目標，進行必要的幾何修復和紋理修補。區(qū)域和目標的缺失主要由以下兩個方面引起：底部植被的遮擋和水體空洞。

針對植被遮擋問題，利用數(shù)碼相機采集一定數(shù)量多角度的照片，構(gòu)建建筑物底部模型，將其與前面構(gòu)建好的三維模型進行精確拼接，最終形成完整的三維模型。

針對水體空洞問題，利用AutoCAD3DMESH軟件，對問題區(qū)域的TIN文件進行人工交互編輯，編輯完成之后將其替換，再重新進行紋理貼圖，最終改善水面空洞。

經(jīng)過以上處理之后，進一步對模型進行完善，最終構(gòu)建出三維數(shù)字模型，如圖10、圖11所示。

圖10 三維模型效果圖之一

圖11 三維模型效果圖之二

從圖10和圖11可以看出，構(gòu)建的三維模型形象逼真，細節(jié)呈現(xiàn)豐富，沒有出現(xiàn)信息缺失的現(xiàn)象。通過精確三維模型的建立，可快速實現(xiàn)目標物長、寬、高的測量，通過緩沖區(qū)的建立及通視分析，可實現(xiàn)城市道路、電力工程等基礎(chǔ)設(shè)施的科學規(guī)劃及升級改造，為數(shù)字城市提供一種科學的、精確的基礎(chǔ)數(shù)據(jù)。

5 結(jié)束語

本文采用SURF算法有效地解決了傾斜影像匹配過程中的比例尺不一致、分辨率不一致等問題，實現(xiàn)了影像間的自動精確匹配，通過某電力工程實測數(shù)據(jù)分析對比了SURF算法與商用軟件算法在匹配效率和匹配準確率兩方面的表現(xiàn)，結(jié)果表明SURF算法優(yōu)于商用軟件的算法。通過對匹配點對的優(yōu)化，進一步提高了SURF的運算效率，最后基于SURF算法和其他輔助手段實現(xiàn)了高精度的三維建模，實驗效果表明上述技術(shù)方法和思想的正確性。

[1] 劉慶元，徐柳華，沈彩蓮，等.基于無人飛行器遙感影像的數(shù)字攝影測量關(guān)鍵技術(shù)研究[J].測繪科學，2010, 35(9):28-30.

[2] 周曉敏，孟曉林，張雪萍，等.傾斜攝影測量的城市真三維模型構(gòu)建方法[J].測繪科學，2016, 41(9):159-163.

[3] 朱國強，劉勇，程鵬正.無人機傾斜攝影技術(shù)支持下的三維精細模型制作[J].測繪通報，2016(9):151-152.

[4] 李軍，李永樹，蔡國林．利用無人機影像制作地震災區(qū)三維景觀圖[J].測繪工程,2012,21(1):50-53.

[5] 曲林，馮洋，支玲美，等.基于無人機傾斜攝影數(shù)據(jù)的實景三維建模研究[J]. 測繪與空間地理信息, 2015, 38(3):38-43

[6] 譚仁春，李鵬鵬，文琳，等.無人機傾斜攝影的城市三維建模方法優(yōu)化[J]. 測繪通報, 2016(11):39-42.

[7] 孫宏偉.基于傾斜攝影測量技術(shù)的三維數(shù)字城市建模[J]. 現(xiàn)代測繪, 2014, 37(1):18-21.

[8] 楊國東，王民水 .傾斜攝影測量技術(shù)應(yīng)用及展望[J]. 測繪與空間地理信息, 2016, 39(1):13-15

[9] 丁志廣，嚴新生，陳輝光.無人機傾斜攝影用于江門市快速三維建模的探討[J]. 城市勘測, 2016(4):72-78.

[10] 李德仁，劉立坤，邵振峰.集成傾斜航空攝影測量和地面移動測量技術(shù)的城市環(huán)境監(jiān)測[J]. 武漢大學學報(信息科學版), 2015, 40(4):427-435.

[11] BAY H,TUYTELAARS T,VAN G L.SURF:Speeded Up robust features[C].In ECCV,2006.

[12] BAY H,FASEL B,VAN G L.Interactive museum guide:fast and robust recognition of museum objects[C].Processings of the First International Workshop on Moblie Vision,2006.

[13] BAY H, TUYELAARS T,VAN G L.Speeded-Up Robust Features(SURF)[C].Computer Vision and Image Understanding,2008,110.

[14] 高放，陸頻頻，王旭.基于相似特征點集的SIFT匹配改進算法[J].測繪工程，2016,25(6):19-23.

[15] 胡小青，程鵬根，陳曉勇，等.基于領(lǐng)域投票和Harris-SIFT特征的低空遙感影像匹配. [J]. 測繪工程, 2016, 25(2): 33-37.

[責任編輯：張德福]

Research on 3D modeling based on SURF for oblique photogrammetric technique

MING Guohui1,WEI Minzheng2

(1.Fujian Electric Power Survey & Design Institute, Fuzhou 350003，China;2.Fujian Geologic Surveying and Mapping Institute, Fuzhou 350011，China)

This paper introduces the features of the oblique photogrammetric, proposes an automatic approach of image matching based on SURF to provide a set of matched points, and finally achieves a 3D modeling with high precision geographic information. The result shows the method is reliable and suitable for 3D modeling which can provide an accurate base data for power infrastructure construction.

UAV；oblique photography measurement；image registration；SURF；3D modeling

2017-02-20

國家專項資助項目(KLMMR-2016-A-13)

明國輝(1976-)，男，高級工程師.

著錄：明國輝，委民正.SURF算法在無人機傾斜攝影測量三維建模中的應(yīng)用研究[J].測繪工程，2017，26(9)：41-45.

10.19349/j.cnki.issn1006-7949.2017.09.009

P23

A

1006-7949(2017)09-0041-05