白皓 祝文強 楊帥 張海龍

第一作者簡介：白皓（1982-），男，碩士，高級工程師。研究方向為攝影測量與遙感。

DOI：10.19981/j.CN23-1581/G3.2024.13.013

摘? 要：利用無人機通過視覺三維重建處理是進(jìn)行地形表面重建的重要手段，具有響應(yīng)快速、精度較高、適應(yīng)性強的優(yōu)點。由于城區(qū)與山區(qū)地面三維特性不同，利用無人機影像重建在精度和覆蓋度上也有所不同。為探究無人機影像三維重建在地面典型城區(qū)與山區(qū)區(qū)域的不同，該文在利用無人機影像進(jìn)行三維重建的基礎(chǔ)上，對城區(qū)與山區(qū)重建結(jié)果的精度和覆蓋率進(jìn)行統(tǒng)計，分析不同區(qū)域下的重建質(zhì)量，為后續(xù)無人機在不同區(qū)域的重建任務(wù)提供參考。

關(guān)鍵詞：無人機影像；三維重建；DSM重建；城區(qū)與山區(qū)；精度分析

中圖分類號：TP79? ? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ? ? ? 文章編號：2095-2945（2024）13-0052-04

Abstract： The use of UAV through visual 3D reconstruction is an important means of terrain surface reconstruction， which has the advantages of fast response， high accuracy and strong adaptability. Due to the difference of three-dimensional characteristics between urban areas and mountainous areas， UAV image reconstruction is also different in accuracy and coverage. In order to explore the difference of UAV image 3D reconstruction in typical urban areas and mountain areas， on the basis of using UAV images for 3D reconstruction， this paper makes statistics on the accuracy and coverage of urban and mountain reconstruction results. The reconstruction quality in different areas is analyzed in order to provide reference for subsequent UAV reconstruction tasks in different areas.

Keywords： UAV image; 3D reconstruction; DSM reconstruction; urban and mountainous areas; accuracy analysis

無人機（Unmanned Aerial Vehicle，UAV）具有機動性強、操作簡便、成本低及數(shù)據(jù)獲取周期短等優(yōu)點，已成為當(dāng)前影像獲取及三維重建的主要技術(shù)手段。目前，無人機航拍廣泛用于城市規(guī)劃、文物保護(hù)、軍事偵察、自然資源調(diào)查、災(zāi)害監(jiān)測及國防安全等領(lǐng)域，有著廣泛的市場需求[1]。無人機獲得的影像具有分辨率高、紋理豐富等優(yōu)點，可以滿足智慧城市、國土測繪等對影像精度的要求[2]。

由于無人機測圖與重建面向了多種類不同的場景，如城市與山區(qū)。區(qū)域地面紋理特性有明顯差異，影響了地面三維重建的精度與質(zhì)量。因此探討無人機影像三維重建在不同區(qū)域的特性對應(yīng)無人機測圖應(yīng)用有著重要作用。目前，已有部分針對無人機測圖的精度研究[3-5]，但面向應(yīng)用場景的分析與對比研究還較少。

本文基于對無人機在不同區(qū)域的重建結(jié)果，從重建結(jié)果的精度、覆蓋度等指標(biāo)出發(fā)，對比分析了相同作業(yè)模式下無人機重建的質(zhì)量，并給出了重建實施時的作業(yè)建議。

1? 無人機影像地面重建方法

1.1? 基本原理與流程

利用無人機影像進(jìn)行地面重建主要基于多視圖幾何三維重建原理。在對相機進(jìn)行系統(tǒng)標(biāo)定的基礎(chǔ)上，通過多視圖特征提取匹配、光束法平差、圖像密集匹配、點云生成與濾波、地面表面網(wǎng)格構(gòu)建及紋理映射等基礎(chǔ)步驟，總體流程如圖1所示。

1.2? 關(guān)鍵技術(shù)

利用無人機影像進(jìn)行地面重建的關(guān)鍵技術(shù)包括圖像特征提取與匹配、光束法平差及密集匹配。其中，圖像特征提取與匹配是建立無人機影像間關(guān)聯(lián)的關(guān)鍵；光束法平差是基于無人機影像恢復(fù)空間三維結(jié)構(gòu)的基礎(chǔ)，也是重建三維精度的關(guān)鍵與保障；密集匹配則直接影響三維表面重建的完整度和模型質(zhì)量。

圖1? 無人機影像地形表面模型重建流程圖

1.2.1? 無人機影像特征提取與匹配

無人機影像受飛行姿態(tài)、位置高度及傳感器安置姿態(tài)等影響，影像間存在縮放、旋轉(zhuǎn)等變形。應(yīng)用中通常采用SIFT算法進(jìn)行特征算子提取。SIFT（Scale Invariant Feature Transform）算子特征匹配方法是一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的匹配算法。SIFT算法首先在尺度空間內(nèi)進(jìn)行特征檢測，并確定關(guān)鍵點的位置和關(guān)鍵點所處的尺度，然后用關(guān)鍵點鄰域梯度的主方向作為該點的方向特征，以實現(xiàn)算子對尺度和方向的無關(guān)性。該算法匹配能力較強，能提取穩(wěn)定特征，可以處理2幅圖像之間發(fā)生平移、旋轉(zhuǎn)、仿射變換、視角變換和光照變換下的匹配問題，甚至在某種程度上對任意角度拍攝的圖像也具備穩(wěn)定的特征匹配能力，從而實現(xiàn)差異較大的2幅圖像之間的匹配。

對于一些極端情況，如飛行姿態(tài)變化劇烈等情況，影像間變形十分明顯，則可采用Affine-SIFT匹配方法進(jìn)行匹配無人機影像。Affine-SIFT方法是一種具備完全仿射不變特征的特征提取與匹配算法。該算法是在SIFT算法的基礎(chǔ)上改進(jìn)而來的。Affine-SIFT中通過模擬攝像機的光軸旋轉(zhuǎn)對圖像進(jìn)行預(yù)處理，模擬圖像的傾斜變化，實現(xiàn)完全意義上的仿射不變。Affine-SIFT中引入傾斜角變化量來描述相機視點的傾斜角，如圖2所示。

圖2? Affine-SIFT相機仿射映射模型

圖2中，u為影像；？茲和？準(zhǔn)分別為攝像機緯度和經(jīng)度；？鬃為相機繞光軸的旋轉(zhuǎn)角。因而，由于相機變換造成圖像坐標(biāo)偏移可以通過下式計算

u（x，y）→u（ax+by+e，cx+dy+f），

式中：A=a? bc? d，可分解為

式中：A=？姿R（？鬃）TtR（？準(zhǔn)），當(dāng)？姿大于0時，？姿t為矩陣A的特征值，？準(zhǔn)∈[0，180°）；R（？鬃）為平面旋轉(zhuǎn)？鬃角度的旋轉(zhuǎn)矩陣；Tt為傾斜角；？準(zhǔn)為相機的視點角度，？姿為相機向前或向后移動造成的焦距變化；t cos？茲=1。

Affine-SIFT算法在匹配時通過改變攝像機的？茲和？準(zhǔn)進(jìn)行圖像二次采樣，模擬圖像傾斜狀況下的圖像扭曲。對于維度？茲的采用以等比數(shù)列進(jìn)行，為t=1，a，a2，…，an。一般確定a=■，n取到5以上。故

？準(zhǔn)=arccos（1/t）。

對于經(jīng)度？準(zhǔn)則可以取0，b/t，2b/t，…，kb/t，其中，b根據(jù)經(jīng)驗取72°，且kb/t<180°。依上述經(jīng)緯度進(jìn)行采用后，對2圖像進(jìn)行SIFT匹配。

1.2.2? 光束法平差

基于上述特征匹配得到的影像間匹配點，構(gòu)成影像區(qū)域網(wǎng)，在網(wǎng)中運用光束法平差計算求解網(wǎng)中每張影像的外方位元素，使得由像主點、像點及對應(yīng)物方點構(gòu)成的“光束”最佳的交會，從而求解出影像最佳外方位。

光束法平差模型是基于共線方程的基礎(chǔ)上建立的

式中：（XP，YP，ZP）為地面坐標(biāo)；（xp，yp）為像點坐標(biāo)；（XO，YO，ZO）為像主點的地面坐標(biāo)；f為相機的焦距；mij為根據(jù)3個角度（？棕，？漬，？資）得到的旋轉(zhuǎn)矩陣；（XO，YO，ZO，？棕，？漬，？資）是外方位元素。

使用精確匹配的特征點的像點坐標(biāo)為觀測值建立誤差方程并線性化，可得

式中：vx，vy為像點誤差；a11，a12，…，a26為誤差方程系數(shù)；？駐？棕，？駐？漬，？駐？資及？駐XO，？駐YO，？駐ZO分別為外方位角元素和線元素改正值；？駐X，？駐Y，？駐Z為特征點對應(yīng)物方點三維坐標(biāo)的改正值；lx、ly為觀測值與投影值之差。

1.2.3? 密集匹配

通過無人機影像密集匹配獲取三維表面密集點云是構(gòu)建三維表面模型的數(shù)據(jù)基礎(chǔ)。半全局匹配（Semi-Global Matching，SGM）方法是進(jìn)行無人機影像密集匹配的關(guān)鍵方法。半全局匹配是一種兼顧局部匹配速度及全局約束的密集匹配方法，通過在核線圖像上構(gòu)建全局代價函數(shù)，求解函數(shù)最小代價下的最優(yōu)解。

相應(yīng)的代價函數(shù)為

E（D）=■（CMI（p，dp）+■P1T[|dp-dq|]=1）]+■P2T

[|dp-dq|>1]），

式中：D為視差圖；E（D）為能量函數(shù)；p為圖像上某個像點；Np為相鄰像素鄰域；CMI為互信息代價函數(shù)；P1為懲罰系數(shù)1，用于像素p相鄰像素中視差值與p視差值相差1的像點；P2為懲罰系數(shù)2，用于像素p相鄰像素中視差值與p視差值相差大于1的像點；T為函數(shù)，若判別條件為真則值為1，否則返回0。SGBM方法分為視差匹配代價計算、代價聚合及視差計算。

首先，視差匹配代價的計算是在核線立體圖像沿著某方向的一維空間進(jìn)行視差空間的代價計算，即在給定搜索范圍內(nèi)求得不同視差下的匹配代價。本方法中，采用互信息作為匹配代價進(jìn)行，如下式

CMI（p，d）=-mi■（Ibp，Imq），

其中，

mi■（i，k）=h■（i）+h■（k）-h■（i，k）h■（i）

=-■log（P■（i）？茚g（i））？茚g（i），

h■（i，k）=-■log（P■（i，k）？茚g（i，k））？茚g（i，k），

式中：mi■為基于信息熵給出的影像互信息；Ibp為參考影像像素p的灰度值；Imq為匹配影像中與p對應(yīng)像素q=ebm（p，d）的灰度值，ebm（p，d）為待匹配影像中p所對應(yīng)的核線，d為視差；PI，P■分別為待匹配影像灰度概率分布及聯(lián)合概率分布，可通過灰度直方圖求出；？茚g（i，k）為高斯卷積；n為影像總像素。采用互信息作為代價測度可以有效避免光照變化帶來的干擾，具有較強的穩(wěn)健性。

其次，代價聚合。SGM方法同全局匹配方法的不同點在于利用多個方向的代價計算，以近似全局的方式確定該點的匹配代價，從而提高匹配效率。SGM中，以8、16等若干條不同方向一維路徑為總代價聚合路徑，如圖3所示。

圖3? 代價聚合

圖像中每個像點的代價函數(shù)是各個方向代價的總和，如

S（p，d）=■Lr（p，d），

其中，每一個方向的代價為

Lr（p，d）=C（p，d）+minLr（p-r，d）Lr（p-r，d-1）+P1Lr（p-r，d+1）+P1■Lr（p-r，i）+P2-minLr（p-r，k），

式中：Lr（p，d）表示p點在視差為d且為r方向掃描時的代價；P1、P2為懲罰系數(shù)。該代價計算是引入動態(tài)規(guī)劃針對E（D）最小值求解而得到的形式。

最后，視差計算。在代價聚合中，圖像每個像素點在視差空間均可計算得到代價集合，因此，在集合中尋找代價最小的視差作為該點的視差匹配結(jié)果，即

DL（P）=arg mindS（p，d）。

通過以上公式得到的代價最小的視差是整數(shù)級的，由于真實視差是連續(xù)的，需要通過拋物線擬合得到亞像素精度的視差結(jié)果。拋物線擬合原理是由相鄰的整數(shù)視差結(jié)果擬合拋物線，亞像素精度的視差結(jié)果是拋物線的最低點，可用下式計算得到

dsub=d+■，

式中：C（d）為視差d下的代價值。

2? 無人機重建對比試驗

為對比無人機重建結(jié)果的質(zhì)量，本文在城市、山區(qū)選取了典型區(qū)域進(jìn)行三維重建試驗。基于重建結(jié)果，統(tǒng)計了重建結(jié)果的完整度，并在區(qū)域內(nèi)選取相應(yīng)控制點驗證重建精度。為考慮常規(guī)無人機飛行任務(wù)特點，試驗中無人機均配置單相機且以向下視角獲取地面影像。

2.1? 城區(qū)重建試驗

城區(qū)試驗區(qū)選取在武漢江漢路區(qū)域，該區(qū)域有廣場、建筑物、電力線和主干道路等地物，具備典型城區(qū)地物特征。試驗時，利用大疆精靈4無人機沿主干道獲取了189張影像，利用這些影像得到了區(qū)域三維模型。

2.2? 山區(qū)重建試驗

山區(qū)試驗區(qū)選取在河北遷西，該區(qū)域有山坡、植被等地物，具備典型山區(qū)地物特征。試驗時，利用大疆精靈4無人機沿山坡獲取了146張影像，利用這些影像得到了區(qū)域三維模型。

2.3? 對比與分析

為對比城區(qū)和山區(qū)無人機重建結(jié)果的質(zhì)量，本文從重建模型完整度與位置精度2方面進(jìn)行評價。重建模型完整度指的是模型中除去空洞外的有效面積同模型網(wǎng)格總面積的比值

C=■×100%。

經(jīng)統(tǒng)計2個試驗區(qū)完整度見表1。

表1? 試驗區(qū)重建模型完整度統(tǒng)計結(jié)果

為進(jìn)行重建結(jié)果的精度分析，本文在2個試驗區(qū)各選擇了4個控制點進(jìn)行精度評價，相應(yīng)誤差結(jié)果見表2和表3。

表2? 城區(qū)重建模型精度統(tǒng)計結(jié)果

表3? 山區(qū)重建模型精度統(tǒng)計結(jié)果

由上述對比分析結(jié)果可知，完整度方面，山區(qū)結(jié)果優(yōu)于城區(qū)，主要是因為城區(qū)高大建筑較多，遮擋相對嚴(yán)重，建議采用傾斜攝影方式擴大成像覆蓋度；精度方面，城區(qū)三維重建總體精度優(yōu)于山區(qū)三維重建精度。對于城區(qū)而言，平坦地面等重建精度比房屋等地物在平面和高程上精度高，主要是由于地物受匹配質(zhì)量影響，導(dǎo)致邊緣處誤差變大；對于山區(qū)而言，裸地、道路坡道平緩、精度較高，在其他地方如邊坡受地形影響、灌木叢受匹配精度影響，故精度較差。

總的來說，對于無人機影像三維重建來說，其質(zhì)量受無人機采集模式、地表幾何變化及紋理條件共同影響，需針對任務(wù)進(jìn)行整體重建作業(yè)規(guī)劃。

3? 結(jié)論

本文針對無人機影像三維重建在城區(qū)和山區(qū)應(yīng)用場景，重點從構(gòu)建模型的完整度及精度出發(fā)，以典型城區(qū)與山區(qū)試驗為基礎(chǔ)，分析了無人機三維重建在城區(qū)與山區(qū)的特點。通過本文研究可為無人機在城區(qū)與山區(qū)的作業(yè)提供參考。

參考文獻(xiàn)：

[1] 謝榛.基于無人機航拍圖像的室外場景三維重建技術(shù)研究[D].杭州：浙江工業(yè)大學(xué)，2014.

[2] 蔡高劍.基于無人機航拍的三維重建技術(shù)研究[D].西安：長安大學(xué)，2017.

[3] 何軍利.無人飛艇平臺航測1∶500成圖生產(chǎn)工藝研究[J].遙感信息，2014，29（5）：101-105.

[4] 張萬強，趙俊三，唐敏.無人機影像構(gòu)建三維地形研究[J].測繪工程，2014，23（3）：36-41.

[5] 王志豪，劉萍.無人機航攝系統(tǒng)大比例尺測圖試驗分析[J].測繪通報，2011（7）：18-20.