武警工程大學信息工程系 劉 睿

基于無人機圖像序列的三維重建方法綜述

武警工程大學信息工程系 劉 睿

無人機作為新興的科技裝備，在軍用和民用領域均得到了廣泛的應用。簡要介紹了運用無人機獲取的圖像序列完成具體地形三維重建的關鍵技術，對主要實現(xiàn)方法進行了綜述。

無人機；圖像序列；三維重建

1.引言

近年來，隨著無人機技術的發(fā)展，依托無人機完成目標地區(qū)的三維重建逐漸成為無人機應用領域的新方向。一方面，與傳統(tǒng)的攝影測量相比，該技術將無人機與計算機視覺緊密結(jié)合，具有獲取信息方便高效，建模精度可靠的優(yōu)點，能夠較好的完成地形測繪工作[1]；另一方面，隨著計算機圖形學、虛擬現(xiàn)實和多媒體通信等技術的不斷發(fā)展，人們對具有高度真實感的三維模型的需求與日俱增，三維重建對于當前炙手可熱的虛擬現(xiàn)實技術有著重要意義，是未來發(fā)展的一大趨勢[2]。

基于無人機圖像序列的三維重建具體涉及相機成像原理、圖像處理、點云生成、點云封裝以及紋理映射等多個領域，其一般步驟如圖1所示：

圖1　無人機三維重建方法及應用示意圖

2.數(shù)據(jù)獲取

無人機的圖像獲取主要通過機載云臺實現(xiàn)，云臺的安裝可以在最大程度上保證拍攝數(shù)據(jù)的穩(wěn)定性，減少由于飛行過程中機身抖動而產(chǎn)生的噪聲。其中按照獲取數(shù)據(jù)類型主要可以分為視頻數(shù)據(jù)和圖像數(shù)據(jù)，以大疆經(jīng)緯M100所搭載的Z3云臺為例，視頻數(shù)據(jù)最大支持4K清晰度mov格式視頻的拍攝，圖像清晰度也可達到2160P[3]。按照獲取數(shù)據(jù)方式主要可以分為程序獲取和手動獲取，程序獲取通過終端程序按照飛行區(qū)域自動規(guī)劃航跡，設定滿足三維重建的最大拍攝間隔，收集需要數(shù)據(jù)，手動獲取則通過人眼觀測，實時選擇要拍攝的圖片，或直接從拍攝的視頻中截取需要的圖片，自動獲取的優(yōu)點在于效率較高，不存在信息冗余，手動獲取則難以把握需要的數(shù)據(jù)量，甚至出現(xiàn)信息無法滿足三維重建需要的情況。

3.圖像處理

圖像處理技術包括圖像預處理和圖像特征點的識別配準兩個部分。

圖像預處理首先通過簡單的去噪算法完成無人機圖像的去噪，提升圖像質(zhì)量，減少由于室外光照強烈，機身抖動劇烈而產(chǎn)生的照片失真、模糊的現(xiàn)象。其次，通過畸變參數(shù)矯正，消除相機畸變對圖像產(chǎn)生的影響。由于每一部相機在出廠時由于凸透鏡成像原理產(chǎn)生徑向畸變，由于工業(yè)誤差產(chǎn)生切向畸變，這就造成了無人機拍攝大場景圖像時，邊緣部分形變依據(jù)相機的不同而不同，因此，通過對相機內(nèi)參數(shù)（光心位置、畸變系數(shù)、焦距）的測量完成圖像的畸變矯正可以有效提升建模精度。

圖像特征點的識別配準簡單來說就是通過特定的圖像配準算法，對選定圖像序列中的每一張圖像進行特征點的識別，將圖像中具有特殊意義或特殊參數(shù)的點標記出來，生成唯一描述符，將圖像序列中圖像進行兩兩匹配，匹配過程為對兩張圖像上所有點描述符做出判定，找出意義相同的點。目前主要的圖像配準算法有SIFT、FAST、SURF等，由于無人機拍攝圖像涉及到旋轉(zhuǎn)、尺度、光照等一系列變化，這就對算法的魯棒性和不變性（旋轉(zhuǎn)不變性、尺度不變性、光照不變性）提出了較高要求，按照使用場景，選擇合適的圖像處理算法可以極大的提高建模速度和效果。

4.深度估計

完成特征點的匹配后，通過標定的特征點生成點云數(shù)據(jù)。

在三維重建中，主要完成以下五個坐標系的轉(zhuǎn)換，分別是世界坐標系、飛機坐標系、鏡頭坐標系、圖像坐標系和像素坐標系。生成點云數(shù)據(jù)的原理就是通過 坐標變換將特征點的像素坐標系轉(zhuǎn)化為世界坐標系。其中，相機坐標系、世界坐標系和圖像坐標系關系如圖2所示：

圖2　相機坐標系、世界坐標及和圖像坐標系的關系

一般的可以通過三角測量法由特征點的對應關系求得基礎矩陣F和本征矩陣E，從而求得相機的旋轉(zhuǎn)矩陣R和平移向量t，從而計算出相機的投影矩陣P。將之前所匹配的特征點依次帶入方程，利用最小二乘法計算出每一個特征點的坐標。根據(jù)其坐標信息完成對目標地物點云信息的構(gòu)建。

5.網(wǎng)格重建與紋理映射

網(wǎng)格重建作為點云三維重建的關鍵步驟，主要通過網(wǎng)格重建算法將點云數(shù)據(jù)封裝，生成網(wǎng)格模型。主要方法有：基于Delaunay剖分的重建、基于區(qū)域擴張的重建、基于統(tǒng)計學原理的重建。其中基于Delaunay剖分的重建好處在于當數(shù)據(jù)樣本較大且質(zhì)量較好時可以獲得理想的重建模型，如果數(shù)據(jù)噪聲較多，則難以完成?；趨^(qū)域擴張的重建運算效率較高，但重建模型均為三角面片，對于高精度要求的模型難以勝任。基于統(tǒng)計學原理的重建，主要通過深度學習的方法完成，該方法是近年來研究的重點，可以獲得較好重建效果。

紋理映射主要是將物體固有的紋理信息投影到網(wǎng)格重建的模型上，使模型具有較好的虛擬現(xiàn)實效果。根據(jù)網(wǎng)格重建的方法不同，一般的選取不同的紋理映射方式。

6.結(jié)論

三維重建作為無人機應用的新興領域，目前還面臨著許多問題：一方面，當前的圖像配準算法均難以在短時間內(nèi)完成圖像的處理并輸出處理結(jié)果，三維重建的實時性得不到保證，這限制了了三維重建在包括無人機自主飛行、實時避障等眾多領域的應用效果；另一方面，易于普及的微小型無人機搭載重量有限，飛行范圍和飛行時間難以保證對大范圍區(qū)域完成重建工作。

本文簡要對基于無人機圖像序列完成三維重建的一般流程做出介紹，分析了重建過程中的關鍵技術及優(yōu)缺點。可以預見，隨著計算機視覺技術和無人機技術的發(fā)展，未來依托于無人機的三維重建將具有廣闊的應用前景。

[1]包琦.無人機發(fā)展現(xiàn)狀及相關技術[J].工程技術:文摘版,2016(4): 00236-00236.

[2]劉鋼,彭群生,鮑虎軍.基于多幅圖像的場景交互建模系統(tǒng)[J].計算機輔助設計與圖形學學報,2004,16(10):1419-1424.

[3]佚名.DJI大疆創(chuàng)瓤推出變焦云臺相機禪思ZenmuseZ3[J].數(shù)碼影像時代,2016(7).

劉睿（1991—），山西太原人，碩士，現(xiàn)就讀于武警工程大學。