陳銳 陳志 張佳煜 鄭博文

摘 要：以無人機代替衛(wèi)星遙感實現(xiàn)三維重建技術(shù)的影像拼接是一種成本低、靈活度高的實現(xiàn)方式。室外無人機影像拼接通常存在深度相機對環(huán)境光照條件十分敏感等問題，以運動恢復(fù)結(jié)構(gòu)（SFM）和多視角立體（MVS）技術(shù)結(jié)合構(gòu)建拍攝區(qū)域的密集點云，再通過密集點云實現(xiàn)影像拼接的方法能夠解決上述問題，但存在計算量較大和實時性較差的缺點。采用SURF特征描述子和最近鄰匹配方法降低計算量，優(yōu)化算法實時性能，同時提出一種增量式SFM流程中最優(yōu)圖像添加策略，提高光束平差法效率，并降低誤差。實驗結(jié)果表明，該方法能夠在較短時間內(nèi)獲得較高精度的拼接影像，具有良好實時性。

關(guān)鍵詞：三維重建;無人機圖像拼接;運動恢復(fù)結(jié)構(gòu);多視角立體;算法優(yōu)化

DOI：10. 11907/rjdk. 201473 開放科學(xué)（資源服務(wù)）標識碼（OSID）：

中圖分類號：TP317.4 文獻標識碼：A 文章編號：1672-7800（2020）007-0219-04

Rapid Image Splice Based on Optimized 3D Reconstruction Technique

CHEN Rui1， CHEN Zhi2， ZHANG Jia-yu3， ZHENG Bo-wen1

（1. Bell Honors School， Nanjing University of Posts and Telecommunications;2. College of Computer， Nanjing University of Posts and Telecommunications;3. College of Overseas Education， Nanjing University of Posts and Telecommunications， Nanjing 210003，China）

Abstract： Replacing satellite remote sensing with drones to realize the image stitching of 3D reconstruction technology is a kind of implementation with low cost and high flexibility. The technology of image stitching with drones in outdoor areas usually has the problem that the depth camera is very sensitive to ambient lighting conditions. This problem can be solved by using Structure from Motion （SFM） and multi-view stereo （MVS） to construct dense point clouds in the shooting area and using the dense point clouds to realize image stitching. Nevertheless， it has drawbacks of large calculations and poor real-time performances. The method of SURF feature descriptor and nearest neighbor matching is used to reduce the computation and optimize the real-time performance of the algorithm. At the same time， an optimal image addition strategy in the process of incremental SFM is proposed， which improves the efficiency of the bundle adjustment method and reduces the possibility of errors. Results of the experiments show that the method proposed in this paper can obtain high-precision stitched images in a short time， and has good real-time performance.

Key Words： 3D reconstruction; rapid image splice; structure from motion; multi-view stereo; algorithm optimization

0 引言

傳統(tǒng)載人航空遙感技術(shù)和衛(wèi)星遙感都受限于天氣和時間等因素，無法及時獲得遙感信息，文獻[1]指出無人機具有成本低、靈活性高、風(fēng)險低等優(yōu)點，可以很好地彌補其在對地觀測精度、時效和頻度上的不足。如何快速實現(xiàn)無人機影像的校正、拼接、融合、分析是無人機領(lǐng)域發(fā)展的方向。常規(guī)無人機影像拼接方法利用數(shù)字高程模型對影像進行正射校正，再根據(jù)影像地理信息完成拼接[2]，并通過多項式擬合參考影像與待配準影像之間的幾何變換關(guān)系[3]。這兩種方法都需要人工干預(yù)，且前者需要布設(shè)高精度控制點，后者需要輔助影像，都不適用于實時性要求較高的領(lǐng)域。目前，有學(xué)者[4]將基于圖像的三維重建技術(shù)用于全自動重建拍攝區(qū)域，在更短時間內(nèi)獲得精度不低于前兩種方法的拼接影像。

目前，基于圖像的三維重建技術(shù)包括：①基于單幅圖像的幾何投影和深度學(xué)習(xí)進行三維重建[5]，其受圖像中幾何和光照條件影響較大，不適合在大型戶外場景中使用，一般多用于單個物體的三維重建過程[6];②基于RGB-D深度相機的同時定位和映射（SLAM）、運動恢復(fù)結(jié)構(gòu)（Structure From Motion，SFM）[7]和多視角立體（Multi-view Stereo，MVS）算法[8]，如ORB-SLAM2[9]，可以在短時間內(nèi)以較高精度重建受光照影響不大的室內(nèi)場景，由于深度相機本身對于環(huán)境光照非常敏感，這種方法不適用于戶外無人機航拍。

本文著重分析基于多幅圖像的SFM技術(shù)重建拍攝區(qū)域的稀疏點云，通過MVS技術(shù)構(gòu)建密集點云并實現(xiàn)影像拼接。分析此方法缺點，并提出合適的改進方案。

1 基于三維重建的影像拼接流程

基于三維重建的影像拼接流程如圖1所示。

由于單通道可反映影像姿態(tài)參數(shù)，本文提取輸入圖像的灰度圖作為SFM的輸入，通過單通道影像的姿態(tài)、幾何信息恢復(fù)出拍攝地區(qū)的結(jié)構(gòu)后，再利用這些結(jié)構(gòu)信息拼接多通道的彩色圖像。

在SFM流程中，首先對每幅圖片提取圖像特征，由于拍攝區(qū)域的復(fù)雜性，要求使用魯棒性較強的描述子。緊接著，通過匹配兩幅圖片的特征點，找到特征點匹配個數(shù)達到要求的圖像對。為了降低誤匹配率，需要用幾何約束[10]加以檢測，再通過RANSAC[11]（隨機抽樣一致性）算法進行濾波。由于無人機圖像數(shù)據(jù)的無序性，需要所有圖像兩兩匹配，最后將多幅圖像中出現(xiàn)的匹配點連接起來，形成運動軌跡。有了運動軌跡，即三維空間中的點在不同視角下的二維投影位置，就可以恢復(fù)出三維結(jié)構(gòu)。由于存在噪聲，可以采用光束平差法[12]（Bundle Adjustment）消除投影誤差。最終輸出重建的三維稀疏點云。

MVS算法用于將稀疏點云細化，產(chǎn)生密集重構(gòu)。通過SFM輸出每個圖像的相機參數(shù)，在二維特征上未正確檢測區(qū)域上計算三維頂點或進行匹配。通過MVS產(chǎn)生的三維密集點云，可以生成多邊形網(wǎng)格表面，并通過后續(xù)紋理處理，最終實現(xiàn)影像拼接。

2 問題分析

SFM+MVS的三維重建方法可以不借助其它輔助條件，較高精度地重建出拍攝地區(qū)的三維圖像。但其本身還存在一定缺點，主要表現(xiàn)在如下方面：

（1）圖像特征提取能力。SIFT（尺度不變特征變換）[13]是一種對旋轉(zhuǎn)、尺度縮放、亮度變化等均保持良好不變性的特征描述子。但是，SIFT算子的特征向量高達128維，其計算復(fù)雜度很高。同時，SIFT算子對于邊緣光滑目標的特征點提取能力較弱[14]。目前，有學(xué)者[15]提出通過GPU對SIFT特征點的提取算法進行加速。但是這種方法不僅需付出較大硬件成本，還需要專用圖像處理器配合。

（2）數(shù)據(jù)特征匹配效率。在處理大區(qū)域無人機影像序列問題中，影像之間的相互位置關(guān)系未知，每一對影像都需要兩兩匹配。由于特征向量的高維特點，采用暴力匹配策略往往效率不高。

（3）光速平差法初值及下一個最佳視圖選擇。光束平差法是一個高維非線性優(yōu)化問題，往往采用迭代方法求解，因此需要一個合適的初值。一旦被賦予錯誤初值，將會陷入局部最優(yōu)。同時，在初值選定后，圖像添加順序也十分重要，選擇的差錯會帶來巨大的時間代價，并導(dǎo)致迭代無法收斂。

3 優(yōu)化方法

3.1 圖像特征點提取高效性優(yōu)化

鑒于SIFT具有維數(shù)高、計算復(fù)雜度高等特點，本文采用SURF代替SIFT。SURF（Speeded Up Robust Features）[16]是對SIFT的一種改進算法，不僅保留了SIFT特征描述子在旋轉(zhuǎn)、尺度縮放、亮度變換等方面的不變特性，其特征向量也降低至64維，使得其計算速度大大提高。對比其它特征描述子，如BRISK[17]、ORB、FREAK，SURF在無人機圖像處理中具有更好的魯棒性[18]。

3.2 圖像特征匹配高效性優(yōu)化

為了解決暴力特征匹配效率不理想的缺點，本文采用一種最近鄰搜索[19]方式。

用[F（I）]表示圖像[I]上的特征點，對于每一個圖像[I]和[J]，考慮其每一個特征[f∈F（I）]，需要找到最近鄰特征[fnn∈F（J）]。

其中，采用歐式距離，當(dāng)最近鄰與次近鄰距離之比小于一個閾值時，可以判定其為可接受的匹配對，閾值一般取經(jīng)驗值0.6。這種方案會導(dǎo)致特征點中存在較多誤匹配，可以通過兩種約束條件進行剔除。

（1）圖像[I]中的特征點在圖像[J]中至多匹配一個特征點，需滿足一一對應(yīng)條件。

（2）計算對極幾何后滿足幾何約束，即：

其中[，E]為本質(zhì)矩陣，僅依賴于兩張圖像之間的相對位姿，[pl]與[pr]分別是左像點和右像點。

3.3 光束平差法初始值選定及下一最佳視圖選擇優(yōu)化

光束平差法是為了減少在增量式SFM[20]過程中的誤差積累。在理想情況下，一個物體在不同視角下應(yīng)對應(yīng)相同的點，但是在三維重建實際過程中，可能會產(chǎn)生錯誤匹配。

描述攝像機的外參數(shù)為[3*3]的旋轉(zhuǎn)矩陣[R]和[1*3]的平移向量（或者攝像機中心坐標向量），攝像機的內(nèi)參數(shù)用一個焦距[f]和兩個徑向畸變參數(shù)[k1]、[k2]描述。幾何場景提供軌跡中的每個3D點[Xj]，通過投影方程，一個3D點[Xj]被投影到攝像機的2D圖像平面上。投影誤差就是投影點和圖像上真實點之間的距離，如圖2所示。

對于[n]個視角和[m]個軌跡，投影誤差的目標優(yōu)化方程可以寫為：

當(dāng)相機[i]觀察到軌跡[j]時，[wij]取1，否則取0，由于場景中特征點較多，這是一個巨大的高維非線性優(yōu)化問題。目前，常采用LM算法解決這類非線性最小二乘問題。

通過迭代方法求解時需要給算法賦予合適初始值。有兩點要求：一是足夠多的匹配點，二是足夠遠的相機中心。為了尋找合適的初始圖像對，在特征匹配階段，可以采用RANSAC算法四點法計算單應(yīng)矩陣，滿足單應(yīng)矩陣的匹配點稱為內(nèi)點，不滿足單應(yīng)矩陣的稱為外點，滿足擁有足夠匹配內(nèi)點數(shù)量，同時內(nèi)點占比最小的像對就是初始化像對，一般閾值為多于100個匹配內(nèi)點。在初始化完成后，如何選擇圖像添加順序也是一個重要問題。錯誤的決定可能導(dǎo)致相機配準錯誤和點云生成錯誤，因此視圖選擇會極大影響姿態(tài)估計質(zhì)量和三維點云的完整性和準確性。本文選用一個未被添加且能觀測到最多三維點的視圖作為下一個最佳視圖，可有效提升無人機影像無序情況下的點云生成準確性。