張彥雯 胡凱 王鵬盛

0 引言

三維重建指對三維物體建立適合計算機表示和處理的數(shù)學模型,經(jīng)過十多年的發(fā)展,已經(jīng)取得了巨大的成就．隨著科學技術(shù)的發(fā)展,利用計算機構(gòu)建出真實景物的三維模型,已經(jīng)成為很多領(lǐng)域開始深層研究之前必不可少的一部分．如在醫(yī)學治療中,利用三維CT圖像判斷病情;在文物保護中,將文物進行三維復原,供游客參觀．除此之外,在游戲開發(fā)、工業(yè)設(shè)計、航天航海等諸多領(lǐng)域,三維重建發(fā)揮著不可或缺的作用．目前,研究者們主要通過三種方式來獲取三維模型:一是直接根據(jù)傳統(tǒng)的幾何建模技術(shù);二是基于多幅不同角度拍攝的圖像,運用計算機視覺理論進行三維建模,該方式為基于圖像的三維重建;三是利用三維掃描設(shè)備對目標進行掃描,然后重建目標的三維模型,該方式為基于點云的三維重建．在上述三種方法中,傳統(tǒng)的幾何建模技術(shù)發(fā)展最為成熟,利用該方法可以得到非常精確的三維模型,因此該方法已經(jīng)廣泛應(yīng)用于諸多領(lǐng)域．然而采用這種建模技術(shù)周期長、操作復雜,對于許多不規(guī)則的自然或人為物體,建模效果與真實場景仍存在差異．因此基于圖像與基于點云的三維重建成為了三維重建領(lǐng)域中的熱點.

基于圖像的三維重建主要是將二維圖像恢復成三維模型,其分為基于單幅圖像的三維重建與基于多幅圖像的三維重建．基于單幅圖像的三維重建不能應(yīng)用于大規(guī)模場景,因此本文主要介紹了基于多幅圖像的三維重建.

基于點云的三維重建主要是將點云數(shù)據(jù)恢復成圖形、圖像,然后通過計算機處理形成三維模型．其主要流程有:數(shù)據(jù)配準[1]、點云數(shù)據(jù)預處理[2]、分割[3]、三角網(wǎng)格化[4-5]、網(wǎng)格渲染．由于點云獲取設(shè)備獲取點云角度單一,因此如何對多個點云數(shù)據(jù)進行配準拼接一直是研究的重點和難點.

20世紀90年代Debevec等[6]提出了用參數(shù)幾何體來表示初始模型的方法．在21世紀初,學者們不斷對傳統(tǒng)的幾何思想進行研究,至此通過參數(shù)幾何法進行三維重建的研究已經(jīng)較為成熟,同時在這10年間不斷有應(yīng)用于三維重建的軟件問世．考慮到3DMAX和Maya等軟件建模周期長、工作量大且不能對場景中隱藏細節(jié)進行還原,Chen等[7]基于Windows環(huán)境開發(fā)了一個多視圖三維重建系統(tǒng),該系統(tǒng)主要將基于多視圖三維重建的算法進行集成,只需將各個視角的圖像作為輸入,便可以得到三維模型．相對于傳統(tǒng)的軟件,該系統(tǒng)操作簡單且三維模型的精確度高、細節(jié)處理效果更好．隨著科技的發(fā)展和社會的進步,各行各業(yè)對于三維重建的需求日益增多,三維重建的發(fā)展又達到了新的階段．基于圖像的三維重建主要包括稀疏點云重建和稠密點云重建．稀疏點云重建(Strcture From Motion,SFM)包括特征點檢測與匹配以及SFM重構(gòu)兩個部分．初始的檢測算子容易受到光照、尺度、旋轉(zhuǎn)等因素的影響,Lowe[8-9]提出了SIFT(Scale Invariant Feature Transform)算法解決了以上因素的影響,至此稀疏點云重建的精度得到了大幅度提高．隨著學者們不斷創(chuàng)新與發(fā)展,SURF(Speeded Up Robust Features)、FAST(Features from Accelerated Segment Test)、ORB(Oriented FAST and Rotated BRIEF)等優(yōu)秀算法被相繼提出．利用特征點檢測與匹配,計算特征點個數(shù)達到要求的圖像對,為SFM重構(gòu)中計算初始圖像對及R、T求解做鋪墊．SFM重構(gòu)大致分為三類:增量式重構(gòu)、全局式重構(gòu)、混合式重構(gòu)．其中增量式重構(gòu)、全局式重構(gòu)為傳統(tǒng)方法．2017年,Cui等[10]提出了混合式SFM；2018年,Cui等[11]提出了一種外環(huán)圖像匹配、內(nèi)環(huán)增量式校準的方法；2018年,Zhu等[12]提出了一種嵌套分解的分布式框架用于全局式重構(gòu)．在稠密點云重建(Multi-View System,MVS)中,深度圖的計算尤為重要,其發(fā)展之初計算方法主要是計算幾何參數(shù)以求得圖像深度信息,例如Gallup等[13]提出的Plane-Sweeping、Bleyer等[14]提出的PatchMatch等．2010年前后，隨著深度網(wǎng)絡(luò)的發(fā)展,國內(nèi)外一批精英學者將深度網(wǎng)絡(luò)模型與幾何參數(shù)法相結(jié)合以計算出圖像深度,如Huang等[15]提出的Deep MVS．2018年,香港科技大學訓練了一個深度網(wǎng)絡(luò)模型MVSNet[16]，該網(wǎng)絡(luò)模型能夠脫離傳統(tǒng)的幾何計算,通過輸入多視角圖像得到深度圖．2019年,Chen等[17]等提出了Point MVSNet神經(jīng)網(wǎng)絡(luò)框架.基于深度網(wǎng)絡(luò)的三維重建仍在不斷發(fā)展創(chuàng)新.

本文主要介紹基于圖像的三維重建的算法,并簡要地介紹三維重建效果的評價指標．基于圖像的三維重建的流程主要包括:稀疏點云重建、稠密點云重建、點云網(wǎng)格建模、三維語義建模、三維矢量建模．其中稀疏點云重建是三維重建中搭建場景框架的過程,稠密點云重建是三維重建中增強場景稠密性的過程,三維重建效果的完整性與精確性與這兩個步驟有直接關(guān)系.本文針對稀疏點云重建與稠密點云重建的發(fā)展進行系統(tǒng)綜述.

本文第一節(jié)介紹稀疏點云重建,主要包括特征點檢測與匹配、SFM重構(gòu);第二節(jié)主要介紹稠密點云重建,尤其對深度圖的計算進行詳細介紹;第三節(jié)主要介紹三維重建效果的評價指標;第四節(jié)對三維重建進行總結(jié),并列舉出在未來可能面對的問題及發(fā)展趨勢.

1 稀疏點云重建

稀疏點云重建是通過相機的移動來確定目標的空間和幾何關(guān)系的．首先輸入一個場景的多視角圖像,檢測每張圖像中的特征點,并對特征點進行匹配,然后運用SFM重構(gòu)算法,恢復出相機的參數(shù)、相機之間的相對位置關(guān)系及場景的稀疏點云．最后捆綁調(diào)整優(yōu)化相機位姿、相機參數(shù)、場景結(jié)構(gòu).

稀疏點云重建的流程為:特征點檢測,特征點匹配,相機位姿(旋轉(zhuǎn)矩陣R、平移矩陣T)初始值的求解,捆綁調(diào)整優(yōu)化相機位姿、相機參數(shù)、場景結(jié)構(gòu).

1.1 特征點檢測與匹配

特征點檢測與匹配的作用是計算特征點個數(shù)達到要求的圖像對,使得圖像與圖像間一直進行傳遞,從而形成一條軌跡,為SFM重構(gòu)中的初始圖像對及R、T求解做鋪墊．如圖1給出了利用ORB算法進行特征點檢測與匹配的效果.

1.1.1 特征點檢測

局部特征點,主要分為斑點和角點兩類特征點,斑點是指圖像中像素或灰度值大的區(qū)域,角點是指圖像中物體的拐角或線條交叉的部分．斑點檢測主要包括二階的拉普拉斯高斯邊緣提取算法(Laplacian Of Gaussian,LOG)、尺度不變特征變換算法(Scale Invariant Feature Transform,SIFT)[8-9]、加速穩(wěn)健特征算法(Speeded Up Robust Features,SURF)[18]等．角點檢測主要有Harris角點特征提取算子、加速分割測試特征提取(Features from Accelerated Segment Test,FAST)[19]、特征點檢測算子(Oriented FAST and Rotated BRIEF,ORB)[20]等.

1999年SIFT算子被Lowe[8]提出,并于2004年得到完善[9],該算法主要是尋找多尺度空間下的關(guān)鍵點,計算關(guān)鍵點的位置、方向、尺度信息,以生成特征點描述子．SIFT算子提取的關(guān)鍵點精度高、不易受光照噪聲的影響,但是該算子也存在計算量大、實時性能不高的缺點．Bay[18]提出了SURF算子,與SIFT算法不同的是,SURF特征點主方向的分配不是通過梯度計算,而是利用了Haar小波,SURF的計算速度是SIFT的3至7倍．在Susan角點[21]檢測的基礎(chǔ)上,Rosten等提出了FAST[19]算子,隨后很多學者在該算子的基礎(chǔ)上進行改進．隨著對特征點描述子的深入研究,近幾年提出了很多新的算子,例如Susan[21]、ORB[20]等．表1對經(jīng)典特征點檢測算法進行了對比,并且提供了代碼資源.

表1 特征點檢測算法優(yōu)缺點Table 1 Advantages and disadvantages of feature point detection algorithms

1.1.2 特征點匹配

特征點匹配即通過尋找兩幅圖像中相似的特征點,來確定兩幅圖像的位置關(guān)系．SIFT和SURF算子在對特征點匹配時都是通過兩特征點間的歐式距離計算出匹配度的．SURF算子中加入了Hessian矩陣,能夠判斷出兩個特征點的方向,相比于SIFT算子,SURF算子匹配的精確度更高．SURF算子與SIFT算子需要對A視角圖像的某個特征點與B視角圖像上的每個特征點進行匹配,因此耗時較長．為解決這個問題,崔振興等[22]將特征點鄰域內(nèi)像素之間的差值形成的特征向量與SURF特征描述子相結(jié)合形成68維特征向量；李紅波等[23]提出了一種基于距離約束的改進SURF算法,該算法針對不同尺寸的圖像,構(gòu)建高斯金字塔圖像層提取合適數(shù)目的特征點，采取特征點優(yōu)化處理的方法使得提取的特征點分布均勻，并引入KD-tree樹索引使得特征點匹配更加準確快速；Xu等[24]提出了一個加速算法,該算法采用了一種新的索引模式來尋找最相似的圖像,然后通過一種新的接近最近鄰搜索算法來匹配特征向量,大大加快了匹配速度；Sergeeva等[25]提出了一種異構(gòu)背景的前景檢測技術(shù),在特征點匹配后運用該技術(shù)去除圖像背景,該算法對復雜背景的目標重建效果很好.

1.2 SFM重構(gòu)

SFM重構(gòu)的思想是利用相機運動軌跡來估算相機參數(shù).相機在不同視點攝取多幅圖像,利用這些圖像計算出相機的位置信息以及運動軌跡,從而在空間坐標系下生成三維點云,恢復出物體的空間結(jié)構(gòu)．由于初步匹配過程形成的特征點較為粗糙,因此在估算相機參數(shù)之前,常用幾何約束刪除匹配錯誤的特征點對．SFM重構(gòu)的方法主要有增量式和全局式兩種.

1.2.1 增量式重構(gòu)

增量式重構(gòu)是從兩張圖像中重建出部分場景以及兩相機的R(旋轉(zhuǎn)矩陣)、T(平移矩陣),然后添加圖像,利用PnP計算出第三幅圖像的R、T,通過三角化重建出更多的場景．由于在求位姿與三維點時會有大量噪聲干擾,后續(xù)計算結(jié)果會發(fā)生漂移,因此引入BA(Bundle Adjustment)算法進行優(yōu)化.在每次添加圖像完成三角化后都需要進行優(yōu)化．增量式重構(gòu)的步驟為:初始化、PnP解算、三角化、BA算法優(yōu)化．其中較為重要的步驟是利用PnP算法求解相機位姿．PnP有很多種類,如P3P[26]、EPnP[27-28]、DLT[29]、UPnP[30]和MRE[31-32].

增量式重構(gòu)的具體流程是:首先輸入第1、第2張圖像計算出相機位姿并重建出部分場景,然后輸入第3張圖像進一步調(diào)整相機位姿并重建場景,直到輸入所有不同視角的圖像,得到所有相機的初始位姿和初始三維點．如圖2所示,通過輸入第1、第2張圖像,重建出第1個場景,由于2張圖重建出的場景效果不是很好,圖2中沒有將場景1展示出來；再添加第n張圖像與之前重建的場景N-1融合獲得下一步的新場景,直到所有圖像添加結(jié)束,重建出全部場景.

增量式SFM在對大規(guī)模場景進行三維重建時,由于誤差累積會造成場景漂移以及反復地捆綁調(diào)整會耗費大量的時間,為了解決這些問題,段建偉[33]將圖優(yōu)化理論與增量式SFM相結(jié)合,在構(gòu)造圖優(yōu)化模型時,將重投影誤差平方和設(shè)置為代價函數(shù)從而進行優(yōu)化,以達到減少誤差的效果．而劉彬等[34]提出了線性的增量式SFM,與傳統(tǒng)增量式SFM相比改進了三維重建初始像對的篩選策略,通過將局部的光束法優(yōu)化、局部外點過濾以及局部三角化三者組合的方式減少誤差.

不同于上述方法，2018年Cui等[11]提出了一種外環(huán)圖像匹配、內(nèi)環(huán)增量式校準的方法.如圖3所示下方箭頭為外環(huán)，上方箭頭為內(nèi)環(huán).外環(huán)是一個正交匹配環(huán)，通過迭代選擇圖像相似圖的正交MSTs(Maximum Spanning Trees)進行圖像匹配，內(nèi)環(huán)是一個增量式相機校準循環(huán).在MSTs進行圖像匹配時，對于每個匹配的圖像對，首先估計對應(yīng)的極線幾何，包括第j張圖像相對第i張圖像的相對旋轉(zhuǎn)矩陣Rij、相對平移矩陣tij，其中相機絕對位姿{Ri，Ci}與相對位姿{Rij，tij}的關(guān)系如式(1)所示，其中λij為尺度因子,Ri為相機絕對旋轉(zhuǎn)矩陣，Ci為相機中心矩陣.

(1)

相對平移誤差定義為

設(shè)定一個閾值β2，如果ε1，ε2大于β2，那么該匹配對被認為是錯誤的，在當前迭代中被忽略.實驗表明即使存在多個錯誤匹配，但是通過上述篩選，在前三個正交MTSs中，大多數(shù)匹配對都具有精確的相對位姿估計，更適合攝像機標定[11].通過不斷地圖像匹配和相機標定，兩個循環(huán)的收斂速度都很快并且排除了大量的冗余對，該方法在處理各種圖像數(shù)據(jù)集時效率高、魯棒性強.

1.2.2 全局式重構(gòu)

全局式SFM如圖4所示,它將所有圖像添加到場景中,計算所有攝像機的旋轉(zhuǎn)矩陣、平移矩陣和所有攝像機的位置,然后進行三角化．全局式SFM采用的是將相機相對位姿均勻分布的方法,該方法在處理大規(guī)模重建時,相機之間的相關(guān)性不同,會導致重建效果差．于是，2018年Zhu等[12]基于全局式SFM提出了一種嵌套分解的分布式框架．首先將原始的攝像機分布圖分割成多個子圖,對每個子圖迭代至收斂;然后連接多個子圖之間的變量,對連接多個子圖的變量進行迭代優(yōu)化．第一步優(yōu)化為局部運動平均,第二步優(yōu)化為全局運動平均．該方法中局部相機姿態(tài)在全局運動平均中是固定的,降低了內(nèi)存占用．實驗結(jié)果表明在全局式重構(gòu)中加入該分布式框架具有較高的魯棒性.

1.2.3 混合式重構(gòu)

2017年，Cui等[10]提出了混合式SFM,主要思想是將前兩者進行融合,利用全局式估計攝像機旋轉(zhuǎn)矩陣,增量式估計攝像機位置,然后進行局部捆綁調(diào)整.

2 稠密點云重建

由于SFM用來做重建的點是由特征匹配提供的,導致匹配點稀疏,重建效果并不是很好,所以需要MVS進行完善．稠密點云重建(MVS)的目的是通過最佳方法對不同圖像上的同一個點進行匹配,增強重建場景的稠密性.

2.1 一致性度量

如圖5所示，假設(shè)圖b中存在一點P′與圖a中點P在不同視角的同一點，由于幾何約束，點P與相機a的返回射線和點P′與相機b的返回射線一定相交于一點，點P所對應(yīng)的點P′一定位于極線上.MVS主要任務(wù)是通過一種最佳搜索的方法，匹配不同圖像的同一個點.接下來工作就是在圖片上的一條線上進行探測，尋找兩張圖片上的同一點，主要方法為逐像素判斷，由此提出了一致性度量函數(shù).

兩視圖圖像一致性的度量方法有:平均絕對差算法(Mean Absolute Differences,MAD)、差值平方和(Sum of Squared Differences,SSD)、絕對差值和(Sum of Absolute Differences,SAD)、歸一化互相關(guān)性(Normalized Cross-Correlation,NCC)等．這三個算法大同小異,采用的方法都是遍歷整個搜索圖,尋找到與模塊圖最為相似的部分,不同的只是計算方法不一樣.

為了減少搜索范圍以及增加匹配率,劉小群[35]提出了基于視差梯度的區(qū)域匹配算法,該算法引入NSAD函數(shù),同時對不同區(qū)域采用不同大小的窗口進行匹配．張一飛等[36]提出了融合邊緣特征的Edge-Gray算法,該算法在SAD算法匹配之前先計算出邊緣特征圖,在匹配過程中融合了邊緣特征圖和灰度圖.

2.2 深度圖的計算

深度圖是指將相機到場景中各點距離作為像素值的圖像.在MVS中對于深度圖的計算是一大重點.

2.2.1 幾何法

深度圖的計算方法有很多,如Yang等[37]提出了Plane-Sweeping算法,而Gallup等[13]將該算法用在三維重建中．文獻[13]主要思想是將深度范圍內(nèi)分割一個一個平面,通過觀察投影到攝像機上的點的顏色是否一致來判斷這些點是否位于可見物體的表面上．但是該算法難以應(yīng)對遮擋問題,另外，當紋理弱、光照變化大時還會重建出很多雜點.為了解決這些問題,Shu等[38]采用平面掃描立體的方法提出了一種深度區(qū)間估計方法:首先確定重建目標投影出的二維范圍,然后將二維范圍反投影到三維空間,得到多個三維平面;接著將來自其他視圖的平面投影到視圖j的坐標系中,視圖j的深度區(qū)間等于所有平面相交的z軸的范圍;最后計算每個視圖的深度圖．王躍嵩[39]對Plane-Sweeping算法進行了改進,使用稀疏點云來確定需要進行局部平面掃描的平面,同時提出了一種迭代的方法,該方法能夠消除雜點,避免將被遮擋點的分數(shù)拉低.

Bleyer等[14]將Barnes等[40]提出的PatchMatch算法應(yīng)用到了深度圖計算中.PatchMatch算法通過隨機初始化,按照從左到右、從上到下的方法進行傳播及隨機搜索,不斷地進行迭代,尋找出最合適的patch,達到圖像修復的目的．而Bleyer等[14]正是運用PatchMatch算法根據(jù)一個平面找到一個近似的最近鄰．首先在每個像素點中存儲深度值和深度值的法向量,并將深度值和深度值的法向量隨機初始化,然后把相鄰像素的深度值和深度值法向量轉(zhuǎn)換到當前像素上得到一個空間平面,將空間平面投影到圖像上,比較兩者的一致性差別,若后者的一致性更優(yōu),則用相鄰像素的存儲值替換當前像素的存儲值,如此進行傳播及隨機搜索．該方法得到了較好的亞像素,但是在面對缺失紋理的區(qū)域時,效果不佳．為了解決這些問題,學者們對PatchMatch算法進行了改進．Besse等[41]提出了一種方法能夠解決連續(xù)性標簽處理問題,同時該算法比PatchMatch更精確.該方法主要是將PatchMatch與粒子置信度傳播算法整合到BP框架下．Li等[42]利用自底向上的方法設(shè)計了兩層匹配,用預先訓練好的卷積神經(jīng)網(wǎng)絡(luò)得到像素塊的相似度,將該相似度作為底層代價,將底層代價與利用超像素塊單元構(gòu)建的頂層匹配代價相組合從而構(gòu)建匹配能量.在視差優(yōu)化過程中,與超像素間不同的是,該算法提出了利用GC(Graph Cut) 優(yōu)化超像素內(nèi)的每一像素點的標簽,可以降低在紋理性弱的區(qū)域誤匹配的概率.

2.2.2 幾何與深度學習相結(jié)合的方法

Wang等[43]提出了一種雙通道法生成深度圖像：首先利用暗通道生成初始深度圖,然后用一個互補的亮通道來識別初始深度圖中可能的錯誤估計,最后利用語義信息訓練一個深度模型對初始圖像中錯誤的深度估計進行修正.該方法能夠解釋場景元素之間的高階語義關(guān)系,具有定量與定性的優(yōu)勢．Huang等[15]提出了DeepMVS的方法用來計算視差圖,前期需要通過SFM對相機進行校準以及得到每張圖像的姿態(tài),通過圖像預處理,將參考圖像和各級視差圖輸入到網(wǎng)絡(luò)中,整個網(wǎng)絡(luò)模型包括三部分:PatchMatch匹配網(wǎng)絡(luò)、卷內(nèi)特征聚合網(wǎng)絡(luò)、卷間特征聚合網(wǎng)絡(luò),最后輸出視差圖,后續(xù)可以通過視差圖求得深度圖．該方法在面對紋理信息較少的區(qū)域和薄結(jié)構(gòu)時相對于其他算法的效果更好,但是不能預判包含樹木或草地的植被區(qū)域的差異且處理速度慢.

2.2.3 基于深度學習的方法

考慮到傳統(tǒng)的MVS難以處理弱紋理區(qū)域、瘦小的結(jié)構(gòu)以及反射和投射的表面，基于深度學習的MVS算法應(yīng)運而生.前者主要通過提取深度信息計算深度圖，后者主要通過機器學習算法訓練模型計算深度圖.2018年Yao等[16]提出了非結(jié)構(gòu)化多視點三維重建網(wǎng)絡(luò)(MVSNet).MVSnet是一個端到端的神經(jīng)網(wǎng)絡(luò)，如圖6所示.第一部分將不同視角的圖像輸入到網(wǎng)絡(luò)中獲取輸入圖像的特征圖.第二部分為文獻[16]創(chuàng)新部分：通過一個基于單應(yīng)變換的2D轉(zhuǎn)3D的變換方法，將特征圖變換到一個256個深度平面上，將轉(zhuǎn)換后的3D特征圖稱為Feature Volume.式(2)表示將N張多視角圖像變換成N個特征量，其中Deep Features為將圖像卷積后提取到的深度特征.式(3)表示將第i張?zhí)卣鲌D變換到深度為d的特征平面上的單應(yīng)矩陣Hi(d)，將特征圖變換到特征量不同的深度平面上，至少有一個深度是正確的.其中I為單位矩陣、K為相機內(nèi)部參數(shù)、R為相機旋轉(zhuǎn)矩陣、t為相機位移向量、d為深度變量，n為參考圖像相機的主軸.

(2)

(3)

第三部分將N個特征量通過逐個像素的方差計算合并成一個花費量.第四部分花費量經(jīng)過一個四級的U-Net結(jié)構(gòu)來生成一個可能量，從而得到每個深度下每個像素的可能性大小.第五部分結(jié)合上述每個像素在不同深度上的概率分布通過計算深度的數(shù)學期望得到初始深度圖.第六部分將初始深度圖與原圖像串成一個四通道輸入得到深度殘差，進而與初始深度圖相結(jié)合得到最終深度圖.該網(wǎng)絡(luò)框架可以適用于任意張視圖輸入，截止到2018年4月18日之前在公開Tanks and Temples數(shù)據(jù)集上的測試排名位居第一，其運行速度更快，不需要任何的微調(diào)，具有良好的泛化性.

在上述MVSNet中對花費量正則化占用了大量內(nèi)存,使網(wǎng)絡(luò)難以對高分辨率場景進行重建.為改進這個缺點,Yao等[44]于2019年對原來的MVSNet進行優(yōu)化提出了R-MVSNet,其主要是針對MVSNet的第四部分進行了改進,如圖7所示.R-MVSNet用GRU單元代替原來的3D CNN,GRU單元可以沿深度方向收集上下文信息,同時可以控制上一個深度平面的更新及重置信息的程度,這樣占用的內(nèi)存會大幅度減少同時效果也沒有下降.

2019年Chen等[17]提出了PointMVSNet神經(jīng)網(wǎng)絡(luò)框架,主要分為兩大部分．第一部分首先將不同視角的圖像輸入到網(wǎng)絡(luò)中,生成粗糙深度預測圖,然后轉(zhuǎn)換成粗糙點云．第二部分利用圖像金字塔網(wǎng)絡(luò)提取三維點云中每個點在各視角圖像中的紋理特征,構(gòu)建特征增強點云,然后利用點流模型迭代出精確而稠密的點云．該方法直接將場景作為點云處理,計算量大幅度減少,保留空間連續(xù)性,精度、速度、靈活性提高顯著,重建結(jié)果更為高效、精確(表2).

表2 深度圖計算方法比較Table 2 Comparison of depth map calculation methods

利用基于圖像的方法進行三維重建,圖8為拍攝的RGB圖像(通過攝像機攝取多幅不同視點的RGB圖像),圖9為稀疏點云重建效果,圖10為稠密點云重建正面效果,圖11為稠密點云重建側(cè)面效果.

3 評價三維重建的指標

在完成三維點云重建后,需要評價三維重建結(jié)果的優(yōu)劣性．三維重建的評價方法大致分為有真實模型和無真實模型兩類．無真實模型的評價是通過對比輸入數(shù)據(jù)與重建之后的數(shù)據(jù)一致性程度來實施的,其方法有重建誤差法、積分誤差法等．重建誤差法通過計算輸入點到重建表面點的平均歐式距離來評價,通常距離越小,誤差越小,重建效果越好．重建誤差法受噪聲的干擾較大,當出現(xiàn)幾個偏移較大的重建點時會影響到最后的整體結(jié)果,所以最后得到的結(jié)果較為片面．積分誤差法是由Zhou等[45]提出來的,通過計算輸入點到重建表面距離最近點距離的平均值進行評價,通常誤差越小,重建效果越好．積分誤差法雖然采用取平均的方法來避免噪聲點的干擾,但是卻沒有考慮到其他因素．總體來說無真實模型的評價手段單一,沒有考慮局部特征．Song等[46]提出了3DGiC算法,該算法無需提供真實模型,并且該算法包括了全局一致性和局部準確性,該算法的主要思想是計算局部表面描述符聯(lián)合概率的累積分布,其中累積分布表示全局統(tǒng)計量,而局部表面描述符用于評估局部精度,將全局和局部的關(guān)聯(lián)進行合并,從而得到一個更緊湊的評估.

有真實模型的評價是通過重建之后的模型與真實模型進行對比來實施的,主要方法有形狀誤差法、分解法、相位矩不變量法、多指標評價法等．Seitz等[47]提出了一種以準確性和完整性為指標的三維重建結(jié)果的量化評價方法,該方法需要借助設(shè)備獲得物體的高精度三維數(shù)據(jù),不利于大規(guī)模場景重建的評估,成本高、效率低．為了解決上述問題,公明等[48]提出了一種基于圖像相位信息不變性的評價方法,該方法首先要獲得物體在某一視點下的二維投影圖及該物體在相近視點下的圖像,然后對兩張圖像進行邊緣提取,計算兩張邊緣圖像的相位矩不變量,從而構(gòu)造特征向量,最后通過比較特征向量的距離進行三維重建的評估．但是該方法計算量大,不穩(wěn)定．張雯等[49]提出了一種評價三維模型幾何質(zhì)量的方法,將三維模型分解到基元點、基元線和基元面,以局部精度作為評價指標,通過計算點的距離偏移,線的長度插值、距離偏移、角度偏移,面的邊數(shù)差、面積差值及距離偏移、角度偏移等綜合數(shù)據(jù),來評價三維重建的指標,但是該方法容易出現(xiàn)點的數(shù)據(jù)缺失情況.

上述的三維重建評價方法中主要有三個缺陷:

1)部分算法只能分析真實模型的場景;

2)部分算法只能測量重建的精度,但是不能測量完整性,導致評價結(jié)果存在偏差;

3)大多算法只考慮到幾何精度,并沒有將紋理模型的視覺精度添加到評價指標中,在某些需要視覺精度的場景中應(yīng)用意義不大.

Waechter等[50]提出了一種以視覺質(zhì)量為評定指標的方法,該方法將獲取的圖像分為訓練集和評價集,使用基于圖像建模的流程重構(gòu)訓練集,利用評價集的攝像機參數(shù)渲染視圖,最后通過圖像的差異性度量將這些效果圖與評價集進行比較．該方法是一種靈活的評價方式,不需要重建物體的真實數(shù)據(jù),能夠評價重建物體表面的紋理質(zhì)量,并且能夠顯示和定位重建不精確的地方.

對于三維重建結(jié)果評價的研究仍在發(fā)展的過程中,還沒有十分完善．由上述文獻可以看出,對三維重建效果的研究不能只針對一個因素進行評價,應(yīng)該綜合多個因素從局部到全局進行評價.

4 總結(jié)與展望

4.1 總結(jié)

在游戲開發(fā)、工業(yè)設(shè)計、航天航海等諸多領(lǐng)域,三維重建發(fā)揮著不可或缺的作用.本文基于圖像的三維重建方法展開了綜述，重點介紹了特征點檢測與匹配、SFM重構(gòu)、MVS的研究現(xiàn)狀,還介紹了三維重建的評價指標.

基于圖像的三維重建不需要精密的測量儀器,成本低,同時該方法計算出了相機的內(nèi)外參數(shù),使得重建效果更為精確,具有快速、簡便、逼真的優(yōu)點,能較好地實現(xiàn)現(xiàn)實事物的虛擬化,但是其仍存在一些缺點:

1)在對物體的細節(jié)特征重建上不是很理想；

2)不能重構(gòu)出實時變化的場景,實時性不強,不能應(yīng)用于實時地圖重建的操作中；

3)基于圖像的三維重建將場景中的物體都變成了二維對象,用戶很難獲取到需要的信息；

4)基于圖像的三維重建對照相機與攝影設(shè)備也有一定要求,大量的圖像文件需要足夠的存儲空間.

基于點云的三維重建也是一大研究熱點．基于點云的三維重建需要精密的儀器,成本高,卻很難達到對大規(guī)模場景進行重建的要求,但是其計算量小、精度高．基于圖像與基于點云的三維重建都有各自的優(yōu)點以及局限性,在今后的三維重建過程中,需要根據(jù)重建場景的規(guī)模以及自身擁有的設(shè)備等,選擇合適的手段進行重建,重建得到的圖像會具備更好的性能.

4.2 展望

1)基于圖像的三維重建在特征檢測與匹配過程中,耗時長、精度低、無法識別物體表面的紋理信息,因此需要對特征點檢測與匹配該部分的內(nèi)容進行更深層次的研究,從而促使基于圖像的三維重建發(fā)展更加成熟.

2)對重建工作進行評價的算法并不是很多,發(fā)展較為緩慢,整體研究不夠成熟,未來對于評價算法的研究應(yīng)該更加注重整體與局部的結(jié)合,以及視覺精度與幾何精度的結(jié)合,以更全面地評價三維重建的效果.

3)在工業(yè)應(yīng)用中,由于各種外界因素的干擾,導致原始的三維重建方法并不適用于所有的環(huán)境中,因此研究出能夠面對各種不可控因素的三維重建方法成為一件迫在眉睫的事情.

4)由于基于圖像的三維重建計算量大，很難完成實時三維重建,希望在日后的研究中能夠縮減計算量,將基于圖像的三維重建運用到實時重建上.