王學(xué)寧，韋　群

（裝備學(xué)院 信息裝備系，北京 懷柔　101416）

三維重建效果評(píng)價(jià)技術(shù)綜述

王學(xué)寧，韋群

（裝備學(xué)院 信息裝備系，北京 懷柔101416）

三維重建技術(shù)快速發(fā)展，并且在各個(gè)領(lǐng)域得到廣泛應(yīng)用。為比較各種重建方法的評(píng)價(jià)效果的優(yōu)劣，現(xiàn)將其中一些方法進(jìn)行比較分析，期望能夠?qū)υ擃I(lǐng)域的發(fā)展?fàn)顩r全面了解，并且明確未來(lái)的研究方向。

三維重建；重建模型；效果評(píng)估；綜述

本文著錄格式：王學(xué)寧，韋群. 三維重建效果評(píng)價(jià)技術(shù)綜述[J]. 軟件，2016，37（8）：129-132

0　引言

三維重建是運(yùn)用圖像處理等相關(guān)技術(shù)，使二維數(shù)據(jù)還原出三維信息，形成三維立體表面的先進(jìn)技術(shù)，并且隨著計(jì)算機(jī)技術(shù)廣泛應(yīng)用于生產(chǎn)生活的方方面面[1]，高效建立物體三維幾何模型的需求更加旺盛。目前大部分研究是針對(duì)兩幅或多幅（序列）圖像的三維重建，其重建方法有立體視覺(jué)法[2-3]、運(yùn)動(dòng)圖像序列法[4]、光度立體學(xué)[5]等，當(dāng)前出現(xiàn)了基于單張照片重構(gòu)三維模型[6]、實(shí)時(shí)三維重建[7]等先進(jìn)技術(shù)。三維重建的目標(biāo)是在計(jì)算機(jī)對(duì)輸入信息進(jìn)行處理、操作和分析的基礎(chǔ)上，形成一個(gè)比較完整的表面模型。理想情況下，三維模型應(yīng)與真實(shí)模型形狀、尺寸等一致。但在實(shí)際操作過(guò)程中，由于數(shù)據(jù)源、構(gòu)建方法等問(wèn)題[8]，不可避免地會(huì)出現(xiàn)一定的誤差[9-10]。要對(duì)比使用不同重建方法形成的重建模型的效果，僅僅通過(guò)視覺(jué)比較是不夠充分的，主觀評(píng)價(jià)方法容易受到環(huán)境、觀察著的狀態(tài)等各種因素的影響，這就需要客觀的定量的評(píng)價(jià)方式。

近年來(lái)，世界各國(guó)學(xué)者對(duì)三維重建效果評(píng)價(jià)進(jìn)行了廣泛深入的研究，但早期的研究人員評(píng)價(jià)方式是不全面的，這不能滿(mǎn)足各類(lèi)應(yīng)用對(duì)真實(shí)三維信息的具體要求。三維重建效果評(píng)價(jià)技術(shù)是將重建后的模型通過(guò)運(yùn)用各種客觀的方法，將重建模型與真實(shí)模型進(jìn)行對(duì)比，來(lái)驗(yàn)證重建算法是否達(dá)成其預(yù)期的效果。本文根據(jù)是否需要一個(gè)完整的真實(shí)模型將現(xiàn)有的評(píng)價(jià)方法分為兩類(lèi)：無(wú)真實(shí)模型評(píng)價(jià)的方法和有真實(shí)模型的評(píng)價(jià)方法。完整的真實(shí)模型是作為評(píng)價(jià)的參照模型，是重建工作的期望效果。

1　無(wú)真實(shí)模型的評(píng)價(jià)方法

若不存在或者不需要一個(gè)完整的真實(shí)模型，評(píng)價(jià)往往是集中在重建之后與輸入數(shù)據(jù)集的一致程度的估計(jì)。

1.1重建誤差法、積分誤差法

由P. Alliez、L. Saboret等人提出來(lái)的計(jì)算重建誤差（reconstruction error）法[11]，是通過(guò)計(jì)算輸入點(diǎn)到重建表面點(diǎn)的平均歐式距離來(lái)評(píng)價(jià)重建結(jié)果。得到的重建誤差越小，重建效果越好；通常，重建誤差會(huì)隨點(diǎn)的增加而減少。

由H. Zhou、Y. Li等人提出來(lái)的計(jì)算積分誤差（integration error）法[12]，是通過(guò)計(jì)算最終重建表面上點(diǎn)和它們輸入數(shù)據(jù)源中最近距離點(diǎn)距離[13]的平均值來(lái)評(píng)估模型的質(zhì)量。積分誤差越小，重建效果越好。類(lèi)似的，文獻(xiàn)[14]中通過(guò)計(jì)算深度數(shù)據(jù)到重建表面的平均距離量化重建正確性。

這種單純計(jì)算誤差的方式不與參照模型作對(duì)比，考慮因素單一，而且會(huì)出現(xiàn)造成局部細(xì)節(jié)丟失的情況。因此，即便得到較小的誤差，也不能讓人信服。

1.2三維基尼系數(shù)法[15-16]

這種方法是根據(jù)洛倫茲曲線(xiàn)形成的。洛倫茲曲線(xiàn)是在經(jīng)濟(jì)學(xué)和社會(huì)學(xué)中廣泛應(yīng)用的統(tǒng)計(jì)離差方法，它主要用于測(cè)量分布的不平等。三維洛倫茲表面的概念是根據(jù)洛倫茲曲線(xiàn)提出來(lái)的，是洛倫茲曲線(xiàn)的在三維空間上的延伸，是兩個(gè)轉(zhuǎn)換曲率聯(lián)合概率的累積分布函數(shù)。R. Martin、P. Rosin等人將基尼系數(shù)方法運(yùn)用于三維重建的評(píng)價(jià)的關(guān)鍵步驟是，構(gòu)造出一個(gè)參數(shù)化的與表面模型相對(duì)應(yīng)的聯(lián)合概率分布。這樣，就可以使用基尼系數(shù)來(lái)檢測(cè)分布的不同，得到重建模型與參照模型的差距。

該方法是假設(shè)不存在完整的真實(shí)模型，將輸入數(shù)據(jù)集看作是一系列的部分真實(shí)模型的組成，具體實(shí)施步驟可分為3步：檢測(cè)重疊區(qū)域、三維洛倫茲表面估計(jì)、計(jì)算三維基尼系數(shù)G。得到的G越小，重建效果越好。

這種方法將重建結(jié)果與輸入數(shù)據(jù)作對(duì)比，雖然沒(méi)有和真實(shí)模型做比較，但也能間接得出重建結(jié)果的完整性。

2　存在真實(shí)模型的評(píng)價(jià)方法

若存在完整的真實(shí)模型，可以把重建模型與真實(shí)模型對(duì)比，根據(jù)兩者之間的相似程度對(duì)進(jìn)行重建效果進(jìn)行評(píng)價(jià)。

2.1形狀誤差法

形狀誤差（shape error）計(jì)算要評(píng)價(jià)的表面和真實(shí)情況之間的對(duì)稱(chēng)差分的體積與真實(shí)模型的體積比。形狀誤差越小，重建效果越好。H.Jin、S.Soatto等人根據(jù)對(duì)不同模型的結(jié)果做比較[17]，發(fā)現(xiàn)計(jì)算時(shí)的鄰域大小對(duì)結(jié)果有比較大的影響：鄰域較小時(shí)，對(duì)噪聲點(diǎn)敏感，鄰域較大，不能物體表面的形狀特征；鄰域大小選取欠當(dāng)，能夠降低形狀誤差。文獻(xiàn)[18]用不同重建的均方差和已知的真實(shí)模型做比較；文獻(xiàn)[19]計(jì)算在不同程噪聲下的重建與真實(shí)模型的標(biāo)準(zhǔn)偏差。

形狀誤差法對(duì)真實(shí)模型的數(shù)據(jù)精度要求較高，成本高，效率低，并且不適合大型場(chǎng)景重建的評(píng)價(jià)。

2.2分解法

分解法是將三維模型分解到基元點(diǎn)、線(xiàn)和面[20]，以局部精度評(píng)估整體質(zhì)量。

（1）基元點(diǎn)評(píng)價(jià)

點(diǎn)是三維模型最基礎(chǔ)的單元，其精度直接反映三維模型精度。以輸入數(shù)據(jù)中的角點(diǎn)坐標(biāo)作為真值，與重建模型對(duì)應(yīng)的點(diǎn)一一進(jìn)行比對(duì)，獲得基元點(diǎn)的精度。根據(jù)真實(shí)模型的復(fù)雜程度，隨機(jī)選取n 個(gè)角點(diǎn)，得到模型的角點(diǎn)坐標(biāo)串，并根據(jù)與之相對(duì)應(yīng)的真值角點(diǎn)坐標(biāo)串計(jì)算得到點(diǎn)與點(diǎn)之間的距離差值，求取重建模型和真值之間的距離偏移的均值a，即為三維模型基元點(diǎn)的精度值。

（2）基元線(xiàn)評(píng)價(jià)

線(xiàn)的種類(lèi)多樣，如樣條曲線(xiàn)等。對(duì)可由兩個(gè)端點(diǎn)確定的最基本的直線(xiàn)段，評(píng)價(jià)參數(shù)有長(zhǎng)度差值、距離偏移和角度偏移等。

（3）基元面評(píng)價(jià)

僅考慮用控制點(diǎn)坐標(biāo)即可表示的平面，不包括需要用曲率、弧度等來(lái)描述的特殊曲面?；诿娴脑u(píng)價(jià)參數(shù)分為邊數(shù)累積差值、面積差值、量量距離和兩面夾角等。

若實(shí)際情況中，基元面的評(píng)價(jià)需精確到邊或點(diǎn)，可進(jìn)行分解，參照基元點(diǎn)與基元線(xiàn)的評(píng)價(jià)方法。

分解法考慮了較多的評(píng)價(jià)角度，但是也會(huì)出現(xiàn)一些偏差。比如，出現(xiàn)點(diǎn)的數(shù)據(jù)缺失情況，線(xiàn)段的排列不規(guī)則等都會(huì)對(duì)評(píng)價(jià)結(jié)果產(chǎn)生影響。

2.3相位矩不變量法

目標(biāo)在不同視角獲得的投影圖像中的形狀可能有很大差別，為了準(zhǔn)確地進(jìn)行形狀匹配，需要保證所提取的形狀特征不受圖像平移、旋轉(zhuǎn)、透視等幾何變換的影響，即提取形狀不變特征，也稱(chēng)為幾何不變量。矩不變量可以表示為由中心矩（或者規(guī)范化矩）構(gòu)成的多項(xiàng)式形式，不變量常與變換群聯(lián)系在一起，稱(chēng)某個(gè)量為不變量必然是指在某個(gè)變換群下的不變量，如旋轉(zhuǎn)不變量、仿射不變量等基于直角坐標(biāo)系的中心矩的定義，然后利用代數(shù)不變量理論，推導(dǎo)出7個(gè)具有相似變換（即平移、縮放和旋轉(zhuǎn)）不變性的二維矩不變量[21-23]。

相位矩不變量法是一種基于圖像相位信息和矩不變量的評(píng)價(jià)方法。該方法無(wú)需得到待重建物體高精度的三維數(shù)據(jù)，而是對(duì)相近視點(diǎn)下真實(shí)物體圖像與三維重建物體的二維投影圖像分別計(jì)算由相位矩不變量構(gòu)成的特征向量，利用特征向量的相似性來(lái)評(píng)價(jià)重建結(jié)果的質(zhì)量。該方法從整體視覺(jué)真實(shí)感的角度評(píng)價(jià)物體重建結(jié)果，強(qiáng)調(diào)三維重建方法對(duì)物體特征信息的重建能力。

該方法能夠選擇多個(gè)視點(diǎn)進(jìn)行評(píng)價(jià)，并根據(jù)相機(jī)標(biāo)定的內(nèi)參和外參得到投影矩陣，而且通過(guò)提取邊緣照片減少數(shù)據(jù)量，提高計(jì)算效率。但是也存在高階運(yùn)算不穩(wěn)定導(dǎo)致不變量的使用數(shù)量受到了限制以及對(duì)噪聲點(diǎn)比較敏感等問(wèn)題。

2.4多指標(biāo)評(píng)價(jià)法

多指標(biāo)評(píng)價(jià)方法也有其他的分類(lèi)方法。在文獻(xiàn)[24]研究中，I. Sargent、J. Harding等人對(duì)三維模型的評(píng)價(jià)時(shí)將重要的因素分成：幾何保真度、相對(duì)位置正確性和絕對(duì)位置正確性等3類(lèi)；而且他們不僅考慮上面所說(shuō)的內(nèi)在質(zhì)量，也充分考慮到了外在質(zhì)量----是否滿(mǎn)足客戶(hù)的需求；文獻(xiàn)[25]中根據(jù)6個(gè)基本性能區(qū)分不同方法：場(chǎng)景視圖、圖像一致、模型可見(jiàn)性、形狀優(yōu)先性、重建算法和初始化要求并且提出了分別從準(zhǔn)確性和完整性?xún)蓚€(gè)方面對(duì)重建效果進(jìn)行量化評(píng)價(jià)，通過(guò)度量重建模型上的點(diǎn)與真實(shí)模型上最近點(diǎn)之間的有向距離來(lái)檢驗(yàn)重建是不足還是過(guò)度，定義一個(gè)距離臨界值，90%的誤差都是在這個(gè)真實(shí)模型距離臨界值內(nèi)。

3　比較與分析

不同重建算法實(shí)現(xiàn)時(shí)所要求的假設(shè)條件、使用范圍不盡相同，它們的重建效果也各具特色，但是評(píng)價(jià)重建效果的標(biāo)準(zhǔn)是相同的，即與真實(shí)模型的相似程度。根據(jù)是否需要完整真實(shí)模型這一分類(lèi)原則，需要完整真實(shí)模型的方法都有重建模型同真實(shí)模型相比較的過(guò)程，整體上比單純考慮重建模型本身的方法更有可信度。對(duì)比結(jié)果如表1所示：

目前三維重建的評(píng)價(jià)方法存在著一定的缺陷：

（1）大多數(shù)評(píng)價(jià)方法過(guò)多注重整體正確性而忽略了局部正確性。整體正確性只是給了我們一個(gè)大體上重建的感知即對(duì)于真實(shí)形狀是過(guò)度重建或者重建不足，并且重建模型本身還要具有連貫性。而局部正確性則更加注重于局部表面重建效果的連續(xù)性和與真實(shí)形狀的一致性。

（2）評(píng)價(jià)方法中引入的計(jì)算方法計(jì)算復(fù)雜度較高，運(yùn)算量增加，需要占用更多系統(tǒng)資源，降低了運(yùn)行速度。

（3）不同評(píng)價(jià)方法反映出對(duì)噪聲點(diǎn)的不同的敏感程度，有些方法會(huì)因噪聲點(diǎn)產(chǎn)生較大的誤差。

（4）不同評(píng)價(jià)方法選取的評(píng)價(jià)角度各不相同，但是每一個(gè)評(píng)價(jià)角度總是包含一些前提，限制了適用范圍。

表1　不同評(píng)價(jià)方法的對(duì)比表

4　結(jié)束語(yǔ)

量化的評(píng)價(jià)方法能夠評(píng)價(jià)出重建模型各個(gè)部分的重建效果的好壞，對(duì)三維重建具有一定指導(dǎo)意義。評(píng)價(jià)結(jié)果作為參考依據(jù)，可以將效果不好的部分通過(guò)添加相應(yīng)的輸入數(shù)據(jù)并再次進(jìn)行重建以達(dá)到期望效果。

三維重建評(píng)價(jià)方法選取的評(píng)價(jià)尺度不盡相同，評(píng)價(jià)技術(shù)也不夠成熟，未來(lái)的工作應(yīng)該注重整體正確性和局部正確性的聯(lián)系與結(jié)合以及提高評(píng)價(jià)方法的適應(yīng)性等方面。

[1] 吳彤, 傅中力. 三維重建技術(shù)及其軍事應(yīng)用[J]. 國(guó)防科技, 2015, 36(1): 31-34.

[2] 李玲. 基于雙目立體視覺(jué)的計(jì)算機(jī)三維重建方法研究[D].湖北: 武漢大學(xué), 2005.

[3] 段華. 基于雙目視覺(jué)的計(jì)算機(jī)三維重建[D]. 江蘇: 南京航空航天大學(xué), 2003.

[4] 莊越挺, 劉小明, 潘云鶴, 等. 運(yùn)動(dòng)圖像序列的人體三維運(yùn)動(dòng)骨架重建[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2000, 12(4): 245-250.

[5] 陳宇峰, 譚文靜, 王海濤, 等. 光度立體三維重建算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2005, 17(11): 2408-2414.

[6] Ma Q, Zou C. 3D Shape Reconstruction from a Single Image[C]// Internet Technology and Applications (iTAP), 2011 International Conference on. IEEE, 2011: 1-4.

[7] Haala N, Kada M. An update on automatic 3D building reconstruction[J]. Isprs Journal of Photogrammetry & Remote Sensing, 2010, 65(6): 570–580.

[8] 李敏寧, 張巧, 趙劼. 視覺(jué)注意機(jī)制下的三維重建技術(shù)的改進(jìn)[J]. 西安電子科技大學(xué)學(xué)報(bào), 2014, 05期: 192-196.

[9] 孫麗娟. 基于序列圖像的三維重建算法研究及誤差分析[D]. 青島科技大學(xué), 2012.

[10] 王海彬, 陳華華, 顧偉康, 等. 基于視覺(jué)導(dǎo)航的三維重建算法誤差分析及補(bǔ)償[J]. 傳感技術(shù)學(xué)報(bào), 2004, 04期(4): 556-559.

[11] http://www.cgal.org/Manual/3.5/doc_html/cgal_manual/Surf ace_reconstruction_points_3/Chapter_main.html, CGAL.

[12] Zhou H, Liu Y. Accurate integration of multi-view range images using k-means clustering[J]. Pattern Recognition, 2008, 41(1): 152-175.

[13] J. Pons, R. Keriven, and O. Faugeras. Multi-view stereo reconstruction and scene flow estimation with a global imagebased matching score. IJCV, 72(2): 179-193, 2007.

[14] Yemez Y, Wetherilt C J. A volumetric fusion technique for surface reconstruction from silhouettes and range data[J]. Computer Vision & Image Understanding, 2007, 105(1): 30-41.

[15] Song R, Liu Y, Zhao Y, et al. An Evaluation Method for Multiview Surface Reconstruction[J]. IEEE, 2012: 387-394.

[16] Taubin G. Estimating The Tensor Of Curvature Of A Surface From A Polyhedral Approximation[C]// Iccv. 1995: 902-907.

[17] H.Jin, S. Soatto, and A. Yezzi. Multi-view stereo reconstruction of dense shape and complex appearance. IJCV, 63(3): 175-189, 2005.

[18] G.Vogiatzis, P. Torr, S. Seitz, R. Cipolla. Reconstructingreliefsurfaces. Image and Vision Computing, 26(3): 397-404, 2005.

[19] Huang Q X, Adams B, Wand M. Bayesian surface reconstruction via iterative scan alignment to an optimized prototype[C]// Proceedings of the fifth Eurographics symposium on Geometry processing. Eurographics Association, 2007: 213-223.

[20] 張?chǎng)? 程亮, 張群, 等. 三維模型幾何質(zhì)量評(píng)價(jià)方法[J].測(cè)繪通報(bào), 2014, 第7期(7): 44-47.

[21] 李洪波. 共形幾何代數(shù)與幾何不變量的代數(shù)運(yùn)算[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2006, 18(7): 902-911. DOI: 10. 3321/ j.issn:1003-9775.2006.07.002.

[22] 刁麓弘, 章森, 劉磊, 等. 相位矩不變量[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2008, 20(5): 645-651.

[23] 公明, 葛娟, 曹偉國(guó), 等. 相位矩不變量用于評(píng)價(jià)基于圖像的三維重建結(jié)果[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2013, 25(9): 1384-1391. DOI: 10.3969/j.issn.1003-9775.2013. 09.016.

[24] I. Sargent, J. Harding, and M. Freeman, “Data quality in 3D: Gauging quality measures from users’ requirement,” in Proc. Int. Archives Photogramm., Remote Sens. Spatial Inf. Sci., 2007, vol. 36, no. 2, pp. 1–8.

[25] Seitz S M, Curless B, Diebel J, et al. A Comparison and Evaluation of Multi-view stereo reconstruction algorithms [C]. IEEE Computer Society, 2006: 519-528.

Overview on Evaluation of 3D Reconstruction

WANG Xue-ning, WEI Qun
(Department of Information Equipment, The Academy of Equipment, Beijing101416, China)

As a developing technology, 3D reconstruction has been used in many fields. Overviewed the some kinds of evaluation methods of different 3D reconstruction, and analyzed the advantages and disadvantages of these methods, hope to get a general understanding of this field and indicate the study orientations in the future.

3D reconstruction; Evaluation methods; Reconstruction model; Overview

TP391.9

A

10.3969/j.issn.1003-6970.2016.08.028

王學(xué)寧(1992-)，男，碩士，研究方向?yàn)樘摂M現(xiàn)實(shí)與仿真；韋群，博士，教授，研究方向?yàn)樘摂M現(xiàn)實(shí)與仿真、軟件工程、計(jì)算機(jī)圖形學(xué)。