張春森，張萌萌，郭丙軒

1. 西安科技大學(xué)測繪科學(xué)與技術(shù)學(xué)院，陜西 西安 710054； 2. 武漢大學(xué)測繪遙感信息工程國家重點實驗室，湖北 武漢 430079

基于影像的多視圖三維重建流程包括：采用SFM技術(shù)恢復(fù)攝像機的運動和場景的稀疏結(jié)構(gòu)，采用多視圖立體技術(shù)將SFM產(chǎn)生的稀疏點云密集化以及通過密集的點云生成表面模型并產(chǎn)生對應(yīng)的紋理。上述步驟中的每個環(huán)節(jié)都將影響最終生成的三維模型質(zhì)量。對于影像匹配的研究，計算機視覺與攝影測量領(lǐng)域有大量的研究成果，但是對于密集匹配后三維模型重建的研究則相對較少。目前由點云數(shù)據(jù)生成三維模型的成熟算法，多是針對由三維掃描儀獲取的點云數(shù)據(jù)。而與數(shù)據(jù)均勻、致密和精確的三維掃描儀獲取的點云數(shù)據(jù)相比，采取攝影測量計算機視覺方法獲取的點云數(shù)據(jù)，由于存在疏密程度不均勻，不夠致密和精確，因此在應(yīng)用已有表面重建算法時，無論是采用圖割 (graph-cut)法或者是泊松(Poisson)方法產(chǎn)生的三角網(wǎng)格(mesh)通常都存在有孔洞、凹坑、凸起等現(xiàn)象，導(dǎo)致三維模型與真實場景在幾何一致性上存在差異。因此，如何構(gòu)造完整的表面模型使構(gòu)建的模型為流形表面仍然是一個獨立的、具有挑戰(zhàn)性的研究方向。迄今為止，已有許多國內(nèi)外學(xué)者對三角網(wǎng)格優(yōu)化進行了研究。其中，文獻(xiàn)[1—2]通過在網(wǎng)中補充新的觀測量來改善已有地面三角網(wǎng)精度。文獻(xiàn)[3]利用控制點構(gòu)建的初始Delaunay三角網(wǎng)，采用三角面面積和角度雙重約束來優(yōu)化控制點三角網(wǎng)。文獻(xiàn)[4]首先同時使用最小內(nèi)角最大化方法和最小權(quán)方法進行優(yōu)化，然后，在完成一對相鄰三角形的優(yōu)化后，判斷它們是否為狹長三角形，進而刪除狹長三角形，達(dá)到優(yōu)化三角網(wǎng)格的目的。文獻(xiàn)[5] 提出一種基于局部-全局方法的平面三角網(wǎng)格優(yōu)化算法。在局部階段利用自定義的最相似規(guī)則，為網(wǎng)格中的每一個三角形單元求取與之最相似的正三角形，得到一組目標(biāo)仿射變換函數(shù)。在全局階段采用盡可能剛性方法，利用最小二乘法求取一組滿足最小變形能量函數(shù)的最優(yōu)解，使得最終生成的網(wǎng)格由盡可能相似于正三角形的三角形構(gòu)成。文獻(xiàn)[6]先用給定一些頂點集重構(gòu)多邊形，生成多邊形表面，運用穩(wěn)健性估計進行三角網(wǎng)細(xì)分，利用新點集替換掉原始頂點集，生成多邊形表面模型，再利用最大曲率局部估計，增加更多點來更精確地表示物方表面，并利用平滑性轉(zhuǎn)化參數(shù)將原始復(fù)雜模型進行粗略表達(dá)。

影像數(shù)據(jù)作為影像三維重建的原始數(shù)據(jù)，含有豐富的信息，利用影像信息進行三角網(wǎng)格(Mesh)模型優(yōu)化時，優(yōu)化信息源易獲取，充分利用影像信息進行優(yōu)化，可得到較好的優(yōu)化效果。文獻(xiàn)[7—8]采用光學(xué)多視立體原理進行三角網(wǎng)格優(yōu)化，對由投影影像組成的影像數(shù)據(jù)矩陣進行分解，得到估計表面法向量。利用估計法向量與物方點對像點梯度信息，計算得到一個二維位移圖，根據(jù)位移圖，在法向量上移動物方三角網(wǎng)格上的物方頂點，實現(xiàn)三角網(wǎng)格優(yōu)化。文獻(xiàn)[9]對散亂點云進行特征提取，然后將特征信息加入至點云數(shù)據(jù)中，處理得到初始網(wǎng)格模型，對平面法向量進行粗估計，進行三角網(wǎng)粗化同時更新閾值，通過迭代、三角網(wǎng)信息分割、再進行表面平滑處理，最終得到優(yōu)化后的網(wǎng)格模型。上述方法基本都是基于物方優(yōu)化三角網(wǎng)，即對原始三角網(wǎng)格進行調(diào)整，使得最終優(yōu)化后的模型三角形形狀更加規(guī)則，三角網(wǎng)格模型與真實地表曲面模型誤差最小。文獻(xiàn)[7—8] 中，雖然也是基于影像信息進行優(yōu)化，但是對二維三角網(wǎng)的優(yōu)化，獲取影像時光源信息也必須只來源于單光源，利用此方法實現(xiàn)三角網(wǎng)優(yōu)化時，對客觀條件有著很高的要求。顯然，此優(yōu)化方法不適用于測繪領(lǐng)域進行三維重建時的三角網(wǎng)格優(yōu)化，但其是基于影像信息，因此相關(guān)原理有一定的可借鑒性。

文獻(xiàn) [24—25]采用首先輸入影像數(shù)據(jù)，再進行空三解算和密集匹配處理，然后對密集的點云進行構(gòu)網(wǎng)得到三角網(wǎng)格模型的方法，由于未對網(wǎng)進行優(yōu)化處理，因此模型的效果不好。文獻(xiàn) [26]提出的PMVS法，是通過能量函數(shù)最小化優(yōu)化三角網(wǎng)格，平滑項采用的是Laplacian平滑，數(shù)據(jù)項也是通過影像信息優(yōu)化，與本文優(yōu)化方法不同。

本文以影像信息為驅(qū)動，利用影像信息和投影幾何原理，將影像間相關(guān)系數(shù)對物方點求導(dǎo)得到的梯度變化值，根據(jù)重心化坐標(biāo)對三角面三個頂點的貢獻(xiàn)，調(diào)整物方三角面頂點，通過最小化能量函數(shù)，達(dá)到優(yōu)化物方三角面，進而得到優(yōu)化后的網(wǎng)格模型。

1 本文網(wǎng)格模型優(yōu)化方法

本文采用Delaunay三角網(wǎng)作為網(wǎng)格模型優(yōu)化的初值，利用投影幾何原理，采用梯度下降法，通過影像相關(guān)系數(shù)對物方點坐標(biāo)X、Y、Z分別求導(dǎo)，得到物方點的梯度變化值。根據(jù)重心化坐標(biāo)加權(quán)得到物方頂點的梯度變化值，利用最小化匹配代價，驅(qū)動三角網(wǎng)頂點在法向量方向上移動，使能量函數(shù)達(dá)到最小，實現(xiàn)三角網(wǎng)格優(yōu)化。

1.1 構(gòu)建三角網(wǎng)

三維重建需將離散的三維點云轉(zhuǎn)換成連續(xù)的三維表面。因Delaunay三角網(wǎng)具有強大的可操作性，如可對頂點、邊和三角面實現(xiàn)添加、復(fù)制、移動或者刪除操作，有助于三角形的簡化和優(yōu)化處理，故本文通過構(gòu)建Delaunay三角網(wǎng)格[15-16]實現(xiàn)三維重建，將其作為后期三角網(wǎng)格模型優(yōu)化的初值。

1.1.1 簡化和細(xì)分三角網(wǎng)

由于初始三角網(wǎng)格模型多存在三角網(wǎng)過于密集，點、邊不滿足流形性質(zhì)，以及存在孤島、小面積三角面、孔洞以及狹長三角面等現(xiàn)象，需對其進行簡化處理，以得到滿足大小的簡化三角網(wǎng)格模型[17]。同時為確保三角網(wǎng)在每張影像上投影時，投影的網(wǎng)格不大于所給定的像素個數(shù)，需對簡化后的三角網(wǎng)格采用一剖四的方法進行細(xì)分，如圖1所示。選擇并連接原始三角網(wǎng)中所有三角面各邊中點，得到細(xì)分后的三角網(wǎng)格。

圖1 一剖四方法說明Fig.1 One subdivide to four method illustration

1.1.2 生成流形三角網(wǎng)

可以被攤成一片連續(xù)的2D平面，稱為流形幾何(2-manifold geometry)[18]，如圖2所示。三角網(wǎng)格中，包含非流形邊(non-manifold edge)(一條邊連到3條以上的面)和非流形頂點(non-manifold vertex)(兩個以上的面分享一個點卻沒有分享任何線，或造成非流形邊的點)的三角面，稱為非流形三角面，需對其進行處理，使構(gòu)建的模型為流形表面。圖3中深灰色標(biāo)注的頂點為非流形頂點，深灰色標(biāo)注的線為非流形邊。通過對非流形頂點進行復(fù)制，然后對復(fù)制的頂點移動一個微小偏移量，得到一個新的頂點，從而得到滿足流形性質(zhì)的流形三角網(wǎng)網(wǎng)格。處理過程如圖4所示。

圖2 流形幾何Fig.2 Manifold geometry

圖3 非流形邊和非流形頂點Fig.3 Non-manifold edges and non-manifold vertices

圖4 非流形幾何處理為流形幾何Fig.4 Transform non-manifold geometry into manifold geometry

1.2 優(yōu)化三角網(wǎng)

1.2.1 求解物方頂點梯度變化值

為實現(xiàn)影像信息驅(qū)動的三角網(wǎng)格優(yōu)化，根據(jù)影像信息，將影像間歸一化互相關(guān)系數(shù)NCC[19]對物方點進行求導(dǎo)，得到一個物方點的梯度變化值。將三角面內(nèi)所有物方點的梯度變化值，根據(jù)其重心坐標(biāo)對三角面頂點各貢獻(xiàn)一個權(quán)值，在法向量方向上調(diào)節(jié)物方頂點，以達(dá)到優(yōu)化的目的[20-21]，頂點優(yōu)化處理過程如圖5所示。

(1) 求解像點x梯度變化值gB。任一物方點X在影像對(A,AB)上對應(yīng)像點x處的能量

Edata(X)=h(IA,IAB)(x)=1-NCC

(1)

對物方點X求導(dǎo)，計算得到物方點梯度變化值gB。

NCC=

(2)

式中

(3)

(4)

圖5 三角網(wǎng)頂點優(yōu)化處理過程Fig.5 Triangulation vertex optimization process

(5)

(6)

④ 求解像點對其對應(yīng)物方點梯度變化值gB。

(7)

(2) 求解像方頂點v梯度變化值gBv。設(shè)v1、v2、…、vk是向量空間I中的一個單形(三角形或四面體)的頂點，如果I中某點x滿足：(φ1+…+φk)x=φ1v1+…+φkvk，則(φ1,φ2,…,φk)為x關(guān)于頂點v1、v2、…、vk的重心坐標(biāo)。

物方三角網(wǎng)頂點V投影至影像上對應(yīng)影像三角面的像方頂點v，x為此影像三角面內(nèi)的像點，像點x重心坐標(biāo)為(φ1(x),φ2(x),…,φk(x))，因此，對頂點v的重心坐標(biāo)為φ(x)，則對像方頂點v的梯度變化值為

gBv=φ(x)gB

(8)

(3) 求解物方頂點V梯度變化值gBV。物方三角網(wǎng)頂點V投影至影像上對應(yīng)的影像三角網(wǎng)頂點為像方頂點v。同一影像三角面內(nèi)，所有像點對此像方頂點v貢獻(xiàn)多個梯度變化值。同時，不同影像三角面內(nèi)像點也對此像方頂點v貢獻(xiàn)多個梯度變化值。因此，將物方頂點V對應(yīng)的像方頂點v的梯度變化值整體相加，得到物方頂點V的梯度變化值gBV。

(9)

圖6 影像重投影關(guān)系Fig.6 The relationship of image re-projection

1.2.2 構(gòu)建能量函數(shù)

利用能量函數(shù)驅(qū)動初始三角面優(yōu)化。能量函數(shù)由兩部分組成：數(shù)據(jù)項Edata和平滑項Esmooth

E(S)=Edata(S)+λEsmooth(S)

(10)

能量函數(shù)中的數(shù)據(jù)項Edata為

(11)

(12)

式中，w1=0.18和w2=0.02分別表示平滑項中柔性權(quán)值和剛性權(quán)值。

能量函數(shù)最小化[23]時，三角網(wǎng)格為最優(yōu)，其對應(yīng)梯度值為0，即

(13)

2 試驗結(jié)果與精度分析

2.1 三角網(wǎng)格優(yōu)化效果比較

對武漢大學(xué)信息學(xué)部3S廣場，采用Panasonic DMC-GF3相機拍攝，相機焦距為14 mm，影像大小為4000×3000像素，拍攝得到9張試驗用影像數(shù)據(jù)(如圖7)，圖8為對廣場影像優(yōu)化前后三角網(wǎng)格效果對比，圖9為影像數(shù)據(jù)進行密集匹配處理后得到的三維點云，圖10為點云重構(gòu)三角網(wǎng)格得到的初始三角網(wǎng)格模型，圖11為優(yōu)化后的三角網(wǎng)格模型，圖12為映射紋理信息后得到最終的三維模型，圖13和圖14展示了MVE(multi-view environment)法得到的三角網(wǎng)格模型和三維模型。

圖7 2張(共9張)3S廣場影像Fig.7 Two of 9 images of 3S square

圖8 廣場中心優(yōu)化前后三角網(wǎng)格對比Fig.8 Square center before and after refinement contrast

圖9 本文方法生成的三維點云Fig.9 3D point cloud generated by the proposed method

圖10 本文方法生成的初始三角網(wǎng)格模型Fig.10 Initial 3D mesh generated by the proposed method

圖11 本文方法生成的優(yōu)化三角網(wǎng)格模型Fig.11 Refined 3D mesh generated by the proposed method

圖12 本文方法生成的三維模型Fig.12 3D model generated by the proposed method

圖13 MVE法生成的三角網(wǎng)格模型Fig.13 3D mesh generated by MVE

圖14 MVE法生成的三維模型Fig.14 3D model generated by MVE

2.2 三角網(wǎng)格優(yōu)化精度分析

從圖8中可以看出優(yōu)化前后三角網(wǎng)格的表面紋理及粗糙度發(fā)生了明顯的變化。對比圖11和圖13，以及圖12和圖14發(fā)現(xiàn)：本文方法的優(yōu)化效果好于MVE方法。從圖中可以看到，MVE生成的三角網(wǎng)格模型及三維模型中存在孔洞，以及模型不完整情況。由此說明，本文方法可更詳細(xì)和精確地建立三維模型。三角網(wǎng)格模型優(yōu)化前后三角網(wǎng)中頂點和三角面?zhèn)€數(shù)發(fā)生變化統(tǒng)計如表1所示。由于優(yōu)化時不僅是移動了頂點位置，同時也對三角網(wǎng)格模型中的錯誤和冗余的頂點及三角面進行了處理。從表中發(fā)現(xiàn)：優(yōu)化前后頂點個數(shù)及三角面?zhèn)€數(shù)的同時減少，說明采用本文方法起到了優(yōu)化三角格網(wǎng)的目的。但在執(zhí)行時間上，本文方法執(zhí)行時間長于MVE方法，故后續(xù)研究需要更進一步提高優(yōu)化處理速度，降低執(zhí)行時間。

表1 三角網(wǎng)格優(yōu)化前后頂點和三角面?zhèn)€數(shù)對比

表面粗糙度表示的是點云擬合到平面的均方根誤差，可以用來反映三角網(wǎng)格模型精度及效果，表2為友誼廣場中心的3S雕塑及其左側(cè)臺階的表面粗糙度值統(tǒng)計。從表中可以看出，本文方法生成的三角網(wǎng)格模型的表面粗糙度值均比MVE法生成的三角網(wǎng)格模型的表面粗糙度小。MVE物方平面粗糙度值大的原因是未對三角網(wǎng)頂點位置進行優(yōu)化處理。

2.3 與其他三角網(wǎng)格優(yōu)化算法比較

利用本文方法對圖15所示標(biāo)準(zhǔn)測試影像數(shù)據(jù)噴泉和入口進行網(wǎng)格優(yōu)化，并與ST4法、MVE法、PMVS法優(yōu)化結(jié)果進行對比。對比結(jié)果如圖16與圖17所示，圖18和圖19為對噴泉和入口重建的三維模型顯示。

從圖16—圖19可以看出，本文的優(yōu)化方法可有效保證拓?fù)湫畔⒑瓦吔缧畔⒕_地重建。由于所給算法通過平滑項對物體表面的約束，使弱紋理區(qū)或模糊區(qū)域也可較完整地修復(fù)。然而，該算法是基于影像信息不斷迭代更新，最終實現(xiàn)三角網(wǎng)格模型最優(yōu)，因此，與上述兩種方法相比，當(dāng)影像數(shù)量過多時，優(yōu)化速度較慢，如表1中，本文方法對9張影像構(gòu)成的三角網(wǎng)格進行優(yōu)化處理，執(zhí)行時間為MVE 方法的3倍多。為了提高優(yōu)化速率，需要更高的計算機硬件配置。

表2 表面粗糙度分析

圖15 3張(共11張)噴泉影像和3張(共10張)入口影像Fig.15 Three of 11 images of fountain-P11 and three of 10 images of entry-10

圖16 ST4法、MVE法和本文方法生成的優(yōu)化三角網(wǎng)格模型Fig.16 Refined 3D mesh model of fountain-P11 generated by ST4，MVE and the proposed method

圖17 PMVS法、MVE法和本文方法生成的優(yōu)化三角網(wǎng)格模型Fig.17 Refined 3D mesh model of entry-10 generated by PMVS，MVE and the proposed method

圖18 本文方法生成的噴泉三維模型Fig.18 3D model of fountain-P11 generated by the proposed method

圖19 本文方法生成的入口三維模型Fig.19 3D model entry-10 generated by the proposed method

3 結(jié) 論

本文結(jié)合攝影測量與計算機視覺相關(guān)理論，給出了基于影像數(shù)據(jù)實現(xiàn)三維重建中三角網(wǎng)格優(yōu)化的一種方法。利用影像同名特征點間相關(guān)系數(shù)、影像梯度信息和投影幾何信息3部分組成能量函數(shù)數(shù)據(jù)項，以拉普拉斯平滑作為平滑項(正則項)，驅(qū)動物方三角網(wǎng)頂點在法向量方向上進行移動，最小化匹配代價，當(dāng)能量函數(shù)最小時，三角網(wǎng)物方頂點位置為最優(yōu)，實現(xiàn)網(wǎng)格優(yōu)化，使三角網(wǎng)格與實際表面誤差最小，進而提高三維重建結(jié)果的精度。試驗結(jié)果表明，本文方法能較好地保持模型的視覺特征，具有一定的實際應(yīng)用價值。由于該方法是對每個三角面物方點計算梯度變化值，進而加權(quán)給物方三角面頂點，因此當(dāng)數(shù)據(jù)量較大時，優(yōu)化速度較慢。同時，試驗發(fā)現(xiàn)在一些高程變化顯著的區(qū)域，因梯度下降法原理中步長設(shè)置的約束，使得在此區(qū)域優(yōu)化效果不是很好。

下一步的研究設(shè)想是：①在整個計算過程中，對多次重復(fù)計算過程進行優(yōu)化，對其存儲，減少其計算過程，如計算影像間歸一化相關(guān)系數(shù)中的相關(guān)變量；②根據(jù)影像間交會角大小，計算每個物方三角面中物方點梯度變化值，給予一個權(quán)值，使得在最優(yōu)交會角范圍內(nèi)的物方點梯度變化值最優(yōu)，以此來達(dá)到優(yōu)化物方三角網(wǎng)格的目的。當(dāng)然，在給出優(yōu)化算法的同時，如何縮短優(yōu)化時間也是后續(xù)要研究的內(nèi)容。