余龍江，申閆春

(1. 重慶安全技術(shù)職業(yè)學(xué)院，重慶 404121；2. 北京信息科技大學(xué)計算機(jī)學(xué)院，北京 100192)

1 引言

隨著數(shù)字孿生概念的逐漸普及，人們愈發(fā)需要在虛擬空間中構(gòu)建真實世界的復(fù)制體，從而反映相對應(yīng)實體的全生命周期過程。尤其是影視娛樂等行業(yè)當(dāng)中，還需要通過增強(qiáng)現(xiàn)實等技術(shù)手段，將虛擬世界與孿生重建的真實世界進(jìn)行疊加，從而呈現(xiàn)出虛實融合的獨特展示效果。

傳統(tǒng)的手工建模手段，需要通過現(xiàn)場勘測，拍攝照片，劃分區(qū)域，抽取紋理，再手動建立三角面片并依次對齊的復(fù)雜過程，來構(gòu)建和現(xiàn)實物體大致相符的虛擬模型。這一工作流程耗費的人力巨大，時間成本高，生產(chǎn)力低下，且完成的成果與真實尺寸有較大差異，需要較長時間的后期調(diào)整和優(yōu)化。

三維重建技術(shù)，即通過多種傳感器手段獲取實際場景的圖像和深度信息，對獲取的數(shù)據(jù)進(jìn)行分析和配準(zhǔn)之后，計算并輸出實際場景的三維數(shù)字模型的過程。目前常見的三維重建方法以照片重建為主，在實際場景中拍攝多位置、多角度的多張照片，進(jìn)行照片特征的分析和配準(zhǔn)之后，得到包含拓?fù)潢P(guān)系的稀疏點云，并據(jù)此構(gòu)建稠密點云以至三維網(wǎng)格模型。此類方法的技術(shù)路線成熟，得到的結(jié)果精細(xì)度較高，在影視和游戲等行業(yè)中有較為成熟的應(yīng)用。

但是，基于照片重建的方法對于特征不明顯的場景，例如大面積的純色墻面等，無法得到合適的特征數(shù)據(jù)，因而無法得到正確的重建結(jié)果；另外因為場景的尺度信息完全來自于照片匹配過程中估算的結(jié)果，因此有時不夠準(zhǔn)確。這都制約了單純照片重建的方法在實際生產(chǎn)中的大規(guī)模應(yīng)用。

近些年來，隨著各種激光掃描設(shè)備逐漸民用化和低端化，人們也可以利用激光掃描產(chǎn)生的點云數(shù)據(jù)來記錄真實場景。點云數(shù)據(jù)中的每一個點都有自己的空間位置坐標(biāo)，它記錄了真實物體與檢測設(shè)備之間的實際距離和角度，其尺度信息的精度極高；但是因為點云之間不存在既有的拓?fù)潢P(guān)系，因此無法直接構(gòu)成三維網(wǎng)格模型。據(jù)此，本文提出了一種新的方法，將海量的點云數(shù)據(jù)處理并構(gòu)建成為高分辨率的虛擬“照片”，并與實際照片結(jié)合進(jìn)行匹配，從而將點云數(shù)據(jù)的尺度和密度優(yōu)勢與照片重建的成熟流程相結(jié)合，經(jīng)初步驗證，該方法有效提升了重建結(jié)果的精準(zhǔn)度和可用性。

2 三維模型重建方法

2.1 基于照片的重建方法

基于照片的重建方法主要需要以下幾個前提條件：

1)整個實際場景在拍攝過程中是靜止的；

2)拍攝的照片之間存在明顯的重疊區(qū)域；

3)拍攝照片的相機(jī)內(nèi)參可以獲取或者解算。

照片重建的第一步是通過Sift或者Surf等方法從每張照片提取特征點，然后兩兩圖片進(jìn)行匹配，從中計算出這兩張照片的位置姿態(tài)關(guān)系。因為每兩張照片匹配的結(jié)果特征數(shù)據(jù)組都會被保存到鏈表中，因此在所有的匹配完成后，就可以得到照片和特征數(shù)據(jù)在空間的完整軌跡信息。

下一步工作被稱作Structure from motion(SFM)，即解算得到完整的相機(jī)內(nèi)外參數(shù)和場景的幾何信息，也就是稀疏點云。這一步首先要選擇合適的一對照片作為初始值，然后將鏈表中的其它數(shù)據(jù)逐步輸入進(jìn)來，進(jìn)行捆綁調(diào)整(bundle adjustment)來優(yōu)化和減小數(shù)據(jù)誤差，最終構(gòu)建點云和三角面信息。

由于SFM過程是完全基于照片特征點匹配的結(jié)果生成幾何結(jié)果數(shù)據(jù)，因此它得到的只能是稀疏點云結(jié)果，并不利于后續(xù)的實體網(wǎng)格重建。因此，還需要通過multi view stereo(MVS)的過程來生成密集點云數(shù)據(jù)。

對于已知內(nèi)外參數(shù)的兩張照片，如果它們同時拍攝到的相同的三維幾何結(jié)構(gòu)，那么可以認(rèn)為這兩張照片之間存在極線幾何約束，如圖1所示。

圖1 極線幾何約束

這里的x表示空間中的某一點，x1、x2為X在兩張照片中投影得到的同一點。由于物體存在幾何約束，因此如果已知x1，那么可以在直線L2上通過一維尋找確定x2的位置。

通過這個過程的反復(fù)迭代，可以得到整個場景的稠密點云數(shù)據(jù)，并進(jìn)一步進(jìn)行網(wǎng)格重建，網(wǎng)格簡化，以及紋理的計算和貼敷。從而完成整個三維重建過程。

照片重建方法如今已經(jīng)比較成熟，它的主要問題在于捆綁調(diào)整過程需要的時間很長，稠密點云重建需要的系統(tǒng)資源巨大，而且對于弱特征點的場景(例如純色的墻壁)無法得到理想的重建結(jié)果。雖然如今已經(jīng)有MVSNet等方案，通過人工智能的方法來輔助提升稠密點云計算和網(wǎng)格重建的質(zhì)量，但是并沒有從根本上解決計算量大和過于依賴圖像特征的問題。

2.2 基于點云的重建方法

如果已經(jīng)通過激光掃描設(shè)備獲取了場景的點云數(shù)據(jù)，那么相當(dāng)于跳過了之前照片重建的SFM部分和MVS的第一步，直接獲得了稠密點云，并可用作后續(xù)的網(wǎng)格重建。但是，激光雷達(dá)輸出的點云數(shù)據(jù)只是單純的離散點，并不能保存它們之間的拓?fù)潢P(guān)系。而MVS過程中獲得的幾何空間點，與周圍的點之間的拓?fù)潢P(guān)系是已知的。因為這個問題的存在，單純點云重建時無法參考MVS過程的算法，而是需要考慮Possion等重建方法。

Possion重建的核心思想是：使用點云的位置信息和法線信息作為輸入量；點云表示物體表面的某個位置，其法線向量代表了內(nèi)外的方向；之后隱式地擬合一個由物體派生的指示函數(shù)，從而估算得到物體表面的平滑結(jié)果，如圖2所示。

圖2 Possion重建過程

Possion重建方法需要用戶輸入點云中每個點的法線信息，而一般的激光采集設(shè)備并不能獲取該數(shù)據(jù)。這樣就無法真正建立物體表面的梯度場，又或者建立了錯誤的梯度場信息，進(jìn)而求解得到錯誤的物體表面結(jié)果。

2.3 其它重建方法

除了基于圖像和基于點云的三維重建之外，還有一類常見的重建方法，即Kinect Fusion算法。它的輸入值是連續(xù)的RGB圖像和深度圖像，可以實時輸出場景中的點云位置和法線信息，進(jìn)而構(gòu)建三維網(wǎng)格模型。具體的執(zhí)行流程，如圖3所示。

圖3 Kinect Fusion執(zhí)行流程

因為Kinect Fusion的輸入圖像是連續(xù)的，因此每一幀的相機(jī)位置姿態(tài)與上一幀不會有很大的差別。通過前一幀的相機(jī)位置姿態(tài)信息來估算新一幀的數(shù)據(jù)空間位置，然后和已有點云數(shù)據(jù)進(jìn)行ICP匹配，從而求取得到實際的位置姿態(tài)偏差，也就是真正的當(dāng)前幀相機(jī)位置姿態(tài)信息。

與此同時，將當(dāng)前幀的點云數(shù)據(jù)輸入到全局的TSDF當(dāng)中。TSDF的全稱為Truncated Signed Distance Function，它可以被理解為一個W*H*D大小的體素地圖，每個體素都記錄了自己的表面參數(shù)值以及RGB顏色值等屬性信息。當(dāng)一組新的點云數(shù)據(jù)輸入到TSDF當(dāng)中，它會沿著相機(jī)朝向的方向向量與TSDF的體素進(jìn)行求交，并改變產(chǎn)生交集的TSDF體素的屬性值。

將所有的體素中存儲的表面信息整合到一起，即可輸出平滑的三維網(wǎng)格表面信息，即完成了三維重建的操作。該方法的運行速度快，產(chǎn)生的重建效果較好。但是必須使用連續(xù)的深度圖像作為輸入量。目前市面上只有Microsoft Kinect和一些固態(tài)雷達(dá)產(chǎn)品支持這樣的輸入方式。

3 從點云復(fù)原全景數(shù)據(jù)

提出了一種增強(qiáng)的三維重建方法：基于已有的激光掃描設(shè)備，例如Faro的定點式激光掃描儀，或者車載和背包式的掃描設(shè)備，獲取整個場景的點云信息。然后在點云中重建巡邏路徑，并據(jù)此得到連續(xù)的全景RGB和深度圖像。

3.1 從點云生成稠密深度圖

使用激光掃描設(shè)備采集的場景點云如圖4所示，在場景中手動設(shè)置多個路徑標(biāo)記點，或者也可以根據(jù)背包掃描設(shè)備運動時的路徑來自動采點。這些標(biāo)記點自身的位置姿態(tài)是完全已知的，不需要重復(fù)估算。

圖4 測試場景點云數(shù)據(jù)及路徑標(biāo)記點

對于每一個標(biāo)記點，通過模擬激光雷達(dá)發(fā)射的方式，將水平方向(360度)切分成9000塊，垂直方向(180度)切分成4500塊，因此產(chǎn)生9000*4500條射線。每條射線都可能與當(dāng)前場景點云產(chǎn)生一個或者多個交集，因此最多可能生成9000*4500個交點，也就是這個路徑點所對應(yīng)的模擬激光掃描數(shù)據(jù)結(jié)果，即它的全景稠密深度圖。

一個典型的全景稠密深度圖(9000*4500像素)如圖5所示。

圖5 全景稠密深度圖

3.2 優(yōu)化稠密深度圖的計算

上述處理流程有一個問題是，對于由數(shù)千萬甚至上億個點組成的一個既有點云場景來說，進(jìn)行一次射線與點集的求交計算(與射線距離最近的點滿足閾值要求時，即可認(rèn)為點被射線穿過)是非常損耗時間的。更何況需要執(zhí)行9000*4500次(約為4000萬次)求交，這個處理時間在CPU端是難以接受的。

對這一狀況進(jìn)行優(yōu)化，第一種方案是基于GPU或者多核并行計算的方式，同時適當(dāng)降低分辨率要求，從而提升求交的效率。

第二種方案是將當(dāng)前標(biāo)記點位置當(dāng)作一個虛擬相機(jī)的位置，設(shè)置相機(jī)的FOV視場角度為90°x90°，畫面分辨率為2250x1500。該虛擬相機(jī)依次朝向X+方向，X-方向，Y+方向，Y-方向，Z+方向，Z-方向，共六次渲染整個點云場景到對應(yīng)的深度圖像，再拼接為Cubemap立方圖的方式，如圖6所示。如此也可以快速形成全景深度圖像。

圖6 Cubemap渲染的場景

但是，因為頂點渲染時的采樣問題，這一方法得到的全景深度數(shù)據(jù)有可能存在大量的縫隙，如下圖7所示為通過渲染到Cubemap的方式得到的全景深度圖(沒有包含Z+/Z-兩個方向)。它與圖5相比差異還是比較明顯的，如果要直接用于后續(xù)的重建階段，還需要進(jìn)一步深度數(shù)據(jù)補(bǔ)全的操作。

圖7 渲染Cubemap得到的全景深度圖

3.3 點云全景圖與照片的混合重建

對每個路徑標(biāo)記點進(jìn)行處理之后，沃恩現(xiàn)在已經(jīng)從場景的點云數(shù)據(jù)生成了每個路徑點對應(yīng)的全景深度圖，其中包含了當(dāng)前位置的相機(jī)位置姿態(tài)，以及從相機(jī)出發(fā)的每個點的距離(深度)信息。如果原始點云中的每個點都包含RGB顏色的話，則還可以生成對應(yīng)的全景RGB顏色圖，其中記錄了每個點的RGB數(shù)值。

如果采集的路徑標(biāo)記點數(shù)據(jù)足夠多，那么只需要將全景RGB圖像輸入到照片重建的流程中，就可以極大地豐富輸入照片的內(nèi)容，增加圖像兩兩匹配的幾率，從而提升重建結(jié)果的細(xì)節(jié)程度，并且避免弱特征點區(qū)域重建效果較差的問題。

此外，如果將采集的路徑標(biāo)記點數(shù)據(jù)串聯(lián)起來，形成一條連續(xù)的運行路徑，進(jìn)而得到連續(xù)的全景深度圖像。就可以將它輸入到Kinect Fusion的流程當(dāng)中，模擬相關(guān)高精度設(shè)備的輸入方式。事實上，目前沒有任何現(xiàn)有設(shè)備可以達(dá)到9000*4500的輸出分辨率；而本文的算法并不局限于這一個分辨率數(shù)值，如果系統(tǒng)顯存資源允許，或者數(shù)據(jù)優(yōu)化方案得到進(jìn)一步提升，完全可以再次提升深度圖的分辨率數(shù)值，得到更精確的結(jié)果。

之后，本文所生成的輸入數(shù)據(jù)可以利用TSDF算法的速度和精確度優(yōu)勢來快速建模，實時得到所需的網(wǎng)格模型結(jié)果。當(dāng)然，因為TSDF算法本身也需要大量占用GPU內(nèi)存空間，因此無法使用分辨率過高的輸入數(shù)據(jù)，否則會產(chǎn)生內(nèi)存不足的問題。

4 實例研究

基于RTX3060平臺進(jìn)行了初步的三維重建實驗，選取了北京郊區(qū)的一片廢棄廠房，如圖8所示。并且通過無人機(jī)和Faro激光掃描儀兩種手段對場景進(jìn)行了數(shù)據(jù)采集，獲得足量的照片數(shù)據(jù)和全場景的點云數(shù)據(jù)。點云場景如前圖4所示。

圖8 實際測試場地

只使用照片重建流程，得到的稠密點云數(shù)據(jù)如下圖9所示。

圖9 照片重建流程

使用點云數(shù)據(jù)中采集標(biāo)記點，生成全景RGB和深度數(shù)據(jù)，再輸入到照片重建流程的方案，可以得到新的MVS稠密點云結(jié)果，如圖10所示。

圖10 使用全景照片增強(qiáng)的重建流程

從圖中可以看到，稠密點云的密度有了明顯的增強(qiáng)，并且在一些之前特征不明顯的區(qū)域(例如吊燈，窗外的地面，還有墻面)，有了足夠多的點云數(shù)據(jù)，可以構(gòu)建足夠精細(xì)且準(zhǔn)確的網(wǎng)格數(shù)據(jù)。

5 結(jié)語

隨著數(shù)字孿生技術(shù)的提出和不斷演化，目前已經(jīng)有越來越多的數(shù)據(jù)采集服務(wù)商選擇使用激光雷達(dá)的方式來記錄公路，工廠，大型商場，社區(qū)等區(qū)域和設(shè)施的空間幾何信息，并用于后續(xù)的分析和數(shù)據(jù)管理。但是，如此采集得到的點云數(shù)據(jù)幾乎無法直接轉(zhuǎn)換為三維網(wǎng)格模型，也就難以用于瀏覽呈現(xiàn)，影視素材，GIS/BIM等應(yīng)用場合。相關(guān)用戶也就不得不繼續(xù)采用人工建模等古老且低效率、低精度的方式來完成實體場景的構(gòu)建。隨著技術(shù)的不斷發(fā)展和需求的革新，這個問題如今已經(jīng)越來越凸顯出來。

提出的方法可以有效地將上述海量點云數(shù)據(jù)轉(zhuǎn)換為現(xiàn)有三維重建流程可以直接使用的圖像或者深度圖數(shù)據(jù)；并且在不影響現(xiàn)有重建算法流程的前提下，得到期望的重建結(jié)果。這對于相關(guān)行業(yè)的從業(yè)者來說是非常有現(xiàn)實意義的。

但是，所述方法還需要更多數(shù)據(jù)的檢驗。尤其是路徑標(biāo)記點的設(shè)置過程，目前完全是通過手工操作，是否合理，是否能覆蓋特征點稀少的區(qū)域，完全依賴于人的判斷。如果與Kinect Fusion的重建流程相結(jié)合，還會有數(shù)據(jù)連續(xù)程度的問題，如果深度數(shù)據(jù)的連續(xù)性不好，重疊區(qū)域過少，則會影響Kinect Fusion算法的執(zhí)行，進(jìn)而產(chǎn)生錯誤的結(jié)果。

如何通過更多的測試數(shù)據(jù)來檢驗本文方法的可靠性，以及如何通過自動化的方式來決定標(biāo)記點的采樣流程，這也是下一步主要的研究方向。