陳佳舟,彭鶴年,吳 寧,秦緒佳

1(浙江工業(yè)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,杭州 310023)2(衢州學(xué)院 建筑工程學(xué)院,浙江 衢州 324000) E-mail:qzxy_wn@foxmail.com

1 引 言

諸如古建筑、雕塑等文物是人類在社會活動中遺留下來的具有歷史、藝術(shù)、科學(xué)價值的遺物和遺跡,它是人類寶貴的歷史文化遺產(chǎn).因此各界不遺余力地想出許多辦法加以保護.然而,對于如何快速、精確的修復(fù)受損文物;如何在避免對珍稀文物二次損傷的情況下研究珍稀文物的歷史、文化價值仍是文物保護領(lǐng)域的難題.

高精度的文物三維模型可以長久的、無損傷地保留文物外觀信息.在文物修復(fù)方面,可以參照文物模型進行精確修復(fù);對于珍稀文物,可以基于文物三維模型或者三維打印模型進行研究,避免對珍稀文物的二次損傷.因此,文物三維模型對于文物的保護與研究都具有重要意義.

現(xiàn)有的三維重建方法主要分基于激光掃描和基于圖像的重建技術(shù)兩種,其中激光掃描技術(shù)相比于圖像重建技術(shù)精度更高,但是激光掃面設(shè)備昂貴,不利攜帶,適用于大場景范圍內(nèi)的三維重建工作;對于文物重建,特別是室內(nèi)文物重建工作,由于空間和成本的限制,基于激光掃面技術(shù)并不合適.而基于圖像的重建技術(shù)不受場地限制,設(shè)備更加便宜,并且可以利用現(xiàn)有的大量文物照片進行重建.因此,基于圖像的重建技術(shù)在文物保護領(lǐng)域得到越來越多的重視.

現(xiàn)有的基于圖像的三維重建工具以商業(yè)軟件為主,雖然能夠重建出精確度很高的三維模型,但由于采集到的圖片中存在大量的背景元素或者光照等干擾信息,重建模型中存在大量的冗余物體面片.這些冗余面片對應(yīng)的圖像數(shù)量及光照條件都不足,使得重建出來的冗余面片并不準確,會給文物修復(fù)及研究帶來誤導(dǎo),并且這些冗余面片對應(yīng)物體并不是文物保護和研究的重點,因此需要刪除重建出的模型中大量的冗余誤差面片.

現(xiàn)有的基于圖像的三維重建方法主要通過手動交互或參數(shù)調(diào)節(jié)來實現(xiàn)最終的物體三維重建.以WU Chang-chang提出的VisualSFM(1)http://ccwu.me/vsfm/，2011.為例,用戶首先需要通過Stucture From Motion(SFM)技術(shù)重建出稀疏點云,然后再根據(jù)基于塊的稠密匹配重建出稠密點云.然而,該方法生成的稠密點云中存在大量冗余點,需要手工交互加以刪除后才能夠重建出物體三維網(wǎng)格.此外,重建網(wǎng)格仍然會包含大量冗余面片,需要繼續(xù)通過手工交互加以刪除之后才能進行紋理參數(shù)化及映射.這些用戶交互依賴于一定的經(jīng)驗,且需要等待交互完成后才能進行下一步操作,增加了文物三維重建的時間和經(jīng)濟成本,阻礙了基于圖像的三維重建技術(shù)在文物保護領(lǐng)域的廣泛應(yīng)用.

本文在現(xiàn)有基于圖像的三維重建方法基礎(chǔ)上,提出了一種文物三維重建誤差點的自動剔除方法.利用重投影計算重建點云在圖像集中的平均可見概率,判斷其是否為誤差點;再通過空間剖分的聚類方法,去除背景冗余點;然后對曲面重建的網(wǎng)格模型,再次利用重投影刪除誤差面片;最后通過紋理參數(shù)化和映射,得到準確的文物重建結(jié)果.該方法能夠全自動地完成整個三維重建過程,其重建結(jié)果在保留文物主體信息的同時刪除大量的誤差和冗余信息,能夠高效地生成可直接用于文物數(shù)字化展示與考古的文物三維模型.

2 相關(guān)工作

三維重建在游戲、虛擬現(xiàn)實、醫(yī)療診斷、電影等領(lǐng)域擁有廣泛的應(yīng)用前景.近些年來,圍繞著三維重建,學(xué)者們開展了大量的研究工作.

靜態(tài)物體的三維重建研究已經(jīng)發(fā)展了數(shù)十年,目前該技術(shù)已日趨成熟.主要分為基于光學(xué)原理和基于圖像的方法兩大類.其中三維激光掃描技術(shù)利用激光測距的原理,通過記錄被測物體表面大量的密集點的三維坐標(biāo)、反射率和紋理等信息,可快速復(fù)建出被測目標(biāo)的三維模型及線、面、體等各種圖件數(shù)據(jù).然而,激光掃描儀設(shè)備較為昂貴、攜帶不方便,只適用于大范圍的三維重建工作.

基于圖像的三維重建方法可以分為單目和雙目立體視覺方法兩種.WANG Xin等[1]將視差細化處理環(huán)節(jié)引入雙目立體視覺的重建過程中,有效提升了重建點云的精度.XU P[2]等利用基于圖像特征的方法能夠重建出3D織物表面圖案.Ran M[3]在SIFT算法的基礎(chǔ)上,使用雙目視覺模型提取圖像信息,進而重建出瀝青路面三維紋理信息.

單目視覺三維重建對設(shè)備要求更低,應(yīng)用范圍更廣.為了提高三維重建速度,WU Chang-chang將GPU加速應(yīng)用于SIFT算法(2)http://cs.unc.edu/～ccwu/siftgpu,2007.,加快了點云的生成,并結(jié)合其研究成果[4,5]構(gòu)建了VisualSFM系統(tǒng),結(jié)合PMVS算法可以生成稠密點云.Salzmann M[6]提出了新穎的單眼可變形狀恢復(fù)方法,可以處理復(fù)雜照明情況及部分紋理表面的點云重建工作.Kuhl A[7]等結(jié)合幾何和實孔法進行靜態(tài)的三維物體重建工作,但是此方法需要固定相機的焦距,在大范圍、復(fù)雜場景下的三維重建將受到限制.

此外,隨著深度學(xué)習(xí)越來越多的用于計算機視覺的二維圖像的檢測、分割和分類等,近年來一些學(xué)者也嘗試將深度學(xué)習(xí)引入三維重建.Girdhar R[8]等利用自動編碼-CovNets學(xué)習(xí)-解碼過程得到相應(yīng)的三維模型.同類型的工作還有Choy C B[9]使用的編碼-三維長短記憶網(wǎng)絡(luò)(3D Long Short-Term Memory)-解碼的網(wǎng)絡(luò)結(jié)構(gòu)建立二維圖像到三維體素模型的映射關(guān)系.但是相比于傳統(tǒng)的三維重建法方,基于深度學(xué)習(xí)的三維重建訓(xùn)練量任務(wù)大、并且得到的三維模型精度更低.所以本文仍采用傳統(tǒng)的基于圖像的三維重建方法.

由于生成點云中存在大量冗余點,需刪除點云中的冗余點才能保證后續(xù)重建工作的順利進行.Vo A V[10]等采用基于區(qū)域增長的八叉樹方法進行點云分割用于快速的表面分割,能夠較為精確的分割點云數(shù)據(jù).Hu F[11]通過結(jié)合K-means和八叉樹算法進行點云分割,從而達到三維物體檢測的目的.八叉樹算法多用于游戲行業(yè)中的碰撞檢測,其主要思想是將整個空間分為大小一樣的八個子空間,如果子空間中仍包含過多三維點,則將該子空間繼續(xù)劃分為八個更小的子空間,直到達到子空間的點數(shù)量不多為止.但是對于本文點云分布范圍廣的情況,采用八叉樹點云分割方法進行點云分割會使得構(gòu)建的八叉樹高度太高,搜索效率降低,占用存儲空間變大.Zhang K[12]使用高維的mean-shift聚類算法進行點云聚類,在聚類過程中不僅需要三維點的位置信息,還需要結(jié)合三維點的顏色信息綜合考慮,而本文方法僅僅需要位置信息就能得到非常好的效果從而達到去除冗余點的目的.基于統(tǒng)計分析的濾波方法[13]需要統(tǒng)計每個點的鄰域信息,進而計算平均值,再依據(jù)平均值信息判斷三維點是否為冗余點從而達到去除冗余點的目的.此方法同樣也不適用于本文的廣泛分布的離散點云情況.因此本文提出了重投影剔除和基于空間剖分的擴散聚類算法來刪除點云中的冗余點.

在得到三維點云之后,需要將點云數(shù)據(jù)重建為曲面.從點云到曲面的重建方法很多,OU Yuan-han等[14]使用基于MVS點云的表面重建方法進行城市建筑的重建,通過統(tǒng)計分析濾波方法去除點云表面和周圍的冗余點,能夠有效恢復(fù)建筑物平面和尖銳特征,但是需要對輸入點云進行預(yù)處理.本文采用泊松曲面重建算法[15,16]進行曲面重建,泊松曲面重建基于泊松方程,通過求解泊松方程得到需要測量的點云數(shù)據(jù)最合適的等值曲面,然后對其進行插值優(yōu)化來逼近原始的曲面.

本文在現(xiàn)有研究的基礎(chǔ)上,通過對重建出來的稠密點云、網(wǎng)格曲面利用重投影剔除和基于空間剖分的聚類算法刪除其中的冗余信息,在得到重建物體模型的同時刪除大量冗余面片,得到文物保護領(lǐng)域需要的三維模型.本文第三部分詳細討論重建流程及本文提出的方法,在第四部分展示本文方法的結(jié)果并與商業(yè)軟件進行對比.最后對本文方法進行總結(jié),討論不足與未來研究方向.

3 三維重建

本文方法的主要步驟分為重建稠密點云、重投影剔除和基于空間剖分的擴散聚類方法刪除冗余點,將處理后的點云用于曲面重建,再刪除重建后模型中的冗余面片,最后進行紋理參數(shù)化,從而得到最終三維模型,主要流程如下所示.

Step 1.輸入圖片集;

Step 2.重建稠密點云;

Step 3.刪除稠密點云中大量冗余點;

Step 4.泊松重建;

Step 5.刪除重建曲面中存在的大量冗余三角面片;

Step 6.紋理參數(shù)化及紋理映射.

3.1 重建稠密點云

在采集到充足圖片數(shù)據(jù)后,通過SFM算法重建出稀疏點云.首先通過SIFT算法對每張圖像提取特征點、計算特征描述符并進行特征匹配,用隨機抽樣一致算法過濾掉其中的誤匹配;計算本征矩陣、恢復(fù)相機姿態(tài)并計算出對應(yīng)點云,通過不斷迭代所有圖片最終可得到模型的稀疏點云.然后根據(jù)The Patch-based Multiview Stereo Algorithm(PMVS)[17]算法構(gòu)建出稠密的三維點云.PMVS算法首先匹配通過Harris角點檢測和Difference-of-Gaussians(DOF)算法得到的特征點,從而生成一系列稀疏的patches.得到初始匹配后,不斷迭代以獲取更加稠密的patches,并且過濾掉其中的誤匹配,從而最終達到生成稠密點云的目的.

在重建三維稀疏點云的過程中,會恢復(fù)出每幅圖像對應(yīng)的相機姿態(tài)信息(包括三維位置和朝向),然后通過PMVS算法可以得到稠密的三維點云.由于采集到的圖片中大都存在背景物體,因此這些稠密點云中存在大量的冗余點,并且這些背景物體采樣不充足,不是文物研究保護的重點,所以在進行泊松重建之前必須刪除這些冗余點.

3.2 重投影剔除

帶有大量背景冗余點的重建點云不能夠直接用于最終的文物表面三維重建.為了去除這些背景冗余點,本文通過將三維點云重投影到圖像平面上,計算三維點在圖像中的平均可見概率,當(dāng)平均可見概率值小于給定閾值時刪除對應(yīng)三維點,從而去除大部分冗余點.

在重建稀疏點云過程中,能夠恢復(fù)出相機的內(nèi)、外部參數(shù):相機焦距、相機朝向及相機位置,從而可以構(gòu)建出相機在每一幅圖片下的外參矩陣[R|t]:

(1)

其中R為相機的旋轉(zhuǎn)矩陣,t為相機的位移向量.所以,對于每一個三維點P,通過以下公式

Pi=K[R|t]P

(2)

可以將世界坐標(biāo)中的三維點P投影到第i張圖像Ii平面上的二維點Pi,其中K是相機的內(nèi)參矩陣,fx、fy是相機焦距,u0、v0是主點偏移,并且u0、v0與圖像大小相關(guān),分別取圖像長寬的1/2.

(3)

如果投影點Pi在圖像Ii的成像范圍內(nèi),表明該相機對三維點P可見,記為δ(Pi)=1;如果投影點Pi不在圖像Ii的成像范圍內(nèi),則記δ(Pi)=0.由于拍攝的絕大部分照片都是朝向目標(biāo)文物的,目標(biāo)文物上的所有三維點在大部分圖像上都是可見的.相反,背景物體往往在部分視角下的圖像上沒有被拍到,因此不是都可見的.為此,本文統(tǒng)計三維點P在所有相機中的可見性,計算其平均可見概率ρ:

(4)

其中,N為采集圖像的數(shù)量.圖1(b)展示了三維點的平均可見概率,點云中間部分亮度更高,即可見概率更高,而外圍部分更暗,即可見概率更低.因此,本文設(shè)定一個閾值(本文閾值概率大小設(shè)置為0.9,可手動調(diào)節(jié)),當(dāng)三維點的可見概率小于該閾值時,則認為此三維點是冗余點.否則,視作文物三維點,加以保留.

圖1 稠密點云可見概率效果Fig.1 Visible probability of 3D points

通過以上重投影剔除方法,可以有效刪除大量的冗余點或者冗余面片.由于只計算了三維點的投影位置,沒有考慮物體之間的遮擋關(guān)系,因此基于點云重投影的方法不會受到物體自遮擋的影響.但是,在待重建物體附近若存在其他物體,或者由于拍攝圖像時的原因,使得待重建物體周邊的物體總是出現(xiàn)在圖像上,此方法并不能都保證能夠?qū)⑷哂帱c都刪除干凈,在待重建物體周邊仍然會存在不連續(xù)的點云或面片數(shù)據(jù),如圖2中(b)所示,在重建模型周邊仍存在大量冗余點(線框標(biāo)注部分),僅僅通過重投影方法并不能保證刪除所有冗余點或者冗余面片.

3.3 連通性剔除

為了刪除重投影剔除后的待重建物體周圍的離散冗余點云,本文參考八叉樹劃分空間的方法,提出一種基于空間剖分的擴散聚類方法,將所有點云聚成空間中不連通的類,并將三維點數(shù)量最多的一類作為待重建文物所在的點云加以保留,其他類則予以刪除.

由于重投影剔除后得到的點云可能依然是比較稀疏的,用傳統(tǒng)八叉樹對整個空間進行劃分會浪費大量計算.而本文提出的基于空間剖分的擴散聚類方法僅僅對于存在三維點的地方才會劃分正方體空間,內(nèi)存消耗更小;并且通過正方體空間唯一標(biāo)志,即最小坐標(biāo)Ni直接找相鄰的正方體空間,搜索時間更快.特別地,對于冗余點廣泛分布的情況,基于空間剖分的擴散聚類算法相對于八叉樹算法優(yōu)勢更加明顯.

圖2 重投影剔除效果Fig.2 Result of reprojection

由于需要聚類的點云數(shù)量極為龐大,直接聚類的計算時間通常很長.為此,本文先對三維空間進行規(guī)則正方體剖分,即獲取正方體空間的唯一標(biāo)志Ni,然后將有點的正方體作為它所包含的點的代表進行高效的連通性聚類.具體而言,首先對每個三維點Pi(x0,y0,z0)對應(yīng)點坐標(biāo)x0,y0,z0分別除以一個有理數(shù)d(本文取0.2)并取整,這時將得到一個新的以整數(shù)表示的坐標(biāo)信息Ni(x,y,z).此時,以Ni作為正方體中坐標(biāo)值最小的點,構(gòu)建邊長為d正方體,則正方體內(nèi)的所有坐標(biāo)在X、Y、Z坐標(biāo)軸上的取值范圍為公式(5)所示的左閉右開區(qū)間.

(5)

現(xiàn)在對于正方體內(nèi)另外任意一點Pk(x1,y1,z1),x1、y1、z1分別除以d并取整得到Nk(x′,y′,z′),所以,x1/d∈[x,x+1),又因為是取整操作,所以x′=?x1/d」=x,同理,y′=?y1/d」=y,z′=?z1/d」=z,所以可以得到Ni==Nk,其中?X」表示對X進行取整.也就是說對于任意一個三維點Pk,若Pk的坐標(biāo)值分別除以d得到的坐標(biāo)Nk與Ni相等,則Pk一定位于以Ni為正方體中坐標(biāo)值最小的點,邊長為d的正方體內(nèi),所以可以根據(jù)Ni將在正方體內(nèi)的所有三維點歸為一類.按照此方法,可以將所有點云劃分到各個以邊長為d的正方體空間之中.之后隨機選擇一個正方體,根據(jù)正方體最小坐標(biāo)Ni尋找相鄰的正方體,所有相鄰的正方體空間再次聚為一大類,直到所有點云聚類完成.算法流程如下所示:

Step 1.對于每一個三維點除以d,得到唯一對應(yīng)的正方體最小坐標(biāo)點Ni;

Step 2.將正方體最小坐標(biāo)點一致的三維點放在一個空間(容器)中,并記錄正方體空間最小點坐標(biāo)用于后續(xù)聚類;

Step 3.重復(fù)上述步驟1、2,直到所有三維點遍歷完.此時所有三維點均按照正方體最小坐標(biāo)Ni放在了不同的空間(容器)中,完成初步歸類;

Step 4.對于每一個正方體空間,通過空間最小坐標(biāo)Ni直接找相鄰的正方體空間,若存在且未訪問過,則將這些相鄰的正方體空間放進隊列中;

Step 5.取隊列首元素,重復(fù)步驟4,將相鄰的正方體空間歸為一大類;

Step 6.重復(fù)步驟4、5,直到遍歷完所有正方體空間.

空間剖分效果如圖3所示,圖3(b)中正方體邊長為實際邊長的兩倍,以方便展示效果.空間剖分完成后,可以根據(jù)正方體之間的連通性進行聚類,每一不連續(xù)的正方體空間為一大類,獲取每一大類中三維點的數(shù)量,三維點數(shù)量最多的那一類即為目標(biāo)物體所在的類,其他類中的三維點均刪除,從而刪除點云中存在的大量冗余點.

圖3 空間剖分效果Fig.3 Result of spatial division

經(jīng)過重投影剔除和聚類算法處理過后,重建出來的稠密點云中大量的與主體不連續(xù)的冗余點被刪除,效果如圖6(b)、(d)、(f)所示.

3.4 冗余面片剔除

經(jīng)過處理的點云可以用于泊松曲面重建,對于非封閉的待重建物體,曲面重建過程中會生成一定數(shù)量的多余三角面片,使得所有面片盡量組成封閉的環(huán)境.如果不經(jīng)過處理,重建出來的效果將會多出許多不必要的面片,因此,需要采用重投影剔除和擴散聚類算法對泊松重建生成的面片進一步處理,得到的效果分別如圖4(b)所示.經(jīng)過處理后,可以刪除大量多余的三角面片,簡化了泊松重建的結(jié)果.

最后,對于去除了誤差點的網(wǎng)格模型進行紋理參數(shù)化與紋理映射,可以得到最終可用于展示的文物三維模型.

4 結(jié)果與討論

從圖片到三維模型的重建工具有很多,其中開源的VisualSFM、PMVS、MeshLab雖然也能夠用于基于圖像的三維重建,但是在重建過程中需要大量的手工交互,極大的浪費時間和人力資源.

本文通過結(jié)合開源工具和提出的重投影剔除、基于空間剖分的擴散聚類算法,能夠全自動的進行三維重建工作,手工交互和全自動重建結(jié)果如圖5所示.雖然手工交互得到的模型更加精簡,但是在重建過程中需要在中間文件生成后才可以進行手工交互,浪費等待時間,并且手工交互的時間也需要一分鐘以上,交互復(fù)雜,交互花費大量時間.如圖5(a)所示,手工交互模型得到了最大程度的簡化,但是本文方法可以在極少量交互的情況下(通常在幾秒內(nèi)完成)得到圖5(b)圖中的三維模型,與手動重建相比節(jié)省了大量的時間.

圖5 手動交互與全自動方法結(jié)果對比Fig.5 Comparison between manual interaction and automatic reconstruction method

此外,商業(yè)軟件也能夠?qū)崿F(xiàn)全自動的重建效果,比如Altizure.但是,Altizure生成的模型會保留大量的周邊物體的網(wǎng)格信息,如圖6(a)、(c)、(e)所示,線框中的物體為待重建物體,在線框之外還存在大量的三角面片.對于文物重建來說,待重建物體模型周邊的面片由于圖像數(shù)據(jù)采集不充足,光照條件相對于模型主體來說更差,并且這些面片也不是文物保護與研究的重點,因此需要在保留主體部分的同時盡可能刪除主體周圍的冗余面片.特別地,如圖6(e)所示,在浮雕的重建結(jié)果中,可以發(fā)現(xiàn)大量的冗余面片.圖6(b)、(d)、(f)展示了本文方法的結(jié)果,不難發(fā)現(xiàn),本文方法保留了目標(biāo)文物的主體,且去除了大部分背景冗余點.

圖6 Altizure與本文方法效果對比Fig.6 Comparison between Altizure and our method

通過本文方法,在采集到充足圖片數(shù)據(jù)之后(浮雕等簡單物體40-50幅圖片左右,石獅等復(fù)雜的物體需要100幅圖片左右),能夠全自動的對文物進行三維重建,并且可以刪除生成的中間文件中大量冗余的點云和面片,避免背景物體和誤差點對文物重建產(chǎn)生干擾,對文物保護與研究具有重要意義.

5 結(jié)束語

本文提出了一種文物三維重建誤差點的自動剔除方法.由于基于圖像的三維模型重建在生成目標(biāo)文物的稠密點云和網(wǎng)格曲面的同時也產(chǎn)生了大量背景冗余點和重建冗余面片,本文提出的基于可見概率的重投影剔除和基于空間剖分的擴散聚類方法,能夠有效地檢測和去除誤差信息,使得重建模型在保留主體的同時刪除大量冗余面片,避免背景物體和誤差點對文物重建產(chǎn)生干擾,對文物的數(shù)字化保護與研究具有重要意義.

本研究雖然能夠?qū)崿F(xiàn)全自動重建效果并極大簡化模型數(shù)據(jù),但是仍有諸多方面尚待完善.當(dāng)拍攝照片數(shù)量太少、拍攝環(huán)境光線太暗、文物存在大量自遮擋等不利條件下,本文方法容易出現(xiàn)重建模型精度下降的問題,這正是未來需要解決的,即如何在相對復(fù)雜環(huán)境下盡量提高重建模型精度.