隗 娜,郭向坤,董志勇,張兆偉

1(中國科學(xué)院大學(xué),北京 100049)

2(中國科學(xué)院 沈陽計(jì)算技術(shù)研究所,沈陽 110168)

3(陸軍炮兵防空兵學(xué)院 士官學(xué)校,沈陽 110867)

近幾十年來,在計(jì)算機(jī)圖形學(xué)、虛擬現(xiàn)實(shí)和通信等方面人們對(duì)3D 模型的需求和要求與日俱增.但是用于構(gòu)建3D 模型的許多現(xiàn)有系統(tǒng)是圍繞專用硬件(例如立體設(shè)備)構(gòu)建的,導(dǎo)致成本較高,不能滿足其新應(yīng)用的要求.對(duì)于集成虛擬和真實(shí)數(shù)據(jù)的許多應(yīng)用來說從攝影圖像自動(dòng)重建物體和環(huán)境的三維模型是很重要的.其中稠密重建是至關(guān)重要的一環(huán),對(duì)其相關(guān)算法進(jìn)行改進(jìn)和優(yōu)化具有十分重要的意義.近年來,國內(nèi)外學(xué)者對(duì)稠密重建相關(guān)算法進(jìn)行深入的研究,并提出了許多優(yōu)秀的算法.

通常用基于特征分割的區(qū)域增長和聚類的方法,而基于體素的算法很少使用.區(qū)域增長的方法是從具有預(yù)定標(biāo)準(zhǔn)的點(diǎn)云中選擇種子點(diǎn),然后把滿足種子點(diǎn)預(yù)定要求的所有相鄰點(diǎn)添加到與種子點(diǎn)相同的子集中.隨后,選擇除此種子點(diǎn)之外的子集中滿足預(yù)定標(biāo)準(zhǔn)的點(diǎn)作為新的種子點(diǎn).重復(fù)該過程直到不能將任何點(diǎn)添加到子集中[1].但是該方法計(jì)算量大、且效率不高,難以滿足時(shí)效需求.

Yasutaka Furukawa 等人在2009年提出基于面片的多視圖立體三維稠密重建PMVS 算法,其在三維重建的完整性和精度上都具有較為突出的表現(xiàn)[2].目標(biāo)體的圖片經(jīng)過特征點(diǎn)匹配,擴(kuò)展,過濾等步驟生成稠密點(diǎn)云,相比較于其他稠密重建算法該算法準(zhǔn)確,簡單,高效,能夠自動(dòng)檢測和忽略外部點(diǎn)和障礙點(diǎn),是現(xiàn)在使用最廣泛的方法之一.但是在紋理稀疏的區(qū)域重建效果不好,甚至出現(xiàn)孔洞殘缺,部分細(xì)節(jié)失真的情況.

本文針對(duì)上述問題提出了基于像素插值的特征點(diǎn)選取算法和對(duì)PMVS 候選點(diǎn)匹配策略的改進(jìn)優(yōu)化.該方法不僅能保證紋理稀疏區(qū)域較好的重建效果,還能提高效率有效剔除誤匹配點(diǎn),得到多且分布均勻的稠密點(diǎn)云數(shù)據(jù).

1 PMVS 算法

PMVS 是用于多視圖立體視覺稠密重建的算法,是一種使用同一物體不同角度的多幅圖像進(jìn)行三維建模的技術(shù),其需要的圖像數(shù)量至少兩幅.該算法最終輸出一組覆蓋整個(gè)重建目標(biāo)可見部分的小矩形塊密集集合.PMVS 的實(shí)現(xiàn)過程有匹配,擴(kuò)展和過濾,從稀疏的匹配關(guān)鍵點(diǎn)集開始,重復(fù)擴(kuò)展,然后經(jīng)過可見性約束來過 濾掉錯(cuò)誤匹配.過程如下圖所示:

圖1 PMVS 算法流程圖

1.1 初始化特征點(diǎn)檢測與匹配

首先對(duì)輸入的一組圖片用Harris 和DoG 算子來提取圖像的特征角點(diǎn),最終產(chǎn)生面片的稀疏集合,作為種子點(diǎn).在每張圖片上劃分網(wǎng)格,每個(gè)網(wǎng)格大小為a×a(a=32 pixel)且選擇n(n=4)個(gè)局部極大值點(diǎn).當(dāng)前操作圖片作為參考圖像,剩余的圖片作為其他圖像.進(jìn)行特征點(diǎn)對(duì)匹配時(shí),選取其他圖片中主光軸與參考圖像夾角小于60 度的圖片[3].對(duì)于每張圖片,以及對(duì)應(yīng)的光心,依次作為參考圖像按照極線約束在其他圖像中進(jìn)行同種類型特征點(diǎn)匹配,由每一特征點(diǎn)對(duì)按照三角化方法求出模型點(diǎn)坐標(biāo).然后由模型點(diǎn)輪流初始化patch,直至成功.

1.2 面片擴(kuò)散

由于初始匹配只有一組稀疏的面片,因此擴(kuò)展對(duì)于生成足夠密集的面片非常重要.上一步生成的稀疏點(diǎn)依次作為種子面片向其領(lǐng)域進(jìn)行擴(kuò)散.新生成的面片具有和種子面片相同的法向量,通過鄰域網(wǎng)格中心的光線與種子面片所在平面的交點(diǎn)作為其中心.若鄰域內(nèi)已經(jīng)存在平均相關(guān)系數(shù)較大的patch,則不向該鄰域擴(kuò)散[3,4].Patch 投影到圖片和參考圖片之間的相關(guān)系數(shù)要大于閾值則認(rèn)為是成功擴(kuò)散了一個(gè)patch,否則失敗.稀疏面片集中的每個(gè)patch 依次作為種子點(diǎn)進(jìn)行擴(kuò)展,直至每幅圖片的每個(gè)網(wǎng)格Ci(x,y)中至少有一個(gè)重建patch 為止.

1.3 面片過濾

過濾是為了盡可能的去除一些面片擴(kuò)展中生成的錯(cuò)誤面片,以此來提高重建的準(zhǔn)確性.濾除的過濾器大都遵從可視一致性的原則:過濾掉網(wǎng)格中不連續(xù)的面片；通過每個(gè)面片P和它八鄰域內(nèi)映射的面片數(shù)進(jìn)行二次曲面擬合,過濾掉八鄰域殘差之和大于閾值的面片P；通過深度測試計(jì)算得到可視面片組的數(shù)目,對(duì)于數(shù)量較小的patch 組會(huì)被認(rèn)為是異常值過濾掉[3].

2 特征點(diǎn)選取

一些角點(diǎn)檢測方法,如Harris 等,是旋轉(zhuǎn)不變的.這意味著,即使圖像旋轉(zhuǎn),我們也可以找到相同的角點(diǎn)[5-7].這很明顯,因?yàn)榻屈c(diǎn)在旋轉(zhuǎn)的圖像中也是角點(diǎn),但是在縮放的圖像中角點(diǎn)可能就不是角點(diǎn)了.所以Harris 不是尺度不變的.

尺度不變特征變換(SIFT)是計(jì)算機(jī)視覺中的特征檢測算法.在加拿大獲得專利,并于1999年由David Lowe 出版[8].應(yīng)用包括物體識(shí)別,機(jī)器人繪圖和導(dǎo)航,圖像拼接,3D 建模,手勢識(shí)別和視頻跟蹤.

2.1 SIFT 算法

SIFT 的一個(gè)重要特征是特征點(diǎn)在原始場景中的相對(duì)位置不會(huì)隨著圖像的角度變換而改變.如果正在處理的集合中的兩個(gè)圖像之間存在幾何形狀的變化,則位于形變對(duì)象中的特征通常不起作用.然而,在實(shí)踐中SIFT 并不受尺度的影響,可以檢測到來自圖像的更多特征,減少了由這些局部變化引起的平均誤差.SIFT 還可以在噪點(diǎn)和部分遮擋下穩(wěn)健地識(shí)別物體,因?yàn)镾IFT 特征描述符對(duì)于均勻縮放,方向、光照變化和仿射失真是不變的.

SIFT 方法從圖像特征生成大量特征向量,每個(gè)特征向量對(duì)于圖像平移,縮放和旋轉(zhuǎn)都是不變的,對(duì)于照明變化是部分不變的,對(duì)局部幾何失真是魯棒的.在一系列平滑和降采樣圖像的尺度空間中應(yīng)用高斯卷積得到結(jié)果的最大值和最小值定義為關(guān)鍵點(diǎn),沿著邊緣的低對(duì)比度候選點(diǎn)和邊緣響應(yīng)點(diǎn)則被剔除.主導(dǎo)方向作為關(guān)鍵點(diǎn)的方向.高斯差分公式如下:

其中,σ是尺度因子,k是相鄰兩個(gè)尺度空間倍數(shù)的常數(shù).因此,尺度kiσ和kjσ之間的DoG 圖像恰好是尺度kiσ 和kjσ處的高斯模糊圖像的差異.其中L(x,y,σ)是原始圖像I(x,y)與高斯模糊函數(shù)G(x,y,σ)在 尺度空間kσ上的卷積:

但是對(duì)于紋理稀疏的區(qū)域SITF 選取的局部極值點(diǎn)有限,最后得到的點(diǎn)稀疏且不均勻.為了獲得更多對(duì)比度較好的關(guān)鍵點(diǎn),在選取同種特征點(diǎn)時(shí),一般選擇降低閾值,但這種方法增加特征點(diǎn)個(gè)數(shù)的同時(shí),干擾因素也相應(yīng)增加了.為了解決這個(gè)問題,在SIFT 計(jì)算過程中得到極值點(diǎn)后,加入像素插值的計(jì)算,然后在與閾值進(jìn)行比較來提取特征點(diǎn).

2.2 像素插值

通過SIFT 算法計(jì)算得到的關(guān)鍵點(diǎn)存在噪聲點(diǎn),所以要通過閾值篩選來剔除一些低對(duì)比度和不穩(wěn)定的邊緣關(guān)鍵點(diǎn).在這里像素插值的作用就是不用降低閾值,也能篩選出一些低于閾值但有較高對(duì)比度的關(guān)鍵點(diǎn)[9].插值公式如下:

式中,F(x,y)代表插值后的像素值,F0(x,y)代表原來圖像坐標(biāo)為(x,y)處的像素值,其中u(0 ＜u＜1),n(0 ＜n＜10).假設(shè)3×3窗口像素矩陣分布如下:

前提:矩陣(a)是需要重建的目標(biāo)區(qū)域,(b)是不需要重建的非目標(biāo)區(qū)域.假設(shè):閾值|ε|＞4.1.

這兩個(gè)窗口的中心都是極值4.0,根據(jù)預(yù)設(shè)條件這兩個(gè)窗口的極值點(diǎn)不會(huì)被篩選出來.但通過前提條件可知,(a)這個(gè)窗口是應(yīng)該被選取的.否則無法保證該部分的重建精度.根據(jù)式(4),不妨設(shè)u=v=0.01,n=3,則計(jì)算得到插值后的像素排列是:

從上述結(jié)果看出,(a)插值后的窗口(a*)中可以提取到特征點(diǎn),而(b*)中不符合條件,這樣就與前提相符.插值計(jì)算并沒有改變原來圖像中的像素值,只在特征點(diǎn)選取時(shí)將符合條件的點(diǎn)篩選出來.這樣一來不僅能增加紋理稀疏區(qū)域的特征點(diǎn),使得獲得的特征點(diǎn)多且均勻,還為后面的稠密重建提供更多的信息,提高重建的完整性.

3 改進(jìn)候選點(diǎn)選取策略

PMVS 算法對(duì)一般的模型重建效果較好,但模型表面凹凸不平,粗糙不光滑時(shí),PMVS 算法在生成種子候選點(diǎn)時(shí)可能出現(xiàn)錯(cuò)誤匹配,導(dǎo)致細(xì)節(jié)出錯(cuò).前面已經(jīng)提到了,在初始特征匹配時(shí),參考圖像上的每一個(gè)特征點(diǎn)在其他圖像上尋找候選的匹配點(diǎn),每一對(duì)候選匹配點(diǎn)對(duì)交會(huì)得到模型點(diǎn).然后求得模型點(diǎn)與參考圖像攝像機(jī)中心的投影距離,把模型點(diǎn)按照距離升序排序[10].這種方式在圖2點(diǎn)A和B的選取中是適用的,但是并不適用與C和D的選取.如圖2所示,設(shè)原點(diǎn)為光心,假設(shè)A，B，C，D四點(diǎn)為候選模型點(diǎn).當(dāng)投影距離和直線距離成正比時(shí),投影距離可代替直線距離,如點(diǎn)A和B中自然是選擇更近的點(diǎn)A.但也有特殊的情況,如圖中的點(diǎn)C和D,從圖中可以看出C點(diǎn)的投影距離小于D點(diǎn)的投影距離,按照原有的方法應(yīng)該選取C點(diǎn).但C點(diǎn)距光心直線距離比D點(diǎn)大,實(shí)際上D點(diǎn)更近些,應(yīng)該首選D點(diǎn).至此,我們可以看出原來的方法會(huì)造成特征點(diǎn)匹配失誤,增加匹配時(shí)間且影響最終重建效果.所以本文提出在匹配候選點(diǎn)選取時(shí)改投影距離為直線距離,這樣可以兼顧多種情況,選取的候選點(diǎn)會(huì)更加可靠,理論上重建效果比原來要好.

圖2 候選點(diǎn)與光心距離示意圖

下面給出改進(jìn)算法的基本步驟和算法流程圖:

PMVS 改進(jìn)算法

1) 根據(jù)SIFT 方法提取所有圖像的DoG 空間極值點(diǎn)；

2) 計(jì)算所有局部極值點(diǎn)的像素插值,再通過尺度空間DoG 函數(shù)進(jìn)行曲線擬合,進(jìn)行閾值篩選；

3) 對(duì)模型點(diǎn)到攝像機(jī)光心的實(shí)際距離進(jìn)行升序排序,然后進(jìn)行初始特征點(diǎn)匹配；

4) 生成初始patch,作為種子點(diǎn)；

5) 選擇初始種子點(diǎn)進(jìn)行面片擴(kuò)展,得到空間有向面片的稠密集合；

6) 對(duì)錯(cuò)誤的點(diǎn)云數(shù)據(jù)進(jìn)行濾除；

7) 步驟5)至步驟6)重復(fù)至少3 次,完成物體的稠密三維重建.

4 實(shí)驗(yàn)結(jié)果與分析

本文使用VS 2015 和OPENCV 構(gòu)架實(shí)驗(yàn)平臺(tái),并對(duì)本文算法和Yasutaka Furukawa 等人提出的PMVS 算法在特征點(diǎn)數(shù)和時(shí)間效率上進(jìn)行比較分析.為了驗(yàn)證算法的有效性,實(shí)驗(yàn)選取了不同場景,如建筑物、玩偶、行人、車輛等,這里本文只列舉了兩類數(shù)據(jù)集中兩組圖片的重建效果和實(shí)驗(yàn)數(shù)據(jù),I 類數(shù)據(jù)集取自https://github.com/openMVG/ImageDataset_SceauxCastl e/tree/master/images,包括11 張圖片,II 類數(shù)據(jù)集是用oppo 手機(jī)拍攝的不同角度下的同一場景,包括33 張圖片.算法運(yùn)行環(huán)境為CPU:Intel(R) CoreTMi5-2450M 2.5 GHz,內(nèi)存:4 GB.

圖4結(jié)果對(duì)比圖中的(b)、(c)組圖是示例圖像的局部區(qū)域,(b)是SIFT 算法提取特征點(diǎn)效果,(c)是加入插值計(jì)算的效果,可以看出,引入插值計(jì)算的部分提取到了更多的特征點(diǎn),從而使得重建效果更好更完整.根據(jù)表1可知,本文像素插值算法在進(jìn)行特征提取時(shí)比經(jīng)典SIFT 算法提取的特征點(diǎn)增加了19%-27%；改進(jìn)PMVS 候選點(diǎn)選取策略后與經(jīng)典PMVS 算法重建獲得面片數(shù)增加了26%-28%,雖耗費(fèi)的時(shí)間有所增加,但從圖4中的(d)、(e)可知重建效果更好了,填補(bǔ)了孔洞區(qū)域,失真的邊緣部分區(qū)域細(xì)節(jié)更完善了.

圖4 實(shí)驗(yàn)結(jié)果對(duì)比圖

5 結(jié)論

將PMVS 算法初始特征選取時(shí)的Harris 方法改為尺度不變的SIFT 算法,在過程中引入像素插值計(jì)算,并在匹配候選模型點(diǎn)時(shí)采用距相心直線距離的策略.從實(shí)驗(yàn)結(jié)果可以看出,在一些紋理稀疏的區(qū)域該方法提取到了更多分布均勻的種子點(diǎn),且效果顯著,使稠密重建細(xì)節(jié)更加清晰,減少因錯(cuò)選匹配點(diǎn)而造成的信息錯(cuò)誤,獲得更精確的稠密點(diǎn)云模型.因此,本文提出的方法具有更好的效果和實(shí)用性.

表1 對(duì)比試驗(yàn)結(jié)果圖