寧孟麗,樊亞棟

(山西旅游職業(yè)學(xué)院, 山西, 太原 030036)

1 引言

近年來,VR技術(shù)在各行各業(yè)都得到了廣泛應(yīng)用, 例如文物重建、古建筑重建、工業(yè)、環(huán)境、地理、游戲 等等。虛擬現(xiàn)實(shí)技術(shù)(VR)作為仿真技術(shù)的一種衍生應(yīng) 用,可通過電子技術(shù)和計(jì)算機(jī)技術(shù)聯(lián)合創(chuàng)造一個(gè)新世 界。在這個(gè)世界中, 有模擬的真實(shí)環(huán)境和聲音,用戶可 通過智能穿戴傳感設(shè)備在模擬世界中進(jìn)行游覽和操作, 實(shí)時(shí)且自然感知這個(gè)虛擬世界又能深度參與。旅游過程 實(shí)際上是體驗(yàn)文化、體驗(yàn)生態(tài)、體驗(yàn)環(huán)境、體驗(yàn)景觀、 體驗(yàn)娛樂、體驗(yàn)情感、體驗(yàn)健康等多方面體驗(yàn)的過程, 傳統(tǒng)景區(qū)互動(dòng)性差、景區(qū)流量受限、過度開發(fā)的旅游產(chǎn) 品造成古代建筑承壓。差異化旅游發(fā)展亟待創(chuàng)新發(fā)展思路。由 VR 技術(shù)和信息技術(shù)共同發(fā)展起來的虛擬旅游技 術(shù), 徹底改變了傳統(tǒng)旅游方式。大大縮短了游客與旅游目的地之間的距離,使一些未被熟知的景區(qū)逐漸進(jìn)入大 眾視野。

當(dāng) VR 技術(shù)應(yīng)用在虛擬旅游業(yè)中時(shí), 主要有以下三 方面特征:

1)構(gòu)想性:指的是虛擬環(huán)境主要由人想象得到, 這種環(huán)境主要依托于人的某種思想,因此可以用來構(gòu)建 移動(dòng)的虛擬目標(biāo)。

2)交互性:用戶可在多種傳感設(shè)備的輔助下, 與虛擬環(huán)境中的事物、主體進(jìn)行自然交互,同時(shí)也可感 受到環(huán)境變化帶來的感受,與真實(shí)環(huán)境中的感受相差無 幾。

3)沉浸性:指的是用戶可從多方面感受到虛擬 環(huán)境中的事物, 仿佛置身于其中。

在大力推進(jìn)旅游數(shù)字化、網(wǎng)絡(luò)化和智能化的今天,對(duì)于虛擬環(huán)境的重建效果仍不盡如人意。為此, 孫保燕[1]等人利用空地多數(shù)據(jù)互輔融合算法,針對(duì)旅游景區(qū)古 建筑提出一種三維重建方法。通過傾斜攝影和三維激光 掃描獲取古建筑圖像,同時(shí)建立古建筑三維模型電子檔 案, 對(duì)圖像與檔案中的數(shù)據(jù)進(jìn)行融合并計(jì)算偏差,以此 完成對(duì)景區(qū)古建筑的三維重建。劉德兒[2]等人通過融合 異源的方式將三維激光點(diǎn)云數(shù)據(jù)與傾斜攝影結(jié)合起來, 實(shí)現(xiàn)對(duì)建筑的三維重建。利用傾斜攝影獲取建筑圖像, 并生成影像點(diǎn)云,在三維激光掃描儀的基礎(chǔ)上分析其立 面數(shù)據(jù),并對(duì)其進(jìn)行去噪處理;將激光點(diǎn)云與影像點(diǎn)云 憑借TrlCP算法進(jìn)行配準(zhǔn),使建筑物位姿實(shí)現(xiàn)完美融合, 進(jìn)而完成建筑物的三維重建。

應(yīng)用上述兩種方法在對(duì)旅游景區(qū)建筑物重建時(shí)難 以取得理想的重建效果,因此,通過雙目視覺系統(tǒng)采集 旅游景點(diǎn)數(shù)據(jù),經(jīng)過特征點(diǎn)提取和匹配后,完成建筑物 的虛擬三維重建。

雙目視覺系統(tǒng)有四個(gè)基本步驟:

1.相機(jī)標(biāo)定。單相機(jī)的內(nèi)參標(biāo)定可以獲得每個(gè)相機(jī) 的畸變系數(shù)、焦距、光心等參數(shù);雙目相機(jī)的外參標(biāo)定 可以獲得相機(jī)之間的相機(jī)坐標(biāo)系的平移和旋轉(zhuǎn)關(guān)系。

2.立體校正過程。使用標(biāo)定結(jié)果,對(duì)兩個(gè)相機(jī)采集 的原始圖像進(jìn)行校正,使之位于同一平面且互相平行。

3.立體匹配過程。對(duì)校正后的圖像進(jìn)行像素點(diǎn)的匹 配, 匹配成功的點(diǎn)表示真實(shí)世界中的某點(diǎn)在這兩個(gè)圖像 中的不同位置。匹配代價(jià)計(jì)算的方法有很多,有 A(Absolute Differences )、 SAD(Sum of Absolute Differences)、 NCC(Normalized Cross-correlation)等方 法。

4.深度計(jì)算過程。根據(jù)立體匹配結(jié)果得到視差圖計(jì) 算每個(gè)像素對(duì)應(yīng)的深度取得深度圖。

在實(shí)驗(yàn)測(cè)試中,利用仿真技術(shù)重建后的建筑物效果 要遠(yuǎn)遠(yuǎn)優(yōu)于其他兩種方法,可為用戶提供最真實(shí)的虛擬 旅游體驗(yàn)。

2 景區(qū)三維重建

在虛擬現(xiàn)實(shí)技術(shù)中,需要對(duì)旅游景區(qū)建筑物進(jìn)行模 擬,那就必須用到三維重建技術(shù)[3],本文通過構(gòu)建雙目 視覺系統(tǒng)來采集景區(qū)環(huán)境各類數(shù)據(jù)信息。

2.1 數(shù)據(jù)采集

仿真技術(shù)使用的雙目視覺系統(tǒng)包含了硬件和軟件 兩部分,主要模塊有影像獲取模塊、視覺測(cè)量處理模塊 以及結(jié)果顯示模塊。其中,影像獲取模塊[4]由安裝在系 統(tǒng)前端的兩臺(tái)工業(yè)攝像機(jī)構(gòu)成,這兩臺(tái)攝像機(jī)之間方向 相同, 具體參數(shù)如表1 所示。

表1 工業(yè)攝像機(jī)具體參數(shù)

視覺測(cè)量處理模塊的構(gòu)成主要有兩部分,分別是 CPU 和存儲(chǔ)器,作用是接收影像獲取模塊傳送過來的立 體影像數(shù)據(jù)[5],分析計(jì)算后以三維信息的形式傳送至結(jié) 果顯示模塊。影像獲取模塊與視覺測(cè)量處理模塊通過千 兆網(wǎng)線和路由器進(jìn)行連接,實(shí)現(xiàn)實(shí)時(shí)影像數(shù)據(jù)的傳送。 視覺測(cè)量處理模塊的參數(shù)如表2 所示。

表2 視覺測(cè)量處理模塊計(jì)算機(jī)參數(shù)

由于工業(yè)攝像機(jī)不會(huì)產(chǎn)生特別嚴(yán)重的鏡頭畸變,所 以選擇了張正友標(biāo)定法[6]對(duì)兩個(gè)攝像頭進(jìn)行標(biāo)定。雙目 視覺系統(tǒng)兩臺(tái)攝像機(jī)的工作流程如圖1(a)所示,由該 系統(tǒng)獲取的景區(qū)建筑圖像如圖1(b)所示。

圖1 雙目視覺系統(tǒng)

2.2 特征點(diǎn)提取

在建筑物三維重建中,特征點(diǎn)提取的作用是將建筑 物的 2D 圖像轉(zhuǎn)換為 3D 模型。提取的特征點(diǎn)可以用于 確定建筑物的位置、形狀和結(jié)構(gòu),可以作為計(jì)算機(jī)視覺算法的輸入來識(shí)別不同部分的建筑物及其空間關(guān)系。對(duì) 于建筑物的復(fù)雜結(jié)構(gòu)或特殊形狀部分,特征點(diǎn)提取還可 以幫助計(jì)算機(jī)更好地識(shí)別和分割出這些部分,從而更準(zhǔn) 確地重建建筑物的 3D 模型。對(duì)于獲取的旅游景區(qū)圖像, 利用改進(jìn)后的 Harris 算法分別將 0°、45°、90°以及 135° 四個(gè)方向上絕對(duì)值小于閾值F 的像素點(diǎn)剔除掉,僅針對(duì) 剩下的像素點(diǎn)進(jìn)行 Harris 角點(diǎn)檢測(cè)。假設(shè)景區(qū)建筑圖像像素點(diǎn)(x,y)的灰度強(qiáng)度[7]為I(x,y),那么在 0°、45°、 90°以及 135°四個(gè)方向上,對(duì)該像素點(diǎn) 4 個(gè)不同方向上 的灰度梯度Ix、Ir、Iy、Id進(jìn)行推導(dǎo),計(jì)算公式如式(1)所示:

(1)

Ix、Ir、Iy、Id四個(gè)值的范圍在[-255,255]之間。 通過查閱相關(guān)資料, 將閾值設(shè)定為F=25。判斷 0°、 45°、90°和 135°四個(gè)方向的梯度值,當(dāng)滿足Ix< 25、Ir< 25、Iy< 25、Id< 25 時(shí),證明該點(diǎn)不是角點(diǎn),除此之外的所有點(diǎn)被看作是候選角點(diǎn)[8],同時(shí)放入集合A中。對(duì)集合A進(jìn)行擴(kuò)展得到集合B,對(duì)集合B中的 像素點(diǎn)計(jì)算 8 相鄰像素角點(diǎn)響應(yīng)函數(shù)R,經(jīng)過非最大值 抑制后,得到滿足條件的角點(diǎn)。在對(duì)兩個(gè)集合像素點(diǎn)R。

值計(jì)算完成后,按照大小順序排列,利用相鄰像素角點(diǎn) 最大值Rmax計(jì)算基礎(chǔ)閾值T0：

T0=C0×Rmax

(2)

式中,C0表示閾值系數(shù)[9]。由經(jīng)驗(yàn)可知,當(dāng)C0的取值范圍在 0.02～0.04 之間時(shí)角點(diǎn)檢測(cè)效果最好, 滿足R>T0且R為局部極大值像素點(diǎn),由此得到的角點(diǎn)為基礎(chǔ)角點(diǎn)。

由基礎(chǔ)角點(diǎn)將景區(qū)建筑圖像劃分為若干個(gè)圖像塊, 接著再對(duì)基礎(chǔ)角點(diǎn)以外的候選角點(diǎn)計(jì)算R值并排序,找出Rmax,將其作為補(bǔ)充角點(diǎn)[10],其周圍的鄰近點(diǎn)需要剔除掉。通過該方法可以很好地提取到圖像特征點(diǎn),便于 后續(xù)進(jìn)行特征點(diǎn)匹配。

2.3 特征點(diǎn)匹配

在建筑物三維重建中,提取特征點(diǎn)是為了確定建筑 物的位置、形狀和結(jié)構(gòu),但提取的特征點(diǎn)可能并不完全 準(zhǔn)確,尤其當(dāng)建筑物形狀比較復(fù)雜或者存在遮擋或光照 變化等情況時(shí),提取的特征點(diǎn)的位置、數(shù)量以及質(zhì)量都 可能存在誤差。因此, 在提取特征點(diǎn)之后,需要對(duì)得到 的特征點(diǎn)進(jìn)行匹配, 以便消除誤差并找到匹配的點(diǎn)對(duì)。 匹配可以通過將特征點(diǎn)描述符進(jìn)行比較的方式實(shí)現(xiàn)。匹 配的結(jié)果可以用來確定不同視角的特征點(diǎn)之間的對(duì)應(yīng) 關(guān)系, 從而使得建筑物的 3D 模型更加精準(zhǔn)和完整。特 征點(diǎn)匹配是在一定搜索范圍內(nèi),找到左、右兩幅圖像的 對(duì)應(yīng)點(diǎn),并將其進(jìn)行匹配,仿真技術(shù)通過 SAD(Sum of absolute differences)算法[11]來實(shí)現(xiàn)。將左、右攝像機(jī)采 集的圖像分別定義為參考圖像和匹配圖像。選取參考圖像中的一個(gè)坐標(biāo)點(diǎn)(u,v),將視差搜索范圍設(shè)定為d, 圖像中點(diǎn)(u,v,d)的像素代表了點(diǎn)(u,v)與匹配圖像中點(diǎn)(u+d,v)之間的距離。SAD算法作為一種局部特征匹配算法[12],在匹配圖像塊方面具有非常突出的優(yōu)勢(shì)。SAD算法的表達(dá)式為:

(3)

式中,s、t分別表示待匹配兩幅圖像的軸斜率,M、N分別表示待匹配兩幅圖像的旋轉(zhuǎn)矩陣,S表示立體校正矩陣[13]。

基于SAD算法的特征點(diǎn)匹配具體實(shí)現(xiàn)步驟為:

步驟一:建立一個(gè)與卷積核作用相似的小窗口;

步驟二:將左、右兩幅圖像分別用窗口覆蓋住,同時(shí)提取覆蓋區(qū)域內(nèi)的所有像素點(diǎn);

步驟三:對(duì)左、右覆蓋區(qū)域內(nèi)的像素點(diǎn)計(jì)算絕對(duì)值的和;

步驟四:適時(shí)調(diào)整右邊圖像上的窗口位置,反復(fù)操作步驟二、步驟三,直到滿足差值最小條件時(shí)停止,此時(shí)得到的窗口即為與左邊圖像相匹配的像素塊,提取其中的特征點(diǎn)進(jìn)行相互匹配即可。

2.4 三維重建實(shí)現(xiàn)

提取得到左、右兩幅圖像對(duì)應(yīng)的特征點(diǎn)后,利用雙目立體成像理論對(duì)特征點(diǎn)的深度值進(jìn)行計(jì)算,同時(shí)建立一個(gè)初始控制網(wǎng)格,利用插值的方式計(jì)算網(wǎng)格點(diǎn)坐標(biāo)[14],以此實(shí)現(xiàn)虛擬環(huán)境中景區(qū)建筑的仿真三維重建。初始控制網(wǎng)格如圖2所示。

將Φij看作是某個(gè)控制點(diǎn)的值,由此可得到逼近函數(shù)的表達(dá)式為:

(4)

式中,k=|x|-1、l=|y|-1分別表示左、右兩幅圖像的平移向量,s=x-|x|,t=y-|y|,Bk、Bl分別表示雙三次B樣條的基數(shù)。

將三維模型的像素值看作是Φij的逼近點(diǎn)集記為Φp。對(duì)于Pij中的所有點(diǎn)P,構(gòu)建三維重建模型為:

ΦP=∑Pf(x,y)2ΦP/D(i,j)

(5)

由于雙三次B樣條函數(shù)曲線可以更加突出圖像細(xì)節(jié)特征,對(duì)于配準(zhǔn)后的特征點(diǎn)具有較高的接受度。所以在每一次的特征點(diǎn)匹配后,都會(huì)生成一個(gè)控制網(wǎng)格,經(jīng)過一級(jí)一級(jí)的匹配,由粗到細(xì)的對(duì)旅游景區(qū)進(jìn)行仿真三維重建,為虛擬旅游創(chuàng)造最接近現(xiàn)實(shí)的仿真環(huán)境。

3 實(shí)驗(yàn)測(cè)試

為了驗(yàn)證仿真技術(shù)在我國旅游領(lǐng)域應(yīng)用的實(shí)際效果,選取某知名旅游景區(qū)作為研究對(duì)象,將仿真技術(shù)與文獻(xiàn)[1]提出的空地多數(shù)據(jù)互輔融合技術(shù)和文獻(xiàn)[2]提出的PCA-TrICP技術(shù)。首先,從特征點(diǎn)匹配方面對(duì)三種算法展開實(shí)驗(yàn)測(cè)試,對(duì)比結(jié)果如圖3所示。

通過對(duì)比圖3中的三幅圖像可以看出,利用仿真技術(shù)得到的特征點(diǎn)數(shù)量最多、最全,左右兩幅圖像中的特征點(diǎn)匹配效果最好。而其他兩種算法選取的特征點(diǎn)數(shù)量普遍較少,且左右兩幅圖像匹配的特征點(diǎn)出現(xiàn)了偏差,沒有實(shí)現(xiàn)精準(zhǔn)匹配。這是由于仿真技術(shù)不斷調(diào)整SAD算法中的窗口位置,使待匹配的兩幅圖像像素塊完全吻合,因此取得了優(yōu)秀的特征點(diǎn)匹配效果。

接下來,對(duì)三種重建算法在虛擬現(xiàn)實(shí)技術(shù)中的應(yīng)用效果進(jìn)行對(duì)比,結(jié)果如圖4所示。

圖4 三種算法重建效果對(duì)比

從圖4中可以很明顯地看出,三種算法中,利用仿真技術(shù)取得的重建效果最好,使得在仿真虛擬旅游中得到完整體現(xiàn)。而其他兩種算法重建圖像完整度不高,細(xì)節(jié)處理得較為模糊,在虛擬旅游中的表現(xiàn)并不好。由此得出結(jié)論,應(yīng)用仿真技術(shù)可以為虛擬旅游提供效果更好地模擬體驗(yàn),使用戶的感受更加真實(shí)。這是由于仿真技術(shù)取得了優(yōu)秀的特征點(diǎn)匹配結(jié)果,使得重建后的圖像保留了更多的特征點(diǎn),因此重建效果更好。

最后,利用三種算法分別對(duì)不同環(huán)境下的建筑物進(jìn)行1000次三維重建,并將重建后的建筑物長(zhǎng)度與實(shí)際長(zhǎng)度進(jìn)行對(duì)比,得到如圖5所示的結(jié)果。用來進(jìn)行長(zhǎng)度對(duì)比的是某古樓門框,實(shí)際長(zhǎng)度為200cm。

圖5 三種算法三維重建長(zhǎng)度與實(shí)際長(zhǎng)度對(duì)比結(jié)果

從圖5中可以看出,三種算法重建后的長(zhǎng)度與實(shí)際長(zhǎng)度之間都存在著一定的誤差,但是仿真技術(shù)取得的誤差要小于其他兩種算法,且1000次誤差較為平穩(wěn),未出現(xiàn)特別突出的波動(dòng)。再看另外兩種算法的重建長(zhǎng)度曲線誤差普遍較大,且每次實(shí)驗(yàn)都不平穩(wěn),說明這兩種算法穩(wěn)定性較差,重建后的效果在虛擬旅游中無法得到平穩(wěn)展現(xiàn)。

4 結(jié)論

目前,在我國處于起步階段的雙目視覺主要應(yīng)用于四個(gè)領(lǐng)域:機(jī)器人導(dǎo)航、微操作系統(tǒng)的參數(shù)檢測(cè)、三維測(cè)量和虛擬現(xiàn)實(shí),就雙目視覺的發(fā)展?fàn)顩r和目標(biāo)(達(dá)到類似于人眼的通用雙目視覺)而言,需要解決以下問題:①灰度失真、噪聲去除、新的算法。②技術(shù)方面提高立體視覺的真實(shí)性。③不同場(chǎng)景的視覺標(biāo)準(zhǔn)與方法,約束信息參與立體匹配的模型。SGBM算法使用sobel算子對(duì)源圖像進(jìn)行處理,并將經(jīng)sobel算子處理后的圖像映射為新圖像仍可做為后續(xù)研究。