楊開富

摘? 要： 針對(duì)傳統(tǒng)的三維全景光學(xué)成像重建系統(tǒng)交互能力差的問題，設(shè)計(jì)基于虛擬現(xiàn)實(shí)的數(shù)字三維全景超分辨重建系統(tǒng)。在硬件設(shè)施上保留固有硬件，添加頭戴顯示器、操縱桿等虛擬設(shè)備。在該系統(tǒng)的軟件設(shè)計(jì)上，利用高斯描述模型定義尺度空間提取二維圖像特征，建立超分辨率網(wǎng)格配準(zhǔn)圖像。根據(jù)平移理念校正光心位置，拼接全景圖像獲取匹配關(guān)系。渲染并覆蓋虛擬模型紋路，建立虛擬的三維全景環(huán)境模型，至此該重建系統(tǒng)設(shè)計(jì)完畢。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)系統(tǒng)的交互性更強(qiáng)，最終生成的數(shù)字三維全景效果更逼真。由此可見，所設(shè)計(jì)基于虛擬現(xiàn)實(shí)的重建系統(tǒng)更適合用于圖像的重建。

關(guān)鍵詞： 三維全景; 超分辨率重建; 系統(tǒng)設(shè)計(jì); 虛擬現(xiàn)實(shí); 圖像特征; 匹配關(guān)系

中圖分類號(hào)： TN911.73?34; TP391.4? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2020）10?0145?03

Design of digital 3D panoramic super?resolution reconstruction system

based on virtual reality

YANG Kaifu

（Chongqing Technology and Business University， Chongqing 400067， China）

Abstract： As the traditional 3D panoramic optical imaging reconstruction system has poor interactive ability， a virtual reality based digital 3D panoramic super?resolution reconstruction system is designed. In the hardware facilities， the inherent hardware is reserved， and the head?mounted display， joystick and other virtual devices are added. In the software design of the system， the scale space is defined by the Gaussian description model to extract the two?dimensional image features and establish the super?resolution grid registration image. The position of optical center is corrected on the basis of the translation idea， by which the panoramic image is spliced to obtain the matching relations. The virtual model grain is rendered and covered to establish the virtual 3D panoramic environment model， thus the reconstruction system design is completed. The experimental results show that the interaction of the designed system is stronger， and the effect of the final generated digital 3D panorama is more realistic. It can be seen that the designed reconstruction system based on virtual reality is more suitable for the image reconstruction.

Keywords： 3D panorama; super resolution reconstruction; system design; virtual reality; image features; matching relationship

0? 引? 言

虛擬現(xiàn)實(shí)是一種可以創(chuàng)建虛擬場(chǎng)景、體驗(yàn)虛擬世界的計(jì)算機(jī)仿真技術(shù)。當(dāng)前的虛擬現(xiàn)實(shí)技術(shù)試圖將人與虛擬世界直接連接，令使用者獲得與真實(shí)世界相同的認(rèn)知和感受[1]。而數(shù)字三維全景的超分辨率重建系統(tǒng)為了提升人機(jī)的交互程度，將虛擬現(xiàn)實(shí)融入到該系統(tǒng)中，改進(jìn)了傳統(tǒng)光學(xué)成像系統(tǒng)生成的三維立體效果圖像，以超分辨率的方法提升圖像的分辨率，從而構(gòu)建更加真實(shí)的虛擬場(chǎng)景，提升人機(jī)交互程度[2]。

1? 基于虛擬現(xiàn)實(shí)的三維全景超分辨重建系統(tǒng)硬件設(shè)計(jì)

本文設(shè)計(jì)的重建系統(tǒng)硬件主要包括專用圖形處理計(jì)算機(jī)和輸入輸出設(shè)備[3]，硬件架構(gòu)如圖1所示。

輸入設(shè)備將用戶指令輸入計(jì)算機(jī)，并將模擬后的圖形影像反饋給用戶，而輸出設(shè)備則將輸入信息的反饋結(jié)果提供給使用者。為了保證最終的三維全景效果圖的分辨率，在基本的重建系統(tǒng)硬件基礎(chǔ)上，添加可移動(dòng)的穿戴式頭戴顯示器、操縱桿等虛擬設(shè)備，來感知全方位的場(chǎng)景[4]。將上述系統(tǒng)硬件設(shè)備與重建系統(tǒng)的基本設(shè)備連接，通過增強(qiáng)虛擬影像的轉(zhuǎn)置能力，提升全景圖像的分辨率，改善人機(jī)交互效果[5]。

2? 基于虛擬現(xiàn)實(shí)的三維全景超分辨重建系統(tǒng)軟件設(shè)計(jì)

在系統(tǒng)硬件設(shè)計(jì)完畢的基礎(chǔ)上，設(shè)計(jì)基于虛擬現(xiàn)實(shí)技術(shù)的超分辨重建系統(tǒng)軟件。

2.1? 提取圖像二維特征配準(zhǔn)圖像

試運(yùn)行連接完畢的系統(tǒng)硬件，在測(cè)試結(jié)果正常的情況下，設(shè)置掃描儀參數(shù)。依據(jù)高斯描述模型，定位掃描儀參數(shù)的掃描尺度空間[6]，具體計(jì)算結(jié)果為：

[Ga，b，λ=12πλexp-a2+b22λ2La，b，λ=Ga，b，λ?Ia，b] （1）

式中：[a]表示每一圖像數(shù)據(jù)點(diǎn)的橫坐標(biāo);[b]表示每一數(shù)據(jù)點(diǎn)的縱坐標(biāo);[λ]表示高斯函數(shù)的標(biāo)準(zhǔn)差值，根據(jù)此差值控制圖像的模糊程度。設(shè)置完畢二維圖像的掃描尺度空間后，根據(jù)該空間中的極值點(diǎn)，提取其中的關(guān)鍵特征點(diǎn)，根據(jù)關(guān)鍵點(diǎn)對(duì)圖像配準(zhǔn)，該過程如圖2所示[7]。

根據(jù)上述過程示意圖，先預(yù)處理原始圖像和待配準(zhǔn)圖像，利用SIFT算法對(duì)圖像初步配準(zhǔn)，初始估計(jì)低精度像素位置，將原始圖像坐標(biāo)映射到待配準(zhǔn)圖像坐標(biāo)系中。依據(jù)光線追跡數(shù)據(jù)置換物象空間，輸出兩組圖像的重疊區(qū)域。建立重疊區(qū)域子窗，使用標(biāo)準(zhǔn)化互相關(guān)法配準(zhǔn)圖像，建立仿射變換模型。將各區(qū)域子窗置換到原始圖像坐標(biāo)系中，建立超分辨率網(wǎng)格，以非均勻插值的方法重新排列子窗灰度值，實(shí)現(xiàn)對(duì)圖像的配準(zhǔn)[8]。

2.2? 拼接全景圖像獲取匹配關(guān)系

拼接配準(zhǔn)好的圖像，以此得到三維全景效果圖?？紤]物件的點(diǎn)位置與全景圖像點(diǎn)位置的投影關(guān)系，校正視點(diǎn)，投影平面圖像生成球面三維全景圖。由于多角度的拍攝會(huì)導(dǎo)致拍攝光心不在統(tǒng)一的位置上，導(dǎo)致全景圖像信息被壓縮后產(chǎn)生畸變。因此保證參數(shù)不變的前提下，利用平移理念校正圖像視點(diǎn)[9]。校正視點(diǎn)后，計(jì)算圖像平面向球面的映射。假設(shè)圖像上任意一點(diǎn)[c]的坐標(biāo)為[x，y，z]，映射點(diǎn)[c′]其坐標(biāo)為[x′，y′，z′] ，根據(jù)球面三維歐氏坐標(biāo)的轉(zhuǎn)換性，得到全景圖的拼接函數(shù)：

[x′=γsin β?yγcos β?xγy′=-γsin β?yγsin β?xγz′=γcos β?xγ] （2）

根據(jù)上述公式實(shí)現(xiàn)對(duì)全景圖像的超分辨拼接，得到圖像的點(diǎn)云數(shù)據(jù)[12]。

2.3? 實(shí)現(xiàn)虛擬三維全景效果圖的重建

根據(jù)得到的匹配關(guān)系，建立虛擬的三維全景環(huán)境框架模型，利用圖像仿真渲染技術(shù)填充框架組件。但渲染后的三維模型并不具備虛擬實(shí)物的特征點(diǎn)，因此設(shè)計(jì)模型表面的覆蓋紋理，如圖3所示。

由圖3可以看出，該過程一共分為4個(gè)階段，先填充并渲染搭建的虛擬物體框架，再利用算法繪制物體表面的覆蓋紋路，然后填充其他結(jié)構(gòu)單一的組件，最后根據(jù)框架結(jié)構(gòu)豐滿整體虛擬物體。為了保證該系統(tǒng)的交互能力，設(shè)置人機(jī)交互程序，此操作中的部分代碼如下：

{

Private enum WavePosition/（Left=1，Right=2，Neutral=3）/

Private enum WaveGestureState/（Left=1，Right=2，Neutral=3）

Private struct WaveGestureTracker/

Public int IterationCount;

Public WaveGestureState State/

Public Long Timestamp;

Public WavePosition StartPosition;

Public WavePosition CurrentPosition;

}

至此基于虛擬現(xiàn)實(shí)的數(shù)字三維全景超分辨重建系統(tǒng)設(shè)計(jì)完畢。

3? 系統(tǒng)運(yùn)行測(cè)試

設(shè)計(jì)該重建系統(tǒng)的目的是以超分辨的技術(shù)手段提升三維全景圖像的分辨率，基于虛擬現(xiàn)實(shí)技術(shù)捕捉圖像之間的匹配關(guān)系，建立尺寸真實(shí)的環(huán)境模型，搭建沉浸式的虛擬現(xiàn)實(shí)場(chǎng)景。為了更加直觀地感受該重建系統(tǒng)的交互性，同樣運(yùn)行傳統(tǒng)的三維全景光學(xué)成像重建系統(tǒng)，比較兩個(gè)系統(tǒng)的交互能力。

3.1? 實(shí)驗(yàn)準(zhǔn)備

系統(tǒng)硬件方面選用2臺(tái)型號(hào)同為Oculus DK2的計(jì)算機(jī)，該計(jì)算機(jī)的操作系統(tǒng)為Windows XP，處理器為Intel i7?7700K，16 GB運(yùn)行內(nèi)存，兼容HDMI 1.4b視頻輸出，同時(shí)存在雙接頭USB 3.1端口。軟件方面，使用環(huán)境為Unity3D 5.6（64 bit），Oculus DK2驅(qū)動(dòng)。分別將所設(shè)計(jì)的系統(tǒng)與傳統(tǒng)重建系統(tǒng)裝入2臺(tái)計(jì)算機(jī)中，重建如圖4所示的環(huán)境實(shí)景圖。

3.2? 結(jié)果分析

用符號(hào)A表示所設(shè)計(jì)系統(tǒng)下的實(shí)驗(yàn)結(jié)果，用符號(hào)B表示傳統(tǒng)重建系統(tǒng)的實(shí)驗(yàn)結(jié)果。選擇2名實(shí)驗(yàn)人員，分別利用兩種系統(tǒng)重建圖4中的實(shí)景圖像，得到的系統(tǒng)交互性實(shí)驗(yàn)結(jié)果，如圖5所示。

根據(jù)圖5可知，實(shí)驗(yàn)人員分別向兩個(gè)重建系統(tǒng)提交5次數(shù)據(jù)量大小不一的信息，所設(shè)計(jì)的系統(tǒng)處理每條信息內(nèi)容后逐一對(duì)問題反饋，交互性較強(qiáng);根據(jù)傳統(tǒng)重建系統(tǒng)的交互程度曲線圖，可以看出在同等實(shí)驗(yàn)條件下，該系統(tǒng)對(duì)于信息的接收能力均不同，反饋程度也與所提交的信息不吻合。

綜上可知，所設(shè)計(jì)的重建系統(tǒng)能夠準(zhǔn)確接收操作人員提交的數(shù)據(jù)信息，并根據(jù)提交內(nèi)容作出反饋;而傳統(tǒng)的重建系統(tǒng)在信息接收環(huán)節(jié)就已經(jīng)出現(xiàn)能力不足的現(xiàn)象，并且在反饋階段同樣不能作出有效回應(yīng)，由此可見該系統(tǒng)交互性較差。

4? 結(jié)? 語

此次針對(duì)虛擬現(xiàn)實(shí)而設(shè)計(jì)的重建系統(tǒng)，充分發(fā)揮了虛擬現(xiàn)實(shí)技術(shù)生成三維全景圖像時(shí)的交互能力。該系統(tǒng)能及時(shí)接收操作人員提交的數(shù)據(jù)信息，做出相應(yīng)調(diào)整后快速反饋，實(shí)現(xiàn)了設(shè)計(jì)該系統(tǒng)高效交互能力的這一目的，解決了傳統(tǒng)重建系統(tǒng)由于交互性不高導(dǎo)致圖像效果不佳的問題。

參考文獻(xiàn)

[1] 王剛.基于虛擬現(xiàn)實(shí)的室內(nèi)景觀重建技術(shù)[J].現(xiàn)代電子技術(shù)，2018，41（4）：147?149.

[2] 劉卜水.數(shù)字藝術(shù)人機(jī)交互控制系統(tǒng)設(shè)計(jì)研究[J].電視技術(shù)，2018，42（10）：144?148.

[3] 陳琳，李潔.基于虛擬現(xiàn)實(shí)技術(shù)的三維影像智能顯示系統(tǒng)嵌入式設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2017，40（8）：108?110.

[4] 吳才喚.真人圖書館：現(xiàn)實(shí)瓶頸與虛擬現(xiàn)實(shí)技術(shù)應(yīng)用研究[J].圖書館建設(shè)，2017（4）：328?332.

[5] 蔡艷，林迅.基于虛擬現(xiàn)實(shí)技術(shù)的激光多普勒?qǐng)D像三維重建系統(tǒng)設(shè)計(jì)[J].激光雜志，2017（8）：241?244.

[6] 王卓.基于視覺傳達(dá)效果的三維圖像虛擬重建[J].現(xiàn)代電子技術(shù)，2019，42（1）：70?72.

[7] 劉冬，秦瑞，陳曦，等.3D車載環(huán)視全景生成方法[J].計(jì)算機(jī)科學(xué)，2017（4）：104?107.

[8] 韓媞.低對(duì)比度全景球面圖像目標(biāo)分割方法[J].科學(xué)技術(shù)與工程，2017（14）：239?243.

[9] 吳麗萍，胡郁.柱面全景圖圖像拼接中圖像平滑的虛擬現(xiàn)實(shí)技術(shù)[J].科學(xué)技術(shù)與工程，2017（31）：277?282.

[10] 劉斌，鹿瑋，王金波，等.一種旋轉(zhuǎn)掃描的可見光全景成像系統(tǒng)及實(shí)現(xiàn)[J].激光與紅外，2017（9）：85?88.

[11] 程德強(qiáng)，陳亮亮，蔡迎春，等.邊緣融合的多字典超分辨率圖像重建算法[J].煤炭學(xué)報(bào)，2018（7）：2084?2090.

[12] 胡長勝，詹曙，吳從中.基于深度特征學(xué)習(xí)的圖像超分辨率重建[J].自動(dòng)化學(xué)報(bào)，2017，37（5）：113?116.