蔣夢(mèng)菲 原麗花

摘? 要： 傳統(tǒng)的室內(nèi)設(shè)計(jì)系統(tǒng)無法解決復(fù)雜場(chǎng)景的三維構(gòu)建和可視化問題，更無法滿足用戶沉浸感和動(dòng)態(tài)交互的需求。因此，在現(xiàn)有研究基礎(chǔ)上，以自然直觀的人機(jī)交互和逼真的虛擬環(huán)境體驗(yàn)為目標(biāo)，設(shè)計(jì)基于三維虛擬視覺及手勢(shì)交互設(shè)計(jì)的室內(nèi)設(shè)計(jì)平臺(tái)。根據(jù)實(shí)際的功能需求分析，完成了平臺(tái)功能并給出基于雙目視覺技術(shù)進(jìn)行人機(jī)交互的總體結(jié)構(gòu)。利用攝像機(jī)設(shè)計(jì)交互功能中的虛擬手形識(shí)別算法，降低了應(yīng)用成本，提高了識(shí)別的效率。室內(nèi)設(shè)計(jì)環(huán)境的仿真測(cè)試結(jié)果表明，提出的室內(nèi)設(shè)計(jì)平臺(tái)能夠有效進(jìn)行直觀的室內(nèi)三維場(chǎng)景可視化，且具有較好的準(zhǔn)確性和交互性。

關(guān)鍵詞： 3D虛擬視覺; 人機(jī)交互; 攝像機(jī)模型; 雙目視覺技術(shù); 室內(nèi)場(chǎng)景; 三維環(huán)境

中圖分類號(hào)： TN911?34; TP393? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）03?0125?04

Construction of interior design platform based on 3D virtual vision and interactive design

JIANG Mengfei1， YUAN Lihua2

（1. Sichuan Tourism University， Chengdu 610100， China; 2. Southwest University of Science and Technology， Mianyang 621010， China）

Abstract： The traditional interior design system fails to solve the 3D construction and visualization of complex scenes. Moreover， it can′t meet the needs of user immersion and dynamic interaction. Therefore， on the basis of the existing research， an interior design platform based on 3D virtual vision and gesture interaction design is designed with the goal of realizing natural and intuitive human?computer interaction and realistic virtual environment experience. According to the analysis of actual functional requirements， the platform function is realized and the overall structure of human?computer interaction based on binocular vision technology is provided. The virtual hand shape recognition algorithm in the interactive function is designed by camera， which reduces the application cost and improves the recognition efficiency. The simulation test results of the interior design environment show that the proposed interior design platform can effectively visualize the indoor 3D scene with higher accuracy and better interactivity.

Keywords： 3D virtual vision; human?computer interaction; camera model; binocular vision technology; indoor scene; 3D environment

0? 引? 言

隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的高速發(fā)展，人們逐步體驗(yàn)到了高性能計(jì)算機(jī)和高速帶寬帶來的全新體驗(yàn)。在線購(gòu)物、網(wǎng)絡(luò)社交、虛擬旅游和大型3D游戲已經(jīng)被現(xiàn)代社會(huì)所接受。室內(nèi)環(huán)境作為人們最熟悉的生活和工作場(chǎng)所，其傳統(tǒng)的二維界面管理或者設(shè)計(jì)系統(tǒng)已經(jīng)無法滿足人們逼真沉浸感的需求[1]。現(xiàn)代人需要的是更加形象、更加真實(shí)、更加便于交互的三維虛擬仿真環(huán)境[2]。因此，如何利用虛擬現(xiàn)實(shí)技術(shù)來實(shí)現(xiàn)沉浸式虛擬環(huán)境的搭建和交互，成為當(dāng)前虛擬仿真技術(shù)研究的熱點(diǎn)[3]。

文獻(xiàn)[4]提出了一種基于三維視覺的室內(nèi)設(shè)計(jì)虛擬現(xiàn)實(shí)方法，通過三維場(chǎng)景點(diǎn)云數(shù)據(jù)集和高斯混合模型擬合，達(dá)到了較好的三維場(chǎng)景重構(gòu)效率和精度。文獻(xiàn)[5]提出了一種基于三維平臺(tái)的虛擬圖書館室內(nèi)設(shè)計(jì)與構(gòu)建方法，實(shí)現(xiàn)了便于在線工作的三維虛擬設(shè)計(jì)與展示系統(tǒng)。但是，現(xiàn)有提出的三維虛擬室內(nèi)設(shè)計(jì)平臺(tái)存在交互體驗(yàn)差（人機(jī)交互準(zhǔn)確率低）或者成本高昂的問題。因此，為了提高人機(jī)交互的準(zhǔn)確性、降低實(shí)現(xiàn)成本，本文設(shè)計(jì)了基于三維虛擬視覺及手勢(shì)交互的室內(nèi)設(shè)計(jì)平臺(tái)，從而為用戶提供全新的逼真虛擬場(chǎng)景體驗(yàn)。

1? 室內(nèi)三維虛擬交互的功能需求分析

傳統(tǒng)的室內(nèi)設(shè)計(jì)系統(tǒng)無法解決復(fù)雜場(chǎng)景的三維構(gòu)建和可視化問題，此外，更無法滿足用戶沉浸感和動(dòng)態(tài)交互的需求。而虛擬仿真的出現(xiàn)，可以有效解決上述問題，能夠帶給用戶豐富而全方位的體驗(yàn)[3，5]。本文以室內(nèi)環(huán)境為主要研究對(duì)象，構(gòu)建具有良好人機(jī)交互功能體驗(yàn)的虛擬設(shè)計(jì)平臺(tái)，其功能需求主要包括：

1） 室內(nèi)三維實(shí)體組件模塊的管理，包括室內(nèi)物品、材料的導(dǎo)入和展示等。

2） 室內(nèi)場(chǎng)景下的交互操作功能，包括視角切換、場(chǎng)景漫游、輸入響應(yīng)等人機(jī)交互的各種操作。

3） 數(shù)據(jù)庫(kù)管理和顯示功能，包括自定義顯示信息、屬性定義等。

4） 人員管理常用功能，包括地圖導(dǎo)航、查詢位置定位等。

2? 基于三維虛擬視覺及交互設(shè)計(jì)的室內(nèi)設(shè)計(jì)平臺(tái)建構(gòu)

2.1? 平臺(tái)功能設(shè)計(jì)

通過上述室內(nèi)三維虛擬交互的功能需求分析，對(duì)平臺(tái)所需的功能進(jìn)行設(shè)計(jì)，如圖1所示。

2.2? 總體結(jié)構(gòu)設(shè)計(jì)

現(xiàn)有的三維虛擬室內(nèi)設(shè)計(jì)平臺(tái)采用的交互功能存在諸多問題，主要原因是其虛擬顯示交互系統(tǒng)采用的輸入設(shè)備[6?8]：

1） 對(duì)于輸入設(shè)備是三維鼠標(biāo)和三維游戲桿的系統(tǒng)來說，其存在工作效率不高、用戶的人機(jī)交互體驗(yàn)較差的問題;

2） 而對(duì)于輸入設(shè)備為頭部跟蹤設(shè)備和手勢(shì)跟蹤設(shè)備的系統(tǒng)來說，用戶可以得到更加自然、逼真的沉浸感。輸出設(shè)備均為VR眼睛。其中，利用數(shù)據(jù)手套作為輸入設(shè)備進(jìn)行人機(jī)交互，會(huì)導(dǎo)致系統(tǒng)的成本大幅提高，影響了系統(tǒng)的普及和推廣應(yīng)用。

由于使用數(shù)據(jù)手套實(shí)現(xiàn)現(xiàn)實(shí)中的人手與計(jì)算機(jī)交互，可以大大提高虛擬現(xiàn)實(shí)系統(tǒng)的可操作性。但是它價(jià)格昂貴、需要校準(zhǔn)，導(dǎo)致實(shí)現(xiàn)成本高昂、使用不方便。而采用攝像機(jī)拍攝的方法來獲取手的運(yùn)動(dòng)，無需數(shù)據(jù)手套就能夠捕捉和識(shí)別手勢(shì)的動(dòng)作，因此，本文采用基于計(jì)算機(jī)視覺的虛擬手交互來完成三維虛擬交互室內(nèi)設(shè)計(jì)平臺(tái)的交互模塊功能，其總體結(jié)構(gòu)示意圖如圖2所示。室內(nèi)虛擬環(huán)境的搭建和生成采用Unity3D引擎渲染，技術(shù)已經(jīng)較為成熟，因此不做過多介紹和分析，接下來將對(duì)平臺(tái)的重點(diǎn)——交互設(shè)計(jì)進(jìn)行重點(diǎn)分析。

3? 基于虛擬手形識(shí)別算法的人機(jī)交互設(shè)計(jì)

3.1? 攝像機(jī)模型

三維虛擬環(huán)境下的手勢(shì)識(shí)別必須采用立體視覺系統(tǒng)，而雙目視覺應(yīng)該是常見的立體視覺系統(tǒng)。需要對(duì)兩臺(tái)攝像機(jī)在工作區(qū)中的位置和朝向進(jìn)行分析。實(shí)際三維空間一個(gè)四棱錐頂點(diǎn)坐標(biāo)[P]的坐標(biāo)為[WP=[WPx，WPy，WPz]]，其投影成圖像點(diǎn)為[IP=[IPr，IPc]]。兩者的變換關(guān)系為[9]：

式中：W為世界坐標(biāo)系;C為攝像機(jī)坐標(biāo)系。設(shè)圖像坐標(biāo)點(diǎn)為[（x，y）]，相關(guān)的攝像機(jī)坐標(biāo)點(diǎn)為[（CPx，CPy，CPz）]，那么可以按照如下方式進(jìn)行透視變換：

式中[f]表示焦距。

3.2? 基于雙目視覺技術(shù)的手勢(shì)識(shí)別

本文實(shí)驗(yàn)將采集到的RGB值轉(zhuǎn)化成HSV值，具體步驟如下[10]：

式中：[r，g，b]和[H，S，V]分別為每個(gè)像素的RGB分量和HSV分量。接著進(jìn)行HSV二值化。

本文采用基于運(yùn)動(dòng)學(xué)反解的仿真算法[11]實(shí)現(xiàn)手形繪制，并默認(rèn)滿足手的運(yùn)動(dòng)約束關(guān)系。解剖學(xué)研究顯示，人手指關(guān)節(jié)之間的關(guān)系如下：

式中：[γ]表示某個(gè)手指;DIP和RIP分別表示不同的關(guān)節(jié)位置，具體運(yùn)動(dòng)學(xué)模型如圖3所示。

基于運(yùn)動(dòng)學(xué)反解的仿真算法主要逆向推出關(guān)節(jié)在關(guān)節(jié)空間中的狀態(tài)，方式如下：

式中：[X]為關(guān)節(jié)末端的狀態(tài)矢量;[q]為關(guān)節(jié)角度參數(shù)。在本文中利用牛頓法實(shí)現(xiàn)三角方程[f（?）]的求解，在一定程度上提高了迭代速度，有利于增強(qiáng)實(shí)時(shí)性。

4? 實(shí)驗(yàn)結(jié)果與分析

4.1? 實(shí)驗(yàn)硬件和軟件環(huán)境

為了驗(yàn)證提出的三維虛擬交互室內(nèi)設(shè)計(jì)平臺(tái)的性能，本文以家居室內(nèi)應(yīng)用為例進(jìn)行了開發(fā)和實(shí)例驗(yàn)證。使用雙目立體視覺和Kinect深度攝像機(jī)進(jìn)行室內(nèi)場(chǎng)景三維重建。借助虛擬建模軟件3dsMax搭建室內(nèi)實(shí)體及其三維場(chǎng)景，并結(jié)合Unity3D引擎作為虛擬驅(qū)動(dòng)平臺(tái)重構(gòu)。操縱系統(tǒng)為Windows 7。實(shí)驗(yàn)的硬件設(shè)置和配置情況見表1。從表1可以看出，該平臺(tái)無需數(shù)字手套輸入設(shè)備，因此成本較低。

4.2? 效果分析

在切換到室內(nèi)場(chǎng)景設(shè)計(jì)的界面時(shí)，室內(nèi)三維虛擬交互的效果如圖4所示，用戶自由交互式漫游效果良好，通過雙目立體視覺和Kinect攝像機(jī)實(shí)時(shí)檢測(cè)用戶手形和輪廓，從而實(shí)現(xiàn)人機(jī)交互輸入，得到了自然直觀的用戶體驗(yàn)效果。

4.3? 實(shí)時(shí)性和準(zhǔn)確性分析

表2為基于雙目視覺技術(shù)的手勢(shì)識(shí)別的檢測(cè)率結(jié)果，可以看出，實(shí)際發(fā)生的幀數(shù)和檢測(cè)出的發(fā)生幀數(shù)之間差距較小，也就是說，能夠在相當(dāng)短的時(shí)間內(nèi)檢測(cè)到手勢(shì)的變化，實(shí)現(xiàn)了快速的輸入響應(yīng)。

表2中誤差的計(jì)算方式[12]如下：

式中：[A]表示用戶產(chǎn)生手勢(shì)變化時(shí)的幀;[D]表示平臺(tái)檢測(cè)出的幀數(shù);[error]表示誤差。從表1中可以看出提出識(shí)別算法具有較好的實(shí)時(shí)性。

將本文識(shí)別算法與基于OpenCV[13]、單目視覺[14]的手勢(shì)識(shí)別方法進(jìn)行了對(duì)比。重復(fù)一個(gè)手勢(shì)動(dòng)作100次后，三種不同方法的手勢(shì)跟蹤結(jié)果如圖4所示?？梢钥闯?，本文方法的跟蹤誤差最小。此外，對(duì)于不同的20個(gè)手勢(shì)動(dòng)作也進(jìn)行了100次重復(fù)實(shí)驗(yàn)取平均值。三種方法的識(shí)別準(zhǔn)確率如表3所示?？梢钥闯?，對(duì)于大部分手勢(shì)動(dòng)作，本文方法均能夠準(zhǔn)確識(shí)別出來，如向左、向右等動(dòng)作。在相同條件下，相比于OpenCV和單目視覺，本文方法能夠保持更高的準(zhǔn)確率。

5? 結(jié)? 語

本文設(shè)計(jì)了一種基于三維虛擬視覺及手勢(shì)交互的室內(nèi)設(shè)計(jì)平臺(tái)，提高了人機(jī)交互的準(zhǔn)確性、降低實(shí)現(xiàn)成本，并為用戶提供了全新的逼真虛擬場(chǎng)景體驗(yàn)。實(shí)際室內(nèi)應(yīng)用的實(shí)例運(yùn)行結(jié)果驗(yàn)證了提出平臺(tái)設(shè)計(jì)的可行性和實(shí)時(shí)性。此外，相比基于OpenCV、單目視覺的手勢(shì)識(shí)別方法，本文提出的雙目視覺技術(shù)手勢(shì)識(shí)別表現(xiàn)出更高的準(zhǔn)確性。但是，對(duì)于復(fù)雜的手勢(shì)運(yùn)動(dòng)，平臺(tái)交互識(shí)別效果不夠穩(wěn)定，魯棒性不高，且受到光線強(qiáng)度的影響較大，后續(xù)將對(duì)此開展進(jìn)一步研究。

參考文獻(xiàn)

[1] LAVER K E， GEORGE S， THOMAS S， et al. Virtual reality for stroke rehabilitation [J]. Physical therapy， 2016， 2（9）： 20?21.

[2] SATAVA R M. Virtual reality， telesurgery， and the new world order of medicine [J]. Journal of image guided surgery， 2015， 1（1）： 12?16.

[3] RIZZO A， HARTHOLT A， GRIMANI M， et al. Virtual reality exposure therapy for combat?related posttraumatic stress disorder [J]. Computer， 2014， 47（7）： 31?37.

[4] 師春艷.基于三維視覺的室內(nèi)設(shè)計(jì)虛擬現(xiàn)實(shí)方法研究[J].現(xiàn)代電子技術(shù)，2018，41（5）：78?82.

[5] 彭渝，秦小鐵.基于三維平臺(tái)的虛擬圖書館設(shè)計(jì)與構(gòu)建[J].重慶科技學(xué)院學(xué)報(bào)（社會(huì)科學(xué)版），2014（6）：142?143.

[6] BASTUG E， BENNIS M， MEDARD M， et al. Toward interconnected virtual reality： opportunities， challenges， and enablers [J]. IEEE communications magazine， 2017， 55（6）： 110?117.

[7] FRISOLI A， SALSEDO F， BERGAMASCO M， et al. A force?feedback exoskeleton for upper?limb rehabilitation in virtual reality [J]. Applied bionics & biomechanics， 2014， 6（2）： 115?126.

[8] PARK J， PAN Y， KIM C， et al. Future information technology [M]. [S.l.]： Springer， 2014.

[9] 付朋，陳新度，吳磊.基于角點(diǎn)的雙目視覺絕對(duì)定位研究[J].電子測(cè)量與儀器學(xué)報(bào)，2018（3）：1?8.

[10] 李秀娟，劉偉，李珊紅，等.基于雙目視覺導(dǎo)航的仿生機(jī)器人魯棒控制算法[J].計(jì)算機(jī)科學(xué)，2017，44（8）：318?321.

[11] 林碧華，張開淋，劉向軍.基于虛擬雙目視覺的電器電弧弧根三維運(yùn)動(dòng)特性的研究方法[J].電器與能效管理技術(shù)，2017（23）：1?5.

[12] IMPAIRMENT G. Effectiveness of conventional versus virtual reality based vestibular rehabilitation in the treatment of dizziness， gait and balance impairment in adults with unilateral peripheral vestibular hypofunction [J]. Journal of the American society for mass spectrometry， 2014， 17（5）： 661?671.

[13] 趙健，張冬泉.基于OpenCV的數(shù)字手勢(shì)識(shí)別算法[J].計(jì)算機(jī)應(yīng)用，2013，33（z2）：193?196.

[14] 巫建輝.基于單目視覺的人機(jī)交互系統(tǒng)研究[J].工業(yè)控制計(jì)算機(jī)，2018，31（12）：7?8.