摘? ? 要： VR與無人機合作的觸角已經(jīng)伸到了各種領(lǐng)域，戴上VR眼鏡進行無人機操作可以得到沉浸式的真實感受。本項目以教育研究為出發(fā)點，立足于《建筑模型設(shè)計與制作》課程將無人機+VR眼鏡來制作3D視頻或者用來給用戶帶來建筑全方位視角體驗的技術(shù)可行性進行研討。

關(guān)鍵詞：建筑漫游;VR技術(shù);沉浸式體檢

1? VR技術(shù)概述

1.1? VR技術(shù)

VR是Virtual Reality的縮寫，中文的意思是虛擬現(xiàn)實。虛擬現(xiàn)實技術(shù)是一種能夠創(chuàng)建和體驗虛擬世界的計算機仿真技術(shù)，它利用計算機生成一種交互式的三維動態(tài)視景，其實體行為的仿真系統(tǒng)能夠使用戶沉浸到該環(huán)境中。今天VR技術(shù)已成為新產(chǎn)品設(shè)計開發(fā)的重要手段。其中，協(xié)同工作虛擬現(xiàn)實是VR技術(shù)新的研究和應用的熱點，它要考慮多個參與者在一個共享的空間中如何相互交互，在VR環(huán)境下的進行協(xié)同設(shè)計，團隊成員可同步或異步地在虛擬環(huán)境中從事構(gòu)造和操作虛擬對象的活動，并可對虛擬對象進行評估、討論以及重新設(shè)計等活動。

2? VR技術(shù)是如何在建筑漫游中應用

2.1? 無人機拍攝的技術(shù)優(yōu)勢

將無人機拍攝的圖像進行實景三維模型建模。形象點說，就相當于把自己的眼睛“安裝”在無人機上，體驗者自己已經(jīng)化身為無人機，在虛擬的世界感受現(xiàn)實的景觀。比如天辰智創(chuàng)團隊在西嶺雪山就曾經(jīng)呈現(xiàn)給游客一種全新的智慧旅游觀景體驗。據(jù)項目創(chuàng)始人介紹，因為每個景區(qū)都有大量未被開發(fā)或無法被開發(fā)的絕美風景是游人雙腳無法到達的，借助于“無人機&VR”技術(shù)，等于給了體驗者上帝的雙眼和小鳥的翅膀，身臨其境的從人類不可能到達的角度去感受美景。

2.2? 無人機拍攝的與建筑漫游結(jié)合的難點

第一，硬件技術(shù)的局限。目前設(shè)備使用不便、效果不佳等問題仍然突出，硬件的處理速度遠不能滿足在虛擬世界中實時處理大量數(shù)據(jù)的需求。相關(guān)設(shè)備的價格也十分高昂，一個頭盔式顯示器加上主機的成本動輒上萬元。

第二，軟件可用性差。受硬件局限性的影響，虛擬現(xiàn)實軟件開發(fā)花費巨大且效果有限，相關(guān)的算法和理論也尚不成熟。在新型傳感機理、集合與物理建模方法、高速圖形圖像處理、人工智能等領(lǐng)域，都有很多問題亟待解決。三維建模技術(shù)也需進一步完善。

第三，應用領(lǐng)域有限。目前，虛擬現(xiàn)實技術(shù)主要應用于軍事和高校科研，在教育、工業(yè)領(lǐng)域應用還遠遠不足，未來應努力在民用領(lǐng)域的不同行業(yè)發(fā)揮作用。

第四，效果不夠理想。在虛擬現(xiàn)實的感知方面，有關(guān)視覺合成方面的研究較多，對聽覺、觸覺關(guān)注較少，真實性、實時性不足，基于嗅覺、味覺的設(shè)備還沒有實現(xiàn)商品化。此外，在交互效果方面，虛擬現(xiàn)實技術(shù)與人的自然交互不足，在語音識別、人工智能方面的效果尚不能令人滿意。

3? 對于應用VR技術(shù)于建模漫游的思考

3.1? 前期的數(shù)據(jù)收集

我們的課題首先嘗試在深圳福田某中學開展培訓課程，通過中學生對無人機與VR眼鏡結(jié)合建筑瀏覽課程制作出建筑三維建筑模型一個區(qū)域范圍內(nèi)的拍攝建模。我們用最常見的折線飛行。折線飛行顧名思義就是讓飛機走之字型的路徑，掃描整個要拍攝的區(qū)域，這種方式比較適合拍攝大面積的場景。

無人機拍攝的圖像進行實景三維模型建模，大規(guī)模重建任務更多使用長航時的固定翼無人機拍攝的海量圖像。并將其還原成三維模型不僅是對服務器硬件的一個巨大考驗，更對三維重建算法的擴展性有極高的要求。我們學生面對這個巨大的挑戰(zhàn)，顯得毫不畏懼，對這種大規(guī)模重建任務駕輕就熟，并能夠出色完美地完成客戶的處理要求。

3.2? 提出超視距觀察的解決思路

本課題研究以VR眼鏡使用APP軟件功能與無人機飛控系統(tǒng)相結(jié)合改造傳統(tǒng)的建筑瀏覽，擬通過這項幾項新技術(shù)結(jié)合傳統(tǒng)的建筑瀏覽課程來定制視頻制作軟件、建筑構(gòu)造改造，三維地圖設(shè)計開發(fā)等項目。

（1）VR眼鏡通同APP軟件匹配到無人機圖傳數(shù)據(jù)上，圖傳會傳輸實時圖像到VR眼鏡上，通過飛行技術(shù)人員來操控無人機，云臺手通過VR眼鏡從多個不同角度跟拍無人機畫面.

（2）數(shù)據(jù)測繪軟件掛載在無人機上來實現(xiàn)測繪建筑室外室內(nèi)三維數(shù)據(jù)，致力于城市三維數(shù)據(jù)地圖與軟件開發(fā)創(chuàng)新研發(fā)等項目。

（3）人機結(jié)合VR眼鏡來制作3D視頻或者用來給用戶帶來建筑全方位視角體驗，再結(jié)合學生開發(fā)軟件平臺，進而讓學生能夠自主研發(fā)創(chuàng)新更多領(lǐng)域的技術(shù)，

學生通過運用VR可視系統(tǒng)體驗全新四維建筑交互體驗，從而對科技產(chǎn)業(yè)的濃厚興趣來進行開發(fā)創(chuàng)新。

4? 針對建筑漫游與VR結(jié)合的的對策

參與三維重建的圖像也就是數(shù)據(jù)量越大，所需的處理時間自然也會變長。但是究竟處理時間會變得多長卻是大有文章。在計算機科學的世界里，我們會使用一個叫做 “時間復雜度” 的衡量標準來評價一個算法因應數(shù)據(jù)量的增多，處理時間的變長程度。我們舉個例子，如果有兩個三維重建系統(tǒng)他們處理 100 張圖都花了1小時。當圖像數(shù)量變成 10 倍 1000 張圖片的時候，其中一個系統(tǒng)的處理時間只是原來的 10 倍，變成了 10 小時，這樣的系統(tǒng)，我們評價他的時間復雜度是線性的。但是另一個系統(tǒng)，卻變成了原來的 100 倍，需要處理 100 小時。

4.1? 建筑漫游的高效大規(guī)模三維重建

同類重建軟件空三處理步驟受限于圖片數(shù)量，通常需要預先對原始處理數(shù)據(jù)人為做切分處理。由于其空三步驟是分開單獨進行處理，即使后期加入控制點進行優(yōu)化，單獨重建的不同模型仍然會出現(xiàn)連接區(qū)域不一致的問題。無人機與VR 眼鏡結(jié)合建筑瀏覽恰好能夠完美解決上述問題。無論輸入圖片數(shù)據(jù)數(shù)量的多少，都能生成完整、連續(xù)、無切分的空三結(jié)果。加上基于整體模型的網(wǎng)格和紋理優(yōu)化，大大提升了最終紋理模型的精確性和一致性。

4.2? 高效的算法級并行處理

無人機與VR 眼鏡結(jié)合建筑漫游的高效三維重建得益于我們自行研發(fā)的先進分布式并行處理系統(tǒng)和高度優(yōu)化的分布式并行三維重建算法。不同于同類軟件將整個模型分塊進行并行運算，學生之間則會通過深度學習，綜合相片的視覺信息和空間信息等各方面的要素，自動地把每個步驟的任務分割成恰當大小的任務在多機上并行處理，包括特征提取、空三、密集點云、網(wǎng)格生成、紋理貼圖。由于同類軟件空三步驟都是單機運行，一旦空三任務失敗，使用者必須重新處理整個空三任務，經(jīng)歷漫長等待?？杖襟E能夠自動進行任務級并行，從而大幅提升了空三的效率。此外，我們很好利用了圖形運算單元（GPU）幫助特征點運算、密集點云和網(wǎng)格優(yōu)化，極大增強了整個重建任務的并行度和服務器的使用率。因此，建筑瀏覽能夠?qū)崿F(xiàn)真正大規(guī)模重建的可擴展性，這解釋了為什么無人機與VR 眼鏡結(jié)合建筑瀏覽能夠做到處理時間和處理效率能夠隨著服務器數(shù)據(jù)的增長線性增長。

項目通過對三維建模的結(jié)合運用到地圖以及城市規(guī)劃方面來進行學術(shù)性研究，我們特別摸索出場景分解算法，在幀率和視覺效果之間尋求最佳平衡點。在保證順暢交互的同時，大幅增加了所能觀賞到的細節(jié)。無人機與VR眼鏡三維瀏覽引擎使用這個四兩撥千斤的方式，渲染再大規(guī)模的模型也可以舉重若輕。

5? 結(jié)語

現(xiàn)有的無人機與VR技術(shù)結(jié)合課程對于學校傳統(tǒng)教育方法來說是個全新的手段，課題結(jié)合我們現(xiàn)有的技術(shù)條件來定位，無人機結(jié)合VR眼鏡來制作3D視頻或者用來給用戶帶來建筑全方位視角體驗是非常不錯的創(chuàng)新點，并提高學生的動手能力，讓學生能夠自主研發(fā)創(chuàng)新更多領(lǐng)域提供堅實的基礎(chǔ)與平臺。

項目：

基于無人機平臺的建筑VR眼鏡四維瀏覽系統(tǒng)研發(fā)與應用（JS201705）。

作者簡介：

金哲，講師，碩士，深圳信息職業(yè)技術(shù)學院 ，研究方向 ：環(huán)境藝術(shù)。