劉天漪，鐘志農(nóng)，熊 偉，甘麟露，陳 犖

(國(guó)防科技大學(xué) 電子科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙 410073)

0 引 言

三維場(chǎng)景是三維地理信息系統(tǒng)的重要組成部分，如何實(shí)現(xiàn)三維場(chǎng)景的流暢顯示是目前三維地理信息系統(tǒng)的重要問(wèn)題。三維模型是組成三維場(chǎng)景的主要元素，每個(gè)模型同時(shí)包含頂點(diǎn)、紋理和語(yǔ)義等多種信息，其結(jié)構(gòu)復(fù)雜，內(nèi)容豐富，數(shù)據(jù)量大。就一個(gè)城市場(chǎng)景而言，三維模型的數(shù)據(jù)量少則幾個(gè)GB，多則上百GB。在面向Web的三維可視化應(yīng)用中，由于三維模型數(shù)據(jù)量大，造成磁盤(pán)I/O和網(wǎng)絡(luò)傳輸時(shí)間較長(zhǎng)，瀏覽器端等待繪制的時(shí)間也會(huì)增加，可視化效率會(huì)降低。因此，為實(shí)現(xiàn)三維場(chǎng)景的流暢顯示，需要對(duì)三維模型進(jìn)行高效組織管理。

目前，三維模型的格式和來(lái)源多樣，并在數(shù)據(jù)組織和管理上沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)?，F(xiàn)階段常用的管理方法與二維數(shù)據(jù)類(lèi)似，主要有文件管理方式[1]和關(guān)系數(shù)據(jù)庫(kù)管理方式[2]。采用文件系統(tǒng)管理方式，三維模型未得到有效的組織，數(shù)據(jù)冗余量大。而基于數(shù)據(jù)庫(kù)的管理方式則主要管理三維模型的元數(shù)據(jù)信息，側(cè)重解決模型的存儲(chǔ)、檢索等方面的問(wèn)題，較少涉及對(duì)三維場(chǎng)景可視化效率的研究。兩種方式在實(shí)際Web應(yīng)用中，均存在存取模型速度慢、響應(yīng)時(shí)間長(zhǎng)、可視化效率低等問(wèn)題。為克服上述問(wèn)題，本文提出了一種基于redis內(nèi)存數(shù)據(jù)庫(kù)的三維模型管理方法。實(shí)驗(yàn)結(jié)果表明，采用該方法管理三維模型，能較大提高三維場(chǎng)景可視化的效率。

1 相關(guān)核心技術(shù)

1.1 glTF三維模型

在通過(guò)瀏覽器瀏覽三維場(chǎng)景時(shí)，三維模型數(shù)據(jù)是網(wǎng)絡(luò)傳輸?shù)闹饕獌?nèi)容，傳輸效率直接影響模型可視化效果。因此，需要一種占用空間小、傳輸速度快、與圖形繪制接口良好對(duì)接的三維模型數(shù)據(jù)格式。

glTF是一種專(zhuān)為WebGL設(shè)計(jì)的，利于高效傳輸和加載三維場(chǎng)景的三維模型格式[3]。它描述三維模型全場(chǎng)景，包含模型的網(wǎng)格結(jié)構(gòu)、紋理圖片等信息，其結(jié)構(gòu)如圖1所示。一個(gè)完整的glTF模型共分4個(gè)部分：.gltf文件，.bin文件，.glsl文件和.jpg或.png文件。其中，.gltf文件是整個(gè)模型的核心，它存儲(chǔ)模型的節(jié)點(diǎn)層次、材質(zhì)、相機(jī)等信息；.bin文件是二進(jìn)制幾何文件，主要存儲(chǔ)模型的頂點(diǎn)坐標(biāo)和坐標(biāo)的索引等信息；.glsl文件是著色器文件，主要存儲(chǔ)圖像渲染所需的頂點(diǎn)著色器和像元著色器；.jpg或.png文件是模型的紋理貼圖文件。在實(shí)際應(yīng)用中，為降低前端瀏覽器的并發(fā)請(qǐng)求數(shù)，可將著色器文件、二進(jìn)制幾何文件和貼圖文件利用Data URL技術(shù)，以base64字符串格式內(nèi)嵌到glTF文件中，成為一體。

圖1 glTF模型Fig.1 glTF model

將貼圖文件以base64編碼的方式內(nèi)嵌到glTF中，在使用時(shí)還需要另外解碼，且三維模型文件大小增加了30%左右。為解決上述問(wèn)題，Khrono組織官方引入Binary glTF擴(kuò)展[4]，它既能夠?qū)⑺術(shù)lTF資產(chǎn)整合到一個(gè)文件中，又能夠解決base64位編碼帶來(lái)的損失。Binary glTF文件結(jié)構(gòu)如圖2所示。它由三部分組成：20位的頭文件(20-byte header)、json格式的場(chǎng)景描述(content)以及二進(jìn)制塊(body)。其中二進(jìn)制塊是最關(guān)鍵的部分，它包含所有的頂點(diǎn)、索引、圖片和著色器信息，將所有的整型、單精度浮點(diǎn)型的頂點(diǎn)數(shù)據(jù)以四字節(jié)的數(shù)組編碼。

圖2 binary glTF文件結(jié)構(gòu)Fig.2 Binary glTF file structure

1.2 redis內(nèi)存數(shù)據(jù)庫(kù)

redis是一種鍵值對(duì)(Key-Value)數(shù)據(jù)庫(kù)[5]，它利用哈希表在鍵(key)與值(value)建立映射關(guān)系。鍵值對(duì)建立之后，通過(guò)key可以快速查找到對(duì)應(yīng)的value。因此對(duì)于單個(gè)key的查找來(lái)說(shuō)，Key-Value存儲(chǔ)能夠獲得良好的性能。

利用redis數(shù)據(jù)庫(kù)管理三維模型的優(yōu)點(diǎn)主要有：

1）減少磁盤(pán)I/O，提高模型存取速度。由于redis是內(nèi)存數(shù)據(jù)庫(kù)，所有的數(shù)據(jù)不經(jīng)過(guò)磁盤(pán)直接調(diào)用，對(duì)于加載數(shù)據(jù)量較大的三維模型，縮短了響應(yīng)時(shí)間。

2）支持集群模式。單個(gè)計(jì)算機(jī)的內(nèi)存容量有限，因此存儲(chǔ)大數(shù)據(jù)量的三維模型受到限制。而redis提供Cluster集群方案，可以將內(nèi)存容量擴(kuò)展，并對(duì)數(shù)據(jù)分塊存儲(chǔ)。

3）持久化設(shè)計(jì)。redis作為內(nèi)存數(shù)據(jù)庫(kù)，能夠在將數(shù)據(jù)加載到內(nèi)存操作的同時(shí)，異步將其flush到硬盤(pán)中保存，以此保證服務(wù)器重啟后數(shù)據(jù)不丟失。

4）豐富的數(shù)據(jù)結(jié)構(gòu)。與其他非關(guān)系型數(shù)據(jù)庫(kù)不同，redis中數(shù)據(jù)類(lèi)型不僅限于字符串，還支持字符串列表、無(wú)序不重復(fù)的字符串集合、有序不重復(fù)的字符串集合以及key-value都為字符串的哈希表。

5）地理特性。Redis數(shù)據(jù)庫(kù)可以存儲(chǔ)地理空間信息，并進(jìn)行簡(jiǎn)單的操作。

1.3 WebGL技術(shù)與Cesium三維引擎

WebGL誕生于2010年，是由科納斯組織(KhronosGro up)開(kāi)發(fā)和維護(hù)的一種基于 JavaScript免費(fèi)的、跨平臺(tái)的應(yīng)用程序接口API[6]。它運(yùn)用JavaScript腳本制作Web交互式三維圖形程序，利用統(tǒng)一的OpenGL接口，通過(guò)底層圖形處理硬件加速功能進(jìn)行圖形渲染。利用WebGL技術(shù)，可以無(wú)需插件，直接通過(guò)瀏覽器加速圖形硬件，提高渲染速度。

Cesium是一個(gè)通過(guò)Web瀏覽器創(chuàng)建三維地球和二維地圖的JavaScript庫(kù)[7]。它無(wú)需任何插件，能夠在支持HTML5標(biāo)準(zhǔn)的瀏覽器上運(yùn)行。由于Cesium基于WebGL技術(shù)提供圖形加速，因此在渲染較復(fù)雜的三維模型時(shí)可以顯著提高性能，適合大范圍三維場(chǎng)景的可視化。除此之外，Cesium還廣泛收集庫(kù)，能夠在三維地球上執(zhí)行各類(lèi)地理信息分析。

2 基于redis的三維模型管理方法關(guān)鍵技術(shù)

2.1 三維模型數(shù)據(jù)格式轉(zhuǎn)換

目前，glTF還未成為行業(yè)標(biāo)準(zhǔn)，各大商業(yè)建模軟件還不支持直接以glTF格式導(dǎo)出三維模型，只能先以collada格式導(dǎo)出，再通過(guò)數(shù)據(jù)預(yù)處理過(guò)程轉(zhuǎn)成glTF格式。還可根據(jù)需要，轉(zhuǎn)成Binary glTF格式。

具體流程如圖3所示。

圖3 數(shù)據(jù)預(yù)處理流程Fig.3 Data pretreatment process

1)利用建模軟件CityEngine，建立費(fèi)城地區(qū)大規(guī)模三維場(chǎng)景數(shù)據(jù)集，以collada格式導(dǎo)出。建模后的費(fèi)城數(shù)據(jù)集共有collada模型文件412個(gè)，紋理圖片125張，共41.5 M。

2)采用mpi并行框架，編寫(xiě)多進(jìn)程批處理轉(zhuǎn)換程序mpicollada2glTF.py，將模型全部轉(zhuǎn)化成glTF格式。同時(shí)利用python語(yǔ)言的xml解析模塊xmlElementree解析collada模型，提取元數(shù)據(jù)信息，包括模型的名稱(chēng)、高度、底面中心坐標(biāo)、底面中心坐標(biāo)Geohash值及其他相關(guān)屬性信息，名字作為下一步查詢(xún)模型的索引，坐標(biāo)信息用來(lái)決定模型在可視化過(guò)程中放置的位置。把所有模型的元數(shù)據(jù)信息寫(xiě)入一個(gè)xml元數(shù)據(jù)文件，作為下一步調(diào)度模型可視化的索引文件。

3)通過(guò)利用python語(yǔ)言編寫(xiě)的批處理程序gltf2glb.py把所有g(shù)lTF模型轉(zhuǎn)換為Binary glTF格式，并存入數(shù)據(jù)庫(kù)管理，以便下一步調(diào)用。

2.2 基于redis的三維模型數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)

根據(jù)空間數(shù)據(jù)庫(kù)的一般組成結(jié)構(gòu)和三維模型數(shù)據(jù)的特點(diǎn)，設(shè)計(jì)基于redis的三維模型數(shù)據(jù)庫(kù)。它為三級(jí)存儲(chǔ)結(jié)構(gòu)，如圖4所示。

圖4 基于redis的三維模型三級(jí)存儲(chǔ)結(jié)構(gòu)Fig.4 3-level store structure of 3D model based on redis

第一級(jí)為三維空間數(shù)據(jù)庫(kù)，包括一個(gè)區(qū)域集列表和描述該空間數(shù)據(jù)庫(kù)的元數(shù)據(jù)信息。區(qū)域集列表采用redis的set數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)所有的區(qū)域集名稱(chēng)，key=3DsetsList，value為數(shù)據(jù)庫(kù)內(nèi)所有的區(qū)域集，利用redis的smembers命令可返回三維空間數(shù)據(jù)庫(kù)中所有的區(qū)域集成員；空間數(shù)據(jù)庫(kù)元數(shù)據(jù)信息采用redis的hash數(shù)據(jù)結(jié)構(gòu)管理，包括數(shù)據(jù)庫(kù)的名稱(chēng)(name)，描述(description)和版本(version)。

第二級(jí)是區(qū)域集，按照區(qū)域?qū)⑷S模型劃分到不同的集合中。和上一級(jí)結(jié)構(gòu)類(lèi)似，區(qū)域集也包括兩部分，即區(qū)域內(nèi)建筑要素集合和區(qū)域的元數(shù)據(jù)信息。區(qū)域內(nèi)建筑要素集合同樣采用set數(shù)據(jù)結(jié)構(gòu)管理區(qū)域內(nèi)所有的建筑要素，key=Dataset:A:ModelList，value為區(qū)域內(nèi)所有建筑要素，可通過(guò)keys命令獲取區(qū)域內(nèi)全部建筑，也可判斷某建筑是否在該區(qū)域集內(nèi)。利用geoadd命令可將區(qū)域集內(nèi)建筑元素及其經(jīng)緯度坐標(biāo)信息全部添加，還可利用geopos命令獲取建筑元素地理位置，方便在可視化過(guò)程中將模型放置在正確地理位置；區(qū)域集的元數(shù)據(jù)信息也采用hash數(shù)據(jù)結(jié)構(gòu)，包括該區(qū)域的名稱(chēng)，包圍盒范圍(Xmax，Xmin，Ymax，Ymin)，此外由于每個(gè)區(qū)域集建模的參考系不一定完全相同，所以還需要將坐標(biāo)參考系信息(SRID)作為重要元數(shù)據(jù)信息存儲(chǔ)。

第三級(jí)為建筑要素，不僅管理三維模型空間信息，也管理語(yǔ)義信息。用hash數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)模型的經(jīng)緯度信息、Geohash值和全部模型資產(chǎn)(.gltf文件)。Geohash 字段用來(lái)存儲(chǔ)該建筑要素的空間編碼，空間編碼可將模型底面中心的二維位置坐標(biāo)轉(zhuǎn)化為一維的字符串，以string類(lèi)型存儲(chǔ)，它將是進(jìn)一步研究中構(gòu)建redis集群索引的基礎(chǔ)。.gltf文件以string格式存儲(chǔ)在geometry字段中，代表該模型元素的全部資產(chǎn)；建筑要素的語(yǔ)義信息較多，適合用hash數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)，包括名稱(chēng)(name)，id等其他屬性信息。

為保證建筑要素的key值唯一，需要將三維空間數(shù)據(jù)庫(kù)、區(qū)域集、建筑要素3個(gè)部分組合起來(lái)，每部分的名稱(chēng)都需要保證全局唯一。以費(fèi)城數(shù)據(jù)集某一建筑要素為例，設(shè)計(jì)其key為db1:phil:Shape1.gltf，通過(guò)主鍵索引，即可從數(shù)據(jù)庫(kù)db1、區(qū)域phil、建筑名Shape1.gltf獲得唯一建筑要素。采用這種方式組織三維模型，可以迅速檢索所需空間數(shù)據(jù)庫(kù)、區(qū)域集、建筑要素及其相關(guān)信息。通過(guò)這樣的策略，在下一步的數(shù)據(jù)發(fā)布階段，使得服務(wù)器端可以直接通過(guò)key定位指定模型，將數(shù)據(jù)返回瀏覽器前端進(jìn)行繪制。

2.3 數(shù)據(jù)的發(fā)布與可視化

由于redis中的數(shù)據(jù)存儲(chǔ)在內(nèi)存中，而Cesium繪制引擎通過(guò)調(diào)用統(tǒng)一資源定位符(url)獲得數(shù)據(jù)資源，因此需要建立Web服務(wù)，將內(nèi)存數(shù)據(jù)庫(kù)中的數(shù)據(jù)通過(guò)url發(fā)布。數(shù)據(jù)發(fā)布過(guò)程如圖5所示，其基本流程如下：瀏覽器端先向Web服務(wù)發(fā)出Get請(qǐng)求，當(dāng)Web服務(wù)收到Get請(qǐng)求后，從基于redis的三維模型數(shù)據(jù)庫(kù)中調(diào)用所需模型，然后通過(guò)Web服務(wù)將請(qǐng)求的模型返回給前端，最終由Cesium引擎實(shí)現(xiàn)可視化。其中Web服務(wù)基于輕量級(jí)Web應(yīng)用框架Flask編寫(xiě)，將自定義的get函數(shù)動(dòng)態(tài)綁定到url上，可以實(shí)現(xiàn)前端通過(guò)url獲取內(nèi)存中數(shù)據(jù)的功能。而自定義的get函數(shù)，就是根據(jù)key從三維模型數(shù)據(jù)庫(kù)中取得模型數(shù)據(jù)的過(guò)程。

圖5 三維模型數(shù)據(jù)發(fā)布過(guò)程Fig.5 3D data publish process

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文提出的方法對(duì)可視化效果的優(yōu)化，進(jìn)行了兩組對(duì)比實(shí)驗(yàn)。一是對(duì)采用傳統(tǒng)文件系統(tǒng)和本文方法管理的模型加載時(shí)間對(duì)比，二是采用本文方法管理glTF模型和帶有Binary glTF擴(kuò)展的模型加載時(shí)間對(duì)比。實(shí)驗(yàn)環(huán)境配置如下：瀏覽器端為Intel i5-4570 CPU，16G內(nèi)存；服務(wù)器端為4個(gè)Intel Xeon E5-4620 2.2GHz CPU，529G內(nèi)存。瀏覽器端操作系統(tǒng)為win7，安裝有chrome瀏覽器；服務(wù)器端操作系統(tǒng)為centOS，安裝有redis數(shù)據(jù)庫(kù)。實(shí)驗(yàn)數(shù)據(jù)為費(fèi)城某城市場(chǎng)景，經(jīng)過(guò)預(yù)處理后生成的glTF格式的數(shù)據(jù)量大小為868.4 M，再轉(zhuǎn)換為Binary glTF格式的數(shù)據(jù)量大小為868.4 M。

3.1 不同管理方法下模型的加載效率測(cè)試

前端分別對(duì)文件系統(tǒng)和本文提出的三維數(shù)據(jù)庫(kù)請(qǐng)求50、100、200、300個(gè)模型，進(jìn)行3次測(cè)試，取3次實(shí)驗(yàn)耗時(shí)的平均值。采用傳統(tǒng)文'件系統(tǒng)和本文方法管理的模型加載時(shí)間對(duì)比如圖6所示。

圖 6 不同管理方式加載時(shí)間對(duì)比Fig.6 Comparison of different management approaches'loading time

不難看出，無(wú)論采用哪種管理方法，隨著模型數(shù)量的增多，加載時(shí)間幾乎都呈線(xiàn)性增長(zhǎng)。采用本文方法管理的模型，全部加載時(shí)間小于從文件系統(tǒng)加載模型的時(shí)間，且兩者的時(shí)間差值隨著模型數(shù)量的增大而增大。

可視化情況對(duì)比如圖7所示，圖7（a）為從文件系統(tǒng)獲取，圖7（b）為從redis獲取。相同時(shí)間內(nèi)，瀏覽器界面上的模型數(shù)量存在明顯差異。采用本文方法管理的模型比采用文件系統(tǒng)管理的模型數(shù)量多，可視化效率更高。

圖7 加載模型情況對(duì)比圖Fig.7 Comparison of visualization between different management approaches

分析兩者性能差異原因，主要在于本文提出的方法基于redis內(nèi)存數(shù)據(jù)庫(kù)，數(shù)據(jù)存放在內(nèi)存中，服務(wù)器在接到前端請(qǐng)求后，不需要先從磁盤(pán)取出數(shù)據(jù)，減少了磁盤(pán)I/O，縮短了響應(yīng)時(shí)間。而傳統(tǒng)的文件系統(tǒng)，數(shù)據(jù)存放在硬盤(pán)中，需要先將數(shù)據(jù)傳輸?shù)絻?nèi)存中，請(qǐng)求才能得到響應(yīng)。因此受制于磁盤(pán)I/O瓶頸，采用文件系統(tǒng)管理三維模型比采用本文方法管理三維模型加載效率低。

3.2 不同格式模型的加載效率測(cè)試

采用本文方法，分別加載普通glTF格式模型和Binary glTF格式模型，不同格式數(shù)據(jù)加載時(shí)間對(duì)比如圖8所示。

圖8 不同格式模型加載時(shí)間對(duì)比Fig.8 Comparison of different format models of loading time

加載Binary glTF模型所需時(shí)間比加載普通的glTF模型略有縮短，但效果不夠明顯，加載300個(gè)模型的時(shí)間僅縮短1s左右。分析其原因，主要在于Binary glTF模型的數(shù)據(jù)量小于普通glTF模型的數(shù)據(jù)量，所以縮短了模型的內(nèi)容下載時(shí)間。完整的模型加載時(shí)間包括排隊(duì)時(shí)間、遲滯時(shí)間、網(wǎng)絡(luò)連接時(shí)間、請(qǐng)求時(shí)間、等待響應(yīng)時(shí)間、內(nèi)容下載時(shí)間等，其中內(nèi)容下載時(shí)間不是影響整個(gè)模型加載時(shí)間的主要因素。因此采用Binary glTF模型，不會(huì)顯著提升模型的加載效率。

除此之外，在加載全部數(shù)量的模型時(shí)，采用glTF模型出現(xiàn)滑動(dòng)鼠標(biāo)不流暢、瀏覽器卡頓甚至崩潰的情況，而采用Binary glTF模型則可以全部加載。由此可見(jiàn)，采用數(shù)據(jù)量更小的Binary glTF模型對(duì)前端壓力更小。

加載全部模型俯視圖如圖9所示，模型細(xì)節(jié)圖如圖10所示。

圖9 費(fèi)城數(shù)據(jù)集的全部模型Fig.9 All models of the Philadelphia dataset

圖10 費(fèi)城數(shù)據(jù)集的模型細(xì)節(jié)Fig.10 The model details of the Philadelphia dataset

4 結(jié)束語(yǔ)

本文提出了一種基于redis內(nèi)存數(shù)據(jù)庫(kù)的三維模型管理方法，設(shè)計(jì)和實(shí)現(xiàn)了以redis為基礎(chǔ)的三維模型數(shù)據(jù)庫(kù)的分級(jí)組織結(jié)構(gòu)，對(duì)普通glTF模型和Binary glTF模型進(jìn)行管理。實(shí)驗(yàn)結(jié)果表明，較之常用的文件管理方式，該方法有效提升模型的加載效率。模型調(diào)用速度顯著提高，模型加載時(shí)間平均縮短20%左右，可視化效果更加流暢。除此之外還發(fā)現(xiàn)，盡管數(shù)據(jù)量更小的Binary glTF模型在提升模型加載效率方面效果不明顯，但其減小的數(shù)據(jù)量足夠減輕前端的繪制壓力，且減少了網(wǎng)絡(luò)傳輸時(shí)間，也在一定程度上提高了可視化效率。因此，采用本文提出的基于redis的三維模型管理方法管理數(shù)據(jù)量小、適合可視化的Binary glTF模型，可以有效提高三維模型的可視化效率，優(yōu)化可視化效果。

在下一步的研究中，還需要考慮更大規(guī)模的模型場(chǎng)景可視化效率。擬考慮對(duì)三維模型進(jìn)行LOD分級(jí)，在一次性加載大規(guī)模的模型時(shí)根據(jù)視點(diǎn)高度選擇合適層級(jí)的模型進(jìn)行加載，進(jìn)一步提高模型加載效率，減輕前端瀏覽器繪制壓力，優(yōu)化三維場(chǎng)景可視化效果；另外還可以采用redis集群，以geohash值作為索引，將地理臨近的三維模型映射到同一節(jié)點(diǎn)中，實(shí)現(xiàn)高效率的范圍查詢(xún)。