孫 昭，柳有權(quán)，張彩榮，石 劍，陳彥云

?

一種場(chǎng)景內(nèi)容分布的交互式渲染系統(tǒng)

孫 昭1，柳有權(quán)1，張彩榮1，石 劍2，陳彥云3

(1. 長(zhǎng)安大學(xué)信息工程學(xué)院，陜西 西安 710064； 2. 中國(guó)科學(xué)院自動(dòng)化研究所模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100190； 3. 中國(guó)科學(xué)院軟件研究所計(jì)算機(jī)科學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100190)

近年來(lái)，三維虛擬場(chǎng)景的規(guī)模和復(fù)雜程度不斷提高，受到硬件的限制，一些應(yīng)用中的超大規(guī)模場(chǎng)景(如建筑群，城市等)很難在單機(jī)上進(jìn)行渲染或滿足可交互的需求。針對(duì)該問(wèn)題，提出了一種分布式渲染框架，將大規(guī)模場(chǎng)景在內(nèi)容上進(jìn)行劃分，得到單一節(jié)點(diǎn)可渲染的子場(chǎng)景。這些子場(chǎng)景被分布到集群中不同的渲染節(jié)點(diǎn)進(jìn)行處理，其渲染結(jié)果根據(jù)深度信息進(jìn)行合成得到整個(gè)場(chǎng)景的最終渲染結(jié)果。為了降低交互響應(yīng)時(shí)間，需對(duì)子場(chǎng)景的渲染結(jié)果進(jìn)行壓縮傳輸。實(shí)驗(yàn)充分驗(yàn)證了提出的分布式渲染系統(tǒng)能夠高效處理超大規(guī)模場(chǎng)景的渲染和交互，并且具有良好的可擴(kuò)展性，能夠滿足很多領(lǐng)域中對(duì)大規(guī)模場(chǎng)景交互式渲染的需求。

渲染；分布式系統(tǒng)；場(chǎng)景分布；交互式

近年來(lái)，計(jì)算機(jī)輔助設(shè)計(jì)在制造、建筑、機(jī)械設(shè)計(jì)和軟件開(kāi)發(fā)等行業(yè)得到了廣泛地應(yīng)用，其模型對(duì)象通常具有規(guī)模大、精度高等特征。如，一套完整的建筑信息模型(building information modeling，BIM)，通常包含多個(gè)建筑模型、鋼架結(jié)構(gòu)模型、管線模型等，其中每個(gè)模型都包含復(fù)雜的幾何信息。由于需要處理龐大的幾何數(shù)據(jù)，所以對(duì)于此類場(chǎng)景的渲染是一個(gè)極具挑戰(zhàn)的問(wèn)題。

由于渲染是一類計(jì)算密集型任務(wù)，針對(duì)大規(guī)模場(chǎng)景，目前主流的方法是對(duì)其進(jìn)行簡(jiǎn)化。通過(guò)模型簡(jiǎn)化，可以得到“可渲染”的場(chǎng)景或提升場(chǎng)景的渲染效率，但是也會(huì)帶來(lái)一定的質(zhì)量損失。此外，對(duì)于大規(guī)模場(chǎng)景超過(guò)內(nèi)存限制的情況，也可以使用out-of-core渲染來(lái)進(jìn)行處理。在離線渲染中，人們通常使用集群(渲染農(nóng)場(chǎng))，通過(guò)增加計(jì)算資源來(lái)減少所需要的渲染時(shí)間，而該種集群渲染通常是基于幀或圖像區(qū)域進(jìn)行任務(wù)劃分，單一渲染節(jié)點(diǎn)上仍然需要完整的場(chǎng)景內(nèi)容數(shù)據(jù)。

如何提高渲染效率以滿足具體應(yīng)用的交互需求是渲染大規(guī)模場(chǎng)景所面臨的主要挑戰(zhàn)。對(duì)此，本文提出了一種分布式渲染框架來(lái)處理大規(guī)模場(chǎng)景的渲染和交互。首先，需將大規(guī)模場(chǎng)景在內(nèi)容上劃分為單一節(jié)點(diǎn)可渲染的子場(chǎng)景，并將其調(diào)度到渲染集群中的渲染節(jié)點(diǎn)上進(jìn)行處理。子場(chǎng)景的渲染結(jié)果將發(fā)送到客戶端，并根據(jù)場(chǎng)景深度信息進(jìn)行合成得到最終渲染結(jié)果。在整個(gè)過(guò)程中，客戶端產(chǎn)生的交互動(dòng)作通過(guò)網(wǎng)絡(luò)消息通知渲染節(jié)點(diǎn)進(jìn)行處理，更新渲染結(jié)果。在網(wǎng)絡(luò)帶寬的限制下，為了降低交互響應(yīng)時(shí)間，可選擇一個(gè)高效的實(shí)時(shí)壓縮算法對(duì)渲染結(jié)果進(jìn)行壓縮傳輸，實(shí)驗(yàn)表明本文提出的分布式渲染系統(tǒng)能夠達(dá)到可交互的性能，可以滿足實(shí)際應(yīng)用對(duì)大規(guī)模場(chǎng)景交互式渲染的需求。

1 相關(guān)工作

渲染可分為實(shí)時(shí)渲染和離線渲染。實(shí)時(shí)渲染是圖形數(shù)據(jù)的實(shí)時(shí)計(jì)算和輸出，主要應(yīng)用于3D游戲和交互式的可視化等[1]。由于對(duì)響應(yīng)時(shí)間有較高的要求，為了提升渲染性能，實(shí)時(shí)渲染在結(jié)果的真實(shí)感上會(huì)有所妥協(xié)。離線渲染針對(duì)動(dòng)畫、電影等應(yīng)用，通過(guò)長(zhǎng)時(shí)間的大量計(jì)算來(lái)模擬光線的物理傳播以獲得較高真實(shí)感的圖像。近年來(lái)，實(shí)時(shí)渲染和離線渲染得到了不斷發(fā)展，而隨著硬件性能的不斷提升，實(shí)時(shí)渲染的真實(shí)感也得到了很大的進(jìn)步。例如游戲畫面的分辨率和幀率越來(lái)越高(2048×1080，120 fps)，效果也越來(lái)越真實(shí)。

大規(guī)模場(chǎng)景的渲染任務(wù)繁重且耗時(shí)長(zhǎng)。針對(duì)大規(guī)模場(chǎng)景，LUEBKE[2]提出了一種幾何圖元?jiǎng)h減的方法，能夠在一定程度上降低場(chǎng)景的復(fù)雜程度。但是，該方法容易造成模型結(jié)構(gòu)的形變。除此之外，一些基于圖像的處理算法[3-4]，嘗試使用自適應(yīng)分辨率紋理或使用圖像代替幾何圖元的方法來(lái)降低渲染的數(shù)據(jù)總量。但是與幾何圖元裁剪類似，此類渲染方法都是以犧牲視覺(jué)質(zhì)量為代價(jià)來(lái)?yè)Q取場(chǎng)景繪制效率的提升。本文所提出的系統(tǒng)不依賴于模型簡(jiǎn)化，但是可以使用模型簡(jiǎn)化對(duì)場(chǎng)景進(jìn)行預(yù)處理來(lái)進(jìn)一步提升效率。

分布式渲染是將圖像渲染分布到多臺(tái)計(jì)算機(jī)上進(jìn)行處理的一種技術(shù)。MOLNAR等[5]提出了將分布式渲染架構(gòu)按照排序發(fā)生的順序和位置分為Sort-First、Sort-Middle及Sort-Last 3類，并分析了各自的計(jì)算、傳輸性能以及優(yōu)缺點(diǎn)。鄭利平等[6]針對(duì)地貌的渲染提出了基于Sort-Last的分布式渲染架構(gòu)，其具有一定的靈活性和可擴(kuò)展性，適合于更一般的渲染服務(wù)，如幾何體渲染。高官濤等[7]提出了一套基于Spark MapReduce的分布式渲染系統(tǒng)，能夠顯著提高渲染速度，減輕開(kāi)發(fā)所需的工作量。隨著移動(dòng)設(shè)備的快速發(fā)展，遠(yuǎn)程渲染系統(tǒng)帶來(lái)了諸多便利，如CHEN等[8]提出了一種客戶端GPU加速的場(chǎng)景扭曲技術(shù)，將渲染任務(wù)分布到客戶端和服務(wù)端共同渲染，最終進(jìn)行融合，可以大幅減少交互延遲并能提高用戶體驗(yàn)。

針對(duì)大規(guī)模場(chǎng)景超過(guò)內(nèi)存限制的情況，VARADHAN和MANOCHA[9]提出了out-of-core渲染技術(shù)，通過(guò)空間索引結(jié)構(gòu)快速對(duì)所需的數(shù)據(jù)進(jìn)行檢索，并通過(guò)調(diào)度算法實(shí)現(xiàn)顯存-內(nèi)存、內(nèi)存-外存之間的數(shù)據(jù)交換來(lái)進(jìn)行渲染。SCHEIBLAUER和WIMMER[10]使用out-of-core來(lái)渲染大規(guī)模點(diǎn)云數(shù)據(jù)，并提出了點(diǎn)云選擇和交互編輯的算法。本文方法也可以使用out-of-core來(lái)渲染超過(guò)內(nèi)存限制的大規(guī)模子場(chǎng)景。

2 分布式渲染系統(tǒng)

2.1 系統(tǒng)概述

本文提出的分布式渲染系統(tǒng)架構(gòu)如圖1所示。客戶端與渲染節(jié)點(diǎn)組成Master-Slave結(jié)構(gòu)的分布式系統(tǒng)，渲染客戶端(Master)負(fù)責(zé)渲染節(jié)點(diǎn)、渲染任務(wù)和場(chǎng)景資源的管理，并處理最終渲染結(jié)果的合成、展示和用戶交互；渲染節(jié)點(diǎn)(Slave)持有渲染所需的場(chǎng)景數(shù)據(jù)并提供計(jì)算資源。客戶端和渲染節(jié)點(diǎn)之間通過(guò)網(wǎng)絡(luò)消息進(jìn)行通信、傳遞任務(wù)、交互信息以及渲染中間結(jié)果。

圖1 分布式渲染系統(tǒng)架構(gòu)

2.2 分布式渲染流程

本文所提出的分布式渲染系統(tǒng)在處理渲染任務(wù)時(shí)，整個(gè)流程分為以下步驟：

步驟1.系統(tǒng)初始化，客戶端與渲染節(jié)點(diǎn)建立1-to-N的網(wǎng)絡(luò)連接。

步驟2.用戶發(fā)起渲染請(qǐng)求，客戶端基于渲染任務(wù)中場(chǎng)景在渲染節(jié)點(diǎn)上的分布，進(jìn)行子任務(wù)分配，并發(fā)送消息通知渲染節(jié)點(diǎn)。

步驟3.渲染節(jié)點(diǎn)接受到渲染任務(wù)后，根據(jù)內(nèi)容加載對(duì)應(yīng)的場(chǎng)景，并將結(jié)果發(fā)送給客戶端。

步驟4.客戶端在全部場(chǎng)景加載成功后通知渲染節(jié)點(diǎn)進(jìn)行渲染；若場(chǎng)景加載失敗則通知用戶，并通知渲染節(jié)點(diǎn)釋放資源。

步驟5.渲染節(jié)點(diǎn)接到渲染指令后對(duì)場(chǎng)景進(jìn)行渲染，將子場(chǎng)景的渲染結(jié)果(圖像及深度)發(fā)送給客戶端。

步驟6.客戶端接收到渲染節(jié)點(diǎn)的中間結(jié)果后，根據(jù)深度信息進(jìn)行合成，得到最終渲染結(jié)果。

步驟7.當(dāng)用戶產(chǎn)生交互行為，需要更新渲染結(jié)果時(shí)，客戶端發(fā)送消息通知渲染節(jié)點(diǎn)，回到步驟5進(jìn)行處理。

分布式渲染整體流程如圖2所示。

圖2 分布式渲染系統(tǒng)流程圖

2.3 渲染結(jié)果壓縮

在網(wǎng)絡(luò)上，直接傳輸渲染后的中間結(jié)果會(huì)對(duì)分布式渲染中響應(yīng)時(shí)間產(chǎn)生很大影響。所以為了降低交互延遲，需對(duì)渲染節(jié)點(diǎn)上渲染任務(wù)的結(jié)果進(jìn)行壓縮后傳輸。綜合考慮各種壓縮算法的壓縮比以及壓縮/解壓縮效率，可選擇Snappy無(wú)損壓縮算法對(duì)渲染結(jié)果進(jìn)行壓縮。Snappy是Google基于LZ77用C++語(yǔ)言編寫的快速數(shù)據(jù)壓縮與解壓程序庫(kù)，其目標(biāo)是有非常高的速度和合理的壓縮率。表1列出了Snappy和其他壓縮算法在性能上的對(duì)比[11]。

表1 多種壓縮算法性能對(duì)比

3 性能和結(jié)果

3.1 實(shí)驗(yàn)環(huán)境與對(duì)象

本文使用2臺(tái)計(jì)算機(jī)作為渲染節(jié)點(diǎn)，以及一臺(tái)筆記本作為客戶端?？蛻舳伺c渲染節(jié)點(diǎn)之間通過(guò)千兆以太網(wǎng)絡(luò)進(jìn)行連接。渲染節(jié)點(diǎn)的配置為i7 3.40 GHz CPU，8 GB內(nèi)存以及NVIDIA GeForce GTX 750 Ti GPU。

本實(shí)驗(yàn)對(duì)象將使用2個(gè)不同小區(qū)建筑的真實(shí)數(shù)據(jù)模型(場(chǎng)景A、B)作為測(cè)試數(shù)據(jù)。當(dāng)進(jìn)行場(chǎng)景劃分時(shí)，將每一棟樓作為一個(gè)子場(chǎng)景。場(chǎng)景A，B的大小分別為874 MB，2 215 MB，分別包含6個(gè)及14個(gè)子場(chǎng)景。圖3為場(chǎng)景B的模型俯視圖，可以看到小區(qū)建筑中包含了樓體、公路、湖泊等子場(chǎng)景。圖4分別展示了場(chǎng)景B中幕墻、整棟樓的鋼架結(jié)構(gòu)以及樓體本身等不同子場(chǎng)景的結(jié)構(gòu)模型。

圖3 場(chǎng)景B

圖4 場(chǎng)景B子場(chǎng)景

3.2 單機(jī)渲染性能

將場(chǎng)景A，B分別進(jìn)行加載，完成單機(jī)渲染。表2和表3分別列出了2個(gè)場(chǎng)景及其子場(chǎng)景在單一渲染節(jié)點(diǎn)上的渲染性能。

表2 場(chǎng)景A單機(jī)渲染性能

表3 場(chǎng)景B單機(jī)渲染性能

3.3 分布式渲染性能及分析

當(dāng)進(jìn)行分布式渲染大規(guī)模場(chǎng)景時(shí)，將場(chǎng)景中的內(nèi)容按內(nèi)存大小平均分配到兩臺(tái)渲染節(jié)點(diǎn)上進(jìn)行渲染。表4顯示了場(chǎng)景分布式渲染性能結(jié)果。

表4 場(chǎng)景分布式渲染性能

表4中各項(xiàng)測(cè)試時(shí)間結(jié)果是在完成相應(yīng)任務(wù)時(shí)耗時(shí)最長(zhǎng)的渲染節(jié)點(diǎn)中取得；其他項(xiàng)為網(wǎng)絡(luò)通訊和消息處理等時(shí)間；總計(jì)為交互響應(yīng)延時(shí)，包括渲染時(shí)間、壓縮解壓時(shí)間、傳輸時(shí)間、客戶端發(fā)送/接收指令等時(shí)間。

實(shí)驗(yàn)結(jié)果表明，采用本文提出的分布式渲染系統(tǒng)進(jìn)行大規(guī)模場(chǎng)景繪制，減少了場(chǎng)景加載時(shí)間，將渲染結(jié)果進(jìn)行壓縮傳輸，能夠降低系統(tǒng)交互延時(shí)，解壓時(shí)間可以忽略不計(jì)。整個(gè)分布式渲染系統(tǒng)交互響應(yīng)所需時(shí)間遠(yuǎn)遠(yuǎn)小于單機(jī)渲染時(shí)間，利用分布式渲染框架，極大地提高了渲染效率。

4 小 結(jié)

本文提出了一種渲染大規(guī)模場(chǎng)景的分布式渲染框架。將大規(guī)模場(chǎng)景在內(nèi)容上劃分為單一節(jié)點(diǎn)可渲染的子場(chǎng)景，使用多個(gè)渲染節(jié)點(diǎn)進(jìn)行分布式處理，各個(gè)渲染節(jié)點(diǎn)上的子場(chǎng)景渲染結(jié)果根據(jù)深度信息進(jìn)行融合得到最終結(jié)果，為了降低交互延時(shí)，使用一種實(shí)時(shí)壓縮算法對(duì)渲染結(jié)果進(jìn)行壓縮，減少了網(wǎng)絡(luò)傳輸?shù)拈_(kāi)銷。本文提出的分布式渲染系統(tǒng)能夠在處理超大規(guī)模時(shí)達(dá)到可交互的性能。

[1] AKENINE-M?LLER T, HAINES E, HOFFMAN N. Real-time rendering [M]. Wellesley: A.K.Peters Ltd, 2008: 1-2.

[2] LUEBKE D, WATSON B, COHEN JD, et al. Level of detail for 3D graphics [M]. New York: Elsevier Science Inc., 2002: 219-223.

[3] 杜瑩, 武玉國(guó), 游雄. 全球虛擬地形環(huán)境中Mipmap紋理技術(shù)研究[J]. 測(cè)繪科學(xué)技術(shù)學(xué)報(bào), 2006, 23(5): 355-358.

[4] ANDUJAR C, BRUNET P, CHICA A, et al. Visualization of large-scale urban models through multi-level relief impostors [J]. Computer Graphics Forum, 2010, 29(8): 2456-2468.

[5] MOLNAR S, COX M, ELLSWORTH D, et al. A sorting classification of parallel rendering [J]. IEEE Computer Graphics and Applications, 1994, 14(4): 23-32.

[6] 鄭利平, 陳斌, 王文平, 等. 基于分布式渲染架構(gòu)的遠(yuǎn)程可視化研究[J]. 計(jì)算機(jī)研究與發(fā)展, 2012, 49(7): 1438-1449.

[7] 高官濤, 鄭小盈, 宋應(yīng)文, 等. 基于Spark MapReduce框架的分布式渲染系統(tǒng)研究[J]. 軟件導(dǎo)刊, 2013(12): 26-29.

[8] CHEN Y J, HUNG C Y, CHIEN S Y. Distributed rendering: Interaction delay reduction in remote rendering with client-end GPU-accelerated scene warping technique [C]//IEEE International Conference on Multimedia and xpo Workshops. New York: IEEE Press, 2017: 67-72.

[9] VARADHAN G, MANOCHA D. Out-of-core rendering of massive geometric environments [EB/OL]. (2002-11-01)[2018-03-18].http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=90A14D277042676F059C400F3BF7066E?doi=10.1.1.298.4890&rep=rep1&type=pdf.

[10] SCHEIBLAUER C, WIMMER M. Out-of-core selection and editing of huge point clouds [J]. Computer and Graphics, 2011, 35(2): 342-351.

[11] GEORGE L. HBase: The definitive guide: random access to your planet-size data [M]. California: O’Reilly Media, Inc., 2011: 424-425.

A Scene-Distributed Interactive Rendering System

SUN Zhao1, LIU You-quan1, ZHANG Cai-rong1, SHI Jian2, CHEN Yan-yun3

(1. School of Information Engineering, Chang’an University, Xi’an Shaanxi 710064, China; 2. State Key Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China; 3. State Key Laboratory of Computer Science, Institute of Software, Chinese Academy of Sciences, Beijing 100190, China)

With the constant increase in the scale and complexity of three-dimensional virtual scenes in recent years, very large-scale scenes (such as buildings, cities, etc.) can hardly be processed on single rendering node and their interactive performance can also be hard to achieve. Aiming at this shortcoming, the authors present an interactive distributed rendering framework. The authors divide the large scene into a set of renderable sub-scenes, which are distributed to different rendering nodes for processing. Intermediate sub-scene rendering results are merged to the final result based on depth information. To reduce the latency, the rendering results are compressed to accelerate the network transmission. The proposed distributed rendering system can efficiently process rendering and interaction for large-scale scenes. Moreover, the experiment has also confirmed that it is able to provide good scalability. A wide range of applications can benefit from interactive distributed rendering by this system.

rendering;distributed system; scene distribution; interactive

TP 391

10.11996/JG.j.2095-302X.2019010087

A

2095-302X(2019)01-0087-05

2018-07-02；

2018-07-12

中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金項(xiàng)目(310824173401)

孫 昭(1992-)，女，陜西咸陽(yáng)人，碩士研究生。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)。E-mail：2016124012@chd.edu.cn

柳有權(quán)(1976-)，男，湖北秭歸人，教授，博士，碩士生導(dǎo)師。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)。E-mail：youquan@chd.edu.cn