羅 敏，李子揚，馮 磊

（1.中國科學院 定量遙感信息技術重點實驗室，北京 100094；2.中國科學院 光電研究院，北京 100094；3.中國科學院大學，北京 100049）

多通道三維動態(tài)顯示同步方法研究

羅 敏1,2,3，李子揚1,2，馮 磊1,2

（1.中國科學院 定量遙感信息技術重點實驗室，北京 100094；2.中國科學院 光電研究院，北京 100094；3.中國科學院大學，北京 100049）

在多通道三維動態(tài)顯示技術中，保持通道間的同步顯示一直是技術難點之一。確保不同通道之間的同步顯示，尤其是在顯示大規(guī)模場景和仿真運動實體時，對保持畫面的流暢和質量具有重要的意義。提出了使用數(shù)據(jù)包發(fā)送控制信息分別控制靜態(tài)場景和動態(tài)實體的解決方法，實現(xiàn)了通道間動靜態(tài)數(shù)據(jù)的同步；針對通道間顯示不同步的問題，提出了自適應等待時間的消息反饋方法，實現(xiàn)了通道間顯示的同步。對比實驗表明，該技術有效提高了多通道的顯示同步率，實現(xiàn)了大規(guī)模場景、多運動實體的平滑顯示。

多通道顯示；同步顯示；消息反饋算法

多通道顯示系統(tǒng)[1]是指利用一個或多個顯示通道共同拼接生成一個完整的視景畫面，為用戶提供一個具有高度沉浸感的虛擬環(huán)境。與一般單通道顯示相比，其具有更大的顯示尺寸、更多的顯示內容和更好的視覺效果[2]。同步問題是多通道顯示系統(tǒng)的關鍵技術之一[3]，在顯示同一幅視景畫面時，不同的通道間需要協(xié)同工作，共同完成渲染任務。傳統(tǒng)的多通道顯示系統(tǒng)往往只側重于靜態(tài)場景的同步，當場景中同時含有運動實體時，常常會出現(xiàn)畫面撕裂、重影等問題。

常見的同步算法[4]可分為4類：保守算法[5]、樂觀算法[6]、混合算法[7]和自適應算法[8]。保守算法要求各類事件嚴格按時間先后順序處理執(zhí)行，方法雖簡單卻容易出現(xiàn)死鎖現(xiàn)象；樂觀算法允許事件按任意順序執(zhí)行，如果發(fā)生因果關系錯誤，則退回重新執(zhí)行該事件，這樣會增加系統(tǒng)的復雜性；混合算法是保守算法和樂觀算法的混合；自適應算法是混合算法的動態(tài)調整算法，通過動態(tài)地改變一個或多個變量使系統(tǒng)在保守算法和樂觀算法之間調整。多通道動態(tài)同步顯示由于其自身具有幀速高、數(shù)據(jù)交換頻繁等特點，一般的同步算法并不能完全解決通道間同步顯示的問題。在常見的同步算法基礎上，文獻[9]通過控制節(jié)點發(fā)送命令通知渲染節(jié)點切換緩沖，隨后渲染節(jié)點要求控制節(jié)點發(fā)送數(shù)據(jù)的方法來解決由于負載不均衡引起的不同步；文獻[10]通過保守算法和運動實體的平滑技術來實現(xiàn)多通道間的同步；文獻[11]通過推算定位的方法來實現(xiàn)多通道的顯示同步；文獻[12]通過反饋確認和紋理切割的同步算法來實現(xiàn)多通道間的同步。

1 多通道三維顯示系統(tǒng)體系結構

本文采用了Master/Slave結構的多通道三維顯示系統(tǒng)，按功能可分為4個部分：Master節(jié)點、Slave節(jié)點、投影儀和顯示屏，如圖1所示。

圖1 系統(tǒng)結構圖

Master節(jié)點為主控端，負責信息的交互，包括Master節(jié)點與Slave節(jié)點間信息的網(wǎng)絡交互和Master節(jié)點與用戶間的操作信息交互。前者用于實現(xiàn)通道間的控制與場景的同步顯示，后者便于用戶操作整個多通道顯示系統(tǒng)。Slave節(jié)點為從屬端，接收主控端的數(shù)據(jù)并根據(jù)這些信息進行場景的顯示和渲染。

本文以三通道顯示系統(tǒng)為例進行研究。在三通道顯示系統(tǒng)中，選取中間節(jié)點作為Master節(jié)點，該節(jié)點不僅用于實現(xiàn)信息交互，還作為顯示節(jié)點的一部分參與場景的顯示。用戶通過該節(jié)點發(fā)送控制信息，控制信息和同步信息組成的數(shù)據(jù)包通過網(wǎng)絡傳輸?shù)絊lave節(jié)點，所有節(jié)點均完成渲染任務后同時顯示并投影到大屏幕上，完成完整的三維地理信息動態(tài)顯示過程。

2 多通道顯示同步方法及優(yōu)化

2.1 傳統(tǒng)顯示同步技術

系統(tǒng)顯示場景一般需要經(jīng)過3個階段，即讀取數(shù)據(jù)、渲染場景及顯示場景[13]。由于各個通道的獨立性，在經(jīng)歷這3個階段時，各通道處理能力無法完全一致，必然會造成處理時間上的差異，最終導致系統(tǒng)顯示的不同步。因此，為了保證通道間的顯示同步，一般會進行兩次同步控制，第一次同步要保證不同的顯示節(jié)點顯示同一時刻的動態(tài)視景畫面；第二次同步要保證不同的顯示節(jié)點在同一時刻顯示，即畫面顯示同步。多通道同步控制如圖2所示。

圖2 多通道同步控制圖

但是，在大規(guī)模場景中存在運動實體的情況下，簡單的兩次同步仍不能達到很好的效果，特別是在運動物體穿越一個屏幕進入另一個屏幕時，常會出現(xiàn)畫面撕裂、運動不平滑的現(xiàn)象。考慮到大規(guī)模場景動態(tài)顯示的特殊性，需將現(xiàn)有的同步控制方法加以改進：在第一次同步時確保運動實體的平滑顯示，第二次同步時確保畫面的同時顯示。只有兩次同步共同起作用才能保證動態(tài)視景畫面的顯示同步。

2.2 運動實體同步方法

多通道三維顯示系統(tǒng)的目的之一就是為觀察者提供更大的觀察角度，多個通道的視域范圍拼接形成更大的觀察范圍。換句話說，多通道三維顯示也可以理解為將從給定點觀察到的視景畫面平均地分配到多個通道上顯示，而這個給定點位置也可稱之為視點的位置，如圖3。

視點坐標的改變即改變了地形觀察的范圍。對靜態(tài)場景來說，通過改變視點坐標就可達到地形場景的變換，就如同使用照相機拍攝照片，場景未發(fā)生改變，改變了相機的方向就改變了拍攝的內容。然而，運動實體每一幀的位置和姿態(tài)都可能發(fā)生改變，其參考的坐標系為世界坐標系和自身坐標系。參考坐標系的不統(tǒng)一導致了控制方式的不一致。因此，本文采用的方法為分開控制靜態(tài)場景和運動實體。

圖3 三通道顯示

針對控制方式的不同，改進了傳統(tǒng)的數(shù)據(jù)包格式，將數(shù)據(jù)包分為了基本信息、固定部分和可變部分，如圖4所示?；拘畔ó斍颁秩緢鼍暗膸瑪?shù)、時間戳、渲染狀態(tài)等基本信息；固定部分即視點同步信息，主要用來控制靜態(tài)場景的同步；可變部分為場景中運動實體的信息，主要用來控制每一個運動實體的同步，可根據(jù)場景中運動物體的個數(shù)調整其大小，同步信息中包括了運動物體的編號和位置姿態(tài)矩陣。主節(jié)點獲取這些信息并通過UDP將數(shù)據(jù)包發(fā)送到從節(jié)點，從節(jié)點根據(jù)收到的信息設置自己渲染范圍內的場景和運動實體，就完成了第一次同步。

2.3 自適應等待時間的消息反饋同步方法

圖4 數(shù)據(jù)包格式

在多通道顯示過程中，為了避免由于單個節(jié)點渲染過慢或UDP丟包導致等待時間過長、顯示時刻不一致的情況出現(xiàn)，本文提出了一種自適應等待時間的消息反饋方法，由Master節(jié)點控制通道間的統(tǒng)一顯示。如果遇到Slave節(jié)點在一定時間內沒有返回反饋信息的情況，則根據(jù)當前幀率動態(tài)地調整反饋消息的等待時間，不但可保證所有節(jié)點在同一時刻更新顯示內容，而且可保持畫面刷新的幀率，不影響顯示效果。在圖形繪制時，還結合了雙緩存技術，讓下一幀的數(shù)據(jù)渲染在后臺進行，前端只負責當前幀圖形的顯示，當一幀圖形顯示完畢，兩組緩存交換內容。具體的流程如圖5所示。

關鍵步驟總結如下：①Master和Slave分別初始化并設置最長等待時間，等待時間隨當前幀率動態(tài)調整；②Slave收到數(shù)據(jù)則即刻向Master返回接收信息，若超過等待時間仍未收到數(shù)據(jù)則向Master返回未接收信息；③Master收到所有反饋或超過最大等待時間均即刻發(fā)送顯示命令； ④Slave接收顯示命令則即刻顯示，若未收到數(shù)據(jù)包，則用上一幀的渲染數(shù)據(jù)代替當前幀；若未收到顯示命令，則超過等待時間后直接顯示。

圖5 顯示同步流程圖

3 實驗結果分析

3.1 硬件及其參數(shù)信息

該實驗的硬件部分由3臺配置相同的圖形工作站組成，把其中一臺作為Master主控端，用來發(fā)送基本信息及顯示，另外兩臺作為Slave從屬端，用來接收數(shù)據(jù)和顯示渲染效果。硬件及其參數(shù)信息如表1所示.

表1 硬件及其參數(shù)信息

3.2 評估參數(shù)

幀速率是指計算機每秒畫面更新的次數(shù)，是評估一個顯示系統(tǒng)優(yōu)劣的重要標準。其數(shù)值越大，畫面的顯示就越流暢。因此，顯示系統(tǒng)在加入了同步模塊，保證畫面同步顯示的同時還需要保證幀速率的大小。如果為了保證畫面的同步顯示而造成幀速率的大幅降低，那么同步顯示顯然是不成功的，整個顯示系統(tǒng)也是毫無意義的。

在多通道三維顯示系統(tǒng)中，還可通過節(jié)點間的差異公式來判斷各通道間幀速率的差異。渲染節(jié)點差異公式如下：

式中，參數(shù)P為渲染節(jié)點間的差異值；M為Master節(jié)點的幀率；Si為第i個Slave節(jié)點的幀率；n為參與計算的幀率的個數(shù)。P值越大，說明通道間幀速率的差異越大，同步效果越差；反之，則同步效果越好。

3.3 實驗結果對比

采用表1的配置搭建了一個基于PC機群的三通道三維仿真系統(tǒng)，設計了3組實驗來驗證算法的有效性，分別為未使用同步算法與使用同步算法的對比實驗、動態(tài)場景增多后幀率的變化實驗和三角片元增大后幀率的變化實驗。測試場景幀速，并將數(shù)值記錄下來。由圖6和圖7對比可知，未使用同步算法時，三通道間的幀率并不完全一致，有一定差別，容易導致通道間視景畫面的不同步，特別是在運動物體跨越屏幕時，會出現(xiàn)割裂現(xiàn)象。由圖8和圖9對比可知，當運動物體增多時，同步算法能達到較好的同步效果。由圖10和圖11對比可知，渲染場景中的三角片元增多時，同步算法仍能達到較好的同步效果。

圖6 未使用同步時幀率

圖7 使用同步時幀率

圖9 使用同步時增多運動物體幀率

圖10 未使用同步時增大片元數(shù)幀率

圖11 使用同步時增大片元數(shù)幀率

將使用同步算法和未使用同步算法的幀率進行比較，可以看到，無論是否使用同步算法，最大幀率和最小幀率都在30 fps以上，畫面的流暢性較好[14]。但是在未使用同步算法時，渲染節(jié)點間的差異較大，無法實現(xiàn)多通道下的運動實體的平滑過渡。根據(jù)式（1）計算渲染節(jié)點的差異，如表2所示。在3組對比實驗中，使用同步算法后，節(jié)點間的差異明顯縮小，達到了良好的同步效果。

表2 使用同步算法和未使用同步算法的數(shù)據(jù)比較/ fps

4 結 語

針對現(xiàn)有的多通道三維地理顯示往往側重于靜態(tài)場景的同步渲染，沒有過多考慮場景中包含運動實體的情況，本文提出了該系統(tǒng)下的運動實體同步方法和自適應消息反饋同步方法。從理論上論證了實驗的可行性，給出了具體的步驟，最后用實驗驗證了算法的有效性，提高了通道間顯示同步率。

盡管文中的方法能較好解決多通道三維動態(tài)顯示的問題，但仍存在一些值得改進的地方。在自適應反饋同步方法中，當數(shù)據(jù)包丟失，則用上一幀來顯示當前幀的內容，在渲染大量運動實體，通道間數(shù)據(jù)交換較大時，可能會造成畫面不同步。在今后的研究中，可探討通過預測軌跡的方法對運動實體的具體位置進行預測，從而達到更好的同步。

[1] 馬天,黃建國,胡方. 基于PC機群的多通道視景仿真系統(tǒng)的研究[J].系統(tǒng)仿真學報,2009(19):6 053-6 056

[2] Nam S, Deshpande S, Vishwanath V, et al. Multi-application Inter-tile Synchronization on Ultra-high-resolution Display Walls[C].Proceedings of the First Annual ACM SIGMM Conference on Multimedia Systems, 2010

[3] 王學慧,張磊.并行與分布式仿真時間推進同步機制綜述[J].計算機仿真,2010(2):126-129,281

[4] Hiller J B, Hartrum T C. Conservative Synchronization in Objectoriented Paralleled Battlefield Discrete Event Simulation[C]. Proc.11th Workshop on Parallel and Distributed Simulation, 1997

[5] Som T K, Sargent R G. A Probabilistic Event Scheduling Policy for Optimistic Parallel Discrete Event Simulation[J]. IEEE Computer Society, 1998, 28(1): 56-63

[6] Steinman J S. Breathing Time Warp[C].ACM SIGSIM Simulation Digest, 1993

[7] Ferscha A. Adaptive Time Warp Simulation of Timed Petri Nets[J]. IEEE Transactions on, 1999, 25(2): 237-257

[8] 王海峰,孫益輝,陳福民.分布式實時渲染中幀同步的實現(xiàn)[J].微計算機應用,2007(10):1 073-1 076

[9] 呂品,張金芳. 基于PC機群的多通道視景仿真技術研究[J].計算機工程與應用,2006(26):38-40,70

[10] 呂鵬,龍飛隆.基于虛擬現(xiàn)實的船舶操縱系統(tǒng)視景多通道同步技術[J].艦船電子工程,2007(3):129-132,223

[11] 肖朝,楊紅雨. 多通道投影顯示系統(tǒng)同步算法研究[J].四川大學學報:工程科學版,2012(4):96-102

[12] Soares L P, Raffin B, Jorge J A. PC Clusters for Virtual Reality [J]. IJVR, 2008, 7(1): 67-80

[13] 馬繼峰,彭曉源,馮勤,等. 虛擬作戰(zhàn)系統(tǒng)中場景生成與顯示關鍵技術研究與實現(xiàn)[J].系統(tǒng)仿真學報,2004(8):1 735-1 737,1 741

[14] 黃昆侖,白蔚.視頻幀率上轉換技術綜述[J].數(shù)字通信世界,2011(5):82-84

P208

B

1672-4623（2016）03-0048-04

10.3969/j.issn.1672-4623.2016.03.016

羅敏，碩士，主要從事地理信息系統(tǒng)研究。

2015-03-11。

項目來源：國家高技術研究發(fā)展計劃資助項目（2013AA7026059）。