楊帆，宋輝，姜忠鼎

面向頭盔顯示的加密全景視頻播放系統(tǒng)

楊帆，宋輝，姜忠鼎

近年來，得益于圖形硬件和顯示技術(shù)的不斷發(fā)展，虛擬現(xiàn)實技術(shù)成為現(xiàn)在的研究熱點。其中，面向頭盔顯示的虛擬現(xiàn)實顯示技術(shù)和相關(guān)應(yīng)用研究是虛擬現(xiàn)實發(fā)展的潮流。本文設(shè)計并實現(xiàn)了面向頭盔顯示的加密全景視頻播放系統(tǒng)，利用圖像加密算法對全景視頻的圖片幀進行加密，從而達到保護視頻的目的；對加密圖片幀，進行切分，重組，壓縮為加密全景視頻;解碼時使用多線程并行解碼，提高解碼效率。

虛擬現(xiàn)實；頭盔顯示；視頻加密；視頻解碼

0 引言

虛擬現(xiàn)實作為“下一代計算平臺”，在國內(nèi)外掀起一股熱潮。用戶使用自然的交互方式在虛擬現(xiàn)實技術(shù)構(gòu)建的三維虛擬環(huán)境中進行探索，可以擴展人類的認知能力。虛擬現(xiàn)實興起于20世紀60年代，在90年代，開始形成和發(fā)展，目前在理論技術(shù)與應(yīng)用開展等方面都取得了很大的進展，解決了模擬訓(xùn)練、人機交互、產(chǎn)品設(shè)計等多個應(yīng)用領(lǐng)域的許多普遍性或重大需求[1]。對現(xiàn)有虛擬現(xiàn)實場景現(xiàn)在有兩種主要的增強方式：將虛擬的三維對象附加到真實場景并進行顯示的增強現(xiàn)實技術(shù)；將真實的對象附加到虛擬環(huán)境并進行渲染的技術(shù)。

包含了全方位的圖像信息的圖片稱為全景圖像，全景圖片在虛擬現(xiàn)實環(huán)境中具有交互性和可視角度的優(yōu)勢。現(xiàn)有的生成全景圖像的方式主要有以下三種：普通相機拍攝，圖像軟件后期處理，全景相機拍攝。

在虛擬現(xiàn)實顯示設(shè)備方面，有手持式顯示設(shè)備、頭戴式顯示設(shè)備和空間投影式顯示設(shè)備。虛擬現(xiàn)實的現(xiàn)今熱門研究內(nèi)容是頭戴顯示設(shè)備（head-mounted display, HMD），一般被分為光學(xué)透視顯示設(shè)備（optical see-through，OST）和視頻透視顯示設(shè)備（video see-through, VST）。光學(xué)透視顯示設(shè)備是指，外部真實環(huán)境透過光學(xué)鏡片呈現(xiàn)在用戶眼中，用戶依靠投影觀察到虛擬對象或者虛擬環(huán)境；視頻透視式是指用戶雙目前的顯示內(nèi)容是由虛擬環(huán)境和拍攝設(shè)備采集的真實圖像共同合成的。Zhou等人[2,3]對其原理和技術(shù)進展進行了深入的研究。

虛擬現(xiàn)實增強技術(shù)的含義是借助額外的真實圖像或者3D模型，加入到虛擬環(huán)境中，這些真實圖像或者3D模型一般是由相機捕捉的，并可以與用戶進行交互，提供沉浸感和真實感。Katkere等人[4]在1997年提出通過視頻圖像進行增強的方法，他們認為可以沉浸式的虛擬環(huán)境可以由視頻信息來構(gòu)建，進而完成多個視頻對象的結(jié)合，提供普通視頻無法提供的一系列功能，比如虛擬環(huán)境中的觀察視角變換。

Neumann等人[5]于2003年的IEEEVR會議上系統(tǒng)闡述了什么是增強虛擬現(xiàn)實：他們以未來虛擬都市為例，對地形和城市建筑的三維模型，使用已有的圖像幀數(shù)據(jù)進行投射，三維模型隨著圖像幀數(shù)據(jù)的變化而動態(tài)變化。他們的方法是對數(shù)據(jù)源對象提取其運動時的圖像幀，然后使用 billboard貼圖[6]的方法，建立三角面片。

麻省理工學(xué)院的de Camp等[7]在2010年的ACM Multimedia會議上提出了沉浸式系統(tǒng) HouseFly，這套系統(tǒng)使用了家庭場景的三維模型，在系統(tǒng)中應(yīng)用FishEye相機，并在智能家庭中進行使用。用戶在此場景中，借助三維模型上的多路音頻和視頻，確定視頻中的人物方位和行動路徑。

Chen等人[8]在2012年提出地理信息系統(tǒng)（Geographic Information System-GIS）輔助可視化系統(tǒng)，使用普通相機，在固定角度提供了低分辨率的圖像；針對用戶的交互需求，在用戶的興趣區(qū)，用戶可以得到由球基相機生成的高分辨率圖像，這是一種多分辨率的監(jiān)控策略。上述工作可以表明，這一類的虛擬環(huán)境增強方案可以解決大型地理信息系統(tǒng)的可視化需求，應(yīng)用潛力巨大。

由以上可知，未來的趨勢著重于虛擬現(xiàn)實的研究，是現(xiàn)今研究的熱點，本文以頭盔顯示的全景視頻播放系統(tǒng)為載體，使用媒體特效控制系統(tǒng)加強其表現(xiàn)力和沉浸感。

1 系統(tǒng)架構(gòu)

實時軟件系統(tǒng)是指必須同時處理多個輸入事件流的并發(fā)式體系結(jié)構(gòu)，這些事件流通常都是狀態(tài)相關(guān)的，并且具有集中的或者非集中的控制方式。

本文的系統(tǒng)是虛擬現(xiàn)實播放系統(tǒng)，涉及視頻解密，視頻解碼，遠程播放控制等功能，這些功能具有一定的實時性要求，所以采用了分布式控制體系結(jié)構(gòu)模式，各個子系統(tǒng)完成各自的具體功能，視頻播放系統(tǒng)負責(zé)視頻播放；遠程播放控制端負責(zé)向視頻播放系統(tǒng)發(fā)送播放控制命令。系統(tǒng)架構(gòu)如圖1所示：

圖1 面向頭盔顯示的全景視頻播放系統(tǒng)架構(gòu)

“視頻播放系統(tǒng)”對輸入的視頻進行播放，若輸入視頻格式是普通格式的全景視頻，對它進行普通模式的解碼播放。對加密的自定義格式全景視頻，視頻播放模塊按照視頻文件頭部的視頻幀切分、分組信息對視頻采用多線程并行解碼，然后對解碼出來的視頻幀解密，按照子視頻幀切分區(qū)域，進行視頻幀數(shù)據(jù)紋理上傳，完成視頻播放渲染。

“外部輸出設(shè)備”是用于顯示虛擬場景的頭盔顯示設(shè)備。

“外部輸入”是指加密全景視頻或普通格式全景視頻。

2 全景視頻播放

2.1 基于圖像加密的視頻幀加密

與普通的文本信息不同，圖像數(shù)據(jù)具有其自身的特點，比如：像素之間一般具有比較高的冗余度和相關(guān)性。文本數(shù)據(jù)是單詞的序列，可以直接用分塊或者密鑰流加密，而圖像數(shù)據(jù)則表示為二維序列，即矩陣，不能直接加密。所以針對圖像數(shù)據(jù)的加密則是對二維序列數(shù)據(jù)的加密。

（1）圖像加密算法

1）置亂加密

置亂是指使用某種方法使圖像像素在空間的位置混亂。對具體圖像而言，是將圖像的像素對象中的顏色分量進行混亂操作，或者是將一個像素灰度的8位二進制數(shù)進行混亂稱為頻域置亂?？傊?，與像素的某種“位置”有關(guān)的混亂操作均稱為置亂。

2）SCAN模式加密

SCAN模式加密[10]指的是通過形式化語言對二維空間掃描的一整套方法，它可以方便的表示發(fā)生大量的廣泛變化的掃描路徑。

一幅圖像可以采用公式：

定義的二維序列方式定義，圖像的掃描（scanning）是指一個從到集合的雙射函數(shù)。換而言之，二維序列經(jīng)過掃描得到一個一維排列，這個一維排列中的每個元素嚴格地出現(xiàn)一次且與二維序列一一對應(yīng)，它是二維序列 的一維重排。

SCAN形式語言包含Simple SCAN，Extended SCAN和Generated SCAN等幾種版本，每種版本表示和發(fā)生特定的一類掃描路徑，并都通過語法定義。為了得到更復(fù)雜的掃描模式，每種語言具有一組基本掃描模式、一組變換和一組可以組成簡單掃描模式的規(guī)則。SCAN算法加密的基本思想就是重排像素圖像。重排就是用各種模式組成的 SCAN形式語言發(fā)生的掃描模式完成的，這個掃描模式就是加密的密鑰，即用符號和數(shù)字表示的24種模式的組合。

這24種模式具體來說，分為三類：

1.表示用光柵（r, raster）、連續(xù)光柵（c, continuous raster）、對角線（d, diagonal）、連續(xù)垂直（o, continuous orthogonal）、右直角（a，right orthogonal）、向外螺旋（s，spiral out）、水平對稱（m，horizontal symmetry）、對角線平行（e，diagonal parallel）等方式掃描圖像。

??！冰箱上，竟有個畫中鬼，沖我不停地眨眼睛。那雙綠瑩瑩的眼睛真大得可怕，我的頭皮有點發(fā)麻了，我不停地念著：“鬼是一個屁，屁是一股氣。”我閉著眼睛摸了一下鬼。還好，它只是畫上的一部分。我抓住了畫的一角，一下子把整張畫撕了下來，那鬼的臉破了相。我大獲全勝，回到我的床上，不一會兒就睡著了。

2.表示分別用B類，Z類，X類模式對整幅圖像進行子區(qū)域分劃。

3.在掃描或者分劃的基礎(chǔ)上旋轉(zhuǎn)一定角度的變換。如 0表示掃描模式不做變換。2表示掃描模式順時針旋轉(zhuǎn)90度。對于掃描模式c、o、s、a、e、m、y、w、b和x，4表示順時針旋轉(zhuǎn)180°，而6表示順時針旋轉(zhuǎn)270°。對于所有模式而言，1、3、5和7分別表示掃描路徑0、2、4、6的相反過程。

這24種掃描模式的組合，作為SCAN模式加密的密鑰，通過設(shè)定密鑰，然后使用密鑰掃描圖像，可以得到像素置亂圖像，從而達到加密效果。

（2）加密流程

本文采用平移置亂加密和 SCAN模式加密結(jié)合的圖像置亂加密方案，加密流程如圖2所示：

圖2 圖像加密流程

加密密鑰由4部分組成：掃描密鑰K1，K2，隨即序列R，加密迭代次數(shù)m組成。其中，密鑰K1和K2是前面闡述的 SCAN掃描模式，每次進行加密時可以更換，其他兩個密鑰外螺旋掃描s0和d0具有反方向掃描，增加了在執(zhí)行密鑰K1和K2后引起的像素重排復(fù)雜性。從而，輸出加密圖像素點具有混亂性。

2.2 加密視頻多核優(yōu)化解碼

對加密JPEG圖片序列，要按照一定模式平均切分如圖3所示：

圖3 視頻幀切分流程

以2x2切分模式為例，對加密圖按照A、B、C、D四個子區(qū)域切分為子加密圖，然后對子加密圖按照分組順序進行重新排列，比如按照A組、B組、C組、D組的次序，最后對子加密圖重新壓縮為視頻。在視頻文件頭部，加入視頻幀切分的相關(guān)信息，如每組的子視頻幀數(shù)，原視頻幀分辨率，切分模式和分組數(shù)量等信息，視頻播放時，播放模塊需按照頭部切分信息進行解析。

對切分視頻，按照其切分的子區(qū)域數(shù)，使用多線程的方式并行解碼，由于每個子線程在解碼過程中，解碼進度不一致，只有當(dāng)視頻的一幀內(nèi)容被全部解碼完畢后，才能進行紋理上傳、渲染播放。每個解碼線程各自維護一個環(huán)形解碼緩沖區(qū)，來緩存解碼內(nèi)容。

為了保證在多個對象訪問解碼緩沖區(qū)時的數(shù)據(jù)正確性，必須添加互斥保護機制來確保多個對象互斥訪問環(huán)形緩沖區(qū)。

管理線程從解碼緩沖區(qū)中拷貝切分的解碼數(shù)據(jù)到視頻幀緩沖區(qū)中，視頻幀緩沖區(qū)也同樣使用環(huán)形緩沖區(qū)存儲視頻幀數(shù)據(jù)。管理線程根據(jù)當(dāng)前所需視頻幀號從解碼緩存中拷貝當(dāng)前視頻幀號對應(yīng)的切分視頻幀，即解碼數(shù)據(jù)。只有當(dāng)管理線程從解碼緩存中取得當(dāng)前幀的全部內(nèi)容后，才進行下一幀的拷貝操作。

緩沖區(qū)的大小設(shè)置應(yīng)該滿足一定的要去，過大的緩沖區(qū)會對整體性能產(chǎn)生一定的影響；而緩沖區(qū)過小，當(dāng)緩沖區(qū)存滿后，解碼線程處于阻塞狀態(tài)。

2.3 全景視頻紋理映射

（1）球幕紋理映射

球幕上的任意一點，可以通過經(jīng)度和緯度來描述，將虛擬場景中的球幕紋理，通過某種映射方法，就能得到描述球面紋理信息的2D平面紋理，視頻幀映射到2D平面紋理上，從而顯示到球幕上[11]。

完整球幕的紋理生成映射方法如圖4所示：

圖4 整球的球面紋理生成映射方法

矩形紋理的水平方向代表經(jīng)度，垂直方向代表緯度，球幕與平面上具有相同經(jīng)緯度信息的點一一對應(yīng)。

（2）視頻播放流程

使用更新紋理數(shù)據(jù)方式播放視頻的流程進行如圖 5所示：

圖5： 視頻播放流程

視頻解碼的結(jié)果存儲在視頻幀緩存中，每個視頻幀頭部具有幀號信息。渲染線程在每個渲染周期中，從視頻幀緩存中取得視頻幀數(shù)據(jù)，上傳紋理至GPU中。紋理上傳完成后，渲染線程根據(jù)設(shè)定的幀率和當(dāng)前視頻時間，計算要刷新顯示的視頻幀號，此時需要檢測GPU中的紋理上傳命令是否執(zhí)行完畢，如果紋理上傳已經(jīng)完成，且此視頻幀未刷新過，渲染刷新此視頻幀；否則不刷新。

進行紋理上傳和渲染顯示的過程中，GPU與CPU讀寫的都是同一塊內(nèi)存區(qū)域，即視頻幀緩沖區(qū)，這就需要有一個同步機制來保證CPU在重寫視頻幀緩沖區(qū)時，GPU已經(jīng)完成了數(shù)據(jù)的操作。當(dāng)前的OpenGL同步方法是采用glFlush命令，這種同步手段比較薄弱：glFlush只是讓指令在一個有限的時間單元內(nèi)執(zhí)行，但不能保證立即執(zhí)行，同步性很弱；而glFinish指令延遲CPU的執(zhí)行直到所有等待執(zhí)行的GL執(zhí)行執(zhí)行完畢，這是一種強制而笨拙的方法。Fence同步對象，是一種粒度更為精細的GL指令同步執(zhí)行機制，它能夠執(zhí)行指令流中的一個子集，可以確定一個指令是否已經(jīng)執(zhí)行完畢。當(dāng)一個Fence對象被插入到了指令流中，在CPU端可以對給定的條件進行查詢，只有指令流中的某個Fence對象前的所有指令執(zhí)行完畢后，在CPU端的Fence測試才會為true或者完畢，保證了在紋理上傳和渲染過程中，GPU中的數(shù)據(jù)與內(nèi)存中的數(shù)據(jù)保持一致。

3 實驗結(jié)果

3.1 實驗環(huán)境

視頻播放實驗采用如下的軟件和硬件環(huán)境如表1、表2所示：

表1 軟件環(huán)境

表2： 硬件環(huán)境

3.2 視頻加密實驗

視頻幀在使用圖片加密算法加密后，加密視頻幀內(nèi)容已經(jīng)無法識別，說明通過圖片加密算法，如果沒有密鑰進行解密，視頻內(nèi)容無法識別，如圖6和圖7所示。

圖6 加密前視頻幀

圖7 加密后視頻幀

從而達到了保護視頻的目的。

3.3 視頻播放實驗

（1）自定義加密視頻播放實驗

實驗使用的自定義加密視頻，視頻名稱為：Ballon.jpgs，視頻大?。?.42G，視頻分辨率：4 096x2 048，視頻時長：1min12s。

（2）自定義加密視頻播放結(jié)果

表3 不同切分條件下的視頻播放幀率

從表3中的實驗結(jié)果可知，在視頻幀不切分的條件下，全景視頻由于分辨率較高，解碼耗時較長，所以播放幀率較低，為 15fps。在對視頻幀進行切分后，使用多線程解碼，提高了視頻播放幀率，為43fps。

4 總結(jié)

在計算機技術(shù)飛速發(fā)展的時代，虛擬現(xiàn)實技術(shù)從提出設(shè)想到一步步越來越貼近人們的現(xiàn)實生活，其有多種多樣的表現(xiàn)形式。本文在目前這樣的環(huán)境背景下，提出了面向頭盔顯示的全景視頻播放系統(tǒng)，并結(jié)合多媒體特效設(shè)備，設(shè)計并實現(xiàn)了一個虛擬現(xiàn)實加密全景視頻播放系統(tǒng)。通過對視頻幀使用圖片加密從而生成加密視頻，保護視頻對象；對視頻幀進行切分，使用多線程解碼，提高解碼效率，提升幀率。

未來，虛擬現(xiàn)實應(yīng)用會越來越多的深入到普通人的生活中，虛擬現(xiàn)實是未來的大勢所趨。如何運用、研究虛擬現(xiàn)實技術(shù)，實現(xiàn)更具有浸式感和舒適的虛擬場景體驗，是一個需要持續(xù)探索的問題。

[1] Zhao Q P. A survey on virtual reality [J]. Sci China Ser-F: Inf Sci, 2009, 52: 348-400.

[2] Zhou F, Duh H B L, Billinghurst M. Trends in augmented reality tracking, interaction and display: a review of ten years of ISMAR.Proceedings of the 7th IEEE International Symposium on Mixed and Augmented Reality. Cambridge[C], 2008, 193-202.

[3] Bimber O, Raskar R. Modern approaches to augmented reality Proceedings of ACM SIGGRAPH 2006 Courses[C]. Boston: ACM, 2006, 1.

[4] Katkere A, Moezzi S, Kuramura D Y, et al. Towards video-based immersive environments[J]. Multimedia Syst., 1997, 5: 69-85.

[5] Neumann U, You S, Hu J, et al. Augmented virtual environments (ave): dynamic fusion of imagery and 3d models. Proceedings of Virtual Reality Conference, Los Angeles[C], 2003, 61-67.

[6] Sebe I O, Hu J, You S, et al. 3d video surveillance with augmented virtual environments. Proceedings of ACM SIGMM International Workshop on Video Surveillance, California, 2003[C], 107-112.

[7] de Camp P, Shaw G, Kubat R, et al. An immersive system for browsing and visualizing surveillance video. Proceedings of the International Conference on Multimedia, Firenze, 2010[C], 371-380.

[8] Chen S C, Lee C Y, Lin C W, et al. 2D and 3D visualization with dual-resolution for surveillance. Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, Providence, 2012[C], 23-30.

[9] Mathews R, Goel A, Sexena P, et al. Image encryption based on explosive inter-pixel displacement of the RGB attributes of a pixel Proceedings of the World Congress on Engineering and Computer Science, San Francisco, 2011[C], 19-21.

[10] Maniccams , Bourbakis N G. Lossless image compression and encryption using SCAN[J]. Pattern Recognition, 2001:1229-1245.

[11] 梁思毓. 面向球幕的編輯式多投影校正技術(shù)與系統(tǒng)[D].上海:復(fù)旦大學(xué), 2012.

Head-mounted Display for Panoramic Video Play System

Yang Fan1,2, Song Hui1,2, Jiang Zhongding1,2
(1.School of Computer Science, Fudan University, Shanghai 201203, China; 2.Shanghai Key Laboratory of Data Science, Fudan University, Shanghai 201203, China)

In recent years, due to the development of graphics hardware and display technology, virtual reality has become the focus of research. The head-mounted virtual reality display technology and related application research become the trend in the development of virtual reality. This paper designs and implements head-mounted display video play system for encrypted panoramic video. Using the image encryption algorithm to encrypt panoramic video frames, the aim of protecting video is achieve. For the encrypted picture frames, are split, restructured and compressed to generate an encrypted panoramic video. It uses multi-thread parallel decoding to improve the efficiency of decoding.

Virtual Reality; Head-mounted Display; Video Encryption; Video Decode

TP301

A

1007-757X(2016)09-0001-04

2016.05.05）

國家自然科學(xué)基金項目（60803064）。

楊 帆（1990-），男，復(fù)旦大學(xué)，計算機與科學(xué)技術(shù)學(xué)院，上海市數(shù)據(jù)科學(xué)重點實驗室，碩士研究生，研究方向：虛擬現(xiàn)實，上海 201203宋 輝（1990-），男，復(fù)旦大學(xué)，計算機與科學(xué)技術(shù)學(xué)院，上海市數(shù)據(jù)科學(xué)重點實驗室，碩士研究生，研究方向：計算機圖像，上海 201203姜忠鼎（1976-），男，復(fù)旦大學(xué)，計算機與科學(xué)技術(shù)學(xué)院，上海市數(shù)據(jù)科學(xué)重點實驗室，教授，研究方向：計算機圖像，上海 201203