瓦力斯·阿布力孜 羅岱
摘 ?要: 為解決傳統(tǒng)多屏顯示系統(tǒng)圖像接收速率過低、單路圖像輸出速率受限等問題,設計基于虛擬現(xiàn)實技術的新型三維動畫圖像多屏顯示系統(tǒng)。利用動畫圖像處理平臺、規(guī)劃顯示電源、三維多屏SOC顯示模塊的連接方式,完成新型顯示系統(tǒng)的硬件運行環(huán)境搭建。將虛擬現(xiàn)實技術分割后的三維動畫圖像作為讀取依據(jù),對顯示濾波參數(shù)進行重新設置,完成新型顯示系統(tǒng)的軟件運行環(huán)境搭建,結合軟、硬件運行單元實現(xiàn)基于虛擬現(xiàn)實技術三維動畫圖像多屏顯示系統(tǒng)的搭建。對比實驗結果表明,與傳統(tǒng)多屏顯示系統(tǒng)相比,應用基于虛擬現(xiàn)實技術的新型三維動畫圖像多屏顯示系統(tǒng)后,平均圖像接收速率可以達到2.5 MB/s,單路圖像輸出速率最大值接近120 MB/s。
關鍵詞: 虛擬現(xiàn)實; 三維動畫; 圖像顯示; 處理平臺; 圖像分割; 讀取處理
中圖分類號: TN911.73?34; TP391 ? ? ? ? ? ? ? ? ? 文獻標識碼: A ? ? ? ? ? ? ? ? ?文章編號: 1004?373X(2019)19?0041?05
Abstract: In order to solve the problems of low image receiving rate and limited output rate of simplex image of the traditional multi?screen display system, a new multi?screen display system of three?dimensional animation image is designed, which is based on virtual reality technology. The animation image processing platform is utilized to plan the connection mode of display power supply and three?dimensional multi?screen SOC display module, and build the hardware operation environment of the new display system. The three?dimensional animation image segmented with virtual reality technology is taken as reading basis to reset the parameters of display filtering. The software running environment of the new display system is built. In combination with the software and hardware operation units, the multi?screen display system of three?dimensional animation image is built, which is based on virtual reality technology. The experimental results show that the average image receiving rate of the new three?dimensional animation multi?screen display system based on virtual reality technology can reach 2.5 MB/s and its maximum simplex image output rate can approach to 120 MB/s.
Keywords: virtual reality; 3D animation; image display; processing platform; image segmentation; reading processing
虛擬現(xiàn)實技術是一種常見的計算機仿真系統(tǒng)搭建手段,可以通過創(chuàng)建虛擬景觀的方式,使操作者獲得真實的感官體驗。這種處理技術通過多信息融合的方式,搭建交互式的三維動態(tài)視景,對于操作者來說,計算機既是獲取感官數(shù)據(jù)的主要媒介,也是仿真環(huán)境的主要維系對象。在計算機技術不斷發(fā)展的前提下,虛擬現(xiàn)實技術已經成為仿真系統(tǒng)的重要組成環(huán)節(jié),是計算機圖形學與傳感網(wǎng)絡學的集中表現(xiàn)形式,既富有極強的發(fā)展挑戰(zhàn)性,也能體現(xiàn)多學科交叉研究的應用前景[1?2]。虛擬現(xiàn)實技術包含模擬環(huán)境、自然技能、感知、傳感設備等多個組成環(huán)節(jié),可以根據(jù)計算機的動態(tài)變化情況,對三維立體逼真圖像進行實時維護。
傳統(tǒng)多屏顯示系統(tǒng)借助ITK與ImageView軟件繪制三維動畫視圖,并通過單窗口切片的形式對這些視圖進行渲染排列處理,進而使待顯示圖像具備一定的擴展延伸性。但隨著科學技術手段的進步,這種傳統(tǒng)系統(tǒng)的圖像接收速率與單路輸出速率始終不能達到預期水平。為解決上述問題,引入虛擬現(xiàn)實技術,并在SOC顯示模塊、顯示濾波參數(shù)等物理條件的支持下,建立一種基于虛擬現(xiàn)實的新型三維動畫圖像多屏顯示系統(tǒng),并通過設計對比實驗的方式,突出該新型系統(tǒng)的實際應用價值。
動畫圖像處理平臺、顯示電源、多屏SOC顯示模塊三個主要單元組成了新型多屏顯示系統(tǒng)的硬件運行環(huán)境,其具體搭建方法可按如下步驟進行。
1.1 ?動畫圖像處理平臺設計
新型多屏顯示系統(tǒng)的動畫圖像處理平臺以ARM. Corex.?A15 (CA15)+Neon+處理器作為核心搭建設備,且隨著系統(tǒng)運行時間的不斷延長,該設備可以根據(jù)動畫圖像的存儲類型,對待顯示數(shù)據(jù)進行高效集成處理。ARM.Corex.?A15 (CA15)+Neon+處理器具備一定的自定義編程功能,可以按照DSP源代碼對所有三維動畫圖像進行編碼排序,并在所有滿足虛擬現(xiàn)實傳輸需求的圖像文件后添加.codec腳綴[3?4]。作為新型多屏顯示系統(tǒng)的最大硬件運行單元,動畫圖像處理平臺中也包含一個微型的3D圖形子系統(tǒng),可以承載數(shù)量級不超過1.5 GHz的內核圖像數(shù)據(jù)。3D圖形子系統(tǒng)包含一個圖像輸入捕捉設備,可以根據(jù)多屏顯示系統(tǒng)的運行規(guī)則對三維動畫圖像進行一定的物理壓縮,以保證SOC模塊中能夠出現(xiàn)完整的顯示畫面。詳細動畫圖像處理平臺結構如圖1所示。
1.2 ?顯示電源設計
顯示電源是新型三維動畫圖像多屏顯示系統(tǒng)中最大的硬件執(zhí)行單元,包含一個額定電壓為40 V的集成開關、一個MOSFET功率消耗電阻、一個LDO單片式高壓開關穩(wěn)壓器。其中,集成開關直接作用于硬件運行單元中的電壓監(jiān)控器,可以從根本上緩解由多屏顯示圖像讀取處理帶來的系統(tǒng)散熱,并且在開關保持連續(xù)閉合狀態(tài)的情況下,為MOSFET功率消耗電阻提供合理的多屏圖像信息[5?6]。MOSFET功率消耗電阻的阻值始終保持在100 kΩ~2.5 MΩ之間,且可以根據(jù)動畫圖像處理平臺中運行數(shù)據(jù)的承載條件,自行調節(jié)接入電路部分的電阻阻值,進而達到控制系統(tǒng)中顯示電流的目的。LDO單片式高壓開關穩(wěn)壓器作為集成開關的附屬結構,可以對系統(tǒng)顯示電源的額定電壓進行嚴格限制,并在多屏顯示系統(tǒng)的運行過程中,使電源模塊供電量具備較低的占空比。顯示電源結構如圖2所示。
1.3 ?三維多屏SOC顯示模塊設計
三維多屏SOC顯示模塊是整個三維動畫圖像顯示系統(tǒng)硬件運行環(huán)節(jié)的末尾單元,可以通過投影處理的方式匯總上層處理單元中的物理信息數(shù)據(jù)。當動畫圖像處理平臺發(fā)出運行指令后,顯示電源中的集成開關會在瞬間轉換為連接狀態(tài),并在系統(tǒng)電源的促進下對三維動畫圖像處理信息進行高效傳輸[7?8]。對于三維多屏SOC顯示模塊來說,上級執(zhí)行單元的匯總信息既是網(wǎng)格、顏色等物理信息的選擇標準,也是校正圖像紋理的主要依據(jù)條件,具體模塊結構如圖3所示。作為三維多屏SOC顯示模塊的核心搭建設備,Direct3D9裝置可以顯示API,DXUT,Shade等多種形式的三維動畫圖像信息,也能夠在圖像完整性校驗的過程中,確定最終顯示動畫圖像的相關物理信息。整合上述所有硬件設備,實現(xiàn)新型三維動畫圖像多屏顯示系統(tǒng)的硬件運行環(huán)境搭建。
在硬件運行環(huán)境的基礎上,通過三維動畫圖像分割、顯示圖像讀取處理、顯示濾波參數(shù)設置三個步驟,完成新型多屏顯示系統(tǒng)的軟件運行環(huán)境搭建。
3.1 ?實驗參數(shù)設定
實驗組、對照組相關實驗參數(shù)的具體設定情況如表1所示。
表1中EET參數(shù)代表實驗時間,TSC參數(shù)代表三維動畫模擬系數(shù),IRR參數(shù)代表平均圖像接收速率理想極值,RDA參數(shù)代表三維動畫現(xiàn)實系數(shù),IOR參數(shù)代表單路圖像輸出速率理想極值。為保證實驗結果的絕對公平性,實驗組、對照組實驗參數(shù)始終保持一致。
3.2 ?平均圖像接收速率對比
在三維動畫模擬系數(shù)為0.67的條件下,以70 min作為實驗時間,分別記錄在該段時間內,應用實驗組、對照組系統(tǒng)后,平均圖像接收速率的變化情況。詳細對比結果如表2所示。
對比表1,表2可知,實驗組系統(tǒng)平均圖像接收速率起始值、結束值間的差值為0.6 MB/s,在20~50 min之間時,平均圖像接收速率呈現(xiàn)階梯狀下降的趨勢,下降幅度為0.1 MB/s,整個實驗過程中,平均圖像接收速率的最大值為2.5 MB/s,超過理想極值2.3 MB/s。對照組系統(tǒng)平均圖像接收速率起始值、結束值間的差值為-0.1 MB/s,低于實驗組,在5~60 min之間時,平均圖像接收速率呈現(xiàn)循環(huán)下降、上升的變化趨勢,下降、上升幅度均為0.4 MB/s,整個實驗過程中,平均圖像接收速率的最大值為1.6 MB/s,低于理想極值2.3 MB/s。綜上可知,在三維動畫模擬系數(shù)為0.67的條件下,應用基于虛擬現(xiàn)實技術三維動畫圖像多屏顯示系統(tǒng)后,平均圖像接收速率的最大值提升了0.9 MB/s。
3.3 ?單路圖像輸出速率對比
在三維動畫現(xiàn)實系數(shù)為0.94的條件下,以70 min作為實驗時間,分別記錄在該段時間內,應用實驗組、對照組系統(tǒng)后,單路圖像輸出速率的變化情況。詳細對比結果如表3所示。
對比表1,表3可知,實驗組系統(tǒng)單路圖像輸出速率起始值、結束值間的差值為5.7 MB/s,在35~40 min,45~50 min之間時,單路圖像輸出速率均呈現(xiàn)明顯上升的變化趨勢,上升幅度均為4.7 MB/s,整個實驗過程中,平均圖像接收速率的最大值為119.9 MB/s,超過理想極值4.8 MB/s。對照組系統(tǒng)單路圖像輸出速率起始值、結束值間的差值為0.9 MB/s,低于實驗組,在25~40 min之間時,單路圖像輸出速率呈現(xiàn)逐漸上升的變化趨勢,上升幅度為2.7 MB/s,整個實驗過程中,單路圖像輸出速率的最大值為108.3 MB/s,低于理想極值6.8 MB/s。綜上可知,在三維動畫現(xiàn)實系數(shù)為0.94的條件下,應用基于虛擬現(xiàn)實技術三維動畫圖像多屏顯示系統(tǒng)后,單路圖像輸出速率的最大值提升了11.6 MB/s。
在ARM.Corex.?A15(CA15)+Neon+處理器、MOSFET功率消耗電阻等硬件設備的支持下,新型三維動畫圖像多屏顯示系統(tǒng)對虛擬現(xiàn)實技術進行充分的運用發(fā)揮,并通過設置顯示濾波參數(shù)等手段,將系統(tǒng)的軟件執(zhí)行環(huán)境調試至最佳運行狀態(tài)。從實用性方面來看,這種新型系統(tǒng)有效解決了圖像接收速率低、單路圖像輸出速率不佳等問題,具備較強的推廣可行性。
參考文獻
[1] 向文欣,李武,王宏旭.基于虛擬現(xiàn)實的三維漫游校園系統(tǒng)的開發(fā)與設計[J].電子設計工程,2017,25(18):38?41.
XIANG Wenxin, LI Wu, WANG Hongxu. The development and design of three dimensional roaming campus system based on virtual reality [J]. Electronic design engineering, 2017, 25(18): 38?41.
[2] 王長柳,麥賢敏,趙兵,等.風景園林合理分布三維圖像仿真系統(tǒng)設計[J].計算機仿真,2017,34(8):265?268.
WANG Changliu, MAI Xianmin, ZHAO Bing, et al. Design of three dimensional image simulation system for landscape architecture [J]. Computer simulation, 2017, 34(8): 265?268.
[3] 胡東濤,黃浪,周煥明,等.基于虛擬現(xiàn)實技術的非煤礦山救護隊培訓系統(tǒng)設計與實現(xiàn)[J].中國安全生產科學技術,2017,13(2):171?175.
HU Dongtao, HUANG Lang, ZHOU Huanming, et al. Design and implementation of training system for non?coal mine rescue team based on virtual reality technology [J]. Journal of safety science and technology, 2017, 13(2): 171?175.
[4] 孫靚,盧大瑋,劉亮,等.面向三維立體動畫制作的視差可視化調節(jié)方法設計與實現(xiàn)[J].計算機輔助設計與圖形學學報,2017,29(7):1245?1255.
SUN Liang, LU Dawei, LIU Liang, et al. A visual disparity adjustment method for stereoscopic 3D animation production [J]. Journal of computer?aided design & computer graphics, 2017, 29(7): 1245?1255.
[5] 閔一迪,吳俊,汪源源,等.三維ABUS圖像多平面聯(lián)合顯示平臺的MATLAB實現(xiàn)方法[J].國外電子測量技術,2017,36(2):73?77.
MIN Yidi, WU Jun, WANG Yuanyuan, et al. Matlab implementation scheme of multiplanar visualization platform for 3D ABUS images [J]. Foreign electronic measurement technology, 2017, 36(2): 73?77.
[6] 李慧敏,樊記明,楊笑.基于STM32和OV7670的圖像采集與顯示系統(tǒng)設計[J].傳感器與微系統(tǒng),2016,35(9):114?117.
LI Huimin, FAN Jiming, YANG Xiao. Design of image acquisition and display system based on STM32 and OV7670 [J]. Transducer and microsystem technologies, 2016, 35(9): 114?117.
[7] 邢方誠,王素珍,宗衛(wèi)華,等.基于STM32CubeMX的高速嵌入式圖像采集系統(tǒng)[J].單片機與嵌入式系統(tǒng)應用,2016,16(5):42?45.
XING Fangcheng, WANG Suzhen, ZONG Weihua, et al. High?speed embedded image acquisition system based on STM32 CubeMX [J]. Microcontrollers & embedded systems, 2016, 16(5): 42?45.
[8] 潘青松,張怡,楊宗明,等.基于Zynq的圖像角點及邊緣檢測系統(tǒng)的設計與實現(xiàn)[J].計算機科學,2017,44(11):530?533.
PAN Qingsong, ZHANG Yi, YANG Zongming, et al. Design and implementation of image corner and edge detection system based on Zynq [J]. Computer science, 2017, 44(11): 530?533.
[9] 陳東,梁發(fā)云,陳輝.基于FPGA的LVDS高清數(shù)字圖像傳輸系統(tǒng)設計[J].南昌大學學報(工科版),2016,38(4):381?385.
CHEN Dong, LIANG Fayun, CHEN Hui. Design of LVDS high definition digital image transmission system based on FPGA [J]. Journal of Nanchang University (Engineering & technology), 2016, 38(4): 381?385.
[10] 龍建明,曾延安,張南洋生,等.紅外與可見光雙波段圖像同步采集與傳輸系統(tǒng)[J].儀表技術與傳感器,2017(11):86?89.
LONG Jianming, ZENG Yanan, ZHANG Nanyangsheng, et al. Synchronous acquisition and transmission system of infrared and visible dual?band images [J]. Instrument technique and sensor, 2017(11): 86?89.
[11] 李江波,馬春庭,楊帆,等.基于無線C/S模式的嵌入式圖像采集系統(tǒng)設計[J].計算機測量與控制,2016,24(9):261?263.
LI Jiangbo, MA Chunting, YANG Fan, et al. Design of embedded image acquisition system based on wireless C/S mode [J]. Computer measurement & control, 2016, 24(9): 261?263.
[12] 劉洋,尹冰冰,王鑫,等.基于紅外圖像分割技術的遠程熱點源定位系統(tǒng)設計[J].科學技術與工程,2016,16(3):215?219.
LIU Yang, YIN Bingbing, WANG Xin, et al. Based on the infrared image segmentation technology distance hot source positioning system design [J]. Science technology and enginee?ring, 2016, 16(3): 215?219.
[13] 蔡旭,謝正光,黃宏偉,等.一種自適應低采樣率圖像分塊壓縮感知算法[J].小型微型計算機系統(tǒng),2016,37(3):612?616.
CAI Xu, XIE Zhengguang, HUANG Hongwei, et al. An adaptive reconstruction algorithm for image block compressed sensing under low sampling rate [J]. Journal of Chinese computer systems, 2016, 37(3): 612?616.
[14] LEIBOVICI V, MAGORA F, COHEN S, et al. Effects of virtual reality immersion and audiovisual distraction techniques for patients with pruritus [J]. Pain research & management, 2016, 14(4): 283?286.
[15] SAPOSNIK G, COHEN L G, MAMDANI M, et al. Efficacy and safety of non?immersive virtual reality exercising in stroke rehabilitation (EVREST): a randomised, multicentre, single?blind, controlled trial [J]. Lancet neurology, 2016, 15(10): 1019?1027.