陳琳+李潔

摘 要： 以往的三維影像智能顯示系統(tǒng)體積大、精度差，顯示效果和同步性不能滿足用戶需求，針對這種現(xiàn)象，設(shè)計基于虛擬現(xiàn)實技術(shù)的三維影像嵌入式智能顯示系統(tǒng)。虛擬現(xiàn)實技術(shù)使用OpenGL和3ds MAX開發(fā)系統(tǒng)的數(shù)據(jù)采集與調(diào)試模塊，使用VC++ 6.0開發(fā)顯示模塊，實現(xiàn)人與自然、人與人的視覺交互。對數(shù)據(jù)采集與調(diào)試模塊的FPGA進行嵌入式設(shè)計，通過FPGA采集三維影像進行色彩調(diào)節(jié)，以壓縮形式傳導(dǎo)給顯示模塊的HI1257B芯片進行解碼、去噪、畫質(zhì)增強和顯示。實驗結(jié)果表明，所設(shè)計的智能顯示系統(tǒng)擁有顯示效果逼真、同步性好的特點。

關(guān)鍵詞： 虛擬現(xiàn)實技術(shù)； 三維影像； 智能顯示系統(tǒng)； 嵌入式設(shè)計

中圖分類號： TN911?34； TP391.9 文獻標識碼： A 文章編號： 1004?373X（2017）08?0100?03

Design of 3D image embedded intelligent display system based on

virtual reality technology

CHEN Lin1， LI Jie2

（1. Chengdu Agricultural College， Chengdu 611130， China； 2. Sichuan University， Chengdu 610065， China）

Abstract： The display effect and synchronization of previous 3D intelligent image display system can′t satisfy the user demand due to its large volume and poor accuracy. Therefore， a 3D image embedded intelligent display system based on virtual reality technology was designed. The virtual reality technology uses the OpenGL and 3ds MAX to develop the data acquisition and debugging module， and employs VC++ 6.0 to develop the display module， so as to realize the visual interaction of human and nature， as well as human and human. The FPGA embedded design was performed for the data acquisition and debugging module. The 3D image is acquired through FPGA for color adjustment， and transmitted to the HI1257B in the display module in the compressed form for decoding， denoising， image quality enhancement and display. The experimental result shows that the designed intelligent display system has the characteristics of vivid display effect and high synchronization.

Keywords： virtual reality technology； 3D image； intelligent display system； embedded design

伴隨著電子信息時代的來臨，影像智能顯示系統(tǒng)得到了長足發(fā)展。受限于電子顯示設(shè)備體積大、建模精度差等原因，三維影像智能顯示系統(tǒng)往往無法獲取逼真的顯示效果和良好的同步性[1]。就以上問題提出嵌入式設(shè)計方法，提升系統(tǒng)模塊之間的關(guān)聯(lián)性、縮減系統(tǒng)體積，達到優(yōu)化系統(tǒng)同步性的目的，并采用虛擬現(xiàn)實技術(shù)開發(fā)系統(tǒng)模塊功能，優(yōu)化系統(tǒng)顯示效果。

1 三維影像嵌入式智能顯示系統(tǒng)開發(fā)流程

虛擬現(xiàn)實技術(shù)是一種模擬人體對自然界視覺、觸覺、嗅覺等感知能力的計算機成像技術(shù)，其編制并調(diào)試出虛擬環(huán)境信息，給人一種切身位于特定自然環(huán)境的逼真感覺[2]。對所進行的三維影像智能顯示系統(tǒng)嵌入式設(shè)計而言，虛擬現(xiàn)實技術(shù)的主要作用是通過模擬視覺感官為系統(tǒng)帶來逼真的顯示效果，因此，使用OpenGL、3ds MAX和VC++ 6.0進行系統(tǒng)開發(fā)最合適不過，不僅開發(fā)難度低，而且對影像細節(jié)處理的掌控能力強，在系統(tǒng)的運行和功能更新環(huán)境的開發(fā)上均存在優(yōu)勢[3]。

圖1是基于虛擬現(xiàn)實技術(shù)的系統(tǒng)開發(fā)流程，OpenGL和3ds MAX開發(fā)出數(shù)據(jù)采集與調(diào)試模塊，VC++ 6.0開發(fā)顯示模塊。接入監(jiān)控現(xiàn)場的實景照片和重點事物圖紙，通過OpenGL進行圖形編程、著色。實景照片使用高清數(shù)碼相機拍攝，依據(jù)照片類型存儲在不同的文件夾中。根據(jù)系統(tǒng)顯示目標的不同，3ds MAX對不同類型的目標特征分別建模，對重點事物下達LOFT放樣指令。3ds MAX通過布爾運算達成事物邏輯推理，構(gòu)建逼真的自然場景輪廓和自然場景的上下層位置關(guān)系。VC++ 6.0編程中，紅綠三維投影專業(yè)性不強，三維影像顯示效果失真率遠高于雙通道三維投影，但由于不用進行色度與亮度均衡，所以成像時間短，可供非專業(yè)人士和緊急情況下使用。

2 三維影像智能顯示系統(tǒng)嵌入式設(shè)計

根據(jù)第1節(jié)的描述，虛擬現(xiàn)實技術(shù)開發(fā)出的三維影像嵌入式智能顯示系統(tǒng)由數(shù)據(jù)采集與調(diào)試模塊以及顯示模塊組成，下面對兩個模塊的重要組成以及功能進行設(shè)計。

2.1 數(shù)據(jù)采集與調(diào)試模塊設(shè)計

在數(shù)據(jù)采集與調(diào)試模塊中，F(xiàn)PGA是進行三維影像數(shù)據(jù)采集與調(diào)試的功能實現(xiàn)者，采用嵌入式開發(fā)手段將FPGA燒制在基于虛擬現(xiàn)實技術(shù)的三維影像嵌入式智能顯示系統(tǒng)中[4?5]，在FPGA上進行軟件與硬件的功能協(xié)同設(shè)計，利用虛擬現(xiàn)實技術(shù)正確控制硬件配置，達成系統(tǒng)嵌入式設(shè)計。FPGA的嵌入式結(jié)構(gòu)配置圖如圖2所示。

由圖2可知，F(xiàn)PGA在數(shù)據(jù)采集與調(diào)試模塊中安置了2個處理器組實現(xiàn)模塊與系統(tǒng)的嵌入式連接，采用150 MHz時鐘進行三維影像數(shù)據(jù)觸發(fā)。由OpenGL開發(fā)的數(shù)據(jù)接口采用雙全工同步的高速串行外設(shè)接口（Serial Peripheral Interface，SPI）協(xié)議，其在進行單項數(shù)據(jù)傳導(dǎo)時，數(shù)據(jù)位寬度為2 b，做到了簡單易行的高同步通信[6]。此外，F(xiàn)PGA還擁有色彩調(diào)節(jié)器、顯示驅(qū)動和處理器控制端等硬件。

SPI數(shù)據(jù)接口有兩種傳導(dǎo)模式，分別是主控模式C和從控模式S，兩種模式不可獨立控制數(shù)據(jù)傳導(dǎo)。從控模式S將三維影像數(shù)據(jù)的串行規(guī)格改變成8位并行規(guī)格，與主控模式C進行數(shù)據(jù)交接。主控模式C完全依照系統(tǒng)管理者設(shè)置的控制方案進行三維影像數(shù)據(jù)傳導(dǎo)，實施控制前需提取控制指令，并發(fā)出控制狀態(tài)流程提醒信號。FPGA時鐘頻率比SPI數(shù)據(jù)接口傳導(dǎo)頻率高出3倍，利用FPGA時鐘同步SPI數(shù)據(jù)接口頻率，將SPI協(xié)議邏輯導(dǎo)入FPGA時鐘的工作頻率中，可穩(wěn)定系統(tǒng)同步性。

圖3是FPGA從控模式S的登記轉(zhuǎn)換等級（Register Tranfster Level，RTL）視圖，從圖3可以精密地觀察從控模式S的邏輯結(jié)構(gòu)。從控模式S使用兩段式代碼編碼方式，對控制指令實施計數(shù)和搬遷，從處理器組1采集控制指令進行計數(shù)和數(shù)據(jù)封裝，獲取色彩調(diào)節(jié)器的調(diào)節(jié)指令[7]。將指令搬遷到主控模式C中，由處理器組2進行三維影像智能調(diào)色和壓縮，隨后驅(qū)動顯示模塊進行下一步工作。

2.2 顯示模塊設(shè)計

由數(shù)據(jù)采集與調(diào)試模塊中FPGA傳導(dǎo)到顯示模塊的三維影像是壓縮數(shù)據(jù)，顯示模塊的HI1257B芯片對壓縮數(shù)據(jù)進行解碼、去噪、畫質(zhì)增強和顯示[8]，將三維影像智能傳導(dǎo)到顯示器上進行高清顯示，實現(xiàn)虛擬現(xiàn)實技術(shù)對自然界的視覺感知。

HI1257B芯片的解碼線程如圖4所示，使用的是先入先出法，通過辨別三維影像壓縮數(shù)據(jù)中的碼流，利用解碼庫進行碼流解碼，通過VC++ 6.0為高清晰度多媒體接口設(shè)計控制指令進行顯示。圖5是HI1257B芯片硬件結(jié)構(gòu)圖，SPI接口引進壓縮數(shù)據(jù)進行解碼，視覺識別器接收三維影像中的視頻數(shù)據(jù)，擁有嵌入式的內(nèi)存處理單元，可對三維影像視頻進行降噪、光線調(diào)控、色彩度加深、模糊點銳化等校正。麥克風接收三維影像中的音頻數(shù)據(jù)，模糊音色可利用喇叭額外收音，支持16路音頻收音和4路音頻輸出。麥克風與喇叭通過集成電路內(nèi)置音頻總線在HI1257B芯片中進行音頻嵌入式交接。兩個雙倍速率同步動態(tài)隨機存儲器分別存儲視頻數(shù)據(jù)和音頻數(shù)據(jù)，由無線網(wǎng)絡(luò)匯聚數(shù)據(jù)進行統(tǒng)一編碼，傳導(dǎo)給顯示器顯示由虛擬現(xiàn)實技術(shù)采集到的三維影像。

3 實驗分析

三維影像智能顯示系統(tǒng)的實驗平臺需要進行系統(tǒng)顯示效果和同步性的對比分析，對三維影像的觀察和數(shù)據(jù)處理是必要的，因此，實驗平臺的硬件組成主要包括三維裸眼眼鏡、數(shù)據(jù)處理器、天線和雙目相機。令本文設(shè)計的基于虛擬現(xiàn)實技術(shù)的嵌入式系統(tǒng)、流媒體顯示系統(tǒng)和機器視覺系統(tǒng)，使用雙目相機在相同的目標區(qū)域內(nèi)同時采集自然場景三維影像，采用數(shù)據(jù)處理器轉(zhuǎn)換三維影像，顯示在各自的顯示器上，保持三個顯示器輸出相同的影像規(guī)格。顯示效果是個抽象定義，不同的人通過三維裸眼眼鏡觀察到的顯示效果不能確保完全一致，需要將顯示效果數(shù)據(jù)化。用表示三維影像智能顯示系統(tǒng)中顯示器的響應(yīng)能力，滿足：

式中：是的校正函數(shù)；是顯示器亮度；和是顯示器的輸入和輸出邏輯值，如表1所示。

表1 顯示器輸入、輸出邏輯值

實驗中的本文系統(tǒng)、流媒體顯示系統(tǒng)和機器視覺系統(tǒng)，為了確保顯示效果，必然會對顯示器的響應(yīng)能力進行校正。實驗給三個系統(tǒng)提供了相同的值，。根據(jù)以往的經(jīng)驗，當時，系統(tǒng)顯示屏的灰度減弱，物理明暗度適中，可得到最逼真的顯示效果[9]。表2是的校正值統(tǒng)計表，能夠看出本文系統(tǒng)所得的校正值與2.2非常貼近，顯示效果逼真。

表2 的校正值統(tǒng)計表

伽馬曲線可表現(xiàn)出顯示器的亮度調(diào)節(jié)規(guī)律，在伽馬值由1～10的變化過程中，顯示器亮度也發(fā)生改變，伽馬曲線出現(xiàn)浮動。調(diào)節(jié)三維影像智能顯示系統(tǒng)的伽馬值，記錄系統(tǒng)顯示器伽馬曲線的浮動持續(xù)時間。如果浮動持續(xù)時間能夠立即對伽馬值的調(diào)節(jié)交接做出反應(yīng)，表明系統(tǒng)同步性良好。圖6是同步性對比分析曲線，能夠看出本文系統(tǒng)的浮動持續(xù)時間曲線緊緊跟隨伽馬值調(diào)節(jié)交接曲線的變化，而做出幾乎相同的反應(yīng)，同步性良好，而流媒體顯示系統(tǒng)和機器視覺系統(tǒng)的浮動持續(xù)時間曲線反應(yīng)混亂，同步性不好。

4 結(jié) 論

本文提出采用嵌入式方法、基于虛擬現(xiàn)實技術(shù)設(shè)計三維影像智能顯示系統(tǒng)，達到優(yōu)化系統(tǒng)顯示效果和同步性的目的。系統(tǒng)由數(shù)據(jù)采集與調(diào)試模塊和顯示模塊組成，兩個模塊的核心硬件分別是FPGA和HI1257B芯片。HI1257B芯片接收FPGA傳導(dǎo)數(shù)據(jù)進行三維影像智能顯示。實驗借助顯示器的響應(yīng)能力校正和伽馬曲線浮動分析出本文系統(tǒng)的顯示效果逼真、同步性良好。

參考文獻

[1] 李力.基于虛擬現(xiàn)實技術(shù)的工程機械三維裝配培訓(xùn)平臺設(shè)計[J].湖南工業(yè)職業(yè)技術(shù)學(xué)院學(xué)報，2016，16（1）：20?21.

[2] 隋德志，蘭磊.基于Skyline的房地產(chǎn)三維虛擬系統(tǒng)的研究[J].測繪與空間地理信息，2016，39（6）：85?87.

[3] 王莉麗，宋小芹.基于嵌入式的智能電氣節(jié)能控制研究[J].科學(xué)技術(shù)與工程，2016，16（19）：255?258.

[4] 李輝.基于虛擬雙目視覺的玉米葉片三維重建方法[J].科技通報，2016，32（5）：96?101.

[5] 宋中越，馬姣姣，甄冬，等.基于流媒體技術(shù)的風力發(fā)電機全景監(jiān)測虛擬現(xiàn)實系統(tǒng)研究[J].計算機測量與控制，2016，24（7）：247?248.

[6] 張璐琪.基于三維虛擬視覺的產(chǎn)品交互設(shè)計平臺的開發(fā)與實現(xiàn)[J].現(xiàn)代電子技術(shù)，2016，39（8）：118?121.

[7] 畢衛(wèi)云，陳迪，李朗，等.虛擬現(xiàn)實技術(shù)在神經(jīng)外科醫(yī)師培訓(xùn)中的應(yīng)用[J].中華神經(jīng)外科疾病研究雜志，2015，14（2）：167?169.

[8] 朱維，劉永春.嵌入式智能數(shù)字機頂盒系統(tǒng)設(shè)計[J].現(xiàn)代電子技術(shù)，2016，39（14）：53?56.

[9] 唐朝飛，李晶，張利鋒，等.基于虛擬樣機的引緯機構(gòu)的結(jié)構(gòu)優(yōu)化[J].西安工程大學(xué)學(xué)報，2016，30（4）：416?420.