陳培宏， 梁佩瑩， 曹 輝， 葉嘉權(quán)， 羅夢嬋

(佛山科學技術(shù)學院 光信息工程系，廣東 佛山 528000)

?

·專題研討——虛擬仿真實驗(36)·

虛擬成像動態(tài)演示系統(tǒng)

陳培宏， 梁佩瑩， 曹 輝， 葉嘉權(quán)， 羅夢嬋

(佛山科學技術(shù)學院 光信息工程系，廣東 佛山 528000)

通過LabVIEW程序自動實現(xiàn)對物體的原始圖像采集、圖像處理、視頻投影源制作，并通過投影屏幕將投影數(shù)據(jù)源投射到金字塔投影膜中，實現(xiàn)物體的虛擬成像功能，通過手勢控制平臺對虛擬像進行轉(zhuǎn)動控制，使系統(tǒng)擁有較高的人機交互性和可操控性。由于系統(tǒng)是由LabVIEW程序完成所有功能，無需人工操作，大大提高了系統(tǒng)的效率；同時系統(tǒng)采用單一攝像頭完成投影圖像的采集，具有造價低、性價比高、成像效果好的優(yōu)點?？蓱糜诋a(chǎn)品展示、影視播放、游戲動畫人物制作等領(lǐng)域，應用前景廣泛。

虛擬成像； 動態(tài)演示； 手勢控制

0 引 言

虛擬成像技術(shù)是將實際物體的虛擬像呈現(xiàn)在由金字塔投影膜組成的成像系統(tǒng)中，三維立體圖像比傳統(tǒng)的平面圖像更加逼真，能夠給人帶來不同的視覺感受，能夠拉近我們與實際物體間的距離，營造一個亦真亦幻的顯示氛圍[1]。虛擬成像技術(shù)廣泛運用于產(chǎn)品展示、影視演出、游戲動畫制作等領(lǐng)域，其獨特逼真的顯示效果能夠給各個應用領(lǐng)域的發(fā)展起到一定的推動作用[2]。傳統(tǒng)的虛擬成像系統(tǒng)是需要先對物體進行360°外觀圖像采集，然后由人工完成視頻投影源的制作，最后將制作好的投影數(shù)據(jù)源通過顯示屏幕進行投影。這一繁雜的人工制作過程造成時間和人工成本浪費，無法實現(xiàn)對物體的快速成像，同時由于缺少系統(tǒng)的人機交互功能，使系統(tǒng)缺少人機交互性，降低系統(tǒng)的市場價值[3-4]。本系統(tǒng)通過單一攝像頭對物體進行原始圖像采集，并通過LabVIEW軟件進行圖像處理和投影數(shù)據(jù)源的制作，達到一體化虛擬成像的效果，并設(shè)計出手勢控制平臺，通過手勢控制平臺對虛擬成像進行轉(zhuǎn)動控制，實現(xiàn)系統(tǒng)的人機交互性和可操控性。

1 系統(tǒng)原理

虛擬成像動態(tài)演示系統(tǒng)是通過對物體進行360°外觀圖像采集，并通過計算機自動實現(xiàn)圖像處理和投影視頻數(shù)據(jù)的制作，通過投影屏幕將投影數(shù)據(jù)投射到金字塔投影膜中，從而在金字塔投影膜中實現(xiàn)虛擬成像，并通過手勢控制平臺，對虛擬像進行轉(zhuǎn)動控制，從而實現(xiàn)虛擬成像動態(tài)演示功能。

1.1 虛擬成像原理

虛擬成像技術(shù)是光學成像技術(shù)中的一種，是一種利用鏡面反射原理將物體的三維畫面呈現(xiàn)在投影膜中的成像技術(shù)。虛擬成像技術(shù)能夠?qū)崿F(xiàn)畫面的空間感，增加用戶體驗。與我們觀看3D電影不同，虛擬成像技術(shù)不需要佩戴偏光眼鏡，就可以觀看到物體的三維畫面，讓我們更加真切地感受到三維成像效果[5-6]。

虛擬成像技術(shù)是通過投影屏幕和金字塔投影膜來實現(xiàn)成像的，投影屏幕放置在金字塔投影膜的正上方，同時金字塔投影膜的塔尖剛好與投影視頻源的中心對稱點相重合，并且使金字塔投影膜的四個底邊剛好與投影屏幕的四個邊相平行，用投影屏幕將投影數(shù)據(jù)源投射到金字塔投影膜中，我們能夠在金字塔投影膜中看到物體的虛擬像[7]。

1.2 投影數(shù)據(jù)源制作原理

我們將物體放置在由步進電機帶動旋轉(zhuǎn)的平臺上，并通過攝像頭與步進電機協(xié)調(diào)配合，實現(xiàn)步進電機每轉(zhuǎn)動0.9°攝像頭拍攝一張圖片的功能，當完成360°的旋轉(zhuǎn)時，攝像頭剛好采集到400張圖片，同時這400張圖片就包含被測物體360°外觀信息。步進電機相對攝像頭向左轉(zhuǎn)動，由于400張圖片代表了物體360°的外觀信息，則每間隔100張圖片，就相當于拍攝角度間隔90°，所以我們利用單一攝像頭采集到的400張圖片可以轉(zhuǎn)化成不同拍攝角度下的物體的圖像序列。采集到的第1張圖片對應0°拍攝角度下的采集圖像，則第101張圖片則對應90°拍攝角度下的采集圖像，第201張圖片則對應180°拍攝角度下的采集圖像，第301張圖片則對應270°拍攝角度下的采集圖像。單一攝像頭實現(xiàn)四角度拍攝示意圖如圖1所示。從而第1張到第400張、第101張到第400張和第1張到第100張、第201張到第400張和第1張到第200張、第301張到第400張和第1張到第300張這四個圖像序列實際上相當于四個攝像頭分別從0°、90°、180°、270°四個拍攝角度對被測物體進行拍攝得到的序列圖像。我們將劃分出來的四組序列圖像按照拍攝角度的角度間隔依次分布在投影屏幕中的相應位置，并且呈現(xiàn)中心對稱，從而實現(xiàn)投影數(shù)據(jù)源的制作。

圖1 單一攝像頭實現(xiàn)四角度拍攝示意圖

1.3 手勢控制原理

系統(tǒng)的手勢控制功能模塊是通過手勢控制平臺和輔助光源來實現(xiàn)功能的，手勢控制平臺由三個光敏探測模塊組成，輔助光源架設(shè)在手勢控制平臺的正上方，當操作者的手不在光敏探測模塊上方時，輔助光源提供的光照的亮度超過光敏探測模塊的亮度閾值，當操作者的手在光敏探測模塊上方時，輔助光源提供的光被操作者的手擋住，從而進入光敏探測模塊的光照的亮度沒有超過光敏探測模塊的亮度閾值，可以根據(jù)光敏探測模塊的輸出信號來判斷出操作者的手是否在該光敏探測模塊的上方，還可根據(jù)三個互相間隔15 cm的光敏探測模塊的信號輸出，得到操作者的手在每一個光敏探測模塊上方的時間，從而根據(jù)這個時間先后順序來得到操作者的手的滑動方向。根據(jù)操作者的手的滑動方向來控制投影屏幕的圖像播放順序，當探測到操作者的手是向左滑動時，圖像播放順序是以當前播放的圖像為基準，并根據(jù)實現(xiàn)虛擬像向左轉(zhuǎn)動所需要的圖像播放順序來進行圖像播放的順序調(diào)整，從而達到虛擬像向左轉(zhuǎn)動的目的；當探測到操作者的手是向右滑動時，圖像播放順序是以當前播放的圖像為基準，并根據(jù)實現(xiàn)虛擬像向右轉(zhuǎn)動所需要的圖像播放順序來進行圖像播放的順序調(diào)整，從而達到虛擬像向右轉(zhuǎn)動的目的。當手在三個光敏探測模塊的某一個上方停留的時間超過設(shè)定的閾值時間時，啟動暫停轉(zhuǎn)動命令，從而使投影屏幕在當前播放界面下進行暫停操作，等到手離開光敏探測模塊上方時再繼續(xù)播放圖片，從而實現(xiàn)靜止觀看[8]。

2 系統(tǒng)總體設(shè)計

本系統(tǒng)是由原始圖像采集功能模塊、投影源制作功能模塊、虛擬成像功能模塊和手勢控制功能模塊組成。原始圖像采集功能模塊是通過圖像采集裝置對物體進行圖像采集，并將采集到的圖像進行隊列保存。投影源制作功能模塊是將采集到的圖像進行圖像濾波、角度旋轉(zhuǎn)、圖像顯示位置調(diào)整等一系列操作，最終實現(xiàn)投影源的制作。虛擬成像功能模塊是由投影屏幕和金字塔投影膜組成，通過投影屏幕將投影源投射到金字塔投影膜中，從而在金字塔投影膜中呈現(xiàn)虛擬像[9]。手勢控制功能模塊是通過光敏探測模塊與輔助光源相配合，從而探測出操作者的手是否在光敏探測模塊的上方，并根據(jù)操作者的手在三個光敏探測模塊上方的時間，來判斷操控者的手的滑動方向，從而根據(jù)操作者的手的滑動方向來對投影源的播放順序進行調(diào)整，從而實現(xiàn)虛擬像的轉(zhuǎn)動控制[10]。系統(tǒng)的總體結(jié)構(gòu)框圖如圖2所示。

圖2 系統(tǒng)的總體結(jié)構(gòu)框圖

3 系統(tǒng)硬件設(shè)計

3.1 圖像采集裝置設(shè)計

圖像采集裝置是由攝像頭、步進電機、平臺、背景屏幕、輔助光源等組成的。步進電機與平臺相連，通過步進電機帶動平臺水平旋轉(zhuǎn)，從而放置在平臺上的物體也隨之旋轉(zhuǎn)，攝像頭放置在圖像采集裝置的正前方，步進電機每旋轉(zhuǎn)0.9°，攝像頭采集一張圖像，當步進電機轉(zhuǎn)動400個0.9°時，物體剛好旋轉(zhuǎn)360°，攝像頭采集到的400張圖片剛好包含實際物體的360°外觀信息[11]。圖像采集裝置外觀圖如圖3所示、圖像采集裝置內(nèi)部圖如圖4所示。

圖3 圖像采集裝置外觀圖

3.2 投影系統(tǒng)設(shè)計

投影系統(tǒng)是由投影屏幕和金字塔投影膜組成，投影屏幕倒放在金字塔投影膜上方，將投影視頻源投射到金字塔投影膜中。金字塔投影膜是由頂角為70.5°的四個相同等腰三角形構(gòu)成，將這四個相同的等腰三角形進行拼接，實現(xiàn)金字塔構(gòu)造。將金字塔投影膜的四個底邊分別與投影屏幕的四個邊平行，并使金字塔投影膜的塔尖與投影屏幕的中心點相對應，并調(diào)節(jié)好金字塔投影膜塔尖到投影屏幕之間的距離，實現(xiàn)最佳的投影效果[12]。投影系統(tǒng)實物圖如圖5所示。

圖4 圖像采集裝置內(nèi)部圖

圖5 投影系統(tǒng)實物圖

3.3 手勢控制平臺設(shè)計

手勢控制平臺是由三個光敏探測模塊和輔助光源組成的。輔助光源放置在光敏探測模塊的正上方，輔助光源將光投射到手勢控制平臺上，手勢控制平臺上的光敏探測模塊根據(jù)接收到的光照亮度是否超過亮度閾值，來進行相應的信號輸出。通過調(diào)節(jié)，使光照投射到手勢控制平臺上時，光的亮度剛好超過光敏探測模塊的閾值，當我們用手在手勢控制平臺上方擋住光線時，進入光敏探測模塊的光的亮度在閾值之下，所以我們可以根據(jù)光敏探測模塊的輸出信號來判斷操作人員的手是否在光敏探測模塊的上方。通過對三個光敏探測模塊進行排序，從而得出操作人員的手在手勢控制平臺上的滑動方向，并根據(jù)手的滑動方向?qū)μ摂M像進行轉(zhuǎn)動控制[13]。手勢控制平臺實物圖如圖6所示。

圖6 手勢控制平臺實物圖

4 系統(tǒng)軟件設(shè)計

系統(tǒng)軟件設(shè)計是基于LabVIEW軟件進行設(shè)計的，LabVIEW是一款圖形化的編程軟件，擁有高效的數(shù)據(jù)采集、運算功能，能夠?qū)崿F(xiàn)系統(tǒng)所需要的圖像采集、圖像處理、手勢控制等要求[14]。系統(tǒng)軟件設(shè)計是先對系統(tǒng)各個功能模塊進行設(shè)計調(diào)試，并將所有的功能模塊進行整合調(diào)試，從而實現(xiàn)系統(tǒng)的整體功能。

4.1 原始圖像采集

將被測物體放在旋轉(zhuǎn)平臺上，步進電機每旋轉(zhuǎn)0.9°后攝像頭采集一張圖片，直到步進電機旋轉(zhuǎn)了400個0.9°，則整個系統(tǒng)完成原始圖像的采集[15]。采集的400張圖片保存在事先選定好的文件夾中，每張圖片的保存名稱從0開始，依次遞增。原始圖像采集及隊列保存程序框圖如圖7所示。

圖7 原始圖像采集及隊列保存程序框圖

4.2 圖像角度轉(zhuǎn)換

由于投影視頻源所需要的圖像是物體四個擺放角度下的圖像，所以需要對采集到的400張原始圖像進行角度轉(zhuǎn)換，由于我們采集到的圖像中物體的擺放角度為0°，所以我們需要將原始圖像分別轉(zhuǎn)換成90°、180°、270°的圖像。首先我們從保存原始圖像的文件夾里面找出第一張圖片，并對這張圖片進行90°的旋轉(zhuǎn)，接著將該文件夾內(nèi)的其他圖片同樣進行90°的旋轉(zhuǎn)，并將所有旋轉(zhuǎn)了90°的圖片保存在指定的文件夾中；同理將原始圖像轉(zhuǎn)換成180°和270°的圖像，并將這兩組經(jīng)過角度轉(zhuǎn)換的圖像分別保存在相應的文件夾中，供下一步操作進行調(diào)用[16]。圖像角度轉(zhuǎn)換程序框圖如圖8所示。

4.3 投影畫面調(diào)整

通過物體的四個拍攝角度下的圖像進行拼接，并調(diào)整每個圖像中物體的擺放角度來實現(xiàn)投影數(shù)據(jù)源的制作。四個投影畫面在投影屏幕中是中心對稱的，從而與金字塔投影膜的四個面相對應，使投影到金字塔投影膜的投影數(shù)據(jù)能夠在投影膜中形成虛擬像。我們通過調(diào)整每個畫面在顯示屏幕中的位置來實現(xiàn)四個顯示畫面的中心對稱。

4.4 手勢控制平臺程序設(shè)計

手勢控制平臺是利用三個光敏探測模塊進行設(shè)計的，我們通過探測光敏探測模塊的輸出數(shù)據(jù)來對當前操作者的手是否在光敏探測模塊的上方進行判斷，并結(jié)合三個光敏探測模塊的輸出數(shù)據(jù)，對操作者的手出現(xiàn)在三個光敏探測模塊上方的時間先后順序進行探測，從而根據(jù)手出現(xiàn)在每個光敏探測模塊上方的時間先后順序來判斷出手的滑動方向，從而根據(jù)操作者手的滑動方向來進行下一步操作[17-18]。手勢控制平臺程序框圖如圖9所示。

圖9 手勢控制平臺程序框圖

4.5 圖像轉(zhuǎn)動播放程序

當要對虛擬像進行轉(zhuǎn)動時，我們要相應地改變每個拍攝角度下的物體的圖像的播放順序，當虛擬像的轉(zhuǎn)動順序向右時，每一個角度下的物體的播放順序都是向左的；當虛擬像的轉(zhuǎn)動順序向左時，每一個角度下的物體的播放順序都是向右的。每一個角度下，播放順序是按照往后遞增或者往前遞減來進行循環(huán)播放的，當改變轉(zhuǎn)動方向時，播放的圖像要根據(jù)之前播放到的圖片的張數(shù)進行相應的處理，從而實現(xiàn)在原來基礎(chǔ)上進行方向的改變。圖像轉(zhuǎn)動控制程序框圖如圖10所示，投影屏幕界面圖如圖11所示。

圖11 投影屏幕界面圖

5 系統(tǒng)整合調(diào)試

通過將系統(tǒng)各個功能模塊進行整合調(diào)試，系統(tǒng)能夠自動完成圖像采集、圖像處理，并自動完成投影數(shù)據(jù)源的制作，同時通過投影屏幕將投影數(shù)據(jù)源投射到金字塔投影膜中進行虛擬成像，并通過手勢控制平臺實現(xiàn)虛擬像的轉(zhuǎn)動控制。系統(tǒng)成像效果好、手勢控制穩(wěn)定高效。系統(tǒng)成像效果圖如圖12所示、系統(tǒng)手勢控制效果圖如圖13所示。

6 結(jié) 語

本系統(tǒng)是利用LabVIEW程序?qū)ξ矬w進行原始圖像采集、圖像處理、投影視頻源制作、投影數(shù)據(jù)源播放控制、手勢控制平臺控制等操作，從而實現(xiàn)物體的虛擬成像動態(tài)演示功能。系統(tǒng)可以對物體進行一體化成像，避免了由于原始圖像的人工采集和投影視頻源的人工制作所造成的人工成本和時間成本的浪費，大大提高了系統(tǒng)的效率，并通過手勢控制平臺實現(xiàn)虛擬像的轉(zhuǎn)動控制，提高了系統(tǒng)的人機交互性和可操控性，系統(tǒng)使用單一攝像頭實現(xiàn)投影視頻源的圖像采集，避免了由于使用多攝像頭圖像采集所帶來的設(shè)備浪費，系統(tǒng)制作成本低、性價比高。系統(tǒng)可以用于產(chǎn)品展示、影視播放、游戲動漫人物制作等領(lǐng)域，應用前景廣泛。

圖12 系統(tǒng)成像效果圖

(a)手勢控制前(b)手向左滑動時(c)手向右滑動時

圖13 系統(tǒng)手勢控制效果圖

[1] 曲國軍.淺談虛擬成像技術(shù)在2013年央視春晚的應用及燈光設(shè)計應對[J].演藝科技,2013(9):13-16.

[2] 田岸婷.幻影成像在博物館陳列設(shè)計中的運用[J].藝術(shù)科技,2014(10):55.

[3] 許秀文,薄建業(yè),楊 銘，等.淺析3D、全息、虛擬現(xiàn)實技術(shù)[J].中國教育信息化,2011(13):85-86.

[4] 余春娜.新媒體語境下3D動畫結(jié)合幻影成像系統(tǒng)的媒介融合實踐與智能推介研究(一) [J].影像技術(shù),2012(6)：59-60.

[5] 陶 濤,郭紅衛(wèi),何海濤.鏡面反射面形光學三維測量技術(shù)綜述[J].光學儀器,2005,27(2):90-95.

[6] 姬廣建.鏡面反射特性在藝術(shù)創(chuàng)作中的運用[D].杭州:中國美術(shù)學院,2013.

[7] 姜曉鵬,馬純永,陳 璐，等.360°全息幻影系統(tǒng)的開發(fā)與實現(xiàn)[J].計算機工程與設(shè)計,2014,35(12):4268-4272.

[8] 王松林.基于Kinect的手勢識別與機器人控制技術(shù)研究[D].北京:北京交通大學,2014.

[9] 張濟民,張義偉.基于機器視覺的產(chǎn)品瑕疵識別系統(tǒng)設(shè)計[J].工業(yè)控制計算機,2014,27(3):58-59.

[10] 黃 建.3D全息投影技術(shù)發(fā)展應用[J].演藝科技,2015(1):45-47.

[11] 李 藝.基于單攝像頭的三維掃描系統(tǒng)的設(shè)計與實現(xiàn)[D].北京:北京交通大學,2013.

[12] 張曉媛.裸眼立體顯示技術(shù)的研究[D].天津:天津理工大學,2006.

[13] 陸建敏.光敏傳感器的應用——聲光控開關(guān)電路[J].企業(yè)科技與發(fā)展,2012(18):36-39.

[14] 張 偉.基于LabVIEW的智能溫度測控儀表的設(shè)計[D].武漢:武漢理工大學,2009.

[15] 秦益霖,孔 峰.基于LabVIEW的單目視覺灌裝桶口自動檢測與定位[J].實驗室研究與探索,2012,31(2):204-207.

[16] 丁 晟,蔣曉瑜,汪 熙.基于LabVIEW的圖像處理技術(shù)研究[J].微計算機信息,2010,26(29)：204-205.

[17] 張克劍,王思雨,張秀峰.基于光敏傳感器導軌磨耗檢測系統(tǒng)的研究[J].電子制作,2013(5):31.

[18] 周 波,楊京玲.人機交互技術(shù)在現(xiàn)代展示設(shè)計中的應用[J].包裝工程,2011,32(20):46-49.

Dynamic Demonstration System by Virtual Imaging

CHENPei-hong，LIANGPei-ying,CAOHui,YEJia-quan,LUOMeng-chan

(Department of Photoelectric Information and Engineering，F(xiàn)oshan University, Foshan 528000， China)

A LabVIEW based system which has the functionality of image acquisition and image processing is discussed. It also has the ability of video source producing, and projects the video source to pyramid projection film via projection screen so that virtual imagination could be realized. The whole system is implemented by using LabVIEW platform, and it is fully automated. i.e., no manual judgment or operation in the whole process, This much decreases the process cost that contains human resource cost and time cost which are mostly caused in image acquisition and video source producing stages, and it also increases the system efficiency greatly. Due to the fact that this system uses single camera to acquire images, it also saves the cost than a multi-camera system. So in overall, the system designed has the advantage of low cost, high performance and very good imagination, it could be widely adopted in many application areas such as product exhibition, video re-playing, gaming animation etc.

virtual imaging; dynamic presentation; gesture control

2015-09-17

國家自然科學基金項目(61275214);2015年度廣東大學生科技創(chuàng)新培育專項資金項目;2014年度國家級大學生創(chuàng)新訓練項目(201411847004);廣東省公益研究與能力建設(shè)專項資金項目

陳培宏(1993-)，男，廣東潮州人，本科生，主要研究方向為光電信息處理技術(shù)。

梁佩瑩(1975-)，女，廣東佛山人，講師，主要研究方向為光信息處理，光學檢測與傳感器。

Tel.：0757-83961169；E-mail：13450809109@163.com

TP 391.98

A

1006-7167(2016)08-0085-06