呂　煒，田　豐，金智鋒

(1.上海精密計(jì)量測試研究所，上海 201109；2.上海大學(xué) 影視藝術(shù)技術(shù)學(xué)院 影視工程系，上海 200072)

交互式幻影成像系統(tǒng)研制

呂煒1，田豐2，金智鋒1

(1.上海精密計(jì)量測試研究所，上海 201109；2.上海大學(xué) 影視藝術(shù)技術(shù)學(xué)院 影視工程系，上海 200072)

摘要:為實(shí)現(xiàn)交互式幻影成像系統(tǒng)，設(shè)計(jì)了270°和360°幻影成像主體支架。針對幻影成像只能播放固定視頻的行業(yè)缺陷，設(shè)計(jì)了交互式幻影成像軟件插件。經(jīng)實(shí)際應(yīng)用，270°和360°幻影成像主體支架即可播放傳統(tǒng)視頻又能實(shí)現(xiàn)實(shí)時人機(jī)交互的幻影成像應(yīng)用。

關(guān)鍵詞:幻影成像；人機(jī)交互；半透半反玻璃

1幻影成像系統(tǒng)

幻影成像系統(tǒng)也稱為虛擬成像系統(tǒng)將三維畫面懸浮在實(shí)景的半空中成像，營造了亦幻亦真的氛圍，效果奇特，具有強(qiáng)烈的縱深感，真假難辯。柜體時尚美觀，有科技感。頂端四面透明，真正的空間成像色彩鮮艷，對比度、清晰度高，有空間感、透視感。形成空中幻象中間可結(jié)合實(shí)物，實(shí)現(xiàn)影像與實(shí)物的結(jié)合。也可配加觸摸屏實(shí)現(xiàn)與觀眾的互動 ?？梢愿鶕?jù)要求做成四面窗口，每面最大2～11 m。隨著信息技術(shù)在世界范圍內(nèi)的迅猛發(fā)展，特別是數(shù)字化技術(shù)的普及應(yīng)用。利用信息化的集中管理手段配合信息的直觀、集中的交互式表達(dá)，將使各項(xiàng)管理工作更加嚴(yán)密、有效，服務(wù)更加便捷、高效?；糜俺上裣到y(tǒng)作為當(dāng)今最現(xiàn)代的成像技術(shù)，已經(jīng)被廣泛應(yīng)用于我國國民經(jīng)濟(jì)生產(chǎn)的各個領(lǐng)域，珠海航展也使用了幻影成像作為飛機(jī)的虛擬展示平臺[1-3]。

幻影成像有著廣泛的應(yīng)用?；糜俺上窨梢越沂疽粋€現(xiàn)象、演示一個規(guī)律、解釋一個科學(xué)原理、講解一段故事、樹立企業(yè)形象、介紹一種產(chǎn)品、分析數(shù)據(jù)曲線，以及一些危險(xiǎn)環(huán)境下的不適宜人進(jìn)入的場景等。奢侈品：比如名車、名表、珠寶、工業(yè)產(chǎn)品。因?yàn)檫@部分產(chǎn)品需要表現(xiàn)產(chǎn)品的細(xì)節(jié)，營造亦真亦幻的氛圍，具有強(qiáng)烈的縱深感，真假難辨，傳統(tǒng)的實(shí)物和模型展示根本無法達(dá)到這個作用。展覽：博物館、科技館、檔案館、娛樂廳、展覽會等方面?；糜俺上裨絹碓绞艿角嗖A，在2010年某博覽會上就能看見，上百種瓷器物件都成了立體投影技術(shù)的科幻產(chǎn)物。

交互展示正成為高端展示的一種新途徑[4-5]。本文作為所內(nèi)自主課題的研究成果，實(shí)現(xiàn)交互式幻影成像系統(tǒng)，設(shè)計(jì)270°和360°幻影成像支架，最后完成了多組幻影成像片源。

2系統(tǒng)總體設(shè)計(jì)

2.1系統(tǒng)組成

本課題研制2套幻影成像裝置，1套是270°小型成像裝置，一套是寬度達(dá)到1.2 m的360°幻影成像裝置。

本課題研制的270°幻影成像安裝結(jié)構(gòu)略復(fù)雜，可視方向?yàn)槿?，影像相對反射面而言較小，環(huán)境光抗干擾性能最佳；360°幻影成像(倒金字塔)安裝結(jié)構(gòu)略復(fù)雜，可視方向?yàn)樗拿?，?shí)現(xiàn)360°環(huán)視，影像相對反射面而言較小，環(huán)境光抗干擾性能最差。如圖1所示，幻影成像系統(tǒng)主要由反射玻璃組、支架、顯示器(投影或液晶)、計(jì)算機(jī)、音響、交互設(shè)備等組成。

圖1　幻影成像基本結(jié)構(gòu)

2.2270°和360°幻影成像硬件設(shè)計(jì)

半反半透玻璃的性能好壞是幻影成像效果的確定因素。對于小型270°幻影裝置，采用半反半透玻璃，透射T：反射R=50%∶50% (簡稱1∶1)。一套270°裝置需要3片此類玻璃。具體開發(fā)步驟如下：

1) 購進(jìn)玻璃后，課題組將選擇上海進(jìn)順機(jī)電技術(shù)有限公司(上大校園內(nèi))工產(chǎn)進(jìn)行切割、粘合。

2)課題組自行采購全部配件。安裝DELL 19 in(1 in=2.54 cm)5∶4高清顯示器和漫步者音箱，安裝電源和插座，安裝外殼和支架，實(shí)現(xiàn)270°幻影成像裝置的硬件體系。

3)使用3DMAX軟件，針對270°的3面顯示特性，劃分渲染視窗。針對單個目標(biāo)模型架設(shè)3臺虛擬攝像機(jī)，同步拼接渲染3視點(diǎn)畫面，生成270°幻影成像片源。

4)使用Unity3D交互游戲開發(fā)軟件，針對270°的3面顯示特性，劃分渲染視窗。針對單個目標(biāo)模型架設(shè)3臺虛擬攝像機(jī)，同步拼接渲染3視點(diǎn)畫面。生成交互式270°幻影成像片源。

基于手勢交互的270°幻影成像系統(tǒng)，包括視覺手勢傳感器(leap motion)(圖2中設(shè)備1，后文簡寫為數(shù)字)、USB數(shù)據(jù)線(2)、計(jì)算機(jī)(3)、HDMI線(4)、玻璃(5)、射燈(6)、音響(7)、電源(8)、外殼(9)、顯示器(10)：所述顯示器(10)置于外殼(9)上面，射燈(6)置于外殼(9)內(nèi)部并加蓋玻璃(5)使其傾斜，音響(7)與電源(8)置于外殼(9)后箱中，如圖2所示。所述的leap motion1與計(jì)算機(jī)(3)通過USB數(shù)據(jù)線(2)連接，并將leap motion1置于顯示器(10)前端并居中。所述計(jì)算機(jī)(3)通過所述HDMI線(4)與顯示器(10)連接一起并置于同一水平線上，顯示器跟隨HDMI線傳輸?shù)臄?shù)據(jù)同步顯示三維模型。人們通過手對著視覺手勢傳感器(leap motion)進(jìn)行操作能夠達(dá)到交互的功能。270°幻影成像顯示效果如圖3所示。

圖2　270°幻影成像硬件結(jié)構(gòu)

圖3　270°幻影成像顯示效果

半反半透玻璃的性能好壞是幻影成像效果的確定因素。對于1.2 m寬的中型360°幻影裝置，采用國內(nèi)制造的反射玻璃，其單片尺寸為1.2 m×1.2 m，單價(jià)約2 000元，一套360°裝置至少需要4片此類玻璃。具體開發(fā)步驟如下：

1)選好玻璃后，課題組將選擇上海進(jìn)順機(jī)電技術(shù)有限公司(上大校園內(nèi))進(jìn)行切割、粘合，結(jié)構(gòu)安裝、現(xiàn)代感外殼、運(yùn)輸。

2)課題組自行采購全部配件。安裝4臺19 in DELL品牌專業(yè)5∶4顯示器，安裝漫步者立體聲音箱，安裝VGA 4路分路器，安裝電源和插座，連接HDMI線和VGA線，封裝360°成像外殼和支架，實(shí)現(xiàn)360°幻影成像裝置的硬件體系。

3)使用3DMAX軟件，針對單個目標(biāo)模型架設(shè)1臺虛擬攝像機(jī)，渲染單視點(diǎn)畫面，生成360°幻影成像片源。

4)使用Unity3D交互游戲開發(fā)軟件，針對360°顯示的特性，劃分渲染視窗。針對單個目標(biāo)模型架設(shè)1臺虛擬攝像機(jī)，渲染單視點(diǎn)畫面。生成交互式360°幻影成像片源。

基于體感交互的360°幻影成像系統(tǒng)，包括人體傳感器(Kinect )(圖4中設(shè)備1，后文簡寫為數(shù)字)、外箱(2)、平臺一(3)、平臺二(4)、4個顯示器(5)、VGA轉(zhuǎn)換器(6)、VGA線(7)、音響(8)、便攜式計(jì)算機(jī)(9)、插排(10)、支架(11)、4個輪子(12)、玻璃(13)、總開關(guān)(14)、鐵門(15)。所述4個輪子(12)置于所述外箱(24)個腳并且對稱安裝，如圖4所示。所述平臺一(3)置于所述外箱(2)的內(nèi)部正中，音響(8)置于外箱(2)內(nèi)部兩側(cè)并在一條線上對稱，便攜式計(jì)算機(jī)(9)置于平臺一(3)上，平臺二(4)置于平臺一(3)的后上方且插排(10)固定在其上面，支架(11)固定于外箱(2)頂部與平臺二(4)之間。所述總開關(guān)(14)安在外箱(2)正面的外面。所述4個顯示器(5)置于外箱(2)的頂部且東南西北方向各一個，屏幕向上，背部朝著外箱(2)內(nèi)部。所述便攜式計(jì)算機(jī)(9)與VGA轉(zhuǎn)換器(6)通過VGA線(7)相連接，音響(8)與便攜式計(jì)算機(jī)(9)相連。所述VGA轉(zhuǎn)換器(6)的接口分別與4個顯示器(5)通過VGA線(7)連接。所述玻璃(13)置于4個顯示器(5)上面。所述的人體傳感器(Kinect)與便攜式計(jì)算機(jī)(9)相連。

圖4　360°幻影成像硬件結(jié)構(gòu)

播放器通過VGA轉(zhuǎn)換器6把單路VGA信號分成4路VGA信號。4路VGA信號能夠同步驅(qū)動4臺Dell顯示器播放相同的影視內(nèi)容。播放器的音頻信號連接到一組漫步者音箱，如圖5～6所示。

圖5　360°幻影成像硬件連接實(shí)物圖

圖6　360°幻影成像硬件安裝調(diào)試后的實(shí)物圖

2.3交互單元設(shè)計(jì)

交互軟件模塊結(jié)構(gòu)圖如圖7所示。主要模塊包括：Leapmotion驅(qū)動模塊、Leapmotion手勢數(shù)據(jù)獲取模塊、手勢數(shù)據(jù)傳遞模塊、手勢數(shù)據(jù)與手部模型捆綁模塊、手指信息和深度顯示模塊、手勢數(shù)據(jù)分析與識別模塊、動作與鼠標(biāo)按鍵關(guān)聯(lián)模塊、鼠標(biāo)動作模塊、多相機(jī)渲染模塊。

圖7　交互軟件模塊結(jié)構(gòu)圖

交互軟件整體邏輯圖如圖8所示。其具體流程包括：設(shè)置使用Leapmotion物理設(shè)備或模擬設(shè)備、獲得一幀深度圖像、獲得一幀RGB圖像、抓取一幀深度圖像數(shù)據(jù)、抓取一幀手勢數(shù)據(jù)；動作數(shù)據(jù)與手指綁定、手部模型驅(qū)動、手部模型繪制、手部模型顯示(隱藏)；記錄動作數(shù)據(jù)；手勢數(shù)據(jù)抽取、食指空間位置抽取、判斷左手是否接近屏幕、空間位置與屏幕位置轉(zhuǎn)換、模型旋轉(zhuǎn)并渲染、鼠標(biāo)左鍵點(diǎn)擊驅(qū)動、模型爆炸和恢復(fù)。

圖8　交互軟件整體邏輯圖

如圖9所示，抓取一幀體感數(shù)據(jù)編碼邏輯圖readleapmotion。具體流程包括：識別手勢數(shù)據(jù)包含的手指信息、判斷是否還有識別的手指信息、手勢數(shù)據(jù)向手指位置映射、手指數(shù)據(jù)編碼、手指位置輸出。

圖9　抓取一幀體感數(shù)據(jù)編碼邏輯圖

如圖10所示，鼠標(biāo)驅(qū)動readleapmotion and control mouse和mousedriver。具體包括：提取右手食指指尖坐標(biāo)Lo、提取右手食指指尖坐標(biāo)Ln、左手高于頭部且鼠標(biāo)狀態(tài)為0、發(fā)送鼠標(biāo)點(diǎn)擊信號、發(fā)送鼠標(biāo)抬起信號、設(shè)定鼠標(biāo)狀態(tài)為1、設(shè)定鼠標(biāo)狀態(tài)為0、鼠標(biāo)位移偏移量計(jì)算、驅(qū)動鼠標(biāo)移動MouseMove。

圖10　鼠標(biāo)驅(qū)動

如圖11所示，模型旋轉(zhuǎn)展示mymousecontrol。具體流程包括：按滾輪偏移量對模型放大縮小、獲取滾輪的偏移量、鼠標(biāo)滾輪下、等待新的一幀、鼠標(biāo)左鍵保持按下、獲取鼠標(biāo)當(dāng)前位置position、獲取x軸的偏移量、按x偏移量對模型進(jìn)行x軸方向旋轉(zhuǎn)、鼠標(biāo)左鍵點(diǎn)擊按下、獲取鼠標(biāo)當(dāng)前位置positionOri、獲取y軸的偏移量、按y偏移量對模型進(jìn)行y軸方向旋轉(zhuǎn)。

圖11　模型旋轉(zhuǎn)展示

如圖12所示，拆裝展示與模型渲染ShunxuCaozuo。具體流程包括：初始化模型內(nèi)部父子、等待新的一幀、鼠標(biāo)左鍵點(diǎn)擊、播放子模型運(yùn)動指示聲音、設(shè)置狀態(tài)變量、狀態(tài)變量為爆炸、設(shè)置模型還原運(yùn)動時間m、屏蔽鼠標(biāo)左鍵點(diǎn)擊、模型還原；還原運(yùn)動時間m=m-1；三相機(jī)渲染、運(yùn)動時間歸0、允許鼠標(biāo)左鍵點(diǎn)擊、設(shè)置模型爆炸運(yùn)動時間n、屏蔽鼠標(biāo)左鍵點(diǎn)擊、模型爆炸；爆炸運(yùn)動時間n=n-1；三相機(jī)渲染、運(yùn)動時間歸0、允許鼠標(biāo)左鍵點(diǎn)擊。

圖12　拆裝展示與模型渲染

3臺虛擬相機(jī)設(shè)置參數(shù)如圖13所示。其參數(shù)分別為：相機(jī)空間位置、相機(jī)空間角度、相機(jī)畫面的屏幕位置。Camera的位置為(10，16，-24)，旋轉(zhuǎn)角度為(0，0，0)，焦距為50，視口屏幕位置為(X：0.25Y：0.55W：0.5H：0.45)；Camera2的位置為(10，16，-24)，旋轉(zhuǎn)角度為(0，0，90)，焦距為60，視口屏幕位置為(X：0.58Y：0W：0.4H：0.55)；Camera3的位置為(10，16，-24)，旋轉(zhuǎn)角度為(0，0，270)，焦距為60，視口屏幕位置為(X：0.02Y：0W：0.4H：0.55)。

圖13　3臺虛擬相機(jī)設(shè)置參數(shù)

3臺虛擬相機(jī)渲染畫面如圖14所示。

圖14　3臺虛擬相機(jī)渲染畫面

3短片制作與系統(tǒng)實(shí)驗(yàn)

幻影成像原理主要是依靠傳統(tǒng)顯示器將畫面投影至特制的半反射半折射玻璃上，營造一個幻影浮空的視覺效果。因此，其內(nèi)容制作的核心技術(shù)是將顯示器的有效分辨率像素合理地按照3或4塊折射玻璃拼接的位置進(jìn)行分割，并在不同的位置放置相應(yīng)的角度的畫面，從而實(shí)現(xiàn)在360°或270°范圍內(nèi)觀賞到不同角度的內(nèi)容，產(chǎn)生立體投影的效果。

在制作傳統(tǒng)的幻影成像內(nèi)容短片時，所使用的制作軟件與主要的制作流程與傳統(tǒng)影視動畫的制作并無特別大的區(qū)別。主要區(qū)別在于動畫渲染時，傳統(tǒng)動畫只需要渲染單一角度的畫面即可，而幻影成像短片則需要渲染物體的3～4個角度的面，每個畫面的角度相差90°，并且在最終合成時需要使用AE對畫面進(jìn)行分割，并準(zhǔn)確地將3～4個角度的畫面分別放置在屏幕相對應(yīng)的位置上，才能使其正確的投影，因此，畫面分割比例以及每個投影面的位置坐標(biāo)就極為重要，這些信息若是有誤，則投影完全無法正確展示。

270°幻影成像內(nèi)容制作技術(shù)：根據(jù)本次課題所采購的投影顯示器，其有效分辨率為1 280×1 024，屬于5∶4的像素比，接近正方形，適合用于制作幻影成像，本次課題制作了270°以及360°投影設(shè)備。其中，270°投影設(shè)備依靠1臺顯示器作為投影源。因此需要將1 280×1 024的分辨率最大化地等分為3份，課題組根據(jù)投影玻璃位置的分別，計(jì)算出顯示器在投影玻璃上的中心點(diǎn)像素為(640，280)，根據(jù)此中心點(diǎn)，平均分割出3塊5∶4的投影面，根據(jù)計(jì)算，在不出現(xiàn)像素重疊的情況下畫面最大化每個面分辨率為(570×456)，經(jīng)過不斷的測試后，得出最佳各自的位置為正面：(640，796)、左側(cè)(230，285)、右側(cè)(1 052，285)。同時，觀賞玻璃上的影像與投影顯示器內(nèi)的影像為對置倒影的關(guān)系，因此需要對每一面的畫面進(jìn)行鏡像處理，從而使玻璃上的倒影對觀賞者為正立影像。

360°幻影成像內(nèi)容制作技術(shù)：360°幻影成像設(shè)備與270°幻影成像設(shè)備結(jié)構(gòu)略有不同，其每一面采用一面單獨(dú)的1 280×1 024分辨率屏幕，獨(dú)自承擔(dān)一面的影像，因此不需要對屏幕分辨率進(jìn)行分割，只需要通過渲染1 280×1 024分辨率的畫面，在鏡像后即可實(shí)現(xiàn)投影。

通過此項(xiàng)研究，課題組掌握了制作270°、360°兩種幻影成像設(shè)備的內(nèi)容制作技術(shù)。

播放視頻的使用步驟如下：

1)在3DMAX軟件內(nèi)部制作展示模型，架設(shè)3個Camera。Camera的位置為(0，0，0)，旋轉(zhuǎn)角度為(0，0，0)，焦距為50，視口屏幕位置為(X：0.25Y：0.55W：0.5H：0.45)；Camera2的位置為(0，0，0)，旋轉(zhuǎn)角度為(0，0，90)，焦距為50，視口屏幕位置為(X：0.58Y：0W：0.4H：0.55)；Camera3的位置為(0，0，0)，旋轉(zhuǎn)角度為(0，0，270)，焦距為550，視口屏幕位置為(X：0.02Y：0W：0.4H：0.55)。

2)在3DMAX內(nèi)設(shè)置渲染分辨率為1 280×1 024后進(jìn)行渲染。

3)生成視頻文件后轉(zhuǎn)換成便于播放的格式。

4)把轉(zhuǎn)換后的視頻文件并復(fù)制到U盤。

5)打開270°幻影成像系統(tǒng)電源，按下播放器(小米盒子)的遙控器啟動開關(guān)，進(jìn)入操作界面。

6)把U盤插入播放器(小米盒子OTG)，打開播放軟件進(jìn)行視頻播放。

手勢交互展示的使用步驟如下：

1)把270°幻影成像的HDMI信號線插入計(jì)算機(jī)的HDMI輸出口。

2)啟動270°幻影成像交互軟件。

3)首先伸出右手食指，讓手勢軟件識別到手指，左上角將顯示當(dāng)前的食指相對空間位置。

4成像質(zhì)量關(guān)系與實(shí)物融展示研究

幻影成像設(shè)備中每一面的圖像分辨率取決于該面投影屏幕所分割到的分辨率。在270°幻影成像設(shè)備中，若按1 280×1 024分辨率制作內(nèi)容短片，并分配給3個面，在邊界互不影響的情況下，最佳分辨率大約在每個面 (570×456)，但幻影成像設(shè)備在很多實(shí)際使用過程中主要為單體產(chǎn)品展示設(shè)備使用，因此在展示物品不規(guī)則的外形下，所展示的物品邊界重合并不影響成像效果，可以根據(jù)物品尺寸和形狀、動態(tài)范圍來調(diào)整每個面的分辨率分配，最高可達(dá)到(720×576)。鑒于360°幻影成像設(shè)備每一個投影面對應(yīng)一面單獨(dú)的投影屏幕，因此，其分辨率與投影顯示器分辨率一致。

幻影成像為屏幕反射的動態(tài)虛像，如果與靜態(tài)實(shí)物結(jié)合展示將獲得虛實(shí)結(jié)合、動靜結(jié)合的最佳效果。如圖15所示，金黃色金魚為屏幕投射的虛像，而水草和石頭為位于柜體內(nèi)的實(shí)物。虛實(shí)結(jié)合展示獲得了身臨其境的真實(shí)感受。

5結(jié)論

幻影成像作為3D互動平臺能夠應(yīng)用到航天產(chǎn)品互動展示的預(yù)研中，取得了預(yù)期的成果。交互式幻影成像平臺僅僅是虛擬現(xiàn)實(shí)技術(shù)中的一個工具。在虛擬現(xiàn)實(shí)技術(shù)快速發(fā)展和航天產(chǎn)品日益復(fù)雜的前提下，幻影成像平臺相關(guān)技術(shù)將發(fā)揮越來越大的作用。

參考文獻(xiàn)：

[1]幻影成像[EB/OL]. [2016-01-12]. http：//baike.baidu.com/link?url=CDw8jnN7QxxsniA3retMYw8DL

exXi8AuR4wDpwWvk0LyhaZlD5g_ga7yXNI4BIhqfEnX

9LI6FBmjCaSUByFxYq.

[2]270度幻影成像應(yīng)用經(jīng)驗(yàn)[EB/OL]. [2016-01-12]. http：//jingyan.baidu.com/article/066074d6844c67c3c21cb012. html.

[3]幻影成像技術(shù)成就夢幻舞臺[EB/OL]. [2016-01-12]. http：//www.shuzizhanting-mx5d.com/xinwenzhongxin/234.html.

[4]MEGLAR E R. Arduino and Kinect projects [ M ].American：Apress，2012.

[5]GILES J. Inside the race to hack the Kinect [J].The new scientist，2010，208(2789)：22-23.

Development of interactive phantom imaging system

Lü Wei1，TIAN Feng2，JIN Zhifeng1

(1.ShanghaiPrecisionMeasurementandTestingResearchInstitute，Shanghai201109，China；2.InstituteofFilm&TVArtsandTechnologyinShanghaiUniversity，Shanghai200072，China)

Abstract:To achieve interactive phantom imaging system， 270° and 360° body phantom imaging bracket are designed. As the problem of only playing fixed phantom imaging， interactive phantom imaging software plug-ins is designed. By the practical applications， the 270° and 360° phantom imaging main bracket can play traditional video but also achieve real-time imaging phantom human-computer interaction.

Key words:phantom imaging； human-computer interaction； a half-glass

中圖分類號：TN871

文獻(xiàn)標(biāo)志碼：A

DOI：10.16280/j.videoe.2016.06.007

基金項(xiàng)目：上海市科委“科技創(chuàng)新行動計(jì)劃”高新技術(shù)領(lǐng)域項(xiàng)目(14511108200)

作者簡介：

呂煒，工程師，主要從事影視技術(shù)研究與應(yīng)用；

田豐，博士，講師，主要從事影視技術(shù)研究與應(yīng)用，為本文通信作者。

責(zé)任編輯：閆雯雯

收稿日期：2016-01-12

文獻(xiàn)引用格式：呂煒，田豐，金智鋒. 交互式幻影成像系統(tǒng)研制[J].電視技術(shù)，2016，40(6)：32-38.Lü W，TIAN F，JIN Z F. Development of interactive phantom imaging system[J].Video engineering，2016，40(6)：32-38.