韓 柯 徐子凡

(北京電影學(xué)院聲音學(xué)院，北京 100088)

1 引言

在數(shù)字娛樂與展示行業(yè)，制作互動(dòng)視覺效果的需求已經(jīng)十分常見。借助一些傳感與捕捉技術(shù)將體驗(yàn)者的行為轉(zhuǎn)換為控制視頻播放或圖形渲染的信號(hào)，視覺效果就能跟隨體驗(yàn)者的位置或動(dòng)作實(shí)時(shí)變化，創(chuàng)設(shè)出沉浸式的虛擬現(xiàn)實(shí)體驗(yàn)。不過，在以演員為主體的舞臺(tái)表演中，演員的表演動(dòng)作通常是預(yù)先設(shè)計(jì)好的，只要跟隨時(shí)間去表演，經(jīng)過多次排練之后，就能呈現(xiàn)出數(shù)字影像與演員互動(dòng)的效果，無(wú)需借助捕捉設(shè)備精準(zhǔn)的獲取演員的動(dòng)作或位置。

當(dāng)藝術(shù)表演以概念的傳達(dá)為核心時(shí)，對(duì)互動(dòng)視覺效果的制作與呈現(xiàn)手段會(huì)有新的需求。在北京冬奧會(huì)開幕式節(jié)目 《雪花》中，500名手拿和平鴿道具的孩子在超過1萬(wàn)平米的LED 地磚屏上以自由嬉戲的形式進(jìn)行表演，每個(gè)人腳下都有閃亮的雪花特效時(shí)刻“追隨”。為了準(zhǔn)確傳遞孩子們心中的自由與浪漫，使用精準(zhǔn)排練去解決小演員腳下的特效跟隨問題就不再是可選方案，而構(gòu)建一個(gè)能夠?qū)崟r(shí)測(cè)定演員位置的定位系統(tǒng)，并以此完成互動(dòng)視覺效果的制作是更具可行性的方案。

2 演出領(lǐng)域的互動(dòng)視覺效果制作概念

在視頻游戲行業(yè)，互動(dòng)視覺效果的制作主要是以游戲圖形引擎為平臺(tái)的視效內(nèi)容制作與交互規(guī)則開發(fā)。在這個(gè)成熟的工業(yè)體系中，智能手機(jī)、個(gè)人計(jì)算機(jī)以及游戲?qū)Ｓ弥鳈C(jī)是互動(dòng)效果的通用實(shí)現(xiàn)設(shè)備，游戲的體驗(yàn)者以鼠標(biāo)、鍵盤、觸屏或游戲手柄等方式控制渲染程序產(chǎn)生圖形數(shù)據(jù)，再通過手機(jī)或計(jì)算機(jī)的屏幕體驗(yàn)視覺效果。因而，游戲領(lǐng)域的互動(dòng)效果制作很少需要考慮互動(dòng)效果實(shí)現(xiàn)系統(tǒng)的構(gòu)建。

與視頻游戲行業(yè)不同，演出領(lǐng)域的互動(dòng)視覺效果并沒有標(biāo)準(zhǔn)化的制作平臺(tái)。對(duì)于演出中的互動(dòng)環(huán)節(jié)，一方面，表演者可以是既定的演員也可能是任意選出的觀眾，互動(dòng)行為可以是表演者的位置、動(dòng)作，也可能是其表情甚至著裝的顏色；另一方面，視覺效果的呈現(xiàn)可以通過數(shù)臺(tái)投影組合投射出的非規(guī)則畫面，也可能借助現(xiàn)場(chǎng)每一位觀眾的手機(jī)屏幕。因此，對(duì)于現(xiàn)場(chǎng)演出而言，互動(dòng)視覺效果的制作者通常要根據(jù)項(xiàng)目需求去選擇合適的表演行為捕獲技術(shù)，并構(gòu)建一個(gè)可由行為數(shù)據(jù)控制的視效處理系統(tǒng)，而視效內(nèi)容制作與交互規(guī)則開發(fā)則應(yīng)基于所建構(gòu)視效系統(tǒng)的技術(shù)平臺(tái)?？梢哉f，演出領(lǐng)域的互動(dòng)視覺效果制作方案是一個(gè)同時(shí)包含內(nèi)容制作與系統(tǒng)集成的完整解決方案，而北京冬奧會(huì)開幕式節(jié)目《雪花》的互動(dòng)視覺效果制作正體現(xiàn)了上述概念。

3 《雪花》的表演形式與互動(dòng)視覺效果需求

北京冬奧會(huì)開幕式節(jié)目 《雪花》的表演形式，以及互動(dòng)視覺效果制作需求可概括如下。

圖1 《雪花》的演出效果

3.1 表演形式

660名兒童演員分為兩組，以露天體育場(chǎng)內(nèi)平整鋪設(shè)的LED 地磚屏為舞臺(tái)進(jìn)行表演。其中，500名舞蹈組演員手持發(fā)光道具在完整舞臺(tái)區(qū)域進(jìn)行跑動(dòng)、行走、轉(zhuǎn)圈、揮舞道具等動(dòng)作，160 名合唱組演員邊歌唱邊行走，表演區(qū)域主要在舞臺(tái)中心區(qū)。

作為舞臺(tái)的LED 地磚屏尺寸約155米×76米。節(jié)目表演時(shí)段在日落后，使用常規(guī)舞臺(tái)燈光進(jìn)行照明。

3.2 互動(dòng)視覺效果

大量雪花狀圖形單元以組為單位持續(xù)生成并消失，每組效果在每個(gè)演員腳下區(qū)域?qū)崟r(shí)生成后，快速向四周擴(kuò)散，擴(kuò)散半徑約1米，持續(xù)3到5秒后消失。擴(kuò)散過程中帶有顏色與形態(tài)的改變，呈現(xiàn)出雪花沿演員行動(dòng)軌跡散落的效果。

4 《雪花》的互動(dòng)視覺效果制作思路

演出領(lǐng)域的互動(dòng)視覺效果并沒有標(biāo)準(zhǔn)制作方案，在進(jìn)行軟件層面的視效內(nèi)容制作與交互規(guī)則編寫之前，首先要確定互動(dòng)效果的實(shí)現(xiàn)平臺(tái)。

依據(jù)系統(tǒng)功能，可以把 《雪花》的互動(dòng)視效實(shí)現(xiàn)平臺(tái)分為演員定位系統(tǒng)、圖形渲染系統(tǒng)、視效顯示系統(tǒng)三個(gè)部分，見圖2。

圖2 《雪花》的互動(dòng)視效實(shí)現(xiàn)平臺(tái)結(jié)構(gòu)

作為一個(gè)兼顧現(xiàn)場(chǎng)與直播效果的表演，《雪花》的視覺效果呈現(xiàn)基于國(guó)家體育場(chǎng)內(nèi)已經(jīng)鋪設(shè)的大規(guī)模LED 地磚屏，這是一個(gè)支持標(biāo)準(zhǔn)視頻信號(hào)輸入的顯示系統(tǒng)，也是視效顯示系統(tǒng)的主體。另一方面，在指定位置實(shí)時(shí)產(chǎn)生特定圖形是當(dāng)今計(jì)算機(jī)實(shí)時(shí)渲染引擎的常規(guī)功能，盡管 《雪花》的視覺效果需要實(shí)時(shí)生成形狀、顏色等屬性動(dòng)態(tài)變化的大量圖形單元，并且渲染系統(tǒng)輸出至顯示系統(tǒng)的信號(hào)需達(dá)到接近14K 的超高分辨率，不過在多機(jī)同步渲染與輸出機(jī)制下，圖形渲染系統(tǒng)的功能需求基于主流的實(shí)時(shí)渲染技術(shù)即可實(shí)現(xiàn)。

演員定位系統(tǒng)是《雪花》互動(dòng)視效實(shí)現(xiàn)平臺(tái)的設(shè)計(jì)重點(diǎn)?！堆┗ā返奈枧_(tái)區(qū)域超過1萬(wàn)平米，500名演員從舞臺(tái)南、北兩側(cè)上場(chǎng)后，他們的表演幾乎涉及整個(gè)舞臺(tái)區(qū)域?；?dòng)娛樂領(lǐng)域常見的定位設(shè)備無(wú)法直接滿足本節(jié)目的技術(shù)需求，因而需要整合相關(guān)技術(shù)研發(fā)面向本次大型演出的演員定位系統(tǒng)，這也是本文的主要研究?jī)?nèi)容。

5 演員定位系統(tǒng)的功能需求分析

演員定位系統(tǒng)的主要功能是測(cè)定演員在表演區(qū)域的位置。《雪花》的演員僅在平整的LED 地磚屏上表演，且互動(dòng)效果也僅在LED 地磚屏上顯示，因此，實(shí)現(xiàn)演員在LED 平面上的二維定位即可滿足需求。

從測(cè)量設(shè)備的類型上劃分，互動(dòng)娛樂領(lǐng)域的二維定位技術(shù)主要有基于紅外或壓力傳感器、基于電磁波收發(fā)設(shè)備、基于激光雷達(dá)、基于相機(jī)的幾類方案，而根據(jù)《雪花》的演出環(huán)境與功能需求，一些技術(shù)并不適用。首先，在進(jìn)行 《雪花》的互動(dòng)視效制作時(shí)，LED 地磚屏已經(jīng)搭建完成，無(wú)法改為L(zhǎng)ED內(nèi)嵌紅外或壓力傳感器的方案，且該方案的成本也較高。其次，諸如GPS、UWB (UltraWideBand，超寬帶)等基于電磁波的定位技術(shù)因需要演員穿戴設(shè)備而不優(yōu)先考慮，并且這些技術(shù)在本節(jié)目的表演區(qū)域很難實(shí)現(xiàn)每秒15次以上的連續(xù)測(cè)定，較差的定位實(shí)時(shí)性將會(huì)影響節(jié)目效果呈現(xiàn)。再者，由于表演人數(shù)較多，使用二維激光雷達(dá) (業(yè)內(nèi)稱為L(zhǎng)iDAR)掃描表演區(qū)域的方案無(wú)法較好的解決演員之間的相互遮擋問題，并且工業(yè)激光雷達(dá)的探測(cè)距離有限，針對(duì)超過1萬(wàn)平米的表演區(qū)域并沒有理想的安裝位置。

綜合上述分析，《雪花》的演員定位系統(tǒng)可以使用一種基于相機(jī)的定位方案，定位系統(tǒng)連續(xù)測(cè)定并輸出演員站立點(diǎn)的位置坐標(biāo)，位置的測(cè)量頻率與測(cè)定精度應(yīng)不影響節(jié)目效果的呈現(xiàn)。

6 演員定位系統(tǒng)的設(shè)計(jì)思路

6.1 基于相機(jī)的定位技術(shù)分析

基于相機(jī)的定位技術(shù)在互動(dòng)娛樂領(lǐng)域已有較長(zhǎng)的應(yīng)用歷史，其定位原理主要是依據(jù)被測(cè)目標(biāo)在相機(jī)拍攝圖像中的位置來(lái)推算目標(biāo)在實(shí)際空間中的位置。相機(jī)設(shè)備本身并不包含探測(cè)與定位機(jī)制，它僅輸出反映畫面光學(xué)特征的圖像。基于相機(jī)拍攝的圖像或視頻數(shù)據(jù)進(jìn)行目標(biāo)定位需要借助相機(jī)標(biāo)定機(jī)制確定圖像與實(shí)際空間的坐標(biāo)對(duì)應(yīng)關(guān)系，之后借助圖像處理算法確定目標(biāo) (像素)在完整圖像中的位置坐標(biāo)，從而推算出目標(biāo)在實(shí)際空間中的坐標(biāo)。

6.1.1 相機(jī)標(biāo)定

工程測(cè)量與計(jì)算機(jī)視覺領(lǐng)域的相機(jī)標(biāo)定是一個(gè)求解相機(jī)特定參數(shù)的過程，這組特定參數(shù)可用于計(jì)算相機(jī)所拍攝空間中的某一點(diǎn)與圖像中某一點(diǎn)的對(duì)應(yīng)關(guān)系。

相機(jī)標(biāo)定的技術(shù)方案通常根據(jù)實(shí)際需求來(lái)選擇。使用常規(guī)數(shù)字相機(jī)實(shí)現(xiàn)目標(biāo)在平面上的二維定位時(shí)，常用的方式是在被探測(cè)平面上放置或顯示明顯的標(biāo)志物，這些標(biāo)志物在平面上的二維坐標(biāo)是已知的，當(dāng)相機(jī)拍攝到標(biāo)志物時(shí)，即可確定標(biāo)志物所在像素與實(shí)際平面二維坐標(biāo)之間的關(guān)系。常規(guī)數(shù)字相機(jī)輸出的單幀圖像是一個(gè)以像素為單位的二維矩陣，并且可認(rèn)為像素的排列與間距是規(guī)則的，但相機(jī)的成像光軸與被探測(cè)平面并不一定絕對(duì)垂直，并且相機(jī)鏡頭的成像也會(huì)有一定程度的畸變，因此從理論上講，實(shí)現(xiàn)精確定位需要通過標(biāo)志物測(cè)定出圖像中所有像素與空間坐標(biāo)點(diǎn)的對(duì)應(yīng)關(guān)系。不過根據(jù)定位的精度需求，可以認(rèn)為像素與空間坐標(biāo)在一定范圍內(nèi)存在可計(jì)算的對(duì)應(yīng)關(guān)系，因此對(duì)多個(gè)坐標(biāo)已知的標(biāo)志物進(jìn)行逐個(gè)測(cè)定，建立相機(jī)模型及參數(shù)，經(jīng)過推算即可得到圖像中任意像素所對(duì)應(yīng)的實(shí)際二維坐標(biāo)。

圖3 相機(jī)標(biāo)定的概念

6.1.2 區(qū)分目標(biāo)圖像

在大部分基于相機(jī)的定位方案中，確定目標(biāo)位置需要將目標(biāo)(的圖像)從完整的單幀圖像中區(qū)分出來(lái)。一些常見的目標(biāo)圖像區(qū)分方案如下。

(1)基于紅外光強(qiáng)度區(qū)分目標(biāo)圖像

借助紅外相機(jī)直接區(qū)分目標(biāo)的方案在互動(dòng)娛樂領(lǐng)域較為常見。紅外相機(jī)拍攝的畫面主要反映物體的紅外輻射強(qiáng)度，如果被探測(cè)區(qū)域中的目標(biāo)發(fā)出明顯強(qiáng)于其他物體的紅外光，則可利用紅外光的強(qiáng)度對(duì)比來(lái)實(shí)現(xiàn)目標(biāo)與背景的分離。

(2)基于深度信息區(qū)分目標(biāo)圖像

深度相機(jī)泛指帶有深度測(cè)量系統(tǒng)的一類視頻相機(jī)，這類相機(jī)能依靠深度測(cè)量系統(tǒng)得到所拍攝圖像中各區(qū)域與相機(jī)之間的距離值。如果目標(biāo)與相機(jī)的距離相比畫面中其它元素到相機(jī)的距離有所不同，則可以借助深度信息將畫面中的目標(biāo)對(duì)象區(qū)分出來(lái)。目前常見的深度測(cè)量系統(tǒng)基于紅外光散斑來(lái)推算深度值，這類技術(shù)受環(huán)境光影響較大，深度的有效測(cè)量距離通常在十幾米以內(nèi)，因而采用這類技術(shù)的Kinect、RealSense等相機(jī)主要用于小范圍的室內(nèi)娛樂系統(tǒng)。另一方面，使用激光雷達(dá)輔助相機(jī)獲取深度數(shù)據(jù)也是一個(gè)技術(shù)方案，不過這類系統(tǒng)目前成本較高，并且分辨率有限。

(3)基于目標(biāo)檢測(cè)算法區(qū)分目標(biāo)圖像

在計(jì)算機(jī)視覺領(lǐng)域，目標(biāo)檢測(cè)是一種在數(shù)字化圖片或視頻中檢測(cè)特定物體的技術(shù)，而人工智能概念的興起讓目標(biāo)檢測(cè)技術(shù)更加關(guān)注如何在常規(guī)圖像(而不是帶有紅外強(qiáng)度或深度信息的圖像)中檢測(cè)某一類語(yǔ)義對(duì)象，比如人、貓或者車。簡(jiǎn)單的說，目標(biāo)檢測(cè)技術(shù)可以讓計(jì)算機(jī)像人一樣把圖像中的各類對(duì)象“圈”出來(lái)，實(shí)現(xiàn)了從完整圖像中區(qū)分出某類目標(biāo)圖像的需求。

6.2 計(jì)算機(jī)視覺領(lǐng)域的目標(biāo)檢測(cè)

計(jì)算機(jī)視覺的廣義研究目標(biāo)在于令計(jì)算機(jī)程序能夠“理解”數(shù)字化的圖像內(nèi)容，而這個(gè) “理解”可分為多個(gè)不同的層次。最初級(jí)的層次是判斷圖像中出現(xiàn)了哪些類別的物體，這里的類別通常是泛化的語(yǔ)義對(duì)象，例如人、狗、羊等，因此也被稱為“分類 (Classification)”。更高層次的 “理解”則是在“分類”的基礎(chǔ)上，檢測(cè)出圖像里的每個(gè)物體，獲得其類別與位置，也就是令計(jì)算機(jī)看懂圖像中“在哪里，有什么”，這一處理在計(jì)算機(jī)視覺領(lǐng)域被稱為目標(biāo)檢測(cè) (Object Detection)。目標(biāo)檢測(cè)又為其它更高級(jí)的算法提供了基礎(chǔ)，例如將目標(biāo)從背景中精確分割，或是對(duì)特定目標(biāo)進(jìn)行追蹤等。

一般來(lái)說，目標(biāo)檢測(cè)的實(shí)現(xiàn)主要基于對(duì)圖像視覺特征的提取，例如形狀、紋理、顏色等，再依據(jù)這些特征對(duì)物體進(jìn)行識(shí)別。在傳統(tǒng)的圖像算法中，用于識(shí)別的視覺特征往往是預(yù)先設(shè)計(jì)的一般性特征，例如方向梯度直方圖 (Histogram of Oriented Gradients，HOG)算法。這類算法僅需要少量計(jì)算資源就能夠?qū)崿F(xiàn)檢測(cè)，但是由于使用了固定的特征以及比較簡(jiǎn)單的分類算法，能夠?qū)崿F(xiàn)的檢測(cè)精度與類別都比較有限。

圖4 計(jì)算機(jī)視覺的研究目標(biāo)

圖5 使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)[1]

為計(jì)算機(jī)視覺領(lǐng)域帶來(lái)跨時(shí)代變化的是近年來(lái)迅速發(fā)展的卷積神經(jīng)網(wǎng)絡(luò) (Convolutional Neural Network，簡(jiǎn)寫為CNN)算法。不同于傳統(tǒng)算法，卷積神經(jīng)網(wǎng)絡(luò)利用多層卷積核 (Convolution Kernel)函數(shù)對(duì)圖像特征進(jìn)行提取，通過改變卷積核的大小、權(quán)重，可以實(shí)現(xiàn)各種不同視覺特征的提取，并形成多個(gè)特征圖 (Feature Map)。特征圖的特征可以繼續(xù)被卷積核提取，直到分析出對(duì)應(yīng)于各種不同目標(biāo)圖像的高級(jí)特征，利用這些高級(jí)特征進(jìn)行檢測(cè)，能夠?qū)崿F(xiàn)遠(yuǎn)超傳統(tǒng)算法的檢測(cè)準(zhǔn)確度。

使用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)高精度目標(biāo)檢測(cè)的關(guān)鍵在于確定各個(gè)卷積層中的卷積核參數(shù)，而這要依賴對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行的大規(guī)模訓(xùn)練。卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是借助大量經(jīng)過標(biāo)注的圖片來(lái)進(jìn)行的。這里的標(biāo)注是指以人工方式將圖片中的目標(biāo)對(duì)象標(biāo)記出來(lái)(比如用邊界框分割出目標(biāo)對(duì)象)。使用標(biāo)注過的圖片數(shù)據(jù)去訓(xùn)練網(wǎng)絡(luò)，即能逐漸調(diào)整出理想的卷積核參數(shù)，最終讓神經(jīng)網(wǎng)絡(luò)能夠把目標(biāo)從未經(jīng)標(biāo)注的圖片中區(qū)分出來(lái)。卷積神經(jīng)網(wǎng)絡(luò)通常需要用大量的已標(biāo)注圖片去訓(xùn)練才能達(dá)到理想的檢測(cè)準(zhǔn)確度，不過業(yè)內(nèi)已經(jīng)有開放下載的訓(xùn)練集 (已經(jīng)標(biāo)注好的圖片數(shù)據(jù))，并且對(duì)于一些常見對(duì)象(比如人、車)的檢測(cè)，可以通過下載權(quán)重文件直接得到一個(gè)訓(xùn)練好的網(wǎng)絡(luò)模型。當(dāng)然，如果需要針對(duì)特定目標(biāo)提高檢測(cè)的準(zhǔn)確度，就需要專門標(biāo)注帶有特定目標(biāo)的圖片，并對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法并不唯一。一些檢測(cè)精度較高的算法(例如FastR-CNN 算法)在完成分類任務(wù)后需要通過第二個(gè)獨(dú)立階段進(jìn)行位置探測(cè)，因而相對(duì)耗時(shí)，而YOLO、SSD 等算法則采用僅通過一個(gè)階段的網(wǎng)絡(luò)運(yùn)算同時(shí)完成分類和檢測(cè)任務(wù)的策略，以犧牲一定檢測(cè)精度為代價(jià)，做到了檢測(cè)效率的有效提升。

6.3 使用目標(biāo)檢測(cè)算法實(shí)現(xiàn)演員定位

基于相機(jī)的定位方案通常需要目標(biāo)被清晰拍攝，《雪花》的演員人數(shù)多且表演區(qū)域廣，因此在高處架設(shè)相機(jī)能夠盡量避免畫面中出現(xiàn)演員相互遮擋的情況，但這也意味著相機(jī)與演員之間的距離較遠(yuǎn)，加之國(guó)家體育場(chǎng)的結(jié)構(gòu)與演出安全要求，可選的相機(jī)架設(shè)位置與舞臺(tái)中心的距離在100米以上，這超出了常規(guī)深度相機(jī)的作用范圍，也無(wú)法較好地使用主動(dòng)式紅外探測(cè)。另一方面，需要定位的500名演員在表演時(shí)穿著一致，人形輪廓清晰，舞臺(tái)的燈光環(huán)境與互動(dòng)視覺內(nèi)容也會(huì)在排練過程中確定下來(lái)，上述條件為使用目標(biāo)檢測(cè)算法實(shí)現(xiàn)演員圖像的識(shí)別與定位提供了可行性。

目標(biāo)檢測(cè)算法的檢測(cè)速度將直接決定演員定位系統(tǒng)的處理時(shí)間，單幀圖像處理時(shí)間較長(zhǎng)不僅會(huì)降低定位系統(tǒng)的測(cè)量頻率，也會(huì)增加互動(dòng)視效實(shí)現(xiàn)平臺(tái)的系統(tǒng)延遲。較低的測(cè)量頻率會(huì)影響互動(dòng)視效的流暢度，而較大的系統(tǒng)延遲則會(huì)導(dǎo)致演員快速移動(dòng)時(shí)出現(xiàn)視覺效果明顯滯后于演員站立位置的現(xiàn)象，讓實(shí)時(shí)互動(dòng)的概念無(wú)法成立。因此，在保證一定識(shí)別精度的條件下，演員定位系統(tǒng)應(yīng)優(yōu)先選擇檢測(cè)速度較快的算法，盡可能縮減系統(tǒng)延遲。

綜合上述分析，《雪花》的演員定位系統(tǒng)設(shè)計(jì)思路如下:使用多臺(tái)相機(jī)組成拍攝視角覆蓋完整表演區(qū)域的采集系統(tǒng)，對(duì)表演過程進(jìn)行連續(xù)的圖像采集，再借助計(jì)算機(jī)視覺領(lǐng)域的目標(biāo)檢測(cè)算法得到每個(gè)演員在單幀圖像中的位置，最后基于相機(jī)標(biāo)定的結(jié)果，推算出演員在實(shí)際表演區(qū)域中的位置。使用檢測(cè)速度較快的目標(biāo)檢測(cè)算法確保單幀定位處理能在合理時(shí)間內(nèi)完成，使用算法連續(xù)處理相機(jī)輸出的單幀圖像序列，即能對(duì)演員進(jìn)行連續(xù)定位，滿足演員定位系統(tǒng)的功能需求。

7 基于目標(biāo)檢測(cè)的互動(dòng)視覺效果制作方案在《雪花》中的應(yīng)用情況

基于目標(biāo)檢測(cè)的演員定位系統(tǒng)與圖形渲染系統(tǒng)、視效顯示系統(tǒng)構(gòu)成了《雪花》的互動(dòng)視效實(shí)現(xiàn)平臺(tái)，加上面向該平臺(tái)開發(fā)的互動(dòng)視效程序，形成了完整的互動(dòng)視覺效果制作方案，見圖6，這里對(duì)演員定位系統(tǒng)的系統(tǒng)構(gòu)成做簡(jiǎn)要說明。

圖6 《雪花》的互動(dòng)視效制作方案

7.1 《雪花》的演員定位系統(tǒng)構(gòu)成

《雪花》的演員定位系統(tǒng)可以分為圖像采集設(shè)備、定位算法服務(wù)器以及目標(biāo)定位程序、坐標(biāo)處理程序幾個(gè)主要單元。下文對(duì)其中關(guān)鍵技術(shù)指標(biāo)進(jìn)行說明。

7.1.1 圖像采集設(shè)備與定位算法服務(wù)器

基于對(duì)表演區(qū)域與演出環(huán)境的調(diào)研數(shù)據(jù)，圖像采集設(shè)備由國(guó)家體育場(chǎng)六層觀眾席最高處架設(shè)的4臺(tái)1.1英寸傳感器工業(yè)相機(jī) (含專業(yè)鏡頭)組成。每臺(tái)相機(jī)負(fù)責(zé)場(chǎng)地約1/4區(qū)域，以4K 分辨率、60幀/秒的參數(shù)運(yùn)行。為了避免場(chǎng)內(nèi)低溫對(duì)相機(jī)性能造成影響，相機(jī)覆蓋了專用保暖套，見圖7。

圖7 相機(jī)架設(shè)位置

定位算法服務(wù)器包含5臺(tái)獨(dú)立的機(jī)架式服務(wù)器，其中4臺(tái)執(zhí)行目標(biāo)定位程序，另1臺(tái)執(zhí)行坐標(biāo)處理程序。定位算法服務(wù)器使用雙至強(qiáng)32核心處理器，鎖頻2.6GHz時(shí)執(zhí)行目標(biāo)檢測(cè)算法的單幀處理時(shí)間在30ms以內(nèi)，從相機(jī)拍攝到定位處理完成的平均耗時(shí)為60ms，可達(dá)到預(yù)期效果。

圖8 定位算法服務(wù)器

演員定位系統(tǒng)選擇的工業(yè)相機(jī)支持以SPF＋光纜接口的萬(wàn)兆以太網(wǎng)直接發(fā)送視頻數(shù)據(jù)。4臺(tái)相機(jī)與執(zhí)行目標(biāo)定位程序的4臺(tái)服務(wù)器通過光口以太網(wǎng)交換機(jī)組成網(wǎng)絡(luò)。在服務(wù)器端，Linux系統(tǒng)配合相機(jī)廠商提供的SDK 可以直接獲取RGB 格式的無(wú)壓縮圖像數(shù)據(jù)。

演出系統(tǒng)的可靠性極為重要。《雪花》的演員定位系統(tǒng)采用了雙系統(tǒng)備份方案，兩套系統(tǒng)使用完全一致的“4相機(jī)＋5服務(wù)器”硬件配置，各自獨(dú)立運(yùn)行，持續(xù)發(fā)送定位數(shù)據(jù)。而后端的圖形渲染系統(tǒng)能夠同時(shí)接收來(lái)自兩套定位系統(tǒng)的數(shù)據(jù)，并根據(jù)設(shè)置實(shí)時(shí)切換或者混合使用兩套系統(tǒng)的定位數(shù)據(jù)，實(shí)現(xiàn)了演員定位系統(tǒng)的熱備份。

7.1.2 目標(biāo)定位程序

目標(biāo)定位程序基于卷積神經(jīng)網(wǎng)絡(luò)中檢測(cè)速度較高的YOLO 算法進(jìn)行目標(biāo)檢測(cè)。借助節(jié)目排練時(shí)采集的圖片數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練后，圖像中的演員會(huì)以邊界框(Bounding Box)的形式被框選出來(lái)，將邊界框底邊的幾何中心點(diǎn)作為演員站立位置的參考點(diǎn)，再結(jié)合預(yù)先輸入程序的相機(jī)標(biāo)定參數(shù)，即可得出演員在實(shí)際舞臺(tái)平面的位置坐標(biāo)。

圖9 使用YOLO 進(jìn)行的定位測(cè)試

YOLO 算法實(shí)現(xiàn)快速檢測(cè)的核心機(jī)制在于預(yù)先將輸入圖像用二維網(wǎng)格劃分成若干個(gè)格子，每個(gè)格子根據(jù)卷積網(wǎng)絡(luò)提取的特征直接進(jìn)行物體的類別與位置預(yù)測(cè)，一次性完成分類和檢測(cè)任務(wù)。使用YOLO 算法有以下參數(shù)可以根據(jù)被檢測(cè)目標(biāo)的特點(diǎn)進(jìn)行調(diào)整。

(1)YOLO 的網(wǎng)格分辨率。YOLO 算法會(huì)對(duì)圖像進(jìn)行網(wǎng)格劃分，通過提高網(wǎng)格的分辨率，可以提升對(duì)較小目標(biāo)的檢測(cè)效果，但這種操作會(huì)增加運(yùn)算耗能，影響檢測(cè)速度。

(2)每個(gè)格子內(nèi)負(fù)責(zé)進(jìn)行位置預(yù)測(cè)的錨框(Anchor Box)數(shù)量以及大小。該參數(shù)可以根據(jù)訓(xùn)練時(shí)的數(shù)據(jù)集進(jìn)行設(shè)定，從而使算法更好地適應(yīng)特定的檢測(cè)目標(biāo)。

(3)檢測(cè)閾值。其代表算法在對(duì)預(yù)測(cè)結(jié)果有多高把握時(shí)即認(rèn)為該預(yù)測(cè)有效。通過降低閾值，可以令算法輸出更多的預(yù)測(cè)框，在有大量對(duì)象需要檢測(cè)時(shí)可以提升檢測(cè)率，但也會(huì)增加誤檢可能性。

7.1.3 坐標(biāo)處理程序

目標(biāo)定位程序的輸出結(jié)果是每位演員站立位置的平面坐標(biāo)，由于完整表演區(qū)域被分為四個(gè)區(qū)域獨(dú)立檢測(cè) (如圖10)，且區(qū)域之間有交疊部分，因此開發(fā)了坐標(biāo)處理程序用以匯總來(lái)自四個(gè)目標(biāo)定位程序的坐標(biāo)值，并過濾掉因區(qū)域交疊產(chǎn)生的冗余坐標(biāo)。此外為了優(yōu)化互動(dòng)視覺效果，程序使用濾波算法對(duì)坐標(biāo)連續(xù)變化的軌跡進(jìn)行了平滑處理，并設(shè)計(jì)了一些輔助性的參數(shù)，從而構(gòu)成完整的定位數(shù)據(jù)。

圖10 定位處理程序監(jiān)控界面

坐標(biāo)處理程序以UDP 數(shù)據(jù)包形式發(fā)送完整表演區(qū)域的演員定位數(shù)據(jù)至后端的圖形渲染系統(tǒng)。依據(jù)前期對(duì)目標(biāo)定位程序單幀處理時(shí)間的測(cè)試結(jié)果，定位處理程序的數(shù)據(jù)包發(fā)送頻率定為30次/秒，采用定長(zhǎng)數(shù)據(jù)包方案。

7.1.4 相機(jī)標(biāo)定操作

表演區(qū)域平整鋪設(shè)的LED 地磚屏具有非常有利于的標(biāo)定條件。實(shí)際操作中，在LED 地磚屏上顯示一個(gè)棋盤狀黑白相間的網(wǎng)格圖，并設(shè)置每個(gè)方格為同等的邊長(zhǎng)(圖11)。通過實(shí)地測(cè)量獲得LED 所顯示每個(gè)方格邊長(zhǎng)的物理尺寸后，選擇LED 地磚屏的一點(diǎn)作為坐標(biāo)原點(diǎn)，可以構(gòu)建出基于LED 地磚屏的平面坐標(biāo)系，由于地磚屏上每個(gè)方格的長(zhǎng)度是已知的，因此格與格的每個(gè)交界點(diǎn)都可以作為標(biāo)定操作的標(biāo)志點(diǎn)。在整個(gè)表演區(qū)域等間距選擇80個(gè)標(biāo)志點(diǎn)進(jìn)行標(biāo)定時(shí)，經(jīng)過實(shí)際測(cè)量驗(yàn)證，演員定位的誤差不超過15cm，能夠滿足呈現(xiàn)效果需求。

圖11 表演區(qū)域的標(biāo)定操作

7.2 《雪花》的互動(dòng)視覺效果實(shí)現(xiàn)情況

《雪花》的互動(dòng)視覺效果制作方案在節(jié)目排練過程中進(jìn)行了多次測(cè)試與調(diào)整，包括相機(jī)的分布、相機(jī)分辨率、曝光參數(shù)、對(duì)卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練、目標(biāo)檢測(cè)算法的檢測(cè)閾值測(cè)定、單幀畫面平均處理時(shí)間測(cè)定，以及互動(dòng)視效程序中通信控制機(jī)制、視效觸發(fā)與渲染機(jī)制的調(diào)整，最終在開幕式前的彩排和開幕式正式演出中實(shí)現(xiàn)了預(yù)期目標(biāo)，為全世界觀眾呈現(xiàn)了精彩的互動(dòng)視覺特效。

在前期測(cè)試中，YOLO 目標(biāo)檢測(cè)算法的漏檢一直是定位系統(tǒng)的主要問題。盡管項(xiàng)目使用最接近正式演出環(huán)境的排練數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行了 “訓(xùn)練”，但因節(jié)目轉(zhuǎn)播效果需要，現(xiàn)場(chǎng)燈光無(wú)法達(dá)到目標(biāo)檢測(cè)的理想條件，演員著裝后無(wú)法較好的和背景進(jìn)行區(qū)分，在檢測(cè)閾值降低到一定程度時(shí)，依然會(huì)出現(xiàn)演員漏檢的情況。此外，YOLO 算法對(duì)小尺寸目標(biāo)的識(shí)別效果較差，當(dāng)目標(biāo)較密集的聚集在一起時(shí)，發(fā)生漏檢的幾率會(huì)明顯增加。因此在表演過程中，當(dāng)幾名小演員站立位置過近、相互遮擋或者和平鴿道具擋住演員頭部時(shí)，演員定位系統(tǒng)都會(huì)大概率出現(xiàn)定位丟失現(xiàn)象。不過，上述情況針對(duì)單個(gè)演員而言并不會(huì)持續(xù)頻繁出現(xiàn)，因此在對(duì)互動(dòng)視覺效果的觸發(fā)機(jī)制與渲染算法調(diào)整后，漏檢問題已經(jīng)不會(huì)影響到互動(dòng)效果的觀賞體驗(yàn)。

8 總結(jié)

計(jì)算機(jī)視覺領(lǐng)域的目標(biāo)檢測(cè)算法為互動(dòng)視覺效果制作中的演員定位問題提供了新的解決方案?；谀繕?biāo)檢測(cè)的定位系統(tǒng)無(wú)需演員穿戴設(shè)備，使用單臺(tái)高性能服務(wù)器配合常規(guī)相機(jī)即能實(shí)現(xiàn)定位，而使用高分辨率、高幀率的專業(yè)相機(jī)時(shí)，其定位精度與速度能夠滿足大型演出的實(shí)時(shí)互動(dòng)視效需求。相信隨著計(jì)算機(jī)視覺領(lǐng)域人臉識(shí)別、骨骼追蹤、三維姿態(tài)預(yù)測(cè)等技術(shù)的持續(xù)發(fā)展，演出領(lǐng)域的互動(dòng)視覺效果將迎來(lái)全新的制作方式。