文/[美]科里·愛比德 編譯/施 端

由卡萊·麥克羅德茨（Kalle Macrides）編劇、Adhesive Theatre Project創(chuàng)作的《黑街二人組》（Noir）作為演藝技術(shù)系（Entertainment Technology Department）的實(shí)習(xí)劇目之一首演于紐約城市理工學(xué)院（New York City College of Technology）。作為一出多媒體/舞蹈/戲劇作品，《黑街二人組》利用了計(jì)算機(jī)視覺系統(tǒng)來提升預(yù)錄視頻內(nèi)容和現(xiàn)場(chǎng)視頻反饋的投射效果。由筆者設(shè)計(jì)的該系統(tǒng)借鑒了一些技術(shù)和軟件。本文著重闡述構(gòu)建有形的硬件系統(tǒng)的方法，分享對(duì)用于Cycling’74 Max/MSP/Jitter平臺(tái)的cv.jit軟件的研究。筆者的主要目標(biāo)是跟蹤舞臺(tái)上演員的活動(dòng)并在移動(dòng)對(duì)象上投射影像。

研究伊始

最初，筆者想把跟蹤舞臺(tái)上演員的技術(shù)用于木偶戲中，希望由技術(shù)制作的科技木偶可以把一個(gè)演員的臉“粘貼”到一個(gè)活動(dòng)的立體木偶頭部。例如：在文樂木偶戲風(fēng)格（Bunraku-style）中，領(lǐng)頭的操縱木偶表演者可以把他自己的臉“轉(zhuǎn)移”到木偶頭部并扮演木偶的角色；在《羅索姆萬能機(jī)器人》（R.U.R）一劇中，一個(gè)演員（通過投影技術(shù)投出很多個(gè)他）怪異地扮演一大批機(jī)器人。該技術(shù)給予藝術(shù)創(chuàng)作以無限的可能性，包括可按任意尺寸縮放演員，且演員可能會(huì)有魚一樣的身體或不受重力的束縛。

《黑街二人組》的具體要求

《黑街二人組》講述了一位剛遭槍擊的好萊塢電影制作人埃迪·錢德勒（Eddy Chandler）的故事。當(dāng)回憶導(dǎo)致這一悲劇的那段情節(jié)時(shí)，他使用了控制時(shí)間和影像的電影制作技術(shù)，揭露了謀殺未遂案的真相。這既是對(duì)黑色電影的一次學(xué)術(shù)研究，又是對(duì)電影影像技術(shù)用于舞臺(tái)演出的一次探索。

筆者設(shè)計(jì)了由24塊活動(dòng)框架組成的舞臺(tái)布景（其中一些用鋼材做成），其上覆蓋白布、有色棉麻布或紙張作為投射面。其意圖是讓演員操作這些框架，就像木偶操縱者操縱木偶協(xié)助敘述故事一樣。例如，第一場(chǎng)戲是從外部的城市景觀轉(zhuǎn)變到內(nèi)部的電影片場(chǎng)。演員像電影技術(shù)員那樣搬動(dòng)這些框架，活動(dòng)框架不僅形成電影布景，還需要由演員操縱。一些場(chǎng)景中，設(shè)計(jì)者在框架表面添加視頻，增強(qiáng)了演員與框架之間的互動(dòng)，有助于闡明故事的某一特定含義。

有一場(chǎng)在火車站的戲中，主角和一位機(jī)智的記者被一些歹徒和一個(gè)邪惡的警察追殺。他們躲過飛馳而來的火車并跳上一節(jié)貨車車廂，成功脫身。雖然，這本可以僅通過移動(dòng)框架來暗示這列火車；或者加上一些音效和燈光，也可以進(jìn)一步增強(qiáng)這種舞臺(tái)效果（即火車行進(jìn)的效果）。然而，在這部關(guān)于電影的、對(duì)舞臺(tái)活動(dòng)影像探索的戲中，重要的是要?jiǎng)?chuàng)造一場(chǎng)視覺景觀反映這一宗旨。筆者想設(shè)計(jì)三個(gè)場(chǎng)景（使用資料片），在這些場(chǎng)景中演員既要與框架內(nèi)運(yùn)動(dòng)的火車發(fā)生互動(dòng)，又要與舞臺(tái)有形空間運(yùn)動(dòng)的火車發(fā)生互動(dòng)。

這一場(chǎng)景是舞臺(tái)跟蹤對(duì)象系統(tǒng)的明證。由于系統(tǒng)中有不少參數(shù)是不變的，筆者可以從方程中去掉許多變量，僅關(guān)注于運(yùn)動(dòng)跟蹤的某一方面。例如，活動(dòng)框架都是固定大小、固定形狀的矩形，因此，可以保持在一個(gè)二維平面上。此外，因?yàn)樗鼈兌挤胖迷诨喩?，與地面的高度保持不變，所以，可以取消上下軸。

圖1 舞臺(tái)上演員與投影的互動(dòng)

該系統(tǒng)的使用基于攝像機(jī)，它充當(dāng)了計(jì)算機(jī)的眼睛。接著軟件分析特定參數(shù)的影像，控制基于那些參數(shù)的視頻內(nèi)容。此外，攝像機(jī)與投影儀之間需要以某種方式進(jìn)行校準(zhǔn)，攝像機(jī)必須“看到”投影儀投射到的同一區(qū)域。工作團(tuán)隊(duì)將它們以相同的角度放置在相同位置。投影儀在投影屏上投以藍(lán)色，確保攝像機(jī)可以看到藍(lán)屏的所有四條邊，且在其取景框內(nèi)沒有其他區(qū)間。他們還把攝像機(jī)和投影儀設(shè)置成相同的長寬比。這不必很精確，但兩者的長寬比校準(zhǔn)得越接近，軟件計(jì)算就越容易。

一旦校準(zhǔn)好攝像機(jī)與投影儀，使用者必須弄清楚要獲取哪些具體參數(shù)。在通常的戲劇環(huán)境中，除了許多活動(dòng)的演員和物體外，還有各種顏色和不同強(qiáng)度的舞臺(tái)光，一旦把影像投向舞臺(tái)，攝像機(jī)就會(huì)獲取這些信息。為了排除這些散射光對(duì)影像的干擾，筆者使用了帶有夜間拍攝模式的索尼攝像機(jī)。雖然所有攝像機(jī)都讀取紅外光，但在夜間拍攝模式下攝像機(jī)對(duì)紅外光譜的敏感度增強(qiáng)了。隨后，使用一張可見光過濾片，遮擋了不屬于紅外光譜的所有光線。而投影儀已經(jīng)通過玻璃透鏡排除了紅外光。因?yàn)槲枧_(tái)燈光會(huì)投射出紅外光，所以，燈具前都加裝了隔熱片，以減少這些光線。

圖2 演出現(xiàn)場(chǎng)

因此，只有有限的光進(jìn)入了計(jì)算機(jī)。筆者使用了由一節(jié)3 V電池供電的單顆紅外LED光源，其投射距離可達(dá)40英尺（舞臺(tái)至攝像機(jī)之間的距離），對(duì)觀眾來說幾乎是不可見的。通過改變Max/MSP/Jitter平臺(tái)中攝像機(jī)的閾值，可以在任何情況下看到單個(gè)白點(diǎn)穿過漆黑一片的舞臺(tái)。

CV.Jit.Shift擴(kuò)展軟件

筆者采用的由讓·馬克·佩爾蒂埃（Jean-Marc Pelletier）開發(fā)的cv.jit軟件是免費(fèi)的擴(kuò)展庫軟件。筆者研究了兩類視頻影像的分析算法：blobs算法和mean-shift算法。blob算法用于查找、分析最大對(duì)象的影像，并且可以修改其周邊的參數(shù)。例如，你可以選擇忽略或選取某塊斑點(diǎn)。mean-shift算法可計(jì)算某個(gè)影像的平均值，及其與下一幀之間改變（漂移）了多少，也叫做幀差值。（這兩種都是非常簡單的算法和進(jìn)程。）在嘗試了佩爾蒂埃庫中所有的補(bǔ)丁之后，筆者發(fā)現(xiàn)cv.jit.shift可以跟蹤計(jì)算機(jī)從攝像機(jī)中接收到的白點(diǎn)。在一些調(diào)整和相關(guān)人員的幫助下，筆者制定出了一個(gè)有效而簡捷的解決方案——“單點(diǎn)跟蹤”（one-point tracking）。

第二個(gè)問題就是蒙板（masking）。為了實(shí)現(xiàn)這個(gè)功能，筆者使用了Luma Key（亮度摳像）工具。本質(zhì)上，它使得影像變暗或變亮，并且可以使影像透明。如此就能把另一影像或視頻放進(jìn)那些區(qū)域。既然投影屏幕本身比其周圍的區(qū)域要明亮得多，那就可以改變攝像機(jī)的閾值，得到一個(gè)二值影像，并且僅投射到屏幕上而不是周邊區(qū)域上。比方說，如果準(zhǔn)備投射一張照片，當(dāng)屏幕移動(dòng)時(shí)，呈現(xiàn)出來的視覺效果是：在那張照片上開了一扇小窗，通過小窗可以“瀏覽”其他影像。

既然希望得到反射光，筆者便決定使用一臺(tái)不帶夜間拍攝模式的常規(guī)攝像機(jī)。這可能會(huì)帶來之前提及的所有問題——變化的光強(qiáng)、活動(dòng)的演員、與計(jì)算機(jī)視覺攝像機(jī)互動(dòng)的投影視頻等等——當(dāng)然，這也相應(yīng)地制造出了一些紛亂但又十分有趣的視頻輸出。例如，當(dāng)演員走過舞臺(tái)，投射的視頻會(huì)跟隨他們。而且，投影視頻會(huì)被攝像機(jī)獲取，并再一次地投射出去，其強(qiáng)度雖有減弱，但這種無限地?cái)z取和投射宛如一個(gè)反饋循環(huán)系統(tǒng)。

雖然這些都是有趣的效果，但影像還是太模糊了。此外，影像清晰程度取決于舞臺(tái)上反射了多少光。如果是暗場(chǎng)，拍攝不到視頻影像。如果舞臺(tái)上較亮，投影會(huì)比較明亮，但是同樣是那些光又會(huì)沖淡影像。設(shè)計(jì)者配備了兩盞紅外LED燈，可以懸掛在劇場(chǎng)上空照射舞臺(tái)。使用帶有可見光過濾片以夜間拍攝模式的攝像機(jī)，以此成功減少這種視頻缺陷并且可以在完全黑暗的環(huán)境中使用這一技術(shù)。

Horn-Schunck光流法

Horn-Schunck光流法，給出了測(cè)定二維平面上光流的方程式（或指在二維平面上某一視頻幀與下一視頻幀之間的變化）。利用這一計(jì)算結(jié)果，可以看出垂直運(yùn)動(dòng)或水平運(yùn)動(dòng)數(shù)值之間的差異。在佩爾蒂埃的軟件補(bǔ)丁cv.jit.HSflow中，這一變化由色彩變化表現(xiàn)出來。如果向上移動(dòng)，顏色是藍(lán)色；向下是黃色，向左是綠色，向右是紅色。而這一補(bǔ)丁激發(fā)了筆者對(duì)本劇最后一場(chǎng)戲的創(chuàng)作靈感。

就在與編劇討論最后一場(chǎng)可能選用的場(chǎng)景時(shí)，大家忽然想到1953年公映的最早的3D電影《恐怖蠟像館》（House of Wax）中的場(chǎng)景。筆者想表現(xiàn)出用肉眼（不戴3D眼鏡）觀看這部3D電影時(shí)那種不安的感覺。通過使用舞臺(tái)上現(xiàn)場(chǎng)反饋的攝像機(jī)，通過經(jīng)光流水平運(yùn)動(dòng)過濾處理的影像，就可以獲得紛亂的紅綠色的余跡。

方向盤與中轉(zhuǎn)設(shè)備

設(shè)計(jì)者嘗試采用的另一視頻效果由舞臺(tái)上的演員來操作，并通過無線中轉(zhuǎn)設(shè)備與計(jì)算機(jī)進(jìn)行通訊，該設(shè)備可以接收傳感器信號(hào)并通過射頻發(fā)送傳感器中的數(shù)值。雖然，這個(gè)中轉(zhuǎn)設(shè)備的通訊距離可以超過幾百英尺且可以穿過墻體，但在這個(gè)場(chǎng)地中，大約在20英尺外就失去了信號(hào)。幾經(jīng)周折，天線被延伸到中轉(zhuǎn)設(shè)備自身，實(shí)現(xiàn)了通訊要求。

中轉(zhuǎn)設(shè)備與電位器相連接，電位器與臨時(shí)代用的方向盤相連接。當(dāng)女演員轉(zhuǎn)動(dòng)方向盤時(shí)，系統(tǒng)會(huì)左右移動(dòng)舞臺(tái)上的視頻投影。設(shè)計(jì)者在一輛小車的后面投射出活動(dòng)背景的視頻，從而使視頻對(duì)演員的活動(dòng)作出了反應(yīng)。

四點(diǎn)跟蹤系統(tǒng)

筆者還曾斷斷續(xù)續(xù)研究的系統(tǒng)是四點(diǎn)跟蹤系統(tǒng)。這不像跟蹤一個(gè)點(diǎn)，四個(gè)點(diǎn)給出了投射面四個(gè)角的位置，并允許在那些點(diǎn)之間的區(qū)域投射影像。這個(gè)系統(tǒng)允許用1臺(tái)攝像機(jī)跟蹤投射面的三維運(yùn)動(dòng)，除旋轉(zhuǎn)運(yùn)動(dòng)外還有傾斜運(yùn)動(dòng)與偏移運(yùn)動(dòng)。與單點(diǎn)跟蹤系統(tǒng)相反，屏幕除可以旋轉(zhuǎn)或在軸上轉(zhuǎn)動(dòng)外還可以橫截舞臺(tái)的深度與高度，仍然始終維持視頻影像。

在開發(fā)實(shí)用模型階段，筆者從cv.jit.blobs.centroids補(bǔ)丁開始。該補(bǔ)丁用于定位斑點(diǎn)（四盞紅外LED燈被放置在屏幕的每一個(gè)角上），并給斑點(diǎn)設(shè)定標(biāo)記，以便將它們區(qū)分開。然后設(shè)置四個(gè)點(diǎn)中每個(gè)點(diǎn)的位置，并根據(jù)那些信息得到一個(gè)多邊形。一旦有了這個(gè)多邊形，就可以在那個(gè)形狀內(nèi)輸出視頻。遺憾的是，如果軟件丟失了一個(gè)點(diǎn)或者搞亂了點(diǎn)的次序，視頻影像將不能維持原有形狀，會(huì)以蝴蝶結(jié)形狀顯示，擰成類似螺旋結(jié)構(gòu)。也許這很容易克服，但解決問題需要一點(diǎn)C++編程語言的知識(shí)，這超出了筆者的能力。

可以部分解決三維問題的另一方法，是給每一個(gè)活動(dòng)框架加裝一個(gè)加速儀，它可以無線傳送數(shù)據(jù)并與單點(diǎn)跟蹤系統(tǒng)互相配合使用。但問題是景深仍然不夠，需要另外的解決方案。最終，筆者沒能及時(shí)設(shè)計(jì)出穩(wěn)定的影像用于《黑街二人組》的演出，只好采用另一方案來敘述那段故事情節(jié)。