李詠潔 王宏利

摘要：互動影像裝置的基本構成為：感應信息—處理信息—輸出影像。其中處理信息這一關鍵步驟一般由控制程序完成。傳統(tǒng)的控制程序開發(fā)依賴Java和C語言這類以文本為主的代碼語言進行程序編寫。可視化編程TouchDesigner平臺的出現(xiàn)使藝術家不依賴文本代碼也能編寫互動影像裝置的程序設定。文章聚焦可視化編程平臺TouchDesigner 參與制作的互動影像裝置案例，分析TouchDesigner實現(xiàn)交互效果的原理、方式及該平臺與其他硬件合作的多重可能，從創(chuàng)作、商業(yè)和美育的角度探討TouchDesigner在互動影像裝置中的應用前景。

關鍵詞：TouchDesigner；互動裝置；影像裝置；可視化編程；新媒體藝術

中圖分類號：TP37；J5 文獻標識碼：A 文章編號：1004-9436（2022）16-00-03

1 可視化編程平臺TouchDesigner

控制程序是互動影像裝置實現(xiàn)人機交互的關鍵。互動影像裝置中的控制程序設計逐漸由文本代碼向可視化演變?；佑跋裱b置的技術實現(xiàn)主要有三步：傳感設備向控制程序輸入信息、控制程序接收并處理信息、控制程序將處理后的影像信息反饋給觀眾。早期藝術裝置的控制程序開發(fā)流行使用C++的OpenFramework來完成［1］。2001年，麻省理工學院媒體實驗室與藝術家共同研發(fā)了一種專門由設計師和藝術家使用的編程軟件Processing。Processing，其優(yōu)勢在于“低算法”，但是其仍然是一款基于文本輸入的編程軟件。隨著技術的革新與發(fā)展，可視化編程平臺應運而生?？梢暬幊桃赃壿嫛D像和視覺元素為主導，用視覺流程圖取代了以往編程中的文本代碼［2］。在互動影像裝置的制作實施中，由Derivative Inc公司開發(fā)的可視化編程平臺TouchDesigner順利出圈。

TouchDesigner工作性能穩(wěn)定，實時渲染流暢，可應用于數(shù)字投影、數(shù)據(jù)可視化、實時3D生成、電影場景環(huán)境控制和VJ（Visual Jockey，影像騎師）。TouchDesigner獲得了全球藝術家和藝術團隊的青睞。比如，來自紐約的設計團隊Volvox Lab運用TouchDesigner為微軟的藝術長廊影院制作了能與人互動的屏幕［3］。加拿大團隊Moment Factory使用TouchDesigner制作建筑投影，使古老的建筑與夢幻的影像在同一個空間交融。日本數(shù)字媒體團隊TeamLab在Borderless系列作品中運用TouchDesigner協(xié)調了人機交互。

2 TouchDesigner在互動影像裝置中的應用

2.1 基于TouchDesigner傳感程序設計

TouchDesigner在互動影像裝置的制作中主要承擔處理信息的功能，但是要完成整個互動程序，還需要與傳感設備合作。傳感設備主要用于捕捉聲音、溫度和人的動作等信息。傳感設備接入計算機后，TouchDesigner開始處理捕捉到的信息，生成不同的影像，最終通過投影或者LED屏幕將影像信息展示在觀眾面前［4-5］。按照傳感設備的類型，可大致將基于TouchDesigner的影像裝置分為音畫互動影像裝置和體感互動影像裝置兩種。

2.1.1 音畫互動傳感

互動影像裝置中的音畫互動通常由控制平臺根據(jù)聲音的響度、音色以及音色要素自動生成相應的影像，被生成的影像通常用顏色、運動、形狀和紋理的變化反映聲音的變化。2014年，在星際爭霸賽的舞臺上，程序員Keith Lostracco使用TouchDesigner創(chuàng)作了名為Luminosity的VJ系統(tǒng)。該系統(tǒng)將聲音控制臺完全置入TouchDesigner，并由TouchDesigner結合現(xiàn)場聲音生成即時影像。星際爭霸賽中的Luminosity系統(tǒng)是將TouchDesigner應用到舞臺現(xiàn)場的較早期的實踐。由于TouchDesigner具備較強的穩(wěn)定性，該平臺被越來越多的媒體藝術家和音樂人應用到舞臺音畫互動中。2021年，在都柏林的Light Moves festival（光動藝術節(jié)）中，媒體藝術家Pauric Freeman（帕烏里·弗里曼）為音樂人Beatrice Dillon 制作了音畫互動影像背景，這個項目由TouchDesigner與音響合成器以及音頻編輯器Ableton合作完成。

2.1.2 體感互動傳感

Lumina Borealis是由多媒體工作室Moment Factory于2020年創(chuàng)作的公共互動影像項目。Lumina Borealis裝置所利用的空間是加拿大的亨利古堡， 該裝置以冬天和冰雪為主題，在古堡的墻上隨處可見代表冬天的植物、動物和元素。制作團隊使用TouchDesigner平臺，實現(xiàn)了觀眾與古堡里神奇的“生物們”的互動。目前，大部分互動影像裝置中的互動方式和Lumina Borealis項目中的體感互動一樣，裝置中的影像內容根據(jù)觀眾反饋的信息變化。觀眾可傳遞的信息有手勢、表情、語音、溫度和位置坐標等。

TouchDesigner實現(xiàn)體感互動需要接入外部設備。其中，Kinect是互動影像裝置中使用頻率較高的傳感設備。Kinect最初是微軟公司推出的用于玩體感游戲的攝像頭，由于親民的價格和穩(wěn)定的骨架追蹤功能，Kinect也逐漸被運用于連接PC端的程序開發(fā)。Kinect骨架追蹤的工作通過紅外線和攝像頭來識別人身上具有代表性的20個關節(jié)點，通過關節(jié)點離Kinect的距離、水平移動距離和垂直移動距離來確定人的位置和動作［6］。2017年，在Virada Cultural 藝術節(jié)上，跨學科創(chuàng)意團隊Midiadub結合Kinect傳感器和TouchDesigner打造了能與觀眾互動的戶外磚墻，觀眾在墻體邊停留和觸摸墻面時，磚墻能給予觀眾實時動態(tài)影像反饋。除了Kinect傳感攝像頭， TouchDesigner 也能與追蹤雷達、Arduino電路板以及Leap Motion控制器等設備合作完成互動影像裝置的制作。

2.2 基于TouchDesigner的計算機生成藝術

裝置中的傳感器將捕捉到的信息傳送給TouchDesigner。隨后， TouchDesigner 根據(jù)接收的數(shù)據(jù)按照預設的程序對影像進行切換、疊畫、圖像形變或者觸發(fā)特效。其中，粒子交互和可控擬態(tài)是目前互動影像裝置中較常出現(xiàn)的效果［7］。

2.2.1 粒子交互

粒子特效是互動影像中經(jīng)常出現(xiàn)的效果，比如人觸碰到裝置時屏幕開始出現(xiàn)粒子，屏幕上的粒子跟著人改變方向或者當人走到某個位置時影像中的某個圖形圖像變成粒子消散。TouchDesigner中粒子的原型一般由grid（網(wǎng)格）這類以線條為主的元件加入particle（粒子）元件生成，創(chuàng)作者可以在此基礎上再對生成的粒子加以微調，如加入sort（排序）來改變粒子的方位、大小，或者加入pamp（分子模式）改變顏色等。粒子效果制作后可在TouchDesigner中點擊鏈接Kinect等傳感設備完成交互。

2.2.2 可控擬態(tài)

TouchDesigner中的可控擬態(tài)效果常與Leap Motion手勢控制器一起使用。觀眾可在裝置前用手勢控制影像中圖形圖像的位置、顏色、生長方向和元素形態(tài)等?？煽財M態(tài)的設計需要先建立或導入3D模型，如果用TouchDesigner建模，可考慮先拖入Box（立方體）、sphere（球體）或者tube（管）這類基礎圖形，隨后需要在模型的基礎上用sopto元件建立網(wǎng)格數(shù)據(jù)。將圖形圖像信息轉為數(shù)字坐標數(shù)據(jù)后，再加入noise（噪聲）元件建立動態(tài)數(shù)據(jù)，影像中的原始模型主要通過調整noise元件中的參數(shù)，實現(xiàn)變形、切換、消失和部件重組等效果。

3 TouchDesigner在互動影像裝置中的應用前景

3.1 創(chuàng)作前景

基于TouchDesigner的裝置設計比傳統(tǒng)開源編程的創(chuàng)作效率更高。對藝術家而言，使用編程軟件一般要有C語言或者Java的基礎，這些并不是在短時間內就能精通的，使用TouchDesigner將大大提升創(chuàng)作潛能。另外，TouchDesigner將打破行業(yè)與技術壁壘，讓更多的人參與到藝術創(chuàng)作與藝術體驗之中。對程序員而言，TouchDesigner能盡可能減少程序員在與外界溝通時的“行業(yè)黑話”。比如，目前很多裝置項目需要程序員、藝術家、政府以及商家共同完成，可視化編程能讓外行人更快更準確地了解項目的實現(xiàn)效果和進展，有利于從整體上提高項目效率。

3.2 商業(yè)前景

TouchDesigner參與的互動影像裝置的商業(yè)價值未來可期。對美術館和博物館而言，科學與藝術相結合的項目不僅更符合時代發(fā)展趨勢，還增強了觀眾的參與感。比如TeamLab在上海無界美術館的作品就大量使用了基于TouchDesigner制作的互動影像裝置。據(jù)不完全統(tǒng)計，2019年，該展覽有230萬人觀展。2020年9月至2021年1月，百度與UCCA Lab合作主辦的展覽“喚醒萬物”在北京UCCA當代藝術中心舉行。該展覽的沉浸式互動體驗主要由TouchDesigner完成，因為新穎的主題和良好的互動效果，該展覽日均觀看人數(shù)超過5000人，一度打破了北京UCCA的觀展紀錄。對公共區(qū)域的管理者和商家而言，互動裝置能為場地帶來更多的人流量，因為互動裝置必然會增加人在空間中的停留時間。

3.3 美育前景

藝術作品的展覽方除了展示作品外，也可以嘗試將作品與公共教育以及藝術教育相結合。互動影像裝置的創(chuàng)作涉及多個學科的跨界合作。其中，作品的觀念是互動裝置的靈魂，這需要創(chuàng)作者有一定的藝術、哲學、社會學和心理學等知識的沉淀。想要敏銳地捕捉觀眾反饋的信息，離不開物聯(lián)網(wǎng)傳感技術的支持。將捕捉到的觀眾信息傳送到處理器以及處理器輸出信息的過程涉及計算機編程和計算機圖形技術。與作品相關的Workshop（藝術工作坊）有利于加深觀眾對作品的了解，藝術工作坊可以幫助觀眾過把“人人都是藝術家”的創(chuàng)作癮。比如2021年12月在上海摩登天空舉行的光點國際新媒體藝術節(jié)，開幕演出主要由TouchDesigner實現(xiàn)，后續(xù)的藝術工作坊也圍繞TouchDesigner展開。TouchDesigner參與制作的互動影像裝置的視覺效果炫酷，通過線上/線下藝術工作坊的方式，可讓觀眾在觀看作品之后也能創(chuàng)作出科技感十足的藝術作品。

4 結語

互動影像裝置的實現(xiàn)得益于數(shù)字化進程的不斷加快以及物聯(lián)網(wǎng)技術與計算機技術的發(fā)展。從Processing到TouchDesigner，越來越簡化的開發(fā)平臺激發(fā)了創(chuàng)作者的潛能，也使互動影像裝置創(chuàng)作有了“全民開發(fā)”的可能。目前的互動影像裝置大致能分成音畫互動和體感互動兩種，要通過TouchDesigner實現(xiàn)音畫互動和體感互動離不開其他硬件設備的協(xié)調。常與TouchDesigner合作的外部設備有Ableton、Arduino、Kinect、Leap Motion和追蹤雷達等。TouchDesigner參與到互動影像裝置的創(chuàng)作中，能激發(fā)藝術家的創(chuàng)作潛能、提高團隊的創(chuàng)作效率。未來，TouchDesigner介入的互動影像裝置將有一定的商業(yè)價值與美育價值。隨著信息技術的深入發(fā)展，人類創(chuàng)作藝術的方式也會發(fā)生很大的變化。今后創(chuàng)作者們要順應時代變化趨勢和科技發(fā)展潮流，不斷學習新技能，提升應用科技手段的能力，提高個人藝術修養(yǎng)，致力于藝術創(chuàng)作的創(chuàng)新發(fā)展，打破學術的邊界與壁壘，擁抱大有可為的未來。

參考文獻：

［1］ 列夫·曼諾維奇.新媒體的語言［M］.美國馬薩諸塞：麻省理工學院出版社，2010：89.

［2］ 列夫·曼諾維奇.計算機視覺、人類感官和藝術語言［J］.人工智能與社會，2020，36（4）：1145-1152.

［3］ 蘇鏡如. TouchDesigner在新媒體藝術中的運用［J］.新媒體研究，2020，6（14）：9-10.

［4］ 盧卡斯·F.奧利韋羅，安東尼奧·阿勞霍.我正在看著你/我：基于Touch Designer的實時繪圖和球形視角的VR可視化［C］.第十屆數(shù)字與交互藝術國際會議，2021：121.

［5］ 埃里克·布倫范德，溫迪·懷舍爾.集體電流：通過協(xié)作和互動裝置探索可持續(xù)性［J］.萊昂納多，2021，54（3）：320-324.

［6］ 畢倪飛.面向分布式同步數(shù)據(jù)并行訓練的通信優(yōu)化技術［D］.上海：華東師范大學，2022：15.

［7］ 藝力國際出版有限公司.互動裝置藝術：科技驅動的藝術體驗［M］.武漢：華中科技大學出版社，2020：45.

作者簡介：李詠潔（1992—），女，湖南長沙人，碩士，助教，研究方向：影像媒體、當代藝術跨學科。

王宏利（1994—），男，湖南邵陽人，碩士，研究方向：深度學習。