申佳君

摘要：文章基于感官設(shè)計視角，探索并建構(gòu)聽覺替代視覺的數(shù)字景觀設(shè)計原則與體系。在盲人聽覺特質(zhì)及身體的先驗空間性前提下，運用色彩-情緒-聲音映射方法，總結(jié)自然環(huán)境色彩映射為聲音的流程，在此基礎(chǔ)上，提出“印象派”聲音映射理念，搭建基于盲人感官體驗的數(shù)字花園交互平臺，為盲人及其他弱勢群體帶來更多的人文關(guān)懷，同時通過物理空間和數(shù)字空間之間的數(shù)據(jù)轉(zhuǎn)譯，探究“空間”再造的方式，為社會與環(huán)境挑戰(zhàn)提供可持續(xù)的解決方案。

關(guān)鍵詞：感官設(shè)計 色彩映射聲音 聲音生成系統(tǒng) 沉浸式交互空間 “空間”再造

中圖分類號：TU986 文獻(xiàn)標(biāo)識碼：A

文章編號：1003-0069（2021）04-0143-03

引言

當(dāng)代科學(xué)技術(shù)的發(fā)展，使設(shè)計開始進(jìn)入到非物質(zhì)的視、聽等感覺層面，形成以人類認(rèn)知神經(jīng)科學(xué)系統(tǒng)為依據(jù)的“感官設(shè)計”。人的五大感官系統(tǒng)每天從我們生存的世界提取信息，并通過大腦的釋譯獲得感知。視覺在人類感覺系統(tǒng)中占主導(dǎo)地位，聽覺是次于視覺的重要感官，如何以數(shù)字交互技術(shù)結(jié)合色彩、聲音獲得更豐富的身體經(jīng)驗，使得設(shè)計進(jìn)入一個自然、數(shù)據(jù)、人的感覺鏈接的體系，讓設(shè)計表達(dá)的藝術(shù)層面是基于科學(xué)基礎(chǔ)上的合理呈現(xiàn)，是未來設(shè)計的重要領(lǐng)域。

“感官設(shè)計”的發(fā)展也為世界范圍內(nèi)一直備受關(guān)注的公共衛(wèi)生問題一盲人群體，提出了解決方案。盲人通過聽覺感知和認(rèn)識外部世界。聽覺相當(dāng)于盲人的眼睛，盲人可以通過聽覺補償視覺缺陷。如何在跨感覺通道重組機制基礎(chǔ)上，創(chuàng)造性地應(yīng)用色彩映射聲音、通過數(shù)字交互平臺的信息處理來創(chuàng)造獨特的空間體驗、實現(xiàn)“空間”再造，是本研究試圖探索的主要內(nèi)容。

一、盲人感官設(shè)計的生理機制

（—）盲人的聽覺神經(jīng)機制：盲人通過非視覺感知和認(rèn)識外部世界，聽覺是盲人最重要的感覺器官。一般認(rèn)為，盲人失去視覺后，聽覺會變得異常敏銳，這是由于失去視覺后的盲人往往伴隨著行為代償。腦成像等認(rèn)知神經(jīng)科學(xué)研究發(fā)現(xiàn)，盲人行為代償?shù)纳窠?jīng)機制之一是大腦皮層的跨感覺通道重組，即盲人的視皮層并沒有因為視覺剝奪而失去作用，而是廣泛地參與了其他感知知覺任務(wù)。許多行為研究證實了這個猜測。因為視覺的缺失，使得原本控制視覺器官所在的大腦區(qū)域開始向其他方面延伸和變通，這就使盲人群體雖然視覺缺失，但是其他的感覺器官卻異常敏銳。

（二）身體的先驗空間性：梅格·龐蒂提出“身體圖式”（body schema）用以說明身體與世界的聯(lián)系，其開啟了主體與世界互動關(guān)系。身體并不是外在于世界的對象，而是連接世界的入口。身體具有一定的空間性，伸開手臂衡量可以感知物體的尺寸，身體從它先驗的空間性出發(fā)與世界產(chǎn)生交互。梅格·龐蒂將“身體圖式”的隱喻擴展到整個世界，主體的內(nèi)部與外部世界不再有隔膜，而是呈現(xiàn)一定的互動規(guī)律，世界被理解為身體經(jīng)驗的升華，盲人以知覺感官為線索構(gòu)建對于世界的整體認(rèn)知，以自發(fā)的記憶、想象與意義捕捉來實現(xiàn)對世界的建構(gòu)。

二、色彩映射聲音的方式探索

基于以上盲人聽覺特質(zhì)及身體的先驗空間性背景，本研究從探索色彩數(shù)據(jù)轉(zhuǎn)譯聲音的方式入手，主要針對色彩和聲音之間的情感類似物為基礎(chǔ)展開，為色彩轉(zhuǎn)譯聲音創(chuàng)建一個情緒與色彩對應(yīng)的框架，并整理相關(guān)的數(shù)據(jù)轉(zhuǎn)譯工作的工作流及聲音映射理念。

一種寬泛的視覺與聲音的轉(zhuǎn)換方式，被稱為“映射”（Mapping），它是指在一種預(yù)設(shè)的法則下將不同領(lǐng)域之間的信息進(jìn)行轉(zhuǎn)換。比如將音樂分解成離散的數(shù)據(jù)信息，再從數(shù)據(jù)信息轉(zhuǎn)換為數(shù)字圖像。，這是一種音樂可視化技術(shù)（圖1）。但是，如果映射只是簡單地將音樂和視覺以數(shù)據(jù)為橋梁一一對應(yīng)轉(zhuǎn)換，就會丟失藝術(shù)的情感，而趨于機械的邏輯轉(zhuǎn)譯。作曲家艾略特·卡特曾就一種顏色對應(yīng)一種音符的簡單方式發(fā)表言論：如果不是不得要領(lǐng)就是膚淺的。色彩是對事物特殊表征的描述，色彩本身并沒有情感，色彩的情感是在不同頻率色彩的光信息作用于人的視覺器官，通過視覺神經(jīng)傳入大腦后，經(jīng)過思維，與以往的記憶及經(jīng)驗產(chǎn)生聯(lián)想，從而形成的一系列色彩心理反應(yīng)。在色彩與聲音的映射中，為了確保最終呈現(xiàn)聲音效果的靈動，就要考慮在這兩種藝術(shù)形式中建立一種情感等值關(guān)聯(lián)，實現(xiàn)色彩與聲音映射過程中的情感封存，這就需要首先建立一套顏色能夠被描述為情緒的體系。

情緒分類是一門復(fù)雜的學(xué)科體系，很久以來一直沒有一套標(biāo)準(zhǔn)的系統(tǒng)能夠涵蓋所有情緒分類，1998年，心理學(xué)家Thayer，R.E.提出一個簡單而獨特的情緒分類模式，他用壓力和能量構(gòu)建坐標(biāo)軸，橫坐標(biāo)用快樂（Happy）到焦慮（Anxious）代表壓力程度，縱坐標(biāo)用平靜（Calm）到活力（Energetic）代表能量程度。橫縱坐標(biāo)劃分出的象限四極分別表示了“滿足、沮喪、生氣勃勃、焦慮/瘋狂”的情緒維度，而這種情緒維度又與“壓力和能量”的遞變相互吻合，“滿足”表達(dá)了一種快樂和平靜，“沮喪”表達(dá)了一種平靜和焦慮，“生氣勃勃”表達(dá)了快樂和活力，“焦慮/瘋狂”表達(dá)了一種由焦慮導(dǎo)致的激昂情緒。這個情感模式維度可以直接用于概括復(fù)雜的色彩情緒特征。

作為包豪斯最重要的教員之一，約翰·伊頓（Johannes Itten）關(guān)心色彩的情緒特征，伊頓的色相環(huán)呈現(xiàn)了他對于色彩對比與調(diào)和的理解，任何相對位置的色相是一組對比色，以三原色作為基礎(chǔ)色相，由三原色及其二次、三次混合后的色彩通過有秩序的構(gòu)成達(dá)到調(diào)和，調(diào)和在這里指每3個處于等邊三角形位置的色相，當(dāng)它們被完全混合之后，呈現(xiàn)的是令視覺均衡的中性灰色。約翰·伊頓的色相環(huán)充滿了音樂的特性，每一組調(diào)和色使人不禁聯(lián)想到音樂中最為常見的三和弦。而這種在對比與調(diào)和中形成的有秩序排列的色彩體系可以直接與Thayer提及的情緒模式相疊加，而表明色彩對應(yīng)的情緒類型，這也印證了伊頓的色彩表現(xiàn)理論，他以色彩的溫度和活力劃分不同色彩的屬性，溫暖而激昂的色彩代表著美好、光明，冰冷而消沉的色彩代表著丑陋與黑暗。同時，色相環(huán)中色相通過明度漸變產(chǎn)生的顏色也能在情緒模式坐標(biāo)軸中找到對應(yīng)的坐標(biāo)區(qū)間，從而衍生出新的情緒類型。色相環(huán)與Thayer情緒模式的結(jié)合成為人們探尋富于變化的色彩情緒理論的基礎(chǔ)工具。（圖2）

三、色彩映射聲音的流程設(shè)計

本研究以望江山的一處平地作為“盲人花園”的實驗場地（圖3），對自然環(huán)境色彩進(jìn)行視覺映射聽覺的實驗。除了應(yīng)用色彩-情緒理論，研究將“印象派”繪畫色彩理念與聲音表現(xiàn)形式結(jié)合，對用聲音表現(xiàn)現(xiàn)實環(huán)境色彩的理念進(jìn)行了創(chuàng)新。

第一步，色彩數(shù)據(jù)采集與呈現(xiàn)。用照相機定點拍攝望江山一天當(dāng)中24小時的實景照片，在Photoshop中打開實景照片，將圖片轉(zhuǎn)為像素化（Pixelation）（圖4），從像素化后的圖像我們可知，自然環(huán)境色彩通過圖像數(shù)據(jù)軟件的處理，被轉(zhuǎn)化為一系列有明確位置和匹配單一色彩數(shù)值的小方格。被轉(zhuǎn)化的圖像是對實景地自然環(huán)境色彩進(jìn)行了初步的色相分布呈現(xiàn)。

第二步，色彩情緒分析。通過將轉(zhuǎn)化后的色相組合對照色彩-情緒分析圖進(jìn)行匹配，實景空間中的自然環(huán)境色彩便可以映射為不同的情緒模式，選取12張像素化后的實景色彩進(jìn)行分析：整體來看，每一幅圖都能歸結(jié)為某種主要的色彩情緒，但在主要的情緒象限劃分中又各自不同，有的暗淡消沉中帶著活力，例如圖g;有的滿意滿足中帶著沮喪，例如圖a;有的焦慮瘋狂中帶著沮喪消沉，例如圖i;有的活力四射中帶著滿意滿足，例如圖i。色彩組合的微妙在于，每組色彩都融合了不同象限的情緒，這樣的實驗調(diào)查為下一節(jié)的聲音系統(tǒng)設(shè)定提供了可參考的框架，為形成一種富有生機的算法。（圖5）

第三步，聲音映射。不同時間采集到的色彩數(shù)據(jù)轉(zhuǎn)化為像素后呈現(xiàn)的是自然界光與色在時間變化中的不同的氣氛，它反映了時間在不斷流動的本質(zhì)，這也正是“印象派”畫家的創(chuàng)作觀念——表現(xiàn)轉(zhuǎn)瞬即逝的現(xiàn)實（the fugitive reality），“印象派”畫家強調(diào)光及其氛圍的變化現(xiàn)象，每一幅畫都根據(jù)季節(jié)和時間的不同而有所變化，再現(xiàn)光影交織的瞬間景觀。受到印象派繪畫啟發(fā)的印象派音樂認(rèn)為音樂可以提供一種意象，不必去轉(zhuǎn)述一則故事，印象派音樂以音色音響作為其核心，用織體、音色和響度取代旋律的呈示、對比、發(fā)展和再現(xiàn)，消解了旋律聲部的統(tǒng)治地位，像印象派繪畫的純色并列一樣，印象派音樂創(chuàng)造出不斷閃爍的強烈“色彩”。這種“印象派”藝術(shù)理念，可以作為“盲人花園”聲音映射的出發(fā)點，勾勒和展現(xiàn)自然環(huán)境中的色彩不確定性和永無止境的瞬間性，還原感官的感知本質(zhì)，進(jìn)而彰顯一種別樣而獨特的真實觀。在這種理念下，在色彩映射聲音的過程中初步完成色彩數(shù)據(jù)采集與呈現(xiàn)、色彩情緒分析后，就可以利用Processing實現(xiàn)對色彩數(shù)據(jù)的程序計算，繼而轉(zhuǎn)化為一系列的音色、音響，轉(zhuǎn)化的過程中需要按照情緒一色彩對照表進(jìn)行匹配映射為不同情緒區(qū)間的聲音。

由此，映射的過程確保了色彩與聲音的元素等值，并在視覺與聲音信息之間建立了情緒匹配的屬性關(guān)聯(lián)，同時，在數(shù)據(jù)信息轉(zhuǎn)換過程中，采用“印象派”藝術(shù)理念，通過一種實時轉(zhuǎn)化，聲音最終呈現(xiàn)了一種觀念上的現(xiàn)實主義的聆聽。

四、色彩與聲音互譯的數(shù)字交互平臺設(shè)計

（一）數(shù)字交互系統(tǒng)設(shè)計：在對色彩映射聲音的模式、工作步驟進(jìn)行了梳理與探索之后，本研究嘗試建立一套實時色彩數(shù)據(jù)轉(zhuǎn)化生成為音樂及可視化圖形的一體化數(shù)字平臺，制造一個聽覺的城市色彩系統(tǒng)《盲人花園》。

本次工作流的研發(fā)重點內(nèi)容包括以下幾點：（圖6）

一是數(shù)據(jù)輸入，主要是對現(xiàn)場色彩數(shù)據(jù)（Color）的采集，內(nèi)容包括色相、明度、飽和度等。采集對象包括復(fù)雜的自然環(huán)境參數(shù)（Environmental）、路人（Passers）、盲人（Blindman）。

二是數(shù)據(jù)映射過程的實現(xiàn)，包括媒體控制界面（Media Instrument）的設(shè)計、局域網(wǎng)無線信號傳輸（Internal Network）、前期聲音設(shè)計系統(tǒng)（Design/Pre-Son）、色彩分析系統(tǒng)（Color Anyalyzer）、色彩-情緒分析系統(tǒng)（Color-Emotion Anyalyzer）、中樞處理系統(tǒng)（Central Process System）、音樂/聲音生成系統(tǒng)（Sound System）、圖形生成系統(tǒng)（Graphic System）。

三是數(shù)據(jù)輸出，包括最終生成的空間聲場（Sound Field）、整合空間與介質(zhì)的投影（Environmental Proiection Mapping）。

根據(jù)前期實踐，可總結(jié)出基本的數(shù)據(jù)處理流程：

第一步，數(shù)據(jù)采集。通過預(yù)先布置在空間區(qū)域內(nèi)的視象采集設(shè)備（Camera）將數(shù)據(jù)采集區(qū)域周圍的自然環(huán)境色彩以及隨機進(jìn)入的盲人、路人的色彩通過有線數(shù)據(jù)傳輸實時傳輸至場控電腦主機。

第二步，數(shù)據(jù)分析。自然環(huán)境色彩及盲人、路人的色彩被接入編寫好的色彩分析程序中，在存儲器上經(jīng)過預(yù)先編寫的程序運算，實時得出色相、明度、飽和度等程序分析結(jié)果，接著通過色彩一情緒分析系統(tǒng)推演出實時輸入的色彩塊面的情緒區(qū)間并呈現(xiàn)在電腦端。

第三步，數(shù)據(jù)處理。一方面，在音樂/聲音生成系統(tǒng)中根據(jù)前期對聲音的風(fēng)格化設(shè)計（印象派），將色彩數(shù)據(jù)映射為聲音，并以平板電腦終端將實時聲音數(shù)據(jù)通過無線傳輸至場控主機，另一方面，通過圖形生成系統(tǒng)，將色彩數(shù)據(jù)轉(zhuǎn)換為圖形，同時將投影儀與電腦圖像信號輸出端通過HDMI線鏈接，并通過分屏器將圖像信號同步投射到全息紗幕上，如此一來，實時色彩數(shù)據(jù)不僅生成空間聲場，而且生成整合空間介質(zhì)的圖形內(nèi)容，并實時呈現(xiàn)在體驗者面前。

第四步，數(shù)據(jù)流動。有三種生成《盲人花園》的方式：實時轉(zhuǎn)譯自然環(huán)境、盲人、路人24小時的色彩數(shù)據(jù)。一天中每小時數(shù)據(jù)，可以選擇某天?！轮忻刻鞌?shù)據(jù)，包括最高，最低和平均值。從而使輸入的色彩數(shù)據(jù)時時刻刻閃動變化，形成數(shù)據(jù)的流動，保證現(xiàn)場體驗者的實時互動體驗效果。

（二）聲音生成系統(tǒng)設(shè)計：在本項目中，如何讓數(shù)據(jù)經(jīng)過一種富有生機的算法被轉(zhuǎn)換為多種音色的序列，制造一個聽覺的城市色彩系統(tǒng)，是一個重要的議題。因此，在一體化工作流研究設(shè)計中，建立一套面向盲人群體的實時色彩數(shù)據(jù)轉(zhuǎn)化生成為音樂的前期聲音設(shè)計系統(tǒng)和音樂/聲音生成系統(tǒng)是重要的環(huán)節(jié)。結(jié)合上一節(jié)總結(jié)的“印象派”聲音映射理念，用音色、音響取代旋律、發(fā)展，注重聲音的表現(xiàn)力和生動性，以及情感的表達(dá)。

混音器，《盲人花園》可以生成三種聲音：一個由max/msp gen內(nèi)部制造的序列器與合成器所生成的噪音風(fēng)格，由外部音頻和采樣系統(tǒng)生成的弦樂合奏音色，包括斷奏和連奏等各種演奏法，由外部音頻和采樣系統(tǒng)生成的馬林巴音色。自然環(huán)境色彩數(shù)據(jù)包括每日和每時每刻，每日早晚溫差（光線）用來控制音量。調(diào)試控制系統(tǒng)將自然環(huán)境色彩數(shù)據(jù)及盲人、路人的色彩數(shù)據(jù)所轉(zhuǎn)換的原始音高再轉(zhuǎn)換為各種調(diào)試，包括一個（中國風(fēng)格）的五聲調(diào)式。一個簡單的節(jié)奏控制器，用來控制音樂生成的速度。測試過程中選擇2020年5月16日當(dāng)日小時的數(shù)據(jù)（圖7），來觸發(fā)一個弦樂合奏的音色。音高受色彩數(shù)據(jù)影響，音量受溫差（光線）影響。馬林巴的音高不是每個數(shù)據(jù)驅(qū)動一次，而是不斷在前后兩個數(shù)據(jù)之前游走，打破數(shù)據(jù)的表象連接，增強其詩意化。當(dāng)路人的色彩數(shù)據(jù)趨向某個特定的飽和度值時，噪音系統(tǒng)會發(fā)出一個“擠壓”來增加戲劇性。過去24小時數(shù)據(jù)被轉(zhuǎn)換成鋼琴音色與樂譜。當(dāng)月每天色彩數(shù)據(jù)飽和度的最高，最低和平均值將分別自由的觸發(fā)弦樂合奏的不同演奏法。實時轉(zhuǎn)換的色彩數(shù)據(jù)具有流動性，會使該系統(tǒng)產(chǎn)生永不重復(fù)的演奏法組合。數(shù)據(jù)的轉(zhuǎn)換混合了科學(xué)客觀性和藝術(shù)化情感。

（三）沉浸式交互空間設(shè)計：沉浸式交互空間設(shè)計是《盲人花園》一體化工作流的最后一個核心環(huán)節(jié)，根據(jù)Kinect體感設(shè)備的精度范圍、場地空間尺寸、投影尺寸范圍和人的感知尺度最終確定了一個由一系列幾何結(jié)構(gòu)的夯架組成的9.9米9.9米的正方盒子半透明空間，空間立面采用全息投影紗幕，可在自然環(huán)境中呈現(xiàn)較理想的視覺效果。在空間場地的中央位置，移植兩棵樹，樹高于空間外墻立面，這兩棵樹既可以作為行人停歇時依靠的支撐，也可以與周圍的樹木協(xié)調(diào)一致，這個設(shè)計體現(xiàn)了使交互空間融入大自然的初衷，而非簡單的用格子馴服現(xiàn)實。出入口設(shè)計在立面斜角相對的角落，為的是給投影預(yù)留足夠完整的畫幅?？臻g投影采用4臺工程投影儀，投影儀通過HDMl線和高清數(shù)字分配器連接電腦進(jìn)行圖像信息傳輸。圖形是由傳感器實時記錄的自然環(huán)境、盲人、路人色彩數(shù)據(jù)存儲為數(shù)據(jù)點，再由數(shù)據(jù)點轉(zhuǎn)換生成的可視化幾何圖像投影回物理環(huán)境之中，觸發(fā)視覺畫面的同步變換，由此，《盲人花園》生成了，它的空間內(nèi)部是色彩映射出的聲音場域，外部成為可觀看的數(shù)字景觀（圖8、9）。

結(jié)語

（一）數(shù)字景觀的生成：《盲人花園》將時間光線中變幻的自然環(huán)境色彩映射為聲音，聲音為盲人提供感受自然景觀與人文景觀的可能性，這種感受是主體獲取外界信息后與內(nèi)在心理認(rèn)知交疊而形成內(nèi)在感知空間，是盲人在限定的物質(zhì)空間中借助“身體圖式”使得心理體驗延伸而走向本真生活的過程。聲音也為明眼人建構(gòu)物理空間與數(shù)字空間的感知層疊，獲得更豐富的心理認(rèn)知提供途徑。《盲人花園》利用深感攝像頭捕捉自然景觀與人文景觀的色彩，通過數(shù)據(jù)編程處理觸發(fā)同步變換生成圖形，圖形為明眼人建立了可視化的公共空間景觀。

原研哉說過，人不僅僅是一個感官主義的接收器組合，也是一個敏感的記憶再生裝置，《盲人花園》將某一場地的地理、氣候、人文特質(zhì)以及人的流動利用數(shù)據(jù)轉(zhuǎn)譯系統(tǒng)形成新的關(guān)于時間和空間的視聽感覺刺激，它們將和人的再生記憶相互交織而成為一幅宏大圖景，形成以人為中心的數(shù)字人文景觀設(shè)計。它將給盲人及其他弱勢群體如兒童、老年人和殘障者等帶來更多的人文關(guān)懷。

（二）“空間”再造：同時，《盲人花園》具備的交互性，讓各種景觀借由聲音與圖形傳遞出不同的信息，建構(gòu)了數(shù)字空間連綿不斷的表現(xiàn)性，實現(xiàn)了一種“空間”再造。例如，每一個進(jìn)入花園的人由于自身的色彩進(jìn)一步激發(fā)了聲音的多重變奏，形成一種差異層次的混合聽覺空間。交互生成的“空間”也會隨著時間的推移，形成基于時空異質(zhì)要素變化的流動“空間”。以2020年5月16日為例，每小時的色彩數(shù)據(jù)表征為不同的聲音后，描述了自然現(xiàn)象和人們活動的不同場域，一天分別為節(jié)奏跳動的“白天劇場”、略微暗淡音色的“夜晚劇場”、流動、旋繞、活潑感的“人來人往”、節(jié)拍緩慢的“獨自一人”、泛音鋪陳的“無人環(huán)境”?！翱臻g”的流動性抵抗了平面單一的“瞬間”空間體驗，這一特性，是對諸多未能實現(xiàn)與使用者的互動、且難以給人帶來變動愉悅樂趣的傳統(tǒng)景觀空間的背離，它為推動一種新的鏈接自然、人與數(shù)據(jù)的開放公共空間的創(chuàng)造提供了新的視角與可能性。