李 穎

安徽工程大學藝術學院，蕪湖，241000

隨著社會的發(fā)展，新技術的應用，傳統(tǒng)的符號學或者是傳播符號學已難以完整地詮釋新型的傳播形態(tài)，特別是GPS定位、環(huán)境感應、三維成像、虛擬現(xiàn)實、視頻傳輸?shù)刃录夹g在手機領域的應用,一方面創(chuàng)造了全新的視覺符號，如虛擬現(xiàn)實、即時影像；另一方面，其符號傳播的過程更為復雜，手勢觸動界面，鏈接打開信息，將語言符號與非語言符號的傳播融混一體，互動媒體領域的符號傳播，完全打破了傳統(tǒng)符號傳播的常規(guī)形態(tài)，呈現(xiàn)全新的內(nèi)容和特點。

自媒體時代的視覺傳播以視覺符號為表達手段，符號為用戶提供了廣闊的意義交流和表達空間。符號是“攜帶意義的感知”[1]，用戶與屏幕交流的一切信息內(nèi)容通過符號來傳達。因此,觸屏媒介的信息交流是一個符號體系的傳播過程，驗證了符號傳播學在新媒介信息時代的衍變過程。

1 觸屏媒介的符號傳播

符號，包括語言符號和非語言符號，傳統(tǒng)符號學的研究是建立于語言結(jié)構(gòu)基礎之上的。法國語言結(jié)構(gòu)主義代表人物羅蘭·巴特對符號學的研究就是基于索緒爾的語言結(jié)構(gòu)學基礎之上的[2]，同時他也是將符號學理論應用于視覺傳播領域的先驅(qū)人物[3]。語言符號主要包括語音和文字，具有明顯的結(jié)構(gòu)。語言符號是以語音形式為能指、以語義為所指的聽覺符號系統(tǒng)[4]。

所謂非語言符號是語言符號以外可通過感官感受到的如表情、手勢、動作等。非語言符號更為復雜，具有即時、變化、連貫等特點。在人類社會早期，肢體語言是信息交流的重要工具，表情、手勢和動作是表達情感的有力符號。同樣在自媒體時代的界面?zhèn)鞑?，表情、手勢和動作仍然是觸發(fā)信息感應與傳播的有力符號。智能影像采集系統(tǒng)可以錄入人的表情、手勢與動作觸發(fā)信息界面的不同反應，觸屏界面以人的手指動作為觸發(fā)信息感應的先決條件。

1.1 觸屏媒介的視聽語言符號

將語言符號擴展至畫面語言與聲音語言，觸屏媒介的圖像、聲音、文字、影像等視聽元素共同構(gòu)成了觸屏界面的視聽語言符號體系，能其傳達界面的內(nèi)容、功能與用戶感知。以APP界面為例，觸屏媒介的視覺符號的外在形態(tài)主要表現(xiàn)為“圖”和“像”[5]，其中“圖”主要指圖標、圖形、圖示等，“像”包括動畫和影像，尤其“像”的視覺語素包括空間、色彩、聲音、運動等[6]。不難理解文字和圖像作為語言符號而感官形態(tài)更為豐富的影像、動畫、虛擬現(xiàn)實，融視覺和聽覺元素于一體，是新型的視聽語言符號。

APP界面的視覺表達以視覺符號為外在表征形式，以視覺意象為內(nèi)核內(nèi)容。所謂視覺意象是指事物的視覺化呈現(xiàn)，如照片是實際場景在界面上的視覺化呈現(xiàn)，代表這一場景的視覺意象。界面是視覺符號的聚集層，它所包含的文字、圖像、影音、動畫是界面內(nèi)容的視覺化呈現(xiàn)，APP系統(tǒng)通過界面與用戶發(fā)生信息交流與交互，用戶在接收到視覺符號的同時，結(jié)合自身的經(jīng)驗、邏輯和想象進行認知與感受，從而形成一定的視覺印象和視覺思維，這也是用戶視覺體驗的完整過程。可見，用戶界面的符號表達是APP系統(tǒng)用戶交流的“門窗”。用戶對于界面視覺符號的接收與處理過程如圖1所示。

圖1 APP界面視覺符號處理過程

1.2 觸屏媒介的非語言符號：手勢

“手勢”成為觸屏時代重要的身體語言符號。與大眾媒體的單向傳播不同，互動媒體的符號傳播與解讀是雙向的，一方面，用戶通過界面視覺符號的解讀獲取信息；另一方面，用戶發(fā)出的指令，作為一種動作信號，觸發(fā)新的界面視覺符號的呈現(xiàn)?！笆謩荨笔且环N新型的視覺符號，“觸屏”是一種全新的操作方式，包括點觸、擰轉(zhuǎn)、捏合、滑動等一系列操作，每一項操作指令基本上都可以分解為觸屏開始(touchstart)、觸屏移動(touchmove)和觸屏結(jié)束(touchend)的組合。區(qū)別于一般的視覺符號，觸屏操作符號具有更強的隨機性、變化性和即時性，通過刺激界面的連鎖信息反應而傳遞著屏幕界面的大量信息。

手勢符號通過屏幕感應觸發(fā)界面視覺符號，通過點觸和滑動手勢打開和切換界面，獲取不同界面的視覺符號，同時，視覺符號引導用戶操作，互相推進。以手勢為主的非語言符號觸發(fā)圖、文、影像、動畫、虛擬現(xiàn)實等界面視聽語言符號的變化，視聽語言符號又引導著非語言符號的發(fā)生，如導航圖標、鏈接、元素等對用戶操作的引導，呈現(xiàn)出無限循環(huán)的交互感應過程，如圖2所示。在此過程中，用戶的體驗是融視覺、聽覺、觸覺于一體的界面符號體系的感應過程。

圖2 觸屏交互過程

2 觸屏媒介的符號化體驗過程

觸屏媒介的符號傳播增加了互動的過程，與大眾媒介的單向交流相比，這一符號傳播具有很強的過程性，與其說是一種交流，不如說是一種體驗，體驗過程涵蓋了用戶在與媒介互動過程中全部的感官感受和心理感受，是用戶內(nèi)在狀態(tài)與系統(tǒng)情境相互作用的產(chǎn)物[7]。結(jié)合諾曼的認知理論[8]，從本能層的感官體驗，到行為層的操作體驗，再到反思層的心理體驗，互動媒介的視覺符號體驗反映人對事物的基本認知過程。用戶沉浸于多種視覺符號組合的媒介世界里，體驗著符號所帶來的意義和感受：通過設計符號體驗交互界面的外觀與風格，通過元素符號體驗交互界面的內(nèi)容呈現(xiàn)，通過美學符號體驗交互界面的視覺美感。

觸屏媒介提供密集、多元、復雜的符號化世界，小小的視框里展示著變幻莫測的信息世界，而這一世界是通過人的感官去體驗的。屏幕世界集合了圖、文、影像、聲音等多種語言符號，人們對于這一時空的體驗很難單單用“符號的解讀”去表達，而更多的時候是一種“符號的沉浸”。人沉浸到符號世界中，感官與符號建構(gòu)的環(huán)境相互作用。因此，互動媒介符號體驗的心理意義要遠遠高于它的邏輯意義，更加強調(diào)符號與人的關系。

3 觸屏媒介的符號化體驗的時空延展

3.1 符號體驗空間的無限性和虛擬性

互動媒介的視覺符號是以數(shù)字化符號為基礎的。尼葛洛龐帝在其著作《數(shù)字化生存》中提出人與數(shù)字的共生關系[9]。數(shù)字技術建構(gòu)的視像可以是仿真的，也可以是虛擬的。數(shù)字化的虛擬符號世界是有形與無形的同構(gòu)，全方位地調(diào)動人們的視覺、聽覺、觸覺與運動感知，通過點擊、手勢互動、穿戴設備零距離體驗數(shù)字化的符號世界，得到突破自身局限的超現(xiàn)實體驗。體驗空間從界面延伸到設備，從軟件延伸到硬件，從“視窗”延伸至無限的信息交互空間，因此符號體驗空間是無限的。

屏幕世界是多種視覺符號交織、綜合的系統(tǒng)，屏幕一方面為人們提供了虛擬體驗的環(huán)境；另一方面提供了體驗的工具，在虛擬環(huán)境中開啟了想象，對符號信息的理解，在“翻譯”的基礎上又增加了想象的空間，意義被解讀、延伸和再創(chuàng)造。

3.2 符號體驗的時空特性

觸屏媒介符號體驗的時空特性主要表現(xiàn)為時間、空間的符號化以及符號化的時空體驗。

首先，互動媒體的動畫、影像、交互空間等視覺元素都是基于時間的空間變化的體現(xiàn)，呈現(xiàn)出一定的時間性，且時間的變化與用戶的操作選擇相關，空間的感受是基于用戶視覺和知覺的虛擬體驗，可以是二維的、三維的或多維度的，也可以是虛擬的，或真實場景的再現(xiàn)。

其次，用戶連續(xù)發(fā)出的手勢符號與界面視覺符號相互刺激、交互變化，構(gòu)成一個連續(xù)的符號體驗空間。超越視聽的虛擬體驗更符合用戶對于交互界面的更高要求。

再次，時間與空間的符號化?；用襟w中的時間與空間要素同樣以符號的形式呈現(xiàn)，并表現(xiàn)出具象的屬性(如時間的幀、時間線、長度屬性，空間的維度、大小等屬性)，用戶通過符號感受著時間與空間的存在和豐富的時空體驗。

4 體驗主體的符號化

德國學者卡西爾將人定義為符號的動物[10]。在數(shù)字化的虛擬世界里，符號重構(gòu)了人的意義，在這一層面上再去理解“人是符號的動物”這句話，就有了超現(xiàn)實意義。

進入屏幕世界的人具有雙重身份：符號的使用者和作為符號的人。網(wǎng)絡世界中的人是一個符號，比如人們在網(wǎng)站上的賬號、頭像、昵稱，是一個虛擬的“人”的標記；作為符號的人，能夠直接與其他符號互動，產(chǎn)生意義；同樣觸動著符號世界的變化和反應，形成人與符號共生的連接關系。但是“人”的符號與其他符號有著顯著的不同，畢竟是真實的人在網(wǎng)絡上的化身，附加了強烈的主體意識和能動性。

4.1 符號重構(gòu)并傳達了人的審美價值

借鑒臺灣學者葉嘉瑩提出“興發(fā)感動”[11]的體驗層次理論，用戶對于觸屏界面的審美體驗過程由“官能的觸引”到“情感的觸動”再到“感發(fā)之意趣”，運用于觸屏媒介的符號體驗過程，正是由界面視聽語言符號引發(fā)的一種由官能的感知到心理情感的變化，進而觸發(fā)心靈上的感發(fā)力量，如沉浸、依賴、聯(lián)想和想象等。

觸屏媒介界面在與用戶互動的過程中，通過雙向選擇構(gòu)建了富有人性化特點的信息界面，人們對顏色、版式、布局的偏好也同時體現(xiàn)在對界面的選擇上。一方面，符合用戶個性化審美特征的界面和元素更容易吸引用戶的注意；另一方面，用戶會主動選擇更為符合自身審美偏好的界面和元素。而觸屏界面的符號化體系的構(gòu)建在雙向選擇和動態(tài)構(gòu)建的過程中展現(xiàn)了作為體驗主體的人的審美傾向。與以空間和距離作為基本要素的傳統(tǒng)審美不同，數(shù)字化的審美過程處處體現(xiàn)著速率之美、變化之美和響應之美。用戶的每一次點擊、觸碰、擰轉(zhuǎn)等手勢操作都觸發(fā)著界面符號系統(tǒng)的連鎖反應，而呈現(xiàn)在用戶面前的信息界面正是用戶操作選擇的結(jié)果，傳達著用戶的審美價值。

4.2 符號重構(gòu)并傳達了人的思維活動

觸屏媒介的符號體驗是由感官體驗引發(fā)交互行為，觸發(fā)思維活動的過程。人們對于界面的認知反應，對于交互行為的選擇以及對于信息界面的處理行為，處處體現(xiàn)并傳達著人的思維活動。這一思維活動過程一部分發(fā)自于人的主體意識：一方面受到界面符號的影響。人們在不同的界面符號的刺激下會產(chǎn)生不同的思想活動，這是人的主體意識與界面符號互相作用的結(jié)果。由于體驗過程是動態(tài)變化的，界面信息的變化刺激用戶感官，引導著用戶行為，催生著大腦皮層的連鎖反應，構(gòu)建快速變化、高度敏感的用戶思維活動。另一方面，界面符號體系的衍變是用戶操作選擇的結(jié)果，是用戶思維活動的有效傳達。

4.3 符號重構(gòu)并傳達了人的意義情感

觸屏界面用戶交互過程中，通過符號傳達了用戶的內(nèi)心活動，融入了用戶的感官與心理活動，符號世界中的人是虛擬的人，同時是富有主體情感的人。人們在觸屏界面交互過程中信息獲取的滿意度、視覺體驗的舒適度、交互體驗的流暢性帶給人們不同的心理情感反應。符號世界中的人是高度敏感的，在與界面互動的過程中，觸發(fā)了用戶的多種情緒，如界面交互時流暢體驗的愉悅感、界面打開時信息呈現(xiàn)的好奇感、網(wǎng)速較慢時焦急等待的焦慮感以及信息交互時未能獲取需求信息的沮喪感等。各種不同的情緒可能在短短的幾秒內(nèi)錯綜變化。

觸屏界面的符號世界帶給體驗主體共生感與沉浸感。全身心投入屏幕界面的人是忘我的，符號引導著人的行為和心理活動，而即將離開屏幕符號世界時，又會產(chǎn)生不適與依賴，這也是觸屏時代的人們媒介依存癥越來越嚴重的原因。觸屏時代的符號世界所構(gòu)建的人的意義情感是超越以往任何一個時代人們的自我認知與想象的。

5 結(jié) 語

觸屏媒介的信息交流過程是一個符號傳播的過程。隨著社會的發(fā)展，傳統(tǒng)符號學理論已難以適應各種新型的傳播形態(tài)，特別是以屏幕為介質(zhì)的互動傳播領域。有別于傳統(tǒng)的單向交流與被動接收，觸屏媒介的信息交流呈現(xiàn)出交互呈現(xiàn)、互動演進、無限延伸的傳播形態(tài)，以聲音、畫面、文字為主的視聽語言符號刺激著人的感官，引導著用戶行為，觸發(fā)不同的用戶心理反應；以手勢為主的非語言符號觸發(fā)包括圖、文、影像、動畫、虛擬現(xiàn)實等在內(nèi)的界面視聽語言符號體系的不斷變化，進而引發(fā)用戶行為、思維和心理的連鎖反應，交錯呈現(xiàn)出無限循環(huán)的交互感應狀態(tài)。

同時，觸屏媒介的信息交流過程是一個符號化體驗的過程。在此過程中，人作為一種特殊的符號，體驗著觸屏帶來的豐富多彩、變化多端的符號世界。人的肢體語言特別是手勢動作被符號化，作為一種操作符號觸發(fā)著界面的連鎖反應。符號化的體驗空間呈現(xiàn)出虛擬和無限延伸的時空特征，重構(gòu)和拓展了人的體驗空間。與其他符號不同，作為體驗主體的“人”的符號，附加著強烈的主體意識與能動性。在與界面符號共同構(gòu)建的連接關系中增強了人的體驗，重構(gòu)了人的審美價值、思維活動和意義情感，并且這些全新的主體特征在界面符號體系中得到了有效傳達。觸屏媒介構(gòu)建的全新人類符號體驗空間，有著很大的創(chuàng)作空間和研究價值，需要進行更多富有價值和趣味性的探索。

參考文獻：

[1]趙毅衡.重新定義符號與符號學[J].國際新聞界,2013(6)：6-14

[2]羅蘭.符號學原理[M].李幼蒸,譯.北京：中國人民大學出版社,2008：1-10

[3]李思屈,劉研.論傳播符號學的學理邏輯與精神邏輯[J].新聞與傳播研究,2013(8)：29-37

[4]聶志平.語言符號論[J]．東南大學學報：哲學社會科學版，2017，14(4)：66-72

[5]國玉霞，顏士剛.論視覺傳播視野下的知識可視化過程[J].電化教育研究,2016(3)：21-25

[6]赫伯特.圖像·聲音·運動：實用媒體美學[M].3版.趙淼淼，譯.北京：中國傳媒大學出版社，2003：231-232

[7]Hassenzahl M，Tractinsky N．User Experience-a Research Agenda[J].Behavior and Information Techn-ology，2006，25(2)：91-97

[8]諾曼．設計心理學3：情感化設計[M].何笑梅,歐秋杏,譯.北京：中信出版社，2015：8

[9]尼古拉.數(shù)字化生存[M].胡泳,譯.北京:電子工業(yè)出版社,2017:82-88

[10]卡西爾.人論[M]．李琛，譯.上海：上海譯文出版社，2004：37

[11]朱維.葉嘉瑩“興發(fā)感動”理論對王國維“境界”的體系化及反思[J].重慶師范大學學報：哲學社會科學版，2012(6)：37-43