馮 文 博

(渭南師范學院 莫斯科藝術學院，陜西 渭南 714099)

?

【藝術研究】

視覺傳達多模態(tài)下的視知覺分析

馮 文 博

(渭南師范學院 莫斯科藝術學院，陜西 渭南 714099)

研究數(shù)字環(huán)境下，視覺傳達多模態(tài)下人的視知覺表現(xiàn)。方法：從人類認知事物的環(huán)境變化入手，把虛擬作為數(shù)字技術下視知覺的主要特征進行分析，探討了人認識活動被動到主動的轉(zhuǎn)變，并隨著對視覺信息多元化的理解，人類記憶的矛盾也開始凸顯。結論：提出了在多模態(tài)的視覺信息傳達中，人類視知覺體驗發(fā)生了變化，視覺信息內(nèi)容表現(xiàn)形式和視覺信息傳達手段的多樣化，以及人和信息之間交互關系的增加，也讓審美主體的審美體驗越來越個性化、風格化。

視覺傳達；多模態(tài)；視知覺；視覺語言

一、發(fā)展變化中的視覺形式

隨著社會信息化和數(shù)字化的普及，我們面臨的視覺形式也產(chǎn)生了變化，其中最主要的變化就是視覺信息的傳播由單模態(tài)向多模態(tài)轉(zhuǎn)變。單模態(tài)下的信息傳播主要以單一的手段或者形式完成，比如圖形模態(tài)、圖像模態(tài)、聲音模態(tài)、視頻模態(tài)、交互模態(tài)等；多模態(tài)下的信息傳播可以是兩種或者兩種以上的單模態(tài)相互組合，形成傳播手段和承載形式完成信息傳達。

這種變化的主要原因在于，隨著科學技術的發(fā)展，受眾對信息載體的要求越來越高，信息的表現(xiàn)形式也越發(fā)復雜和多樣。這種多樣化的視覺信息表現(xiàn)形式在信息傳達中，不僅要考慮形式自身的表現(xiàn)能力、表達方式、形式美感以及形式中所包含的內(nèi)容，還要考慮人的視知覺反應、群體心理特征、個體的人生經(jīng)驗和視覺體驗。同時在以互聯(lián)網(wǎng)為基礎、數(shù)字技術為支持的環(huán)境下，技術因素也是其發(fā)展的重要成因。

多模態(tài)正是在這種數(shù)字語境下出現(xiàn)的信息傳播形式?；ヂ?lián)網(wǎng)作為受眾日常生活的重要組成部分，正是這種生活方式的轉(zhuǎn)變使得信息傳播方式逐漸轉(zhuǎn)變，原有的單一模態(tài)的、線性的傳達形式轉(zhuǎn)為多模態(tài)、非線性的形式，數(shù)字技術更是讓這種形式有了更大的發(fā)展空間和表現(xiàn)力。

二、視知覺心理活動

(一)認知環(huán)境的變化

視知覺是人類對事物認知的主要手段，“而視覺知覺則包括圖形知覺、圖像識別、空間知覺等，是人從客觀環(huán)境的許多刺激物中區(qū)別某種圖形，識別熟悉的圖像，產(chǎn)生三維空間感的能力”[1]23。不論是圖形知覺、圖像識別還是空間知覺，這都是人類對認知客體的視知覺感受，這種感受可以是圖形圖像和形狀色彩，也可以是客體的運動變化。如果認為這就是主體對客體的視覺知覺，那就錯了，就人類產(chǎn)生的視覺認知來說，除了認知客體自身外，客體所處的環(huán)境也是重要的組成部分。環(huán)境的不同，使得人類在認知過程會產(chǎn)生差別，同樣大小的一個黑圓，分別位于大小不同的方形環(huán)境中，或者放在大小不同圓的包圍中，給人的感覺卻是形狀大小不一樣(如圖1)。同樣長短的直線因為環(huán)境不同，給人造成長短不一的錯覺(如圖2)。

圖1 圓的錯覺

圖2 直線的錯覺

在數(shù)字技術的影響下，視覺形式發(fā)展了(單模態(tài)到多模態(tài))，人類認知事物的環(huán)境也逐漸發(fā)生變化。在傳統(tǒng)情況下，人類的視知覺產(chǎn)生是在一個真實的光影環(huán)境下，光線和陰影是視知覺發(fā)生的前提條件。正如阿恩海姆所說：“明暗是個別和獨立的物體的一個屬性，而光線照射卻為一切物體的存在提供了一個共同的基礎。有了這個基礎，物體和物體的各個部分才能從黑暗的深淵中顯現(xiàn)出來?！盵2]442光線通過明暗、色彩、強弱等形成一定的環(huán)境氛圍，影響受眾的主觀視覺認知。在視覺傳達過程中有些環(huán)境是人類有意形成的，目的無外乎加強信息表現(xiàn)的力度，加強視知覺的強度。換句話說環(huán)境也是有“意味的形式”。環(huán)境的視覺認知主要是以色彩、光影的象征、主體和背景相互對比襯托來實現(xiàn)的(如圖3)。這種襯托的元素越多，主體的視知覺范圍越明確，襯托環(huán)境數(shù)量、內(nèi)容、關系的變化影響人的視知覺認知。在新的數(shù)字語境下，人類的視知覺環(huán)境發(fā)生了改變，虛擬是其主要特征。虛擬是相對于真實環(huán)境而言的，數(shù)字虛擬下的視覺認知環(huán)境，更多地依靠計算機、數(shù)據(jù)頭盔、環(huán)幕、數(shù)據(jù)手套、全息投影等技術設備來實現(xiàn)。這種虛擬環(huán)境人為因素比真實環(huán)境要大得多，真實環(huán)境下的人為設計雖然也有，但是大都因勢利導，不像虛擬環(huán)境中純粹的人為設計操作，使得信息的傳達更具目的性。

圖3 在黑色背景襯托下的白色三角

(二)從被動接受到主動參與

人類的認知活動是從知覺開始的，當感覺的視覺信息被注意才能完成識別。人類的注意行為通常分為主動注意和被動注意，被動注意是因為客體對象的原因，刺激到受眾從而產(chǎn)生注意行為。傳統(tǒng)環(huán)境中，被動注意下的視覺信息是信息編碼者提前編輯設計好的，受眾只能被動接受，在認知過程中處于被動接受地位，然后提出批評。如某個活動的標志設計、海報、宣傳標語、形象大使、宣傳片等，這種提前被設計好的視覺信息受眾無權修改變換，只能被動接受。主動注意指的是受眾有意識的認識客觀對象，而產(chǎn)生的意識行為。主動注意下受眾的行為模式會受到改變，在信息的編碼和解碼過程中，受眾會成視覺語言信息的主導者，從而主動參與到信息傳播過程中。如在數(shù)字環(huán)境中我們了解一個地方，除了在官方網(wǎng)站、微博、微信和信息圈中，通過圖形圖像、視頻動畫、交流互動等了解其文化意義表達外，我們又可以主動參與其中，把自己對該地方的了解通過數(shù)字手段表達出來，個人的表達可能會有些偏頗，但是不能否認它在一定程度上完善了該地方的視覺語言，有甚至還會成為該地方另一個文化。視覺語言的多模態(tài)呈現(xiàn)則最大化的加速了這一過程，其加速不僅體現(xiàn)在視覺信息交流手段方式的變化，更體現(xiàn)在視覺信息內(nèi)涵的拓展上。

(三)對視覺信息的理解多元化

隨著人們逐漸參與到視覺信息本體的構建上來，把自己對視覺對象的理解看作是對象的一部分，不再人云亦云，隨之而來的就是人們對視覺信息表達方式提出更高的要求，于是視覺信息多模態(tài)表現(xiàn)應運而生。應該說這兩者之間是一個相輔相成的關系，相互促進的關系，多模態(tài)化視覺信息表達手段豐富了人類的語言表達能力，人類對信息本質(zhì)的追求又更進一步促進了表達手段的發(fā)展。就認知心理學來說，人類所有的行為意識，都可以理解為對信息對象的問題解決過程，從對信息的輸入認識—信息的編碼加工—信息的輸出傳播，無不顯示其對信息的理解。數(shù)字環(huán)境下的今天，人們對信息尤其是視覺信息的認知已經(jīng)到了主動階段，也就是說人們不僅僅限于對視覺信息本身的認識，更要求在自我理解下對其進一步進行設計加工，形成視覺表達，進而進入大眾傳播(如圖4)。

圖4 視覺信息多元化示意圖

認知心理學之所以被稱之為信息加工理論，就是因為它以信息加工為核心來理解和解釋人類的高層次思維活動和信息加工之間的關系。在這種關系下多模態(tài)化視覺信息被人的視知覺感知，通過知覺、注意、理解、思維活動、視覺語言和人工智能等方式完成。

(四)記憶矛盾顯現(xiàn)

普通心理學將記憶定義為：經(jīng)驗的印留、保持和再作用的過程。[3]71記憶的過程就是把感知到的信息經(jīng)過編碼轉(zhuǎn)化成人腦可保存的模式。如果說傳統(tǒng)環(huán)境下記憶的目的是存儲，那么視覺語言多模態(tài)情況下記憶的目的已經(jīng)不再僅僅是存儲，更多的是信息二次加工，是對信息的解碼到編碼加工的過程。多模態(tài)化的視覺信息傳播使得信息源在更直觀的方式下被識別、記憶，同時其內(nèi)涵也不斷得到擴充。隨著人的知覺經(jīng)驗不斷增加，人類在數(shù)字技術的支持下，利用人機交互的手段、通過多模態(tài)的方式，信息源被無限的抽象和簡化了。

三、信息多模態(tài)下思維活動模式分析

(一)思維活動的變化

人的思維活動，不僅受認知環(huán)境影響，更是受到信息傳達手段、方式的影響。當我們的神經(jīng)元感受到的信息越多，信息強度越大，大腦所產(chǎn)生的思維反應就越大。信息單模態(tài)下，大腦接受的信息比較單一，思維活動相對的比較單一，層級也比較低。信息多模態(tài)下，大腦接受得信息渠道變多，手段變強，本來只是一個圖形模態(tài)傳遞的信息，變成聲音、文字、圖形圖像、視頻等多個模態(tài)組合傳播(如圖5)，受眾可在角度、多層級，多維度的了解信息，思維活動相應的也變得強烈深刻起來，受眾的思維受到的影響因素隨之變得多起來。

圖5 信息多模態(tài)下視知覺活動

(二)視知覺的變化

信息多模態(tài)下，人的思維活動變化了，相應的人的視知覺也跟著改變。首先改變的是人的視覺注意力，人的視覺注意力一般受客體和客體存在環(huán)境的影響，信息多模態(tài)下，客體表達方式多樣化以及虛擬環(huán)境的強化認知，使得視覺注意力得到加強；其次視覺記憶加快了，當人單獨通過視覺記憶感知一個物體時，思維所形成的聯(lián)想和想象是單純的視覺式的，如果這種記憶感知再配合聽覺、嗅覺、觸覺等方式，其造成聯(lián)想和想象則是立體的、全方位的，這種對神經(jīng)元多層次的沖擊，讓記憶的速度被無限加快了。第三就是視覺想象力的降低，當我們告訴一個人獅子的外貌的時候，他對獅子的想象則是無窮大的，是各式各樣的，因為這一切全部源于你的語言描述，就如同中國民間藝人對獅子的造型一樣。但是當你不僅讓他看了獅子的造型，還介紹甚至讓他身臨其境感受獅子的威猛，那么它對獅子的想象就受到局限，他甚至再也畫不出個性化的獅子造型來。這種多角度的信息傳達，就是這樣，它讓受眾對對象的理解變得簡單，讓受眾的想象力受到約束。最后圖形的識別能力得到加強，單純的視覺信息，讓人對圖形的辨別能力降低，多模態(tài)的信息傳達，則使得受眾可以得到多種提示，來加強視覺認知。

(三)視知覺思維模式

在新的數(shù)字環(huán)境下，受眾的思維活動變得更加活躍和強烈起來，視知覺的注意力進一步加強，視覺記憶加快，對圖形圖像的識別能力變強，不過相應的視覺想象力降低。在這種情形下視覺思維的模式也有了變化。通常我們談到思維模式，就會說理性思維、感性思維、線性思維、非線性思維等，在信息多模態(tài)傳達下，思維活動已經(jīng)不是單純的某一種模式，而是多樣的結合。我們可以把它稱之為技術藝術思維模式，技術藝術思維模式是一種把技術的理性思維和藝術的感性思維相結合的復合型思維類型。這種思維模式在活動過程中，具備群體性思維、互動性思維、合作性思維、資源性思維和形式思維五個特點。[4]26-27

四、信息多模態(tài)下視知覺體驗特征

(一)視知覺的選擇性

隨著人類認知環(huán)境的逐漸變化，在虛擬環(huán)境中，受眾面臨對象的表達方式以多樣的形式呈現(xiàn)出來，(好比圖形圖像的表述手段，可以有若干種不同的藝術形式表達每一種的審美體驗和視覺感受都不相同，達達主義的、表現(xiàn)主義的、水墨風格的、剪紙、皮影、刺繡等民間風格的)這么多種形式以及形式的組合方式，帶給受眾的則是多樣化的選擇。

當然除了選擇客體的視覺表現(xiàn)形式外，視覺認知方式也是可以選擇的。視覺認知方式就是人類在網(wǎng)絡虛擬環(huán)境中采用什么手段認知對象。視覺信息多模態(tài)下，不僅視覺信息的承載媒介或者信息傳達的技術手段有多樣化的選擇，比如現(xiàn)代科學技術給我們提供的諸如電腦、手機、數(shù)據(jù)頭盔、數(shù)據(jù)手套、觸摸屏、環(huán)幕、增強現(xiàn)實技術等，每一樣都可以增強人類視知覺認知上的能力；而且視覺信息表現(xiàn)的多模態(tài)化，也使得視知覺的選擇多樣起來，視知覺可以選擇單一模態(tài)的文字、圖形、圖像、視頻、虛擬對象等，也可以多模態(tài)的方式呈現(xiàn)。

(二)視知覺的交互性

視覺語言的信息傳播，在數(shù)字技術的支持下從單向已經(jīng)變化為雙向的。單向傳達指的是視覺信息的編碼到解碼的過程，比如傳統(tǒng)的讀書看報，聽廣播看電視。雙向傳達指的是視覺信息的輸入到信息的加工再到信息傳播的過程雙向可逆性(圖4)。這一情況在數(shù)字技術的介入下已經(jīng)成為信息主客體雙向變化影響的過程，客體在向主體傳遞信息的時候，主體因其生活經(jīng)驗的不同，知識、學歷、認知等背景差別，視角的變化，會以自身反饋給客體，使得信息客體的內(nèi)涵變化更豐富起來，而且這種變化在現(xiàn)代技術的支持下會及時作用于信息客體。甚至會因為一些社交媒體如微博、微信平臺、網(wǎng)絡、聊天平臺等讓信息和受眾的交互上升到受眾—信息—受眾的多方互動，這種多模態(tài)的信息交流方式，讓人類認知得到極大化的提升，事物本質(zhì)也被這種交互的方式從更多的角度得以挖掘。

就交互性來說，新媒體下的交互有兩種表現(xiàn)形式，一種是桌面式交互，一種是現(xiàn)場式交互。[5]38桌面式交互主要是通過電腦、手機、PDA、電子閱讀器、iPad等屏幕來實現(xiàn)，以鼠標或觸屏為交互手段，這種交互方式中，視知覺的多模態(tài)體驗局限在視聽交互層次，比如多媒體動畫、虛擬漫游、虛擬展覽館、VR展示等。這種桌面式的人機互動把純粹的視覺動畫和受眾的參與結合起來，讓人身臨其境，極大地拓展了人的視覺主動性，對信息的接受也由完全被動變?yōu)橛羞x擇性的主動參與。2008年故宮的“超越紫禁城項目”就是這樣一個典型，受眾在網(wǎng)絡上進入故宮，并且體驗大臣、宮女、太監(jiān)等不同身份，感受皇宮不同的活動，如同游戲一般。現(xiàn)場式交互多是借助虛擬現(xiàn)實技術，通過多通道的人機交互來讓受眾體驗包括視覺、味覺、觸覺、聽覺等在內(nèi)的沉浸式體驗。這種形式的信息感知更多樣，已不僅僅局限于視知覺。

(三)視知覺的審美體驗的個性化

眾所周知，視覺藝術的審美樣式來自于專業(yè)的圖形圖像設計師和藝術家的手中，但是隨著20世紀60年代后期，波普藝術在世界范圍內(nèi)流行開來，它打破了生活和藝術的界限，打破了高雅和低俗的界限，使得藝術走向了大眾化、個性化、通俗化的方向。而這一過程被互聯(lián)網(wǎng)無限加快和放大了。人民群眾的生活、學習、工作等都受其影響，在這里人人都是P圖高手，人人都是視覺符號的設計者和傳播者，手機隨手隨時拍的圖片視頻，飛快地在一個個事物周圍形成信息群，這些信息群也因為設計者審美背景的差異，形成視覺表現(xiàn)百花齊放的情形。

視覺語言的多模態(tài)化讓受眾之間出現(xiàn)了分化，形成了一個一個群體，這些群體因為職業(yè)不同、信仰差異、知識學歷背景、民族、地域等聚在一起，他們的審美認知有著這樣那樣的相似點。相似的社交群之間又因為個體的差異，在信息視覺表達中呈現(xiàn)個性化的特征。

(四)全色相的色彩感知

色彩不是視覺傳達下的一個表達模態(tài)，它的信息傳達通常要借助某種具體的形式來完成。傳統(tǒng)的單模態(tài)下，色彩是減色模式，以印刷色為主。新媒體環(huán)境下，多模態(tài)的傳達模式過程中，色彩的表現(xiàn)發(fā)生了很大變化，主要表現(xiàn)為RGB模式的應用。RGB模式是一種紅色、綠色、藍色相互疊加混合而成的色彩模式，也叫加色模式。這種模式是一種屏幕顯示模式，它主要用于網(wǎng)絡多媒體的顯示上。色彩有16777216種之多，幾乎顯示了人眼所能感知的和不能感知的所有顏色。色彩對視知覺的影響除了顏色數(shù)量外，顏色強度(明度和飽和度)也是一個很重要的因素。RGB模式下顏色強度到了一個新的高度，尤其是顏色之間的組合使得這個高度范圍更廣更大。從手機、電腦顯示屏到立體投影，人能感知的色彩效果越來越多。

總而言之，在讀圖時代的今天，人們對事物的觀察，對事件本質(zhì)認知，已經(jīng)越來越多的依賴更加直觀的視覺形式(圖形圖像、視頻)，越來越多的通過多模態(tài)化的語言模式，通過現(xiàn)代各種數(shù)字媒介來實現(xiàn)。人們主動的參與到信息源的構建，他們既是設計者和傳播者又是接受者，這種主動的心理態(tài)勢也讓信息的內(nèi)涵呈現(xiàn)出動態(tài)的組成中。相應的多模態(tài)視覺語言下的視知覺也出現(xiàn)了多樣化特點，人類可以在多樣選擇中，通過人機交互的方式完成個人的審美體驗之旅。

[1] 曹方.視覺傳達設計原理[M].南京：江蘇美術出版社，2005.

[2] [美]魯?shù)婪颉ぐ⒍骱Ｄ?藝術與視知覺[M].滕守堯，譯.成都：四川人民出版社，2005.

[3] 張祖述，沈德力.基礎心理學[M].北京：教育科學出版社，1987.

[4] 楊崗，羅維亮.技術和藝術思維[M].西安：西北大學出版社，2010.

[5] 李四達.數(shù)字媒體藝術[M].北京：清華大學出版社，2012.

【責任編輯 郝丹娜】

An Analysis of Visual Perception from the Multi-modal Visual Communication

FENG Wen-bo

(Moscow Art School, Weinan Normal University, Weinan 714099, China)

The paper is to study the visual perception performance of human beings under the multi-modality of visual communication in the digital environment. From the environment change of human cognition, it analyzes the main features of virtual perception as digital technology, and discusses the change from passive to active. And with the understanding of visual information diversification, the contradiction of human memory also began to highlight. Conclusion. In the multimodal visual information transmission, human visual perception experience has changed, visual information content expression forms and visual information communication means diversification, as well as the interaction between human and information increase, which makes the subject’s aesthetic experience individualized and stylized.

visual communication; multi-modal; visual perception; visual language

J0-05

A

1009-5128(2016)23-0093-05

2016-10-09

渭南師范學院特色學科建設項目：秦東非遺文化傳承的多模態(tài)(14TSXK09)

馮文博(1979—)，男，陜西咸陽人，渭南師范學院莫斯科藝術學院副教授，藝術學碩士，主要從事民間藝術數(shù)字化研究。