張德祿

(同濟(jì)大學(xué),上海,200092)

1. 引言

符號(hào)資源(semiotic resource)是符號(hào)系統(tǒng)的集合。人們可以通過(guò)“可識(shí)別的、多半是習(xí)慣性的(有時(shí)是原創(chuàng)的)方法使用這些資源,從而得以開展有意義的活動(dòng)”(Lemke 1993)。所謂“習(xí)慣性”的方法指一個(gè)社團(tuán)中的成員可以同時(shí)采用一系列符號(hào)資源來(lái)形成經(jīng)常的、可重復(fù)的、可識(shí)別的、有意義的、文化的和歷史的特殊符號(hào)類型的方法,是一個(gè)符號(hào)建構(gòu)的過(guò)程,如某一時(shí)期的文學(xué)語(yǔ)類。同樣,建筑風(fēng)格、房子類型、宗教儀式、特定節(jié)日、飲食、衣著的特定樣式都可以定義為行動(dòng)性的、有規(guī)律的模式,是對(duì)社會(huì)有意義的實(shí)踐模式。

2. 符號(hào)系統(tǒng)與多模態(tài)話語(yǔ)研究

任何符號(hào)系統(tǒng)都是用于社會(huì)交際的,但在以前的符號(hào)學(xué)研究傳統(tǒng)中,研究的重點(diǎn)不是符號(hào)系統(tǒng),而是獨(dú)立的符號(hào)個(gè)體,即某個(gè)符號(hào)與其所表達(dá)的意義,如紅色可以表示“危險(xiǎn)”。而多模態(tài)話語(yǔ)研究主要研究符號(hào)是如何共同在交際中起作用。例如,在語(yǔ)言中,我們不是只研究某個(gè)詞的意思,而是研究該詞是如何與其他詞組成一個(gè)系統(tǒng),以及如何與其他詞組合為句子來(lái)表達(dá)意義。

意義在這里不是指某個(gè)單獨(dú)的符號(hào)所表達(dá)的意義,而是某個(gè)符號(hào)系統(tǒng)的“意義潛勢(shì)”。不同的符號(hào)組合可以體現(xiàn)不同的意義。例如,在圖像中,不是研究紅色可以體現(xiàn)什么意義,而是研究它和其他因素,如形狀、布局、所配的文字等如何組合,如何在圖像整體中布局,以及如何與其他因素搭配來(lái)共同體現(xiàn)意義。例如,Kress和van Leeuwen(1996)就采用語(yǔ)法方法來(lái)研究圖像是如何體現(xiàn)意義的。在語(yǔ)法中,發(fā)話者可以從任何可利用的符號(hào)系統(tǒng)中選擇符號(hào)特征來(lái)體現(xiàn)要表達(dá)的意義。多模態(tài)方法就是用以說(shuō)明我們交際的方式很少是單模態(tài)的,如口語(yǔ)、書面語(yǔ)、手勢(shì)等,而是多種模態(tài)組合起來(lái)共同起作用,包括視覺(jué)的、聽覺(jué)的、觸覺(jué)的各種模態(tài)。

在社會(huì)交際中,一種社會(huì)符號(hào)系統(tǒng)就是一個(gè)模態(tài)。每個(gè)模態(tài)都有一個(gè)媒介系統(tǒng),體現(xiàn)詞匯或者詞匯語(yǔ)法,從而體現(xiàn)意義。人類在特定文化中可以利用的符號(hào)系統(tǒng)是無(wú)限的。從這個(gè)意義上講,我們?cè)谏鐣?huì)交際中可利用的符號(hào)資源是無(wú)數(shù)的。

多模態(tài)話語(yǔ)研究是從語(yǔ)言學(xué)研究中發(fā)展起來(lái)的,研究的著眼點(diǎn)是單個(gè)模態(tài)的交際,或者是口語(yǔ),或者是書面語(yǔ)。在其他模態(tài)的研究中,研究的著眼點(diǎn)也是單模態(tài)的,如繪畫。隨著現(xiàn)代科技的發(fā)展,多模態(tài)話語(yǔ)研究就變得越來(lái)越重要,越來(lái)越必不可少。

從多模態(tài)話語(yǔ)分析的角度講,模態(tài)之間沒(méi)有主次、先后、輕重之分,所有的模態(tài)都應(yīng)該是同等的。它們的具體模式和系統(tǒng)都應(yīng)該得到理解和認(rèn)識(shí),包括它們的語(yǔ)法系統(tǒng)和結(jié)構(gòu)。不僅以語(yǔ)言為主的交際是如此,以其他媒體為主的交際也是如此。這顯然會(huì)使主要研究語(yǔ)言系統(tǒng)和模式的學(xué)者感到對(duì)圖像、電影的研究深度不夠,過(guò)于印象化、表面化,因此要像研究語(yǔ)言那樣研究各個(gè)模態(tài)的語(yǔ)法系統(tǒng)。但語(yǔ)言學(xué)家對(duì)語(yǔ)言之外的其他模態(tài)缺乏了解,需要對(duì)這些模態(tài)進(jìn)行更加深入的研究。盡管如此,他們還是模擬語(yǔ)言語(yǔ)法對(duì)圖像等其他模態(tài)的語(yǔ)法模式進(jìn)行了研究,對(duì)這些模態(tài)的認(rèn)識(shí)從印象化向科學(xué)化發(fā)展,為其他模態(tài)的研究提供了很好的工具。

由于多模態(tài)話語(yǔ)交際的發(fā)展,符號(hào)選擇的原則也發(fā)生了變化。以前我們重點(diǎn)研究某個(gè)模態(tài)是如何體現(xiàn)意義的,模態(tài)之間也因此有了嚴(yán)格的分工,如在電影中提供行動(dòng)的圖像、表示現(xiàn)實(shí)性的同步聲音以及表達(dá)情感的音樂(lè)均由相應(yīng)的專家來(lái)完成,然后編輯把它們綜合起來(lái),把所有的成分都通過(guò)共同的韻律同步化(van Leeuwen 1985)。但在多模態(tài)研究中,我們需要用新的方法分析和描述這種交際模式。各個(gè)模態(tài)所共有的符號(hào)原則在不同的模態(tài)之間起作用,其結(jié)果可能是音樂(lè)用以體現(xiàn)行動(dòng)、圖像表達(dá)情感等,這主要是因?yàn)?隨著信息時(shí)代、數(shù)字時(shí)代的到來(lái),人們的交際方式發(fā)生了變化,不同的模態(tài)實(shí)際上可以具有相同的體現(xiàn)意義的功能,可以由同一個(gè)人來(lái)操作。他在操作過(guò)程中可以根據(jù)要表達(dá)的意義和效果,確定是用音樂(lè)、用聲音、圖像還是用口語(yǔ)等。這樣,我們?cè)谘芯恐心軌驈姆?hào)學(xué)的高度把不同模態(tài)聯(lián)合起來(lái)。一個(gè)語(yǔ)篇中的成分可以通過(guò)分離手段的缺失,如矢量的缺失、顏色的延續(xù)和相似性的缺失、視覺(jué)形狀的缺失等相互連接。分離的成分將被理解為是獨(dú)立的、分離的,或者是對(duì)立的,而連接的成分是相互聯(lián)系的、連續(xù)一體的或者是互補(bǔ)的(van Leeuwen 2005:13)。

尋找這種共同的原則可以采用不同的方法。我們可以為每一個(gè)模態(tài)設(shè)計(jì)出具體的語(yǔ)法,具體說(shuō)明用這個(gè)模態(tài)可以說(shuō)什么,如何說(shuō),以及如何用相同的方法和相同的術(shù)語(yǔ)來(lái)表達(dá)它等。最后,我們看這些語(yǔ)法是否有重合現(xiàn)象,它們?cè)谀男┓矫媸侵睾系?在哪些方面不是,哪些區(qū)域是所有模態(tài)所共有的,哪些區(qū)域是某個(gè)模態(tài)的專業(yè)化領(lǐng)域。

3. 媒體的產(chǎn)生

符號(hào)資源是意義資源。不同的符號(hào)系統(tǒng)體現(xiàn)不同的意義,因此,每個(gè)符號(hào)系統(tǒng)都具有自己的意義領(lǐng)域。而意義是由模態(tài)的詞匯語(yǔ)法來(lái)體現(xiàn)的,詞匯語(yǔ)法又由媒體體現(xiàn),成為有物質(zhì)實(shí)體體現(xiàn)的符號(hào)系統(tǒng)。所以,媒體的存在是模態(tài)產(chǎn)生的基礎(chǔ)。從某種角度講,沒(méi)有媒體就沒(méi)有模態(tài),因?yàn)槿魏文B(tài)都要以一定的物質(zhì)形式作為載體,如聲音、顏色、形狀等。有了媒體,人們才可以在此基礎(chǔ)上發(fā)展模態(tài)。從另一個(gè)角度講,模態(tài)給媒體賦予生命。正是因?yàn)槟硞€(gè)或某些物質(zhì)形式在社會(huì)交際中起作用,才使它們成為模態(tài)的載體,與某個(gè)模態(tài)或者模態(tài)組合相聯(lián)系,被識(shí)別為某種媒體。但反過(guò)來(lái)講,某個(gè)模態(tài)的產(chǎn)生來(lái)源于某個(gè)或某些媒體的產(chǎn)生。很多模態(tài)的新作用和多模態(tài)的組合正是這樣產(chǎn)生的。例如,頁(yè)面本來(lái)是文字的天地,是根據(jù)文字設(shè)計(jì)的,但現(xiàn)在頁(yè)面已經(jīng)被搬到屏幕上,它仍然可以是文字的天地,仍然可以根據(jù)以文字的需要來(lái)設(shè)計(jì),如書信的版面。但同時(shí)它也變得很容易把圖像、圖形,甚至是動(dòng)畫和電影等置入屏幕上,而圖形和圖像更加直接地和清晰地被讀者理解,同時(shí)還可以給讀者帶來(lái)感官上的享受,所以被廣泛利用。

從這個(gè)角度講,新模態(tài)的產(chǎn)生可以從兩個(gè)層次上來(lái)探討:從上一個(gè)層次上看,是新的社會(huì)交際的需要召喚新模態(tài)的產(chǎn)生;從下一個(gè)層次上,是新媒體的產(chǎn)生為新模態(tài)的產(chǎn)生提供了優(yōu)越的條件,促使新模態(tài)的產(chǎn)生。實(shí)際上,從根本上講,兩者不是孤立的和分離的,而是相互聯(lián)系的。交際的需要是模態(tài)產(chǎn)生的外部動(dòng)因,沒(méi)有交際的需要,某個(gè)模態(tài)就沒(méi)有產(chǎn)生的必要,所以也就不會(huì)產(chǎn)生;而媒體的存在是模態(tài)產(chǎn)生的物質(zhì)條件,有了物質(zhì)條件,特別是十分優(yōu)越的物質(zhì)條件,為模態(tài)的產(chǎn)生提供了內(nèi)部條件。據(jù)此,Baldry(2000)堅(jiān)持要在語(yǔ)篇描述中區(qū)分多模態(tài)和多媒體,這樣“起碼可區(qū)分語(yǔ)篇中符號(hào)資源的整合與與其十分不同的技術(shù)的整合,如把計(jì)算機(jī)和電視融為一體,或者把計(jì)算機(jī)技術(shù)與聲音技術(shù)融為一體”(Baldry 2000:25)。

然而,一個(gè)新模態(tài)的產(chǎn)生不是突然的,而是經(jīng)歷了一個(gè)被社會(huì)認(rèn)可的過(guò)程,例如,即使是由于電子紙張的優(yōu)越條件而產(chǎn)生的圖文互補(bǔ)的新媒體也在開始時(shí)不被人接受,直到現(xiàn)在仍然受到質(zhì)疑。新模態(tài)的產(chǎn)生也要遵循一定的原則,而這種原則通常是不被人們注意的。現(xiàn)有的研究通常把它作為想當(dāng)然的過(guò)程來(lái)對(duì)待,沒(méi)有探討其產(chǎn)生的動(dòng)因和條件。例如,圖像在電子語(yǔ)篇中成為主要模態(tài)主要經(jīng)歷了以下過(guò)程:

(1) 交際的需要,圖像作為交際媒體更加直觀、便捷,提供的信息更加完整、精確,可以替代文字成為更加有效的媒介;

(2) 圖像的意義也是交際者更容易解碼的,因?yàn)樗麄兣c客觀事實(shí)更加接近,不需要花更多的時(shí)間解碼,而且可對(duì)它進(jìn)行解碼的人群要遠(yuǎn)遠(yuǎn)大于可對(duì)文字解碼的人群;

(3) 圖像在電子環(huán)境中十分容易制作,也很容易被復(fù)制,而不像在紙質(zhì)文本中那樣,畫一張畫需要很長(zhǎng)的時(shí)間,所以在紙質(zhì)文本上用圖畫做交際媒體十分昂貴,也十分浪費(fèi)時(shí)間,所以不到特別需要時(shí)就不會(huì)用它作交際媒體;

(4) 這種模態(tài)作為新的交際工具被大眾,或者某個(gè)具體語(yǔ)言社團(tuán)的大多數(shù)成員接受,認(rèn)為是合適的交際模態(tài)。

這四條可以作為某種物質(zhì)形式成為某個(gè)模態(tài)的媒介的基本原則,即有社會(huì)交際的動(dòng)因,又有易于被識(shí)讀者解碼、易于使用、逐漸被大眾接受等條件。

當(dāng)然,某個(gè)模態(tài)也可能因?yàn)椴辉龠m應(yīng)社會(huì)交際的需要而在社會(huì)交際中被淘汰。例如,“面相學(xué)”(physiognomy),因其帶有種族主義的色彩而被拋棄,漸漸在社會(huì)交際中消失了(Kress & van Leeuwen 2001:22)。

4. 媒體與模態(tài)

媒體是物質(zhì)形式,又是模態(tài)化的,在社會(huì)交際中充當(dāng)意義的載體。在這里,我們需要回答兩個(gè)問(wèn)題:(1)為什么要把某些物質(zhì)實(shí)體轉(zhuǎn)化為媒體?(2)如何把物質(zhì)實(shí)體轉(zhuǎn)化為媒體?上節(jié)我們回答了第一個(gè)問(wèn)題,提出了把物質(zhì)實(shí)體轉(zhuǎn)化為媒體,成為模態(tài)的載體的四條理由。本節(jié)主要討論如何才能把物質(zhì)實(shí)體轉(zhuǎn)化為媒體。

物質(zhì)實(shí)體本身不是符號(hào),如自然界的事物,在沒(méi)有人類的時(shí)候就已經(jīng)存在,沒(méi)有承載意義的義務(wù)。所以,物質(zhì)實(shí)體成為符號(hào)資源是由人類完成的。人類把它們轉(zhuǎn)化為媒體資源表現(xiàn)為以下三個(gè)方面:可識(shí)別性、區(qū)別性、重現(xiàn)性。

1) 可識(shí)別性:一旦成為媒體,它就不再是混沌的物質(zhì)實(shí)體,而是可被識(shí)別為某種事物,如聲音、書寫符號(hào)等。作為符號(hào)的載體,人們首先應(yīng)該認(rèn)識(shí)它是什么,無(wú)論它是具有實(shí)用功能的符號(hào)媒體,如汽車、房子,還是純粹的符號(hào)媒體,如語(yǔ)音、文字。

2) 區(qū)別性:能夠區(qū)分不同個(gè)體和不同類型的符號(hào),能清楚在哪里某個(gè)符號(hào)開始,另一個(gè)符號(hào)結(jié)束,例如,紅色要能夠和紫色、粉紅色、咖啡色等區(qū)別開。

3) 重現(xiàn)性:能夠在人類社會(huì)交際中具有習(xí)慣性、經(jīng)常性特點(diǎn),即紅色在相似的場(chǎng)合多次出現(xiàn),而且每次出現(xiàn)都體現(xiàn)相似的意義,如在表示人的活動(dòng)時(shí)總是有革命的意義。

物質(zhì)實(shí)體具有了這三個(gè)特性后就成為媒體,就能夠體現(xiàn)一種模態(tài),成為一種符號(hào)資源。如果把不同的模態(tài)和語(yǔ)言相對(duì)比的話,模態(tài)的形式相當(dāng)于語(yǔ)言的詞匯語(yǔ)法,而模態(tài)的媒體相當(dāng)于語(yǔ)言的音系學(xué)。如何描述非語(yǔ)言模態(tài)的“音系學(xué)”還需要做進(jìn)一步研究。在這里,我們嘗試探討這些模態(tài)的媒體系統(tǒng)建立的一些基本原則和條件。

符號(hào)媒體系統(tǒng)的區(qū)別性與系統(tǒng)的復(fù)雜性密切相關(guān)。以交通信號(hào)系統(tǒng)為例。它的物質(zhì)實(shí)體是顏色,是把顏色符號(hào)化形成的符號(hào)系統(tǒng),但它是一個(gè)十分簡(jiǎn)單的符號(hào)系統(tǒng),即只有兩個(gè)層次的符號(hào)系統(tǒng):圖符和意義,即它的符號(hào)和意義是一一對(duì)應(yīng)的關(guān)系,沒(méi)有必要建立詞匯語(yǔ)法層次。這樣它的圖符系統(tǒng)也十分簡(jiǎn)單,如表1所示。

表1 交通信號(hào)系統(tǒng)的意義和圖符

在這個(gè)系統(tǒng)中,項(xiàng)目欄的意義項(xiàng)目和圖符項(xiàng)目是可以一一對(duì)應(yīng)起來(lái)的,如“?！迸c紅色相互對(duì)應(yīng),沒(méi)有其他的選擇。在這種系統(tǒng)中,圖符項(xiàng)目與詞匯項(xiàng)目沒(méi)有區(qū)別,所以,圖符的區(qū)別性也表示詞匯項(xiàng)目的區(qū)別性。紅色是以不是藍(lán)色和桔黃色及其相近的顏色為標(biāo)準(zhǔn)建立的,在實(shí)際的使用中,一般局限在紅色內(nèi),無(wú)論是紅色、大紅、深紅、淺紅都可以;桔黃色的變異形式更多,可以是黃色、桔黃色等顏色。由于系統(tǒng)中的項(xiàng)目偏少,所以每個(gè)項(xiàng)目所占居的物質(zhì)材料的范圍就很大。從理論上講,只要不與本系統(tǒng)中的其他符號(hào)混淆,任何符號(hào)變異形式都是允許的。但在實(shí)際的運(yùn)用中,還要考慮符號(hào)區(qū)別的有效性,所以,對(duì)于承載更重要意義的符號(hào),其變異形式的區(qū)別度要越高越好,例如,紅色和綠色在交通信號(hào)系統(tǒng)中更加重要,一般要以十分鮮艷的紅色和綠色為主,而桔黃色的功能則相對(duì)低些,所以,其可變的程度要大些。

其他符號(hào)系統(tǒng)有的是兩個(gè)層次的系統(tǒng),有的是三個(gè)層次的。語(yǔ)言是典型的三個(gè)層次的系統(tǒng),其他的還有莫斯代碼(Morse Code)、手語(yǔ)、盲語(yǔ)、某些復(fù)雜的圖像系統(tǒng)等。對(duì)于符號(hào)系統(tǒng)的研究重點(diǎn)是三個(gè)層次的符號(hào)系統(tǒng)。

5. 媒體的分類

媒體是生產(chǎn)符號(hào)產(chǎn)品的物質(zhì)資源,包括所使用的工具和材料,如樂(lè)器和空氣、鑿和木頭等。它們通常是專門用于此目的而生產(chǎn)的,不僅是文化的,如墨水、顏色、照相機(jī)、計(jì)算機(jī)等,也可以是自然的,如人的發(fā)音器官、風(fēng)、云、光等。

有些媒體是專門發(fā)展了用以進(jìn)行媒體的記錄、重現(xiàn)和分布的,如錄音機(jī)、收音機(jī)、照相機(jī)等,它們本身是生產(chǎn)出來(lái)的符號(hào)產(chǎn)品,但在它們的發(fā)展過(guò)程中,開始是作為生產(chǎn)的媒介,然后生產(chǎn)的媒介可以成為設(shè)計(jì)模態(tài)。

對(duì)于媒體的分類,除了以上談到的聲音、字符、工具、人體媒介、記錄等幾個(gè)類別外,還有其他的類別。而且從不同的角度可以有不同的分類方法,包括以下幾個(gè)方面:1)傳統(tǒng)上把交際的模態(tài)分為書面語(yǔ)和口語(yǔ)模態(tài),兩者分別由聲音和書寫符號(hào)體現(xiàn)。由其他媒體體現(xiàn)的模態(tài)不被認(rèn)為是和語(yǔ)言媒體一樣的交際媒體,而是看作是“副語(yǔ)言的”。這種分類方法既不適應(yīng)多模態(tài)話語(yǔ)分析理論的研究角度,也不符合適應(yīng)現(xiàn)代科技而新發(fā)展起來(lái)的新媒體的特點(diǎn),如大量使用的計(jì)算機(jī)屏幕、網(wǎng)絡(luò)版面和語(yǔ)言等。體現(xiàn)這些模態(tài)的媒體將成為與語(yǔ)言同等重要的媒體。2)Thibault(2004)從身體動(dòng)力學(xué)的研究區(qū)分出動(dòng)態(tài)的和靜態(tài)的,靜態(tài)媒體指文字、圖片、表格、繪畫等,動(dòng)態(tài)媒體指面對(duì)面的互動(dòng)、動(dòng)畫、電影、使用錄像機(jī)等。但這個(gè)分類方法太籠統(tǒng),最好把它作為其他分類的次分類來(lái)處理。例如,在按維度分類時(shí),四維媒體都是動(dòng)態(tài)的,其他可以是靜態(tài)的,也可以是動(dòng)態(tài)的。3)根據(jù)系統(tǒng)的復(fù)雜性,媒體系統(tǒng)可以分為兩個(gè)層次的和三個(gè)層次的。兩個(gè)層次的符號(hào)的媒體可以直接體現(xiàn)意義,不需要語(yǔ)法;而三個(gè)層次的符號(hào)媒體不能直接體現(xiàn)意義,而是要經(jīng)過(guò)符號(hào)的組合來(lái)實(shí)現(xiàn)詞匯和語(yǔ)法,然后由詞匯和語(yǔ)法來(lái)體現(xiàn)意義。4)交際是由人來(lái)進(jìn)行的,因此,交際者會(huì)充分利用本身的肢體所能提供的媒體,如手勢(shì)、表情等。正如Baldry(2000:17)所說(shuō),通過(guò)電視錄像等媒體,我們可以探討意義制造的過(guò)程,而這一過(guò)程是由人體和其他媒體互動(dòng)來(lái)共同創(chuàng)造,“這樣就有可能探討人體如何在語(yǔ)境中和其他物體一起來(lái)制造意義的主題”。這樣,媒體可以分為由肢體提供的媒體和非肢體所提供的媒體。張德祿(2009)從是否由肢體提供媒體的角度對(duì)媒體的類別做了區(qū)分,把所有由肢體發(fā)出的媒體成為肢體媒體,而把所有其他的媒體成為工具媒體和環(huán)境媒體。5)不同維度的媒體差別很大,因此維度成為區(qū)分媒體類型的主要標(biāo)準(zhǔn)。媒體的維度可以分為一維媒體(one-dimensional media)、二維媒體(two-dimensional media)、三維媒體(three-dimensional media)和四維媒體(four-dimensional media)。下面重點(diǎn)探討語(yǔ)言與非語(yǔ)言媒體和根據(jù)維度劃分的媒體。

5.1 語(yǔ)言與非語(yǔ)言

現(xiàn)有的對(duì)媒體系統(tǒng)的研究不是很多,其中Lim Fei(2004)對(duì)印刷系統(tǒng)和圖形系統(tǒng)的研究可以作為對(duì)語(yǔ)言與非語(yǔ)言媒體系統(tǒng)的研究的例證。首先,書寫系統(tǒng)要有兩個(gè)次級(jí)系統(tǒng)組成:字體和空間布局。字體由三個(gè)次級(jí)系統(tǒng)組成:字類、大小、顏色,每個(gè)次級(jí)系統(tǒng)還包括次級(jí)系統(tǒng),系統(tǒng)由項(xiàng)目組成?？臻g布局包括字間距和字體對(duì)齊等。

這個(gè)系統(tǒng)是描述文字印刷的,不是從文字學(xué)的角度來(lái)探討印刷符號(hào),主要問(wèn)題是還沒(méi)有把文字的級(jí)階作為一個(gè)主要次級(jí)系統(tǒng)在系統(tǒng)網(wǎng)絡(luò)中表現(xiàn)出來(lái),同時(shí)顏色應(yīng)該作為一種格式,而不是在字體層面上。這樣,我們可以根據(jù)用于印刷的字體學(xué)來(lái)發(fā)展英語(yǔ)的文字學(xué)系統(tǒng),從而使它具有具體語(yǔ)言的特征(相似于音系學(xué))。這個(gè)系統(tǒng)可以描述為圖1。

圖1 英語(yǔ)的文字系統(tǒng)

英語(yǔ)的文字學(xué)系統(tǒng)主要由兩個(gè)因素構(gòu)成:字體和空間。字類表示格式和體及其次范疇,表示在原字符的基礎(chǔ)上添加這些特征,增加原字符的表意潛勢(shì),包括大小寫、斜體、底線、輪廓等。字號(hào)在對(duì)比的情況下才可以具有意義,例如標(biāo)題的字號(hào)要大于正文的字號(hào),所以,它具有自由變體的特征,如把行文字號(hào)定為10號(hào)或12號(hào)。

字是書寫系統(tǒng)的主體,其中字符包括26個(gè)字母和標(biāo)點(diǎn)符號(hào),是書寫系統(tǒng)的實(shí)體符號(hào),它們可以按一定規(guī)則組合成為更大的單位,如詞、逗號(hào)單位、分號(hào)單位和句子單位等。這些單位以一定的空間布局組合為更大的書寫單位,如段落(縮進(jìn))、章節(jié)(換頁(yè)、空頁(yè))等。

Lim Fei(2004)還對(duì)圖形系統(tǒng)進(jìn)行了研究。圖形主要由兩個(gè)因素構(gòu)成:形式和角度。形式是構(gòu)成圖形的基本因素,包括顏色、形狀、線條、筆觸等因素。顏色包括顏色的類別,以及色調(diào)、色彩和色度等因素,顯示顏色的特點(diǎn);形狀千變?nèi)f化,其基本圖形是幾何形的,其典型形狀是矩形的,其他的圖形可以是任何形狀。圖形由線條構(gòu)筑,線條可以是任何類型,其長(zhǎng)度和寬度是重要的區(qū)別性特征。用什么筆劃也是重要的繪畫因素,可表達(dá)圖畫的不同特色和文體,如用畫筆、蠟筆,還是噴漆或用刷子。視角包括角度和深層空間,角度包括從什么角度,多大距離等(見圖2)。

圖2 圖形系統(tǒng)(Lim Fei 2004)

這個(gè)描寫方式有兩個(gè)問(wèn)題。第一個(gè)是對(duì)于所涉及的因素,沒(méi)有區(qū)分哪些是有區(qū)別性的,哪些沒(méi)有區(qū)別性當(dāng)然,一般進(jìn)入人們意識(shí)的因素都是有區(qū)別性的,不然不會(huì)進(jìn)入人的意識(shí)產(chǎn)生“心理現(xiàn)實(shí)性”(psychological reality)。第二個(gè)是這個(gè)描寫方式太籠統(tǒng)。圖形圖像實(shí)際上可以有多種不同的符號(hào)系統(tǒng)。這些符號(hào)系統(tǒng)當(dāng)然有其自己的特點(diǎn),但各個(gè)系統(tǒng)本身都是獨(dú)立的,有自身的獨(dú)特特征,應(yīng)該單獨(dú)描述。例如,圖畫和圖表,動(dòng)態(tài)的動(dòng)畫和靜態(tài)的藝術(shù)畫是完全不同的,雖然他們都是視覺(jué)的。因此,我們應(yīng)該對(duì)每個(gè)符號(hào)系統(tǒng)的媒體系統(tǒng)單獨(dú)進(jìn)行描述。

5.2 媒體的維度

媒體的維度是一個(gè)重要的區(qū)分條件,因?yàn)榫S度之間的區(qū)別很重要,可以直接影響對(duì)符號(hào)的識(shí)別難度。對(duì)媒體維度的描述現(xiàn)在一般還是局限在四個(gè)維度之內(nèi),科學(xué)研究對(duì)空間維度的擴(kuò)展還沒(méi)有進(jìn)入到大眾的社會(huì)交際中。這四個(gè)維度分別是:一維媒體(線性的)、二維媒體(平面的)、三維媒體(立體的)、四維媒體(動(dòng)態(tài)的,可移動(dòng)的三維媒體)。

(1) 一維媒體

一維媒體指線性媒體。語(yǔ)言媒體都是線性的?？谡Z(yǔ)是線性的,從開始說(shuō)話到結(jié)束都是按照時(shí)間來(lái)排列的。書面語(yǔ)也是一維的:雖然書寫的版面,如紙和屏幕,都是二維的,但文字本身是一維的,有明確的開始和結(jié)束點(diǎn),是空間上的一維媒體。一維媒體還包括音樂(lè),它和口語(yǔ)相似,都是沿著時(shí)間線進(jìn)行的,從時(shí)間的一個(gè)點(diǎn)開始,到時(shí)間上的某個(gè)點(diǎn)結(jié)束。

一維媒體可以是時(shí)間的,如口語(yǔ)和音樂(lè),是以時(shí)間的起點(diǎn)、延續(xù)、結(jié)束為特點(diǎn)的;也可以是空間的,如書寫的字詞,是以空間的起點(diǎn)、延續(xù)、結(jié)束為特點(diǎn)的。

一維媒體的特點(diǎn)是其有明確的起點(diǎn)和終點(diǎn):時(shí)間一維媒體以時(shí)間的某個(gè)點(diǎn)開始,到時(shí)間上的某個(gè)點(diǎn)結(jié)束,所以,它的大小是以從起點(diǎn)到終點(diǎn)所延續(xù)的時(shí)間來(lái)計(jì)算的,如一個(gè)對(duì)話可以是三分鐘,也可以是三個(gè)小時(shí)。在錄音帶上表現(xiàn)的最明顯。空間一維媒體是以空間上的一個(gè)點(diǎn)開始到空間上的一個(gè)點(diǎn)結(jié)束。空間是三維的,所以可以以任何一維作為起點(diǎn)和終點(diǎn),因此它可以是橫的,也可以是豎的,還可以是高的。空間一維媒體是以它在空間上延續(xù)的長(zhǎng)短來(lái)衡量的。

一維媒體具有把一切類型的意義都分割壓縮為線性的特點(diǎn),所以,它具有易于把復(fù)雜和形象的意義抽象化、簡(jiǎn)單化的特點(diǎn),因此便于科學(xué)化(Kressetal. 2001:171)和操作,但增加了理解的難度,因?yàn)槿藗冃枰阉獯a為二維或者三維圖式后才能理解。

(2) 二維媒體

二維媒體由兩個(gè)單一維度共現(xiàn)和協(xié)同而成。這兩個(gè)單一維度可以是任何四個(gè)維度之一,即時(shí)間、橫、豎、高。傳統(tǒng)上的二維一般只指空間上的二維,由空間上的任何三維之二組成。但實(shí)際上,它還包括時(shí)間與任何三維之一共現(xiàn)與協(xié)同形成的二維媒體?？臻g上的二維盡管可以由任何三維之二組成,但它們?cè)跁r(shí)間上沒(méi)有區(qū)別,組成的圖形都是平面圖。

時(shí)間與空間維度組成的二維媒體總是動(dòng)態(tài)的,即將靜態(tài)的一維媒體以時(shí)間順序顯示,如屏幕上字幕的顯示過(guò)程。二維時(shí)間媒體都是動(dòng)態(tài)的,因?yàn)樗且粋€(gè)時(shí)間維度和一個(gè)空間維度結(jié)合,所以,它可以既以時(shí)間的順序從起點(diǎn)到結(jié)束識(shí)讀,也可以根據(jù)空間維度從開始到結(jié)尾識(shí)讀。但它不能從終點(diǎn)到起點(diǎn)進(jìn)行識(shí)讀。

二維媒體具有多角度、多起點(diǎn)的特點(diǎn),能夠從左到右、從上到下、從中心到邊沿組織信息,甚至是三種角度的結(jié)合,或者是相反的過(guò)程。這樣,對(duì)二維媒體編碼可以從多個(gè)起點(diǎn)作選擇,或者多個(gè)起點(diǎn)同時(shí)進(jìn)行;對(duì)其解碼則就需要識(shí)讀者認(rèn)真考慮不同成分之間的關(guān)系,以及每個(gè)成分的特性和功能(Kressetal. 2001:171)。

(3) 三維媒體

三維媒體是由空間的三個(gè)單獨(dú)的維度的共現(xiàn)和協(xié)同,或者由空間的兩個(gè)維度與時(shí)間維度的共現(xiàn)與協(xié)同而形成的媒體。一般來(lái)講,當(dāng)我們談?wù)撊S圖形時(shí),我們只考慮空間立體圖形,而不會(huì)把時(shí)間維度考慮進(jìn)去。平面圖形以時(shí)間為序發(fā)生移動(dòng)和變化也是三維的,并且都是動(dòng)態(tài)的。

三維空間圖形可以看作由一個(gè)個(gè)平面圖形疊加而成,在每一個(gè)平面圖形上都可以發(fā)生新的變化,還可以附加新的一維、二維或三維的圖形,這樣就形成了三維立體圖形的復(fù)雜性和解釋的難度。例如,平面圖形只有面積,在這個(gè)平面上可以附加新的平面圖形,但它會(huì)明確地顯示出來(lái),識(shí)讀者可以清楚地看到它,而且它的平面性使它很受限制。而三維立體圖形不僅可以超越平面的限制而延伸到另一個(gè)維度,還具有容積。例如,房子的立體圖形可以表示房子有內(nèi)部空間。至于其內(nèi)部空間是如何設(shè)計(jì)的,還有什么東西都無(wú)從知道。同時(shí),其表現(xiàn)事物的識(shí)讀方式、起點(diǎn)和焦點(diǎn)都十分難以確定,所以其識(shí)讀方式難以確定。由時(shí)間和空間形成的三維媒體是動(dòng)態(tài)媒體,是由二維空間圖形在時(shí)間上的變化形成的,它的識(shí)讀可以通過(guò)時(shí)間的起點(diǎn)、延續(xù)和結(jié)束來(lái)進(jìn)行。

三維媒體是一種更直觀、更現(xiàn)實(shí)的媒體形式,使編碼者可以把直接從現(xiàn)實(shí)中“凍結(jié)”得到的實(shí)物置入語(yǔ)篇中,從而使識(shí)讀者可以直接觀察到事物的原形。從這個(gè)角度講,降低了識(shí)讀所需要的抽象能力和想象能力,但同時(shí),也需要識(shí)讀者的想象力和背景知識(shí)來(lái)認(rèn)識(shí)整個(gè)事物,因?yàn)樽R(shí)讀者觀察到的任何三維媒體都是不完全的,需要他“用自己的想象力來(lái)創(chuàng)造出所看不到的那些面”(O’Toole 1994/2010:12)。

(4) 四維媒體

四維媒體是由空間的三個(gè)維度和一個(gè)時(shí)間維度的共現(xiàn)和協(xié)同形成。它除了有三維空間的復(fù)雜性外,還有時(shí)間維度上的變化。四維媒體總是動(dòng)態(tài)的和變化的,經(jīng)常用于現(xiàn)代媒體中,特別是計(jì)算機(jī)網(wǎng)絡(luò)。

四維媒體雖然更加復(fù)雜,但是最接近現(xiàn)實(shí)的媒體,對(duì)它編碼不需要進(jìn)行抽象化和簡(jiǎn)單化的處理,同樣對(duì)它的解碼也不必經(jīng)過(guò)抽象到具體形象的過(guò)程,因此是最適合普通大眾交際的一種媒體形式,也是現(xiàn)代高科技多媒體的一個(gè)特點(diǎn)。

多模態(tài)話語(yǔ)的媒體的分類可以由表2表示。

表2 媒體的分類標(biāo)準(zhǔn)

5.3 討論

媒體的分類反映了不同類型的交際特點(diǎn)。首先,有些交際是完全動(dòng)態(tài)的(對(duì)話、看電視、電影、打手勢(shì)等),有些是靜態(tài)動(dòng)態(tài)的結(jié)合(讀書、看圖等);有些主要通過(guò)語(yǔ)言(口語(yǔ)、書面語(yǔ)),有的主要通過(guò)非語(yǔ)言(體育表演、表情、手勢(shì)),更多的是兩者的結(jié)合(表演、口語(yǔ)加手勢(shì)、表情)。有些交際只通過(guò)簡(jiǎn)單的單符號(hào)即可(交通信號(hào)、鳥語(yǔ)),有的要用多層次符號(hào)(語(yǔ)言等);現(xiàn)代科技的發(fā)展一方面使交際由以肢體媒體為主向以工具為主演化,另一方面使交際由線性、二維媒體向三維、四維媒體過(guò)渡。

媒體的分類為交際中模態(tài)的選擇和搭配提供了可參考的依據(jù)。交際中對(duì)模態(tài)的選擇或者設(shè)計(jì)是由多種因素制約的,如交際的語(yǔ)境,包括交際的內(nèi)容、交際者、交際的環(huán)境,意義的類型,模態(tài)的表意潛勢(shì)、供用特征(affordances)、功能專業(yè)化(functional specialization)(Kress 2003)。但最關(guān)鍵的是媒體系統(tǒng)的可用性。例如,人們都知道用三維動(dòng)態(tài)媒體交際更直接和有效,但缺乏必要條件就無(wú)法進(jìn)行。而且以上幾個(gè)因素也都和媒體的類型直接相關(guān),如模態(tài)的供用特征和專業(yè)化是直接和媒體的存在和可用性相關(guān)的。

6. 結(jié)語(yǔ)

本文探討符號(hào)資源及其媒體系統(tǒng)的類別。符號(hào)資源是一個(gè)言語(yǔ)社團(tuán)進(jìn)行社會(huì)交際的資源,是文化的表現(xiàn)形式,是所有符號(hào)系統(tǒng)的統(tǒng)稱。所以,本文首先探討了符號(hào)系統(tǒng)的特點(diǎn),把每個(gè)符號(hào)系統(tǒng)看作一個(gè)意義潛勢(shì),以一種模態(tài)參與交際事件,由特定的媒體體現(xiàn);然后探討了符號(hào)系統(tǒng)的物質(zhì)特性,以及物質(zhì)的模態(tài)化過(guò)程;第三,我們探討了媒體和模態(tài)的關(guān)系,提出了符號(hào)媒體的三個(gè)特點(diǎn):可識(shí)別性、有區(qū)別性、重現(xiàn)性;以及具有不同層次的符號(hào)的媒體特征;第四,重點(diǎn)探討符號(hào)的媒體系統(tǒng)的特點(diǎn),專門談了文字、圖形、音系的系統(tǒng)特點(diǎn);最后,談了符號(hào)媒體的分類,從語(yǔ)言與非語(yǔ)言、符號(hào)的維度、符號(hào)的感知幾個(gè)方面談了符號(hào)媒體的特點(diǎn),最后簡(jiǎn)單談了社會(huì)交際的多模態(tài)性與媒體類別的關(guān)系。

Baldry, A. 2000.MultimodalityandMultimedialityinaDistanceLearningAge[M]. Campobasso: Palladino Editore.

Halliday, M. A. K. 1978.LanguageasSocialSemiotic:TheSocialInterpretationofLanguageandMeaning[M]. London: Edward Arnold.

Halliday, M. A. K & R. Hasan. 1985/1989.Language,Context,andText:AspectsofLanguageinaSocial-semioticPerspective[M]. Oxford: Oxford University Press.

Kress, G. 2003.LiteracyinaNewMediaAge[M]. London: Routledge.

Kress, G. & T. van Leeuwen. 1996/2006.ReadingImages:TheGrammarofVisualDesign[M]. London: Routledge.

Kress, G. & T. van Leeuwen. 2001.MultimodalDiscourse:TheModesandMediaofContemporaryCommunication[M]. London: Edward Arnold.

Kress, G., C. Jewitt, J. Ogborn & C. Tsatsarelis. 2001.MultimodalTeachingandLearning:RhetoricoftheScienceClassroom[M]. London: Continuum.

Lemke, J. L. 1993. Discourse, dynamics, and social change [J].CulturalDynamics6(1): 243-275.

Lim Fei, V. 2004. Developing an integrative multi-semiotic model [A]. In K. O’Halloran (ed.).MultimodalDiscourseAnalysis:SystemicFunctionalPerspective[C]. London: Continuum. 220-246.

O’Toole, M. 1994/2010.TheLanguageOfDisplayedArt[M]. London: Leicester University Press.

Thibault. Paul J. 2004.Brain,Mind,andtheSignifyingBody:AnEcosocialSemioticTheory[M]. London: Continuum.

van Leeuwen, T. 1985. Rhythmic structure of the film text [A]. In T. A. van Dijk (ed.).DiscourseandCommunication:NewApproachestotheAnalysisofMassMediaDiscourseandCommunication[C]. Berlin: Walter de Gruyter. 216-232.

van Leeuwen, T. 2005.IntroducingSocialSemiotics[M]. London & New York: Routledge.

張德祿.2009.多模態(tài)話語(yǔ)分析綜合理論框架探索[J].中國(guó)外語(yǔ)(1):24-30.