代樹(shù)蘭

(江蘇理工學(xué)院，常州213001)

1 引言

我們生活在一個(gè)多模態(tài)的社會(huì)，意義的構(gòu)建越來(lái)越依賴各種符號(hào)資源的整合。話語(yǔ)的多模態(tài)性已成為當(dāng)今世界人們交際中使用的各種語(yǔ)篇的一個(gè)重要特征。近年來(lái)，隨著話語(yǔ)分析的發(fā)展，針對(duì)話語(yǔ)的研究不斷深入，其研究對(duì)象除傳統(tǒng)的對(duì)話語(yǔ)中的主要構(gòu)成要素——語(yǔ)言的研究外，一批學(xué)者開(kāi)始將目光轉(zhuǎn)向包括語(yǔ)言在內(nèi)的所有交際符號(hào)，探討交際過(guò)程中各種符號(hào)在話語(yǔ)中的作用及其之間的關(guān)系，于是，話語(yǔ)分析開(kāi)啟了一扇新的窗口——對(duì)話語(yǔ)的多種模態(tài)的關(guān)注和研究，多模態(tài)話語(yǔ)分析已成為話語(yǔ)分析的一個(gè)重要研究領(lǐng)域。

多模態(tài)(multimodality)是指在口頭或書(shū)面交際中，交際符號(hào)的多樣性。隨著現(xiàn)代科學(xué)技術(shù)，特別是計(jì)算機(jī)、多媒體和傳媒技術(shù)的發(fā)展和廣泛運(yùn)用，在人類的交際活動(dòng)中，多模態(tài)話語(yǔ)特征日漸凸現(xiàn)，圖像、聲音、文字、色彩、空間、動(dòng)作等多模態(tài)同時(shí)出現(xiàn)的話語(yǔ)形態(tài)日漸增多。雖然口頭語(yǔ)言繼續(xù)作為主要的交流方式，然而，公共交流中的大眾傳播媒體和書(shū)面語(yǔ)言將越來(lái)越多地傾向于圖像模式和視覺(jué)文化。讀寫(xiě)能力已經(jīng)不僅僅是理解語(yǔ)言文字的能力，對(duì)圖像、聲音、色彩、空間、動(dòng)作等多模態(tài)話語(yǔ)的理解已提上日程?！耙饬x通過(guò)不同的模態(tài)建構(gòu)，并通過(guò)在一個(gè)交際過(guò)程中共現(xiàn)而得以體現(xiàn)和表達(dá)?！?Kress＆van Leeuwen 2001:111)“語(yǔ)言使用，不管是口語(yǔ)還是書(shū)面語(yǔ)，總是不可避免地由多種交際模式構(gòu)成”(LeVine＆Scollon 2004:1－2)，因此某種意義上可以說(shuō)，“所有的話語(yǔ)都是多模態(tài)的”(Kress＆van Leeuwen 1998:186)。隨著人類進(jìn)入社會(huì)符號(hào)學(xué)的多模態(tài)化的新時(shí)代，在今后的研究中，多模態(tài)化的感知、多模態(tài)化的復(fù)制和多模態(tài)化的互動(dòng)將受到特別重視(胡壯麟2007)。

多模態(tài)話語(yǔ)分析是對(duì)交際符號(hào)的多種模態(tài)、各模態(tài)之間的關(guān)系、它們所構(gòu)成的整體意義、及其特征和功能的分析(代樹(shù)州2009)。它關(guān)注社會(huì)情境中多種模態(tài)資源的設(shè)計(jì)、制作和分配(van Leeuwen 2008)，以及各模態(tài)隨著社會(huì)實(shí)踐的進(jìn)程而重新組合的過(guò)程(Iedema 2003)。多模態(tài)話語(yǔ)分析在其發(fā)展初期的短短二、三十年里，就顯示出很強(qiáng)的生命力，在隨后的發(fā)展過(guò)程中，它匯聚社會(huì)符號(hào)學(xué)、傳播學(xué)、認(rèn)知語(yǔ)言學(xué)、哲學(xué)、話語(yǔ)語(yǔ)言學(xué)等領(lǐng)域的諸多研究者，并取得不菲的研究成果，他們?cè)噲D從不同側(cè)面、不同領(lǐng)域揭示話語(yǔ)的多模態(tài)特征及其內(nèi)在規(guī)律，促使該領(lǐng)域的研究蓬勃發(fā)展、成果迭出。

雖然人們將多模態(tài)話語(yǔ)提上研究日程只是近二、三十年的事情，然而，對(duì)話語(yǔ)的多模態(tài)性質(zhì)的認(rèn)識(shí)和探討卻具有相當(dāng)長(zhǎng)的歷史。本文擬圍繞人們對(duì)話語(yǔ)的多模態(tài)性質(zhì)的認(rèn)識(shí)、多模態(tài)話語(yǔ)研究的緣起與發(fā)展、研究過(guò)程中取得的成果等進(jìn)行梳理和研究，并在其基礎(chǔ)上，展望多模態(tài)話語(yǔ)研究的發(fā)展趨勢(shì)。

2 多模態(tài)話語(yǔ)的緣起與進(jìn)展

話語(yǔ)的多模態(tài)性并非一個(gè)新現(xiàn)象，事實(shí)上，它是我們生活的固有特征，也是人類進(jìn)化過(guò)程的固有特征。在人類發(fā)展之初，人們首先認(rèn)識(shí)的是各種各樣不同形式的事物，人類最初的交流也是口、耳、手、身體、動(dòng)作、物體等并用的交流模式。原始語(yǔ)言將整個(gè)身體作為表達(dá)工具，其表達(dá)模態(tài)包括手勢(shì)、面部表情、注視、發(fā)聲等。在書(shū)寫(xiě)形式出現(xiàn)之前，語(yǔ)言與圖畫(huà)、雕刻等符號(hào)共存幾百年、甚至幾千年的歷史。無(wú)論是遠(yuǎn)古時(shí)期的巖畫(huà)、圖騰，5000年前出現(xiàn)于埃及、美索不達(dá)米亞的圖形文字，還是3500年前中國(guó)殷王朝的甲骨文以及各種壁畫(huà)、雕刻等，都是圖像符號(hào)、圖形符號(hào)、以及文字符號(hào)的融合。即便在后來(lái)書(shū)寫(xiě)文字產(chǎn)生、發(fā)展的過(guò)程中，也保留了其最初的“書(shū)畫(huà)同體”的多模態(tài)特征:“頡有四目，仰觀天象。因儷烏龜之跡，遂定書(shū)字之形。造化不能藏其秘，故天雨粟;靈怪不能遁其形，故鬼夜哭。是時(shí)也，書(shū)畫(huà)同體而未分，象制肇創(chuàng)而猶略。無(wú)以傳其意故有書(shū)，無(wú)以見(jiàn)其形故有畫(huà)，天地圣人之意也”(張彥遠(yuǎn)歷代名畫(huà)記·敘畫(huà)之源流)。清代書(shū)畫(huà)家沈宗驀也認(rèn)為，“六書(shū)之有形，即畫(huà)之源也。且畫(huà)之為言畫(huà)也，以筆直取萬(wàn)物之形，灑然脫于腕而落于素，不價(jià)扭捏，無(wú)事修飾，自然形神具得，意致流動(dòng)，是謂得畫(huà)源”(沈宗驀1996:3215)。

中國(guó)古代的詩(shī)歌、繪畫(huà)、書(shū)法等作品，常常是多種模態(tài)并存，詩(shī)中有畫(huà)，畫(huà)中題詩(shī)、題詞、題字，講究文字與藝術(shù)的融合;許多藝術(shù)家把自然作為藝術(shù)的對(duì)象，在他們的詩(shī)、畫(huà)、書(shū)等作品中，山水、花鳥(niǎo)、樹(shù)枝、竹枝成為其表現(xiàn)手段，人、詩(shī)、畫(huà)、景、言融為一體，讓人從各種模態(tài)的融合中獲得啟示和美感，領(lǐng)會(huì)超越于自然和人生之上的妙道，可謂“詩(shī)中有畫(huà)，畫(huà)中有詩(shī)”。早期的無(wú)聲電影、無(wú)線電等也都具有明顯的多模態(tài)特征，現(xiàn)代的電影、電視及各類廣告中，意義的表達(dá)更有賴于圖像、聲音、以及各種符號(hào)的協(xié)同作用。人們通過(guò)對(duì)各種器皿、雕塑、壁畫(huà)等作品對(duì)古代生活、文化、宗教等的推測(cè)、探討，對(duì)各種藝術(shù)珍品的把玩、欣賞，以及對(duì)其所蘊(yùn)含的歷史、文化、風(fēng)土人情的領(lǐng)悟，少兒對(duì)連環(huán)畫(huà)的癡迷，歷代對(duì)《清明上河圖》所反映的北宋時(shí)期的城市文明、風(fēng)土人情的賞析和探討等皆是話語(yǔ)的多種模態(tài)的具體體現(xiàn)。

事實(shí)上在我國(guó)古代，人們就意識(shí)到多模態(tài)的重要性。早在先秦時(shí)期，《易傳》在言意之間引入“象”的概念，以當(dāng)代意義上的“符號(hào)學(xué)”方式，創(chuàng)造性地建立了物理世界與經(jīng)驗(yàn)世界的聯(lián)系(王瀚東2001)。“觀象于天”，“觀法于地”，“近取諸身，遠(yuǎn)取諸物”，“圣人之情見(jiàn)乎辭”，“圣人立象以盡意”等，不僅對(duì)卦象生成的描述指向語(yǔ)言的起源問(wèn)題，也體現(xiàn)了先哲對(duì)話語(yǔ)的多模態(tài)特征的認(rèn)識(shí)和關(guān)注。西晉著名文學(xué)家陸機(jī)曾提出，“宣物莫大于言，存形莫善于畫(huà)。”曹植認(rèn)為圖像比語(yǔ)言文字更能起到勸誡作用。唐初裴孝源在《貞觀公私畫(huà)史》中提出圖像有重要作用。張彥遠(yuǎn)也認(rèn)為圖像在記錄歷史事件、人物容貌、風(fēng)俗習(xí)慣等方面比文字更加有效:“記傳所以敘其事，不能載其容，贊頌有以詠其美，不能備其象，圖畫(huà)之制，所以兼之也。”。宋代鄭樵認(rèn)為僅憑書(shū)面語(yǔ)言的記載會(huì)使學(xué)問(wèn)淪為虛學(xué)，“見(jiàn)書(shū)不見(jiàn)圖，聞其聲不見(jiàn)其形;見(jiàn)圖不見(jiàn)書(shū)，見(jiàn)其人不聞其語(yǔ)。后之學(xué)者，離圖即書(shū)，尚辭務(wù)說(shuō)，故人亦難為學(xué)，學(xué)亦難為功?！庇盅浴稗o章雖富，如朝霞晚照，徒焜耀人耳目;義理雖深，如空谷尋聲，糜所底止。二者殊途而同歸，是皆從事于語(yǔ)言之末，而非為實(shí)學(xué)也。以圖譜之學(xué)不傳，則實(shí)學(xué)盡化為虛文矣?！彼摹锻ㄖ尽冯m無(wú)圖像，但在理論上強(qiáng)調(diào)了圖像的重要性。鄭振鐸有言“從自然環(huán)境、歷史人物、歷史事件、歷史現(xiàn)象，到建筑、藝術(shù)、日常用品、衣冠制度，都是非圖不明的。有了圖，可以少說(shuō)了多少的說(shuō)明，少了圖便使讀者有茫然之感”(鄭振鐸1988，李彥鋒2010:9－10)。

在西方，早在古羅馬時(shí)期，人們就注意到話語(yǔ)的這一特征:“我已從一個(gè)不言不語(yǔ)的嬰兒，成長(zhǎng)為呀呀學(xué)語(yǔ)的孩子了……聽(tīng)到別人指稱一件東西，或看到別人隨著某種聲音做相應(yīng)的動(dòng)作，我便記下來(lái):記住這種東西叫什么，要那件東西時(shí)，便發(fā)出相應(yīng)的聲音。又從別人的動(dòng)作了解別人的意愿，這是各民族的自然語(yǔ)言:用表情、目光、其他肢體動(dòng)作和聲音表達(dá)內(nèi)心的情感，或?yàn)橐蟆⒒蚴蔷芙^、或是逃避……從此，我開(kāi)始用互相達(dá)意的符號(hào)與周?chē)娜藗兘涣鳌?奧古斯汀1963:11－12)。這種原始語(yǔ)言的多模態(tài)特征同樣存在于人的幼年時(shí)期(Halliday 1975)。當(dāng)原始語(yǔ)言進(jìn)化為語(yǔ)言、幼兒語(yǔ)言轉(zhuǎn)化為成人語(yǔ)言時(shí)，語(yǔ)言的多模態(tài)性得以保留和發(fā)展。

語(yǔ)言的聲音特征被古希臘時(shí)期斯多葛學(xué)派視作語(yǔ)言的3個(gè)重要特征之一，古希臘、羅馬時(shí)期的演講也非常注重姿態(tài)、手勢(shì)、表情等輔助手段。昆提利安(Quintilian)的《演說(shuō)原理》(Institutes of Oratory)不僅強(qiáng)調(diào)“面貌”、“形象”等符號(hào)意義的重要性，他對(duì)體態(tài)的描述更是精細(xì)到頭、眼、手臂、手指、服飾等(從萊庭等2007:30)。即便在以語(yǔ)言為主導(dǎo)的研究中，人們也注意到話語(yǔ)的多模態(tài)特征，即不同的表達(dá)形式時(shí)常與不同的意義形式相聯(lián)系:手勢(shì)與面部表情變成“身體語(yǔ)言”的一部分，聲音仍然是語(yǔ)言的表達(dá)手段，韻律、節(jié)奏、響亮程度等成為“副語(yǔ)言”的表達(dá)資源。發(fā)聲具有兩種“模態(tài)”——清晰度與韻律感，后者不僅可以表現(xiàn)為抑揚(yáng)頓挫的語(yǔ)調(diào)，也可以以不同的節(jié)奏呈現(xiàn)。語(yǔ)言與身體語(yǔ)言、副語(yǔ)言特征等在具體的語(yǔ)境中共同建構(gòu)意義。而在現(xiàn)代技術(shù)環(huán)境中，意義的建構(gòu)方式又越來(lái)越多地延伸到身體、語(yǔ)言之外。

盡管人們對(duì)各種視覺(jué)、聽(tīng)覺(jué)符號(hào)的認(rèn)識(shí)一直伴隨著人類的發(fā)展進(jìn)程，然而在學(xué)術(shù)研究中，人們對(duì)多模態(tài)話語(yǔ)的認(rèn)識(shí)和研究經(jīng)歷了一個(gè)相對(duì)漫長(zhǎng)的過(guò)程。

在哲學(xué)、人類學(xué)、符號(hào)學(xué)、文化研究等領(lǐng)域，學(xué)者們以不同形式、從不同視角對(duì)其予以關(guān)注、進(jìn)行探討。維特根斯坦認(rèn)為盡管非語(yǔ)言符號(hào)不容易變成系統(tǒng)、準(zhǔn)確的語(yǔ)言，但它們具有表達(dá)態(tài)度與情緒、輔助語(yǔ)言交際、替代語(yǔ)言等功能，社會(huì)中大量的信息正是通過(guò)它們傳達(dá)的(維特根斯坦2001)。胡塞爾持有類似的觀點(diǎn)，將符號(hào)分為自然符號(hào)和人為符號(hào)兩種基本類型，自然符號(hào)具有指示某個(gè)對(duì)象的功能，不具有意義。人為符號(hào)則是具有意指功能的“表達(dá)”符號(hào)，又可進(jìn)一步分為語(yǔ)言符號(hào)和非語(yǔ)言符號(hào)(胡塞爾1999)。在二戰(zhàn)期間及之后的一段時(shí)間內(nèi)，受索緒爾等的影響，包括列維－斯特勞斯在內(nèi)的諸多人類學(xué)家在考察人類實(shí)踐的過(guò)程中將目光轉(zhuǎn)向了語(yǔ)言，認(rèn)為“構(gòu)成文化的社會(huì)行為事實(shí)上也表現(xiàn)為一種按照語(yǔ)言的模式進(jìn)行‘編碼’的活動(dòng)，或許它本身就是一種語(yǔ)言”(Hawkes 1977:19)。即人類活動(dòng)本身，其各個(gè)方面都具有索緒爾意義上的符號(hào)或符號(hào)潛能。符號(hào)既可由身體有機(jī)地產(chǎn)生，也可借助身體在技術(shù)上的延伸工具化地產(chǎn)生。當(dāng)媒介使我們的身體延伸時(shí)，我們面對(duì)的便是具有生命的自主的符號(hào)系統(tǒng)(霍克斯1987:140)。這里的符號(hào)及其系統(tǒng)都超出語(yǔ)言符號(hào)之外，包括人類活動(dòng)各個(gè)方面及由于技術(shù)上的延伸而引起的媒介變化，從而理所當(dāng)然地將話語(yǔ)的多種模態(tài)涵蓋其中，盡管當(dāng)時(shí)的主流研究尚未將其納入學(xué)術(shù)研究視野。

根據(jù)格雷馬斯的觀點(diǎn)，一部電影、一幕街景同時(shí)具有多種代碼，并使用多種交際渠道，構(gòu)成具有整體意義的文化現(xiàn)象(格雷馬斯2009:43)。在某些沒(méi)有語(yǔ)言起源傳說(shuō)的非洲社會(huì)，服飾文化(服裝、紋身)起源的傳說(shuō)替代了語(yǔ)言的作用。服飾的內(nèi)涵意義與自然語(yǔ)言一樣，既造成語(yǔ)言群體間的區(qū)別，又形成鞏固社會(huì)團(tuán)體的歸屬感和凝聚力。從這個(gè)角度看，語(yǔ)言研究屬于一門(mén)更寬泛的社會(huì)符號(hào)學(xué)的學(xué)科，該學(xué)科既包括語(yǔ)言，也包括服飾、食物、手勢(shì)等方面的研究……眾多的符號(hào)共同構(gòu)建意義、產(chǎn)生社會(huì)影響。因此，應(yīng)該對(duì)這些復(fù)雜的符號(hào)系統(tǒng)進(jìn)行分析、梳理、描述，提出適用于社會(huì)語(yǔ)言學(xué)的內(nèi)涵意義范疇和分類模式:(1)空間關(guān)系學(xué)范疇與模式;(2)形態(tài)學(xué)范疇與模式;(3)功能范疇與模式等(格雷馬斯2009:55－60)。

本工作介紹了一種改進(jìn)型DIC分析技術(shù).基于室內(nèi)模型試驗(yàn),結(jié)合改進(jìn)型DIC分析技術(shù),針對(duì)靜壓沉樁過(guò)程中樁-土界面土體位移進(jìn)行了測(cè)量和分析,得到以下幾點(diǎn)結(jié)論.

巴爾特也將符號(hào)學(xué)的對(duì)象視為包括形象、姿勢(shì)、有旋律的聲音，以及作為意義系統(tǒng)的語(yǔ)言等在內(nèi)的一切符號(hào)系統(tǒng):“最有趣的系統(tǒng)是那些涉及不同實(shí)體的復(fù)合系統(tǒng)。在那些至少屬于大眾傳播社會(huì)學(xué)的復(fù)合系統(tǒng)，如電影、電視及廣告中，意義的表達(dá)有賴于圖像、聲音和其他各種符號(hào)的協(xié)作，因而要確定這些系統(tǒng)中的語(yǔ)言事實(shí)與言語(yǔ)事實(shí)的類別，時(shí)機(jī)還欠成熟。一方面，我們還不能斷定每個(gè)復(fù)合系統(tǒng)中‘語(yǔ)言’到底是原創(chuàng)還是僅僅由其中的各種輔助‘語(yǔ)言’組成;另一方面，這些輔助語(yǔ)言還未曾得到分析，原因是雖然我們了解語(yǔ)言學(xué)的‘語(yǔ)言’，但不了解圖像或音樂(lè)的‘語(yǔ)言’”(巴爾特1999b:20)。他認(rèn)為世界上的每一種物體，都可以從一個(gè)封閉、寂靜的存在，衍生到一個(gè)口頭說(shuō)明的狀態(tài)……它可以包含寫(xiě)作或者描繪、照片、電影、報(bào)告、運(yùn)動(dòng)、表演和宣傳等，這些都可以作為神話言談的資源(巴爾特1999a:167－168)和素材(語(yǔ)言本身、照片、圖畫(huà)、海報(bào)、儀式、物體等)(巴爾特1999a:173)。這里，巴爾特對(duì)各種符號(hào)、各種模態(tài)構(gòu)成的整體的強(qiáng)調(diào)，無(wú)疑具有先見(jiàn)之明，這一點(diǎn)正是目前多模態(tài)話語(yǔ)研究關(guān)注的焦點(diǎn)。

在強(qiáng)調(diào)其他符號(hào)不容忽視的同時(shí)，這位符號(hào)學(xué)大家還特別提醒人們語(yǔ)言的重要性，以及語(yǔ)言學(xué)與符號(hào)學(xué)之間的關(guān)系:“所有的符號(hào)系統(tǒng)都與語(yǔ)言糾纏不清……當(dāng)代社會(huì)的符號(hào)學(xué)家，盡管一開(kāi)始就以非語(yǔ)言實(shí)體為研究對(duì)象，遲早要在他的研究道路上遭遇到(‘真正的’)語(yǔ)言……符號(hào)學(xué)也許注定要深入到跨語(yǔ)言領(lǐng)域……有朝一日索緒爾的主張有可能會(huì)被推翻:語(yǔ)言不是普遍的符號(hào)學(xué)科的一部分，哪怕是有特殊地位的一部分;相反，符號(hào)學(xué)乃是語(yǔ)言學(xué)的一部分，是具體負(fù)責(zé)話語(yǔ)中的大的意義單位的那部分”(巴爾特1999b:2－3)。

無(wú)獨(dú)有偶，利科也認(rèn)為，“語(yǔ)言的確不只是最重要的符號(hào)學(xué)系統(tǒng)，而且語(yǔ)言學(xué)是最高級(jí)的符號(hào)學(xué)科學(xué)，一切其他符號(hào)系統(tǒng)都以某種方式歸結(jié)于語(yǔ)言，雖然每個(gè)系統(tǒng)都有其個(gè)性”(利科1988:346)。盡管他們對(duì)語(yǔ)言學(xué)與符號(hào)學(xué)之間的關(guān)系所持觀點(diǎn)不同，但對(duì)語(yǔ)言重要性的強(qiáng)調(diào)、對(duì)語(yǔ)言符號(hào)之外其他符號(hào)的重視、對(duì)話語(yǔ)的多模態(tài)性的認(rèn)識(shí)是一致的。

此外，巴爾特還將第一個(gè)符號(hào)系統(tǒng)(語(yǔ)言，包括能指和所指)看成第二個(gè)更大的符號(hào)系統(tǒng)(意識(shí)形態(tài))的能指，對(duì)不同模態(tài)所蘊(yùn)含的意識(shí)形態(tài)意義進(jìn)行探討，從而拓開(kāi)了多模態(tài)話語(yǔ)分析中的批評(píng)話語(yǔ)分析之先河。他舉的一個(gè)有名的例子是:“我在理發(fā)店里，有人給我一本《巴黎競(jìng)賽畫(huà)報(bào)》。封面上是一個(gè)身著法國(guó)軍服的年輕黑人在敬禮，兩眼上揚(yáng)，也許凝神注視著一面法國(guó)國(guó)旗。這些就是這張照片的意義。但不論天真與否，我很清楚地看見(jiàn)它對(duì)我意指:法國(guó)是一個(gè)偉大的帝國(guó)，她的所有的子民，沒(méi)有膚色歧視，忠實(shí)地在她的旗幟下服務(wù)，這個(gè)黑人在為所謂其壓迫者服務(wù)時(shí)表現(xiàn)出來(lái)的忠誠(chéng)，再好不過(guò)地回答了那些對(duì)所謂殖民主義進(jìn)行詆毀的人”(巴爾特1999b:175－187)。

在語(yǔ)言學(xué)領(lǐng)域，現(xiàn)代語(yǔ)言學(xué)的開(kāi)創(chuàng)者索緒爾認(rèn)為，“語(yǔ)言問(wèn)題主要是符號(hào)學(xué)問(wèn)題，我們的全部理論都從這一重要事實(shí)獲得意義。要發(fā)現(xiàn)語(yǔ)言的真正本質(zhì)，首先必須知道它跟其他一切同類的符號(hào)系統(tǒng)的共同點(diǎn)”(索緒爾1980:39)，從而強(qiáng)調(diào)了語(yǔ)言符號(hào)之外其他符號(hào)，以及對(duì)其進(jìn)行研究、比較的必要性。布拉格學(xué)派的代表人物雅各布森也曾指出，“人類社會(huì)中最社會(huì)化、最豐富和最貼切的符號(hào)系統(tǒng)顯然以視覺(jué)和聽(tīng)覺(jué)為基礎(chǔ)”(霍克斯1987:139)，即包括以視覺(jué)、聽(tīng)覺(jué)為基礎(chǔ)的語(yǔ)言符號(hào)、非語(yǔ)言符號(hào)等多種模態(tài)。20世紀(jì)初俄國(guó)形式主義對(duì)語(yǔ)言的音質(zhì)、節(jié)奏的重視，Bransford和Johnson(1973)對(duì)視覺(jué)符號(hào)在話語(yǔ)理解中的重要性的強(qiáng)調(diào)，拉波夫?qū)︸R撒葡萄園島(Martha’s Vineyard)的英語(yǔ)語(yǔ)音變體特征進(jìn)行的分析(Labov 1963:307)，Crystal關(guān)于音高范圍、響度、節(jié)奏、聲音特征均有可能成為說(shuō)話人群體歸屬的表征信息的來(lái)源(Crystal 1975:84－95)等，都從不同側(cè)面強(qiáng)調(diào)了話語(yǔ)的多模態(tài)特征。事實(shí)上，語(yǔ)言學(xué)研究過(guò)程中對(duì)各種非語(yǔ)言特征、副語(yǔ)言特征、語(yǔ)言韻律等方面的探討，以及文學(xué)研究中對(duì)各種書(shū)寫(xiě)形式、書(shū)寫(xiě)格式等特征的關(guān)注等，都是對(duì)話語(yǔ)的多模態(tài)特征的關(guān)注和探討。

在話語(yǔ)分析領(lǐng)域內(nèi)部，早期的學(xué)者們對(duì)話語(yǔ)的多模態(tài)特征雖多有關(guān)注，但并未作為主要研究對(duì)象。Brown和Yule認(rèn)為，“音調(diào)也常常用來(lái)表示某種信息。在講話中，新信息常用較高的音調(diào)，而已知信息則用較低的音調(diào);有時(shí)高音調(diào)也可用來(lái)表示發(fā)話人更換話題或新的話題開(kāi)始，或表示強(qiáng)調(diào)、對(duì)比，低音調(diào)也可表示聽(tīng)話人不必重視的東西”(Brown＆ Yule 1983:F20)。Couper-Kuhlen在提出話語(yǔ)層面研究語(yǔ)調(diào)的3種路徑的基礎(chǔ)上(語(yǔ)調(diào)是語(yǔ)法的一部分，語(yǔ)調(diào)與信息流相關(guān)，語(yǔ)調(diào)作為語(yǔ)境線索)，認(rèn)為在今后的研究中節(jié)首(onset)、聲域(register)、節(jié)奏(rhythm)、響度(volume)、副語(yǔ)言音質(zhì)效應(yīng)(paralinguistic voice-quality effects)等韻律語(yǔ)境線索(prosodic contextualization cues)將引起更多關(guān)注(Schiffrin et al.2001)。Fairclough(1992，2003a)和 van Dijk(1997，1998)都曾明確提出話語(yǔ)包括口語(yǔ)、書(shū)面語(yǔ)以及非語(yǔ)言交際等多種模式。他們認(rèn)為，在面對(duì)面交流中、在看電影電視節(jié)目時(shí)，伴隨著聲音出現(xiàn)的非語(yǔ)言活動(dòng)，如手勢(shì)、面部表情、身體姿勢(shì)、親近、掌聲、笑聲等對(duì)話語(yǔ)意義及功能的理解起著至關(guān)重要的作用(Van Dijk 1997:6)，因此隨著現(xiàn)代社會(huì)多媒體交流的普及，話語(yǔ)的視覺(jué)形式不可忽視，特別是對(duì)廣告、電視節(jié)目的研究更需跨媒體、多模態(tài)的探討。Fairclough在吸收Foucault和Harvey等社會(huì)學(xué)理論的基礎(chǔ)上發(fā)展了話語(yǔ)概念，認(rèn)為社會(huì)實(shí)踐是抽象的社會(huì)結(jié)構(gòu)和具體的社會(huì)行為之間的橋梁，話語(yǔ)則是社會(huì)實(shí)踐的一個(gè)重要組成部分，它既包括語(yǔ)言因素，也包括非語(yǔ)言的交際因素和視覺(jué)形象……話語(yǔ)秩序是社會(huì)實(shí)踐在語(yǔ)言層面上的反映(Fairclough 2003:24)。因此應(yīng)“將話語(yǔ)概念加以延伸，使之不僅包括作為文字和影像結(jié)合物的文本，也涵蓋其他符號(hào)形態(tài)”(費(fèi)爾克拉夫 2003:4)。Halliday也指出，社會(huì)體系或文化可以表述為一種意義建構(gòu)和符號(hào)系統(tǒng)，構(gòu)成社會(huì)體系的意義是通過(guò)許多模式和渠道傳遞的，語(yǔ)言只是其中的一種交際模式，除語(yǔ)言外，還有很多其他符號(hào)模式(Halliday 1978/2001:189)。只是在傳統(tǒng)的研究過(guò)程中，人們更多的關(guān)注語(yǔ)言模式而已。

目前，在多模態(tài)話語(yǔ)分析領(lǐng)域較活躍的主要有社會(huì)符號(hào)學(xué)，互動(dòng)社會(huì)語(yǔ)言學(xué)和認(rèn)知語(yǔ)言學(xué)等3個(gè)流派，其研究范圍包括語(yǔ)言之外的各種符號(hào)資源的理論體系和工作機(jī)制、及其對(duì)社會(huì)符號(hào)進(jìn)程的建構(gòu)，以及對(duì)各模態(tài)之間形成的關(guān)系及意義進(jìn)行探討(O’Halloran 2011)。

社會(huì)符號(hào)學(xué)和批評(píng)話語(yǔ)分析的研究者:Kress＆ van Leeuwen(1996);O’Toole(1994);Lemke(1998，2002，2009);Baldry ＆ Thibault(2006);Bateman(2008);Bednarek＆Martin(2010);Jewitt(2009);Unsworth(2008);Ventola＆Moya(2009);O’Halloran(2011)以及 Machin(2007)，van Leeuwen(2008)都以Halliday的系統(tǒng)功能語(yǔ)言學(xué)為理論基礎(chǔ)。其中，Kress＆van Leeuwen(1996)在語(yǔ)篇分析的基礎(chǔ)上提出圖像分析的總體原則，基于Halliday的3個(gè)元功能提出的圖像的再現(xiàn)功能、互動(dòng)功能和構(gòu)成功能。O’Toole(1994)將Halliday的理論用于對(duì)繪畫(huà)、雕塑、建筑的研究，通過(guò)自下而上的分析建立起來(lái)的可資借鑒的分析框架為80、90年代的多模態(tài)話語(yǔ)研究奠定了基礎(chǔ)。隨后的學(xué)者又將越來(lái)越多的模態(tài)納入研究視野，如對(duì)聲音與音樂(lè)(van Leeuwen 1999)、科學(xué)課本(Lemke 1998)、動(dòng)作與手勢(shì) (Martinec 2000)、教育研究(Jewitt 2006)及多模態(tài)讀寫(xiě)能力(New London Group 2000)等進(jìn)行的研究。而Delin和Bateman(2002)提出的GeM(genre and multimodality)模型，從內(nèi)容、修辭、布局、導(dǎo)航(navigation)、語(yǔ)言等5個(gè)層面對(duì)電子和書(shū)面文本進(jìn)行的多模態(tài)分析，為探討由文本、布局、圖案、圖畫(huà)、圖解等構(gòu)成的不同話語(yǔ)提供了參考，為分析文本和視覺(jué)意義提供了可資借鑒的模型。

以認(rèn)知語(yǔ)言學(xué)為基礎(chǔ)發(fā)展起來(lái)的多模態(tài)話語(yǔ)分析(Forceville 1996，2006;Forceville＆ Urios-Aparisi 2009)認(rèn)為關(guān)聯(lián)理論不局限于言語(yǔ)交際，也適用于非言語(yǔ)的、多模態(tài)的話語(yǔ)分析，并運(yùn)用圖像隱喻(pictorial metaphor)理論研究多模態(tài)話語(yǔ)?；?dòng)社會(huì)語(yǔ)言學(xué)的多模態(tài)話語(yǔ)分析(Norris 2004，Norris＆Jones 2005，Scollon 2001)將語(yǔ)言看成社會(huì)行為，認(rèn)為互動(dòng)進(jìn)程是共同參與過(guò)程，話語(yǔ)分析不僅要考慮語(yǔ)言，更要考慮語(yǔ)言在互動(dòng)過(guò)程中的作用，以及互動(dòng)過(guò)程中的其他因素(Scollon 1998)。多模態(tài)互動(dòng)話語(yǔ)分析旨在理解、描述話語(yǔ)互動(dòng)的進(jìn)程，關(guān)注人們?cè)诮浑H過(guò)程中運(yùn)用不同方式構(gòu)建情景和身份的過(guò)程，將話語(yǔ)融入人們的行為進(jìn)程，分析話語(yǔ)和行為構(gòu)成的整體(Norris 2004:5－20)。

3 結(jié)束語(yǔ)

對(duì)話語(yǔ)的多模態(tài)性、多模態(tài)話語(yǔ)的認(rèn)識(shí)與研究是一個(gè)逐漸認(rèn)知、不斷深化的過(guò)程。在相對(duì)較長(zhǎng)的認(rèn)識(shí)、研究過(guò)程中，學(xué)者們逐漸認(rèn)識(shí)到，盡管語(yǔ)言在意義構(gòu)建過(guò)程中起著舉足輕重的作用，是最重要的符號(hào)資源，然而，在話語(yǔ)領(lǐng)域，它也只是眾多的符號(hào)資源之一，對(duì)語(yǔ)言的單模態(tài)研究需要與視覺(jué)、聽(tīng)覺(jué)、媒介等研究相結(jié)合，從社會(huì)、認(rèn)知、文化、媒介、哲學(xué)等各領(lǐng)域考察話語(yǔ)的多模態(tài)性質(zhì)和特征。只有重視各模態(tài)的內(nèi)在規(guī)律和協(xié)同作用，才能更深入地理解、揭示多模態(tài)話語(yǔ)發(fā)生、發(fā)展的內(nèi)在機(jī)制和規(guī)律。

目前，在社會(huì)符號(hào)學(xué)、互動(dòng)社會(huì)語(yǔ)言學(xué)和認(rèn)知語(yǔ)言學(xué)的相關(guān)研究走向縱深的同時(shí)，多模態(tài)話語(yǔ)研究的領(lǐng)域和視野也隨之更廣泛、更開(kāi)闊:研究?jī)?nèi)容從對(duì)多模態(tài)話語(yǔ)性質(zhì)的關(guān)注到對(duì)各模態(tài)的深入研究，從單一模態(tài)的探討到多種模態(tài)的融合，以及各模態(tài)之間的關(guān)系的研究;研究對(duì)象從紙質(zhì)媒體到電視、網(wǎng)絡(luò)媒體，從對(duì)成品的分析到對(duì)互動(dòng)性話語(yǔ)進(jìn)程的探討;研究方法也從經(jīng)驗(yàn)性描寫(xiě)到理性、批評(píng)性分析，從多學(xué)科關(guān)注到多學(xué)科的交叉與融合等。同時(shí)，多模態(tài)語(yǔ)言教學(xué)、多元讀寫(xiě)能力的培養(yǎng)等應(yīng)用領(lǐng)域的研究也引起重視，并將其融入現(xiàn)代社會(huì)急需的批判性閱讀能力的培養(yǎng)。因此，我們有理由相信，隨著現(xiàn)代技術(shù)的運(yùn)用和多模態(tài)話語(yǔ)研究的不斷深入，其成果將不僅為現(xiàn)代技術(shù)環(huán)境中多媒體話語(yǔ)的理解、欣賞與制作，為多模態(tài)話語(yǔ)教學(xué)等應(yīng)用領(lǐng)域提供理論和實(shí)踐支持(代樹(shù)蘭2011)，也更有利于我們更深入地理解、揭示話語(yǔ)發(fā)生、發(fā)展的內(nèi)在機(jī)制和規(guī)律。

奧古斯汀.懺悔錄［Z］.北京:商務(wù)印書(shū)館，1963.

巴爾特·羅蘭.神話——大眾文化詮釋［M］.上海:上海人民出版社，1999a.

巴爾特·羅蘭.符號(hào)學(xué)原理［M］.北京:三聯(lián)書(shū)店，1999b.

從萊庭徐魯亞.西方修辭學(xué)［M］.上海:上海外語(yǔ)教育出版社，2007.

代樹(shù)蘭.電視訪談的多模態(tài)話語(yǔ)性質(zhì)［Z］.浙江大學(xué)第三屆當(dāng)代中國(guó)話語(yǔ)研究討論會(huì)，2009年12月.

代樹(shù)蘭.關(guān)注多模態(tài)話語(yǔ)教學(xué) 提高學(xué)生交際能力［J］.山東外語(yǔ)教學(xué)，2011(3).

費(fèi)爾克拉夫.話語(yǔ)與社會(huì)變遷［M］.北京:華夏出版社，2003.

格雷馬斯，A.J.符號(hào)學(xué)與社會(huì)科學(xué)［M］.天津:百花文藝出版社，2009.

胡塞爾.邏輯研究［M］.上海:上海譯文出版社，1999.

胡壯麟.社會(huì)符號(hào)學(xué)研究中的多模態(tài)化［J］.語(yǔ)言教學(xué)與研究，2007(1).

霍克斯·特倫斯.結(jié)構(gòu)主義和符號(hào)學(xué)［M］.上海:上海譯文出版社，1987.

利科·保羅.哲學(xué)主要趨向［M］.北京:商務(wù)印書(shū)館，1988.

李彥鋒.中國(guó)繪畫(huà)史中的語(yǔ)圖關(guān)系研究［D］.上海大學(xué)博士論文，2010.

索緒爾.普通語(yǔ)言學(xué)教程［M］.北京:商務(wù)印書(shū)館，1980.

王瀚東.先秦語(yǔ)言哲學(xué)與美學(xué)的關(guān)系初探［J］.華中科技大學(xué)學(xué)報(bào)(社科版)，2001(3).

維特根斯坦.哲學(xué)研究［M］.上海:上海人民出版社，2001.

沈宗驀.傳世藏書(shū)、積庫(kù)、文藝評(píng)論(3)［Z］.?？?海南國(guó)際新聞出版社，1996.

鄭振鐸.中國(guó)歷史參考圖譜·跋［A］.鄭爾康編.鄭振鐸藝術(shù)考古文集［C］.北京:文物出版社，1988.

Baldry，A.P.＆ Thibault，P.J.Multimodal Transcription and Text Analysis［M］.London:Equinox，2006.

Bateman，J.Multimodality and Genre:A Foundation for the Systematic AnalysisofMultimodalDocuments［M］.Hampshire:Palgrave Macmillan，2008.

Bednarek，M.＆ Martin，J.R.New Discourse on Language:Functional Perspectives on Multimodality，Identity，and Affiliation［M］.London and New York:Continuum，2010.

Brown，G.＆ G.Yule.Discourse Analysis［M］.Cambridge:Cambridge University Press，1983.

Bransford，J.＆ Johnson，M.Considerations of some Problems of Comprehension［A］.In W.G.Chase(ed.).Visual Information Processing［C］.London:Academic Press，1973.

Crystal，D.The English Tone of Voice:Essays in Intonation，Prosody and Paralanguage［M］.London:Edward Arnold，1975.

Delin，J.＆ Bateman，J.Describing and Critiquing Multimodal Documents［J］.Document Design，2002(3).

Fairclough，N.Discourse and Social Change［M］.Oxford:Blackwell Publishers Ltd.，1992.

Fairclough，N.Analysing Discourse:Textual Analysis for Social Research［M］.London and New York:Routledge，2003.

Fairclough，N.，Jessop，B.＆ Sayer，A.Critical Realism and Semiosis［A］.In J.M.Robert ＆ J.Joseph(eds.).Realism，Discourse and Deconstruction［C］.London:Routledge，2003a.

Forceville，C.Pictorial Metaphor in Advertising［M］.London:Routledge，1996.

Forceville，C.Non-verbal and Multimodal Metaphor in a Cognitive Framework:Agendas for research［A］.In G.Kristiansen，M.Achard，R.Dirven＆ F.R.de M.Ibanez(eds.).Cognitive Linguistics:Current Applications and Future Perspectives［C］.Berlin/New York:Mouton de Gruyter，2006.

Forceville，C.J.＆ Urios-Aparisi，E.Multimodal Metaphor［M］.Berlin and New York:Mouton de Gruyter.2009.

Halliday，M.A.K.Learning How to Mean:Explorations in the Development of Language［M］.London:Arnold.1975.

Halliday，M.A.K.Language as Social Semiotic:The Social Interpretation of Language and Meaning［M］.London/Beijing:Edward Arnold/Foreign Language Teaching and Research Press，1978/2001.

Hawkes T.Structuralism and Semiotics［M］.London and New York:Routledge，2003.

Iedema，R.Multimodality，Resemioticization:Extending the Analysis of Discourse as a Multisemiotic Practice［J］.Visual Communication，2003(2).

Jewitt，C.Technology，Literacy and Learning:A Multimodal Approach［M］.London:Routledge，2006.

Jewitt，C.Different Approaches to Multimodality［A］.In C.Jewitt(ed.).Handbook of Multimodal Analysis［C］.London and New York:Routledge，2009.

Kress，G.＆ van Leeuwen，T.Reading Images:The Grammar of Visual Design［M］.London:Routledge，1996.

Kress，G.＆ T.van Leeuwen.Front Pages:The Critical A-nalysis of Newspaper Layout［A］.In A.Bell＆ P.Garrett(eds.).Approaches to Media Discourse［C］.London:Times New Roman，1998.

Kress，G.＆ van Leeuwen，T.Multimodal Discourse:The Modes and Media of Contemporary Communication［M］.London:Arnold，2001.

Labov，W.The Social Motivation of a Sound Change［J］.Word，1963(19).

Lemke，J.L.Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text［A］.In J.R.Martin ＆ R.Veel(eds.).Reading Science:Critical and Functional Perspectives on Discourses of Science［C］.London:Routledge，1998.

Lemke，J.L.Travels in Hypermodality［J］.Visual Communication，2002(3).

Lemke，J.L.Multimodal Genres and Transmedia Traversals:Social Semiotics and the Political Economy of the Sign［J］.Semiotica，2009(177).

LeVine，P.＆ R.Scollon.Multimodal Discourse Analysis as the Confluence of Discourse and Technology［A］.In P.LeVine ＆ R.Scollon(eds.).Discourse and Technology:Multimodal Discourse Analysis［C］.Washington DC:Georgetown University Press，2004.

Machin，D.Introduction to Multimodal Analysis［M］.London and New York:Hodder Arnold，2007.

Norris，S.Analyzing Multimodal Interaction:A Methodological Framework［M］.New York/London:Routledge，2004.

Norris，S.＆ Jones，R.H.Discourse in Action:Introducing Mediated Discourse Analysis［C］.London:Routledge，2005.

O’Halloran，K.L.Multimodal Discourse Analysis［A］.In K.Hyland＆ B.Paltridge(eds.).Companion to Discourse［C］.London and New York:Continuum.2011.

O’Toole，M.The Language of Displayed Art(2nd ed)［M］.London and New York:Routledge，1994.

Schiffrin，D.，Tannen，D.＆ H.E.Hamilton.The Handbook of Discourse Analysis［M］.Malden MA and Oxford:Blackwell，2001.

Scollon，R.Mediated Discourse as Social Interaction［M］.London:Longman，1998.

Scollon，R.Mediated Discourse:The Nexus of Practice［M］.London and New York:Routledge，2001.

Unsworth，L.Multimodal Semiotics:Functional Analysis in Contexts of Education［M］.London and New York:Continuum，2008.

van Leeuwen，T.Speech，Music，Sound［M］ .London:Macmillan，1999.

van Leeuwen，T.Discourse and Practice:New Tools for Critical Discourse Analysis［M］.Oxford:Oxford University Press，2008.

van Dijk T.A.Discourse as Structure and Process:Discourse Studies:A Multidisciplinary Introduction［M］.London:SAGE Publications Ltd.，1997.

van Dijk，T.A.Ideology:A Multidisciplinary Approach［M］.London:Sage，1998.

Ventola，E.＆ Moya，J.The World Told and the World Shown:Multisemiotic Issues［M］.Hampshire:Palgrave Macmillan，2009.