■彭曉妍/瓊臺師范學院

一、前言

隨著新媒體技術的發(fā)展和各種社交媒體的應用，人類的交際模式也呈現(xiàn)出多元化。語言或語篇交際不再是人類信息交流主導方式，各種符號如圖像、音樂、視頻、圖表、標識等的交際作用日益凸顯。換言之，人類交流方式的多樣化使得現(xiàn)代交際呈現(xiàn)出了新的特點，現(xiàn)代交際是由多種符號共建完成的。因此，如果我們研究語言的時候，僅從語言的角度對話語進行研究，這是不全面的，因為很多非語言因素(如語調(diào)、手勢、面部表情等)，也在很大程度上決定了話語意義。在真實的交際環(huán)境中，我們需要調(diào)動多種感官共同參與，這種多感官參與的語言就是多模態(tài)話語。張德祿指出：“多模態(tài)話語是指運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現(xiàn)象?！?/p>

表2

二、多模態(tài)話語分析的研究意義

多模態(tài)話語存在于我們?nèi)粘＝涣鞯恼Z言中，如兒童繪本故事配上了插圖；說話時使用手勢來強調(diào)情緒或引起注意；配音時根據(jù)不同人物特點使用不同腔調(diào)和語氣，這些都是非語言特征和伴隨語言特征。通過研究，語言學家們發(fā)現(xiàn)這些并非僅僅是語言的輔助表達系統(tǒng)，而是被賦予了一定的意義。因此，語言學家認為，多模態(tài)話語可作為意義表達模態(tài)的一個單獨的學術領域來研究。

三、多模態(tài)話語分析的依據(jù)和起源

研究多模態(tài)話語的理論，還要說起系統(tǒng)功能語言學的社會符號學理論。Halliday把語言看做一個社會符號系統(tǒng)，即一個表義系統(tǒng)。語言外的其他表義系統(tǒng)還有繪畫、雕刻、音樂、舞蹈等。這些表義系統(tǒng)與語言共同實現(xiàn)社會意義。也就是說，人類與外界的交互是多模態(tài)。系統(tǒng)功能語言學中的社會符號學的理論基礎正是多模態(tài)話語分析的理論基礎。

(一)語言與符號

語言有很多不同的定義，有語言學家將語言視為符號，認為語言就是個符號系統(tǒng)。這其中的定義包括：“語言是約定俗成的符號系統(tǒng)”?！罢Z言是表達思想的符號體系”?！拔覀冄哉Z中的詞是表達概念或思想的象征或符號”。

(二)符號的功能觀

由此可見，研究語言符號學的語言學家的符號功能觀大大豐富和擴展了語言研究。韓禮德在《作為社會符號的語言》一書指出了語言的三大功能，即概念功能(語言可表達說話者的親身經(jīng)歷和內(nèi)心活動)、人際功能(語言可幫助說話者和受話者之間建立和維持一定的社會關系)和語篇功能(語言又必須用一定手段和規(guī)則來實現(xiàn)上下連貫及符合語境)。

對語言符號的功能觀有所貢獻的語言學家還有標勒(Buhler,K.)、雅各布森(Jakobson)、理查茲(Richard)和賴昂斯(Lyons)等。他們在語言功能的數(shù)量和分類上有所差異，朱永生經(jīng)過分析，列出了一張功能對照表，以示其大致的對應關系。(表1)

表1

如表1所述，功能語言學家提出了語言的多功能，也就是說，語言除了具備其本身的表義功能，即對客觀事物進行描述和表達思想，語言還具有交際功能，即語言可以實現(xiàn)社會交際。

(三)語言的社會性

“語言符號的功能”是功能主義的主要研究內(nèi)容，功能主義與其他語言學理論相比，其最大的長處在于將語言視為與社會環(huán)境因素互動和緊密聯(lián)系的行為。語言是社會活動的產(chǎn)物，作為人類交際的工具，它承擔著各種功能。語言實現(xiàn)的全過程可以歸納表2。

由表2我們可以得出以下結論：

(1)語言具有社會性。語言是說話者和受話者用語言符號作為媒介進行的社會交流，而且語言的各種“潛勢”是存儲在社會成員之間的。

(2)行為潛勢隱含著社會文化關系，意義潛勢包含社會語義內(nèi)容；言語行為體現(xiàn)言語表達形式。三者可依次表達“what you can do;what you can mean?;what you can say?”。

(3)意義潛勢受行為潛勢的制約，通過言語行為表示出來。由于它是對社會行為編碼的結果，所以意義潛勢是三個環(huán)節(jié)中的關鍵。

四、多模態(tài)話語分析的理論基礎：系統(tǒng)功能語法

(一)語言的五個層面

系統(tǒng)功能語法承襲了索緒爾的將語言視為符號系統(tǒng)的觀點，但它也提出，語言符號系統(tǒng)不是心理的，而是社會的。也就是說，語言不單純是符號和聲音在受話者腦子里產(chǎn)生的心理活動，而是其所起的交流功能。簡言之，語言活動是一種社會交際活動。

1992年，馬丁提出了語言的五個層面的系統(tǒng)，這個理論框架可以直接用于分析多模態(tài)話語。分別是：

(1)文化層面，即說話者的意識形態(tài)和體裁結構潛勢等;

(2)語境層面，包括由話語范圍、話語基調(diào)和話語方式組成的語境構型；

(3)意義層面，包括概念意義、人際意義和謀篇意義等；

(4)形式層面，語言在形式系統(tǒng)實現(xiàn)意義，詞匯、語法本身有自己的系統(tǒng)，并且詞匯、語法在視覺性表意系統(tǒng)、聽覺性表意系統(tǒng)、觸覺性的表意系統(tǒng)等都有自己的一套系統(tǒng)；

(5)媒體層面，它是話語實現(xiàn)的媒介，如面部表情、手勢、身勢和動作等因素，也如教師授課的PPT、網(wǎng)絡直播、音響等。

由此可見，與語言符號的功能觀相比，多模態(tài)話語擴充了兩個層面，即形式和媒體層面，這也是語言學的有待進一步研究的范圍。語言借由媒介在媒介層面實現(xiàn)意義，再通過形式層面的組織關系來實現(xiàn)意義。下面就分別闡述下形式層面與媒體層面。

(二)多模態(tài)話語的形式層面

如上文所述，話語意義是通過媒體這一載體進行傳遞的，而有些媒介符號本身就具有意義，比如網(wǎng)絡聊天中的表情符號。還有一些媒介符號按照一定的規(guī)則進行組合，這就是我們所稱的語法。多模態(tài)話語的主要研究課題應該是發(fā)現(xiàn)不同的媒體形式是通過怎樣的語法規(guī)則組合在一起形成和體現(xiàn)意義的，也就是不同模態(tài)的媒體之間是如何相互關聯(lián)共同實現(xiàn)說話者要表達的意義。

為了達到某種語言效果，我們借用多模態(tài)去充分表達話語意義。有時候可能是隨意的行為，但是在更多情況下，說話者在實際交流中，確實僅憑一種模態(tài)無法表達清楚某些話語意義，這時候不得不有意借助另一模態(tài)來進行強化、補充、調(diào)節(jié)、協(xié)同，使意義表達更加充分，使聽話者更清楚、直接地理解說話者的意圖。語言學家發(fā)現(xiàn)，多模態(tài)話語形式之間的關系可分為互補關系和非互補關系。其中互補關系又分為強化(包括突出、主次、擴充)和非強化(包括交叉、聯(lián)合、協(xié)調(diào))。其中的非互補關系又包括交疊(包括冗余、排斥、抵消)、內(nèi)包(包括整體部分和抽象具體)、語境交互(包括獨立和依賴)。研究不同模態(tài)之間的的形式特征和關系如何相互協(xié)作，這是個復雜但又值得進一步研究的課題。

(三)多模態(tài)話語的媒體層面

實現(xiàn)語言傳播和意義傳遞的媒體形式包括語言媒體和非語言媒體。語言媒體又分為純語言媒體和伴語言媒體，純語言就是所見的書寫符號和所聽的聲音符號，比如在手機上閱讀文字信息和接收語音消息。由此可見，聲音和文字都使得語言能夠得以傳播。而單純的聲音和文字形式有時候是單薄和蒼白的，很多時候我們還需要借助音響、聲音大小和音調(diào)、口氣，再比如不同的字體和字號以及空間布局來對語言意義的傳遞起到輔助、補充和強化的作用。

非語言媒體的第一類是說話時使用的面部眼神表情、肢體和身體軀干的各種姿勢和動作，這些都在傳達意義。與此同時，語言的交流是在某個環(huán)境下發(fā)生的，很多時候我們可以利用現(xiàn)場環(huán)境的人和物如道具等，幫助實現(xiàn)意義的傳遞。另外，隨著科技技術和新媒體的運用，語言的交流也不再局限于面對面的交流了，人類會利用各種工具性媒體來交流和溝通如各種網(wǎng)絡平臺甚至同聲傳譯室等?？偠灾钦Z言媒體包括身體語言和工具與環(huán)境。

五、結語

由此可見，我們可以用系統(tǒng)功能語言學理論來直接作為多模態(tài)話語分析的理論框架。換言之，就語言的五個層面中的文化層面、語境層面、意義層面而言，多模態(tài)語言交際并不區(qū)別于單模態(tài)的語言交際。然而在形式層面上，各個模態(tài)的形式特征通過各種方式來進行關聯(lián)，從而共同實現(xiàn)話語意義。研究多模態(tài)話語的難度在于，在形式層面上，每個模態(tài)，如視覺、聽覺、觸覺，都有其相應的形式語法系統(tǒng)等，而這些模態(tài)的語法就有很大的主觀性，不像語言的語法一樣有固定的規(guī)則。但是研究多模態(tài)話語的重點并不在于研究其語法形式，而更應該關注各個模態(tài)間的協(xié)調(diào)，聯(lián)合，互補是如何共同運作的，研究不同模態(tài)的形式特征和他們之間的關系。