摘 要：在技術(shù)不斷進步的今天，信息的表達和信息傳遞越來越呈現(xiàn)多模態(tài)化趨勢?？v觀人類實際的語言交際，成功的語義信息構(gòu)建和傳達始終非單一手段所能達到，而是多種語言甚至非語言要素綜合作用的結(jié)果。因此，對于話語意義的研究需要跳出單純的文本研究模式，擴展到多模態(tài)的話語分析模式。本文首先綜述了多模態(tài)理論在話語分析以及其他領(lǐng)域的應(yīng)用，其次將理論應(yīng)用于實踐，以影視作品《天才理論傳》中部分視頻片段為考察對象，相應(yīng)劇本為語料，通過分析進一步闡釋多模態(tài)的語言對表現(xiàn)完整而準確的話語意義的重要作用。

關(guān)鍵詞：多模態(tài)；話語分析；非語言因素

作者簡介：陳雅璐，同濟大學(xué)，專業(yè)：英語學(xué)歷：碩士研究生（研一），研究方向：外國語言學(xué)及應(yīng)用語言學(xué)。

[中圖分類號]：H0-06[文獻標識碼]：A

[文章編號]：1002-2139(2012)-14-0148-02

引言

人類之所以是自然界最高級的生物，因為人類具有思想，并且創(chuàng)造出了能夠傳達自己思想的表意符號系統(tǒng)。狹隘說來表意符號系統(tǒng)就是指的人類的語言，但廣義來說，語言系統(tǒng)只是表意符號系統(tǒng)的一個組成部分。

在技術(shù)不斷進步的今天，人們在交際過程越來越多地使用多種符號工具來創(chuàng)造信息和傳達意義，比如在言語對話時配合手勢或眼神，在提供文字信息的同時采用圖片或圖像輔助闡釋，在講話或報告時佐以背景音樂等等。

一、多模態(tài)話語分析框架

根據(jù)張德祿老師（2009:24）的觀點，多模態(tài)話語指運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現(xiàn)象。多模態(tài)也稱多符號，即指的其中采用的各種可以用來構(gòu)建意義的符號工具。

在承載話語意義的媒體層面，多模態(tài)話語分為語言的和非語言的兩大類媒介形式；其中，語言的承載媒介包括純語言的和伴語言的兩類；非語言的承載媒介包括身體性的和非身體性的兩類。具體每一類媒介包含的符號工具如下圖所示（張德祿，2009:25）：

由此多模態(tài)話語媒體系統(tǒng)結(jié)構(gòu)圖我們可以看出，從多模態(tài)話語的角度來衡量，純語言的文字體系作為人類實際交際的符號工具，只是龐大而復(fù)雜的符號系統(tǒng)中很小的一個組成部分。也就是說，純語言的言語聲音或書面文字不足以完整和準確的構(gòu)建和傳遞信息。因此，對于話語的多模態(tài)分析越來越成為語言研究的重要課題之一。

話語分析理論最初由美國語言學(xué)家Harris于20世紀50年代初期提出，之后話語分析專家們紛紛立足于不同角度，提出了多種理論與方法來揭示話語行為自身的特征、內(nèi)在的規(guī)律，以及話語與認知之間的關(guān)聯(lián)，并結(jié)合了大量的案例來分析、論證和鞏固以上理論。然而何山燕（2011:153）認為：“以往的話語分析研究基本都是以語言為研究對象，或從語言系統(tǒng)和語義結(jié)構(gòu)本身，或從社會文化、認知心理之間的關(guān)系探討語言應(yīng)用規(guī)律，忽略了諸如圖像、音響、色彩、動畫等其他意義的表現(xiàn)形式?！?/p>

隨著現(xiàn)代科學(xué)技術(shù)的發(fā)展，多模態(tài)話語現(xiàn)象愈發(fā)頻繁，單純從語言的角度已經(jīng)不能夠準確和完整地對話語進行深入而全面的分析和闡釋，因為人類信息交際中很大一部分信息是由非語言因素體現(xiàn)的。非語言符號在信息傳遞方面能夠打破空間甚至?xí)r間的限制，因此在日常交際中發(fā)揮著越來越重要的作用。

根據(jù)張德祿老師（2009：27）的觀點，各種模態(tài)形式之間存在如下各種關(guān)系：

多模態(tài)之所以被廣泛運用于實際話語交際中，就是因為多種模態(tài)能夠通過相互之間的突出、擴充、聯(lián)合等互補關(guān)系，或者抵消、抽象到具體、獨立等非互補關(guān)系，更完整更準確的表達說話者的意思。

下面筆者將對影視作品《天才理論傳》中部分情節(jié)的多模態(tài)話語交際現(xiàn)象進行嘗試性分析，通過對理論的應(yīng)用與實踐，進一步闡釋多模態(tài)的表現(xiàn)手法對構(gòu)建準確而完整的話語意義的重要作用。

二、多模態(tài)語義構(gòu)建實例——以《天才理論傳》為腳本

《天才理論傳》是20分鐘為一集的美國短喜劇，其中男主人公四名（Sheldon， Leonard等，以下簡稱S和L）均為智商超群的“科學(xué)天才”，做事較真愛鉆牛角尖，因此處理日常生活和感情問題時總是不；女主人公Penny（以下簡稱P），是S和L的對門鄰居，美麗漂亮、聰明伶俐，雖沒有極高的學(xué)歷和超凡的智商，但在生活及做事的諸多方面是男人們應(yīng)崇拜和效仿的典范?！短觳爬碚搨鳌肪褪侵v一個美女和四個科學(xué)家的搞笑故事。

下面我們以《天才理論傳》第一部的第十一集為研究對象，對其中的多模態(tài)話語交際現(xiàn)象進行描述和分析，以圖考察說話者意圖表達的語義是怎樣通過多種模態(tài)的相互作用和意義整合才能完整而準確地建構(gòu)起來。

背景1：S和L在下自創(chuàng)的“多維象棋”（立體多層的棋盤，每層的棋子及弈法均相互關(guān)聯(lián)構(gòu)成整個棋局），此時L已輸給S多局：

S：It must be humbling to suck on so many different levels.（手勢）

在說到畫線部分時，S用手由下到上將多維棋盤的每一層指示了一遍。

我們來考察此多模態(tài)話語采用了哪些媒體，即符號系統(tǒng)來表意。首先是純語言的聲音符號，即說話者的言語行為。這是語義傳達的主體部分，表達了說話者的基本意義。在此情景下，說話者S想表達的是對對方連連輸棋的嘲笑和戲弄。其次是說話者的手勢符號。若沒有該手勢的配合，話語僅能夠傳達出S嘲笑L下棋水平低之意，即不管跟什么水平的人下什么樣的棋都會輸棋；然而有了手勢的同步配合，該表達更具體的點明是在當(dāng)下的“多維象棋”游戲中，巧妙地強調(diào)了L在每一層棋盤上的表現(xiàn)都不盡如人意，表達了一個更具體更形象的含義，達到生動的效果，使語言本身的諷刺意味更強。

從各種模態(tài)形式之間的關(guān)系來考察，兩種模態(tài)可以理解為互補關(guān)系中的強化關(guān)系，具備擴充功能，即在基本的抽象的“下棋水平總是很低”的抽象概念語義上，擴充出“實際多維棋盤每一層都下得不好”的具體情景語義。

背景2：P度假回來，到對門公寓里跟S和L打招呼并講述旅途聽到的有趣的笑話，S非但不領(lǐng)情，還嚴肅地指出P的笑話中存在言辭和邏輯不嚴謹?shù)戎T多問題，P無奈地看著S：

P：Boy， it’s good to be back.（語調(diào)，表情）

單看文本我們僅能獲得“P認為度假結(jié)束終于到家很快樂”的解讀，然而結(jié)合視頻，通過觀察P的語調(diào)和面部表情，我們可以很容易地判斷出，單純的文本解讀是不完整不準確的：一方面，P與S是多年的鄰居，S的脾氣性格P實際上已經(jīng)完全熟悉和適應(yīng)，因此在異地度完長假回到家中，又聽到鄰居大男孩的嘮叨和抱怨，一種熟悉和親切的感覺的確油然而生，這貼合話語純字面的解讀。另一方面，S的不領(lǐng)情和咬文嚼字的確很掃興，令人心里不快，因此P說good這個詞的音調(diào)偏高，非正常語調(diào)，體現(xiàn)出一定的反語含義，即：回到家中聽S嘮叨是件煩擾的事情；同時P的面部表情非常無奈和尷尬，也表現(xiàn)出她心里的矛盾想法。

此情景的多模態(tài)話語涉及純語言的媒體，即句子本身，伴語言媒體，即話語的音調(diào)和語調(diào)，以及身體媒體中的表情符號媒體。其中后兩者與前者純語言的關(guān)系可以闡述為非互補中的抵消關(guān)系，也就是說，非純語言的符號系統(tǒng)表達的是與純語言符號系統(tǒng)剛好對立的兩種語義，正負兩方面相互作用，效果抵消，P對于度假回家面對S這個事實，既非完全的開心又非單純的煩擾。

背景3：S被P傳染得了感冒，S來到P打工的餐館吃粥，P過來接待他：

P：Sheldon， what are you doing here?

S：I’m SICK. Thank you VERY MUCH.（表情，眼神，音調(diào)，音響）

從純語言媒體角度考察，由于S的回答與P的提問沒有直接關(guān)聯(lián)，明顯違背了言語交際中的合作原則，因此可以推斷答語中必定有隱藏的含義。單就純語言角度分析S的回答是對P表感謝，實際相反：S說話時面露怒色，對P不滿地翻白眼，同時語氣中有明顯的埋怨成分，句中的sick和very much被說話者重讀強調(diào)。因此，伴語言的音響特征媒體與純語言的聲音文字媒體結(jié)合，輸出完整的語義：我果然生病了，這可都怪你。

此例中，非語言的表情和眼神媒體與純語言之間形成非互補中的排斥關(guān)系；伴語言的音調(diào)和音響與純語言的聲音形成突出強化關(guān)系；而同屬非純語言的媒體之間，比如表情與音調(diào)，眼神與聲響形成互補關(guān)系中的非強化關(guān)系，即聯(lián)合關(guān)系，協(xié)調(diào)關(guān)系，或交叉關(guān)系。據(jù)此，一個多模態(tài)的話語的完整意義只有通過對各種符號媒體的意義表達進行分析，整合，才能得到完整的、準確的話語意義。以上案例向我們展示了：話語的多模態(tài)可以由純語言媒體與一種（案例1）、兩種（例2）或多種（案例3）其他模態(tài)的媒體相結(jié)合來實現(xiàn)。

三、結(jié)語

當(dāng)今諸多的實際語言交際現(xiàn)象中都存在多模態(tài)的交際表現(xiàn)手法。通過對以上具體語料的分析，我們可以總結(jié)得出：要得到完整的語義解釋我們需要考慮多種模態(tài)的符號系統(tǒng)對構(gòu)建完整的話語意義的重要作用。

多模態(tài)話語通過多種承載意義的符號媒體來實現(xiàn)；不同媒體擅長表現(xiàn)不同的話語模態(tài)形式；各種形式之間又存在諸如擴充、聯(lián)合、抵消等互補或非互補的關(guān)系，它們共同作用為完整的話語意義輸出做出貢獻。

本文的研究還存在諸多問題，比如研究對象是影視話語，話語是由編劇事先編寫好的臺詞，這與實際生活中的言語交流存在一定差別；其次，本文分析的多種模態(tài)均沒有涉及非語言系統(tǒng)中的非身體符號工具，即外部工具和環(huán)境，如PPT、音響擴放、網(wǎng)絡(luò)等等。然而在實際生活的很多情況下，這種非身體媒體在多模態(tài)話語交際中起著不可或缺的作用，因此對這種模態(tài)的研究也是本文尚待完善的領(lǐng)域之一，需要更全面和深入的分析和思考。

參考文獻：

[1]、顧曰國.多媒體、多模態(tài)教學(xué)剖析[J].外語電化教學(xué)，2007(2).

[2]、何山燕.國內(nèi)多模態(tài)話語分析研究述評[J].重慶文理學(xué)院學(xué)報（社會科學(xué)版），2011年5月，第30卷第三期.

[3]、胡壯麟.社會符號學(xué)研究中的多模態(tài)化[J].語言教學(xué)與研究，2007(1).

[4]、李戰(zhàn)子.多模式話語的社會符號學(xué)分析[J].外語研究，2003(5).

[5]、王應(yīng)喜.多模態(tài)話語分析[J].中國科教創(chuàng)新導(dǎo)刊（語言學(xué)研究），2010年第17卷.

[6]、辛志英.話語分析的新發(fā)展——多模態(tài)話語分析[J].社會科學(xué)輯刊，2008年第5期.

[7]、張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語，2009年1月，第6卷第1期.

[8]、張德祿.多模態(tài)話語理論與媒體技術(shù)在外語教學(xué)中的應(yīng)用[J].外語教學(xué)，2009年7月，第30卷第4期.

[9]、朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊，2007(5).

[10]、Halliday，M.A.K.(1978).Language as a social semiotic.London:Arnold.

[11]、Kress，G.van Leeuwen，T.(2001).Multimodal discourse:The modes and media of contemporary communication.London:Arnold.

[12]、O’Halloran，K.L.(2006).Multimodal discourse analysis:Systemic functional perspectives.New York:Continuum International Publishing Group.