楊曉云

（北京外國(guó)語(yǔ)大學(xué),北京 100089）

一、多模態(tài)的定義

漢語(yǔ)中的模態(tài)一詞在不同學(xué)科中是稱名不同內(nèi)容的術(shù)語(yǔ)。它在邏輯學(xué)中是指事物或認(rèn)識(shí)的必然性和可能性等這類性質(zhì)；它在語(yǔ)言學(xué)中體現(xiàn)為情態(tài)研究，主要指說(shuō)話人從必然性、可能性、現(xiàn)實(shí)性等方面對(duì)語(yǔ)句客觀內(nèi)容進(jìn)行評(píng)價(jià)。在現(xiàn)代腦科學(xué)中，模態(tài)常用來(lái)指感官及其相應(yīng)的神經(jīng)系統(tǒng)。符號(hào)學(xué)用模態(tài)表示所有在社會(huì)文化中產(chǎn)生的用來(lái)表達(dá)意義的符號(hào)資源，即語(yǔ)言、聲音、圖像、顏色、動(dòng)作等傳遞信息的不同形式或渠道。本文所關(guān)注的多模態(tài)的意義體現(xiàn)為：人作為交際主體擁有聽覺(jué)、視覺(jué)、觸覺(jué)等多種感知渠道；交流所借助的媒介、渠道的多樣性；通過(guò)這些媒介和渠道所產(chǎn)生的多種符號(hào)資源，例如圖像、聲音、語(yǔ)言等。

二、多模態(tài)話語(yǔ)分析

語(yǔ)言是表達(dá)思想的最原始、最基礎(chǔ)的符號(hào)系統(tǒng)，但人類在進(jìn)行交際時(shí)并不只使用語(yǔ)言這一模態(tài)。早在人類原始生活的交流過(guò)程中就已經(jīng)有聲音、手勢(shì)、符號(hào)等模態(tài)的參與。古代的壁畫、雕刻等都見證了人們?cè)诶枚喾N符號(hào)傳遞信息。但長(zhǎng)期以來(lái)，語(yǔ)言學(xué)家在對(duì)傳遞信息的符號(hào)系統(tǒng)進(jìn)行研究時(shí)關(guān)注的只有語(yǔ)言，現(xiàn)代會(huì)話分析、語(yǔ)用學(xué)雖已開始關(guān)注會(huì)話參與者說(shuō)話時(shí)的伴語(yǔ)言特言，但它們研究的主體還是語(yǔ)言，其他模態(tài)并為得到語(yǔ)言學(xué)的關(guān)注。

隨著數(shù)字時(shí)代的到來(lái)，交際的多模態(tài)化越來(lái)越凸顯，由語(yǔ)言的和非語(yǔ)言的多種表意資源構(gòu)成的多模態(tài)話語(yǔ)成為人類話語(yǔ)實(shí)踐的一種主要形式與主流趨勢(shì)。識(shí)讀和理解多模態(tài)已經(jīng)是人們必須要掌握的能力。語(yǔ)言學(xué)家們不得不承認(rèn)，話語(yǔ)不再是僅由語(yǔ)言符號(hào)構(gòu)建的交際單位，可以簡(jiǎn)單地劃分為書面語(yǔ)或口頭語(yǔ)，而是“由多種模態(tài)共同構(gòu)成的，在某一特定社會(huì)團(tuán)體里可被識(shí)別的意義實(shí)體”。

原有的話語(yǔ)分析理論無(wú)法解釋新生的多模態(tài)話語(yǔ)。系統(tǒng)功能語(yǔ)言學(xué)派從九十年代開始把對(duì)語(yǔ)言社會(huì)符號(hào)性的研究重心轉(zhuǎn)移到了圖像、聲音、動(dòng)作等多模態(tài)交際手段的研究，由此產(chǎn)生了多模態(tài)話語(yǔ)分析這一新領(lǐng)域。

“多模態(tài)話語(yǔ)指運(yùn)用聽覺(jué)、視覺(jué)、觸覺(jué)等多種感覺(jué)，通過(guò)語(yǔ)言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象。”它有兩個(gè)判斷標(biāo)準(zhǔn)：參與交際的感官數(shù)量；所涉及符號(hào)系統(tǒng)的多少。但即便像抗疫宣傳圖一樣只涉及一種感官（視覺(jué)），卻有圖像、文字等多個(gè)符號(hào)系統(tǒng)的參與，那這類話語(yǔ)也是多模態(tài)話語(yǔ)。

多模態(tài)話語(yǔ)分析由克瑞斯和勒文首先提出，其理論基礎(chǔ)是韓禮德的系統(tǒng)功能語(yǔ)言學(xué)理論。韓禮德認(rèn)為語(yǔ)言同時(shí)具有三大元功能：概念功能、交際功能和語(yǔ)篇功能，與此相對(duì)應(yīng)，克瑞斯和勒文所提出了圖像的三大功能：再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義，并以此為核心內(nèi)容創(chuàng)建了分析圖像的視覺(jué)語(yǔ)法，構(gòu)建了適合圖像分析的社會(huì)符號(hào)學(xué)框架。

經(jīng)過(guò)二十多年的摸索，多模態(tài)話語(yǔ)的研究路徑、方法不多增加，整體可以分為三大類：符號(hào)學(xué)屬性的多模態(tài)研究（克瑞斯，勒文）；多模態(tài)語(yǔ)料庫(kù)研究（顧曰國(guó)，黃立德，張德祿）；人機(jī)交互的多模態(tài)研究（陶建華）。多模態(tài)研究也被運(yùn)用到語(yǔ)言習(xí)得、語(yǔ)言蝕失、會(huì)話分析、語(yǔ)用學(xué)、修辭學(xué)、語(yǔ)言教學(xué)、地理符號(hào)學(xué)、民族志等多個(gè)領(lǐng)域。

三、多模態(tài)語(yǔ)用分析框架

語(yǔ)用學(xué)十分關(guān)注交際語(yǔ)境和交際參與者，但其現(xiàn)有的理論框架，比如合作原則、言語(yǔ)行為理論、關(guān)聯(lián)論、面子理論、順應(yīng)論等只是關(guān)注語(yǔ)言符號(hào)，而忽視了其他符號(hào)對(duì)意義的建構(gòu)、對(duì)信息的傳遞、對(duì)交際的影響。當(dāng)在實(shí)際生活中，為了達(dá)到最佳效果，交際者總是會(huì)不自覺(jué)地使用多種模態(tài)。比如我們?cè)诒硎靖兄x的時(shí)候，不僅會(huì)說(shuō)“謝謝”，還會(huì)正視對(duì)方，面帶笑容，甚至?xí)晕澭蛘呶帐?。在公園入口的標(biāo)示牌上寫著“售票處”，同時(shí)其下方有個(gè)朝右的箭頭，入園的游客通過(guò)觀察箭頭和文字的組合，就能清晰地理解該多模態(tài)話語(yǔ)所表達(dá)的交際目的。所以，我們認(rèn)為應(yīng)該將多模態(tài)分析法應(yīng)用到語(yǔ)用學(xué)的分析和研究中去。

我們?cè)陉愋氯?、錢永紅的多模態(tài)語(yǔ)用分析框架和張德祿的多模態(tài)話語(yǔ)分析綜合理論框架基礎(chǔ)之上，構(gòu)建一個(gè)適合抗疫宣傳圖的多模態(tài)語(yǔ)用分析框架：首先，我們將抗疫宣傳圖的多模態(tài)語(yǔ)用分析分為語(yǔ)言層面和非語(yǔ)言層面。其中，對(duì)語(yǔ)言層面的分析主要是從語(yǔ)音、語(yǔ)義、句法以及它們構(gòu)成的語(yǔ)言語(yǔ)境角度去考察。而非語(yǔ)言層面，我們分出了媒介因素、語(yǔ)境因素和交際者因素。疫情宣傳圖主要通過(guò)字體、字號(hào)、圖形、圖像、色彩等模態(tài)來(lái)呈現(xiàn)，這也就是我們所說(shuō)的媒介因素；語(yǔ)境因素分為文化語(yǔ)境和情景語(yǔ)境，文化語(yǔ)境包含歷史文化、宗教觀念、政治制度等因素，情景語(yǔ)境指交際的時(shí)間、地點(diǎn)以及交際所涉及的事物和事態(tài)等；交際者因素主要包括認(rèn)知心理因素、伴語(yǔ)言因素以及社會(huì)文化因素。

四、抗疫宣傳圖的多模態(tài)語(yǔ)用分析

抗疫宣傳圖主要是由圖像符號(hào)和語(yǔ)言符號(hào)構(gòu)成，二者之間的關(guān)系如何是我們必須要探討的問(wèn)題。但由于圖像符號(hào)和語(yǔ)言符號(hào)內(nèi)在結(jié)構(gòu)差異大，多模態(tài)話語(yǔ)自身所具有的復(fù)雜性以及人類對(duì)圖像和文本的認(rèn)知差異，錯(cuò)綜復(fù)雜的圖文關(guān)系成了多模態(tài)話語(yǔ)分析中的難點(diǎn)問(wèn)題。

通過(guò)實(shí)際分析，我們認(rèn)為相互組合在一起的圖像和文本之間一定存在某種關(guān)聯(lián)，它們要么角色均衡，在意義上相互補(bǔ)充，要么有主次之分，一種模態(tài)襯托另一模態(tài)，起著輔助作用。對(duì)抗疫宣傳圖進(jìn)行分析發(fā)現(xiàn)，可以將圖像和文本的關(guān)系，即語(yǔ)言層面和非語(yǔ)言層面之間的關(guān)系劃分為兩類：互補(bǔ)關(guān)系和非互補(bǔ)關(guān)系。前者具體表現(xiàn)為：強(qiáng)化、說(shuō)明、凸顯等；后者表現(xiàn)為類比、交疊、信息沖突等。

根據(jù)我們對(duì)中國(guó)抗疫宣傳圖的收集和整理，我們發(fā)現(xiàn)宣傳圖的主題主要可以分為四類：介紹新冠肺炎癥狀；宣傳正確抗疫；疫謳歌逆行者；鼓舞抗疫信心。其中，第二類的數(shù)量最多。由于篇幅限制，本文未能呈現(xiàn)具體分析的宣傳圖，我們從收集的宣傳圖中選取最典型的幾例，首先以語(yǔ)言形式對(duì)其進(jìn)行描述，然后對(duì)其語(yǔ)用功能進(jìn)行分析。

1.語(yǔ)用身份構(gòu)建功能

每個(gè)人在實(shí)際生活中會(huì)有不同的社會(huì)身份，但是當(dāng)一個(gè)人作為交際者在一個(gè)特定時(shí)刻面對(duì)特定的交際情景時(shí)，他只能擁有與交際情景相適應(yīng)的一個(gè)社會(huì)身份去理解話語(yǔ)、進(jìn)行交際。這種在具體語(yǔ)境中體現(xiàn)出來(lái)的交際者的某個(gè)特定的社會(huì)身份就是語(yǔ)用身份。

宣傳圖的設(shè)計(jì)者受不同語(yǔ)境的影響會(huì)有意選取不同的模態(tài)組合，構(gòu)建交際參與者（設(shè)計(jì)者和接受者）的語(yǔ)用身份，以保證交際目的高效完成。例如在疫情期間，我國(guó)常德市疫情宣傳部門在高速公路的廣告架上展示了一幅抗議宣傳圖，圖中使用了戴著白色醫(yī)用口罩的女士面部圖像和以紅色字體呈現(xiàn)的文字表述“乖！戴好口罩”這幾種模態(tài)的簡(jiǎn)單組合，非語(yǔ)言層面和語(yǔ)言層面之間是相互強(qiáng)化的關(guān)系。其中，語(yǔ)言層面使用的溫馨俏皮表述自動(dòng)賦予了交際雙方新的語(yǔ)用身份，交際雙方在此刻仿佛是關(guān)系親密的朋友或家人。受眾者在理解宣傳圖時(shí)，會(huì)自動(dòng)擁有一個(gè)“被親密的人關(guān)心的身份”，會(huì)認(rèn)為宣傳者是在跟自己“一個(gè)人”單獨(dú)聊天，突顯出了受眾者的“個(gè)體感”，而不是對(duì)其進(jìn)行千篇一律的教化。

2.人際互動(dòng)功能

韓禮德認(rèn)為交際功能是語(yǔ)言的三大元功能之一，克瑞斯和勒文認(rèn)為圖像模態(tài)具有互動(dòng)意義，相應(yīng)地，疫情宣傳圖也具有人際互動(dòng)功能。設(shè)計(jì)者借助語(yǔ)言表述的語(yǔ)氣系統(tǒng)、情態(tài)系統(tǒng)等，通過(guò)充滿幽默的多模態(tài)設(shè)計(jì)，呈現(xiàn)出自己的態(tài)度，增加受眾者的參與感，實(shí)現(xiàn)交際雙方的人際互動(dòng)。

例如在我國(guó)某村委會(huì)的一幅抗議宣傳圖中，左邊呈現(xiàn)的是一手打著算盤，一手翻著賬本，戴著口罩直視前方的女子，右邊是用紅色加粗字體豎著排版的兩行字：“省小錢不戴口罩，花大錢臥床治病”。該宣傳圖的語(yǔ)言層面采用的是陳述語(yǔ)氣，旨在陳述事實(shí)、直接傳遞交際意圖，在情態(tài)方面，設(shè)計(jì)者更像是在面對(duì)面地規(guī)勸受眾。設(shè)計(jì)者考慮到怕浪費(fèi)錢購(gòu)買口罩的實(shí)際交際情景，以及交際者因素：受種者主要是農(nóng)村地區(qū)的中老年人，所以使用了兩句相互對(duì)照的宣傳語(yǔ)，采用更能深入人心的“省小錢”和“花大錢”這類樸素表達(dá)，有利于實(shí)現(xiàn)和諧的人際互動(dòng)。在非語(yǔ)言層面，設(shè)計(jì)者運(yùn)用了戴著口罩的精細(xì)規(guī)劃生活的普通人意象實(shí)現(xiàn)交際行為。語(yǔ)言層面和非語(yǔ)言層面之間是相互說(shuō)明的關(guān)系。

3.簡(jiǎn)化理解功能

宣傳圖是一種視覺(jué)藝術(shù)，它的設(shè)計(jì)目的主要是讓受眾者能清楚地理解設(shè)計(jì)者的意圖，加深對(duì)所宣傳內(nèi)容的認(rèn)同。主流媒體發(fā)布的大量旨在宣傳防疫知識(shí)、介紹癥狀等這類圖文組合的疫情宣傳圖與長(zhǎng)篇的文字相比，更能簡(jiǎn)化受眾者對(duì)信息的理解。這類宣傳圖在語(yǔ)言層面呈現(xiàn)的是中性情感色彩，在非語(yǔ)言層面主要是使用相應(yīng)的簡(jiǎn)化圖像去表示相應(yīng)的癥狀。簡(jiǎn)單的文字說(shuō)明和簡(jiǎn)化的圖像組合能讓人在短時(shí)間內(nèi)迅速理解設(shè)計(jì)者所要呈現(xiàn)的內(nèi)容。

4.抒發(fā)情感功能

疫情宣傳圖除了呈現(xiàn)疫情知識(shí)之外，更重要的功能在于傳達(dá)一種情感或信念，大多都帶有強(qiáng)烈的感情色彩，如謳歌“逆行者”的勇敢和辛苦，強(qiáng)化抗疫必勝的信心等，這類宣傳圖在疫情防空過(guò)程中起到重要的輿論撫慰作用，帶有強(qiáng)烈的積極正面的感情色彩。當(dāng)然，一些諷刺或造謠類宣傳圖則帶有明顯的負(fù)面消極情感色彩，而那些簡(jiǎn)單的疫情癥狀說(shuō)明圖在情感色彩上則為中性。

疫情期間在社交網(wǎng)站上有一副廣為流傳的卡通抗疫宣傳圖：戴著口罩的“熱干面”在病床上接受治療；其病房的窗戶外擠滿了他的朋友——“炸醬面”“火鍋”……它們用關(guān)切的眼神望著病房?jī)?nèi)的“熱干面”。在語(yǔ)言層面采用的是非正式語(yǔ)體——“熱干面”和“加油”這兩個(gè)詞組的簡(jiǎn)單組合。在非語(yǔ)言層面，設(shè)計(jì)者使用了人們熟知的中國(guó)各地區(qū)的代表性美食意象來(lái)實(shí)現(xiàn)交際行為，并使用了心形狀圖形，語(yǔ)言層面和非語(yǔ)言層面是重合交疊的關(guān)系。語(yǔ)言模態(tài)和非語(yǔ)言模態(tài)的組合直接呈現(xiàn)了設(shè)計(jì)者對(duì)疫情重災(zāi)區(qū)受眾者的鼓舞。

綜上，本研究基于多模態(tài)語(yǔ)用分析框架，對(duì)抗議宣傳圖這一典型的多模態(tài)話語(yǔ)中的主要語(yǔ)用功能即語(yǔ)用身份建構(gòu)、人際互動(dòng)、簡(jiǎn)化理解、抒發(fā)情感功能進(jìn)行了分析，并發(fā)現(xiàn)了抗議宣傳圖中的語(yǔ)言層面和非語(yǔ)言層面之間主要有強(qiáng)化、凸顯、說(shuō)明、重疊等關(guān)系?？挂咝麄鲌D的多模態(tài)語(yǔ)用分析，可以幫助受眾者成功地理解設(shè)計(jì)者的概念意義和交際意圖，從而有效提高交際效果、達(dá)到宣傳抗疫的目的。