（江蘇科技大學(xué) 外國語學(xué)院 212003）

一、引言

時下人們的交際大都是圖、文、聲、動同步進(jìn)行，以多種模態(tài)的形式呈現(xiàn)，使信息傳遞更加快捷、精確、全面，適應(yīng)時代交際的需求。這種運(yùn)用多種感覺（聽覺、視覺等）和符號資源（語言、圖像、聲音、動作等）進(jìn)行交際的現(xiàn)象就是多模態(tài)話語。多模態(tài)話語分析研究語言和其他非語言的意義系統(tǒng)，突出圖像、音樂、顏色等其他符號系統(tǒng)在社會交際中的地位，能更加全面準(zhǔn)確地解讀話語意義，探索人類如何綜合使用多種模態(tài)順利進(jìn)行交際。經(jīng)過二十多年的發(fā)展，多模態(tài)話語分析逐漸從靜態(tài)語篇轉(zhuǎn)向?qū)σ曨l、電影等動態(tài)語篇的研究。其中，Baldry等從多模態(tài)角度分析了媒體、網(wǎng)頁、電影和廣告等；Bateman和Schmidt提出了系統(tǒng)分析電影意義構(gòu)建的符號學(xué)框架；張德祿提出并運(yùn)用了動態(tài)多模態(tài)話語分析理論框架來分析一則電視天氣預(yù)報中視聽等模態(tài)間協(xié)同，發(fā)現(xiàn)聽覺模態(tài)為主模態(tài)，其他模態(tài)對其補(bǔ)充或強(qiáng)化；管樂、張嵋琳在張德祿的理論框架下分別研究了兩場Ted演講，發(fā)現(xiàn)在演講視頻中，聽覺模態(tài)是主模態(tài)，其他模態(tài)與之協(xié)調(diào)配合達(dá)到具體交際目的；孟凡英從動態(tài)多模態(tài)話語形式和關(guān)系方面分析中國申辦2022年冬奧會劉延?xùn)|陳述視頻，發(fā)現(xiàn)其中各種模態(tài)話語的形式（語言、聲覺和圖覺）相互關(guān)聯(lián)共同實(shí)現(xiàn)語篇的整體意義。整體來說，從多模態(tài)角度分析動態(tài)視頻中交際目的的達(dá)成，對人們社會交際產(chǎn)生積極指導(dǎo)作用，是社會發(fā)展的需求。

二、動態(tài)多模態(tài)話語分析理論框架

張德祿基于系統(tǒng)功能語言學(xué)提出動態(tài)多模態(tài)話語分析綜合框架，文化層、語境層、意義層、形式層及媒體層是其五大層面。針對形式層的分析，具體探討了多模態(tài)話語的形式及關(guān)系，不同模態(tài)有實(shí)現(xiàn)意義的不同表意形體和語法系統(tǒng)，如視覺模態(tài)中有圖像形體和圖像語法，前者是本身可以實(shí)現(xiàn)一定意義的圖像項目，后者是不同項目組合后形成的圖像結(jié)構(gòu)體，可體現(xiàn)一定的（更復(fù)雜的）意義。且各模態(tài)間構(gòu)成多種協(xié)同關(guān)系，分為互補(bǔ)性和非互補(bǔ)性兩大類?；パa(bǔ)性關(guān)系指一種模態(tài)不能充分或全部表達(dá)話語的意義，需要第二種模態(tài)的補(bǔ)充，其下細(xì)分為強(qiáng)化（突出、主次和擴(kuò)充）和非強(qiáng)化（交叉、聯(lián)合和協(xié)調(diào)）；非互補(bǔ)關(guān)系則指第二種模態(tài)的出現(xiàn)對第一種模態(tài)在話語意義的表現(xiàn)上并沒有大的貢獻(xiàn)，分為內(nèi)包（整體與部分、抽象與具體）、交疊（冗余、排斥、抵消）、語境交互（獨(dú)立、依賴）。

三、《遙遠(yuǎn)星球的孩子》預(yù)告片的多模態(tài)協(xié)同分析

（一）語料和語料切分

2011年7月21日CCTV9頻道首播紀(jì)錄片《遙遠(yuǎn)星球的孩子》的預(yù)告片，時長1分34秒。該預(yù)告片從醫(yī)學(xué)、倫理、家庭、工作、夢想等多個角度為觀眾揭開孤獨(dú)癥患者獨(dú)特的內(nèi)心世界和生活，嘗試改變社會上“孤獨(dú)癥是一種神秘疾病”的刻板印象，立意深刻，引人深思。

作為典型的動態(tài)語篇，該預(yù)告片以字幕、畫面、音樂、音效等多種符號來進(jìn)行意義建構(gòu)，其中視聽兩種模態(tài)是否巧妙協(xié)同直接影響著預(yù)告片的交際目的是否能實(shí)現(xiàn)。為了便于分析，首先依據(jù)張德祿對動態(tài)語篇切分的三個標(biāo)準(zhǔn)（語篇結(jié)構(gòu)、經(jīng)驗(yàn)意義、前景化的事物和特征）切分該視頻。在一個語篇中，每個主題下有多個階段，每個階段下又有多個次要單位，隨著語篇內(nèi)容的發(fā)展，主題發(fā)生轉(zhuǎn)變，該轉(zhuǎn)折點(diǎn)可作為單位切分的界限，也帶來了語篇參與者和情景因素的變化，另外語篇中同主題密切相關(guān)的前景化事物和特征在語篇切分時也應(yīng)考慮。再者，從語篇整體上來看，張德祿指出，每個圖像可以實(shí)現(xiàn)一個事件，一系列交際事件形成一個情節(jié)，幾個情節(jié)可以組成一個故事或者一個作品。由此，該預(yù)告片被切分為5個階段，9個步驟、12個情節(jié)、19個事件和19個圖像。預(yù)告片的開始與結(jié)尾分別對應(yīng)階1和階5，主題發(fā)展對應(yīng)階2和3，高潮部分對應(yīng)階4。

（二）模態(tài)間協(xié)同關(guān)系分析

該預(yù)告片由不同的交際階段構(gòu)成，各階段有各自的交際目的，從而產(chǎn)生不同的多模態(tài)話語交際模式，具體存在提示型、提供信息型和求取注意型三類交際模式。

第一類：提示型交際模式（階1、5）。首先，與舒緩的背景音樂幾乎同時，配音陳坤以緩慢的語調(diào)向觀眾詢問“你知道嗎？你身邊每1000個人當(dāng)中，至少有6個人，他們無法溝通，無法表達(dá)，無法互動?！痹诖穗A段聽覺模態(tài)始終處于前景中，為主模態(tài)，同時事件1中灰黑色整體色調(diào)下的少年背影（視覺模態(tài)）為聽覺模態(tài)提供背景信息，起強(qiáng)化突出作用，事件2、3、4依次呈現(xiàn)從窗口遙望的少年沉浸在自己的世界里，不與他人溝通；以奇怪的手勢扭杯子的少年不知要表達(dá)什么；在公眾場合直立身子，抬起手臂，雙手合十的少年則不知道如何與他人互動，在這視覺與聽覺模態(tài)構(gòu)成非強(qiáng)化協(xié)調(diào)關(guān)系，共同表達(dá)該階段話語的整體意義。接著，在預(yù)告片結(jié)束部分（事件19），白底色下的藍(lán)色字“系列紀(jì)錄片；遙遠(yuǎn)星球的孩子；首播22：00”以及畫面左上角淺白色英文縮寫“CCTV9 紀(jì)錄”構(gòu)成的視覺模態(tài)為主模態(tài)，提示觀眾其預(yù)告的正片的相關(guān)信息，聽覺模態(tài)體現(xiàn)在逐漸消去的背景音樂，與視覺模態(tài)構(gòu)成強(qiáng)化突出關(guān)系。

第二類：提供信息型交際模式（階2、3、4）。首先，配音周迅將孤獨(dú)癥者既害怕身體接觸又怕與人交流的特點(diǎn)向觀眾緩緩道來（事件5、6），緊接著陳坤用數(shù)據(jù)向觀眾說明孤獨(dú)癥者的高患病率（事件7、8），同時構(gòu)成聽覺模態(tài)的背景音樂，一改之前的輕柔舒緩，而是略有些低沉悲壯，引起觀眾情感波動。接著，高潮部分（階4）講述孤獨(dú)癥者家長認(rèn)為孤獨(dú)癥者很天真，呼吁社會大眾接受他們（事件11和12），以及孤獨(dú)癥者自身坦然接受現(xiàn)狀，積極做出改變（事13、14、15、16），并積極與地球人分享他們的世界（事件17、18）。在這交際階段聽覺模態(tài)始終為主模態(tài)，推動主題的發(fā)展，控制預(yù)告片的進(jìn)程；視覺模態(tài)上，事件7和8中呈現(xiàn)一位小男孩的面部特寫和一位在空馬路上莫名奔跑的少年的圖像，沒有傳達(dá)新的意義，但具體化已傳達(dá)給觀眾的語篇意義，與聽覺模態(tài)構(gòu)成非互補(bǔ)內(nèi)包關(guān)系，其他事件中視覺模態(tài)提供具體形象的圖像信息，與聽覺模態(tài)共同傳達(dá)語篇的整體意義，構(gòu)成互補(bǔ)非強(qiáng)化協(xié)調(diào)關(guān)系，使觀眾快速準(zhǔn)確理解該預(yù)告片傳達(dá)的交際意義。

第三類：求取注意型交際模式（事件9和10）。在事件9中，不同于之前寫實(shí)的畫面，畫風(fēng)一轉(zhuǎn)為色調(diào)明亮，由顯眼簡潔的圖形（分別代表孤獨(dú)癥、大于、艾滋病加癌癥和糖尿?。┖陀⑽目s寫（AUTISM、HIV、CANCER、DIABETES）構(gòu)成的動畫，一目了然，接著事件10中，代表孤獨(dú)癥的人形圖形變大，代表艾滋病、癌癥和糖尿病的圖形從橫排有序排列變?yōu)橐粓F(tuán)，在整個畫面中占比變小，十分明確生動地傳達(dá)出自閉癥人數(shù)持續(xù)增加的語篇意義。在這視覺模態(tài)為主模態(tài)，處于前景化中，聽覺模態(tài)補(bǔ)充和準(zhǔn)確其表達(dá)意義，兩者結(jié)合精確表達(dá)出語篇的整體意義，構(gòu)成非強(qiáng)化協(xié)調(diào)關(guān)系。

表1 《遙遠(yuǎn)星球的孩子》預(yù)告片的模態(tài)協(xié)同關(guān)系

四、結(jié)語

通過以上對《遙遠(yuǎn)星球的孩子》預(yù)告片的多模態(tài)協(xié)同分析可見，不同模態(tài)有著不同的意義潛勢，不同模態(tài)的擴(kuò)展和組合引起交際語篇整體意義范圍的擴(kuò)展，例如圖像能夠體現(xiàn)具體形象的意義、增強(qiáng)概念意義表達(dá)的精細(xì)度，音樂可以增加人際意義的表現(xiàn)范圍，其表達(dá)出的細(xì)膩情感難以用語言來描述，多種模態(tài)的組合使語篇整體意義的表達(dá)更加多維立體。此外在不同的交際階段，模態(tài)之間的關(guān)系不同。在預(yù)告片中，聲音起著表達(dá)內(nèi)容、連貫敘事和吸引觀眾的重要作用，除了展示孤獨(dú)癥高患病率（事件9、10）和結(jié)尾顯示預(yù)告的正片信息時（事件19）視覺模態(tài)為主模態(tài)，其余的都是聽覺模態(tài)為主模態(tài)，處于前景中。且在整個預(yù)告片語篇中，視覺模態(tài)與聽覺模態(tài)絕大部分處于互補(bǔ)關(guān)系（非強(qiáng)化協(xié)調(diào)或強(qiáng)化突出）中，共同構(gòu)成完整的語篇意義；在部分事件中，視覺模態(tài)與聽覺模態(tài)構(gòu)成非互補(bǔ)內(nèi)包關(guān)系，視覺上的圖像沒有提供新的信息，但使聽覺模態(tài)提供的信息更加具體形象。多種模態(tài)的配合，聚集了多種模態(tài)的表達(dá)優(yōu)勢，多方位迅速地傳達(dá)意義，使預(yù)告片語篇交際更加多元和真實(shí)，引起觀眾的情感共鳴、加深觀眾的印象，從而達(dá)到吸引觀眾的目的。