唐嘉梨

(遵義醫(yī)科大學(xué)，貴州 遵義，563000)

一、引言

隨著信息技術(shù)的日益發(fā)展，人們的交際模式和交際媒介呈現(xiàn)多樣化。從書信時代到信息時代再帶今天的新媒體時代，在這一發(fā)展進(jìn)程里，不管是有聲或是無聲的“語言”，已不再是人類交際中的唯一模態(tài)，而是匯聚了形式各異的模態(tài)來完成，比如：肢體語言、面部表情、音調(diào)音速、圖像背景、眼神變化等等。這種運(yùn)用聽覺、視覺、觸覺等多種感覺，運(yùn)用語言、圖像、聲音、動作等符號資源進(jìn)行交際的現(xiàn)象就是多模態(tài)話語。[1](張德祿，2009a：24)“人們的交際是多種模態(tài)交互作用關(guān)系，主要表現(xiàn)為文字、圖表、語言、音樂、視頻、身姿、手勢等。多模態(tài)話語為視、聽、觸等多種感覺系統(tǒng)共同參與的，經(jīng)畫面、語言、聲音、姿勢等多種信息載體同時作用下完成的交際現(xiàn)象?！盵2](Kress G & T.van Leeuwen，2001)關(guān)于語篇的話語分析也涉及覆蓋到了多種模態(tài)，諸如Kress 和van Leeuwen(1996，2001)[3]、O’Halloran(2004)[4]、Baldry 和Thibault(2006)[5]等語言學(xué)者，開始探索多模態(tài)話語中各模態(tài)間的聯(lián)系和模態(tài)間的協(xié)同關(guān)系及其意義。國內(nèi)多模態(tài)話語分析從初期大量研究靜態(tài)語篇進(jìn)行(新聞圖片、社會符號等)，到目前這個嶄新的階段，越來越多的學(xué)者開始關(guān)注動態(tài)語篇(視頻、演講、廣告、電影等)的研究，有基于系統(tǒng)功能學(xué)的多模態(tài)話語分析，有認(rèn)知意義的多模態(tài)話語分析，有多模態(tài)協(xié)同互動分析，也有基于語料庫的多模態(tài)話語分析。張德祿(2009a)[1]繪制出了多模態(tài)話語分析的的綜合理論框架，很多學(xué)者運(yùn)用這一框架展開多模態(tài)話語研究，所選語料多為演講、新聞、廣告、天氣預(yù)報、電視劇等。官方的賀詞視頻也屬于演講類，受眾對象也很廣泛，算是比較典型的多模態(tài)動態(tài)語篇。本文也將以張德祿的“動態(tài)多模態(tài)話語分析理論框架”為基礎(chǔ)，對英國首相農(nóng)歷新年發(fā)出的官方賀詞視頻進(jìn)行研究，在進(jìn)行語篇分析的同時對其視頻中輸出的各種模態(tài)間的關(guān)系以及協(xié)同性進(jìn)行探討。

二、動態(tài)多模態(tài)話語分析理論框架

張德祿(2009a)[1]以Halliday的系統(tǒng)功能語言學(xué)為指導(dǎo)，結(jié)合Lim(2004：220-246)提出的多符號性模式框架[6]，繪制出具有指導(dǎo)意義的動態(tài)多模態(tài)話語分析綜合理論框架，如圖1。

圖1 動態(tài)多模態(tài)話語分析框架

從圖1中我們可以看到，這個框架里涉及了文化語境、情景語境、話語內(nèi)容和輸出信息四個主層級。在特定的一個文化語境中，講話者受不同情境和交際意義的影響，選擇合適的模態(tài)輸出信息。交際意義可為視覺的也可為聽覺的，不同模態(tài)顯現(xiàn)的意義為單一的一個事件，不管選擇哪種意義，要想實(shí)現(xiàn)其交際意義必須將它們整合在一起，在這一整體意義構(gòu)建的過程中，最重要的是各模態(tài)間的關(guān)系決定了模態(tài)間是否能緊密結(jié)合。各模態(tài)間關(guān)系的搭配也是靈活呈現(xiàn)的，圖像和話語可以主輔交替，也可以互補(bǔ)協(xié)調(diào)。張德祿(2009a)[1]把這樣的關(guān)系概括為兩種類型：互補(bǔ)關(guān)系(強(qiáng)化和非強(qiáng)化)、非互補(bǔ)關(guān)系(交疊、內(nèi)包和語境)。交際過程中對應(yīng)的事件與這些關(guān)系變化緊密相連，動態(tài)多模態(tài)話語分析正是研究話語和靜態(tài)或是動態(tài)畫面之間的關(guān)系。

三、研究對象和研究方法

1.研究對象

本文選擇英國首相特雷莎·梅自2016年任職以來每年農(nóng)歷新年發(fā)出的賀詞視頻作為研究對象，有2017年、2018年、2019年三年的官方新春賀詞視頻，長度分別為：2分42秒，40秒、1分19秒。Baldry&Thibault(2006：185)認(rèn)為階段之間的過渡可以從表達(dá)層面或內(nèi)容層面的變動得到提示，根據(jù)聽覺模態(tài)和視覺模態(tài)的遞進(jìn)，每個視頻所輸出的信息都可切分為不同的階段[5]，其所表達(dá)的內(nèi)容如下圖2：

圖2 多模態(tài)話語形式及關(guān)系

其中，2017年的視頻從開始到結(jié)束只有特雷莎.梅的前景化鏡頭、音頻、固定的背景；2018年和2019年的賀詞視頻有視頻、音頻、身勢等多樣模態(tài)語料。這三段視頻包含了視覺模態(tài)以及聽覺模態(tài)等模態(tài)間的遞進(jìn)、協(xié)同、互補(bǔ)，涉及到字幕、肢體動作等符號信息，將這些要素合成在一起就成了一個統(tǒng)一的賦有邏輯意義的整體。

2.研究方法

本文采用定性分析與定量分析相結(jié)合的研究方法。根據(jù)動態(tài)多模態(tài)語篇的三個切分標(biāo)準(zhǔn)[7](張德祿，2010c)：

1)語篇結(jié)構(gòu):語篇的整體意義包含若干個階段,每個階段又包含若干個步驟,或者是次級單位,所以語篇的最小意義單位是由錄像切分的最小單位圖像實(shí)現(xiàn)的。

2)經(jīng)驗意義:找出標(biāo)志著過程變化的轉(zhuǎn)折點(diǎn),這個點(diǎn)標(biāo)志著一個新過程的開始,包括其參與者和情景因素。

3)前景化的事物和特征:這些是語篇的顯著特征,所以應(yīng)該予以考慮。在圖像語法中,圖像成分的單位可以分為圖像素、圖式和圖像。圖像素是圖式的組成成分,而不同的圖式則組成體現(xiàn)一個事件的圖像。在語篇層面,每個圖像實(shí)現(xiàn)一個事件,一系列交際事件就形成一個情節(jié),幾個情節(jié)可以組成一個故事,或者一個語篇。(張德祿,2009a)這為分析錄像等動態(tài)多模態(tài)語篇的語法結(jié)構(gòu)提供了基本框架。

3.研究工具及步驟

選用ELAN5.2為研究工具，研究工具是ELAN5.2視頻分析軟件(http://www.mpi.nl/tools/elan/ELAN_5-0-0beta_win.exe)。該軟件主要用于對多模態(tài)的分析，可精確到0.01秒，便于分割，標(biāo)記，定位，循環(huán)播放，根據(jù)時間標(biāo)簽，可實(shí)現(xiàn)標(biāo)注與圖像，聲音，文本同步進(jìn)行，即點(diǎn)即播。

具體研究步驟如下：

1)運(yùn)用ELAN5.2將三個視頻進(jìn)行分切，標(biāo)注，對3個視頻所覆蓋的不同事件(圖像)的具體轉(zhuǎn)寫如附表1、2、3所示。

表1 特蕾莎·梅2017年新春賀詞多模態(tài)語篇轉(zhuǎn)寫表

2)運(yùn)用動態(tài)多模態(tài)分析框架，從文化語境、情境語境和模態(tài)協(xié)同方面對語料進(jìn)行研究。

4.語料轉(zhuǎn)寫

圖3 特蕾莎·梅2017年新春賀詞語篇

這三個視頻中的每個階段可劃分為不同的步驟,每個步驟是一個語篇結(jié)構(gòu)單位,可細(xì)分成很多個圖像。每個圖像又標(biāo)志著一個語篇單位、一個語法過程和一個信息單位,如圖2、3、4所示；2017年的語篇結(jié)構(gòu)包括5個階段，可細(xì)分為13個步驟，一共42個圖像；2018年的語篇結(jié)構(gòu)包含4個階段，可細(xì)分為4個步驟，一共12個圖像；2019年的語篇結(jié)構(gòu)包含5各階段，可細(xì)分為6個步驟，一共22個圖像。

圖4 特蕾莎·梅2018年新春賀詞語篇

圖5 特蕾莎·梅2018年新春賀詞語篇

表2 特蕾莎·梅2018年新春賀詞多模態(tài)語篇轉(zhuǎn)寫表

表3 特蕾莎·梅2019年新春賀詞多模態(tài)語篇轉(zhuǎn)寫表

四、新春賀詞的多模態(tài)話語分析

1.新春賀詞演講的文化語境

“農(nóng)歷新年”(農(nóng)歷正月初一)稱為“春節(jié)”，是國家領(lǐng)導(dǎo)人發(fā)表講話和致詞的重要節(jié)日之一。在中國傳統(tǒng)新年“春節(jié)”，除了我國的國家領(lǐng)導(dǎo)人，大部分國家的國家領(lǐng)導(dǎo)人都會向這個節(jié)日致新春賀詞，向國家人民致以節(jié)日的誠摯祝福，而且每一年賀詞中的內(nèi)容都有所不同，發(fā)布形式也日益多樣。國家領(lǐng)導(dǎo)人通過視頻演講向受眾表達(dá)重視傳遞祝福，通常情況下，這類賀詞里使用的政治話語政治色彩相對較弱，但潛在的政治意義卻耐人尋味。文化語境是使多模態(tài)交際成為可能的關(guān)鍵層面,包括由人的思維模式、處世哲學(xué)、生活習(xí)慣及一切社會潛規(guī)則所組成的意識形態(tài)和可以具體實(shí)現(xiàn)這種意識形態(tài)的交際程序或結(jié)構(gòu)潛勢。文化語境決定人們根據(jù)交際目的的不同而采用的不同的交際階段和步驟,即體裁。語篇的交際目的是通過體裁來實(shí)現(xiàn)的。[8](張德祿，袁艷艷2011)“演講是一種以聲、像為主的公共交際活動，多數(shù)在公共場所進(jìn)行，主要的手段為語言，輔助手段包括姿勢等，最終達(dá)到聲情并茂、準(zhǔn)確無誤地向公眾闡述自身觀點(diǎn)的目的。”[9](靳雅姝，2012)政治演講是有關(guān)政治內(nèi)容和政治活動的講演，是代表一定政治立場和團(tuán)體利益的一種演講?；咎攸c(diǎn)是具有思想性、政策性和策略性。政治演講較之其它演講更帶有宣傳的成分。以前的演講形式主要靠演講者的語言來傳遞信息，現(xiàn)代信息技術(shù)的發(fā)達(dá)，通過各種模態(tài)的結(jié)合讓演講變得更加豐富飽滿，用多種形式滿足受眾的習(xí)慣。但不管形式怎么變，國家領(lǐng)導(dǎo)人的新春賀詞演講主要目的是為了拉近與受眾的距離，表達(dá)重視關(guān)懷之情，傳遞真摯的祝福，具有一定的政治意義。所選取的這3段賀詞演講結(jié)構(gòu)包括：開場問候階段、回顧過往階段、展望未來階段、祝福結(jié)束階段。

1)開場問候：向受眾問好，簡單描述新春場景及活動

2)回顧過往：通過回顧過去從政治、經(jīng)濟(jì)、文化、旅游等方面與中國的友好往來，突出華人群體的重要性，突顯英國是一個多元化的國家。

3)展望未來：表達(dá)對未來中英關(guān)系的信心以及期許

4)祝福結(jié)束：提到農(nóng)歷新年對應(yīng)的生肖，送出祝福

2.新春賀詞演講情景語境分析

Haliday(1978)在Cohension in English中提到情景語境包括語場(field)、語旨(tenor)和語式(mode)[10]三個變項。語場指語篇的主要內(nèi)容，這3篇賀詞的語場都是送出新春祝福，表達(dá)潛在政治意義。語旨是指說話者和受話者雙方的社會角色關(guān)系，3段視頻中的語旨是英國首相特蕾莎·梅還有所看到此視頻的大眾。語式是語言交際過程中的媒介和渠道。特蕾莎·梅利用聲像合一的視頻，通過中國的社交媒體(微博、秒拍)向世界受眾發(fā)表新春賀詞，其穿著從2017年的英倫特色格子裝配珍珠耳環(huán)，到2018年黑色干練休閑西裝配耳釘及單色項鏈，再到2019年喜慶橘紅休閑西裝配中國風(fēng)多彩項鏈，既符合政治演講場合的嚴(yán)肅性和突顯個人精明干練的形象，還向主要受眾釋放出親近的態(tài)度。部分模態(tài)里出現(xiàn)戴腕表和婚戒的畫面，向大眾傳遞出家庭和睦的重要信息。流利濃郁的英倫腔，親和力十足的演說加上適中的語速，同時配上一些得體的肢體動作和非言語的交際模態(tài)作為輔助，讓整個新春賀詞演講視頻更具多模態(tài)的意義和政治感染力。

3.模態(tài)協(xié)同

不管在哪一類的動態(tài)語篇中，聽覺模態(tài)和視覺模態(tài)的協(xié)作是必然的。因此,只有充分利用新媒體視頻的立體、廣泛傳播優(yōu)勢,克服時間有限的短板，使視頻的視覺模態(tài)和聽覺模態(tài)兩個系統(tǒng)相互協(xié)作、相互補(bǔ)充,才可以在短短的幾分鐘時間內(nèi)傳遞給受眾更多的有用信息,提高觀眾的關(guān)注度和接受能力,從而更好地達(dá)到交際目的。實(shí)際上,在這個過程中,視覺模態(tài)雖然十分突出,但只提供交際的條件,聽覺模態(tài)決定交際進(jìn)程。視覺模態(tài)則對聽覺模態(tài)主要起兩個作用:強(qiáng)化,觀眾可以通過視覺模態(tài)來使通過聽覺模態(tài)得到的信息更加清晰和準(zhǔn)確;補(bǔ)充、彌補(bǔ)聽覺模態(tài)所缺失的、沒有傳達(dá)清楚的、不懂英語的、或者觀眾沒有完全接受的信息。(張德祿，袁艷艷，2011)

下面將依據(jù)這三年的賀詞動態(tài)語篇對其各階段所采用的各模態(tài)交際模式中模態(tài)間的協(xié)同關(guān)系。

第一類，開始和結(jié)尾階段提示型交際模式：2019年的賀詞視頻語篇中，以介紹春節(jié)場景及相關(guān)慶祝活動引出春節(jié)的主題，背景是各種春節(jié)裝飾以及每個華人手中都拿著一些新春吉祥物(第一階段)，畫面再切換到唐寧街10號外和一些其它城市的中國春節(jié)裝扮(第二階段)，然富有激情的說“So wherever and however you are celebrating, let me wish you a very happy new year, and a prosperous and auspicious year of the Pig.”(第五階段)。

2018年賀詞視頻語篇中，以新春祝福為開頭引出春節(jié)的主題(第一階段)，在最后也提起情緒說“So wherever you're celebrating, enjoy the fesitivities, have a fantastic time.And I hope you have a very prosperous and peaceful year of dog.” 并且還說了一句中文的“Happy new year, 新年快樂！”(第四階段)

2017年視頻語篇中，同樣以新春祝福為開頭引出春節(jié)的主題(第一階段)，接著鏡頭切換到各地新春裝扮場景(第二階段)，最后同樣以飽滿的情緒送出祝福：“So as the lanterns are lit and the dumplings are served, let me wish you and your family, wherever you are, a very happy and healthy New Year.Xin Nian Kuai Le.”(第四階段)

在這一類型模式下，此種交際模式的類型以聽覺模態(tài)為主，其背景、或是呈現(xiàn)出來的部分動態(tài)畫面屬于視覺模態(tài)，并沒有實(shí)際交際的過程中，主要起勾畫語境、補(bǔ)充說明的作用，以豐富的畫面感呈現(xiàn)給受眾，與主模態(tài)形成非互補(bǔ)的關(guān)系。

第二類，信息提供型交際模式。在這一類型中，特蕾莎·梅想傳遞出的信息隱含了一部分的政治意圖，分別在三年都提到了華人群體的貢獻(xiàn)，表達(dá)其對華人群體的感謝與重視。

2019年的賀詞視頻語篇中，在第三階段提到不管是留學(xué)生或者是扎根到英國很久的家庭時，畫面會配合給到這兩類群體特寫，再配上她的旁白描述，讓受眾很直觀的感受到英國政府是很重視華人群體的，接著第四階段畫面切到特雷莎·梅在首相府邸唐寧街10號與華人慶祝春節(jié)的場景，配合聽覺模態(tài)由此巧妙的向大眾傳遞英國是一個多元化文化的國家。

2018年的賀詞視頻語篇中，第二階段的聽覺模態(tài)提示要回顧過去一年卻沒有更多的細(xì)說過去發(fā)生了一些什么，而是通過視覺模態(tài)不同的情景畫面帶著受眾回憶了過去一年的一些大事紀(jì)，比如與習(xí)近平主席的會面等，在第三階段順勢提到華人群體表示感謝。

2017年的賀詞視頻語篇中，在第三階段就釋放了很多信息，沒有過多的視覺模態(tài)輔助，只有特蕾莎·梅前景化的畫面，眼神目光沒有任何閃躲直視前方，讓受眾感覺其就在眼前講話一樣，透漏著一股堅定和親切，更多的靠聲覺模態(tài)強(qiáng)調(diào)中英關(guān)系，對之前的國事訪問進(jìn)行回憶闡述，從商業(yè)、外交、經(jīng)濟(jì)、教育、文化、旅游及國際問題凸顯中英兩國的往來，充滿信心的展望2017年，描繪自己對未來中英關(guān)系的期望，同時又很巧妙的強(qiáng)調(diào)了英國形象的構(gòu)建。最后還通過回憶去杭州與習(xí)近平主席的首次會晤，表達(dá)自己期待再次訪華。也許是因為剛上任很迫切的想要表達(dá)自己的政治立場，這是三年新春賀詞中信息提供最多的一年。

在第四階段通過講述生肖雞的品質(zhì)，贊揚(yáng)華人群體也具備通同樣的品質(zhì)，強(qiáng)調(diào)華人群體的貢獻(xiàn)，同時也展現(xiàn)英國是一個多元文化的國家。

在這一類型的模式下，無論哪種模態(tài)都無法獨(dú)立存在以保證完整的整體表達(dá)意義，仍然以聽覺模態(tài)為主，視覺模態(tài)遞進(jìn)補(bǔ)充說明，兩模態(tài)間呈互補(bǔ)型關(guān)系。

第三類型，再次表達(dá)主題求取注意型。特蕾莎·梅三年的新春賀詞結(jié)尾，也就是最后一個階段，都會再次送出祝福喚起受眾對她整個行為的注意，畫面會切換到特蕾莎·梅的前景化，整個肢體正對受眾，目光正式前方感覺與受眾對視交流，再次感覺其本人就在眼前一般。在此類型下，主模態(tài)依然是聽覺模態(tài)。聽覺模態(tài)不能充分的表達(dá)其意義，這時需要特蕾莎·梅的視覺模態(tài)對聽覺模態(tài)起強(qiáng)化作用。所以兩模態(tài)在這一類型下是強(qiáng)化類互補(bǔ)關(guān)系。而此時每一年里特蕾莎·梅所處的環(huán)境為整個視頻提供了背景圖像，三年的背景圖像對聽覺模態(tài)和視覺模態(tài)的意義構(gòu)建上并無太大的貢獻(xiàn)，只是作為一種模態(tài)為聽覺模態(tài)提供了語境信息，因此，其所呈現(xiàn)的視覺模態(tài)與聽覺模態(tài)間是語境交互類的非互補(bǔ)關(guān)系。

表4 特蕾莎·梅2017—2019年新春賀詞視頻演講模態(tài)間的協(xié)同關(guān)系

在特蕾莎·梅的新春賀詞演講視頻實(shí)例中，多模態(tài)間的關(guān)系呈現(xiàn)如下：聽覺模態(tài)和視覺模態(tài)結(jié)合在一起引出表達(dá)主題，形成聯(lián)合非強(qiáng)化類型；視覺模態(tài)的主要表現(xiàn)形式有與演講主題相符合的裝飾背景語境環(huán)境，豐富立體的不同事件畫面，傳遞出演講者想要釋放的信息，完美的與特雷莎·梅自信親切的聽覺模態(tài)構(gòu)建完整的交際意義，形成互補(bǔ)型交際模式。整個視頻過程中不同圖像動作的間斷和生動的語言讓所傳遞信息更加飽滿。

五、結(jié)語

通過對特蕾莎·梅2017—2019年發(fā)出的新春賀詞視頻的動態(tài)多模態(tài)間的模態(tài)協(xié)同分析可見，動態(tài)多模態(tài)話語分析需要不同階段的交際目的，選擇不同的模態(tài)組合，按照一定的邏輯順序遞進(jìn)發(fā)展。要想實(shí)現(xiàn)演講者話語的完整意義所體現(xiàn)出來各模態(tài)之間的關(guān)系通常是相互協(xié)調(diào)、相互補(bǔ)充或者強(qiáng)化。希望信息接收者能通過多模態(tài)間模態(tài)協(xié)同關(guān)系的深入了解更好的理解接收演講者的話語意圖。本文雖然初次對此類演講視頻的多模態(tài)話語進(jìn)行了研究，但仍存在很多不足，希望能在以后更深入的研究中有所改進(jìn)。