■張 莉 謝韶亮

多媒體語(yǔ)篇分析：以希拉里的一則總統(tǒng)競(jìng)選廣告為例

■張 莉 謝韶亮

由于多媒體語(yǔ)篇對(duì)于語(yǔ)言學(xué)研究來(lái)說(shuō)是一種新的語(yǔ)篇形式，文章運(yùn)用系統(tǒng)功能語(yǔ)法對(duì)一則多媒體語(yǔ)篇進(jìn)行分析。其分析過(guò)程如下：首先是對(duì)多媒體語(yǔ)篇的轉(zhuǎn)錄，這種轉(zhuǎn)錄方法是區(qū)別于，純粹語(yǔ)音的轉(zhuǎn)錄，有其特有的方式；其次是系統(tǒng)功能語(yǔ)法的理論的框架的實(shí)際運(yùn)用與驗(yàn)證；最后，得出多媒體語(yǔ)篇的自身特點(diǎn)，主要在于視頻與音頻的聯(lián)系方式，以及多媒體語(yǔ)篇與整個(gè)社會(huì)知識(shí)的聯(lián)系，并且提出更廣闊的分析思路，例如批評(píng)語(yǔ)篇分析的方法的運(yùn)用。

前言

隨著符號(hào)學(xué)的發(fā)展，多媒體語(yǔ)篇分析已越來(lái)越受到重視，尤其是語(yǔ)篇分析研究者們的重視。多媒體語(yǔ)篇分析起源于視覺(jué)符號(hào)在語(yǔ)篇中的作用，即視覺(jué)語(yǔ)篇分析（visual discourse analysis）。近年來(lái)，人們認(rèn)識(shí)到視覺(jué)符號(hào)和聲音符號(hào)與語(yǔ)言符號(hào)同樣重要，都是語(yǔ)篇的構(gòu)建和理解的重要因素，掀起了一場(chǎng)多媒體語(yǔ)篇分析研究的新浪潮。多媒體語(yǔ)篇分析并非無(wú)水之源，無(wú)本之木。它有著長(zhǎng)期的理論準(zhǔn)備，例如多媒體語(yǔ)篇分析從多媒體廣告的分析研究中得到啟發(fā)。然而，多媒體語(yǔ)篇分析畢竟剛剛起步，又鑒于語(yǔ)篇分析的復(fù)雜性，尤其是多媒體語(yǔ)篇分析的復(fù)雜性，人們采取不同的分析目的，會(huì)使用不同的分析方法，得到不同的結(jié)果。國(guó)內(nèi)對(duì)于多媒體語(yǔ)篇的研究主要是局限于多媒體對(duì)于英語(yǔ)課堂教學(xué)的作用，而對(duì)于多媒體語(yǔ)篇本身的研究卻聊聊可數(shù)。正如Forceville（2007）所說(shuō)“突然之間，多模式分析成了熱門(mén)的學(xué)術(shù)話題。”目前此類(lèi)研究大致分為兩類(lèi)，一類(lèi)是語(yǔ)言學(xué)導(dǎo)向，另一類(lèi)是非語(yǔ)言學(xué)導(dǎo)向的(Baldry&Thibault,2006)。按方法分，又可分為多模態(tài)分析和視覺(jué)語(yǔ)篇分析。國(guó)外所做研究的對(duì)象是多媒體廣告（Cook,1992;Stella&Adam,2005）和電影(Bordwell&Thompson,1988)等，并且從事此類(lèi)研究的包括了理工科科技人員 (Watanabe等,2000)和社會(huì)文化學(xué)者和語(yǔ)言學(xué)家(例如，Kress，2001；O’Halloran，2004)；其中，Kress(2001)提出了多模式的交際理論，Scollon和Scollon（2003）開(kāi)辟了新的符號(hào)研究領(lǐng)域——“geosemiotics”。國(guó)內(nèi)相關(guān)的多模式研究是顧曰國(guó)（2005），他對(duì)北京外國(guó)語(yǔ)大學(xué)60周年慶祝儀式作了多模式語(yǔ)篇分析，誠(chéng)如作者所言是嘗試性的（“exploratory”）。

文章的研究對(duì)象是希拉里的一則總統(tǒng)競(jìng)選廣告，借鑒系統(tǒng)功能語(yǔ)法的觀點(diǎn)和批評(píng)語(yǔ)篇分析的觀點(diǎn)，對(duì)這則多媒體語(yǔ)篇進(jìn)行解讀。文章主要以語(yǔ)言學(xué)導(dǎo)向，探討多媒體語(yǔ)篇的銜接方式及其語(yǔ)用效果，

一、轉(zhuǎn)錄

競(jìng)選廣告的轉(zhuǎn)錄分為兩個(gè)部分：一為文本的轉(zhuǎn)錄，二為多媒體的整體轉(zhuǎn)錄。

（一）文本轉(zhuǎn)錄

文章進(jìn)行文本轉(zhuǎn)錄的目的為描寫(xiě)文本服務(wù)，即盡量還原希拉里的話語(yǔ)特點(diǎn)。采用的方法是Gee（1999）的stanza和line的劃分方法，由于具體的文本細(xì)節(jié)的不同，在方法上會(huì)有一定的出入。（++表示長(zhǎng)時(shí)間的停頓，+表示較短時(shí)間的停頓，單詞大寫(xiě)表示重讀）

HILLARY（screaming）:

As I travel around America,++

I hear from SO many people who feel like+

they're just invisible to their government.

ANNOUNCER:

Hillary Clinton has spent her life standing up for people others don't see.

HILLARY（sappy music）:

If you're a family that is struggling,and you don't have health care,

well,you ARE invisible+to this president.

If you're a single mom trying to find affordable child care so you can go to work,

well,you're INVISIBLE,too.

And I never thought I would see that+our soldiers who served in Iraq and Afghanistan+would be treated as though THEY were invisible as well.

Americans from all walks of life across our country+may be invisible to this president,+but they're not invisible to me

and they won't be invisible+to the next president of the United States!

（二）多媒體轉(zhuǎn)錄

多媒體的轉(zhuǎn)錄采用的是Thibault（2000）所采用的表格法（Table），作者也強(qiáng)調(diào)話語(yǔ)，多媒體（聲音視覺(jué)）符號(hào)是共現(xiàn)的，雖然文字轉(zhuǎn)錄與多媒體語(yǔ)篇不能完全對(duì)等但是這種方法基本上能實(shí)現(xiàn)者兩者的統(tǒng)一。文章因個(gè)案分析需要略作改動(dòng)。需要說(shuō)明的是，多媒體語(yǔ)篇本身是個(gè)流動(dòng)的動(dòng)態(tài)過(guò)程，在轉(zhuǎn)錄時(shí)必然會(huì)丟失一些動(dòng)態(tài)信息。

二、多媒體語(yǔ)篇的銜接與連貫

任何語(yǔ)篇都具有七大特性（參見(jiàn)Beaugrande和Dressler，1981）其中之一便是場(chǎng)景的構(gòu)建或稱場(chǎng)景性(situationality),我們認(rèn)為此語(yǔ)篇特點(diǎn)對(duì)于多媒體語(yǔ)篇至關(guān)重要，并且體現(xiàn)的更直觀，更明顯。語(yǔ)篇分析的理論共識(shí)之一是語(yǔ)篇與文化或社會(huì)知識(shí)之間是相互影響的?？梢哉f(shuō)多媒體營(yíng)造了一個(gè)情景語(yǔ)境。多媒體語(yǔ)篇的銜接與連貫，通過(guò)話語(yǔ)和音樂(lè)等，直接與視覺(jué)符號(hào)和場(chǎng)景互動(dòng)。

（一）指稱

指稱（或照應(yīng)）（reference）分為內(nèi)指包括前指(anaphoric)，后指(cataphoric)和外指(exophoric)（Halliday&Hasan:2001）；多媒體語(yǔ)篇從總體上來(lái)看主要是依靠外指達(dá)到連貫，即語(yǔ)言表達(dá)與視覺(jué)符號(hào)同步。例如，Hillary說(shuō)到single mom,視頻上出現(xiàn)了“抱著嬰兒的婦女”，說(shuō)道soldier視頻上出現(xiàn)了“抱著小孩的年輕男子”，說(shuō)到“all walks of life”出現(xiàn)了一群人等。然而，我們并不能確定視頻中人物的確切身份，但是由視頻本身和話語(yǔ)共同構(gòu)成的一個(gè)語(yǔ)境使話語(yǔ)和場(chǎng)景相互影響，這同時(shí)使得外指具有預(yù)設(shè)性，即“理所當(dāng)然的認(rèn)為”（taken-for-grantedness）。

另一方面，外指與視覺(jué)符號(hào)并非總是保持同步，外指的所指可以缺省，在這種情況下我們認(rèn)為多媒體語(yǔ)篇要達(dá)到某種語(yǔ)用效果。例如，文章所分析的這則多媒體廣告，最后Hillary說(shuō)到“這屆總統(tǒng)”(this president)但是并沒(méi)有任何人在畫(huà)面中出現(xiàn)以指稱現(xiàn)實(shí)的president（George W.Bush）。在語(yǔ)用效果上可以認(rèn)為是總統(tǒng)無(wú)視人民，所以人民亦將無(wú)視總統(tǒng)；目的在于褒己貶人。整個(gè)多媒體語(yǔ)篇都是在指稱的大環(huán)境下的銜接。然而，需要指出的是，外指本身就是一個(gè)動(dòng)態(tài)的概念，至少在多媒體語(yǔ)篇內(nèi)如此，具體的說(shuō)，話語(yǔ)外指多媒體的視覺(jué)符號(hào)，整個(gè)多媒體語(yǔ)篇?jiǎng)t外指社會(huì)文化語(yǔ)境。另外，作為多媒體語(yǔ)篇的指稱，也可以是場(chǎng)景指稱（例如動(dòng)態(tài)的視覺(jué)符號(hào)）；如競(jìng)選廣告中“travel”一詞的動(dòng)態(tài)外指。

（二）省略

就文章的研究對(duì)象而言，省略手段并不十分明顯，我們認(rèn)為只是視覺(jué)符號(hào)使用了省略手段，例如，在視頻開(kāi)始時(shí)聲道中出現(xiàn)了announcer的聲音時(shí)省略了希拉里的演說(shuō)詞，另外，整個(gè)視頻表現(xiàn)的是希拉里在公眾面前的演說(shuō)，但是視頻畫(huà)面省略了演說(shuō)過(guò)程的大部分畫(huà)面，取而代之的是演說(shuō)內(nèi)容的視覺(jué)符號(hào)。我們認(rèn)為，作為政治廣告話語(yǔ)上還應(yīng)保持一定的嚴(yán)肅性，所以話語(yǔ)方面并沒(méi)有使用省略的銜接手段；另一方面，視覺(jué)符號(hào)的省略取舍也具有一定的語(yǔ)用效果，省略的部分一方面為了使視頻更簡(jiǎn)潔，更重要的是為了突出重點(diǎn)，例如每當(dāng)希拉里說(shuō)到“invisible”時(shí)視頻畫(huà)面便回到演講的主線場(chǎng)景。值得一提的是上述提到的“this president”的外指在視覺(jué)符號(hào)上的省略，可以稱作“外指缺省”（exophoric default），這是有具體的語(yǔ)用含義的。

（三）替代

多媒體語(yǔ)篇的替代是雙重的：一是視覺(jué)符號(hào)的替代，二是話語(yǔ)語(yǔ)篇中的替代。正如上文所述視覺(jué)符號(hào)中的人物可以視為個(gè)體替代一類(lèi)人。話語(yǔ)語(yǔ)篇中的替代一般是代詞，方式一般是名詞性替代，一般來(lái)說(shuō)，被替代者則在畫(huà)面中以視覺(jué)符號(hào)的形式呈現(xiàn)，進(jìn)一步分析話語(yǔ)指稱，視覺(jué)符號(hào)指稱，共同指向更廣闊的社會(huì)文化大語(yǔ)境。

（四）連接

本競(jìng)選廣告的多媒體語(yǔ)篇的連接可以分為視覺(jué)符號(hào)、聽(tīng)覺(jué)符號(hào)和話語(yǔ)符號(hào)的連接。視覺(jué)符號(hào)的連接主要是通過(guò)關(guān)聯(lián)性，本則廣告的主線是希拉里的公眾演說(shuō)，主題是“invisible”所以人物的顯現(xiàn)尤其是希拉里的顯現(xiàn)是連接的主要方式。例如，視覺(jué)符號(hào)的希拉里身著紅色外套演說(shuō)的場(chǎng)景即可視為視覺(jué)符號(hào)的連接。聽(tīng)覺(jué)符號(hào)的連接主要是背景音樂(lè)的連續(xù)。話語(yǔ)的連接方式是通過(guò)排比的修辭手段實(shí)現(xiàn)的。需要指出的是，視覺(jué)符號(hào)的連接在多媒體語(yǔ)篇中需要有符號(hào)認(rèn)知上的關(guān)聯(lián)意識(shí)，以達(dá)到對(duì)多媒體語(yǔ)篇的統(tǒng)一，連貫的整體性構(gòu)建。

（五）重復(fù)

文章競(jìng)選廣告的重復(fù)包括視覺(jué)符號(hào)重復(fù)和話語(yǔ)語(yǔ)篇內(nèi)的重復(fù)。例如，視覺(jué)符號(hào)中，“擁抱”場(chǎng)面的重復(fù)和希拉里身著紅色外套演講場(chǎng)面的重復(fù)。本廣告重復(fù)手段的運(yùn)用也具有一定的語(yǔ)用目的，即為了政治目的贏得大眾的支持；另外，使人們感到多媒體語(yǔ)篇的整體性和連貫性。但是此類(lèi)場(chǎng)景重復(fù)并不一定與話語(yǔ)重復(fù)符合或同步，或可以說(shuō)視覺(jué)語(yǔ)篇具有相對(duì)的獨(dú)立性。但是整體多媒體語(yǔ)篇的最終效果必然是各種符號(hào)的有機(jī)統(tǒng)一。

三、余論及更廣闊的視角

另外需要指出的是所謂“非人物”的視角（impersonal footing），Glinert（2005）認(rèn)為這種視角主要是匿名的畫(huà)外音形式，通常是男性的冷靜的話語(yǔ)，給人以專(zhuān)家的權(quán)威。本則廣告也出現(xiàn)了男性畫(huà)外音即announcer的話語(yǔ)，但我們認(rèn)為畫(huà)外音在具體的語(yǔ)篇中具有不同的效果或目的。我們認(rèn)為此廣告的畫(huà)外音主要地是表達(dá)可證性，使語(yǔ)篇更具效力使人可信。

其次，不可忽視的是除了情景語(yǔ)境之外，還有文化語(yǔ)境對(duì)整個(gè)多媒體產(chǎn)生影響，在話語(yǔ)語(yǔ)篇，多媒體語(yǔ)篇和文化背景等劃分下產(chǎn)生明顯的層次結(jié)構(gòu)特征。本則語(yǔ)篇的大文化場(chǎng)景應(yīng)當(dāng)是民主黨的政治路線，即將焦點(diǎn)放在國(guó)內(nèi)，注重美國(guó)國(guó)民在國(guó)內(nèi)的福利，權(quán)利和利益，另一方面不排除競(jìng)選者Hillary作為女性政治家的女性主義觀念。由于篇幅所限本文不作詳細(xì)討論。

再次，任何語(yǔ)篇都是一個(gè)整體，將語(yǔ)篇尤其是多媒體語(yǔ)篇采用分析的手段分析只是為了滿足更好的理解語(yǔ)篇的需要，所以不能機(jī)械地認(rèn)為多媒體語(yǔ)篇各個(gè)部分是可以獨(dú)立的，而應(yīng)當(dāng)在分析之后從整體上認(rèn)識(shí)多媒體語(yǔ)篇的視覺(jué)符號(hào)，聽(tīng)覺(jué)符號(hào)和話語(yǔ)符號(hào)之間的相互影響和聯(lián)系。

語(yǔ)篇分析由于目的和切入點(diǎn)的不同而采取不同的分析方法和理論，本文主要是依據(jù)韓禮德的銜接理論，對(duì)多媒體語(yǔ)篇的語(yǔ)用意義作了探討。當(dāng)然還可以從其他方面進(jìn)行研究，例如認(rèn)知語(yǔ)言學(xué)的理論。本文的不足之處在于只是個(gè)案分析，在量上沒(méi)有達(dá)到喬姆斯基的描寫(xiě)充分性，即所得結(jié)論的普遍性有待進(jìn)一步的證實(shí)。

四、意義

通過(guò)對(duì)多媒體語(yǔ)篇的個(gè)案分析，可以為多媒體語(yǔ)篇的教學(xué)構(gòu)建提供參考，例如，外指缺省的語(yǔ)用含義在多媒體語(yǔ)篇教學(xué)中的采用及其效果，更重要的是多媒體語(yǔ)篇作為話語(yǔ)語(yǔ)篇和社會(huì)語(yǔ)境的中間層面的地位，其語(yǔ)用指稱對(duì)于理解更廣闊和更抽象的社會(huì)文化現(xiàn)象的作用。

[1]Baldry,A.P.and Thibault,P.J. （2006）.Multimodal Transcription and Text.London:Equinox.de Beaugrande,R.,and W.U.Dressler.（1981）.Introduction to text linguistics.London:Longman.

[2]Bordwell,David&Thompson,Kristin.（1988）Film Art:An Introduction(2nd ed.).Berkeley,CA:University of California Press.

[3]Cook,G.（1992）.The Discourse of Advertising.London:Routledge.

[4]Forceville,C.（2007）.Book review.Multimodal Transcription and Text Analysis:A Multimedia Toolkit and Coursebook.Journal ofPragmatics.

[5]Gee,J.P.（1999）.An Introduction to Discourse Analysis:Theory and Method.Routledge.

[6]Glinert,Lewis.（2005）.TV commercials for prescription drugs:A discourse analytic perspective.Research in Social and Administrative Pharmacy,p.158-184.

[7]Halliday,M.A.K.&Hasan,R. （1976）,Cohesion in English,Longman,London.

[8]Kress,G.R.（2001）.Multimodal Discourse:The Modes and Media ofContemporary Communication.London:Arnold.

[9]O’Halloran,Kay L.,（ed.）.(2004).Multimodal Discourse Analysis.London:Continuum.

[10]Stella,J.and Adam,S.（2005）.Tropes in Advertising:A Web-Based Empirical Study, p. 93-105. Multimedia CD-ROM.In Treloar,A.and Ellis,A.（Eds.）

[11]Thibault,P.J.（2000）.The multimodal transcription of a television advertisement.In A.Baldry,Ed.,Multimodality and Multimediality in the distance learning age.Campobasso,Italy:Palladino.

[12]Watanabe,Yasuhiko,Okada,Yoshihiro,Kurohashi,Sadao,&Iwanari,Eiichi.（2000）.Discourse Structure AnalysisFor News Video.IEEE International Conference on Multimedia&Expo.New York New York.Electronic Proceedings

[13]顧曰國(guó).（2003）.Forthcoming A multimodal text analysis of an anniversary ceremony in China A corpus linguistic approach.Submitted asa contribution to a special issue ofText.

張 莉（1980.4-），女，陜西蒲城人，渭南師范學(xué)院外國(guó)語(yǔ)學(xué)院教師，研究方向：外國(guó)語(yǔ)言文學(xué);謝韶亮(1981.10-)，男，安徽全椒人，渭南師范學(xué)院外國(guó)語(yǔ)學(xué)院教師，研究方向：對(duì)比語(yǔ)言學(xué)。）