高亞男

（中國海洋大學(xué) 外國語學(xué)院，山東 青島　266100）

多模態(tài)語篇分析綜觀

高亞男

（中國海洋大學(xué) 外國語學(xué)院，山東 青島266100）

多模態(tài)語篇分析關(guān)注語言、圖片、肢體語言等多種符號系統(tǒng)的意義構(gòu)成，突破傳統(tǒng)僅以語言為核心的單模態(tài)分析法的局限，是語篇分析的新視角。本文從多模態(tài)及多模態(tài)語篇分析的產(chǎn)生、理論基礎(chǔ)、重要人物及其研究成果、多模態(tài)研究的不同視角及研究對象的擴(kuò)展，以及科學(xué)技術(shù)，尤其是數(shù)字技術(shù)在多模態(tài)語篇分析中的應(yīng)用等方面進(jìn)行了綜述性介紹。

多模態(tài)語篇分析社會符號學(xué)系統(tǒng)功能語言學(xué)多模態(tài)隱喻多模態(tài)語料庫

一、引言

隨著研究的不斷深入發(fā)展，國內(nèi)外語篇分析學(xué)家逐漸認(rèn)識到語言僅是意義生成的手段之一，人們交談過程中的手勢、肢體動作、夸張的表情，書本材料中的繪圖、排版，戲劇中的舞蹈、妝容、服裝等，都屬于生成意義的符號手段。因此，對社會行為和意義表征的解讀應(yīng)包括非語言符號等所有表意資源（Jewitt2009）。此外，隨著科技的發(fā)展，人類生活和交際模式更多模態(tài)化和多媒體化。多模態(tài)語篇分析的出現(xiàn)為語篇分析提供了新視角，極大地豐富了語篇分析的研究手段。

二十世紀(jì)九十年代以來，為描寫數(shù)學(xué)符號、視覺圖像、手勢等符號模態(tài)，社會符號學(xué)家以Halliday的系統(tǒng)功能語法為基礎(chǔ)建立了語法語義系統(tǒng)。然而，隨著對多模態(tài)現(xiàn)象認(rèn)識的逐漸加深，研究者發(fā)現(xiàn)當(dāng)前研究仍存在許多問題。目前，研究者在分析更多社會符號的同時(shí)，開始注重不同學(xué)科視角的融合。在研究方法上，他們開始運(yùn)用數(shù)字技術(shù)對復(fù)雜的多模態(tài)語篇進(jìn)行注解、模擬，并建立多模態(tài)語料庫，開發(fā)多模態(tài)檢索軟件。此外，利用調(diào)査問卷、腦成像技術(shù)、眼動實(shí)驗(yàn)等考查讀者對多模態(tài)語篇認(rèn)知的實(shí)證研究逐漸興起（孟艷麗，2011）。

二、多模態(tài)語篇分析產(chǎn)生的背景

根據(jù)St?ckl，多模態(tài)指多種符號系統(tǒng)即模態(tài)相結(jié)合的交際產(chǎn)物或交際過程。Jewitt指出，多模態(tài)語篇分析是把所有交際模態(tài)看做意義生成資源進(jìn)行研究的一種語篇分析視角。該視角指出意義是通過多種模態(tài)實(shí)現(xiàn)的，所有模態(tài)都經(jīng)過社會使用變成了符號資源，而所有語篇都是多模態(tài)的（Kress&vanLeeuwen2001；Levine&Scollon2004）。在多模態(tài)語篇分析中，每種模態(tài)都屬于一種獨(dú)立的意義生成資源，因此，我們能夠?yàn)槊糠N模態(tài)制定相關(guān)語法，以總結(jié)概括其作為意義生成資源共有的規(guī)律。此外，多種模態(tài)結(jié)合表達(dá)的意義要大于單個(gè)模態(tài)表達(dá)的意義之和，即整體功能大于各部分功能之和，而并非各個(gè)部分功能的簡單相加。

多模態(tài)語篇分析的產(chǎn)生有著深刻的技術(shù)背景和理論背景。

1.多模態(tài)語篇分析產(chǎn)生的技術(shù)背景

在技術(shù)方面，科學(xué)技術(shù)，尤其是數(shù)字技術(shù)的發(fā)展，如數(shù)碼多媒體數(shù)據(jù)的保存及提取技術(shù)的發(fā)展、數(shù)碼攝像機(jī)的廣泛使用等，使得交際的多角度研究成為可能，而不僅僅局限于語言。此外，由于因特網(wǎng)和多媒體技術(shù)的廣泛運(yùn)用，語篇本身內(nèi)容更加豐富，形式更加多樣，如在計(jì)算機(jī)介入性語篇中，多種模態(tài)往往有機(jī)結(jié)合在一起表達(dá)一種嶄新的意義。傳統(tǒng)的僅以語言為核心的單模態(tài)分析法顯然局限眾多。因而建構(gòu)一種針對多模態(tài)語篇的分析理論不僅在技術(shù)上成為可能而且非常必要。

2.多模態(tài)語篇分析產(chǎn)生的理論背景

在理論上，多模態(tài)語篇分析是語篇分析經(jīng)過長時(shí)間發(fā)展，吸收各學(xué)科成果，逐漸擴(kuò)大研究領(lǐng)域、豐富研究視角的結(jié)果。

R.Barthes最早對多模態(tài)語篇進(jìn)行系統(tǒng)性分析，他總結(jié)了多模態(tài)語篇中圖文關(guān)系的三種模式，即錨定、說明和接遞。Barthes從一個(gè)符號學(xué)家的視角對圖文關(guān)系做出結(jié)構(gòu)性分析，因而多模態(tài)語篇分析從起初就具有濃重的符號學(xué)的印記。二十世紀(jì)末以來，一些系統(tǒng)功能符號學(xué)家一直活躍于多模態(tài)語篇分析領(lǐng)域，他們以功能語法為理論基礎(chǔ)，以社會符號學(xué)為視角，指出非語言模態(tài)在交際中具備同樣的功能價(jià)值，同樣作為符號資源參與意義的建構(gòu)。因此，研究者認(rèn)為非語言模態(tài)應(yīng)與語言模態(tài)置于同等的平臺，且可以使用針對語言模態(tài)的理論與方法分析非語言模態(tài)，因而有了“視覺語法”的建立及各學(xué)者對體態(tài)語模態(tài)、聲音模態(tài)及空間設(shè)計(jì)進(jìn)行的相關(guān)研究。

李戰(zhàn)子的“多模式話語的社會符號學(xué)分析”，對Kress和vanLeeuwen的“視覺語法”進(jìn)行了相關(guān)介紹，這是國內(nèi)學(xué)者對多模態(tài)語篇分析關(guān)注的開始。

總之，多模態(tài)語篇分析的產(chǎn)生有其技術(shù)和理論的雙重背景，且隨著研究的深入，多模態(tài)語篇分析將不斷取得新的進(jìn)展。

三、多模態(tài)語篇分析的理論基礎(chǔ)

Halliday創(chuàng)立的系統(tǒng)功能語言學(xué)是多模態(tài)語篇分析的主要理論基礎(chǔ)。朱永生指出，多模態(tài)語篇分析吸收系統(tǒng)功能語言學(xué)的成果，支持語言是社會符號和意義潛勢的觀點(diǎn)，認(rèn)為語言之外的其他符號系統(tǒng)同樣是意義的來源；贊同純理功能假說，認(rèn)為多模態(tài)話語與只包含語言符號的話語一樣，具有多功能性，即同時(shí)具有概念、人際、語篇三大功能；吸收系統(tǒng)理論，認(rèn)為多模態(tài)語篇本身有系統(tǒng)性；接受語域理論，認(rèn)為語境與多模態(tài)話語的意義解讀之間有密切聯(lián)系。

四、多模態(tài)語篇分析的主要人物及其研究成果

1.韓禮德學(xué)派的多模態(tài)語篇分析家

Halliday的系統(tǒng)功能語法對多模態(tài)語篇分析具有重要影響。目前多模態(tài)語篇分析學(xué)家的主要代表人物有Kress和vanLeeuwen。二人在系統(tǒng)功能語法理論的基礎(chǔ)上發(fā)展建構(gòu)自己的多模態(tài)語篇分析理論，并實(shí)際利用該理論進(jìn)行多模態(tài)分析，為該領(lǐng)域作出了重要貢獻(xiàn)。

為研究視覺形象表達(dá)的交際意義，Kress和vanLeeuwen為視覺語篇建立了一個(gè)分析框架。對應(yīng)功能語法的三個(gè)元功能，即概念、人際、語篇，該框架包含三方面，即再現(xiàn)、互動、構(gòu)圖。再現(xiàn)類似功能語法的概念功能，包括敘事、概念兩類?；佑山佑|、社會距離、態(tài)度三個(gè)子系統(tǒng)構(gòu)成。對照功能語法的語篇意義，二人提出視覺語法的構(gòu)圖意義，并分析了該意義的三種資源，即信息價(jià)值、突出度、分格。

隨著研究的發(fā)展，Kress和vanLeeuwen逐漸意識到單獨(dú)地討論某一種模態(tài)的語法還遠(yuǎn)遠(yuǎn)不夠，應(yīng)構(gòu)建一個(gè)交際理論，使其可以應(yīng)用于所有模態(tài)。為構(gòu)建交際的分析框架，二人從語篇、設(shè)計(jì)、生成、傳送四個(gè)方面著手。胥國紅、曲航對此分別進(jìn)行了概括總結(jié)，二人認(rèn)為語篇是關(guān)于現(xiàn)實(shí)（或現(xiàn)實(shí)的某些方面）的社會建構(gòu)的知識。相對獨(dú)立于體裁、模態(tài)、設(shè)計(jì)，僅能由符號模態(tài)實(shí)現(xiàn)。設(shè)計(jì)指各種模態(tài)中符號資源的運(yùn)用。生成即符號事件或符號產(chǎn)品的具體產(chǎn)生過程。傳送是為了記錄或傳送而對符號產(chǎn)品進(jìn)行的技術(shù)性“再編碼”。其中語篇和設(shè)計(jì)是內(nèi)容層面，生成和傳送是表達(dá)層面。通過此分析框架，我們可以從內(nèi)容、表達(dá)兩方面回答“人們是如何運(yùn)用各種符號資源在具體社會背景中制造符號的”（Kress&van Leeuwen2001）。

O’Halloran、Jewitt、Ventola等，同樣是韓禮德學(xué)派的多模態(tài)語篇分析學(xué)家，他們構(gòu)成了多模態(tài)語篇分析的中堅(jiān)力量（胥國紅，曲航，2009）。

2.以行為理論為基礎(chǔ)的多模態(tài)語篇分析家

Scollon的介入性語篇理論和顧曰國的實(shí)時(shí)語篇分析以行為理論為基礎(chǔ)，為多模態(tài)語篇分析提供了不同的理論分析框架。

Scollon吸收融合各相關(guān)學(xué)科的理論，如語言人類學(xué)、交際社會語言學(xué)、社會文化心理學(xué)、跨文化交際等，提出新的語篇分析理論，即介入性語篇理論。以往的語篇分析理論往往忽視行為而社會學(xué)理論則忽視語篇，為彌補(bǔ)此不足，Scollon的介入性語篇理論試圖把人們的社會行為和語篇有機(jī)結(jié)合起來進(jìn)行研究。因此，與傳統(tǒng)語篇分析把話語或篇章作為分析單位不同，介入性語篇理論把介入性行為作為分析單位。

以Scollon的介入性語篇理論為基礎(chǔ)，Norris（2002， 2004，2006）同樣構(gòu)建了多模態(tài)分析框架。接受了介入性語篇理論把介入性行為作為分析單位的觀點(diǎn)，并進(jìn)一步把介入性行為細(xì)分為低水平行為和高水平行為。如一句話和一段交談分別屬于低水平行為和高水平行為。同時(shí)，Norris用模態(tài)密度描述構(gòu)成某一具體高水平行為的模態(tài)的強(qiáng)度和復(fù)雜性。如在一段相聲表演中，口頭語言占很高的模態(tài)密度，但在舞蹈表演中，語言的模態(tài)密度就很低。此外，為描繪社會行動者對不同高水平行動給予的不同程度的關(guān)注，Norris進(jìn)一步提出了前景-背景連貫體的概念。

國內(nèi)學(xué)者顧曰國受Scollon的影響構(gòu)建的多模態(tài)語篇分析模式，從內(nèi)容層和媒介層對多模態(tài)語篇進(jìn)行分析。不同于以往理論，顧曰國從社會語境入手，采取“從上至下”的方法，將多模態(tài)語篇分為社會心理層和個(gè)人行為層。他運(yùn)用該理論框架對多模態(tài)語篇進(jìn)行分析并獲得了許多有價(jià)值的發(fā)現(xiàn)。

3.重視多模態(tài)語篇分析方法的話語學(xué)家

在《多模態(tài)轉(zhuǎn)寫和語篇分析》中，Baldry和Thibault具體介紹了多種多模態(tài)語篇的轉(zhuǎn)寫和分析方法。

Norris提出了多模態(tài)轉(zhuǎn)寫方法。胥國紅、曲航對其轉(zhuǎn)寫方法進(jìn)行了總結(jié)：Norris主張?jiān)趯?shí)現(xiàn)對各個(gè)模態(tài)的分別轉(zhuǎn)寫后，再以時(shí)間為標(biāo)記，將同一時(shí)間內(nèi)所有對交際產(chǎn)生重要影響的模態(tài)（如語言、動作等）集中在一張圖片上表現(xiàn)出來，給人留下完整的印象。

五、多模態(tài)研究的多種視角和研究對象的不斷擴(kuò)展

對于多模態(tài)研究的視角，Jewitt進(jìn)行了詳細(xì)區(qū)分：社會符號學(xué)分析、系統(tǒng)功能語法分析、社會互動分析。然而，Bateman和Schmidt認(rèn)為三個(gè)視角雖略有不同，卻同屬于“社會功能分析”。此外，Jewitt同時(shí)忽視了另外兩個(gè)重要視角：以Lakoff和Johnson的認(rèn)知隱喻理論為基礎(chǔ)的多模態(tài)隱喻研究和語料庫語言學(xué)視角的多模態(tài)文本分析。

社會功能分析的研究對象的擴(kuò)展主要指從傳統(tǒng)的圖文語篇分析到對復(fù)雜的動態(tài)多模態(tài)語篇和新媒體語篇的符號學(xué)闡釋。具體地說，隨著研究的不斷發(fā)展，國內(nèi)外學(xué)者將社會符號學(xué)等理論運(yùn)用于更多模態(tài)的系統(tǒng)分析，如副語言特征、三維空間、現(xiàn)場即席話語等。課堂教學(xué)分析、多模態(tài)教材在理論及研究方法上越來越系統(tǒng)深入，如Chen、顧曰國、張德祿等。多模態(tài)電影分析和新媒體分析從無到有的發(fā)展則最具開拓性。

認(rèn)知視角的多模態(tài)隱喻理論的發(fā)展是近年多模態(tài)研究的重要成果。多模態(tài)隱喻理論的研究范圍廣泛，不但涵蓋了靜態(tài)媒體，如政治漫畫、平面廣告等，還涉及了動態(tài)媒體語篇，如電影、電視廣告等，以及其他符號資源，如音樂、手勢語等。國內(nèi)多模態(tài)隱喻研究逐漸發(fā)展，如李毅、石磊初步探討了在教學(xué)中多模態(tài)隱喻的運(yùn)用；趙秀鳳全面評介了《多模態(tài)隱喻》并詳細(xì)介紹了多模態(tài)隱喻理論的前沿與進(jìn)展；馮德正則基于系統(tǒng)功能語法系統(tǒng)闡釋了多模態(tài)隱喻的構(gòu)建與類型。

簡言之，當(dāng)前社會功能及認(rèn)知隱喻視角的多模態(tài)研究分別取得了重要進(jìn)展。然而，二者之間真正的融合尚未引起研究者的足夠重視，而這也是多模態(tài)語篇分析今后的重要發(fā)展方向。

六、科學(xué)技術(shù)在多模態(tài)語篇分析中的運(yùn)用

由于科技的發(fā)展，無論在規(guī)模還是復(fù)雜性上，多模態(tài)語篇都遠(yuǎn)遠(yuǎn)超過了語言語篇，使用傳統(tǒng)分析方法已難以外理。正如顧曰國所言，如何把多模態(tài)文本記錄的信息提取出來并進(jìn)行結(jié)構(gòu)化外理，是目前語言信息工程中面臨的一個(gè)難題。因此，多模態(tài)語篇的外理必須充分借助科學(xué)技術(shù)。當(dāng)前，在多模態(tài)語篇分析中，科技運(yùn)用主要包括：多模態(tài)語篇注解與語料庫建設(shè)、多模態(tài)語篇心理實(shí)證研究（馮德正、張德祿、Kay O’Halloran2014）。

1.多模態(tài)語篇注解與語料庫建設(shè)

目前，在多模態(tài)語篇分析方面，研究者在使用ELAN等注解軟件的同時(shí)，正開發(fā)專門的注解軟件。當(dāng)前研發(fā)的最新成果是Semiomix。Semiomix具備動態(tài)轉(zhuǎn)錄與縮放功能，實(shí)現(xiàn)了轉(zhuǎn)錄單位的靈活性。同時(shí)，可以實(shí)現(xiàn)多模態(tài)語篇特征與意義發(fā)展的動態(tài)分析，而且具備搜索、臉部識別、鏡頭識別等功能。

軟件的應(yīng)用促進(jìn)了多模態(tài)語料庫的建立。在多模態(tài)研究領(lǐng)域，Baldry建立了在線多模態(tài)檢索器，可以對多模態(tài)數(shù)據(jù)搜索、注解、定量分析等。國內(nèi)學(xué)者顧曰國在該方面建立的現(xiàn)場即席話語語料庫及其提出的基于角色的建模語言，是當(dāng)前語料庫視角多模態(tài)研究的最顯著進(jìn)展。語料庫分析能夠?yàn)橄到y(tǒng)闡釋多模態(tài)語篇的特征及多模態(tài)意義的社會建構(gòu)提供實(shí)證理據(jù)，是解決多模態(tài)分析主觀性等問題的重要方法（馮德正、張德祿、KayO’Halloran2014）。

此外，近年來研究者開始運(yùn)用可視化軟件模擬動態(tài)語篇的語義規(guī)律及各模態(tài)之間的復(fù)雜關(guān)系。目前研究中，不僅自然科學(xué)與社會科學(xué)中的可視化軟件被運(yùn)用于動態(tài)多模態(tài)語篇分析，而且研究者們正努力研發(fā)用于多模態(tài)分析的可視化軟件。

2.多模態(tài)語篇心理實(shí)證研究

近年來，認(rèn)知心理學(xué)視角的實(shí)證研究逐漸興起。利用眼動實(shí)驗(yàn)考察讀者對多模態(tài)視覺語篇的認(rèn)知是該領(lǐng)域最新的研究成果。Boeriis和Holsanova利用眼動實(shí)驗(yàn)考察了讀者外理視覺圖像的認(rèn)知機(jī)制；Gidl?f等通過調(diào)查問卷、訪談、眼動實(shí)驗(yàn)探討了多模態(tài)網(wǎng)絡(luò)廣告對瑞典青少年的影響；Bucher和Niemann通過眼動實(shí)驗(yàn)、訪談、知識測試分析了觀眾對幻燈片演講的注意力分配和理解與模態(tài)之間的關(guān)系。國內(nèi)學(xué)者開始采用眼動實(shí)驗(yàn)、調(diào)査問卷等進(jìn)行多模態(tài)分析。實(shí)證研究的發(fā)展具有重要意義，不但可以加深我們對多模態(tài)語篇解讀的認(rèn)識，而且為進(jìn)一步探討多模態(tài)語篇的意義構(gòu)建提供客觀依據(jù)。

七、結(jié)語

近二十年來，多模態(tài)語篇分析進(jìn)一步發(fā)展。多模態(tài)研究的理論體系逐漸完善并被應(yīng)用于闡釋更復(fù)雜的多模態(tài)語篇；多模態(tài)研究采取多學(xué)科視角，其研究對象幾乎包括人類所有交際媒介和符號形式；以科學(xué)技術(shù)為基礎(chǔ)的多模態(tài)注解、可視化模擬及實(shí)證研究逐漸興起并不斷發(fā)展?？傊?，展望未來發(fā)展，多模態(tài)語篇分析的研究會更廣泛全面深入。

［1］Baldry，A.P.andP.J.Thibault.MultimodalTranscription andTextAnalysis［M］.London：Equinox，2006.

［2］Barthes，R.Rhetoricoftheimage［A］.Image·Music·Text［C］.London：Fontana，1977.

［3］Bateman，J.A.andK.H.Schmidt.MultimodalFilmAnalysis［M］.London：Routledge，2012.

［4］Boeriis，M.andJ.Holsanova.Trackingvisualsegmentation［J］.Visual.Communication，2012，11，3：259-81.

［5］Bucher，H.andP.Niemann.Visualizingscience：ThereceptionofPowerPointpresentations［J］.VisualCommunication，2012，11，3：283-306.

［6］Chen，Y.Exploringdialogicengagementwithreaders inmultimodalEFLtextbooksinChina［J］.VisualCommunication，2010，9，4：485-506.

［7］Gidl?f，K.，N.Holmberg，andH.Sandberg.Theuseofeyetrackingandretrospectiveinterviewstostudyteenagers，exposuretoonlineadvertising［J］.VisualCommunication，2012，11，3：329-45.

［8］Halliday，M.A.K.AnIntroductiontoFunctionalGrammar［M］.London：Arnold，1994.

［9］Jewitt，C.Technology.LiteracyandLearning：AMultimodalApproach［M］.LondonandNewYork：Routledge，2006.

［10］Jewitt，C.，ed.HandbookofMultimodalAnalysis［M］. London：Routledge，2009.

［11］Kress，G.andvanLeeuwen，T.ReadingImages：The GrammarofVisualDesign.London：Routledge，1996.

［12］Kress，G.andvanLeeuwen，T.MultimodalDiscourse—TheModesandMediaofContemporaryCommunication［M］. London：Arnold，2001.

［13］Levine，P.andScollon，R.（eds.）.DiscourseandTechnology：MultimodalDiscourseAnalysis［C］.Washington，D.C：GeorgetownUniversityPress，2004.

［14］Norris，S.ATheoreticalFrameworkforMultimodal DiscourseAnalysisPresentedviatheAnalysisofIdentityConstructionofTwoWomenLivinginGermany［M］.PhDdissertation，GeorgetownUniversity，UMI，2002.

［15］Norris，S.AnalyzingMultimodalInteraction：AMethodo logicalFramework［M］.London：Routledge，2004.

［16］Norris，S.Multipartyinteraction：Amultimodalperspectiveonrelevance［J］.DiscourseStudies，2006，8（3）：401-421.

［17］Scollon，R.MediatedDiscourse：TheNexusofPractice［M］.London：Routledge，2001.

［18］St?ckl，H.Inbetweenmodes：Languageandimagein printedmedia［A］.InE.Ventolaet.al.（eds.）.Perspectiveson Multimodality［C］.Amsterdam：JohnBenjamins，2004：9-30.

［19］馮德正.多模態(tài)隱喻的構(gòu)建與分類一系統(tǒng)功能視角［J］.外語研究，2011（1）：24-29.

［20］馮德正，張德祿.KayO’Halloran.多模態(tài)語篇分析的進(jìn)展與前沿［J］.當(dāng)代語言學(xué)，2014（1）：88-89.

［21］顧曰國.基于角色的建模語言.第十二屆CODATA國際學(xué)術(shù)大會，2006.［22］顧曰國.多媒體、多模態(tài)學(xué)習(xí)剖析［J］.外語電化教學(xué)，2007（4）：3-12.

［23］李毅，石磊.教學(xué)中的多模態(tài)隱喻［J］.外語電化教學(xué)，2010（4）：47-9.

［24］李戰(zhàn)子.多模式話語的社會符號學(xué)分析［J］.外語研究，2003（5）：1-8.

［25］孟艷麗.中國英語學(xué)習(xí)廣告中的連貫構(gòu)建：多模態(tài)視角［D］.北京大學(xué)，2011.

［26］胥國紅，曲航.多模態(tài)語篇分析—信息時(shí)代的新視角［J］.山東外語教學(xué)，2009（2）：3-7.

［27］張德祿.多模態(tài)外語教學(xué)的設(shè)計(jì)與模態(tài)調(diào)用初探［J］.中國外語，2010（6）：48-53.

［28］趙秀鳳.概念隱喻研究的新發(fā)展—多模態(tài)隱喻研究［J］.外語研究，2011（6）：1-10.

［29］朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法［J］.外語學(xué)刊，2007（5）：82-86.