管 樂

(中山大學(xué)南方學(xué)院，廣東 廣州 )

多模態(tài)話語(yǔ)分析的新發(fā)展
——《多模態(tài)互動(dòng)分析》述評(píng)

管 樂

(中山大學(xué)南方學(xué)院，廣東 廣州 )

隨著多模態(tài)話語(yǔ)分析的發(fā)展，著名語(yǔ)言學(xué)家Norris在吸收了互動(dòng)社會(huì)學(xué)、中介話語(yǔ)分析和聯(lián)結(jié)分析以及多模態(tài)話語(yǔ)等方面的研究成果的基礎(chǔ)上，撰寫了著作《多模態(tài)互動(dòng)分析》。該書以定性分析為主要研究方法，以動(dòng)態(tài)視頻錄像為研究對(duì)象，對(duì)交際主體如何通過(guò)“言語(yǔ)”、“空間距離”、“身體姿勢(shì)”、“手部動(dòng)作”、“頭部動(dòng)作”、“眼神”、“音樂”、“印刷物”、“場(chǎng)景布局”這九種主要交流模態(tài)進(jìn)行了詳細(xì)的分析，初步構(gòu)建了多模態(tài)互動(dòng)分析的基本框架。該書不僅在理論和應(yīng)用上豐富和發(fā)展了多模態(tài)話語(yǔ)分析研究，還為動(dòng)態(tài)語(yǔ)篇的多模態(tài)話語(yǔ)分析研究提供了新的視角，也拓展了多模態(tài)互動(dòng)分析理論研究的范圍。

多模態(tài)話語(yǔ)分析；多模態(tài)；互動(dòng)

1．引言

隨著現(xiàn)代技術(shù)的發(fā)展，多模態(tài)話語(yǔ)沖擊了傳統(tǒng)上文字在交際領(lǐng)域中的中心地位。在許多情況下，語(yǔ)言與其它符號(hào)模態(tài)資源一起構(gòu)建意義，共同為交際服務(wù)。隨著多模態(tài)話語(yǔ)研究的深入，Jewitt (2009)認(rèn)為多模態(tài)話語(yǔ)分析初步形成了以下三種理論方法：即以Gunther Kress和van Leeuwen 為代表的系統(tǒng)功能多模態(tài)話語(yǔ)分析(systemic functional-multimodal discourse analysis)或系統(tǒng)功能符號(hào)學(xué)(systematic functional semiotics)、以Norris 為代表的多模態(tài)互動(dòng)分析(multimodal interactional analysis)以及Gu提出的語(yǔ)料庫(kù)語(yǔ)言學(xué)多模態(tài)話語(yǔ)分析。

《多模態(tài)互動(dòng)分析》(Analyzing Multimodal Interaction)一書是由著名語(yǔ)言學(xué)家Norris于2004年撰寫的，該書吸收了互動(dòng)社會(huì)學(xué)、中介話語(yǔ)分析和聯(lián)結(jié)分析(nexus analysis)以及多模態(tài)話語(yǔ)等方面的研究成果，其中包括從互動(dòng)社會(huì)學(xué)中吸收的“實(shí)時(shí)”(real time)互動(dòng)和 “使用中的語(yǔ)言”(language in use)概念、中介話語(yǔ)中強(qiáng)調(diào)的“中介行為”以及從多模態(tài)研究中吸收的重視音樂、顏色和手勢(shì)等其他符號(hào)的觀點(diǎn)。Norris認(rèn)為人類所有互動(dòng)都是多模態(tài)的。此書以定性分析為主要研究方法，以動(dòng)態(tài)視頻錄像為研究對(duì)象，對(duì)交際主體如何通過(guò)多種模態(tài)進(jìn)行互動(dòng)交流進(jìn)行了詳細(xì)的分析，強(qiáng)調(diào)人們?cè)谛袆?dòng)中所體現(xiàn)的所有模態(tài)。同時(shí)Norris還提出了模態(tài)密度前景——背景連續(xù)體(modal density foreground-background continuum)的分析框架，此框架對(duì)分析復(fù)雜的人際互動(dòng)有重要的指導(dǎo)作用。該書初步構(gòu)建了多模態(tài)互動(dòng)分析的理論，但國(guó)內(nèi)尚未見到對(duì)此書的評(píng)述，只有少數(shù)評(píng)介多模態(tài)話語(yǔ)分析的文章提到了此書，本文在介紹該書內(nèi)容的基礎(chǔ)上，對(duì)該書進(jìn)行詳細(xì)的評(píng)述并指出其不足之處。

2．主要內(nèi)容

該書共八章。在每一章的開頭，作者用方框單獨(dú)列出了該章提到的重點(diǎn)術(shù)語(yǔ)及概念，有利于讀者更快地了解本部分介紹的重點(diǎn)內(nèi)容和概念。在介紹完重點(diǎn)內(nèi)容后，作者還給讀者布置了思考題，目的是讓讀者從多模態(tài)的角度去分析互動(dòng)是怎樣產(chǎn)生的。該書語(yǔ)言通俗易懂，運(yùn)用了大量的實(shí)例來(lái)驗(yàn)證多模態(tài)互動(dòng)框架的可行性，是多模態(tài)話語(yǔ)研究者的必讀書籍。

第一章 ，主要指出了多模態(tài)互動(dòng)具有普遍性，即人類的互動(dòng)都具有多模態(tài)特征。作者認(rèn)為人類互動(dòng)是通過(guò)各種模態(tài)的中介作用而開展的社會(huì)行動(dòng)。言語(yǔ)模態(tài)和非言語(yǔ)模態(tài)(包括手勢(shì)、姿勢(shì)、距離、眼神等)在人際交流中都能體現(xiàn)互動(dòng)意義( interactional meaning)，每種模態(tài)都是一套符號(hào)系統(tǒng)。言語(yǔ)模態(tài)和非言語(yǔ)模態(tài)在不同的互動(dòng)背景中作用不一樣，比如言語(yǔ)模態(tài)并不是在所有互動(dòng)中都起主導(dǎo)作用。在本章中作者還提出了多模態(tài)互動(dòng)分析的三個(gè)重要觀點(diǎn)：第一個(gè)觀點(diǎn)是在多模態(tài)互動(dòng)分析中，語(yǔ)言、手勢(shì)、姿勢(shì)、眼神和物體等不同交流模態(tài)是通過(guò)不同方式構(gòu)建的；第二個(gè)觀點(diǎn)是在多模態(tài)互動(dòng)分析中，不同交流模態(tài)具有不同的物質(zhì)性(materiality)，比如言語(yǔ)既看不見又具有不持久性，但是具有可聽的物質(zhì)性；第三個(gè)觀點(diǎn)是在多模態(tài)互動(dòng)分析中，需要把互動(dòng)分析與個(gè)人的意識(shí)(awareness)分析結(jié)合起來(lái)。人類互動(dòng)的多模態(tài)分析要考慮到交際主體及參與者的意識(shí)或注意的程度，因此作者提出了互動(dòng)意識(shí)(interactional awareness)和注意(attention)這兩個(gè)術(shù)語(yǔ)。在多模態(tài)互動(dòng)分析中需要關(guān)注的問題是交際主體及參與者表達(dá)的感情、思想和看法以及在互動(dòng)中傳遞什么信息、參與者在特定的互動(dòng)過(guò)程中是如何反應(yīng)的。在此章中作者還運(yùn)用警察在學(xué)校十字路口指揮交通的例子說(shuō)明了在人類互動(dòng)中人的認(rèn)知能力(注意或意識(shí))的不同表現(xiàn)，最后作者介紹了本書的結(jié)構(gòu)。

第二章，作者首先指出多模態(tài)互動(dòng)的基本分析單位“行動(dòng)”(action)，行動(dòng)總共分為三個(gè)部分，即低一級(jí)行動(dòng)(low-level action)、高一級(jí)行動(dòng)(high-level action)和冰凍行動(dòng)(frozen action)。人類互動(dòng)被看作是一個(gè)交際事件，整個(gè)交際事件可以分成若干個(gè)階段，各階段都由一系列高一級(jí)行動(dòng)構(gòu)成，每一個(gè)高一級(jí)行動(dòng)由一系列低一級(jí)行動(dòng)構(gòu)成，低一級(jí)行動(dòng)和高一級(jí)行動(dòng)在互動(dòng)中被連貫地建構(gòu)起來(lái)；冰凍行動(dòng)屬于高一級(jí)行動(dòng)，包括交際事件發(fā)生的環(huán)境和環(huán)境中存在的物體。然后作者介紹了多模態(tài)互動(dòng)框架中的九種交流模態(tài)(communicative modes)。交流模態(tài)是帶有規(guī)律和規(guī)則的意義表達(dá)體系或符號(hào)體系(Norris，2009: 79)。這九種模態(tài)分別是語(yǔ)言模態(tài)(spoken language)、空間距離(proxemics)、身體姿勢(shì)(posture)、手部動(dòng)作(gesture)、頭部動(dòng)作(head movement)、眼神(gaze)、音樂(music)、印刷物(print)和場(chǎng)景布局(layout)。作者認(rèn)為互動(dòng)是通過(guò)這些交流模態(tài)的協(xié)同使用而完成的。作者在介紹每一個(gè)交流模態(tài)的同時(shí)都分別用實(shí)例分析說(shuō)明了以上九種交流模態(tài)的特點(diǎn)以及在互動(dòng)中所起的重要作用。

第三章 ，作者探討了該書的研究方法即多模態(tài)轉(zhuǎn)錄和視頻分析的方法，并指導(dǎo)讀者如何完成整個(gè)交際過(guò)程的轉(zhuǎn)錄。其過(guò)程首先是完成單個(gè)交流模態(tài)的轉(zhuǎn)錄，然后把出現(xiàn)的兩個(gè)或多個(gè)交流模態(tài)的轉(zhuǎn)錄過(guò)程整合起來(lái)，最后把所有交流模態(tài)的轉(zhuǎn)錄內(nèi)容結(jié)合起來(lái)完成整個(gè)部分的轉(zhuǎn)錄。在本章中作者還結(jié)合大量實(shí)例對(duì)第二章介紹的九種交流模態(tài)進(jìn)行分析，作者發(fā)現(xiàn)在轉(zhuǎn)錄的視頻中多種交流模態(tài)在圖像中重復(fù)出現(xiàn)，說(shuō)明了互動(dòng)過(guò)程的復(fù)雜性。

第四章，是該書的重點(diǎn)。在本章中，作者提出了“模態(tài)密度”(modal density)和“模態(tài)結(jié)構(gòu)”(modal configuration)兩個(gè)重要概念。模態(tài)密度是多模態(tài)互動(dòng)研究的關(guān)鍵內(nèi)容(Norris，2009：80)，指的是高一層級(jí)行為構(gòu)建時(shí)的模態(tài)強(qiáng)度或模態(tài)復(fù)雜性。模態(tài)密度通過(guò)模態(tài)強(qiáng)度(modal intensity)和模態(tài)復(fù)雜性(modal complexity)實(shí)現(xiàn)。模態(tài)強(qiáng)度是指通過(guò)高強(qiáng)度地使用某個(gè)或某些模態(tài)來(lái)構(gòu)建一個(gè)行為，根據(jù)在構(gòu)建“高一級(jí)行動(dòng)”中所起的作用，模態(tài)強(qiáng)度包括高模態(tài)強(qiáng)度(high modal intensity)、中模態(tài)強(qiáng)度(mediummodal intensity)和低模態(tài)強(qiáng)度(lowmodal intensity)三個(gè)部分，任何模態(tài)都能體現(xiàn)高模態(tài)強(qiáng)度，有時(shí)多種模態(tài)結(jié)合起來(lái)也能體現(xiàn)高模態(tài)強(qiáng)度，模態(tài)強(qiáng)度越高，模態(tài)密度就越大。模態(tài)復(fù)雜性是指“社會(huì)行動(dòng)者”(social actor) 構(gòu)建行為時(shí)所使用的模態(tài)數(shù)量，模態(tài)數(shù)量越多，模態(tài)復(fù)雜性就越強(qiáng)，比如媽媽邊看電視邊織毛衣時(shí)體現(xiàn)的眼神、手勢(shì)、姿勢(shì)等各種模態(tài)都能體現(xiàn)意義，模態(tài)的復(fù)雜性強(qiáng)(Norris，2007：61)。Kress和van Leeuwen(2001)指出每一種模態(tài)都具有交際功能，模態(tài)之間總是不斷地相互聯(lián)系和相互影響的。Norris(2004)提出了另外一個(gè)重要概念是模態(tài)結(jié)構(gòu)。模態(tài)結(jié)構(gòu)是指在構(gòu)建高一層行動(dòng)中各模態(tài)之間所體現(xiàn)的平等或者上下級(jí)的關(guān)系，比如以上媽媽邊看電視邊織毛衣的例子，眼神手勢(shì)和姿勢(shì)的地位高于聽覺模態(tài)。Norris還指出模態(tài)強(qiáng)度還與社會(huì)行為者的交際情景和環(huán)境有關(guān)，比如音樂對(duì)于舞蹈演員來(lái)說(shuō)屬于高模態(tài)強(qiáng)度，但是對(duì)于交流的其他社會(huì)活動(dòng)者來(lái)說(shuō)，音樂就不屬于高模態(tài)強(qiáng)度。在本章的最后，作者還提出了模態(tài)強(qiáng)度與社會(huì)行為者的“注意”(attention)和“意識(shí)”(awareness)之間的關(guān)系，如高模態(tài)強(qiáng)度相當(dāng)于互動(dòng)注意或意識(shí)(interac-tional attention/awareness)的高一級(jí)行動(dòng)。

第五章，作者用實(shí)例說(shuō)明了在交際中如何判斷參與者的“注意”和“意識(shí)”的不同程度。在“高一級(jí)行動(dòng)”中，根據(jù)交際主體對(duì)模態(tài)的注意和意識(shí)程度的不同，Norris提出了前景化(foreground)、中景化(mid-ground)和背景化(background)三個(gè)概念。使用模態(tài)密度高，最受行動(dòng)者注意的“高一級(jí)行動(dòng)”是前景化行動(dòng)；使用模態(tài)密度低，最不受行動(dòng)者注意的“高一級(jí)行動(dòng)”是背景化行動(dòng)或中景化行動(dòng)。前景化、中景化和背景化區(qū)別了人們?cè)诮浑H中體現(xiàn)的注意/意識(shí)的程度。Norris(2004：97)指出根據(jù)事件發(fā)生的不同階段和個(gè)人意識(shí)表現(xiàn)的不同程度，人類互動(dòng)被看作是一系列高一級(jí)行動(dòng)的構(gòu)建。前景化、中景化和背景化這三個(gè)階段不是孤立存在的，因此作者提出了模態(tài)密度前景—背景連續(xù)體分析框架，這一框架為研究在交際中某一特定時(shí)刻同時(shí)發(fā)生的高一級(jí)行動(dòng)提供了理論基礎(chǔ)?；谠摽蚣茏髡哒撟C了六種同時(shí)發(fā)生的前景化高一級(jí)行動(dòng)的實(shí)例。最后，為了更清楚地描述建構(gòu)高一級(jí)行動(dòng)時(shí)行動(dòng)者運(yùn)用的交流模態(tài)，Norris提出了模態(tài)密度圈(modal density circles)這一概念。在模態(tài)密度圈中，各交流模態(tài)都使用點(diǎn)狀間斷式的圓圈來(lái)表示，點(diǎn)狀間斷式圓圈表明模態(tài)是沒有界限的單位。在具體交際事件中如果以一種模態(tài)為主，這種模態(tài)越重要，其模態(tài)密度圈越大，反之越小。模態(tài)密度圈有利于人們更清楚地了解社會(huì)行為者在構(gòu)建高一級(jí)行動(dòng)時(shí)所運(yùn)用的各種交流模態(tài)及其重要性。

第六章，作者提出了交流語(yǔ)義學(xué)(communicative semantics)和交流語(yǔ)用學(xué)(communicative pragmatics)兩個(gè)重要概念。交流語(yǔ)義學(xué)是指同時(shí)發(fā)生或按序建構(gòu)的復(fù)雜互動(dòng)意義的系統(tǒng)組織，目的是指出在一系列高一級(jí)行動(dòng)中人們表現(xiàn)出的注意或意識(shí)程度(Norris，2004：114)。交流語(yǔ)義結(jié)構(gòu)主要是由凸顯的(pronounced)一系列低一級(jí)行動(dòng)組成的，作者把凸顯的一系列低一級(jí)行動(dòng)稱為手段(means)，手段起著組織和銜接前景化行動(dòng)的作用。參與者運(yùn)用一系列不同的低一級(jí)行動(dòng)來(lái)建構(gòu)高一級(jí)行動(dòng)的前景化，由此可以體現(xiàn)出參與者的注意或意識(shí)程度。交流語(yǔ)用學(xué)是指在實(shí)時(shí)(real-time)交際中，參與者是如何使用一系列低一級(jí)行動(dòng)來(lái)完成交際活動(dòng)的(Norris，2004：114)。最后作者還運(yùn)用了實(shí)例來(lái)說(shuō)明高一級(jí)行動(dòng)前景化過(guò)程中所體現(xiàn)的語(yǔ)義和語(yǔ)用功能。

第七章，作者指出模態(tài)密度前景——背景連續(xù)體理論能將互動(dòng)與意識(shí)有效地聯(lián)系起來(lái)，認(rèn)為交際主體能將同時(shí)發(fā)生或有序發(fā)生的一系列高一級(jí)行動(dòng)構(gòu)建起來(lái)，這一框架為參與者在交際中運(yùn)用多種模態(tài)進(jìn)行定性分析提供了有力的理論支撐(Norris，2004：128)。本章的重點(diǎn)是運(yùn)用模態(tài)密度前景——背景連續(xù)體理論框架分析復(fù)雜多模態(tài)互動(dòng)的整個(gè)過(guò)程，并描述多種共時(shí)進(jìn)行的高一級(jí)行動(dòng)，其中包括各種交流模態(tài)的體現(xiàn)、模態(tài)密度的分析、交際主體注意和意識(shí)程度的切分以及高一級(jí)行動(dòng)的前景化過(guò)程中所體現(xiàn)的語(yǔ)義和語(yǔ)用功能。作者還結(jié)合具體實(shí)例驗(yàn)證了該理論框架的可行性。研究發(fā)現(xiàn)在復(fù)雜的多模態(tài)互動(dòng)過(guò)程中，各種交流模態(tài)之間存在相互依賴(interdependence)的關(guān)系，而不是相互獨(dú)立的(independence)；交際主體高一級(jí)行動(dòng)的轉(zhuǎn)變會(huì)引起其他參與者高一級(jí)行動(dòng)的變化；交際主體參與高一級(jí)行動(dòng)的同時(shí)也建構(gòu)了社會(huì)世界(social world)(Norris，2009：137)。

第八章，是該書的總結(jié)部分。在本章中，作者再次總結(jié)了該書出現(xiàn)的重要術(shù)語(yǔ)和概念，包括互動(dòng)的概念、模態(tài)密度、前景背景連續(xù)體，并指出了模態(tài)密度前景——背景連續(xù)體理論分析框架的可行性和局限性。同時(shí)從不同的分析領(lǐng)域?qū)Ρ緯芯康姆较蛱岢隽诵碌南敕?。從?yīng)用語(yǔ)言學(xué)的角度，作者指出在互動(dòng)中需要對(duì)語(yǔ)言所起的作用以及交際中使用的模態(tài)進(jìn)行分析；從教育的角度，在學(xué)習(xí)過(guò)程中對(duì)學(xué)生使用哪種模態(tài)更加有效進(jìn)行了研究；從社會(huì)學(xué)的角度，提出了高一級(jí)行動(dòng)和交際主體兩者之間的關(guān)系；從人類學(xué)的角度，在不同的文化背景下，交際主體互動(dòng)的差異是什么？從兒童發(fā)展的角度，不同注意或意識(shí)程度對(duì)兒童習(xí)得的交際能力有什么影響？從心理學(xué)的角度，互動(dòng)可以把人的意識(shí)、認(rèn)知與心智結(jié)合起來(lái)研究。最后，作者對(duì)如何構(gòu)建人物身份和人物關(guān)系提出了自己的構(gòu)想。

3．影響

該書出版十余年來(lái)，在學(xué)術(shù)界產(chǎn)生了深遠(yuǎn)影響：(1)豐富和拓展了多模態(tài)話語(yǔ)分析理論研究的對(duì)象，為動(dòng)態(tài)語(yǔ)篇的多模態(tài)話語(yǔ)研究奠定了理論基礎(chǔ)。O’ Toole (1994)、Kress和van Leeuwen (1996, 2001) 主要是從圖像社會(huì)符號(hào)學(xué)分析的角度來(lái)研究靜態(tài)的視覺平面圖像，Norris(2004)多模態(tài)互動(dòng)分析的研究對(duì)象側(cè)重于動(dòng)態(tài)的多模態(tài)話語(yǔ)即動(dòng)態(tài)的視頻錄像。模態(tài)密度前景—背景連續(xù)體理論分析框架為分析動(dòng)態(tài)語(yǔ)篇的多模態(tài)互動(dòng)研究提供了堅(jiān)實(shí)的理論基礎(chǔ)，通過(guò)該理論框架可以更有效地探究動(dòng)態(tài)語(yǔ)篇中交際事件的不同階段及其模態(tài)選擇和各模態(tài)使用的強(qiáng)度和密度的差異，同時(shí)該框架也有助于分析在交際過(guò)程中交際主體和參與者是如何將單獨(dú)的片段信息(separate message)整合構(gòu)建起來(lái)表達(dá)完整的信息的?；诙嗄B(tài)互動(dòng)分析理論，張佐成等(2015)分析了商務(wù)會(huì)議、電視訪談、學(xué)術(shù)演講、商務(wù)談判等不同類型的多模態(tài)即席話語(yǔ)，研究發(fā)現(xiàn)多模態(tài)即席話語(yǔ)模態(tài)之間存在互補(bǔ)、反向互補(bǔ)、非互補(bǔ)三種互動(dòng)機(jī)制，比如商務(wù)會(huì)議和商務(wù)談判中音韻特征和手部動(dòng)作對(duì)語(yǔ)言模態(tài)表達(dá)意義所起的強(qiáng)調(diào)作用以及在學(xué)術(shù)演講中語(yǔ)言模態(tài)表達(dá)的負(fù)面信息。(2)借助該理論框架，我們還可以清楚地了解到交際主體是如何構(gòu)建一系列高一級(jí)行動(dòng)的，這一系列高一級(jí)行動(dòng)是怎樣列入前景——背景連續(xù)體與其他行動(dòng)產(chǎn)生聯(lián)系的。張德祿和王正(2016)在Norris多模態(tài)互動(dòng)理論的基礎(chǔ)上，提出了多層次多模態(tài)互動(dòng)分析的綜合理論框架，并將該理論框架運(yùn)用到一堂大學(xué)英語(yǔ)課的多模態(tài)互動(dòng)分析中，研究發(fā)現(xiàn)教學(xué)活動(dòng)是師生注意的焦點(diǎn)，屬于高一級(jí)行動(dòng)，教師的口語(yǔ)模態(tài)是占據(jù)統(tǒng)治地位的模態(tài)，注視、手勢(shì)和身體姿勢(shì)與口語(yǔ)模態(tài)為協(xié)同關(guān)系，教師宣布活動(dòng)指示和教師的檢查活動(dòng)效果階段屬于高模態(tài)密度活動(dòng)。(3)多模態(tài)互動(dòng)課堂教學(xué)模式研究成為了課堂教學(xué)研究的熱點(diǎn)。劉秀麗等(2013)結(jié)合Norris多模態(tài)互動(dòng)理論，探討了外語(yǔ)教師多模態(tài)話語(yǔ)與學(xué)生學(xué)習(xí)積極性的關(guān)系，研究發(fā)現(xiàn)在師生交流時(shí)，教師在教學(xué)中會(huì)運(yùn)用多種手段(means)將學(xué)生的注意力從一個(gè)高一級(jí)行動(dòng)轉(zhuǎn)為另一個(gè)高一級(jí)行動(dòng)，研究結(jié)果證明多模態(tài)互動(dòng)分析理論有利于幫助發(fā)現(xiàn)課堂教學(xué)中出現(xiàn)的問題，對(duì)增強(qiáng)教學(xué)效果有重要的指導(dǎo)作用?？傊?，該書不僅在理論和應(yīng)用上豐富和發(fā)展了多模態(tài)話語(yǔ)分析研究，還為動(dòng)態(tài)語(yǔ)篇的多模態(tài)話語(yǔ)分析的研究提供了新的視角，也拓展了多模態(tài)互動(dòng)分析理論研究的范圍。因此，該書對(duì)多模態(tài)話語(yǔ)分析理論的完善和發(fā)展具有重要意義。

4．啟示

Norris(2004)提出的多模態(tài)互動(dòng)分析理論受到Scollon(1998，2001)關(guān)于中介話語(yǔ)分析和聯(lián)結(jié)分析的影響，Ron Scollon 認(rèn)為人類行動(dòng)(human action)包括三個(gè)方面的原則，即社會(huì)行動(dòng)(social action)、交流(communication)和歷史(history)，由此Norris提出了行動(dòng)(action)為多模態(tài)互動(dòng)研究的基本單位，這為了解整個(gè)交際事件的發(fā)展過(guò)程奠定了堅(jiān)實(shí)基礎(chǔ)。Norris認(rèn)為，人類互動(dòng)是人類以各種形式的模態(tài)作為“中介的行動(dòng)”(mediated action)，在整個(gè)交際事件中都可以辨認(rèn)出其體現(xiàn)的“行動(dòng)”過(guò)程和階段，通過(guò)對(duì)模態(tài)的注意或意識(shí)程度的切分，人類互動(dòng)的過(guò)程是能夠辨認(rèn)出階段來(lái)的，“高一級(jí)行動(dòng)”描述了整個(gè)交際事件的主要內(nèi)容及其所處的階段，“低一級(jí)行動(dòng)”是構(gòu)成高一級(jí)行動(dòng)的重要部分，在整個(gè)交際事件發(fā)展的各個(gè)階段正是由各種模態(tài)協(xié)同執(zhí)行的一系列前景化高一級(jí)行動(dòng)構(gòu)成的，同一交際事件的其他高一級(jí)行動(dòng)仍然存在于社會(huì)行動(dòng)者的意識(shí)或注意里，只是被“背景化”或“中景化”了。該書中作者不僅介紹了交際事件中模態(tài)的構(gòu)成，還通過(guò)模態(tài)密度區(qū)分了交際主體參與的一系列高一級(jí)行動(dòng)與其體現(xiàn)的意識(shí)或注意程度，交際主體的意識(shí)或注意對(duì)構(gòu)建其他高一級(jí)行動(dòng)具有結(jié)構(gòu)作用，一旦確定了高一級(jí)行動(dòng)，就可以根據(jù)交際主體意識(shí)或注意的變化，進(jìn)一步研究一個(gè)高一級(jí)行動(dòng)是如何影響另一個(gè)高一級(jí)行動(dòng)的。在整個(gè)交際事件中，各個(gè)階段之間的變化存在過(guò)渡，這一部分可使用言語(yǔ)或其他模態(tài)來(lái)實(shí)現(xiàn)。

近20年來(lái)，在人際互動(dòng)中，話語(yǔ)分析已經(jīng)從單純的語(yǔ)言研究擴(kuò)展到包括語(yǔ)言在內(nèi)的多種模態(tài)使用的研究，即多模態(tài)話語(yǔ)分析。Norris多模態(tài)互動(dòng)研究與Kress 與van Leeuwen(2001)的研究不同，認(rèn)為互動(dòng)是通過(guò)“言語(yǔ)”，“空間距離”、“身體姿勢(shì)”、“手部動(dòng)作”、“頭部動(dòng)作”、“眼神”、“音樂”、“印刷物”和“場(chǎng)景布局”這九種主要交流模態(tài)的協(xié)同使用進(jìn)行的，這九種主要交流模態(tài)是多模態(tài)互動(dòng)分析的核心，Norris把這九種交流模態(tài)分為表征模態(tài)(embodied mode)和非表征模態(tài)(disembodied mode)。表征模態(tài)是交際主體在交流過(guò)程中表現(xiàn)出的模態(tài)，如語(yǔ)言、姿勢(shì)、眼神等。非表征模態(tài)是交際主體在交流過(guò)程中沒有表現(xiàn)出的模態(tài)或互動(dòng)交際中的物質(zhì)世界，如場(chǎng)景布局、背景音樂等。這兩種模態(tài)類型的分類體現(xiàn)了在人際互動(dòng)中交際主體和參與者運(yùn)用的各種模態(tài)類型以及這些模態(tài)在構(gòu)建人際互動(dòng)中所起的不同作用。

Norris在書中指出人類的所有互動(dòng)都具有多模態(tài)特征，人類互動(dòng)作為一種社會(huì)行為包括語(yǔ)言使用和其他模態(tài)的使用，同時(shí)需要借助各種模態(tài)作為中介來(lái)進(jìn)行，人類互動(dòng)還是一個(gè)連續(xù)的動(dòng)態(tài)過(guò)程，每一種模態(tài)都是一套符號(hào)系統(tǒng)，表達(dá)其特定意義和潛在意義。在人際互動(dòng)過(guò)程中，根據(jù)模態(tài)使用的程度，Norris還提出了“模態(tài)密度”，“模態(tài)強(qiáng)度”和“模態(tài)復(fù)雜性”等重要概念，這些概念的提出對(duì)多模態(tài)話語(yǔ)研究者了解人際互動(dòng)中模態(tài)的重要性以及模態(tài)之間的關(guān)系有重要意義。Norris認(rèn)為在人類互動(dòng)中言語(yǔ)模態(tài)并不是總起主導(dǎo)作用，人際互動(dòng)體現(xiàn)了辨認(rèn)的類型，每個(gè)類型都有可辨認(rèn)的過(guò)程，過(guò)程的實(shí)現(xiàn)可以通過(guò)模態(tài)的使用來(lái)觀察。同時(shí)每個(gè)模態(tài)都有其起點(diǎn)、持續(xù)階段和結(jié)束階段的發(fā)展過(guò)程，這對(duì)研究互動(dòng)過(guò)程中模態(tài)發(fā)展的整個(gè)過(guò)程有重要的指導(dǎo)意義。從理論上來(lái)看Norris(2004)多模態(tài)互動(dòng)理論拓展了人類互動(dòng)的內(nèi)涵，豐富和發(fā)展了多模態(tài)話語(yǔ)分析理論。

5．不足之處

首先，該書提出了模態(tài)間自下而上即從低一級(jí)行動(dòng)到人際互動(dòng)事件的分析層次，從模態(tài)密度和模態(tài)復(fù)雜性的角度對(duì)模態(tài)的重要性和模態(tài)使用的主次方面進(jìn)行了分析，但是沒有對(duì)各交流模態(tài)在使用過(guò)程中產(chǎn)生的意義進(jìn)行分類。其次該書只涉及到交際主體與參與者在交際事件中各模態(tài)之間的互動(dòng)關(guān)系，沒有考慮到視頻圖像中交際主體與觀看者之間的互動(dòng)關(guān)系。該書選取的研究對(duì)象即視頻錄像涉及的范圍比較窄，主要是圍繞生活中朋友之間、師生之間以及醫(yī)生和患者之間的多模態(tài)話語(yǔ)，沒有對(duì)不同文體風(fēng)格的動(dòng)態(tài)語(yǔ)篇進(jìn)行多模態(tài)互動(dòng)分析，如現(xiàn)場(chǎng)商務(wù)談判和現(xiàn)場(chǎng)演講視頻等，如果能增加不同風(fēng)格的多模態(tài)語(yǔ)篇的分析，論證的主體部分將更具說(shuō)服力。

其次，該書指出了在交際事件中各交流模態(tài)之間相互依賴的關(guān)系，但是沒有明確指出其他的互動(dòng)關(guān)系如強(qiáng)化、弱化等。該書只關(guān)注交際主體在互動(dòng)中產(chǎn)生的情感、觀點(diǎn)和想法，沒有重視各交流模態(tài)的運(yùn)用對(duì)構(gòu)建交際事件所起的社會(huì)意義，同時(shí)還忽視了在互動(dòng)中交流主體所體現(xiàn)的社會(huì)身份。Norris的分析方法主要關(guān)注的是“內(nèi)容層”(content layer)，即攝像機(jī)采集到的人際互動(dòng)的視頻圖像，沒有提出一套詳盡的對(duì)多模態(tài)話語(yǔ)進(jìn)行切分處理的方法。

此外，話語(yǔ)分析往往把語(yǔ)境作為言語(yǔ)發(fā)生的背景，借用語(yǔ)境因素來(lái)解釋各種言語(yǔ)的特點(diǎn)。在多模態(tài)話語(yǔ)研究中，模態(tài)只有通過(guò)根據(jù)所處的語(yǔ)境以及所代表的對(duì)象(實(shí)體、過(guò)程、概念等)才能實(shí)現(xiàn)意義(張佐成，2015：200)。在該書中，Norris雖然談到了語(yǔ)境是語(yǔ)言以外的一切事物(Norris，2009:149)，即語(yǔ)言之外的模態(tài)被當(dāng)作語(yǔ)境，語(yǔ)境和語(yǔ)言模態(tài)共同作用作為表達(dá)意義的資源，背景化的高一級(jí)行動(dòng)實(shí)際上是前景化行動(dòng)的語(yǔ)境，有時(shí)候前景化的行動(dòng)會(huì)轉(zhuǎn)變?yōu)橹芯盎捅尘盎男袆?dòng)，成為新的前景化行動(dòng)的語(yǔ)境，但是卻沒有把語(yǔ)境單獨(dú)列為一個(gè)分析層次來(lái)進(jìn)行研究，沒有突出語(yǔ)境在整個(gè)人際互動(dòng)中所起的重要作用。從研究方法上來(lái)看，該書主要是以定性研究的方法分析多模態(tài)互動(dòng)，Norris認(rèn)為模態(tài)具有不可數(shù)性，這是值得推敲的問題。隨著科技的發(fā)展，ELAN等多模態(tài)分析軟件工具的開發(fā)和使用可以用來(lái)分析交際主體所表現(xiàn)出來(lái)的各種交流模態(tài)，還可以對(duì)視頻文件進(jìn)行多層級(jí)同步標(biāo)注，在以后的研究中我們可以運(yùn)用定性和定量分析相結(jié)合的研究方法，對(duì)多模態(tài)互動(dòng)中的各交流模態(tài)的關(guān)系進(jìn)行更加詳細(xì)和精確的研究分析。

6．結(jié)語(yǔ)

《多模態(tài)互動(dòng)分析》一書語(yǔ)言通俗易懂、結(jié)構(gòu)清晰、內(nèi)容充實(shí)、論證合理。該書是一本研究人際互動(dòng)中多模態(tài)話語(yǔ)分析的實(shí)用指南，同時(shí)對(duì)語(yǔ)言學(xué)，社會(huì)學(xué)、教育學(xué)、人類學(xué)和心理學(xué)等其他學(xué)科在這方面的研究具有重要的指導(dǎo)作用。喬治城大學(xué)Ron Scollon教授在序言中評(píng)價(jià)該書將成為研究人類多模態(tài)互動(dòng)的一本重要的參考書。該書中提出的模態(tài)密度前景——背景連續(xù)體多模態(tài)互動(dòng)分析框架為多模態(tài)話語(yǔ)分析提供了新的視角，對(duì)研究多模態(tài)話語(yǔ)分析提供了新的啟示，特別是對(duì)動(dòng)態(tài)語(yǔ)篇的多模態(tài)互動(dòng)研究提供了堅(jiān)實(shí)的理論基礎(chǔ)。在國(guó)內(nèi)，以Gunther Kress和Van Leeuwen為代表的系統(tǒng)功能多模態(tài)話語(yǔ)分析取得了很多成果，但是以Norris 為代表的多模態(tài)互動(dòng)分析理論的應(yīng)用尚未得到應(yīng)有的重視，筆者希望在以后的研究中能更多地運(yùn)用該理論來(lái)研究多模態(tài)話語(yǔ)和多模態(tài)語(yǔ)篇，以拓展了多模態(tài)互動(dòng)分析理論的研究范圍，并通過(guò)不斷的實(shí)踐來(lái)驗(yàn)證該理論可行性和可發(fā)展性，推動(dòng)多模態(tài)話語(yǔ)研究的發(fā)展。

[1] Jewitt,C.2009.The Routledge Handbook of Multimodal Analysis[M].London and NewYork: Routledge.

[2] Kress, G &T.Van Leeuwen.1996.Reading Images: The Grammar of Visual Design[M] .London: Routledge.

[3] Kress,G &T.Van Leeuwen.2001.Multimodal Discourse: The Modes and Media of Contemporary Communication[M].London: Arnold.

[4]Norris,S.2004.Analyzing Multimodal Interaction: A Methodological Framework[M].NewYork: Routledge.

[5]Norris, S.2007.The micropolitics of personal and ethnicity identity [J].Discourse and Society, (5): 653-674.

[6]Norris,S.2009.Modal density and modal configurations: Multimodal action[A].In C.Jewitt (ed.).The Routledge Handbook of MultimodalAnalysis[C].London: Routledge.

[7] O’Toole, M.1994.The language of Displayed Art[M].London: Leicester University Press.

[8] Scollon, R.1998.Mediated Discourse as Social Interaction[M].London: Longman.

[9] Scollon, R.2001.Mediated Discourse: The Nexus of Practice[M].London: Routledge.

[10] 劉秀麗 張德祿 張宜波.2013.外語(yǔ)教師多模態(tài)話語(yǔ)與學(xué)生學(xué)習(xí)積極性的關(guān)系研究[J].外語(yǔ)電化教學(xué),(5):3-9.

[11] 張佐成等.2015.多模態(tài)即席話語(yǔ)研究[M].世界圖書出版公司.

[12] 張德祿 王正.2016.多模態(tài)互動(dòng)分析框架探索[J].中國(guó)外語(yǔ),(2):54-61.

A NewDevelopment of Multimodal Discourse Analysis—A Reviewon Multimodal Interaction Analysis

With the development of multimodal discourse analysis,the famous linguist Norris wroteMultimodal Interaction Analysisbased on interactional sociolinguistics,mediated discourse and nexus analysis and multimodality.This book applies a qualitative analysis as the main research method and the dynamic video as the research object.By the detailed analysis of the nine communicative modes,namely spoken language,proxemics,posture,gesture,head movement,gaze,music,print and layout,it builds the basic framework of multimodal interaction analysis.This book not only enriches and develops the multimodal discourse analysis theory both theoretically and practically,but also provides a newperspective for the study of dynamic multimodal discourse analysis and expands the scope of the study of multimodal interaction analysis theory.

multimodal discourse analysis;multimodal;interaction

H0

A

2095-4891(2017)01-0085-06

本文系2015年廣州市哲學(xué)社會(huì)科學(xué)發(fā)展“十二五”規(guī)劃課題“基于多模態(tài)話語(yǔ)分析理論的大學(xué)英語(yǔ)微課教學(xué)研究與實(shí)踐(項(xiàng)目編號(hào)：15G76)；2015年廣東高校重大項(xiàng)目：青年創(chuàng)新人才類項(xiàng)目(社科類)課題“基于動(dòng)態(tài)演講視頻的多模態(tài)互動(dòng)機(jī)制研究”(項(xiàng)目編號(hào)：2015WQNCX190) 的階段性研究成果。

管樂，講師，碩士；研究方向：外國(guó)語(yǔ)言學(xué)及應(yīng)用語(yǔ)言學(xué)

通訊地址：510970廣州從化溫泉鎮(zhèn)中山大學(xué)南方學(xué)院國(guó)際學(xué)院