王雯珂

摘?要：TED演講風靡全球，不同領(lǐng)域的新發(fā)現(xiàn)、新思想觸手可及，已然成為最大的網(wǎng)絡(luò)學習社區(qū)之一，其傳播思想的力量不容小覷。然而，之前對于TED的相關(guān)研究大多集中于語言層面，演講中多模態(tài)的運用還未得到足夠的重視。本文以Sigrid Norris的多模態(tài)互動分析為理論框架，分析演講者的交際模態(tài)，低層活動和高層活動的運用，并通過分析模態(tài)密度，展現(xiàn)演講者對同時進行的各項活動的注意程度，探析演講及互動過程中多模態(tài)的運用機制。

關(guān)鍵詞： TED; 科技類; 多模態(tài)互動分析

中圖分類號：H313??????文獻標識碼：A?????文章編號：1672-8122（2020）02-0043-03

一、引?言

近年來，多模態(tài)話語的研究已成為熱點，對多模態(tài)話語研究的各種理論與方法也紛紛出現(xiàn)。如今被廣泛應(yīng)用的多模態(tài)研究途徑可以分為五大類，即社會符號學研究、系統(tǒng)功能語法的多模態(tài)研究、多模態(tài)互動分析、多模態(tài)隱喻研究以及多模態(tài)語料庫研究[1]。作為多模態(tài)的研究視角之一，多模態(tài)互動分析已在學術(shù)界得到較為廣泛的認可，但是國內(nèi)相關(guān)研究卻很少見，只有少數(shù)評價性文章對其進行了簡單介紹[2]。多模態(tài)互動分析以視頻錄像為研究對象，本文嘗試運用多模態(tài)互動分析的研究方法對TED科技類演講中播放量最高的演講視頻進行分析，探討演講過程中多模態(tài)的運用機制。

二、研究對象及研究方法

TED是科技（Technology）、娛樂（Entertainment）和設(shè)計（Design）的縮寫，旨在傳遞新思想，用思想的力量改變世界。本文以TED科技類演講中播放量最高的演講《This is what happens when you reply to spam email》為研究對象。

本文運用多模態(tài)互動分析框架分析James Veitch的演講，探討演講人如何運用多模態(tài)進行互動。Sigrid Norris在2004年的著作《Analyzing Multimodal Interaction： A Methodological Framework》[3]初步構(gòu)建了多模態(tài)互動分析的理論框架。植根于中介話語分析，并結(jié)合互動社會語言學，以及社會符號學，多模態(tài)互動分析包含了大量的方法論工具，可以用來分析任何復雜的人類活動[4]。

手勢、目光等模態(tài)被稱為非語言模態(tài)（Nonverbal mode），而 Norris認為這種表達暗含著它們都是附屬于言語模態(tài)（Verbal mode）的意義，但姿勢、目光等模態(tài)在一定情況下也能在交流中占主導地位[3]。因此，Norris根據(jù)媒介特點，把交流模態(tài)（Communicative modes）分為身體模態(tài)（Embodied mode）和非身體模態(tài)（Disembodied mode）。多模態(tài)互動分析以中介活動（Mediated action）為基本分析單位，把活動分為低層活動（Lower-level action）、高層活動（Higher-level action）和凝固活動（Frozen action）。低層活動是最小意義的分析單位，如一句話，由一種交流模態(tài)完成。高層活動是由一系列的低層活動構(gòu)成的，如一次會議、一篇演講，由多種模態(tài)共同構(gòu)成。凝固活動是指活動發(fā)生的環(huán)境以及環(huán)境中的物體。

高層活動中，模態(tài)強度（Modal intensity）和模態(tài)復雜度（Modal complexity）決定模態(tài)密度（Modal density）。模態(tài)強度越大，模態(tài)密度越高;模態(tài)使用越復雜，模態(tài)密度越高。模態(tài)強度是指一種模態(tài)在互動過程中的重要性或權(quán)重[2]，分為三類：即高模態(tài)強度、中模態(tài)強度和低模態(tài)強度。一種模態(tài)改變或停止，高層活動也隨之改變或停止，即這個模態(tài)承擔高模態(tài)強度。模態(tài)復雜度意味著多種模態(tài)互相作用，任何模態(tài)的改變或停止不會對高層活動產(chǎn)生根本影響。

互動過程中，活動者能同時構(gòu)建多種高層活動，但只能在一種高層活動上集中注意力。因此，Norris提出前景背景連續(xù)體這一概念，描述活動者在同時發(fā)生的多種高層活動上的注意程度。模態(tài)密度與活動者對高層活動的注意程度呈正相關(guān)[2]。模態(tài)密度分為三種，相應(yīng)地，注意程度也分為前景、中景和背景。高層活動的模態(tài)密度高，那么活動者的注意程度處于前景，模態(tài)密度下降，注意程度也會下降。圖1為模態(tài)密度和前景背景連續(xù)體示意圖。

圖1?模態(tài)密度和前景背景連續(xù)體示意圖注意程度的改變由凸顯的低層活動指示出來，Norris把這些指示前景活動轉(zhuǎn)換的低層活動稱為手段（Means）。手段具有兩種功能：語義功能和語用功能。當手段用來幫助活動者組織自身的注意力程度，并標志了前景高層活動的開始與結(jié)束，那么手段承擔了語義功能。當手段幫助其他參與者發(fā)覺出前景高層活動的轉(zhuǎn)換，此時手段承擔了語用功能。本文運用多模態(tài)互動分析中的低層活動與高層活動、模態(tài)密度和前景背景連續(xù)體以及手段來展示在演講中多模態(tài)的運行機制。

三、TED演講視頻的多模態(tài)互動分析

（一） 低層活動和高層活動

James Veitch在TED發(fā)表《This is what happens when you reply to spam email》為主題的演講，他花費三年的時間回復垃圾郵件，James Veitch 便分享了他在這個過程中和名叫Solomon Odonkoh和Wennie Mandela兩個詐騙犯的郵件往來。

圖2?四種同時進行的高層活動圖2展示了同時進行的四種高層活動，第一行的第一個圖是James講述曾收到的一封垃圾郵件，第二幅圖中，James站姿稍傾斜，左腳向后，說到這封郵件能成功通過垃圾郵件過濾器時，右手在空中劃了三圈以表示“通過”這個動作，之后把手收回身前，同時左腿向外打開。第四幅圖中，James表示他也不能確定這封垃圾郵件是如何能夠做到避開過濾器的，他雙手打開在空中擺動表示疑惑。接著他收回手，并抬高右手強調(diào)這封垃圾郵件確實出現(xiàn)在他的郵箱中，在表示“出現(xiàn)”時，右手在空中進行了向下拍打的動作。隨后把手收回腰間，手肘彎曲，手掌放在腰間，說出這封郵件是來自一個叫做Solomon Odonkoh的人，這時James并沒有繼續(xù)講話，同時嘴唇向下撇并向外撅，表示對郵件人的名字感到驚訝，并保持了一秒鐘，在等觀眾的反應(yīng)。之后自己接著說“I know”，仿佛了解觀眾發(fā)笑的原因。之后，James把手放下去，低頭看向左手中拿的多媒體播放器，按下控制器，抬起頭，左手抬高至胸前，并向觀眾讀出多媒體播放器上的內(nèi)容。

在這12張圖中，演講者James運用到的低層活動包含每一句話、每一個手勢、每一種姿勢，如身體的傾斜、腿部的移動和目光的轉(zhuǎn)移，這些低層活動共同構(gòu)成了高層活動。在這幅圖組中，演講者同時進行了四種高層活動：演講、與觀眾互動、展示多媒體，與進行TED演講的錄制，這四種高層活動也包含著許多低層活動鏈。

（二） 模態(tài)密度和前景背景連續(xù)體

演講、與觀眾互動、展示多媒體與錄制演講這四個高層活動是同時進行的，但是活動者一次只能完全集中在一個高層活動上，通過分析模態(tài)密度可以發(fā)現(xiàn)演講者對四種高層活動的注意程度。在演講這一高層活動中，演講者雖然使用了多種模態(tài)，例如，雙手打開、目光直視觀眾，以及姿勢的變換，但是這一高層活動卻承擔著高模態(tài)強度，這是因言語模態(tài)起到了關(guān)鍵性作用，言語模態(tài)一旦停止，演講這一高層活動也會隨之停止，因此演講這一高層活動具有高模態(tài)密度，演講者需要完全集中注意于語言的表達，是前景化高層活動。

與觀眾互動這一高層活動只是在演講停頓間隙完成的，演講者在說完垃圾郵件發(fā)件人的名字后，停頓了一秒鐘沒有講話，等待觀眾的反應(yīng)，又對觀眾的反應(yīng)做出肯定，說出“I know”。這些不同模態(tài)的低層活動共同構(gòu)成高層活動，其中并沒有任何模態(tài)改變或停止后會影響到高層活動。同時，與觀眾互動只是在演講中間發(fā)生的，James只是分散出一些注意力與觀眾互動，但并未把全部的注意力集中在這上面，演講仍然占據(jù)他最多注意力。因此與觀眾互動這一高層活動的模態(tài)密度是由模態(tài)復雜度完成，并且具有中模態(tài)密度，處于演講者注意程度的中景。

展示多媒體這一高層活動則具有高模態(tài)密度，且由高模態(tài)強度和高模態(tài)復雜度共同構(gòu)成。首先，在這一高層活動中，物質(zhì)世界中的多媒體播放器承擔了高模態(tài)強度，如果多媒體播放器停止使用，那么就無法再向觀眾進行展示。其次，在此高層活動中，多種模態(tài)相互作用，模態(tài)使用較為復雜，為播放多媒體，James手握播放器，并按下，隨之演講者把頭抬起看向播放屏幕，同時用言語模態(tài)念出播放器上的文字。在此高層活動中，演講者的注意力集中在播放多媒體上，對演講的注意力稍微降低，因此展示多媒體是前景化高層活動。

進行演講的錄制這一高層活動是從James演講開始直到演講結(jié)束一直在進行的，演講者進行演講時能意識到錄影，這一高層活動在他整個演講過程中也會存在于他的意識中，但他并未過多地關(guān)注這一件事，因此，演講的錄制這一高層活動具有較低的模態(tài)密度，是背景化高層活動。

（三）手段

在四種同時進行的高層活動中，有兩個都是前景化高層活動。演講者組織自己的前景化活動的轉(zhuǎn)變，以及參與者能夠意識到這個轉(zhuǎn)變都是通過手段實現(xiàn)的。

圖3?前景化高層活動的轉(zhuǎn)變?nèi)鐖D2中第三行第三幅圖，演講者通過按下手中控制器這一手段，前景化高層活動從演講轉(zhuǎn)變到展示多媒體。演講者運用這一手段組織自己前景化高層活動轉(zhuǎn)變，而且示意觀眾前景化高層活動的改變。又如圖3中第二行圖片，觀眾目光原本都集中在演講者身上，他們的前景化高層活動就是在認真聽演講，但是演講者通過手段轉(zhuǎn)變了前景化高層活動，相應(yīng)地，觀眾都抬起頭，看向多媒體播放器。

四、結(jié)?語

運用Norris的多模態(tài)互動分析框架，本文對TED科技類演講中播放量最高的James Veitch的《This is what happens when you reply to spam email》演講從低層活動和高層活動，模態(tài)密度和前景背景連續(xù)體，以及手段三個方面進行分析。James頻繁使用了言語、手勢、目光，姿勢以及外部環(huán)境中的多媒體，這些低層活動組合鏈又構(gòu)成了演講、與觀眾互動、展示多媒體與錄制TED演講這四種高層活動。其中，演講和與觀眾互動模態(tài)密度高，是前景化高層活動，兩個前景化高層活動通過演講者按下多媒體控制器進行轉(zhuǎn)變。通過多模態(tài)互動分析，在演講過程中，演講者對多種模態(tài)的協(xié)調(diào)運用可以清晰地呈現(xiàn)出來。本文是多模態(tài)互動分析運用于演講視頻的一次嘗試，同時也期望能夠?qū)ρ葜v者提供一定的幫助。

參考文獻：

[1]?馮德正， 張德祿， Kay O'Halloran.多模態(tài)語篇分析的進展與前沿[J].當代語言學， 2014， 16（1）： 88-99.

[2]?張德祿， 王正. 多模態(tài)互動分析框架探索[J].中國外語，2016，13（2）：54-61.

[3]?Norris Sigrid.Analyzing Multimodal Interaction：A Methodological Framework[M].London：Routledge，2004.

[4]?Norris Sigrid and Jesse Pirini.Communicating knowledge，getting attention，and negotiating disagreement via videoconferencing technology：A multimodal analysis[J].Journal of Organizational Knowledge Communication，2017，3（1）：23–48.

[責任編輯：楊楚珺]