〔關(guān)鍵詞〕 Ted 教育類演講視頻;多模態(tài)互動(dòng);交流模態(tài);ELAN

隨著現(xiàn)代傳播技術(shù)的發(fā)展，多模態(tài)話語(yǔ)沖擊了傳統(tǒng)上文字在交際領(lǐng)域中的中心地位。在許多情況下，語(yǔ)言與其它符號(hào)模態(tài)資源一起構(gòu)建意義，共同為交際服務(wù)。Kress amp; van Leeuwen 指出多模態(tài)語(yǔ)篇是任何一類通過一種以上符號(hào)編碼實(shí)現(xiàn)意義的語(yǔ)篇[1]。與Kress amp; van Leeuwen 的研究不同，Norris 的多模態(tài)互動(dòng)分析側(cè)重于動(dòng)態(tài)的多模態(tài)話語(yǔ)，認(rèn)為互動(dòng)是通過言語(yǔ)（spoken language）、空間距離（proxemics）、身體姿勢(shì)（posture）、手勢(shì)（gesture）、頭部動(dòng)作（head movement）、眼神（gaze）、場(chǎng)景布局（layout）、音樂（music）及印刷品（print）交流模態(tài)的相互協(xié)同使用而完成的[2]24。作為一種有準(zhǔn)備的、即席性的話語(yǔ)類型，演講視頻不僅包括了言語(yǔ)模態(tài)的使用，還綜合了演講者音韻、手勢(shì)、頭部動(dòng)作、眼神、臉部表情等模態(tài)協(xié)作的特點(diǎn)，是典型的動(dòng)態(tài)多模態(tài)語(yǔ)篇。本文結(jié)合Norris 提出的模態(tài)密度前景?背景連續(xù)統(tǒng)一體（modal density foregroundbackgroundcontinuum）的分析框架[2]128，探究一則TED 教育類動(dòng)態(tài)多模態(tài)演講視頻在演講問題導(dǎo)入、問題提出、問題分析和問題解決這四個(gè)部分中各交流模態(tài)的分布特征以及各模態(tài)使用的強(qiáng)度和密度。同時(shí)，根據(jù)各交流模態(tài)使用的強(qiáng)度和密度以及交際主體對(duì)交際模態(tài)的注意或意識(shí)程度進(jìn)行切分，并統(tǒng)計(jì)各個(gè)模態(tài)在互動(dòng)協(xié)調(diào)關(guān)系中所占的比例，分析在整個(gè)演講視頻中演講者言語(yǔ)、音韻、手勢(shì)、頭部動(dòng)作、眼神等交流模態(tài)在構(gòu)建演講信息中所起的作用以及這些交流模態(tài)之間的互動(dòng)機(jī)制。

一、研究背景

（一） 多模態(tài)話語(yǔ)分析的新發(fā)展

隨著多模態(tài)話語(yǔ)研究的深入，多模態(tài)話語(yǔ)分析初步形成了以下三種理論方法[3]：第一種是以Gun-ther Kress amp; van Leeuwen 為代表的系統(tǒng)功能多模態(tài)話語(yǔ)分析（systemic functional-multimodal discourseanalysis）[4];第二種是以Norris 為代表的多模態(tài)互動(dòng)分析（ multimodal interactional analysis）[2]; 第三種是Gu 提出的語(yǔ)料庫(kù)語(yǔ)言學(xué)多模態(tài)話語(yǔ)分析[5]，其中系統(tǒng)功能語(yǔ)言學(xué)視角的多模態(tài)話語(yǔ)分析取得了很多豐碩的成果，如O’ Halloran[6]、Baldry amp; Thibault[7]、李戰(zhàn)子[8?9]、胡壯麟[10]、張德祿[11?13]、梁兵和蔣平[14]、國(guó)防[15]、管樂[16] 等。同時(shí)，多模態(tài)語(yǔ)料庫(kù)也受到了研究者的重視。Baldry amp; Thibault 建立的在線多模態(tài)檢索器Multimodal Corpus Authoring （MCA） 等多模態(tài)分析軟件的開發(fā)和使用為多模態(tài)語(yǔ)料庫(kù)的建立和分析奠定了基礎(chǔ)。但是， 以Norris 為代表的多模態(tài)互動(dòng)分析的應(yīng)用尚未得到重視。

（二） 關(guān)于演講的研究綜述

TED 是技術(shù)（ technology）、娛樂（ entertainment）和設(shè)計(jì)（design）三個(gè)英語(yǔ)單詞的縮寫。近幾年來(lái)，以“互聯(lián)網(wǎng)+演講”的TED 演講掀起了演講傳播的熱潮。演講者通過TED 演講平臺(tái)傳遞新思想、新信息、新觀點(diǎn)。作為TED 主題之一的教育類演講一直是最受關(guān)注的演講話題之一。從目前對(duì)演講的研究來(lái)看，Rendle-short[17] 對(duì)演講中肢體語(yǔ)言和語(yǔ)言使用進(jìn)行了研究，并發(fā)現(xiàn)了兩者之間的復(fù)雜關(guān)系，Morton[18] 對(duì)演講體裁進(jìn)行了分析，Tardy[19] 對(duì)演講中使用的PPT 與演講內(nèi)容之間的關(guān)系進(jìn)行了探討。從國(guó)內(nèi)來(lái)看，學(xué)者們主要是從外語(yǔ)教學(xué)和語(yǔ)用學(xué)的角度來(lái)研究演講的，如趙燕飛[20]、李穎[21]、劉森和吳鴻皓[22]、林巖[23] 等。但是從Norris 多模態(tài)互動(dòng)理論的視角，并運(yùn)用定性和定量相結(jié)合的研究方法來(lái)分析演講者在整個(gè)演講視頻中如何使用各種交流模態(tài)來(lái)構(gòu)建演講信息以及各交流模態(tài)之間是如何構(gòu)建多模態(tài)互動(dòng)意義的研究非常少。

二、多模態(tài)互動(dòng)分析理論

以Norris 為代表的多模態(tài)互動(dòng)分析吸收了互動(dòng)社會(huì)學(xué)、中介話語(yǔ)分析、聯(lián)結(jié)分析（nexus analysis）、多模態(tài)話語(yǔ)等方面的研究成果。Norris 指出多模態(tài)互動(dòng)的基本分析單位為“行動(dòng)”（action），行動(dòng)總共分為三個(gè)部分，即低一級(jí)行動(dòng)（low-level action）、高一級(jí)行動(dòng)（high-level action）和冰凍行動(dòng)（frozen action）[2]26。人類互動(dòng)被看作是一個(gè)交際事件，整個(gè)交際事件可以分成若干個(gè)階段，各階段都由一系列高一級(jí)行動(dòng)構(gòu)成，而每一個(gè)高一級(jí)行動(dòng)由一系列低一級(jí)行動(dòng)構(gòu)成，低一級(jí)行動(dòng)和高一級(jí)行動(dòng)在互動(dòng)中被連貫地建構(gòu)起來(lái);冰凍行動(dòng)屬于高一級(jí)行動(dòng)，屬于未出現(xiàn)的行為動(dòng)作的模態(tài)。

（一） 交流模態(tài)（communicative modes）

Norris 指出人際互動(dòng)包括九種交流模態(tài)：言語(yǔ)、空間距離、身體姿勢(shì)、手勢(shì)、頭部動(dòng)作、眼神、場(chǎng)景布局、音樂和印刷品。交流模態(tài)是具有規(guī)律和規(guī)則的意義表達(dá)體系或符號(hào)體系[24]81，以上九種交流模態(tài)在人際互動(dòng)中起著重要作用。Norris 將場(chǎng)景布局、音樂和印刷品三種交流模態(tài)稱為非實(shí)體（disembodied）模態(tài)[2]12。由于在本文選取的語(yǔ)料中這三種交流模態(tài)的體現(xiàn)不明顯，因此這三種交流模態(tài)在此不再贅述。

1.言語(yǔ)

言語(yǔ)交流模態(tài)是指交流者在互動(dòng)過程中使用的話語(yǔ)。其中，語(yǔ)調(diào)單位是語(yǔ)言模態(tài)的基本單位，也是構(gòu)成多模態(tài)互動(dòng)的“低一級(jí)行動(dòng)”，言語(yǔ)模態(tài)被認(rèn)為是交流者表達(dá)思想和傳遞信息的主要模態(tài)，在交流中交際主體和參與者的聲音所表現(xiàn)出的不同語(yǔ)調(diào)都具有互動(dòng)意義[2]17。

2.空間距離

空間距離交流模態(tài)是指?jìng)€(gè)人與其他人以及物體之間的空間距離[2]19。在交流過程中，由于文化背景和個(gè)人喜好不同，個(gè)人與其他人以及物體之間保持的空間距離也有所不同。Hall 把空間距離分為親密距離、個(gè)人距離、社會(huì)距離和公眾距離，可通過調(diào)查保持的距離來(lái)分析互動(dòng)中參與者體現(xiàn)的親密度和正式程度[2]20。一般情況下，近距離表示親近，遠(yuǎn)距離表示正式。

3.身體姿勢(shì)

身體姿勢(shì)交流模態(tài)是指在特定的交際過程中，參與者保持的身體姿勢(shì)[2]24。身體姿勢(shì)主要包括兩個(gè)方面，一是身體的位置，根據(jù)身體位置的方向可分為開放式（open）或封閉式（closed）姿勢(shì)，如果張開雙臂，體現(xiàn)的是一種開放式姿勢(shì)，如果雙臂交叉，雙腿交叉體現(xiàn)的是一種封閉式姿勢(shì);二是個(gè)人身體朝向他人的方向，各種姿勢(shì)都各自表達(dá)不同的信息和互動(dòng)意義。

4.手勢(shì)

手勢(shì)交流模態(tài)分為四種類型[2]28。圖畫型手勢(shì)（iconic gestures）是指模仿口頭表達(dá)的內(nèi)容或描述特定的物體或事件，使其更加生動(dòng)。隱喻型手勢(shì)（metaphoricgestures）是指體現(xiàn)那些“看不見”的東西，屬于抽象的觀點(diǎn)或范疇，通過手勢(shì)運(yùn)動(dòng)描述比喻性物體的形態(tài)和形狀。指示性手勢(shì)（deictic gestures）是指向物質(zhì)世界中的人或物體，也可以指過去或?qū)?lái)發(fā)生的事件或真實(shí)存在的概念和觀點(diǎn)。節(jié)奏型手勢(shì)（beatgestures）像音樂中的節(jié)拍一樣，指手上下或來(lái)回打的節(jié)拍。手勢(shì)是一種綜合性的模態(tài)，伴隨言語(yǔ)發(fā)生的手勢(shì)通常起強(qiáng)調(diào)作用或使描述事物更加客觀化和形象化。

5.頭部動(dòng)作

頭部動(dòng)作交流模態(tài)是指在交流中頭部的移動(dòng)，簡(jiǎn)單的頭部動(dòng)作包括點(diǎn)頭、搖頭或側(cè)面運(yùn)動(dòng)。根據(jù)在交際中的不同意義，Norris 把頭部動(dòng)作分為四種類型[2]45，即方向轉(zhuǎn)變（directional shift）、有節(jié)奏地點(diǎn)頭（head beats）、姿勢(shì)移動(dòng)（postural shifts）和眼神移動(dòng)（gaze shift）。

6.眼神

眼神交流模態(tài)是指目光的組織、方向和強(qiáng)度，在交流中，根據(jù)人們參與活動(dòng)情況，參與者的眼神交流可以起著重要或次要的作用[2]49。

Norris 認(rèn)為以上交流模態(tài)并不是完全孤立存在的，每一個(gè)交流模態(tài)與其他模態(tài)聯(lián)系在一起，彼此之間相互依存、相互作用。交流模態(tài)包含的意義潛勢(shì)（ meaning potential）主要由互動(dòng)情境或環(huán)境所決定[2]52。

（二） 模態(tài)布局和模態(tài)密度

關(guān)于模態(tài)之間的互動(dòng)，Norris 提出了“模態(tài)布局”（modal configuration）和“模態(tài)密度”（modal density）兩個(gè)重要概念[2]125。模態(tài)布局是指在構(gòu)建高一層行動(dòng)中起作用的各個(gè)模態(tài)間的層級(jí)關(guān)系或重要程度。模態(tài)密度是多模態(tài)互動(dòng)研究的關(guān)鍵內(nèi)容，指的是高一層級(jí)行為通過模態(tài)強(qiáng)度（modal intensity）和模態(tài)復(fù)雜性（modal complexity）得以實(shí)現(xiàn)[24]82。模態(tài)強(qiáng)度是指某個(gè)或某些模態(tài)在構(gòu)建一個(gè)行為中的重要性，模態(tài)強(qiáng)度與社會(huì)行為者的“注意”（attention）和“意識(shí)”（awareness）之間有密切關(guān)系， 如高模態(tài)強(qiáng)度相當(dāng)于互動(dòng)注意或意識(shí)（interactional attention/awareness）的高一級(jí)行動(dòng)。根據(jù)在構(gòu)建“高一級(jí)行動(dòng)”中所起的作用，模態(tài)強(qiáng)度包括高模態(tài)強(qiáng)度（highmodal intensity）、中模態(tài)強(qiáng)度（medium modal intensity）和低模態(tài)強(qiáng)度（low modal intensity）三個(gè)部分，任何模態(tài)都能體現(xiàn)高模態(tài)強(qiáng)度，有時(shí)多種模態(tài)相結(jié)合也能體現(xiàn)高模態(tài)強(qiáng)度，模態(tài)強(qiáng)度越高，模態(tài)密度就越大。在構(gòu)建交際活動(dòng)中，“社會(huì)行動(dòng)者”（social actor） 所進(jìn)行的高層活動(dòng)可能多于三種，因此Norris 指出多種同時(shí)進(jìn)行的高層活動(dòng)可運(yùn)用“模態(tài)密度前景?背景連續(xù)統(tǒng)一體”來(lái)描述[25]，高層活動(dòng)的模態(tài)密度與行動(dòng)者對(duì)活動(dòng)的注意（attention）程度呈正態(tài)分布。使用模態(tài)密度高，最受行動(dòng)者注意的是前景化行動(dòng);反之使用模態(tài)密度低，最不受行動(dòng)者注意的是背景化行動(dòng);處于中間的是中景化行動(dòng)。交際活動(dòng)中模態(tài)復(fù)雜性是指“社會(huì)行動(dòng)者” 構(gòu)建行為時(shí)所使用的模態(tài)數(shù)量，如果共同完成一種交際活動(dòng)所涉及的模態(tài)數(shù)量越多，那么這種交際活動(dòng)的模態(tài)復(fù)雜性就越強(qiáng)[26]，屬于高復(fù)雜度的高層活動(dòng)。

三、研究方法

（一） 語(yǔ)料

本文的語(yǔ)料選自心理學(xué)家Angela Lee Duckworth在TED 大會(huì)上一次題為“毅力是激情和堅(jiān)持的力量”的演講，其主題屬于教育類演講。根據(jù)TED 官網(wǎng)的統(tǒng)計(jì)，該視頻截至2021 年4 月3 日，其點(diǎn)擊率超過了2 300 萬(wàn)次①，整個(gè)演講持續(xù)的時(shí)間雖然只有5 分39 秒，但是演講主題突出、邏輯清晰、內(nèi)容新穎，深受觀眾的喜愛。Duckworth 指出她和她的研究團(tuán)隊(duì)通過大量的研究發(fā)現(xiàn)I.Q.的高低并不是獲得成功的秘密，毅力才是取得成功、實(shí)現(xiàn)目標(biāo)和發(fā)揮激情的力量。最后她告訴觀眾培養(yǎng)毅力最好的方法是培養(yǎng)成長(zhǎng)性思維模式。Norris 指出人類互動(dòng)具有目的性，而目的的實(shí)現(xiàn)存在階段性[2]110，因此根據(jù)演講體裁的階段性和張德祿[11]28 提出的動(dòng)態(tài)多模態(tài)語(yǔ)篇切分的三個(gè)標(biāo)準(zhǔn)，筆者將此演講語(yǔ)料分為演講問題導(dǎo)入、問題提出、問題分析和問題解決共四個(gè)部分，語(yǔ)料特征見表1。

（二） 語(yǔ)料處理

根據(jù)Norris 提出的交流模態(tài)[2]，運(yùn)用多模態(tài)話語(yǔ)標(biāo)注軟件ELAN 進(jìn)行標(biāo)注。為了方便標(biāo)注，筆者參照王立非、文艷[27] 的附碼體系指定附碼表（見表2）。一共分為八個(gè)層面（圖1）：體裁結(jié)構(gòu)、言語(yǔ)、手勢(shì)、頭部動(dòng)作、臉部表情、眼神、身體姿勢(shì)和音韻。圖1 是使用ELAN 對(duì)整個(gè)演講視頻進(jìn)行標(biāo)注截屏，視圖的左邊是分層區(qū)，右邊可以對(duì)演講者的言語(yǔ)進(jìn)行轉(zhuǎn)寫并對(duì)各個(gè)不同層級(jí)（交流模態(tài)）進(jìn)行標(biāo)注。具體附碼如下：

音韻交流模態(tài)包括語(yǔ)調(diào)下降[PIF]、語(yǔ)調(diào)上升[PIR]、語(yǔ)調(diào)先升調(diào)再降調(diào)[PIRF] 以及語(yǔ)調(diào)為重讀[PIS];手勢(shì)交流模態(tài)包括圖畫型手勢(shì)[HNI]、隱喻型手勢(shì)[HNM]、指示性手勢(shì)[HNDe] 和節(jié)奏型手勢(shì)[HNB];頭部動(dòng)作包括頭部向上仰[HDU]、低頭[HDD]、點(diǎn)頭[HDN] 和頭左右移動(dòng)[HDMA];面部表情分為面部微笑[FFS] 和面部嚴(yán)肅[FFSe];眼神包括直視觀眾的眼神[EGA] 和環(huán)視四周[EGAr];身體姿勢(shì)主要包括開放式姿勢(shì)[POO] 和封閉式姿勢(shì)[POC]。

（三） 研究問題

（1）在該演講視頻的問題導(dǎo)入、問題提出、問題分析和問題解決這四個(gè)部分中，言語(yǔ)、手勢(shì)、頭部動(dòng)作、臉部表情、眼神、身體姿勢(shì)和音韻這七種交流模態(tài)在構(gòu)建演講交際活動(dòng)中所起的作用以及這些交流模態(tài)之間是如何互動(dòng)的？

（2）在該演講視頻的問題導(dǎo)入、問題提出、問題分析和問題解決這四個(gè)部分中，各交流模態(tài)使用的強(qiáng)度和密度的差異是什么？

四、語(yǔ)料分析

根據(jù)表3 的數(shù)據(jù)，在整個(gè)動(dòng)態(tài)演講視頻中，音韻交流模態(tài)持續(xù)的標(biāo)注時(shí)長(zhǎng)最長(zhǎng)，所占標(biāo)注時(shí)長(zhǎng)百分比最多，達(dá)到85.27%，其次是身體姿勢(shì)交流模態(tài)，占標(biāo)注時(shí)長(zhǎng)百分比達(dá)75.63%，眼神交流模態(tài)占標(biāo)注時(shí)長(zhǎng)百分比達(dá)71.2%，可見在演講中，演講者的音韻、身體姿勢(shì)和眼神交流模態(tài)在演講中起著重要作用。下面根據(jù)ELAN 對(duì)該演講視頻四個(gè)部分標(biāo)注的數(shù)據(jù)（表4），分別對(duì)演講視頻四個(gè)部分中各交流模態(tài)之間的互動(dòng)關(guān)系以及模態(tài)使用強(qiáng)度和密度進(jìn)行分析。

（一） 演講視頻的問題導(dǎo)入部分交流模態(tài)之間的互動(dòng)關(guān)系

演講視頻的問題導(dǎo)入部分持續(xù)時(shí)長(zhǎng)1 min 4 s，演講者主要構(gòu)建了兩個(gè)“高一級(jí)行動(dòng)”：一是闡述了自己的職業(yè)身份;二是導(dǎo)入演講問題即指出智商并不是最好和最差的學(xué)生之間的差異。在這兩個(gè)高一級(jí)的行動(dòng)中，演講的問題導(dǎo)入一直是演講者和觀眾關(guān)注的焦點(diǎn)，所運(yùn)用的模態(tài)數(shù)量最多，模態(tài)密度最大，模態(tài)復(fù)雜性最強(qiáng)，屬于前景化高層行動(dòng)。

通過ELAN 多模態(tài)軟件的標(biāo)注（表4），在演講的問題導(dǎo)入部分，眼神交流模態(tài)和音韻交流模態(tài)的標(biāo)注時(shí)長(zhǎng)百分比分別為56% 和55.8%，可見在構(gòu)建問題導(dǎo)入部分的兩個(gè)“高一級(jí)行動(dòng)”中，眼神交流模態(tài)和音韻交流模態(tài)體現(xiàn)了高模態(tài)強(qiáng)度，臉部表情的標(biāo)注時(shí)長(zhǎng)百分比最少（31.1%），屬于低模態(tài)強(qiáng)度。以下是演講的問題導(dǎo)入部分言語(yǔ)模態(tài)與其他交流模態(tài)的例證（見表5）。

在演講視頻的開頭，首先演講者面帶微笑的表情[FFS] 和開放式身體姿勢(shì)[POO] 在演講的一開始就營(yíng)造出了一種和諧的氛圍，拉近了與觀眾的距離，增進(jìn)了親近感。同時(shí)，演講者使用了降調(diào)[PIF] 和重讀[PIS] 的音韻交流模態(tài)強(qiáng)化突出了她的職業(yè)身份“teaching”，并使用環(huán)視四周的眼神模態(tài)[EGAr]和點(diǎn)頭的交流模態(tài)[HDN] 非常自信地講述了她選擇了一份“more demanding”的工作，即教學(xué)工作。可見，言語(yǔ)模態(tài)、環(huán)視四周的眼神交流模態(tài)和重讀的音韻交流模態(tài)對(duì)前景化高層行動(dòng)即演講者職業(yè)身份的闡述起突出和強(qiáng)調(diào)作用。

然后演講者在運(yùn)用言語(yǔ)模態(tài)的同時(shí)，其面部表情表現(xiàn)得比較嚴(yán)肅[FFSe]，從表4 的數(shù)據(jù)來(lái)看，這一部分持續(xù)的時(shí)間最長(zhǎng)，長(zhǎng)達(dá)23 s，占標(biāo)注時(shí)長(zhǎng)的22.4%，同時(shí)還使用了節(jié)奏型手勢(shì)（HNB）和重讀[PIS] 的音韻交流模態(tài)來(lái)強(qiáng)調(diào)她在教學(xué)中發(fā)現(xiàn)的令人震驚的問題：I.Q. was not the only difference betweenmy best and my worst students。此時(shí)演講者的姿勢(shì)由開放式變?yōu)榉忾]式姿勢(shì)[POC]，兩手交叉放在胸前，體現(xiàn)出該問題的嚴(yán)肅性和客觀性，面部嚴(yán)肅的表情和節(jié)奏型手勢(shì)以及封閉式姿勢(shì)的使用加強(qiáng)了言語(yǔ)表達(dá)的意義，強(qiáng)化并突出了演講導(dǎo)入的問題，吸引了觀眾的注意。與此同時(shí)，演講者還使用了環(huán)視四周的眼神模態(tài)[EGAr] 和頭左右移動(dòng)的交流模態(tài)[HDMA] 環(huán)顧在場(chǎng)的觀眾，提出了I.Q.的高低并不是最好的和最差的學(xué)生之間唯一的差別，這個(gè)問題很快誘發(fā)了在場(chǎng)觀眾的思考和關(guān)注。

最后，在演講視頻的問題導(dǎo)入部分，演講者運(yùn)用圖畫型手勢(shì)[HNI] 和封閉性身體姿勢(shì)[POC] 配合言語(yǔ)表達(dá)了“I was firmly convinced that every one ofmy students could learn the material if they workedhard and long enough”，并通過嚴(yán)肅的面部表情[FFSe]和重讀[PIS] 的音韻交流模態(tài) “I was firmly convinced”強(qiáng)調(diào)了演講者作為教師對(duì)每一位學(xué)生都可以學(xué)會(huì)教材內(nèi)容充滿了信心。與此同時(shí)，演講者環(huán)視四周的眼神模態(tài)轉(zhuǎn)變?yōu)橹币曈^眾的眼神交流模態(tài)[EGA]，對(duì)觀眾的注意力起組織引導(dǎo)作用?？梢姡谘葜v視頻的問題導(dǎo)入部分，高模態(tài)強(qiáng)度的言語(yǔ)和音韻和眼神交流模態(tài)與手勢(shì)、頭部動(dòng)作、臉部表情、身體姿勢(shì)交流模態(tài)呈強(qiáng)化關(guān)系，突出了演講者的職業(yè)身份，強(qiáng)化了她在教學(xué)中發(fā)現(xiàn)的令人震驚的問題，強(qiáng)調(diào)了教師對(duì)每一位學(xué)生充滿信心的重要性，為后面問題的發(fā)現(xiàn)部分奠定了基礎(chǔ)。

（二） 演講視頻的問題提出部分交流模態(tài)之間的互動(dòng)關(guān)系

演講視頻的問題提出部分持續(xù)時(shí)長(zhǎng)1 min 27 s。從多模態(tài)軟件ELAN 的標(biāo)注來(lái)看，演講者主要構(gòu)建了一個(gè)“高一級(jí)行動(dòng)”，即“誰(shuí)是成功者？為什么他們會(huì)成功”的研究問題。該高一級(jí)行動(dòng)使用的模態(tài)數(shù)量最多，模態(tài)密度最大，最受觀眾注意，屬于前景化行動(dòng)，該部分演講者使用的句式整齊，以排比句為主，使演講的言語(yǔ)表達(dá)更富有感召力和表現(xiàn)力。下面就演講問題提出部分所使用的各交流模態(tài)之間的互動(dòng)關(guān)系進(jìn)行分析。

通過ELAN 多模態(tài)軟件的標(biāo)注（表4），在演講的問題提出部分，音韻交流模態(tài)標(biāo)注時(shí)長(zhǎng)的百分比最多，達(dá)到83.45%，體現(xiàn)了高模態(tài)強(qiáng)度。以下是演講的問題提出部分言語(yǔ)模態(tài)與其他交流模態(tài)的例證（見表6）。

在演講視頻的問題提出部分，首先演講者面部嚴(yán)肅地[FFSe] 運(yùn)用言語(yǔ)模態(tài)總結(jié)了經(jīng)過幾年教學(xué)之后所得出的一個(gè)結(jié)論，“What we need in education isa much better understanding of students and learningfrom a motivational perspective， from a psychologicalperspective”，其音韻以降調(diào)為主[PIF]。同時(shí)演講者將右手做成圖畫型手勢(shì)[HNI] 在胸前來(lái)回移動(dòng)，加之點(diǎn)頭的交流模態(tài)[[HDN] 生動(dòng)詳細(xì)地描述了學(xué)習(xí)動(dòng)力和心理學(xué)角度的抽象意義，為了保證所有的觀眾都能參與到問題中來(lái)，演講者還同時(shí)使用了環(huán)視四周的眼神模態(tài)[EGAr]，眼睛掃視全場(chǎng)，抓住了觀眾的注意力和吸引力。

接著，演講者面帶微笑地[FFS] 通過言語(yǔ)模態(tài)提出了她和她的團(tuán)隊(duì)所研究的問題：“ I startedstudying kids and adults in all kinds of super challengingsettings， and in every study my question was whois successful here and why.”在敘述經(jīng)歷的時(shí)候，大部分句子以第一人稱“we”開頭，使用的句式整齊，以排比句為主，同時(shí)指示性手勢(shì)[HNDe] 和頭左右移動(dòng)的交流模態(tài)[HDMA] 更能體現(xiàn)演講者和她的團(tuán)隊(duì)調(diào)研的真實(shí)性，更具有說(shuō)服力。與此同時(shí)，演講者直視觀眾的眼神交流模態(tài)[EGA] 和開放式姿勢(shì)[POO] 使演講更富有感召力和表現(xiàn)力。

在演講視頻的問題提出部分，演講者還重點(diǎn)運(yùn)用言語(yǔ)模態(tài)和一連串的指示性手勢(shì)模態(tài)[HNDe] 描述了她和研究團(tuán)隊(duì)在“West Point Military Academy”，“National Spelling Bee”以及對(duì)“rookie teachers”和“private companies”調(diào)研的真實(shí)經(jīng)歷和過程，描述十分形象具體，同時(shí)在談到所研究的關(guān)鍵問題即“ rookie teachers working in really tough neighborhoods，asking which teachers are still going to be herein teaching by the end of the school year”， 以及“whichof these salespeople is going to keep their jobs inprivate companies”的時(shí)候，演講者將左手和右手握拳（封閉式姿勢(shì)），眼神環(huán)視四周，面部表情由微笑轉(zhuǎn)為嚴(yán)肅，突出了該調(diào)研過程中的嚴(yán)肅性，引起了觀眾的注意與思考。從ELAN 多模態(tài)分析軟件的統(tǒng)計(jì)數(shù)據(jù)來(lái)看（表4），演講問題的提出部分，演講者的音韻模態(tài)主要以敘述內(nèi)容的降調(diào)為主，長(zhǎng)達(dá)67 s，占標(biāo)注時(shí)長(zhǎng)的66.6%，降調(diào)音韻的使用使觀眾更容易地接受新信息?？梢?，在演講視頻的問題提出部分，高強(qiáng)度的言語(yǔ)和音韻交流模態(tài)與手勢(shì)、頭部動(dòng)作、臉部表情、眼神、身體姿勢(shì)交流模態(tài)相互協(xié)同，呈現(xiàn)互補(bǔ)關(guān)系，共同完成了演講者和她的團(tuán)隊(duì)研究問題以及調(diào)研的意義構(gòu)建，為交際服務(wù)。

（三） 演講視頻的問題分析部分交流模態(tài)之間的互動(dòng)關(guān)系

演講視頻的問題分析部分持續(xù)時(shí)長(zhǎng)1 min 31 s。演講者指出預(yù)示成功的特征不是很高的I.Q.而是毅力。在構(gòu)建“問題分析”這一“高一級(jí)行動(dòng)”中，演講者使用的模態(tài)數(shù)量最多，模態(tài)密度最大，屬于前景化高層行動(dòng)，該部分中演講者的大部分句子以簡(jiǎn)單句為主，論證充實(shí)，說(shuō)服力強(qiáng)。下面我們就演講問題分析部分所使用的各交流模態(tài)之間的互動(dòng)關(guān)系進(jìn)行分析。

通過ELAN 多模態(tài)軟件的標(biāo)注（表4），在演講的問題分析部分，音韻和臉部表情交流模態(tài)標(biāo)注時(shí)長(zhǎng)的百分比均超過了60%，模態(tài)強(qiáng)度高。以下是演講的問題分析部分言語(yǔ)模態(tài)與其他交流模態(tài)的例證（見表7）。

在演講視頻的問題分析部分，首先演講者眼睛環(huán)顧四周，面部表情嚴(yán)肅，頭部稍低，運(yùn)用帶有降調(diào)的音韻言語(yǔ)模態(tài)分析了研究問題的答案，即“Grit is a significant predictor of success”。演講者指出毅力是對(duì)長(zhǎng)遠(yuǎn)目標(biāo)的激情和堅(jiān)持，毅力把生活當(dāng)成一場(chǎng)馬拉松而不是一場(chǎng)短跑，肯定了毅力在成功的道路上起的重要作用。同時(shí)演講者的兩只手放在胸前，該圖畫型手勢(shì)[HNI] 和封閉式姿勢(shì)[POC] 配合言語(yǔ)模態(tài)將“grit”的內(nèi)涵描述得生動(dòng)具體，感染力強(qiáng)。

接著，演講者的面部表情從嚴(yán)肅轉(zhuǎn)為微笑，面帶微笑地通過言語(yǔ)模態(tài)闡述了針對(duì)上千名初中生毅力情況的問卷調(diào)查結(jié)果，體現(xiàn)了對(duì)該調(diào)查結(jié)果十分滿意。在配合言語(yǔ)模態(tài)“grittier kids were significantlymore likely to graduate”的同時(shí)，演講者還使用了降調(diào)音韻模態(tài)[PIF] 讓觀眾更容易接受調(diào)查的新信息。再者，演講者雙手自然放在胸前，使用了開放性的姿勢(shì)[POO]， 并運(yùn)用指示性手勢(shì)[HNDe] 客觀地描述了有毅力的學(xué)生更容易畢業(yè)的情況，該手勢(shì)模態(tài)增添了意義表達(dá)的真實(shí)性和客觀性。

在演講視頻的問題分析部分，演講者在講到“ the most shocking thing about grit is how little weknow， how little science knows about building it”的時(shí)候，演講者的眼睛環(huán)顧四周[EGAr]，指出了在培養(yǎng)毅力上，科學(xué)對(duì)毅力的理解和認(rèn)識(shí)是非常貧乏的，希望通過眼神的力量能引起觀眾和科學(xué)界對(duì)毅力的重視。同時(shí)，演講者此時(shí)的姿勢(shì)由開放式變?yōu)榉忾]式[POC]，演講者的左手抓住右手，這個(gè)姿勢(shì)傳遞出的信息是希望觀眾重視毅力對(duì)成功的重要作用。從ELAN 的標(biāo)注來(lái)看，演講者先升調(diào)再降調(diào)[PIRF]的標(biāo)注分別達(dá)到2 次，其中演講者先升調(diào)再降調(diào)的標(biāo)注持續(xù)時(shí)間最長(zhǎng)，其標(biāo)注時(shí)長(zhǎng)百分比為24.6%。在談到“the most shocking thing about grit”的時(shí)候演講者用了升調(diào)，后面“how little we know， how littlescience knows about building it”使用了降調(diào)，先升調(diào)再降調(diào)的音韻模態(tài)突出了我們?cè)谂囵B(yǎng)毅力上知之甚少這一最讓演講者震驚的問題，引人深思?？梢?，演講視頻的問題分析部分，高強(qiáng)度的言語(yǔ)、音韻、臉部表情交流模態(tài)和其他非言語(yǔ)模態(tài)互補(bǔ)協(xié)調(diào)，相互補(bǔ)充，演講者分析了研究問題的答案即毅力才是成功的秘訣，取得了最佳的交際效果，共同體現(xiàn)交際意義。

（四） 演講視頻的問題解決部分交流模態(tài)之間的互動(dòng)關(guān)系

演講視頻的問題解決部分持續(xù)時(shí)長(zhǎng)1 min 46 s，演講者主要構(gòu)建了問題解決這一“高一級(jí)行動(dòng)”，即提出了培養(yǎng)毅力最有效的方法是“growth mindset”。該“高一級(jí)行動(dòng)”所運(yùn)用的模態(tài)數(shù)量最多，模態(tài)密度最大，是觀眾注意的焦點(diǎn)，屬于前景化行動(dòng)。下面我們就演講問題解決部分所使用的各交流模態(tài)之間的互動(dòng)關(guān)系進(jìn)行分析。

通過ELAN 多模態(tài)軟件的標(biāo)注（表4），在演講視頻的問題解決部分，手勢(shì)模態(tài)、頭部動(dòng)作、臉部表情、眼神、身體姿勢(shì)和音韻交流模態(tài)的標(biāo)注時(shí)長(zhǎng)的百分比均超過了75%，這六種交流模態(tài)相結(jié)合共同體現(xiàn)了高模態(tài)強(qiáng)度。以下是演講的問題解決部分言語(yǔ)模態(tài)與其他交流模態(tài)的例證（ 見表8）。

在演講視頻的問題解決部分，演講者在講述每天都有家長(zhǎng)和老師來(lái)問她怎樣做才能培養(yǎng)孩子的毅力的時(shí)候，雙手手指張開，放在胸前，即使用了指示性手勢(shì)模態(tài)[HNDe] 和開放性的姿勢(shì)[POO]，表示“I don’t know”，該手勢(shì)模態(tài)與言語(yǔ)模態(tài)表達(dá)的意義重復(fù)，同時(shí)演講者面帶微笑地說(shuō)出了“ I don'tknow”這三個(gè)字，全場(chǎng)觀眾也都笑了起來(lái)，各交流模態(tài)的運(yùn)用調(diào)動(dòng)了全場(chǎng)的氣氛，增添了演講幽默詼諧的氣氛。與此同時(shí)，演講者在描述家長(zhǎng)和老師提出的問題：“How do I build grit in kids？ What do I doto teach kids a solid work ethic， how do I keep themmotivated for the long run？”的時(shí)候使用了升調(diào)，“Idon’t know” 使用了降調(diào)，其音韻模態(tài)主要以先升調(diào)再降調(diào)[PIRF] 為主，描述生動(dòng)，讓觀眾對(duì)如何才能培養(yǎng)孩子毅力的這個(gè)問題更加感到好奇，為后面演講問題的解決做了鋪墊。

然后演講者大拇指和食指合并，運(yùn)用圖畫型手勢(shì)[HNI] 配合言語(yǔ)描述了“ There are many talentedindividuals who simply do not follow through on theircommitments.”，同時(shí)面部表情由微笑轉(zhuǎn)為嚴(yán)肅[FFSe]，其實(shí)有許多才華橫溢的人都無(wú)法堅(jiān)持兌現(xiàn)自己的承諾，面部表情的轉(zhuǎn)變體現(xiàn)了演講者構(gòu)建的不同互動(dòng)意義。接著演講者眼睛環(huán)顧四周[EGAr]，伴隨頭左右移動(dòng)[HDMA] 和身體開放性姿勢(shì)[POO]，闡述了“ Grit is usually unrelated， or even inversely relatedto measure of talent”，同時(shí)“unrelated”使用了升調(diào)和重讀，“measure of talent”使用了降調(diào)，讓在場(chǎng)的觀眾更容易接受調(diào)查數(shù)據(jù)的結(jié)果。

在演講的最后，演講者面部嚴(yán)肅，并抬起右手運(yùn)用指示性手勢(shì)模態(tài)[HNDe] 說(shuō)明了“Growth mindsetis a great idea for building grit”，即成長(zhǎng)型思維模式對(duì)培養(yǎng)毅力大有裨益。接著，演講者運(yùn)用升降調(diào)和重讀音韻模態(tài)說(shuō)出了帶有三個(gè)“need to”的排比句，強(qiáng)有力地說(shuō)明了我們應(yīng)該如何做才能培養(yǎng)毅力，豐富了演講的言語(yǔ)表達(dá)，深化了演講主題。同時(shí)頭左右移動(dòng)[HDMA] 的交流模態(tài)更能增強(qiáng)演講者與觀眾之間的互動(dòng)。最后，演講者運(yùn)用點(diǎn)頭的交流模態(tài)[HDN] 和雙手交叉放在胸前的封閉式姿勢(shì)[POC] 闡述了培養(yǎng)成長(zhǎng)型思維模式的方法是“we need to begritty about getting our kids grittier”，即我們只有自己變得更加有毅力才能讓我們的孩子變得更有毅力才是培養(yǎng)“成長(zhǎng)型思維模式”的最好方法，增強(qiáng)了觀眾對(duì)培養(yǎng)成長(zhǎng)型思維模式的信心，啟發(fā)性強(qiáng)。最后，演講者點(diǎn)頭的交流模態(tài)[HDN] 轉(zhuǎn)變?yōu)轭^左右移動(dòng)的交流模態(tài)[HDMA]，向在座的觀眾表示感謝，結(jié)束了自己的演講?？梢姡谘葜v視頻的問題解決部分，演講者提出了培養(yǎng)毅力最有效的方法，言語(yǔ)模態(tài)與與其他交流模態(tài)相結(jié)合，模態(tài)強(qiáng)度高，呈現(xiàn)并列關(guān)系，使表達(dá)意義更加具體生動(dòng)。

五、研究結(jié)果

通過以上分析，研究發(fā)現(xiàn)演講屬于高復(fù)雜度的高層活動(dòng)，言語(yǔ)交流模態(tài)和音韻交流模態(tài)始終處于高模態(tài)強(qiáng)度。在整個(gè)演講的過程中，演講者使用了言語(yǔ)、音韻、手勢(shì)、頭部動(dòng)作、臉部表情、眼神、身體姿勢(shì)這七種交流模態(tài)。為了取得最佳的演講效果，各交流模態(tài)之間存在互動(dòng)關(guān)系，相互配合，相互協(xié)同，成功達(dá)到了演講的交際目的，共同構(gòu)建了多模態(tài)互動(dòng)意義。

通過以上分析，在演講視頻的四個(gè)部分中各交流模態(tài)使用的強(qiáng)度和密度存在差異。在演講視頻的問題導(dǎo)入部分，演講者身份介紹和問題導(dǎo)入屬于高模態(tài)密度活動(dòng)，處于高模態(tài)強(qiáng)度的言語(yǔ)、音韻和眼神交流模態(tài)與手勢(shì)、頭部動(dòng)作、臉部表情、身體姿勢(shì)交流模態(tài)呈強(qiáng)化關(guān)系，強(qiáng)化了演講的主題，有效地構(gòu)建了演講的導(dǎo)入信息。

在演講視頻的問題提出部分和問題分析部分，演講者的問題提出和問題分析過程屬于高模態(tài)密度活動(dòng)，高模態(tài)強(qiáng)度的言語(yǔ)和音韻交流模態(tài)與手勢(shì)、頭部動(dòng)作、臉部表情、眼神、身體姿勢(shì)交流模態(tài)相互協(xié)同，相互補(bǔ)充，相互依賴，呈現(xiàn)互補(bǔ)關(guān)系，使演講更具有啟發(fā)性和感染力，取得了最佳的交際效果，體現(xiàn)了交際意義。

在演講視頻的問題解決部分，演講的問題解決屬于高模態(tài)密度活動(dòng)，所使用的音韻、眼神、頭部動(dòng)作、身體姿勢(shì)、手勢(shì)和臉部表情交流模態(tài)的標(biāo)注時(shí)長(zhǎng)百分比都在75% 以上，言語(yǔ)、音韻交流模態(tài)和手勢(shì)、頭部動(dòng)作、臉部表情、眼神、身體姿勢(shì)交流模態(tài)相結(jié)合共同體現(xiàn)了高模態(tài)強(qiáng)度，呈現(xiàn)并列關(guān)系，實(shí)現(xiàn)了演講者所要表達(dá)的意義和目的，加深了觀眾對(duì)演講的印象。

六、結(jié)語(yǔ)

文章運(yùn)用Norris 多模態(tài)互動(dòng)分析理論，采用“模態(tài)密度前景?背景連續(xù)統(tǒng)一體（modal density foreground-background continuum）”的分析框架，運(yùn)用多模態(tài)分析軟件ELAN 對(duì)一則TED 教育類演講視頻進(jìn)行了多層級(jí)同步標(biāo)注，分析了交際主體即演講者在演講的問題導(dǎo)入、問題提出、問題分析和問題解決四個(gè)階段所表現(xiàn)出來(lái)的各種交流模態(tài)，并對(duì)各交流模態(tài)的分布特征和各模態(tài)之間的互動(dòng)機(jī)制進(jìn)行了分析。通過綜合運(yùn)用各種交流模態(tài)，演講者在這則TED 教育類演講中，突出了教育中的最新問題，有效地傳播了最新的教育理念，并提出了解決教育問題的方法。多模態(tài)互動(dòng)分析不僅在理論和應(yīng)用上豐富和發(fā)展了多模態(tài)話語(yǔ)分析，還為動(dòng)態(tài)多模態(tài)話語(yǔ)分析的研究提供了新的視角[28] ，希望在以后的研究中能更多地運(yùn)用Norris 多模態(tài)互動(dòng)分析理論來(lái)研究多模態(tài)語(yǔ)篇，以拓展多模態(tài)互動(dòng)分析理論的研究范圍，并通過不斷的實(shí)踐來(lái)驗(yàn)證該理論的可行性和可發(fā)展性，同時(shí)運(yùn)用多模態(tài)標(biāo)注軟件ELAN 對(duì)TED的其他類型的演講進(jìn)行研究，這些都是今后需要進(jìn)一步研究的課題。