張媛軍

摘要本文以視覺(jué)語(yǔ)法和圖文關(guān)系理論為基礎(chǔ)，重點(diǎn)分析了外語(yǔ)微課視頻中作為視覺(jué)模態(tài)的圖像和文本符號(hào)與作為聽覺(jué)模態(tài)的教師（學(xué)生）話語(yǔ)符號(hào)之間是如何相互關(guān)聯(lián)和作用，共同達(dá)到意義的合理建構(gòu)和有效傳播。

關(guān)鍵詞 外語(yǔ)微課 多模態(tài)話語(yǔ) 符際間性 視覺(jué)語(yǔ)法

中圖分類號(hào)：G424文獻(xiàn)標(biāo)識(shí)碼：ADOI：10.16400/j.cnki.kjdk.2021.22.045

AStudyontheIntersymbolofMultimodalDiscourseinForeignLanguageMicroClass

ZHANG Yuanjun

（Chengdu Jincheng College， Chengdu， Sichuan 611731）

AbstractBased on the theory ofvisual grammarand graph text relationship，thispaperfocusesontheanalysis ofhow image and text symbols as visual mode interact with teacher（student）discourse symbols as auditory mode in foreign language micro lesson video， so as to achieve the reasonable construction and effective communication of meaning.

Keywordsforeign language micro class； multimodal discourse； intersymbol； visual grammar

0引言

自20世紀(jì)90年代以來(lái)，多模態(tài)話語(yǔ)分析在語(yǔ)言學(xué)界興起，并逐步成為語(yǔ)篇分析研究中的熱門話題之一。朱永生[1]（2007）曾提出，多模態(tài)話語(yǔ)就是指在交際中設(shè)計(jì)多種感知模式來(lái)構(gòu)建文本，以實(shí)現(xiàn)整體意義信息的傳遞，如英語(yǔ)課上普遍使用的視頻資料及如今的微課，既包含了圖像、聲音等信息，也配備有相應(yīng)的文本，能充分調(diào)動(dòng)學(xué)生的視覺(jué)和聽覺(jué)系統(tǒng)，這就是典型的多模態(tài)教學(xué)模式。對(duì)多模態(tài)話語(yǔ)的分析主要包括兩個(gè)方面，一是將不同模態(tài)間的相互關(guān)系和作用作為分析對(duì)象，二是著重分析不同模態(tài)符號(hào)間的相互作用及影響（吳婷，2017）。[2]本文的研究重點(diǎn)在于后者，即以視覺(jué)語(yǔ)法和圖文關(guān)系理論為基礎(chǔ)，分析外語(yǔ)微課視頻中作為視覺(jué)模態(tài)的圖像和文本符號(hào)與作為聽覺(jué)模態(tài)的教師（學(xué)生）話語(yǔ)符號(hào)之間是如何聚合和相互影響，共同達(dá)成意義的合理建構(gòu)和有效傳播。

1理論基礎(chǔ)

提到語(yǔ)法，人們往往最先想到的是從單詞到句子再到篇章的一套固定的規(guī)則。那么，視覺(jué)語(yǔ)法所描述的規(guī)則，就是作為視覺(jué)符號(hào)的文本和圖像在組合過(guò)程中的邏輯關(guān)系。視覺(jué)語(yǔ)法的創(chuàng)始人Kress & Leeuwen[3]（1996）在深入研究了多模態(tài)話語(yǔ)分析理論框架后，將韓禮德[4]在系統(tǒng)功能語(yǔ)言學(xué)中提出的三大語(yǔ)言功能用對(duì)應(yīng)的再現(xiàn)、互動(dòng)以及構(gòu)圖功能來(lái)替換，并運(yùn)用到視覺(jué)語(yǔ)篇的分析中。近年來(lái)，國(guó)內(nèi)外學(xué)者一方面在不斷完善視覺(jué)語(yǔ)法的理論框架，另一方面也開展了大量關(guān)于模態(tài)間性和符際間性方面的實(shí)踐研究，量化各個(gè)模態(tài)和符號(hào)系統(tǒng)在話語(yǔ)傳播中的權(quán)重。其中，張德祿[5]教授就指出，我們不能僅僅停留在分析語(yǔ)言特征本身，還要重視圖像、聲音、文字等符號(hào)間的協(xié)同配合在話語(yǔ)中發(fā)揮的作用，從而提高教學(xué)效率。

圖文關(guān)系理論是Martinec& Salway[6]（2005）在視覺(jué)理論基礎(chǔ)上創(chuàng)立的。根據(jù)該理論，我們可以從兩個(gè)維度來(lái)分析圖像和文字間的關(guān)系：一是地位，二是邏輯語(yǔ)義。地位維度主要揭示結(jié)構(gòu)上的圖文關(guān)系，包括平等關(guān)系和不平等關(guān)系兩種。邏輯語(yǔ)義關(guān)系又包括擴(kuò)展和投射兩種。其中，擴(kuò)展可進(jìn)一步劃分為詳述、延展和增強(qiáng)關(guān)系。詳述指用說(shuō)明和例證的方法，對(duì)已有信息進(jìn)行更詳細(xì)的說(shuō)明而不增加新的信息；延展指通過(guò)附加信息來(lái)延伸某一符號(hào)的意義；增強(qiáng)指通過(guò)各種方式增強(qiáng)符號(hào)意義。

外語(yǔ)微課是多模態(tài)話語(yǔ)的典型代表，它所包含的多種模態(tài)和符號(hào)系統(tǒng)能在很大程度上調(diào)動(dòng)學(xué)生的學(xué)習(xí)積極性。因此，本文就將以視覺(jué)語(yǔ)法和圖文關(guān)系理論中的邏輯語(yǔ)義關(guān)系理論為基礎(chǔ)，重點(diǎn)分析外語(yǔ)微課中圖像、文本等視覺(jué)符號(hào)與教師（學(xué)生）的話語(yǔ)符號(hào)之間是如何相互關(guān)聯(lián)和作用，共同生成意義并有效傳播的。

2外語(yǔ)微課中的多模態(tài)話語(yǔ)分析

本研究以中國(guó)外語(yǔ)微課大賽全國(guó)一等獎(jiǎng)微課作品《你所不知道的名詞化》為例，著重分析其中多模態(tài)話語(yǔ)的圖文關(guān)系及其產(chǎn)生的效果。

2.1內(nèi)容簡(jiǎn)介

微課《你所不知道的名詞化》主要介紹了名詞化的概念和功能，以及名詞化生成的三種方式。該微課創(chuàng)設(shè)了一個(gè)極為貼近大學(xué)生學(xué)習(xí)生活的情景語(yǔ)境，即兩個(gè)學(xué)生（動(dòng)畫人物）為遲交作業(yè)找借口的對(duì)話情境，以此導(dǎo)入名詞化概念；通過(guò)教師和學(xué)生不斷對(duì)話交流（提問(wèn)和探索答案），闡釋了名詞化的重要性和生成方式，同時(shí)也提醒學(xué)生只有適當(dāng)和恰當(dāng)?shù)厥褂妹~化，才能充分展示其語(yǔ)篇功能，真正提升英語(yǔ)語(yǔ)言能力。整堂課以學(xué)生為中心，以師生對(duì)話的形式增強(qiáng)了學(xué)生的參與感，引導(dǎo)學(xué)生主動(dòng)思考，教師講解生動(dòng)有趣，效果良好。

2.2微課中多模態(tài)話語(yǔ)的符際間性分析

該微課的主要模態(tài)為視覺(jué)+聽覺(jué)模態(tài)。其中，視覺(jué)模態(tài)主要包括圖像和文字，圖像符號(hào)由教師真人、學(xué)生動(dòng)畫形象、動(dòng)作以及圖片組成，文字符號(hào)主要為字幕；聽覺(jué)模態(tài)為教師的講解音和學(xué)生的回答音。整個(gè)視頻中，主要的圖文關(guān)系由教師真人出鏡或?qū)W生動(dòng)畫形象+字幕構(gòu)成（如圖1、圖2）。

整個(gè)教學(xué)視頻中，圖文語(yǔ)義聯(lián)系較緊密且自然。具體來(lái)說(shuō)，圖文符號(hào)與教師（學(xué)生）話語(yǔ)符號(hào)間主要為增強(qiáng)關(guān)系，表現(xiàn)在以下兩個(gè)方面：

圖像文本與教師（學(xué)生）話語(yǔ)符號(hào)間的增強(qiáng)關(guān)系主要通過(guò)說(shuō)明和例證來(lái)實(shí)現(xiàn)。如在解釋抽象名詞Nominalization（1分58秒）的概念時(shí)，教師真人出鏡，通過(guò)文本框中展示的兩個(gè)例句的對(duì)比來(lái)詳細(xì)說(shuō)明在英語(yǔ)口語(yǔ)和書面寫作中，使用不同的詞匯可達(dá)到的不同語(yǔ)言效果。這里教師圖像的設(shè)置具有互動(dòng)功能，對(duì)要講授的內(nèi)容做出指示（見(jiàn)圖3）。接下來(lái)，在學(xué)生提出疑問(wèn)（為什么要使用名詞化短語(yǔ)）時(shí)，視頻中出現(xiàn)的文本框（言語(yǔ)泡Whyuseit）及時(shí)的再現(xiàn)了該問(wèn)題，文本是圖像的話語(yǔ)投射，體現(xiàn)了文本符號(hào)的再現(xiàn)功能，進(jìn)一步引發(fā)學(xué)生的思考（見(jiàn)圖4）。在講到名詞化的使用在寫作中的好處時(shí)，視頻中出現(xiàn)了三個(gè)顏色各異的圓形文本框，分別介紹了名詞化的三大功能（conciseness， cohesion， objectivity），配上下方橢圓形方框中的簡(jiǎn)短文字，對(duì)教師的語(yǔ)音講解起到了良好的補(bǔ)充闡釋作用，圖像的使用使文字更加具體、形象，邏輯語(yǔ)義關(guān)系一目了然，方便學(xué)生理解（見(jiàn)圖5）。其中在講到conciseness這一功能時(shí)，畫面中出現(xiàn)了一個(gè)漢堡在階梯上不斷跳動(dòng)的圖像。漢堡在階梯上的每一次升級(jí)都對(duì)應(yīng)了更加豐富的名詞性短語(yǔ)內(nèi)容，一直到最高點(diǎn)，語(yǔ)義內(nèi)容達(dá)到最豐富，也最大限度的體現(xiàn)了使用名詞化所達(dá)到的簡(jiǎn)潔這一優(yōu)點(diǎn)（見(jiàn)圖6）。

不僅如此，貫穿整個(gè)微課視頻的虛擬動(dòng)畫場(chǎng)景設(shè)置，加入了特效的鏡頭綻放、旋轉(zhuǎn)和平移畫面，豐富的模板背景與人物形象素材等，都能極大的刺激學(xué)生的視覺(jué)感官，提高學(xué)生的思維參與度，促進(jìn)教師講解內(nèi)容的吸收。

文字文本與教師（學(xué)生）話語(yǔ)符號(hào)間的增強(qiáng)關(guān)系主要通過(guò)字體顏色、大小、形狀、排列方式等變化對(duì)話語(yǔ)內(nèi)容進(jìn)行突出和強(qiáng)調(diào)。在該微課作品中，教師很好的處理了字體的大小、顏色、形狀、背景、出場(chǎng)順序等搭配，與教學(xué)內(nèi)容表達(dá)需求相契合，重點(diǎn)突出，詳略得當(dāng)，達(dá)到了很好的意義構(gòu)建和傳遞的目標(biāo)。如圖3，紅色的圓圈非常醒目，通過(guò)紅色圈中的重點(diǎn)詞匯比較，學(xué)生可以更好的理解動(dòng)詞名詞化的作用及使用方法；圖6中，階梯式的內(nèi)容排列順序使教學(xué)內(nèi)容的展示更加形象化且符合學(xué)生的認(rèn)知規(guī)律，利于學(xué)生接受；同時(shí)，微課中經(jīng)常使用的虛擬粉刷和虛擬人手書寫的文本呈現(xiàn)方式也較好的模擬了學(xué)生的認(rèn)知過(guò)程。

最后值得一提的是視頻中出現(xiàn)的非語(yǔ)言符號(hào)，即授課教師的表情、體態(tài)（身體語(yǔ)言）、出現(xiàn)位置等，它們體現(xiàn)的是與教師語(yǔ)言符號(hào)間的延展關(guān)系。教師和藹的笑容、恰當(dāng)?shù)氖謩?shì)指引都能在很大程度上拉近與學(xué)生的距離，增強(qiáng)教學(xué)的“身臨其境感”，促使學(xué)生更加積極的思考和參與教學(xué)互動(dòng)。

總的來(lái)說(shuō)，該微課視頻教學(xué)風(fēng)格自然活潑，教學(xué)過(guò)程流暢，表達(dá)方式也符合學(xué)生的認(rèn)知規(guī)律。視頻中圖像符號(hào)和文本符號(hào)協(xié)同配合，共同增強(qiáng)了教師（學(xué)生）話語(yǔ)符號(hào)的意義表達(dá)，達(dá)到了良好的教學(xué)效果。

3結(jié)語(yǔ)

綜上所述，本文主要通過(guò)定性研究的方法，從視覺(jué)語(yǔ)法和圖文關(guān)系角度（特別是邏輯語(yǔ)義維度）嘗試分析了在外語(yǔ)微課這一多模態(tài)語(yǔ)篇中，教師是如何運(yùn)用不同的圖像和文字文本符號(hào)來(lái)闡釋教師話語(yǔ)，實(shí)現(xiàn)有效教學(xué)的。鑒于本文僅針對(duì)某一微課視頻展開分析，語(yǔ)料相對(duì)有限，研究的深度和廣度均有所欠缺，今后可選取更多的多模態(tài)語(yǔ)篇從不同的視角來(lái)進(jìn)行更加深入的解讀。

基金項(xiàng)目：本文系四川外國(guó)語(yǔ)言文學(xué)研究中心、上海外語(yǔ)教育出版社資助項(xiàng)目“外語(yǔ)微課的多模態(tài)話語(yǔ)意義建構(gòu)及互動(dòng)效果研究”的階段成果（編號(hào)：SCWYH20-18）

參考文獻(xiàn)

[1]朱永生.多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法[J].外語(yǔ)學(xué)刊，2007（05）：82-86.

[2]吳婷.外語(yǔ)微課的多模態(tài)話語(yǔ)符際間性研究——以兩則微課大賽視頻為例[J].外語(yǔ)教學(xué)理論與實(shí)踐，2017（01）：72-77.

[3]Kress，G.&VanLeeuwen，T. ReadingImages： TheGrammarof Visual Design[M].London： Routledge， 1996.

[4]Halliday， M. A. K. An Introduction to Functional Grammar [M]. London： Edward Arnold，1994.

[5]張德祿.多模態(tài)話語(yǔ)理論與媒體技術(shù)在外語(yǔ)教學(xué)中的應(yīng)用[J].外語(yǔ)教學(xué)，2009（04）：15-20.

[6]Martinec， R. & Salway. A， A System for Image-text Relations in New（and Old）Media[J].Visual Communication， 2005（3）：337-371.