摘要：目的：隨著現(xiàn)代計算機技術(shù)的不斷發(fā)展，多模態(tài)話語分析吸引了語言學(xué)界眾多學(xué)者的關(guān)注。多模態(tài)話語是指運用聽、視、觸等多種感覺，通過語言、圖像、聲音、動作等多種符號系統(tǒng)和資源協(xié)同交際的話語組合?，F(xiàn)代人的語言交際不僅靠語言完成，還可以結(jié)合聽覺、視覺、動作等多模態(tài)方式實現(xiàn)。近年來，外語教學(xué)中出現(xiàn)的微課往往是融圖像、聲音和文字于一體的視頻呈現(xiàn)方式，涉及多種模態(tài)的呈現(xiàn)（視覺、聽覺）和多種符號系統(tǒng)的表達（文本、聲音和圖像），是典型的多模態(tài)話語。方法：文章以國家級外語微課大賽獲獎作品《中國哲學(xué)》為例，對其進行多模態(tài)話語分析，基于視覺語法和圖文關(guān)系理論，對微課視頻中視覺模態(tài)符號和聽覺模態(tài)符號的關(guān)系進行深入分析。結(jié)果：研究發(fā)現(xiàn)，該視頻主要圖文關(guān)系地位不平等，邏輯語義關(guān)系聯(lián)系緊密、銜接自然。視覺符號（文字、圖像等）和聽覺符號（講解話語、背景音樂）相輔相成，互為增強關(guān)系。結(jié)論：外語類微課作為一種新興的教學(xué)方法，可以有效補充線下課堂，促進知識傳播。其典型的多模態(tài)特征，即視頻中各類符號意義的具體傳遞和實現(xiàn)方式，對實現(xiàn)意義的有效傳達具有重要作用。

關(guān)鍵詞：多模態(tài)話語；符際間性；外語微課

中圖分類號：G434；H09 文獻標(biāo)識碼：A 文章編號：1004-9436（2024）12-0-03

0 引言

涉及多種感官，運用語言、圖像、聲音、動作等符號系統(tǒng)和資源協(xié)同交際的話語組合被稱為多模態(tài)話語［1］。多模態(tài)話語分析涵蓋模態(tài)間性與符際間性的研究。模態(tài)間性側(cè)重于探究不同模態(tài)間的關(guān)聯(lián)性和相互作用，而符際間性則關(guān)注模態(tài)內(nèi)部不同符號間的相互關(guān)系及影響。這兩種研究方法共同構(gòu)成了多模態(tài)話語分析的核心內(nèi)容，為理解多模態(tài)交流提供了全面的視角，旨在全面解析多模態(tài)文本中各種符號形式之間的復(fù)雜互動［2］。由此，本文以視覺語法和圖文關(guān)系理論為基礎(chǔ)，以全國外語微課大賽獲獎作品《中國哲學(xué)》為例，探究此微課視頻中圖像及文本符號這類視覺模態(tài)與教師話語——聽覺模態(tài)之間的關(guān)系和相互作用，以闡釋外語微課如何協(xié)同調(diào)配多種模態(tài)符號建構(gòu)意義，實現(xiàn)文化知識的有效傳播，進一步為外語微課教學(xué)提供啟示。

1 理論基礎(chǔ)

社會符號學(xué)理論不僅促進了人們對多模態(tài)語言現(xiàn)象的理解，還為研究者提供了深入探討不同符號系統(tǒng)相互作用的機會。在系統(tǒng)功能語言學(xué)家看來，每種模態(tài)都具有獨特的意義潛力，而單一模態(tài)的表達方式已無法滿足當(dāng)今信息快速交流的需求。該學(xué)派提出的語言三大元功能理論，推動了視覺語法的發(fā)展。視覺語法實現(xiàn)了語言三大元功能與視覺語篇分析的結(jié)合，并分別對應(yīng)再現(xiàn)功能、互動功能和構(gòu)圖功能，從而為文本和圖像符號的解讀提供有效框架。于1999年提出的聽覺語法，是對聽覺符號類的語義資源進行歸類的方法。視覺語法認(rèn)為圖像中的每個元素都有意義，圖像中元素的位置、排列組織方式都能傳達一定的意義。聽覺語法則描述了人們對聽覺信息的理解和處理。視覺語法和聽覺語法是各類符號模態(tài)實現(xiàn)三大元功能（概念、人際和語篇）的論證基礎(chǔ)。

近年來，國內(nèi)外關(guān)于多模態(tài)話語分析的理論和應(yīng)用研究不斷深化，多模態(tài)話語分析和外語教學(xué)結(jié)合也成為一大趨勢。例如，基于多模態(tài)話語分析框架探討現(xiàn)代多媒體技術(shù)支持下的外語教學(xué)實踐，提出外語教學(xué)要充分重視圖像、聲音和文字符號的協(xié)調(diào)作用，豐富外語課堂的呈現(xiàn)形式，提高教學(xué)效率。

圖文關(guān)系理論的構(gòu)建基于視覺語法，并受到系統(tǒng)功能語言學(xué)小句關(guān)系的啟發(fā)。該理論系統(tǒng)研究了多模態(tài)語篇中圖像與文字之間的符際互動，提出從兩個層面進行分析：首先是地位層面，其次是邏輯—語義層面。地位層面探討圖像與文字的結(jié)構(gòu)關(guān)系，主要包括平等關(guān)系與不平等關(guān)系兩種類型。其中，平等關(guān)系又可以進一步細(xì)分為互補性和非互補性關(guān)系。這種分類有助于深入理解圖像與文字在多模態(tài)語篇中的相互作用及對整體意義建構(gòu)的影響。在互補關(guān)系中，圖像與文字相輔相成，共同作用，以傳遞完整的意義；在非互補關(guān)系中，圖像與文字則各自獨立，能夠單獨有效地傳達各自的意義。符號之間的邏輯—語義關(guān)系分為擴展和投射兩大類。擴展又可細(xì)分為三種：一是詳述，對現(xiàn)有信息作更詳細(xì)的解釋，但不增加新信息，主要通過說明和舉例實現(xiàn)；二是延展，通過添加新信息豐富符號的含義；三是增強，用其他方式強化符號的意義。

從圖文關(guān)系理論視角出發(fā)，評析外語微課視頻設(shè)計，應(yīng)遵循以下兩個基本原則。一是圖文關(guān)系平等原則，也就是說，圖像信息與文字信息應(yīng)處于同等重要的地位，所以在呈現(xiàn)概念或知識點的過程中，圖像和文字應(yīng)相互補充、相輔相成，而非一方簡單地作為另一方的附屬或替代品。這種平衡的信息傳遞方式，有利于學(xué)習(xí)者對知識的理解與記憶。二是圖文語義相關(guān)原則。這一原則強調(diào)圖像與文字之間的語義關(guān)聯(lián)性。具體而言，即要求圖像內(nèi)容必須與相應(yīng)的文字描述保持緊密的語義聯(lián)系，從而確保兩者共同構(gòu)成一個連貫且完整的意義單元。這種一致性不僅有助于增強信息傳達的準(zhǔn)確性，而且能夠增強學(xué)習(xí)材料的可理解性和吸引力，進而提升學(xué)習(xí)者的學(xué)習(xí)效率。

在多模態(tài)語篇中，圖文關(guān)系的平等依賴語言與圖像符號的協(xié)同作用，要求它們各自能夠獨立承擔(dān)語篇的三大核心功能（概念功能、人際功能及語篇功能）。此外，只有圖文雙方充分發(fā)揮各自的優(yōu)勢，才能有效實現(xiàn)意義的協(xié)同傳遞。在邏輯和語義層面，圖像的作用僅限于對文字內(nèi)容的詳細(xì)闡釋、說明或舉例支持。外語視頻微課程通常以某種特定的模態(tài)或符號為主，強調(diào)該模態(tài)或符號的特征。從理論角度來看，為實現(xiàn)有效的交流與溝通，傳播交際意義要依賴多種符號或模態(tài)的結(jié)合，單一符號或模態(tài)的使用顯然是不夠全面的。外語微課通常綜合調(diào)動學(xué)生的多種感官，包括多種模態(tài)和符號系統(tǒng)，是典型的多模態(tài)話語。許多語言學(xué)學(xué)者致力于分析各類模態(tài)符號系統(tǒng)對多模態(tài)語篇傳播效果的影響，將多模態(tài)話語分析應(yīng)用于外語教學(xué)實踐。有學(xué)者通過探討大學(xué)英語課堂教學(xué)中不同模態(tài)間的協(xié)同作用，發(fā)現(xiàn)外語課堂教學(xué)主模態(tài)有賴于口頭話語模態(tài)，其余模態(tài)對其起補充強化作用；其他學(xué)者則將目光聚焦于多模態(tài)教學(xué)模式的探索［3］。

本文運用視覺語法和圖文關(guān)系理論，對優(yōu)秀外語微課作品《中國哲學(xué)》進行分析，重點考察視頻中的視覺元素（如圖像、文本等）與教師口頭表達之間的關(guān)系和互動，探究外語微課視頻是如何運用視聽模態(tài)共同建構(gòu)意義并實現(xiàn)意義的有效傳播的。

2 外語微課的多模態(tài)話語分析

本文以全國外語微課大賽獲獎作品《中國哲學(xué)》為例，對其多模態(tài)話語中的圖文關(guān)系進行分析，了解其意義建構(gòu)方式和傳播效果。

2.1 內(nèi)容簡介

微課《中國哲學(xué)》以中國哲學(xué)的起源與傳承為出發(fā)點，介紹了中國哲學(xué)文化生生不息、與時俱進的發(fā)展路徑。從視頻中可以看出，中國哲學(xué)一脈相承，源遠(yuǎn)流長。視頻在傳播語言知識的基礎(chǔ)上，展示了中華文化的深刻內(nèi)涵，有助于學(xué)生樹立文化自信，講好中國故事，對線下課堂做了有效引導(dǎo)和鋪墊。

2.2 多模態(tài)話語符際間性分析

圖1 《中國哲學(xué)》相關(guān)動畫圖

《中國哲學(xué)》的主要模態(tài)包括視覺模態(tài)和聽覺模態(tài)。聽覺模態(tài)作為主導(dǎo)模態(tài)貫穿整個視頻，即教師講解話語和背景音樂；視覺模態(tài)則包括動畫圖像、畫面文本以及字幕文本符號（見圖1）。其中，動畫圖像和字幕文本等視覺模態(tài)占據(jù)整個畫面，背景講解音娓娓道來，與畫面、文本互為補充。整個微課大體可分為三個部分：中國古代哲學(xué)、中國近代哲學(xué)、中國當(dāng)代哲學(xué)。中國古代哲學(xué)可追溯到春秋戰(zhàn)國時期，儒、道兩大學(xué)派奠定了中華文化的核心——人本思想，也就是視頻中提到的“Humanism”。中國哲學(xué)一脈相承，延續(xù)至今，仍然是當(dāng)代人重要的精神土壤。

外語類微課作為外語課堂教學(xué)內(nèi)容的補充，需要做到精練簡潔，從而快速高效地傳播知識。因此，外語微課中的圖文概念符號要緊密聯(lián)系，在語境中相互關(guān)聯(lián)、互為映射，使學(xué)生能對圖文內(nèi)容進行有效聯(lián)想，加深他們對內(nèi)容的理解和記憶。

《中國哲學(xué)》整個微課視頻圖文在關(guān)系地位上不平等，動畫圖像從屬于文字內(nèi)容，邏輯—語義上聯(lián)系較為緊密，銜接自然。從微課《中國哲學(xué)》中的截圖（見圖2）可以發(fā)現(xiàn)，微課的主要圖文關(guān)系是由動畫和畫面文本及字幕構(gòu)成的，圖像內(nèi)容實現(xiàn)了構(gòu)圖和再現(xiàn)功能，但未成功實現(xiàn)人際功能，人際功能主要借助背景講解來實現(xiàn)。視頻的動畫圖像是對畫面文字的補充，因為講到傳統(tǒng)中國哲學(xué)，所以畫面以古風(fēng)山水畫為主，彰顯中華民族的文化底蘊。畫面展示了孟子的卡通形象，暗示畫面語錄出自孟子，但如果缺少聲音和文本，圖像并不能表征具體的概念義，因而圖像和文本間關(guān)系不平等。但動畫圖像符號生動形象，可以吸引受眾的注意力，也能使畫面圖文間的邏輯—語義關(guān)系更加明確，便于理解。

圖2 微課《中國哲學(xué)》截圖

視覺模態(tài)（圖像、文本）與作為聽覺模態(tài)的教師話語間則存在相互增強關(guān)系。虛擬動畫貫穿整個微課視頻，作為場景使用，隨著文本和背景講解音的層層深入，微課畫面也不斷轉(zhuǎn)換，豐富的背景畫面和人物素材可以極大地刺激學(xué)生的視覺感官，背景音樂也隨著中國哲學(xué)這一話題的發(fā)展而逐漸改變，視聽結(jié)合，烘托渲染微課視頻氛圍。在外語教學(xué)中，視覺模態(tài)與聽覺模態(tài)的協(xié)作尤為必要，因為它們能夠協(xié)同促進信息的傳遞，并以共同作用的形式（主模態(tài)）突出關(guān)鍵的、重要的信息，避免學(xué)生產(chǎn)生視覺疲勞、喪失興趣和接受能力。例如，從中國古代哲學(xué)轉(zhuǎn)向當(dāng)代馬克思主義哲學(xué)時，背景音樂從古色古香的純音樂切換成了激動人心的進行曲，視覺模態(tài)和聽覺模態(tài)相互補充，更有利于調(diào)動學(xué)生的思維和情緒，加深學(xué)生對所講內(nèi)容的印象。

字幕文本和背景講解話語之間的增強關(guān)系主要通過字體顏色、大小、出場順序來實現(xiàn)。該微課的一大亮點就是圖像、文本與背景講解的融合和切換十分自然，三者相輔相成、互為補充。例如，在介紹社會主義核心價值觀時，畫面主要色調(diào)為紅色，搭配金色字體，彰顯沉穩(wěn)大氣。而“富強”一詞出自《漢書》，因此畫面中加入了典籍的動畫符號，旁邊附上原文的英譯及出處。該微課深入挖掘了社會主義核心價值觀和中國哲學(xué)精神之間的繼承與發(fā)揚關(guān)系，體現(xiàn)了中華優(yōu)秀傳統(tǒng)文化是中華民族的精神命脈。

3 結(jié)語

微課作為一種新興的教學(xué)方法，是線下課堂的有效補充，可以促進知識傳播。其典型的多模態(tài)特征，即視頻中各類符號意義的具體傳遞和實現(xiàn)方式，對實現(xiàn)意義的有效傳達具有重要作用。本研究基于視覺語法和圖文關(guān)系理論，分析了外語微課視頻《中國哲學(xué)》中視聽元素的互動。具體而言，研究了視頻中的圖像和文字（視覺模態(tài)）如何與教師講解（聽覺模態(tài)）相互配合和相互影響，探討了多模態(tài)元素之間的關(guān)系及在傳遞教學(xué)內(nèi)容中的作用。研究發(fā)現(xiàn)，該微課的主要模態(tài)為視覺模態(tài)和聽覺模態(tài)。整個微課視頻中，圖像和文本存在地位上的不平等，動畫圖像從屬于文字內(nèi)容，二者之間存在緊密的邏輯語義聯(lián)系，并且銜接自然。此外，視覺符號如圖像和文本，與教師話語之間呈現(xiàn)出相互增強的關(guān)系。本研究僅選取一則微課視頻作為語料，研究深度和廣度有限。未來的研究可以選擇不同話題的微課視頻，以比較分析多模態(tài)符號之間的相互關(guān)系。

參考文獻：

［1］ 張德祿，王璐.多模態(tài)話語模態(tài)的協(xié)同及在外語教學(xué)中的體現(xiàn)［J］.外語學(xué)刊，2010（2）：97-102.

［2］ 吳婷.外語微課的多模態(tài)話語符際間性研究［J］.外語教學(xué)理論與實踐，2017（1）：72-77.

［3］ 馬利芳.多模態(tài)話語框架下教學(xué)模式研究［J］.教育理論與實踐，2016（1）：57-60.