吳利琴

（安徽財(cái)經(jīng)大學(xué) 外國語學(xué)院，安徽 蚌埠 233030）

一、引言

外語課堂多模態(tài)語篇設(shè)計(jì)離不開教學(xué)設(shè)計(jì)（instructional design）。所謂教學(xué)設(shè)計(jì)，是指“系統(tǒng)性、反思性過程，把學(xué)習(xí)與教學(xué)原則轉(zhuǎn)換成教學(xué)材料、教學(xué)活動(dòng)、信息資源和信息評估等計(jì)劃的過程”（Smith&Ragan，1993/1999：2），是“教育家在特定環(huán)境下為特定學(xué)習(xí)者決定最佳學(xué)習(xí)方法的過程”（IEEE，2001：1），是“踐行創(chuàng)造教育經(jīng)歷，使得知識和技巧習(xí)得的效率更高，效果更有效、更引人入勝”（Merril et al，1996）。

由于多話語的出現(xiàn)，設(shè)計(jì)被賦予新的意義，表示“有意識選擇模態(tài)和模式來表現(xiàn)現(xiàn)實(shí)”的過程，是制造語篇和識讀語篇的過程，是利用可利用的資源進(jìn)行社會(huì)交際的過程（張德祿，2011）。制造語篇和閱讀語篇的過程都是設(shè)計(jì)的過程，這兩個(gè)過程在很大意義上顛覆了寫作和書本統(tǒng)治時(shí)代的社會(huì)和符號的安排。現(xiàn)在是新的影像和屏幕時(shí)代。現(xiàn)在的主要媒體是屏幕，從小型游戲機(jī)，移動(dòng)電話、個(gè)人電腦，到電視、視頻。過去，書本和頁面是寫作的場地，寫作邏輯構(gòu)成了頁面和書本的順序；現(xiàn)在，屏幕是影像的場地，影像邏輯構(gòu)成了屏幕的順序和布局（Kress，2004）。

國內(nèi)外眾多的語言學(xué)研究表明：系統(tǒng)功能語言學(xué)是多模態(tài)語篇設(shè)計(jì)的理論基礎(chǔ)（Halliday，1978，1985/1994；Halliday & Matthiessen，2004；Bateman，2011；朱永生，2007）。從Saussure的“語言是社會(huì)事實(shí)”到Halliday的“語言是社會(huì)符號”（胡壯麟，2007），再到Bateman（2011）的多模態(tài)和體裁，都留下系統(tǒng)功能語言學(xué)的烙印。諸多學(xué)者（Kress et al.，1997；Baldry & Thibault，2006；Matthiessen，2007；Royce，2007）認(rèn)為，所有的符號模態(tài)都能表達(dá)概念意義、人際意義和語篇意義，都有元功能特征（楊信彰，2009）。

二、外語課堂多模態(tài)語篇設(shè)計(jì)

隨著社會(huì)的進(jìn)步和科學(xué)技術(shù)的發(fā)展，外語課堂教學(xué)不再以單模態(tài)語篇形式呈現(xiàn)，而是以多模態(tài)語篇形式呈現(xiàn)。生物學(xué)家的研究成果告訴我們，人類在演化過程中獲得的視覺、聽覺、嗅覺、味覺、觸覺等5種不同的感知通道（sensory channel）衍生了視覺模態(tài)（visual modality）、聽覺模態(tài)（auditive modality）、觸覺模態(tài)（tactile modality）、嗅覺模態(tài)（olfacotry modality）和味覺模態(tài)（gustatory modality）等5種交際模態(tài)（朱永生，2007）。與外語課堂語篇教學(xué)聯(lián)系緊密的是視覺、聽覺和動(dòng)覺①Howard Gardner在《智力架構(gòu)：多元智能理論》一書中指出，活動(dòng)（如舞蹈、動(dòng)手術(shù)）需要極大的動(dòng)覺智慧：用身體創(chuàng)造（或做）東西。20世紀(jì)40年代，Margaret H’Doubler提出了動(dòng)覺學(xué)習(xí)，并將動(dòng)覺學(xué)習(xí)定義為通過運(yùn)動(dòng)和舞蹈表達(dá)意義的人體能力。動(dòng)覺學(xué)習(xí)（也稱觸覺學(xué)習(xí)）是一種學(xué)習(xí)方式，這種學(xué)習(xí)方式要求學(xué)生不僅僅要聽老師講課，或觀看老師示范，還要親身參與。（kinesthetic）/觸覺模態(tài)。

我們在對外語課堂多模態(tài)語篇設(shè)計(jì)時(shí)，首先對外語課堂的各種模態(tài)以及語篇給予定義?！澳B(tài)（modality）是可對比和對立的符號系統(tǒng)”（Scollon& Levine，2004），指交流的渠道和媒介，包括語言、技術(shù)、圖象、顏色、音樂等符號系統(tǒng)（朱永生，2007）。語篇不僅僅指書面語或口語，它是情景語境中起作用的任何一個(gè)語言實(shí)例（Halliday，1985：10）。多模態(tài)語篇指使用多符號（multi-semiotic）模態(tài)，如語言、圖片、布局、色彩、排版等，且這些模態(tài)共同制造語篇意義。所有意義制造的活動(dòng)，如早期的拼寫，課堂的互動(dòng)，以及科研論文等，都是多模態(tài)，因?yàn)樗鼈兪褂玫慕浑H模態(tài)不止一個(gè)（Kress，1997；Kress and van Leeuwen，2001；Lemke，1998）。

我們認(rèn)為聽覺、動(dòng)覺/觸覺中的語篇表達(dá)媒介在課堂教學(xué)中起著不可忽視的作用。視覺模態(tài)涉及的符號系統(tǒng)有課本、網(wǎng)上材料、錄像、圖片、文字等；聽覺模態(tài)涉及的內(nèi)容有聽錄音、收音機(jī)、電視、老師授課、有聲讀物等；動(dòng)覺/觸覺模態(tài)主要指學(xué)生親身體驗(yàn)老師這個(gè)角色，自己動(dòng)腦筋備課、做PPT，對自己的上課內(nèi)容進(jìn)行評價(jià)等。傳統(tǒng)的教學(xué)法以授課和討論為主，語篇設(shè)計(jì)較單一，著重聽覺刺激。現(xiàn)在我們認(rèn)識到視、聽、動(dòng)覺/觸覺在教學(xué)中的重要性，語篇設(shè)計(jì)以多模態(tài)為背景。

我們以《高級英語》課堂教學(xué)為例。我們使用的教材是李觀儀主編的《新編英語教程》第6冊。根據(jù)這門課程特點(diǎn)和教學(xué)要求，我們選擇以教材為主線，以視覺影像、網(wǎng)絡(luò)、圖片素材、音頻、視頻素材等媒體為輔線的國學(xué)知識②國學(xué)知識博大精深，內(nèi)容廣泛，既有傳統(tǒng)的歷史文化與學(xué)術(shù)，也有現(xiàn)代的文化和學(xué)術(shù)?！陡呒売⒄Z》課堂主要涉及的國學(xué)知識有傳統(tǒng)的哲學(xué)、文學(xué)、禮俗學(xué)、倫理學(xué)等。進(jìn) 《高級英語》課堂的教學(xué)，選擇的體裁包括詩歌、散文、小說等。這么做的主要原因是：1）我們認(rèn)為教材并不是權(quán)威，不要照本宣科③Kress&Van Leeuven(2001:51)提出了五個(gè)主要的教學(xué)目標(biāo)：（1）把教材看做權(quán)威，照本宣科；（2）把教學(xué)看做知識傳授，設(shè)法幫助學(xué)生理解；（3）把教學(xué)看做一種程序，幫助學(xué)生掌握技能；（4）把教學(xué)看做一種經(jīng)歷，讓學(xué)生參與實(shí)踐；（5）把教學(xué)看做一種手段，幫學(xué)生發(fā)展表意資源（見張德祿，2011）。。外語課堂除了規(guī)定的印刷、錄音、影像等制品（教材）外，還要根據(jù)課程所需，有選擇性地補(bǔ)充一些與課文有關(guān)的不同體裁的視、聽、動(dòng)覺/觸覺模態(tài)語篇教學(xué)材料。2）在我國整體國力得到大幅度提升的今天，在英語課上適量地增加一些用英語表達(dá)的國學(xué)知識，使英語專業(yè)學(xué)生熱愛優(yōu)秀的中國傳統(tǒng)文化，具有中西方文化情懷。通過這樣的語篇設(shè)計(jì)，加強(qiáng)學(xué)生對中國傳統(tǒng)文化的認(rèn)知、理解、傳承、創(chuàng)新和輸出。

《高級英語》多模態(tài)語篇設(shè)計(jì)內(nèi)容包括：表達(dá)語篇的媒介、模態(tài)的3個(gè)形式、與不同模態(tài)對應(yīng)的3個(gè)元功能。通過對《高級英語》課程的觀摩教學(xué)，以及視頻教學(xué)過程的反復(fù)觀看，我們發(fā)現(xiàn)，使用的模態(tài)不同，語篇表達(dá)媒介就不同，它們的概念功能、人際功能和語篇功能也有所不同（見表1）。

表1 《高級英語》多模態(tài)語篇設(shè)計(jì)

一學(xué)期結(jié)束后的學(xué)生問卷調(diào)查表明：國學(xué)知識進(jìn)《高級英語》課堂的多模態(tài)語篇設(shè)計(jì)很大程度上提高了學(xué)生的學(xué)習(xí)興趣、學(xué)習(xí)主動(dòng)性，尤其是在教師的角色扮演、自己動(dòng)手做PPT、對自己的授課結(jié)果進(jìn)行互相評估和自我評估方面，95%以上的學(xué)生認(rèn)為受益匪淺。這種多模態(tài)語篇設(shè)計(jì)不僅有助于他們對書本知識和國學(xué)知識的掌握，還培養(yǎng)了他們的合作精神、發(fā)現(xiàn)問題和解決問題的能力、獨(dú)立思考、以及創(chuàng)新能力等。學(xué)生的雙語知識和人文素質(zhì)得到了很大程度的提升。

在一學(xué)期的實(shí)驗(yàn)中，視、聽、動(dòng)覺/觸覺模態(tài)和語篇表達(dá)媒介之間相互作用，貫穿于整個(gè)外語課堂教學(xué)。正如系統(tǒng)功能語言學(xué)（Halliday，1978）中的語言描述的中心是在語言功能上，而不是形式上，更多的注意力是在制品（artifact）上，而不是在只帶有狹義解釋的語言的語篇上。“多模態(tài)和社會(huì)符號方法通過社交的使用，從剛開始的視覺交流、手勢、行為，發(fā)展成相互關(guān)聯(lián)的或部分關(guān)聯(lián)的符號系統(tǒng)，其發(fā)展方式和語言一樣”（Kress，Jewitt，Ogborn and Tsatsarelis，2001：44）。

三、相關(guān)功能理據(jù)

外語課多模態(tài)語篇設(shè)計(jì)的功能觀是以系統(tǒng)功能語言學(xué)為基礎(chǔ)。Halliday受導(dǎo)師Firth的系統(tǒng)觀念的影響，認(rèn)為語言是社會(huì)符號系統(tǒng)，是迫于語言系統(tǒng)必須為之服務(wù)的特別功能的壓力進(jìn)化而來。Halliday創(chuàng)造的系統(tǒng)功能語言學(xué)認(rèn)為，所有的語言都有元功能的屬性，即概念、人際和語篇功能。除了Halliday的系統(tǒng)功能語言學(xué)，還有其他系統(tǒng)功能理論，它們都對外語課堂多模態(tài)語篇設(shè)計(jì)有很大影響。

（一）Martinec的運(yùn)動(dòng)的銜接

基于Halliday&Hasan（1976）、Hasan（1989）以及Martin （1992）的語言研究，Radan Martinec（1998：161-180）認(rèn)為：系列運(yùn)動(dòng) （stretches of movement）可以被視作是由連詞（conjunction）、成分銜接（componential cohesion）和指稱（reference）等銜接資源粘合起來的一個(gè)整體。這樣一個(gè)銜接整體或許可被稱作運(yùn)動(dòng)語篇（action text）。在系統(tǒng)功能符號語言學(xué)（systemic-functional semiotics）里，符號系統(tǒng)（無論是行為系統(tǒng) 、語言系統(tǒng)、圖像系統(tǒng)，音樂系統(tǒng)、還是符號體系間的系統(tǒng)）圍繞三個(gè)不同意義構(gòu)建，即概念意義、互動(dòng)意義和語篇意義。概念意義用來構(gòu)建和分析我們對世界的經(jīng)驗(yàn)和基本邏輯關(guān)系；互動(dòng)意義把各種行為進(jìn)行分類，相互作用者之間通過這些行為相互聯(lián)系，并對行為或者整個(gè)語篇作出判斷；語篇意義指符號學(xué)模式（semiotic modes）用各種手段生產(chǎn)出一個(gè)銜接的語篇，而不是一個(gè)隨機(jī)的行為集合。這三個(gè)元功能之間相互獨(dú)立，相互聯(lián)系，它們被塑造成若干套特征或體系，這些特征或體系代表著有意義的選擇，并連接成網(wǎng)絡(luò)。

在語篇元功能里，銜接是語篇意義資源。在語言系統(tǒng)內(nèi)可以通過連接詞、詞匯銜接、指稱、替代、省略等實(shí)現(xiàn)語篇的銜接。銜接原理也適用于運(yùn)動(dòng)的銜接。連接系統(tǒng)表明整體運(yùn)動(dòng)中的銜接關(guān)系，它們是參與者、過程和環(huán)境的布局。成分關(guān)系和指稱勾勒出連接各個(gè)運(yùn)動(dòng)部分的關(guān)系，即參與者之間的關(guān)系，或者過程之間的關(guān)系，或者環(huán)境之間的關(guān)系。運(yùn)動(dòng)中的連接關(guān)系具有時(shí)間性 （temporal）和比較性（comparative）。時(shí)間關(guān)系使運(yùn)動(dòng)按照連續(xù)性和同時(shí)性互相關(guān)聯(lián)，要么是一個(gè)接一個(gè)的運(yùn)動(dòng)，要么是同時(shí)運(yùn)動(dòng)。比較關(guān)系使運(yùn)動(dòng)按照相似和對比互相關(guān)聯(lián)，要么是相似運(yùn)動(dòng)，要么是沿著某個(gè)明確的方向相互之間的對比運(yùn)動(dòng)。運(yùn)動(dòng)的連接關(guān)系可以是并列、從屬關(guān)系。成分之間的關(guān)系有重復(fù)（參與者、過程，或者環(huán)境重復(fù)）、上下義關(guān)系、部分-整體關(guān)系、同義關(guān)系、反義關(guān)系等。指稱關(guān)系涉及到連續(xù)提到的參與者或者環(huán)境的身份關(guān)系，或者部分提到的參與者或者環(huán)境的身份關(guān)系。

在多層面的銜接里，運(yùn)動(dòng)段（phrase）的細(xì)節(jié)分析很重要，這個(gè)運(yùn)動(dòng)段類似一段語篇，在經(jīng)驗(yàn)意義、人際意義和語篇意義上達(dá)到一致。我們在分析“某人步行”這個(gè)運(yùn)動(dòng)時(shí)，其細(xì)節(jié)程度分析就低于把這個(gè)運(yùn)動(dòng)作為連續(xù)的“左腿向前運(yùn)動(dòng)”^“右腿向前運(yùn)動(dòng)”的細(xì)節(jié)程度分析。Martinec（1998：161-180）認(rèn)為，銜接是多層面的，細(xì)節(jié)分析程度對銜接分析至關(guān)重要，因?yàn)樗鼪Q定著每種情況下分析單位的內(nèi)容，也決定著參與者、過程、環(huán)境的內(nèi)容，以及由銜接關(guān)系帶來的結(jié)構(gòu)問題。

Martinec的運(yùn)動(dòng)的銜接，以及Martinec（2005）的多模態(tài)話題研究、Martinec&Salway（2005）的影像-語篇關(guān)系研究使我們對不同模態(tài)的元功能有了新的認(rèn)識和理解。如對動(dòng)覺/觸覺模態(tài)的元功能在外語課多模態(tài)語篇設(shè)計(jì)中的體現(xiàn)和理解。

（二）Royce的符際互補(bǔ)

Royce以1993年3月27日的經(jīng)濟(jì)學(xué)人雜志里刊登的一篇題為 “仍需攀登的山脈”（Mountains still to climb）的文章為例，提出了符際互補(bǔ)理論。視覺模式和言語模式同時(shí)出現(xiàn)在以頁面為基礎(chǔ)的多模態(tài)語篇中時(shí)，產(chǎn)生一個(gè)語義間互補(bǔ)的語篇現(xiàn)象，這個(gè)關(guān)系可以稱作符際互補(bǔ)（intersemiotic complementarity）。

Royce的符際互補(bǔ)審視了言語和視覺交流模式在一個(gè)語篇范圍內(nèi)意義的表達(dá)方式上互補(bǔ)的命題，符際互補(bǔ)是通過各自模式所特有的語言和視覺手段實(shí)現(xiàn)。如閱讀（觀看）一個(gè)視覺材料同時(shí)涉及三個(gè)互動(dòng)成分：概念成分、人際成分和語篇成分。這三個(gè)成分分別是被表征的參與者（represented participants），互動(dòng)的參與者（interactive participants）和視覺連貫的結(jié)構(gòu)成分（coherent structural elements）。被表征的參與者指的是所有實(shí)際出現(xiàn)在視覺材料中的成分或?qū)嶓w，無論是有生命的，還是無生命的，它們都表征著所示的情況、當(dāng)前的世界觀或世界存在的狀態(tài)?；?dòng)參與者指的是在閱讀一個(gè)視覺材料過程中相互作用的參與者們。一個(gè)是美術(shù)設(shè)計(jì)者或繪畫者，另外一個(gè)是讀者或觀看者，這代表著觀看者和視覺材料之間的社會(huì)關(guān)系（Royce，2007：66-67）。結(jié)合Kress&van Leeuwen（1990：16–18）的視覺圖像，Royce認(rèn)為，除上述兩類參與者外，還有視覺構(gòu)圖（visual compositional）功能，這對應(yīng)著Halliday的語篇功能。視覺構(gòu)圖指的是視覺材料或語篇的布局給人以結(jié)構(gòu)上連貫的感覺。這些布局成分是被表征成分和互動(dòng)成分的有機(jī)結(jié)合，也表征了一個(gè)依賴于特定文化和意識形態(tài)的世界觀的構(gòu)建，而這個(gè)世界觀是美術(shù)設(shè)計(jì)者或繪畫者在那個(gè)時(shí)刻和那個(gè)語境想要表達(dá)的內(nèi)容。

Royce（2007：103）發(fā)現(xiàn)，符際互補(bǔ)可能通過下列中的一個(gè)或者多個(gè)特征發(fā)生：1）通過符際語義關(guān)系，兩個(gè)模式的概念意義在詞匯-語義方面相互關(guān)聯(lián)時(shí)：重復(fù)、同義關(guān)系、反義關(guān)系、上下義關(guān)系、部分-整體關(guān)系、搭配；2）通過符際語言的強(qiáng)化（reinforcement of address）以及通過符際態(tài)度的一致或不一致（情態(tài)modality）關(guān)系，兩個(gè)模式的人際意義相互關(guān)聯(lián)時(shí)；3）通過信息值、凸顯、視覺框架、視覺同義關(guān)系和潛在的閱讀路徑等不同的構(gòu)圖關(guān)系，構(gòu)圖意義得以整合（integrated）時(shí)。圖像-文字的元功能接口，闡釋了多模態(tài)語篇的概念功能、互動(dòng)功能和構(gòu)圖功能。

(三）Kress&van Leeuwen的視覺語法

在 Halliday的系統(tǒng)功能語言學(xué)的基礎(chǔ)上，Kress&van Leeuwen（1996：2）創(chuàng)建了視覺設(shè)計(jì)語法（grammar of visual design）。他們認(rèn)為視覺設(shè)計(jì)語法和語法一樣都超出正確性的形式規(guī)則，是一種表示經(jīng)驗(yàn)?zāi)Ｊ降氖侄?，它使人類能夠建立一個(gè)現(xiàn)實(shí)畫面，去理解他們周圍世界和內(nèi)心世界所發(fā)生的一切。概念功能、人際功能和語篇功能適用于所有的符號模式。

視覺顯示具有和其他交流制品一樣功能要求的主題，這樣的制品有三個(gè)元功能域的意義管理。如一張照片可以同時(shí)代表正發(fā)生的事情，對觀看者的人際吸引力（當(dāng)照片中的人物“走出”畫面直視著觀看者時(shí)）；受到語篇布局影響，視覺凸顯、位置、題材等使得組合成分中的某些事物更為突顯，而另外一些事物又不凸顯。視覺制品中的各種意義類型都有明確的語法，這樣的視覺設(shè)計(jì)語法承擔(dān)一個(gè)特別的任務(wù)，即這些語法需要設(shè)計(jì)出各種詳細(xì)的選擇系統(tǒng)，用來表明從其元功能里選擇出來的各種抽象意義的范圍。

像語言結(jié)構(gòu)一樣，視覺結(jié)構(gòu)指向特定的經(jīng)驗(yàn)解釋和社會(huì)互動(dòng)。多模態(tài)語篇以不同模式傳遞信息，這些模式包括視覺影像、圖案元素、書面語以及其他的符號資源（Jewitt&Kress，2003），其中書面語模式和圖案模式受不同邏輯學(xué)的支配。書面語篇受時(shí)間邏輯或時(shí)間序列支配；而視覺影像受空間邏輯、組織安排和同時(shí)性支配（Kress，2003）。書面語中，意義來自時(shí)間序列中的位置，而視覺影像中的意義來自空間關(guān)系或視覺語法 （Kress&van Leeuwen，1996）。

任何一個(gè)符號模式都必須能夠表征人類所經(jīng)歷世界的各個(gè)層面。換句話說，就是必須能夠表征在表征系統(tǒng)以外的世界里的物體和物體之間的關(guān)系（Kress&van Leeuwen，1996：42）。

在概念元功能里，視覺信息被分解為若干成分，類似把語言小句分成過程、過程中的參與者、過程中的事件發(fā)生環(huán)境；可視化配置的分類類似于語法配置的功能語言學(xué)解釋中的分類，但又有不同之處。特別值得一提的是，他們對“敘事（narrational）”視覺和“概念（conceptional）”視覺進(jìn)行了定義。前者從視覺描述行為 （Kress&van Leeuwen，1996：73-75）， 后者描述了分類或分析 （Kress&van Leeuwen，1996：88-89;107）。這種分解視覺被眾多學(xué)者采用，如 Baldry&Thibault（2006：122）的“視覺及物框架”（visual transitivity frames）、Royce（2007：73）的 “視覺信息成分”（visual message elements—VME’s）等。

就人際元功能而言，Kress&van Leeuwen提出了評價(jià)材料和觀眾之間相互關(guān)系的視覺材料的若干可能性。視覺屬性可以用來構(gòu)建特別的人際關(guān)系，諸如相對影響力、參與程度和吸引力等。如視覺中所描述的人的凝視方向（看觀眾或扭頭看別處），或者攝影機(jī)的相對角度、坡度（往上看、往下看）。這些隱含意義的諸多方面一直以來都是理論和實(shí)踐的焦點(diǎn)。除此之外，與聽覺有關(guān)的有聲音和其他符號間的情感和意義的交流。與動(dòng)覺/觸覺有關(guān)的有互相作用的社會(huì)距離意義；身體在空間的移動(dòng)交流；對行為或語篇的判斷等。

語篇元功能是Kress&van Leeuwen理論中最重要的內(nèi)容。意義制造（meaning-making）的各種資源推動(dòng)組織原則，這些原則相互關(guān)聯(lián)，隨時(shí)用來分析頁面的構(gòu)圖（compostition），為分析一個(gè)符號產(chǎn)品內(nèi)的材料組合 （如一個(gè)頁面）提供工具。Kress& van Leeuwen提出的語篇元功能內(nèi)的意義制造潛勢（meaning-making potential）有三個(gè)領(lǐng)域，即信息值（information value），凸顯 （salience）和 框架（framing）。

信息值有中心構(gòu)圖 （centered compositions）和邊緣構(gòu)圖（polarized compositions）之分。高凸顯通常配有一個(gè)或者多個(gè)感知特征。高程度框架指的是在視覺加工品中所描述的一個(gè)成分和另外其他視覺成分之間的最大限度的分離。“已知”、“新”、“理想”和“真實(shí)”這些術(shù)語用來區(qū)分在某些構(gòu)圖條件下一個(gè)視覺加工品的特別空間區(qū)域。Kress&van Leeuwen提出了8種構(gòu)圖結(jié)構(gòu)的可能。把所有的組合放在一起，就產(chǎn)生那種所需的視覺語法（visual grammar），類似語言單位的普通開發(fā)（Bateman，2011：38-45）。

以多模態(tài)形式表現(xiàn)大綱是后現(xiàn)代狀態(tài)的表現(xiàn)，這個(gè)表現(xiàn)重視視覺文化，“使得本身不可視化的東西呈可視化的傾向……”（Mirzoeff，1999：5）。Kress&van Leeuwen（1996）的視覺影像語言學(xué)研究為視覺模態(tài)在教學(xué)中的重要地位打下基礎(chǔ)。

四、結(jié)語

21世紀(jì)的外語課堂教學(xué)正在發(fā)生巨大的變化，使用易于意義表達(dá)的（諸如視覺、聽覺和動(dòng)覺）多模態(tài)的數(shù)字工具，使得語篇的使用和創(chuàng)作又有了新的方法 （Kress，1999;2003;New London Group，1996）。多模態(tài)語篇設(shè)計(jì)的探討離不開系統(tǒng)功能理論的探討。論文所涉及的功能理論也只是冰山一角，還有諸多多模態(tài)制品的功能研究沒有提及，如O’Toole（1994）的有關(guān)語言意義和其符號模式之間關(guān)系的藝術(shù)語言學(xué)研究，以及O’Halloran（2004c）、Kaltenbacher（2004）等學(xué)者對現(xiàn)代系統(tǒng)功能領(lǐng)域的各種多模態(tài)制品的研究。

[1]Baldry，A.and P.Thibault.Multimodal Transcription and TextAnalysis：A Multimedia Toolkitand Coursebook with Associated On-Line Courses[M]. London and Oakville：Equinox，2006

[2]Bateman，John A.Multimodality and Genre：A Foundation for the Systematic Analysis of Multimodal Documents[M].Palgrave Macmillan， 2011

[3]Halliday，M.A.K.Language as a Social Semiotic [M].London：Edward Arnold，1978

[4]Halliday，M.A.K.An Introduction to Functional Grammar[M].London：Edward Arnold，1985/1994（2nd ed.）/2004（by Halliday&Matthiessen）.

[5]Halliday，M.A.K.& Hasan，R.Cohesion in English[M].London：Longman，1976

[6]Hasan，R.The Texture of a Text[A].In M.A.K. Halliday&R.Hasan，Language，Context and Text [C].London：Oxford University Press，1989：70-96

[7]IEEE.Reference Guide for Instructional Design and Development，available online at www.ieee. org.，2001

[8]Jewitt，C.，& Kress，G.R. （eds.）.Multimodal Literacy[C].New York：Peter Lang，2003

[9Kaltenbacher，M.Perspectives on Multimodality：from the Early Beginnings to the State of the Art [J].Information Design Journal，2004，12（3）：190-207

[10]Kress，G.R.Reading Images：Multimodality，Representation and New Media.A paper presented at Expert Forum for Knowledge Presentation，2004

[11]Kress，G.R.Issues for a Working Agenda in Literacy[A].In O’Brien，T.（ed.）.Language and. Literacies [C].San Francisco： Jossey Bass Publishers，1999

[12]Kress，G.R.Literacy in the New Media Age[M]. London：Routledge，2003

[13]Kress，G.R.Before Writing：Rethinking the Paths to Literacy[M].London：Routledge，1997

[14]Kress，G.R.，Leite-García and T.van Leeuwen. Discourse Semiotics [A].In Teun A.van Dijk（（ed.）.Discourse as Structure and Process[C]. New York：Sage Publications，1997

[15]Kress，G.R.，&van Leeuwen，T.Reading Images [M].Geelong，Victoria：Deakin University Press，1990

[16]Kress，G.R.&van Leeuwen，T.Reading Images：The Grammar Of Visual Design [M].London：Routledge，1996

[17]Kress，G.R.& Van Leeuwen，T.Multimodal Discourse：The Modes and Media of Contemporary Communication[M].London：Arnold，2001

[18]Kress，G.R.，Jewitt，C.，Ogborn，J.&Tsatsarelis，C.MultimodalTeaching and Learning： The Rhetoric of the Science Classroom[M].London：Continuum，2001

[19]Lemke，Jay.Multiplying Meaning：Visual and Verbal Semiotics in Scientific Text[A].In J.Martin and R.Veel（eds.）.Reading Science：Critical and Functional Perspectives on Discourses of Science [C].London：Routledge.1998：87-113

[20]Martin，J.R.English Text：System and Structure [M].Amsterdam：Benjamins，1992

[21]Martinec，Radan. Cohesion in Action [J]. Semiotica.1998，120（1-2）：161-180

[22]Martinec，Radan.Topics in Multimodality[A].In J. Webster，R.Hasan，and C.M.Matthiessen（eds.）. Continuing Discourse on Language：A Functional Perspective（Vol.1）[C].London and New York：Equinox：2005：157-181

[23]Martinec，Radan&Andrew Salway.A System for Image-Text Relations in New（and Old）Media[J]. Visual Communication.2005，4（3），337-371

[24]Matthiessen，C. The Multimodal Page： A Systemic Functional Exploration[A].In T.Royce and W.Bowcher （eds.）.New Directions in the Analysis of Multimodal Discourse[C].New Jersey and London：Lawrence Erlbaum Associates，2007

[25]Merrill，M.D.，Drake，L.，Lacy，M.J.，Pratt，J.，& ID2_Research_Group. Reclaiming Instructional Design[J].Educational Technology，1996：36（5）：5-7

[26]Mirzoeff，N.An Introduction to Visual Culture [M].London：Routledge，1999

[27]O’Halloran，Kay L.（eds.）.Multimodal Discourse Analysis：Systemic-Functional Perspectives[C]. London：Continuum （Open Linguistics Series），2004c

[28]O’Toole，M.The Language of Displayed Art[M]. London：Leicester University Press，1994

[29]Royce，T. Intersemiotic Complementarity： A Framework for Multimodal Discourse Analysis[A]. In Royce，T.and W.Bowcher（eds.）.New Directions in the Analysis of Multimodal Discourse[C].New Jersey and London： Lawrence Erlbaum Associates，2007

[30]Scollon，Ron & Levine，Philip. Multimodal Discourse Analysis as the Confluence of Discourse and Technology[M].Washington DC.：Georgetown University Press，2004

[31]Smith，P.L.&Ragan，T.J.Instructional Design [M].New York：Macmillan，1993/1999（edition by Wiley&Sons）

[32]The New London Group.A Pedagogy of Multiliteracies： Designing Social Futures[J]. Harvard Educational Review，Spring，1996，66（1）：60-92

[33]胡壯麟.社會(huì)符號學(xué)研究中的多模態(tài)化[J].語言教學(xué)與研究，2007，（1）：1-10

[34]楊信彰.多模態(tài)語篇分析與系統(tǒng)功能語言學(xué)[J].外語教學(xué)，2009，（4）：11-14

[35]張德祿.多模態(tài)外語教學(xué)的設(shè)計(jì)與模態(tài)調(diào)用初探[J].中國外語，2011，（3）：48-75

[36]朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊，2007，（5）：82-86