劉 宇

(四川外國(guó)語(yǔ)大學(xué) 出國(guó)培訓(xùn)部，重慶 400031)

1.引言

隨著社會(huì)結(jié)構(gòu)的變遷及信息技術(shù)的普及，圖片、錄像、動(dòng)漫、三維模型等多模態(tài)交際方式在教育領(lǐng)域中的運(yùn)用日益頻繁。從20世紀(jì)90年代起，以系統(tǒng)功能語(yǔ)言學(xué)為基礎(chǔ)的多模態(tài)研究蓬勃發(fā)展，其階段性成果已經(jīng)獲得澳大利亞，英國(guó)等發(fā)達(dá)國(guó)家教育部門(mén)的高度重視，并成為當(dāng)?shù)刂行W(xué)不同學(xué)科教學(xué)改革的理論依據(jù)和實(shí)踐指南 (Prain＆Waldrip，2010:1－3)。我國(guó)學(xué)者近年來(lái)開(kāi)始關(guān)注國(guó)外多模態(tài)研究的進(jìn)展，并積極運(yùn)用于外語(yǔ)教學(xué)領(lǐng)域(張德祿、王璐，2010)?？偟膩?lái)看，國(guó)內(nèi)多模態(tài)研究的重點(diǎn)在于培養(yǎng)學(xué)生的普通識(shí)作能力(generic literacy)，特別是利用圖片等非語(yǔ)言表征手段提高學(xué)生的英語(yǔ)聽(tīng)說(shuō)讀寫(xiě)水平。相比之下，國(guó)內(nèi)現(xiàn)有文獻(xiàn)鮮少論及國(guó)際多模態(tài)研究的另一大熱點(diǎn):即如何分析數(shù)學(xué)、物理、化學(xué)等科目中的多模態(tài)表征，并培養(yǎng)學(xué)生的學(xué)科識(shí)作能力(disciplinary literacy)(Moje，2008)。與語(yǔ)言課程不同，學(xué)科教育中圖形，符號(hào)等非文字交際手段一直都是教學(xué)與測(cè)試的重要內(nèi)容，因此借鑒多模態(tài)研究的成果對(duì)提高我國(guó)學(xué)科教育水平具有更為重要的價(jià)值。本文主要結(jié)合化學(xué)學(xué)科中的圖文并茂現(xiàn)象介紹多模態(tài)研究的理論依據(jù)和研究范圍，并探討該項(xiàng)研究對(duì)我國(guó)科學(xué)教育的啟示。

2.理論基礎(chǔ)

系統(tǒng)功能語(yǔ)言學(xué)理論由英國(guó)語(yǔ)言學(xué)家Halliday在20世紀(jì)70年代創(chuàng)立。當(dāng)時(shí)占據(jù)主導(dǎo)地位的形式語(yǔ)言學(xué)主張將將語(yǔ)言視作一個(gè)自給自足的封閉體系進(jìn)行研究。Halliday則反對(duì)把語(yǔ)言同其他社會(huì)現(xiàn)象隔離開(kāi)來(lái)，強(qiáng)調(diào)語(yǔ)言是人際交流的重要產(chǎn)物和根本途徑，研究言語(yǔ)活動(dòng)必須考慮其產(chǎn)生的社會(huì)語(yǔ)境(social context)，包括具體語(yǔ)言形式背后的文化動(dòng)因(Halliday，1978:18－19)。

系統(tǒng)功能語(yǔ)言學(xué)家透過(guò)層次化的視角揭示社會(huì)語(yǔ)境和語(yǔ)言現(xiàn)象之間的互動(dòng)關(guān)系，將兩者視作不同層次的符號(hào)系統(tǒng)，前者較為抽象，而后者較為具體。同時(shí)，語(yǔ)言本身按照抽象程度從高到低也可以分為意義①?gòu)南到y(tǒng)功能理論視角來(lái)看(例如:Martin，1997:4)，語(yǔ)言可以構(gòu)建三種意義:概念意義(再現(xiàn)主客觀世界所發(fā)生的事件)，人際意義(說(shuō)話人與受眾之間構(gòu)建何種人際關(guān)系)和組篇意義(語(yǔ)言使用者如何將各個(gè)語(yǔ)言片段組合成一個(gè)連貫的整體)。限于篇幅，本文只討論概念意義。、語(yǔ)法、及媒介形式(聲音，文字)三個(gè)層次。社會(huì)語(yǔ)境同語(yǔ)言的各個(gè)層次之間存在相互識(shí)解(construe)關(guān)系:一方面，特定的社會(huì)語(yǔ)境制約著語(yǔ)言的選擇;另一方面，具體的某種語(yǔ)言形式也構(gòu)建出相應(yīng)的社會(huì)語(yǔ)境(Martin，1997:4－6)。社會(huì)語(yǔ)境和語(yǔ)言兩種符號(hào)系統(tǒng)各個(gè)層次之間的互動(dòng)對(duì)揭示科學(xué)知識(shí)的構(gòu)建和傳播具有重要意義。Halliday(1998:228)指出，科學(xué)探索既是一種物質(zhì)活動(dòng)，也是一種符號(hào)活動(dòng)?？茖W(xué)家在利用技術(shù)設(shè)備對(duì)物質(zhì)世界進(jìn)行調(diào)查研究的同時(shí)，需要特定的語(yǔ)言形式來(lái)構(gòu)建和組織相應(yīng)的科學(xué)知識(shí)。例如:“木炭在空氣中燃燒”同“碳與氧氣反應(yīng)”兩句話可以用來(lái)描述類(lèi)似的物質(zhì)現(xiàn)象。但兩者首先在語(yǔ)法層面上體現(xiàn)為不同的形式:第一句話中，名詞“木炭”和“空氣”的語(yǔ)法角色不同?！澳咎俊弊髦髡Z(yǔ)，而“空氣”則是地點(diǎn)狀語(yǔ)“在空氣中”的一部分;相比之下，第二句話中兩個(gè)名詞“碳”和“氧氣”均作主語(yǔ)。從系統(tǒng)功能語(yǔ)言學(xué)的視角來(lái)看，兩句話在語(yǔ)法構(gòu)型上的不同也體現(xiàn)為語(yǔ)義層面上的差異:第一句話中“空氣”的語(yǔ)義角色是表示空間位置的“環(huán)境成分”。與此不同，第二句話中“碳”和“氧氣”的語(yǔ)義角色都是“參與者”。不同的意義在更為抽象的層面上構(gòu)建出不同的語(yǔ)境:前一句表明空氣在燃燒現(xiàn)象中的地位較為次要，詮釋出的是日常經(jīng)驗(yàn);而后一句話表明碳和氧氣兩種物質(zhì)在燃燒過(guò)程中缺一不可，詮釋出的則是科學(xué)知識(shí)。

系統(tǒng)功能語(yǔ)言學(xué)者Lemke(1998:92－94)認(rèn)為，學(xué)習(xí)科學(xué)知識(shí)的核心任務(wù)在于掌握科學(xué)概念的意義。由于意義直接同語(yǔ)境及語(yǔ)法兩個(gè)層次互動(dòng)，這就不僅需要了解科學(xué)概念產(chǎn)生的社會(huì)語(yǔ)境及理論背景，而且必須清楚科學(xué)家如何使用特定的語(yǔ)法結(jié)構(gòu)來(lái)構(gòu)建意義。相比之下，語(yǔ)法構(gòu)型比語(yǔ)境層面更為具體，因此成為理解科學(xué)概念的一個(gè)重要途徑。另外，科學(xué)探索活動(dòng)的多模態(tài)特征也引起了語(yǔ)言學(xué)家的高度重視。從20世紀(jì)90年代開(kāi)始，一批從事系統(tǒng)功能語(yǔ)言學(xué)研究的學(xué)者本著“語(yǔ)言是一種社會(huì)符號(hào)”的基本思想，將研究對(duì)象拓展到圖像、數(shù)學(xué)符號(hào)、三維模型等多種交際手段(Kress＆van Leeuwen，1996;Lemke，1998)。Matthiessen(2009:12)，認(rèn)為非語(yǔ)言模態(tài)同語(yǔ)言符號(hào)一樣，都是社會(huì)語(yǔ)境的體現(xiàn)方式，各種模態(tài)內(nèi)部也可以劃分為意義，語(yǔ)法和媒介形式三個(gè)層次。

從多模態(tài)的視角來(lái)看，一個(gè)科學(xué)概念可以體現(xiàn)為多個(gè)意義的組合，而每個(gè)意義又由不同模態(tài)通過(guò)特殊的語(yǔ)法結(jié)構(gòu)加以構(gòu)建。例如:“甲烷”這一概念在媒介形式層面上可以體現(xiàn)為書(shū)面語(yǔ)，三維模型和科學(xué)符號(hào)等不同模態(tài)。這三種模態(tài)通過(guò)各自不同的語(yǔ)法構(gòu)型構(gòu)建出多重意義:名詞短語(yǔ)“甲烷”利用“分類(lèi)詞+中心詞”結(jié)構(gòu)表明這種化學(xué)物質(zhì)是烷烴的一種;球棍模型利用三維空間手段顯示出碳原子和氫原子的位置關(guān)系;分子式則通過(guò)元素符號(hào)與數(shù)學(xué)符號(hào)的緊密結(jié)合讓讀者對(duì)分子內(nèi)碳原子和氫原子的數(shù)量一目了然。值得關(guān)注的是，這里所說(shuō)的“語(yǔ)法”，已經(jīng)不再局限為正確使用語(yǔ)言的一系列規(guī)則，而是泛指某種模態(tài)內(nèi)部或者不同模態(tài)之間成分與成分的組合方式及其構(gòu)建意義的手段(Kress et al.，2001:12)。

除了系統(tǒng)功能語(yǔ)言學(xué)家，國(guó)際科學(xué)教育界也開(kāi)始高度重視科學(xué)語(yǔ)篇的多模態(tài)特征。Pearson，Moje＆Greenleaf(2010)在新近出版的國(guó)際權(quán)威學(xué)術(shù)期刊《科學(xué)》(Science)上撰文指出:文字、圖像、化學(xué)符號(hào)、三維模型等并非只是被動(dòng)記錄和傳播現(xiàn)有知識(shí)的載體;相反，各種模態(tài)都可視為探索物質(zhì)世界的研究工具，同科學(xué)儀器的功能相似;而閱讀及撰寫(xiě)科研報(bào)告、繪制圖表、進(jìn)行公式演算等活動(dòng)本身就是科學(xué)探究的組成部分，因此教師必須重視語(yǔ)言等各種符號(hào)表征手段在科學(xué)教育中的重要作用，并努力將學(xué)生的閱讀、寫(xiě)作、討論、繪圖、使用三維模型等活動(dòng)同其他科學(xué)探究活動(dòng)有機(jī)結(jié)合在一起。

例如，美國(guó)愛(ài)荷華大學(xué)開(kāi)展了一項(xiàng)大型教學(xué)改革項(xiàng)目(Hand＆ Choi，2010)，在學(xué)習(xí)“芳香烴”部分時(shí)，教師為學(xué)生提供了一份實(shí)驗(yàn)報(bào)告模板，要求學(xué)生在進(jìn)行科學(xué)實(shí)驗(yàn)的過(guò)程中，以書(shū)面形式首先進(jìn)行假設(shè)，提出研究的問(wèn)題，然后設(shè)計(jì)實(shí)驗(yàn)過(guò)程，描述實(shí)驗(yàn)中觀察到的現(xiàn)象，解釋這些現(xiàn)象并得出結(jié)論，最后檢查并確認(rèn)自己的結(jié)論。除此之外，教師還要求學(xué)生在實(shí)驗(yàn)報(bào)告中合適的位置繪制插圖和分子式。該研究證明，將科學(xué)表征同科學(xué)實(shí)踐密切結(jié)合的方式有效地提高了學(xué)生的科學(xué)素養(yǎng)。但同語(yǔ)言相比，如何清楚解釋多模態(tài)表征的功能以及有效幫助學(xué)生掌握恰當(dāng)?shù)谋碚餍问降葐?wèn)題對(duì)教師提出了更大的挑戰(zhàn)。而借鑒系統(tǒng)功能語(yǔ)言學(xué)研究的成果，熟悉和使用多模態(tài)研究的方法，為攻克這一難題提供了有效途徑。

3.科學(xué)教育語(yǔ)篇多模態(tài)研究的范圍和方法

從現(xiàn)有文獻(xiàn)來(lái)看(O’Halloran，2011)，多模態(tài)研究的范圍主要包括符內(nèi)符號(hào)化研究(intrasemiosis)、符際符號(hào)化研究(intersemiosis)以及重新符號(hào)化研究(resemioticization)等三個(gè)不同側(cè)面。其研究方法均秉承了系統(tǒng)功能語(yǔ)言學(xué)的基本思路，將圖像、科學(xué)符號(hào)、三維模型等各種表征手段都視作構(gòu)建意義的資源，并借鑒語(yǔ)言研究的功能范疇和標(biāo)簽對(duì)多模態(tài)表征的語(yǔ)法構(gòu)型進(jìn)行分析。以下部分將結(jié)合三種研究在科學(xué)教育領(lǐng)域中的應(yīng)用分別進(jìn)行闡述。

3.1 符內(nèi)符號(hào)化研究

符內(nèi)符號(hào)化研究運(yùn)用系統(tǒng)功能語(yǔ)言學(xué)的基本分析方法剖析非語(yǔ)言表征形式的意義構(gòu)建方式。例如，語(yǔ)言研究使用及物系統(tǒng)考察句子構(gòu)建經(jīng)驗(yàn)的方式。其中“過(guò)程”(process)是一個(gè)具有核心地位的功能范疇，在語(yǔ)言中主要體現(xiàn)為一個(gè)動(dòng)詞(比如:“反應(yīng)”)。多模態(tài)研究表明:類(lèi)似的功能在視覺(jué)語(yǔ)法中常常體現(xiàn)為一個(gè)或多個(gè)傾斜的箭頭，而在科學(xué)符號(hào)中體現(xiàn)為一個(gè)加號(hào)。同樣，“參與者”(participant)這個(gè)功能范疇在語(yǔ)言中主要體現(xiàn)為一個(gè)名詞(比如:“氯化鈉”)，在視覺(jué)語(yǔ)法中可以體現(xiàn)為呈現(xiàn)一堆白色物質(zhì)的圖形，而在科學(xué)符號(hào)中體現(xiàn)為一個(gè)化學(xué)式NaCl。這些研究表明，不同模態(tài)的表征可以利用獨(dú)特的語(yǔ)法形式構(gòu)建出相似的功能。

另一方面，符內(nèi)符號(hào)化研究強(qiáng)調(diào)任何一種模態(tài)都無(wú)法完全復(fù)制其他模態(tài)的功能，在表達(dá)意義時(shí)各有所長(zhǎng)。Lemke(1998:92－94)就曾指出:語(yǔ)言這種表征形式擅長(zhǎng)用于對(duì)各種現(xiàn)象進(jìn)行分類(lèi)，從而構(gòu)建出“范疇意義”(categorical meaning);圖像則能清楚地顯示各種細(xì)微的變化，從而構(gòu)建出“程度意義”(topological meaning)。這些語(yǔ)義上的差異也是源于各種模態(tài)不同的語(yǔ)法形式。比如，語(yǔ)言中名詞之前可以添加一系列名詞作為定語(yǔ)(例如“鈉”、“硫酸鈉”、“硫代硫酸鈉”)，這種語(yǔ)法構(gòu)型有利于對(duì)研究對(duì)象進(jìn)行詳盡的分類(lèi)。同樣，圖像有形狀、大小、顏色等多種語(yǔ)法資源可以凸顯細(xì)節(jié)上的差異，因此能夠有效地描述各種不同程度(例如學(xué)生通過(guò)觀察PH試紙顏色可以判斷不同物質(zhì)的酸堿度)。

上述研究表明:科學(xué)語(yǔ)篇中的多模態(tài)表征能夠構(gòu)建出語(yǔ)言無(wú)法單獨(dú)表達(dá)的意義，因此對(duì)于科學(xué)知識(shí)的理解和傳播至關(guān)重要。近年來(lái)，西方科學(xué)教育界學(xué)者開(kāi)始以符內(nèi)符號(hào)化理論為指導(dǎo)進(jìn)行實(shí)證研究。Dimopoulos，Koulaidis＆ Sklaveniti(2003)運(yùn)用圖像語(yǔ)法中的及物系統(tǒng)分析了希臘中小學(xué)20世紀(jì)90年代所使用的六種科學(xué)教科書(shū)及同期希臘國(guó)內(nèi)四家主流報(bào)社所刊發(fā)的1867篇科技報(bào)道中的圖像類(lèi)別。他們發(fā)現(xiàn):兩種媒體中一半以上的圖像從語(yǔ)法構(gòu)型上看都屬于“分析過(guò)程”(analytical process)。這就說(shuō)明，教材和報(bào)刊中圖像的設(shè)計(jì)者都把理解科學(xué)對(duì)象整體和部分之間的關(guān)系視作最重要的學(xué)習(xí)任務(wù)。但是，教科書(shū)與報(bào)刊的及物系統(tǒng)類(lèi)型在另外一些方面存在較大差異。例如，教科書(shū)中有10.4%的插圖屬于“分類(lèi)過(guò)程”而在科技報(bào)道中這一比例僅占2.4%，說(shuō)明前者比后者更為重視科學(xué)對(duì)象之間的類(lèi)屬關(guān)系。Dimopoulos et al.(2003:205)據(jù)此強(qiáng)調(diào):教師如果將科技報(bào)道用作科學(xué)教育的補(bǔ)充資料時(shí)必須了解這些差異，并對(duì)報(bào)道進(jìn)行合理的挑選，這樣才能避免科普讀物在內(nèi)容上同中小學(xué)教材出現(xiàn)脫節(jié)的現(xiàn)象。

3.2 符際符號(hào)化研究

符際符號(hào)化研究主要關(guān)注兩種或兩種以上不同模態(tài)之間的關(guān)聯(lián)和互動(dòng)及其對(duì)整個(gè)語(yǔ)篇意義構(gòu)建所造成的影響，其基本思想和分析方法主要借鑒了系統(tǒng)功能語(yǔ)言學(xué)中的銜接理論。Halliday＆Hasan(1976:26)認(rèn)為，與字、詞、短語(yǔ)和句子等語(yǔ)法單位不同，語(yǔ)篇是一個(gè)意義單位。因此判斷某個(gè)語(yǔ)言片段是不是語(yǔ)篇，一條很重要的標(biāo)準(zhǔn)不是看其中字詞或句子的數(shù)量，而是看這個(gè)片段中不同部分之間有沒(méi)有語(yǔ)義上的聯(lián)系，或者說(shuō)是否存在銜接手段。我們可以通過(guò)人教版初中化學(xué)教科書(shū)中的一段話對(duì)銜接手段進(jìn)行簡(jiǎn)要介紹:

(1)純水是無(wú)色，無(wú)臭，清澈透明的。而自然界中的河水、湖水、井水、海水等天然水由于含有很多可溶性和不溶性雜質(zhì)，因此常呈混濁。

這段話中有兩個(gè)句子，要判斷它們究竟是任意拼湊的語(yǔ)言片段還是一個(gè)連貫的語(yǔ)篇?需要我們對(duì)兩句話之間的語(yǔ)義聯(lián)系進(jìn)行分析。從系統(tǒng)功能語(yǔ)言學(xué)的視角來(lái)看，前后兩句話中的名詞“純水”和“天然水”屬于“共同下義詞”(co-hyponymy)。具體來(lái)講，純水和天然水都是水的一種形式，因此同屬“水”這個(gè)名詞的下義詞。另外，第一句中形容詞“清澈透明”和第二句中形容詞“混濁”屬于“反義關(guān)系”(antonymy)。這兩種詞匯銜接手段如同膠水一般發(fā)揮作用，將前后兩句話有機(jī)地結(jié)合起來(lái)成為語(yǔ)義上的一個(gè)整體。

從事多模態(tài)研究的學(xué)者嘗試使用語(yǔ)言研究中的銜接概念來(lái)分析多模態(tài)語(yǔ)篇中不同模態(tài)之間的互動(dòng)。這種借鑒具有合理性，原因在于銜接理論強(qiáng)調(diào)的是語(yǔ)義關(guān)系，而圖像等多模態(tài)表征同語(yǔ)言一樣都是構(gòu)建意義的資源。例如，Royce(1998:33)在考察《經(jīng)濟(jì)學(xué)家》雜志上一則圖文并茂的公益廣告時(shí)指出，照片上人物穿的是工作服，這一圖像所構(gòu)建的意義同文字中名詞“公司”所構(gòu)建的意義常常出現(xiàn)在同一語(yǔ)境當(dāng)中，因此兩者之間存在“搭配關(guān)系”，該銜接方式有助于讀者在解讀廣告時(shí)將兩種不同模態(tài)視作是一個(gè)有機(jī)的整體。

研究不同模態(tài)之間的銜接方式可以揭示學(xué)生在理解科學(xué)語(yǔ)篇過(guò)程中遇到的困難和挑戰(zhàn)。英國(guó)劍橋大學(xué)兩位學(xué)者Crisp＆Sweiry(2006)考察了英國(guó)525名中學(xué)生在解答帶有插圖的科學(xué)試題時(shí)的表現(xiàn)。他們的結(jié)論是，盡管插圖在某些時(shí)候能夠幫助學(xué)生更快速和準(zhǔn)確地理解試題，但在另一些時(shí)候也會(huì)造成誤解。例如，有道試題配發(fā)了一張顯示牙膏、牙刷、漱口杯、洗發(fā)香波、香皂等日用品的照片(見(jiàn)圖1)，其文字?jǐn)⑹鲋刑岬健把栏嗪刑妓徕c，能夠中和口腔中的酸性物質(zhì)從而保護(hù)牙齒”。提出的問(wèn)題是“碳酸鈉和鹽酸反應(yīng)會(huì)生成哪些產(chǎn)物(products)?”結(jié)果相當(dāng)高比例的學(xué)生把答案錯(cuò)填為“洗發(fā)香波”或“香皂”。Crisp＆Sweiry(2006:148)認(rèn)為，該題目的插圖誤導(dǎo)了學(xué)生。由于products這個(gè)名詞有兩個(gè)不同意思:一是指學(xué)生比較熟悉的“日用品”，二是指化學(xué)領(lǐng)域中的“反應(yīng)生成物”。而圖1照片顯示的都是日用品，因此誤導(dǎo)部分學(xué)生把題目中的“products”理解成第一種含義。

圖1 化學(xué)試題中的插圖范例

現(xiàn)存多模態(tài)研究成果(例如:Dimopoulos et al.，2003)已經(jīng)證明，圖像是構(gòu)建科學(xué)語(yǔ)篇的重要資源，因而在題目中使用插圖本身無(wú)可厚非。值得關(guān)注的是，上述例子表明盡管學(xué)生沒(méi)有系統(tǒng)學(xué)習(xí)過(guò)銜接理論，他們?cè)谧x題時(shí)實(shí)際上已經(jīng)開(kāi)始自覺(jué)尋找不同模態(tài)之間的語(yǔ)義聯(lián)系。從銜接的視角來(lái)看，學(xué)生犯錯(cuò)主要是因?yàn)檎`解了這道習(xí)題中的圖文關(guān)系(Liu，2014:80－81)。出題方使用包括牙膏照片在內(nèi)的插圖，其主要目的是構(gòu)建與文字?jǐn)⑹鲋忻~“牙膏”在語(yǔ)義上的“對(duì)應(yīng)關(guān)系”，這樣做可以把考試同學(xué)生的日常生活聯(lián)系在一起，從而降低題目的抽象性。然而，部分學(xué)生沒(méi)能領(lǐng)會(huì)到題目設(shè)計(jì)者使用圖像的初衷，他們誤以為該圖像同問(wèn)題中“products”(日用品)一詞之間存在“上下義”關(guān)系(例如，洗發(fā)香波，香皂等都是日用品)，因此給出了錯(cuò)誤答案。由此可見(jiàn)，要正確理解多模態(tài)科學(xué)語(yǔ)篇的意義，并按照考試要求正確解答習(xí)題，一個(gè)關(guān)鍵之處在于厘清不同模態(tài)之間的關(guān)系。

3.3 重新符號(hào)化研究

重新符號(hào)化研究同符際符號(hào)化研究一樣，其考察對(duì)象均為不同模態(tài)之間的互動(dòng)。但不同之處在于，前者是從空間的視角分析多模態(tài)文本，例如考卷同一頁(yè)面上文字和插圖的語(yǔ)義關(guān)系;后者則是從時(shí)間的視角分析符號(hào)現(xiàn)象或事件的發(fā)展歷程，主要研究各種表征之間的轉(zhuǎn)化。社會(huì)符號(hào)學(xué)者Iedema(2003:30)提出“重新符號(hào)化”(resemioticization)概念。他解釋說(shuō)，現(xiàn)有多模態(tài)研究主要關(guān)注多種符號(hào)表征參與構(gòu)建文本的復(fù)雜性，而很少解釋意義在構(gòu)建過(guò)程中所發(fā)生的動(dòng)態(tài)變化，重新符號(hào)化研究恰好能彌補(bǔ)這一不足之處。例如，英國(guó)中小學(xué)英語(yǔ)課程將“人物形象”作為教學(xué)的一項(xiàng)核心任務(wù)，在考試中要求學(xué)生分析文學(xué)作品中特定人物的形象，并對(duì)不同人物進(jìn)行比較。然而，課堂上文學(xué)作品的載體既有原著的書(shū)本形式，也包括最新制作的光盤(pán)等多媒體材料，這些不同的文本對(duì)人物塑造產(chǎn)生了深刻影響。英國(guó)教育學(xué)家Jewitt(2002)注意到了這個(gè)問(wèn)題，并借助重新符號(hào)化視角分析了美國(guó)小說(shuō)《人鼠之間》(Of Mice and Men)中的人物形象。她發(fā)現(xiàn)，文字小說(shuō)和多媒體光盤(pán)對(duì)同一人物所塑造出的形象有時(shí)候會(huì)大相徑庭:其中一名男配角黑人柯魯克斯在原著中被描述成一個(gè)卑賤的奴隸;而光盤(pán)中敘述者運(yùn)用舒緩而又深沉的嗓音表現(xiàn)出對(duì)柯魯克斯的敬意，同時(shí)采用的插圖(穿戴整齊，并以大量的書(shū)籍為背景)也凸顯了該人物的睿智和有教養(yǎng)Jewitt(2002:192－193)。據(jù)此提醒教師，人物形象并非一成不變，必須重視教學(xué)中多模態(tài)表征所進(jìn)行的重新塑造。

重新符號(hào)化現(xiàn)象在科學(xué)教育領(lǐng)域中也十分普遍。比如，考試中常常要求學(xué)生根據(jù)物質(zhì)的名稱寫(xiě)出其正確的化學(xué)式，這其實(shí)就是一種從文字到科學(xué)符號(hào)的重新符號(hào)化現(xiàn)象。但是在講解此類(lèi)題目時(shí)，老師強(qiáng)調(diào)的重點(diǎn)往往是形式上的某些規(guī)約性條款。例如，氯化鈉應(yīng)該寫(xiě)成NaCl而不是ClNa。這樣使得不少學(xué)生誤認(rèn)為化學(xué)式和物質(zhì)的名稱在意義上沒(méi)有什么區(qū)別，而前者只不過(guò)是用一種比較新奇獨(dú)特的形式來(lái)表達(dá)后者的內(nèi)容(Liu，2009:138)。

然而，從歷時(shí)的角度來(lái)看，重新符號(hào)化現(xiàn)象蘊(yùn)含著深刻的科學(xué)背景并帶來(lái)了語(yǔ)義的擴(kuò)張，使得新出現(xiàn)的表征形式能夠用來(lái)構(gòu)建新的科學(xué)理論。19世紀(jì)初，眾多化學(xué)家都在努力探索一個(gè)重大問(wèn)題:為什么某些物質(zhì)能同另一些(而非全部)物質(zhì)發(fā)生化學(xué)反應(yīng)?瑞典科學(xué)家Berzelius受到“電偶效應(yīng)”理論的啟示，嘗試將化學(xué)反應(yīng)解釋為原子之間正負(fù)電荷的結(jié)合。例如，Berzelius使用符號(hào)形式“2H+O”對(duì)“水”這個(gè)名稱進(jìn)行重新表征。值得教師和學(xué)生共同注意的是，化學(xué)式“2H+O”構(gòu)建出了一個(gè)動(dòng)態(tài)的反應(yīng)過(guò)程，而名詞“水”則只是在詮釋靜態(tài)的事物。從語(yǔ)義的視角來(lái)看，重新符號(hào)化這一機(jī)制就成為了科學(xué)探索的重要工具，使得科學(xué)家可以從微觀的角度重新解釋物質(zhì)現(xiàn)象，從而推動(dòng)相關(guān)科學(xué)理論的創(chuàng)立和發(fā)展(Liu＆Owyong，2011:832)。

4.啟示與展望

多模態(tài)研究為我國(guó)科學(xué)教育的發(fā)展提供了一種有益的新模式。長(zhǎng)期以來(lái)，科學(xué)教育工作者希望學(xué)生通過(guò)接觸圖像、化學(xué)式、三維模型等科學(xué)表征方式，能夠潛移默化地在大腦中建立起一種特殊認(rèn)知模式(徐寧、郭玉英，2009)。這實(shí)際上是一種隱性教學(xué)模式。由于科學(xué)表征方式的抽象性較高，如果沒(méi)有清楚而詳盡的講解，就很難發(fā)展出一套行之有效的教學(xué)法，要初學(xué)者理解復(fù)雜的多模態(tài)現(xiàn)象恐怕只能是教師的一廂情愿。

與此不同，多模態(tài)研究將“科學(xué)概念”視作在一定社會(huì)歷史語(yǔ)境中產(chǎn)生出的多種特殊意義的集合，而文字、圖像、三維模型、科學(xué)符號(hào)等表征手段是構(gòu)建意義的重要資源，而不是像管道一樣僅僅發(fā)揮傳輸?shù)淖饔谩Ｓ纱丝梢?jiàn)，多模態(tài)表征本身就具備極高的教學(xué)價(jià)值，而解讀科學(xué)語(yǔ)篇也就成為學(xué)生進(jìn)行科學(xué)探究活動(dòng)的重要內(nèi)容。由于系統(tǒng)功能理論已廣泛用于描述圖像、科學(xué)符號(hào)、三維模型等各種表征的表義方式，借鑒多模態(tài)研究成果有助于明確教學(xué)內(nèi)容，細(xì)化教學(xué)策略，從而發(fā)展出一套顯性教學(xué)模式提高教學(xué)水平。例如，教師可以通過(guò)分析名詞“Methane”(甲烷)，化學(xué)式CH4及其三維模型的語(yǔ)法構(gòu)型幫助學(xué)生理解三者在功能上的差異，從而有效地幫助學(xué)生全面掌握“甲烷”這一科學(xué)概念。同時(shí)，明確不同表征手段在功能上存在差異和互補(bǔ)關(guān)系也有助于學(xué)生更準(zhǔn)確地把握相關(guān)外語(yǔ)(例如:英語(yǔ))表述的意義，從而更有效地學(xué)習(xí)“特殊用途英語(yǔ)”。

除此之外，多模態(tài)研究也為我國(guó)學(xué)科教育教材的編纂提供了合理的設(shè)計(jì)原則和評(píng)價(jià)標(biāo)準(zhǔn)。教材作為課堂教學(xué)的重要資源，其編寫(xiě)與改革需要考慮多個(gè)要素。鑒于當(dāng)代學(xué)科教育(例如生物、地理、物理、化學(xué))教科書(shū)的圖文并茂現(xiàn)特點(diǎn)十分突出，多模態(tài)研究為編纂工作提供了理論依據(jù)，可以幫助編者決定在教材中選取什么類(lèi)型的圖像，在不同種類(lèi)的圖像之間保持何種比率關(guān)系，以及圖像與文字部分應(yīng)該建立何種關(guān)系。除此之外，多模態(tài)研究成果也可以用來(lái)系統(tǒng)地評(píng)價(jià)現(xiàn)有教材中多模態(tài)表征的設(shè)計(jì)水準(zhǔn)，從而改進(jìn)不合理的地方。

多模態(tài)研究還為我國(guó)教育領(lǐng)域內(nèi)不同學(xué)科之間的交流合作開(kāi)啟了大門(mén)。如前文所述，多模態(tài)研究特別強(qiáng)調(diào)著語(yǔ)法和意義之間的互動(dòng)，而這兩個(gè)層次涉及不同學(xué)科的教師。一方面，語(yǔ)文和外語(yǔ)教師往往擅長(zhǎng)分析語(yǔ)法構(gòu)型;另一方面，其他學(xué)科教師則能夠更為準(zhǔn)確地把握某一概念所蘊(yùn)含的意義。由此看來(lái)，多模態(tài)研究為語(yǔ)言教師同學(xué)科教師之間的密切協(xié)作提供了一個(gè)合適的平臺(tái)，這個(gè)平臺(tái)將幫助他們打破學(xué)科限制，攜手并進(jìn)，共同參與學(xué)科教育的課程設(shè)計(jì)和教學(xué)實(shí)踐，最終確保教學(xué)質(zhì)量的提高。

［1］Crisp，V.＆ E.Sweiry.Can a Picture Ruin a Thousand Words?The Effects of Visual Resources in Exam Questions［J］.Educational Research，2006(2):139–154.

［2］Dimopoulos，K.，Koulaidis，V.＆ S.Sklaveniti.Towards an Analysis of Visual Images inSchool Science Textbooks and Press Articles about Science and Technology［J］.Research in Science Education，2003(2):189－216.

［3］Halliday，M.Language as Social Semiotic:The Social Interpretation of Language and Meaning［M］.London:Edward Arnold，1978.

［4］Halliday，M.Things and Relations:Regrammaticizing Experience as Technical Knowledge［M］//J.R.Martin ＆R.Veel.ReadingScience:CriticalandFunctional Perspectives on Discourses of Science.London:Routledge，1998:185－235.

［5］Halliday，M.＆ R.Hasan.Cohesion in English［M］.London:Longman，1976.

［6］Hand，B.＆ A.Choi.Examining the Impact of Student Use of Multiple Modal Representations in Constructing Arguments in Organic Chemistry Laboratory Classes［J］.Research in Science Education，2010(40):29 －44.

［7］Iedema，R.Multimodality，Resemiotization:Extending the Analysis of Discourse as Multi-semiotic Practice［J］.Visual Communication，2003(1):29－57.

［8］Jewitt，C.The Move from Page to Screen:The Multimodal Reshaping of School English ［J］.Visual Communication，2002(2):171－195.

［9］Kress，G.，Jewitt，C.，Ogborn，J.＆ C.Tsatsarelis.Multimodal Teaching and Learning:The Rhetorics of the Science Classroom［M］.London:Continuum，2001.

［10］Kress，G.＆ van T.Leeuwen.Reading Images:TheGrammar of Visual Design［M］.London:Routledge，1996.

［11］ Lemke，J.Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text［M］//J.R.Martin，R.Veel.Reading Science:Critical and Functional Perspectives on Discourses of Science.London:Routledge，1998:87 －113.

［12］Liu，Y.Teaching Multiliteracies in Scientific Discourse:Implications from Symbolic Construction of Chemistry［J］.K@ta，2009(2):128–141.

［13］Liu， Y. SocialSemioticMultimodalResearch:A Meaning-based Approach［J］.Signs＆Media，2014(8):73－92.

［14］ Liu，Y.＆ M. Owyong.Metaphor，Multiplicative Meaning and the Semiotic Construction of Scientific Knowledge ［J］.LanguageSciences， 2011(5):822－834.

［15］Martin，J.R.Analyzing Genre:Functional Parameters［M］//F.Christie，J.R.Martin.Genre and Institutions:Social Processes in the Workplace and School.London and Washington:Cassell，1997:3 －39.

［16］Matthiessen，C.M.I.M.Multisemiotic and Contextbased Register Typology:Registerial Variation in the Complementarity of Semiotic Systems［M］//E.Ventola＆ A.Guijarro.The World Told and the World Shown:Multisemiotic Issues.Basingstoke:Palgrave Macmillan，2009:11－38.

［17］ Moje，E.Foregrounding the Disciplines in Secondary Literacy Teaching and Learning:A Call for Change［J］.JournalofAdolescent＆AdultLiteracy，2008(2):96－107.

［18］ O’Halloran，K.L.Multimodal Discourse Analysis［M］//K.Hyland ＆ B.Paltridge.The Continuum Companion to Discourse Analysis.London and New York:Continuum，2011:120－137.

［19］Pearson，P.，Moje，E.＆ C.Greenleaf.Literacy and Science:Each in Service of the Other［J］.Science，2010(328):459－463.

［20］ Prain， V. ＆ B. Waldrip. RepresentingScience Literacies:An Introduction［J］.Research in Science Education，2010(1):1 －3.

［21］Royce，T.Synergy on the Page:Exploring Intersemiotic Complementarity in Page-based Multimodal Text［J］.JASFL Occasional Papers，1998(1):25 －49.

［22］人民教育出版社課程教育研究所.義務(wù)教育課程標(biāo)準(zhǔn)實(shí)驗(yàn)教科書(shū)化學(xué)(九年級(jí)上冊(cè))［M］.北京:人民教育出版社，2006.

［23］徐寧，郭玉英.國(guó)外物理概念轉(zhuǎn)變研究:借鑒與啟示［J］.課程·教材·教法，2009(6):92－96.

［24］張德祿，王璐.多模態(tài)話語(yǔ)模態(tài)的協(xié)同及在外語(yǔ)教學(xué)中的體現(xiàn)［J］.外語(yǔ)學(xué)刊，2010(2):97 －102.