【摘要】隨著社會(huì)的快速發(fā)展，信息和軟件的應(yīng)用在當(dāng)代被廣泛應(yīng)用，人們發(fā)現(xiàn)除了語(yǔ)言文字之外，各種各樣的符號(hào)也可以表達(dá)一定的意義，于是外國(guó)學(xué)者開(kāi)始擴(kuò)展了話(huà)語(yǔ)分析的手段，提出了多模態(tài)話(huà)語(yǔ)分析理論，并把該理論應(yīng)用到了教學(xué)鄰域，取得了良好的成果。多模態(tài)語(yǔ)篇的閱讀和寫(xiě)作是當(dāng)代交際的必然要求。

【關(guān)鍵詞】 多模態(tài);多模態(tài)教學(xué);閱讀;寫(xiě)作

【作者簡(jiǎn)介】趙香玉（1994.07-），女，蒙古族，河北承德人，云南師范大學(xué)，碩士，研究方向：語(yǔ)用學(xué)。

一、多模態(tài)語(yǔ)篇的閱讀和寫(xiě)作

多模態(tài)語(yǔ)篇的閱讀和寫(xiě)作是當(dāng)代交際的必然要求。第二語(yǔ)言作者長(zhǎng)期閱讀和書(shū)寫(xiě)各種各樣的多模態(tài)文本（如學(xué)術(shù)海報(bào)、圖畫(huà)書(shū)、小冊(cè)子、漫畫(huà)小說(shuō)、幻燈片、視頻紀(jì)錄片、網(wǎng)頁(yè)）。隨著新技術(shù)的出現(xiàn)，二語(yǔ)和多語(yǔ)作者越來(lái)越多地能為不同的目的和處理越來(lái)越復(fù)雜和復(fù)雜的多模態(tài)文本。例如，英語(yǔ)和學(xué)生在不同的語(yǔ)境中，從精英學(xué)校資源不足的設(shè)置，暴露于多通道組合和外部對(duì)說(shuō)漢語(yǔ)的課堂和說(shuō)西班牙語(yǔ)的成年人的寫(xiě)作實(shí)踐，圖片分享社交網(wǎng)站，土耳其青少年學(xué)生的漫畫(huà)創(chuàng)作，新加坡青年的數(shù)字故事，中國(guó)大學(xué)生的視頻制作，以及烏干達(dá)年輕的學(xué)生和教師對(duì)圖畫(huà)書(shū)的參與。為了應(yīng)對(duì)這種參與多通道組合在日常生活中，越來(lái)越多的研究人員檢查了二語(yǔ)或多語(yǔ)種作家如何設(shè)計(jì)、解釋、和應(yīng)對(duì)多通道文本結(jié)合的話(huà)、聲音、和圖片，以及課堂教師如何使用多通道方法支持二語(yǔ)或多語(yǔ)種作家在英語(yǔ)和英語(yǔ)語(yǔ)境。許多在二語(yǔ)語(yǔ)境下進(jìn)行的多模態(tài)作曲研究已經(jīng)探索了多模態(tài)作曲的啟示，并發(fā)現(xiàn)通過(guò)多模態(tài)作曲，二語(yǔ)/多語(yǔ)言作者練習(xí)和/或發(fā)展書(shū)面和口語(yǔ)英語(yǔ)或傳統(tǒng)語(yǔ)言，提高符號(hào)學(xué)意識(shí)，體驗(yàn)真實(shí)的寫(xiě)作機(jī)會(huì)和學(xué)校寫(xiě)作的多種途徑，探索和傳達(dá)身份;培養(yǎng)媒介和聲音，提高觀(guān)眾意識(shí)和創(chuàng)作目的，批判性地參與生活中的社會(huì)政治問(wèn)題。

這些研究試圖通過(guò)借鑒不同的理論視角來(lái)闡釋二語(yǔ)/多語(yǔ)言學(xué)習(xí)者的多模態(tài)創(chuàng)作，如多文字學(xué)、系統(tǒng)功能語(yǔ)言學(xué)和社會(huì)符號(hào)學(xué)等。盡管閱讀和寫(xiě)作多模態(tài)文本是必要的，二語(yǔ)多模態(tài)寫(xiě)作的研究正在興起，但一些學(xué)者仍然對(duì)二語(yǔ)和多語(yǔ)作者的多模態(tài)寫(xiě)作持有懷疑態(tài)度，因?yàn)樗麄冋J(rèn)為二語(yǔ)寫(xiě)作研究需要以語(yǔ)言發(fā)展為中心。類(lèi)似的，一些教師對(duì)在他們的二語(yǔ)和多語(yǔ)言課堂中采用多模態(tài)寫(xiě)作持有矛盾態(tài)度或抵制態(tài)度，因?yàn)樗麄兛赡苡X(jué)得多模態(tài)寫(xiě)作遠(yuǎn)離了他們的課堂現(xiàn)實(shí)，并且因?yàn)樗麄內(nèi)狈Y源、時(shí)間和多模態(tài)寫(xiě)作教學(xué)的培訓(xùn)。學(xué)者、教師和學(xué)生體驗(yàn)或感知到當(dāng)代交流的現(xiàn)實(shí)（更多的基于多媒體和多模式）和長(zhǎng)期持有的寫(xiě)作信念和實(shí)踐（基于印刷的語(yǔ)言實(shí)踐）之間的沖突和緊張。在課堂中采用多模態(tài)組合為第二語(yǔ)言寫(xiě)作教學(xué)提出了新的挑戰(zhàn)和問(wèn)題。

在這個(gè)多模式、多媒體、多語(yǔ)言的傳播時(shí)代，第二語(yǔ)言寫(xiě)作研究和教學(xué)法的探索是必要的、及時(shí)的。主動(dòng)將研究擴(kuò)展到二語(yǔ)語(yǔ)境下的多模態(tài)組合教學(xué)法的復(fù)雜性。它有助于批判性地考查多模態(tài)意義生成實(shí)踐的話(huà)語(yǔ)、社會(huì)和文化過(guò)程，以促進(jìn)二語(yǔ)/多語(yǔ)寫(xiě)作領(lǐng)域的多模態(tài)構(gòu)成研究和教學(xué)。

二、多模式組合、模式和多模式

多模式組合、模式和多模式——它們對(duì)理解多模式組合非常重要。多模態(tài)構(gòu)成泛指將多種符號(hào)資源，包括語(yǔ)言和其他模式（如圖像、聲音、視頻）設(shè)計(jì)成文本進(jìn)行表達(dá)和傳播（Kress， 2003;Kress & van Leeuwen， 2001）。文本是“一種復(fù)雜的符號(hào)實(shí)體”（Kress， 2011），它包括語(yǔ)言和非語(yǔ)言意義創(chuàng)造資源（如圖像、聲音），超越了僅基于字母字符的傳統(tǒng)單音書(shū)寫(xiě)形式。從社會(huì)符號(hào)學(xué)的角度看，模式是指一個(gè)社會(huì)群體為交際的文化實(shí)踐所創(chuàng)造和使用的語(yǔ)言和非語(yǔ)言意義生成資源。模式可以包括語(yǔ)言、視覺(jué)、聽(tīng)覺(jué)、空間和手勢(shì)內(nèi)容。在二語(yǔ)寫(xiě)作研究中，語(yǔ)言模式和視覺(jué)模式考查得最多，但聽(tīng)覺(jué)模式、空間模式和手勢(shì)模式對(duì)交流都很重要。每種模式具有不同的生成意義的模式資源;例如，語(yǔ)言有詞匯語(yǔ)法和單詞，而圖像有色彩、光線(xiàn)和透視的氛圍。Mode是單獨(dú)使用還是與其他模式組合使用，表達(dá)不同的含義（Bezemer & Kress， 2016）。模式的概念在多通道組合的研究尤其重要，因?yàn)槎嗤ǖ澜M合的一個(gè)關(guān)鍵方面的研究是探討符號(hào)模式，如何相互作用，導(dǎo)致意思一個(gè)多通道的文本對(duì)其作為一個(gè)整體，考慮的含義在兩個(gè)或兩個(gè)以上co-present符號(hào)模式，例如，視覺(jué)/圖像和口頭/語(yǔ)言，結(jié)合在這樣一種新形式的意義可能獲得“（Wales，2006）。多模態(tài)也需要解釋?zhuān)苑乐挂恍┗煜?。多模態(tài)意味著以多種方式呈現(xiàn)。它涉及多種模式，不一定是多種模式。

三、多模態(tài)的不同主題

1. 擴(kuò)展語(yǔ)言和非語(yǔ)言符號(hào)庫(kù)多模態(tài)組合不再是一種選擇。學(xué)生需要能夠解釋、設(shè)計(jì)和評(píng)價(jià)多模態(tài)文本。換句話(huà)說(shuō)，他們應(yīng)該能夠把恰當(dāng)?shù)姆?hào)學(xué)資源組合成多模態(tài)的合奏（文本）。因此，在二語(yǔ)寫(xiě)作中，非語(yǔ)言模式與語(yǔ)言模式同樣重要，這一事實(shí)尚未得到充分證實(shí)或承認(rèn)。在擁抱多模態(tài)組合時(shí)，我們對(duì)多模態(tài)組合的啟示持批判態(tài)度，同時(shí)對(duì)多模態(tài)組合保持平衡的觀(guān)點(diǎn)（例如，多模態(tài)組合用于增強(qiáng)非語(yǔ)言模式意識(shí)和擴(kuò)展語(yǔ)言資源）。本期特刊強(qiáng)調(diào)了二語(yǔ)或多語(yǔ)作者培養(yǎng)多模態(tài)交際能力的重要性;然而，這并沒(méi)有忽視語(yǔ)言發(fā)展的重要性。這個(gè)問(wèn)題探討了通過(guò)多模態(tài)組合的語(yǔ)言發(fā)展和多模態(tài)組合的元語(yǔ)言發(fā)展。此外，還強(qiáng)調(diào)了需要一種互補(bǔ)的方法來(lái)整合語(yǔ)言和其他模式來(lái)理解內(nèi)容領(lǐng)域的二語(yǔ)寫(xiě)作。

2. 探索多模態(tài)創(chuàng)作任務(wù)的過(guò)程和結(jié)果中另一個(gè)可見(jiàn)的主題是，為了探索多模態(tài)創(chuàng)作的構(gòu)成要素，考查作者在產(chǎn)品之外的多模態(tài)創(chuàng)作過(guò)程（如頭腦風(fēng)暴、創(chuàng)作和分享文本）的重要性。鑒于目前對(duì)多模態(tài)合成過(guò)程和結(jié)果的研究還很少，我們的綜合研究有助于從寫(xiě)作過(guò)程的角度更好地理解多模態(tài)合成的本質(zhì)。實(shí)證研究，通過(guò)關(guān)注影響第二語(yǔ)言作者模式選擇的語(yǔ)境因素，以及為第二語(yǔ)言習(xí)得編寫(xiě)活動(dòng)和生成文本來(lái)考查第二語(yǔ)言作者的寫(xiě)作過(guò)程。此外，這些研究強(qiáng)調(diào)了第二語(yǔ)言作者在寫(xiě)作過(guò)程中對(duì)過(guò)程和產(chǎn)品進(jìn)行多重評(píng)估的重要性（Hafner & Ho）。

3. 關(guān)于多模態(tài)寫(xiě)作評(píng)估的問(wèn)題，這是二語(yǔ)寫(xiě)作專(zhuān)業(yè)人士面臨的最具挑戰(zhàn)性和緊迫性的問(wèn)題之一。在認(rèn)識(shí)到將多模態(tài)寫(xiě)作任務(wù)融入第二語(yǔ)言寫(xiě)作課程的重要性的同時(shí)，許多專(zhuān)業(yè)人士一直在努力尋找評(píng)估多模態(tài)文本的有效方法。

4. 增強(qiáng)多模態(tài)教學(xué)法和教師知識(shí)要在探索多模態(tài)作曲實(shí)踐的同時(shí)，對(duì)多模態(tài)作曲教學(xué)方法的穩(wěn)健實(shí)施。美國(guó)的六年級(jí)課堂，澳大利亞的普通小學(xué)課堂，香港的大學(xué)EAP課堂。重要的是，這三項(xiàng)研究的研究者都與課堂教師合作，計(jì)劃了關(guān)于多模態(tài)作曲的課程單元。這些合作提供了寶貴的見(jiàn)解，讓教師了解語(yǔ)言之外的其他符號(hào)模式，以及教師可以在教學(xué)中使用的教學(xué)知識(shí)。我們的特刊強(qiáng)調(diào)了一個(gè)事實(shí)，即學(xué)習(xí)和實(shí)施多模式組合教學(xué)法是具有挑戰(zhàn)性的，但應(yīng)對(duì)這些挑戰(zhàn)的合作行動(dòng)，將有助于第二語(yǔ)言寫(xiě)作社區(qū)設(shè)想改變寫(xiě)作教學(xué)法的方法。

四、結(jié)語(yǔ)

未來(lái)的方向和啟示：我們探討了在二語(yǔ)和多語(yǔ)言學(xué)習(xí)和教學(xué)環(huán)境中的多模態(tài)構(gòu)成的復(fù)雜性。關(guān)于多模態(tài)作曲的研究和教學(xué)的關(guān)鍵問(wèn)題。拓寬二語(yǔ)寫(xiě)作研究和教學(xué)法的議程，通過(guò)收集經(jīng)驗(yàn)和概念論文，邀請(qǐng)二語(yǔ)寫(xiě)作專(zhuān)業(yè)人士考慮多模態(tài)寫(xiě)作研究和教學(xué)法出現(xiàn)的可能性和挑戰(zhàn)。例如，盡管這個(gè)問(wèn)題探討了不同語(yǔ)境下的多模態(tài)組合，但所有的文章都考查了在課堂上用單一目標(biāo)語(yǔ)言（我們的例子是英語(yǔ)）進(jìn)行語(yǔ)篇生成。沒(méi)有人探討在翻譯實(shí)踐中的多模態(tài)組合，為身份和機(jī)構(gòu)發(fā)展而進(jìn)行的多模態(tài)組合，或英語(yǔ)以外語(yǔ)言中的多模態(tài)組合。

參考文獻(xiàn)：

[1]Bezemer， J.， & Kress， G. Multimodality， learning and communication： A social semiotic frame[J]. New York： Routledge， 2016.

[2]Cimasko， T.， & Shin， D. Resemiotization and authorial agency in L2 multimodal writing[J]. Written Communication， 2017，34（4）：387–413.

[3]Kress， G. Literacy in the new media age[J]. London： Routledge， 2003.

[4]Kress， G. Partnerships in research： Multimodality and ethnography [J]. Qualitative Research， 2011，11（3）：239-260.

[5]Kress， G.， & van Leeuwen， T. Multimodal discourse： The modes and media of contemporary communication[J]. London： Arnold， 2001.

[6]Halliday， M. A. K. Language as social semiotic. The social interpretation of language and meaning[J]. London： Edward Arnold， 1978.

[7]Hirvela， A.， & Belcher， D. Reading/writing and speaking/writing connections： The advantages of multimodal pedagogy[J]. 2016.

[8]Hafner， C. Embedding digital literacies in English language teaching： Students digital video projects as multimodal ensembles[J]. TESOL Quarterly， 2014，48（4）.

[9]Wales， P. Telling tales in and out of school： Youth performativities with digital storytelling[J]. RiDE： The Journal of Applied Theatre and Performance， 2012，17（4）.