黃媛媛

（中國(guó)藥科大學(xué) 外語系，江蘇 南京 211198）

一、引言

系統(tǒng)功能語言學(xué)認(rèn)為語言不僅是具有社會(huì)功能的符號(hào)系統(tǒng)，也是一套與社會(huì)環(huán)境相聯(lián)系的供人們選擇的意義“潛勢(shì)”（意義的有規(guī)則的源泉）。在多元化的信息時(shí)代，語言以外的其他符號(hào)系統(tǒng)也成為意義的源泉。人們利用聽覺、視覺、觸覺等多種感官，通過語言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際和意義建構(gòu)，形成了多模態(tài)話語。（張德祿，2009）多模態(tài)話語最合適的理論模式是系統(tǒng)功能語言學(xué)理論，它所包含的元功能假說認(rèn)為多模態(tài)話語與純語言符號(hào)話語一樣,也具有多功能性,即概念功能、人際功能和語篇功能。元功能假說為課堂教學(xué)中通過各符號(hào)間相互作用來表達(dá)意義提供了分析工具。了解和提高學(xué)生識(shí)解和利用多符號(hào)資源建構(gòu)意義的能力，是多模態(tài)課堂需要探討的重要問題之一。

二、文獻(xiàn)回顧

最早研究者之一R.Barthes（1977）探討了在表達(dá)意義中圖像與語言的相互作用。Lemke（1995，1998）基于系統(tǒng)功能語言學(xué)，對(duì)多符號(hào)在超文本語篇中的功能進(jìn)行了研究。Kress,G.&T.van Leeuwen（1996）提出有意義的話語構(gòu)建要依靠相互聯(lián)系的符號(hào)系統(tǒng)。O’Toole（1994，1995）的研究證明,系統(tǒng)功能模式不僅可以用于對(duì)自然語言的分析,同時(shí)也為研究其他符號(hào)形式提供了可行的分析框架。在國(guó)內(nèi)，李戰(zhàn)子（2003）提出了多模態(tài)話語的社會(huì)符號(hào)學(xué)分析方法和理論。胡壯麟（2007）把多模態(tài)話語定義為有表達(dá)意義的兩個(gè)或兩個(gè)以上的模態(tài)所構(gòu)成的話語。張德祿（2009）基于系統(tǒng)功能語言學(xué)，探討了多模態(tài)話語分析的理論框架。

三、意義建構(gòu)實(shí)踐框架

為了在一定的文化語境，意識(shí)形態(tài)制約下，根據(jù)具體的情境語境，即話語范圍（教學(xué)內(nèi)容涉及的領(lǐng)域）、話語基調(diào)（授課者和教學(xué)對(duì)象關(guān)系）和話語方式（教學(xué)場(chǎng)所，條件，渠道），引導(dǎo)學(xué)生進(jìn)行多符號(hào)協(xié)同下的意義構(gòu)建，必須先確立多模態(tài)話語實(shí)踐框架。本研究根據(jù)語言的三大功能，為學(xué)生指派了不同的多模態(tài)話語實(shí)踐任務(wù)：

⑴情境語境:①話語范圍：多模態(tài)意義構(gòu)建；②話語基調(diào)：學(xué)生在教師組織輔導(dǎo)下進(jìn)行的多媒體演示及表演；③話語方式：在多媒體教室，利用多媒體軟件（2）功能的具體表現(xiàn)形式：

表1:多模態(tài)實(shí)踐框架

元功能假設(shè)是對(duì)語言所完成的具有無限可能性的功能的抽象概括，它包括：概念功能、人際功能、和語篇功能。（曾蕾，廖海青，2010）①概念功能是指語言對(duì)現(xiàn)實(shí)世界與說話人內(nèi)心世界中種種經(jīng)歷和體驗(yàn)的反映。我的家鄉(xiāng)或大學(xué)生活介紹是以學(xué)生熟悉的本土文化中的生活經(jīng)驗(yàn)為基礎(chǔ)，是學(xué)生基于自身經(jīng)歷和知識(shí)結(jié)構(gòu)對(duì)符號(hào)意義的解碼。②人際功能反映人與人之間的關(guān)系并對(duì)話輪的選擇做出規(guī)定。新聞播報(bào)要求學(xué)生選取熱門話題播報(bào)并對(duì)其他學(xué)生進(jìn)行現(xiàn)場(chǎng)采訪互動(dòng)；話劇表演是在一定的情境語境下，表演者本身以及表演者和觀眾進(jìn)行的雙重人際交流。學(xué)生從視覺和聽覺方面理解事件及環(huán)境意義，建立人際關(guān)系。③語篇功能是以篇章為單位的語言研究的理論指導(dǎo)，沒有相當(dāng)?shù)姆治稣Z篇的意識(shí)和能力就難以深刻理解作者的意圖。文學(xué)作品或電影劇本賞析強(qiáng)調(diào)以篇章為單位，要求學(xué)生能夠?qū)ξ膶W(xué)及影視作品的可用設(shè)計(jì)文本進(jìn)行

批評(píng)，賞析，設(shè)計(jì)及重新設(shè)計(jì)。

四、研究設(shè)計(jì)

（一）研究具體問題

1.學(xué)生實(shí)現(xiàn)多模態(tài)話語元功能假設(shè)中三大功能時(shí)的表現(xiàn)是否有差異？

2.學(xué)生在多模態(tài)意義建構(gòu)中存在怎樣的問題，如何解決？

（二）研究對(duì)象

從南京某高校非英語專業(yè)一年級(jí)2700名學(xué)生中隨機(jī)抽取了150名學(xué)生完成本次實(shí)驗(yàn)。其中,女生80名，男生70名。

（三）研究材料及方法

研究所用材料有：①基于新倫敦小組（1996）多元識(shí)讀能力水平具體描述的評(píng)估表（表2）②多模態(tài)話語調(diào)查問卷（用SPSS軟件對(duì)問卷進(jìn)行Alpha信度分析，得出問卷總的內(nèi)部一致性信度系數(shù)為0.9343，說明問卷的信度良好。）

表2：多元識(shí)讀水平評(píng)估表（5=最好,4=好,3=中等,2=不好,1=很差）

本研究采用定量研究、定性研究和訪談的形式進(jìn)行。150名學(xué)生隨機(jī)分成3個(gè)班，學(xué)生任選一種語言功能，利用圖片，圖像，聲音，動(dòng)作等多元符號(hào)完成表1任務(wù)。學(xué)生表演時(shí)進(jìn)行錄像，作品電子稿上交。由兩位教學(xué)經(jīng)驗(yàn)同樣豐富的教師根據(jù)多元識(shí)讀能力評(píng)估標(biāo)準(zhǔn)（表2）為學(xué)生作品進(jìn)行打分，取平均分記錄。滿分25分，以20分為界限劃分高、低分組。

表3：人次分布及分?jǐn)?shù)統(tǒng)計(jì)表

（四）數(shù)據(jù)分析與收集

表面上看，選取人際功能的學(xué)生偏多，選取三種功能的人次不同，但因?yàn)檫@是抽樣調(diào)查，造成這種結(jié)果有兩方面原因：①學(xué)生對(duì)三種功能的選擇確實(shí)存在不相等，所以抽取的樣本對(duì)于不同功能選擇不相等。②學(xué)生對(duì)三種功能的選擇是相等的，但由于抽樣誤差而造成了樣本對(duì)不同功能的選擇不相等。為進(jìn)行差異顯著性檢驗(yàn)，做出虛無假設(shè)H0：假設(shè)學(xué)生對(duì)三種功能的選擇是相等的，即選取不同功能的學(xué)生人數(shù)不存在顯著差異。接下來要檢驗(yàn)樣本頻數(shù)分布是否在抽樣誤差允許的波動(dòng)范圍內(nèi)，如果在這個(gè)范圍內(nèi)，則接受虛無假設(shè)；如果超出了這范圍，則拒絕虛無假設(shè)?，F(xiàn)用SPSS軟件對(duì)選擇三大類任務(wù)的不同人數(shù)進(jìn)行卡方檢驗(yàn)中的適合性X2檢驗(yàn)，得出結(jié)果為X2=24.960，p=.000<0.05,因此拒絕虛無假設(shè)，認(rèn)為學(xué)生在利用多元符號(hào)實(shí)現(xiàn)多模態(tài)話語的三大功能選擇上存在顯著差異。接下來對(duì)于三大功能組的高低分人次分布進(jìn)行卡方檢驗(yàn)中的獨(dú)立性X2檢驗(yàn)得到結(jié)果如表4：X2=10.694，p=.005<0.05,說明三個(gè)組的學(xué)生在高低分人次分布上存在顯著差異。概念組的高分率為66.67%，人際組為42%，而語篇組只有30%。

表4：獨(dú)立性X2檢驗(yàn)結(jié)果（Chi-Square Tests）

（五）結(jié)果與討論

在得出以上數(shù)據(jù)的基礎(chǔ)上，對(duì)學(xué)生發(fā)放了多模態(tài)話語調(diào)查問卷，并在每一大組都隨機(jī)抽取了5名學(xué)生進(jìn)行了訪談。最終得出以下結(jié)論：

1.學(xué)生在利用多模態(tài)實(shí)現(xiàn)語言的三大功能選擇上存在顯著差異。52%的學(xué)生選擇了利用多元符號(hào)實(shí)現(xiàn)多模態(tài)話語的人際功能。根據(jù)調(diào)查問卷和訪談，78個(gè)學(xué)生選擇人際功能的原因?yàn)椋孩偃穗H功能的任務(wù)相比另兩種功能任務(wù)來說：a.使用的非語言因素特征更為明顯，如伴語言特征：聲調(diào)、語調(diào)變化范圍更大。b.使用的非語言因素特征更為豐富,如身體特征：表情、手勢(shì)、動(dòng)作、空間移動(dòng)等更多；②完成人際任務(wù)涉及的多媒體軟件操作也更為豐富，如新聞播報(bào)中對(duì)圖片、音頻和視頻的編輯和剪輯以及話劇表演中可以使用到的DV拍攝。③人際功能任務(wù)趣味性強(qiáng)，和觀眾有更多互動(dòng)，能夠刺激他們創(chuàng)作的深層動(dòng)機(jī)。④由于任務(wù)涉及多人合作，在表演者本身以及表演者和觀眾進(jìn)行的雙重人際交流中進(jìn)行，可以有效地降低學(xué)生的情感焦慮。

2.根據(jù)表4，三大功能組的高低分人次分布也存在顯著差異，概念組的高分人次比率最高，低分人次比率最低，且平均分最高，這說明由于學(xué)生對(duì)本土文化和自身經(jīng)歷更為熟悉，濃厚思鄉(xiāng)情結(jié)及對(duì)大學(xué)生活的熱愛給予他們更多的創(chuàng)作源泉，故學(xué)生在表現(xiàn)概念功能時(shí)的多元識(shí)讀水平最高，作品思想挖掘的層次更深。相比之下，語篇組的選擇人次最少，且高分人次比率最低，低分人次比率最高，平均分也最低。在電影和文學(xué)作品賞析兩種任務(wù)選擇中，僅有36.67%的學(xué)生選擇了后者。結(jié)合訪談和問卷，發(fā)現(xiàn)學(xué)生在語篇批評(píng)賞析方面存在認(rèn)知困難和心理排斥，作品水平也不高。大部分學(xué)生認(rèn)為看英語文學(xué)名著費(fèi)時(shí)費(fèi)力，且做講座時(shí)慣于直接使用大篇幅未經(jīng)加工，自己也沒有充分理解的原版英語段落，致使觀眾理解困難，興趣低下。觀眾的消極反應(yīng)使得更多學(xué)生不愿再做篇章分析，這也構(gòu)成了極少學(xué)生選擇表現(xiàn)多模態(tài)話語語篇功能的重要原因之一。此外，學(xué)生在賞析電影劇本時(shí)傾向于將重點(diǎn)放在大段劇情介紹上，對(duì)于電影的文化背景及主題思想理解不夠透徹。還有的學(xué)生直接從網(wǎng)絡(luò)上下載現(xiàn)成的影評(píng)，忽略了對(duì)自身批判性思維的培養(yǎng)。

3.根據(jù)收集的電子作品和課堂錄像，發(fā)現(xiàn)一些學(xué)生在多模態(tài)表達(dá)方面也存在很多問題: ①PPT頁(yè)面上的圖片量太少，文字量太多；對(duì)字體和印刷版式等符號(hào)資源的運(yùn)用較混亂，不注意排版和編輯；背景色和文字顏色對(duì)比度太小，畫面模糊不清。②過度使用背景音樂，影響演講的聽覺效果；過度使用畫面復(fù)雜繁瑣的背景圖片和活動(dòng)圖標(biāo)，轉(zhuǎn)移了觀眾對(duì)主題內(nèi)容的注意力。③對(duì)視頻編輯工具的操作不夠熟悉，導(dǎo)致視頻作品的字幕效果和視聽效果都較差；PPT中插入的視頻，音頻和文本、圖片內(nèi)容不銜接。

五、結(jié)論與局限性

總之，在建構(gòu)概念意義，人際意義，及篇章意義的過程中，大部分大學(xué)生可以通過空間、圖像、聲音、顏色等多元符號(hào)的參與運(yùn)用，配合自然語言，使主題意義得到完整的表達(dá)。然而，學(xué)生的多模態(tài)話語表現(xiàn)作品仍停留在直接利用所獲取的網(wǎng)絡(luò)資源階段，對(duì)超文本資源的加工，篩選，處理能力都還有限。尤其是在實(shí)現(xiàn)多模態(tài)話語的語篇功能方面，學(xué)生的水平尚處于初級(jí)階段。因此在英語課堂中教師應(yīng)該在多媒體技術(shù)的支持下，多導(dǎo)入文本批判技巧的介紹；多鼓勵(lì)學(xué)生利用多媒體資源閱讀英文世界名著，小說；多開展小組討論，提高學(xué)生建構(gòu)多模態(tài)話語語篇意義的內(nèi)在動(dòng)力，全方面多角度地培養(yǎng)學(xué)生的多元識(shí)讀能力。本研究?jī)H為探索性研究，由于所抽取的樣本容量不夠大，且話題內(nèi)容及任務(wù)設(shè)定有相當(dāng)?shù)木窒扌?，因此研究結(jié)果有待進(jìn)一步的檢驗(yàn)和考證。

[1]Halliday.M.A.K.An Introduction to Functional Grammar[M].London:Arnold,1985.

[2]Halliday.M.A.K.Language as Social Semiotic [M].London:Arnold,1978.

[3]Kress,G.&T.van Leeuwen.Reading Images:The Grammar of Visual Design[M].London:Routledge,1996.

[4]Lemke,J.Intertextuality and Text Semantics[A].In Gregory,M.&P.Fries(ed.).Discourse in Society:Functional Perspectives[C].Norwood,N.J.:Ablex,1995.

[5]Lemke,J.Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text [A].In Martin,J.R.&R.Veel(ed.).Reading Science[C].London:Routledge,1998.

[6]New England Group.A pedagogy of multiliteracies:Designing social futures[J].Harvard Educational Review,1996,66 （1）:60-92.

[7]O’Toole.M.A systemic-functional semiotics of art [A].In P.Fries & M.Gregory (eds.). Discourse in Society: Systemic Functional Perspectives[C].Nor-wood:Ablex,1995.185-209.

[8]胡壯麟.社會(huì)符號(hào)學(xué)研究中的多模態(tài)化[J].外語教學(xué)與研究,2007，（1）:1-10.

[9]李戰(zhàn)子.多模式話語的社會(huì)符號(hào)學(xué)分析[J].外語研究,2003，（5）:1-4.

[10]韋琴紅.多模態(tài)化與大學(xué)生多元識(shí)讀能力研究[J].外語電化教學(xué),2009，（3）:28-32.

[11]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國(guó)外語,2009，（1）:24-30.

[12]曾蕾,廖海青.功能語言學(xué)與外語教學(xué)研究[M].北京:外語教學(xué)與研究出版社,2010.86-88.