范 玲，羅瑩瑩，包 威，高戰(zhàn)榮

（黑龍江大學(xué)應(yīng)用外語學(xué)院，哈爾濱 150080）

計算機媒體作為表達信息的物理工具極大地豐富了話語交際中的模態(tài)類型，讓多模態(tài)化的信息輸入更具可行性，在二語學(xué)習(xí)中發(fā)揮著重要作用。我國著名學(xué)者張德祿認(rèn)為，多模態(tài)交際能夠使受話人通過多通道獲得信息，從而使學(xué)習(xí)者從內(nèi)心愿意從事語言學(xué)習(xí)活動，把外因轉(zhuǎn)化為內(nèi)因，激發(fā)交際者交際的興趣和熱情等［1］。顧曰國教授從認(rèn)知心理學(xué)的角度，對基于計算機多媒體材料的多模態(tài)學(xué)習(xí)做過詳細(xì)分析，并提出計算機多媒體、多模態(tài)互動學(xué)習(xí)從輸入到產(chǎn)出之間的模態(tài)搭配與學(xué)習(xí)效果是一項亟待深入研究的重大基礎(chǔ)課題［2］。

一、多模態(tài)與多媒體

在信息認(rèn)知過程中，人們能夠以多種感知形式認(rèn)知信息。多種符號資源在語言交際中的運用可以被視為話語的“多模態(tài)性”。多模態(tài)與多媒體是兩個不同的概念，多模態(tài)是指語言、圖像、聲音、動作等用以交際和意義構(gòu)建的符號資源;多媒體是人與人之間實現(xiàn)信息交流應(yīng)用的多種載體，也被稱為多媒介。簡單來說，人們的視覺、聽覺、觸覺等多種感知模式是通過眼睛、耳朵、鼻子等多種媒體形式實現(xiàn)的?，F(xiàn)代化的媒體技術(shù)手段實現(xiàn)了人們交際方式的多元化，也促成了多種交際模態(tài)的融合。多模態(tài)話語理論能夠通過對多元化符號系統(tǒng)的意義解讀，更加準(zhǔn)確理解掌握交際中的話語信息。

二、單模態(tài)與多模態(tài)的比較研究

法國里昂第二大學(xué)語言中心的Nicolas Guichon等學(xué)者就多模態(tài)形式對二語學(xué)習(xí)的影響做過專門研究。他主要分析了以計算機媒體作為信息平臺的多模態(tài)形式對二語學(xué)習(xí)者理解真實口語材料的影響，不同模態(tài)形式如圖像、字幕等在二語學(xué)習(xí)中的優(yōu)點與局限性，并通過評估學(xué)生的文本結(jié)果判斷不同模態(tài)形式對理解的干擾程度。

這項研究共包含四種模態(tài)呈現(xiàn)方式:M1——音頻;M2——視頻與音頻;M3——視頻、音頻與目標(biāo)語字幕;M4——視頻、音頻與母語字幕。研究對象是學(xué)校同一年級中挑選的40位非英語專業(yè)的學(xué)生，他們在英語水平測試中的成績均處于中等水平。研究將40位學(xué)生分成四組，分別采用不同的模態(tài)形式進行測試。測試的內(nèi)容是一段3分鐘長的BBC英語新聞，講述了一對生活在華盛頓特區(qū)郊區(qū)的夫婦的家庭生活情況。測試時間定在上午，四組對象進行的實驗步驟完全一致:首先由教師以母語講解測試的內(nèi)容和目標(biāo);然后第一次播放新聞（允許學(xué)生以母語或目標(biāo)語記筆記）;給學(xué)生4分鐘時間整理筆記;第二次播放新聞（允許學(xué)生以母語或目標(biāo)語記筆記）;最后20分鐘寫出目標(biāo)語的新聞概要。所有學(xué)生最后完成的有效語義數(shù)量作為對衡量學(xué)習(xí)效果的指標(biāo)。英語新聞文本被劃分為35組語義單位（35 items），囊括了新聞中的所有主要信息。Baltova在加拿大的一項二語學(xué)習(xí)研究也采用了類似的評估形式?？紤]到信息認(rèn)知量和母語—目標(biāo)語的干擾因素，文本形式能夠較為客觀地體現(xiàn)出學(xué)生在不同模態(tài)形式下對相同信息接收程度上的差異。研究結(jié)果主要是計算學(xué)生概要寫作中所包含的有效語義單位的數(shù)量，四種不同模態(tài)條件下學(xué)生獲取的有效語義數(shù)量分別達到了19.7%、25.1%、30.2% 和29.7%，其中M3——視頻、音頻與目標(biāo)語字幕的測試結(jié)果最佳。結(jié)果表明:

1.輸入相同信息的前提下，與單模態(tài)相比，研究對象在多模態(tài)條件下的學(xué)習(xí)效果表現(xiàn)明顯優(yōu)異。這與Mayer提出的多媒體原則一致。他認(rèn)為學(xué)習(xí)中詞語與畫面組合的學(xué)習(xí)效果要優(yōu)于單一的詞語學(xué)習(xí)。

2.圖像在信息認(rèn)知過程中具有重要作用，但不能與學(xué)習(xí)效果成正比。M1的學(xué)生大多無法準(zhǔn)確判別items 3和4（主要人物）以及item 23（工作地點），而 M2、M3、M4的研究對象在圖像的輔助作用下這三組語義單位表現(xiàn)優(yōu)異。但M1在items 15，16和 20的表現(xiàn)明顯好于M2、M3、M4，原因在于這部分內(nèi)容的圖像與音頻信息沒有保持一致，影響了大部分受試學(xué)生的判斷。這種圖像中的冗余信息是多模態(tài)認(rèn)知中的常見問題。Mayer和Moreno指出，學(xué)習(xí)者不會為了避免認(rèn)知超載而忽視已經(jīng)呈現(xiàn)的冗余內(nèi)容，冗余的設(shè)計違背了人類認(rèn)知學(xué)習(xí)過程，阻礙學(xué)習(xí)者對知識信息的有效加工。

3.字幕在信息認(rèn)知中具有關(guān)鍵作用，但字幕的不同形式對信息的接受性和產(chǎn)出性的影響也有差異。M1和M2的受試學(xué)生在items 6和14的信息認(rèn)知上成功率較低，甚至沒能判斷出item 14中的母語詞匯，而M3和M4條件下的學(xué)生在這兩組語義單位上的成功率較高，證明字幕幫助兩組學(xué)生確認(rèn)了相關(guān)信息。但M4的母語字幕對信息認(rèn)知也具有一定的負(fù)面影響。法語與英語部分單詞形似，M4學(xué)生的測試結(jié)果被母語字幕嚴(yán)重干擾，大量與法語字幕形似的英語單詞被運用。例如item 25中“self－employed”在法語字幕中被譯為“indépendant”，因此M4一半的學(xué)生寫作中使用了英語單詞independent。由此說明學(xué)生過多地關(guān)注母語字幕，忽略了音頻信息，造成了詞匯準(zhǔn)確度偏低的問題。

三、多模態(tài)形式在二語學(xué)習(xí)中的應(yīng)用原則

基于法國里昂第二大學(xué)語言中心的Nicolas Guichon等學(xué)者進行的不同多模態(tài)形式對二語學(xué)習(xí)者的學(xué)習(xí)效果差異研究，應(yīng)用多模態(tài)形式的二語學(xué)習(xí)應(yīng)遵循以下幾條原則:

1.信息呈現(xiàn)的多模態(tài)性

Mayer認(rèn)為，人類在工作記憶中主要通過聽覺/言語通道和視覺/圖像通道完成信息加工。聲音和圖像作為不同的符號系統(tǒng)，分別屬于不同記憶系統(tǒng)并采用不同的編碼形式。國內(nèi)外大量研究表明，人們記憶加工過程中采用雙重編碼形式的效果一般要優(yōu)于單一的編碼形式。因此，多媒體課堂中的信息呈現(xiàn)方式應(yīng)充分利用視覺和聽覺等多種模態(tài)結(jié)合形式。目前，國內(nèi)的二語教學(xué)尤其是聽力教學(xué)信息呈現(xiàn)方式較為單一，沒有能夠充分利用多媒體網(wǎng)絡(luò)平臺資源。多媒體課堂的二語多模態(tài)化教學(xué)勢在必行。視聽結(jié)合的語料不僅能夠讓學(xué)習(xí)者通過接收信息的多樣化通道充分發(fā)揮工作記憶的雙重編碼功能，獲取較好的學(xué)習(xí)效果，而且多媒體資源營造的真實語境和言語交際環(huán)境可以增加可理解性信息的輸入，大大提升成功語言習(xí)得的可能性。

2.模態(tài)形式的互補性

張德祿提出:“典型的多模式話語模式是一種模態(tài)的話語不能充分表達其意義，或者無法表達其全部意義，需要借助另一種來補充，我們把這種模態(tài)之間的關(guān)系稱為互補關(guān)系，而把其他的稱為非互補關(guān)系?！保?］多模態(tài)形式的運用應(yīng)遵循互補性原則，也就是運用多種模態(tài)形式間的信息互補或者強化實現(xiàn)信息的有效輸入，反之，則事倍功半。Nicolas Guichon的研究結(jié)果表明，圖像的數(shù)量與學(xué)習(xí)效果并不成正比，其中一個重要原因在于部分模態(tài)形式間沒有互補，而是出現(xiàn)了排斥甚至抵消的現(xiàn)象。由此造成的冗余信息讓學(xué)習(xí)者在認(rèn)知過程中注意力分散，從而影響了學(xué)習(xí)效果。Wichens將人們的注意力形容為“選擇信息源作加工處理的探照燈”和“有限的空白資源”，這說明了人們注意力的選擇性和有限性。形式不同的信息量越多，注意力的選擇難度就越大，對學(xué)習(xí)效果越有損害。因此，多模態(tài)化的教學(xué)信息呈現(xiàn)形式應(yīng)盡量簡潔、適用，呈現(xiàn)的信息應(yīng)具有互補性，不包含有任何冗余信息，不給學(xué)習(xí)者增加認(rèn)知負(fù)擔(dān)。

3.認(rèn)知負(fù)荷的差異性

John Sweller認(rèn)為，認(rèn)知負(fù)荷是人在信息認(rèn)知過程中產(chǎn)生的“負(fù)荷”。如果信息的認(rèn)知資源超過了人本身具有的認(rèn)知資源的數(shù)量就會造成認(rèn)知超載，從而影響學(xué)習(xí)效果。不同學(xué)習(xí)者的認(rèn)知負(fù)荷存在差異。Nicolas Guichon的研究中字幕對學(xué)生的最終結(jié)果產(chǎn)生了不同的影響。當(dāng)然，是否選擇帶有字幕的多模態(tài)形式進行教學(xué)活動取決于多種因素，例如文本的難易程度、聽力任務(wù)的目標(biāo)等，但其中學(xué)習(xí)者本身的認(rèn)知負(fù)荷程度也應(yīng)該是教學(xué)中考慮的重要內(nèi)容。多模態(tài)化學(xué)習(xí)應(yīng)該利用多媒體平臺資源的豐富性和信息呈現(xiàn)方式的多樣性為學(xué)習(xí)者提供適合自身水平和特點的學(xué)習(xí)內(nèi)容，充分考慮學(xué)生的自主學(xué)習(xí)能力，設(shè)計靈活多樣的交際活動，調(diào)動學(xué)生參與課堂學(xué)習(xí)的積極性。同樣的知識根據(jù)學(xué)習(xí)者的不同認(rèn)知水平、不同語言基礎(chǔ)和興趣愛好采用不同的模態(tài)呈現(xiàn)形式，增加二語學(xué)習(xí)的信息量，運用多樣化的媒體呈現(xiàn)手段，讓語言學(xué)習(xí)與學(xué)生自身的認(rèn)知水平接軌，培養(yǎng)學(xué)習(xí)者的語言建構(gòu)能力和積極的學(xué)習(xí)態(tài)度。

四、結(jié)語

盡管Nicolas Guichon等學(xué)者的研究數(shù)據(jù)可能會因為研究對象、方法或其他因素不同而有所差異，但應(yīng)用多媒體的多模態(tài)學(xué)習(xí)模式是眾多國內(nèi)外學(xué)者經(jīng)過大量實驗論證切實可行的語言教學(xué)研究領(lǐng)域的重要課題?！傲?xí)得”強調(diào)學(xué)習(xí)者獲得語言的“潛意識的”過程?；诙嗝襟w信息平臺的多模態(tài)化學(xué)習(xí)為學(xué)習(xí)者創(chuàng)造了語言習(xí)得的真實語境，通過提供多渠道的可理解性信息，讓學(xué)生以視覺、聽覺等多種感官形式參與語言學(xué)習(xí)，實現(xiàn)真正意義上的主動式學(xué)習(xí)，達到良好的學(xué)習(xí)效果。

:

［1］張德祿.多模態(tài)話語理論與媒體技術(shù)在外語教學(xué)中的應(yīng)用［J］.外語教學(xué)，2009，（4）:18.

［2］顧曰國.多媒體、多模態(tài)學(xué)習(xí)剖析［J］.外語電化教學(xué)，2007，（4）:7.

［3］張德祿.多模態(tài)話語分析綜合理論框架探索［J］.中國外語，2009，（1）:26.