陳賢德

（北京語(yǔ)言大學(xué) 教師教育學(xué)院，北京，100083）

釋義是詞典學(xué)研究的核心問題，著眼于2000 多年的辭書發(fā)展史,辭書的釋義方法大體經(jīng)歷了隨文釋義、同義詞釋義、“屬+種差”釋義、整句釋義、模板釋義五個(gè)階段[1]。但這五個(gè)發(fā)展階段均都未突破紙媒的界限，詞典釋義研究也仍局限于對(duì)釋義文本的“精雕細(xì)琢”，“循環(huán)釋義”“內(nèi)涵不彰”“以難釋易”等釋義問題仍舊顯著。受限于信息媒介的限制，傳統(tǒng)紙質(zhì)詞典并不能有效地解決上述問題，也因此紙質(zhì)詞典的“進(jìn)化”變得越來越困難，“牛津”“朗文”等系列學(xué)習(xí)詞典雖然還在不斷修訂，但在釋義上已難以有較大的提升[2]。

在二語(yǔ)教學(xué)界，新倫敦團(tuán)體（NEW London－Group 1996）認(rèn)為傳播媒介的飛速發(fā)展已經(jīng)促使了人們讀寫方式的深刻改變，人們不再局限于通過紙質(zhì)文本去獲取知識(shí)，還要借助聲音、圖片、視頻等進(jìn)行多元識(shí)讀[3]。因此，讀寫認(rèn)知能力也該向更多符號(hào)系統(tǒng)組成的媒介轉(zhuǎn)換（transmediation）朝多元識(shí)讀方向發(fā)展，即從傳統(tǒng)的讀寫能力（literacy）轉(zhuǎn)向能通過語(yǔ)言、視覺、聽覺等多模態(tài)形式批判性地識(shí)讀和理解多媒介信息的多元識(shí)讀能力(multiliteracies)[4]。為促進(jìn)二語(yǔ)被試多元識(shí)讀能力的提升，多元識(shí)讀法也順勢(shì)而生，相關(guān)研究也已證明，多元識(shí)讀法是一種有效的二語(yǔ)學(xué)習(xí)方法。[5-7]為順應(yīng)二語(yǔ)教學(xué)的深刻變化，在辭書研究領(lǐng)域，Lew（2010）在《多模態(tài)詞典學(xué)：電子詞典的意義呈現(xiàn)方式》一文中最早提出“多模態(tài)詞典學(xué)（Multimodal Lexicography）這一概念”[8]。國(guó)內(nèi)研究方面，黨軍則率先指出雙語(yǔ)詞典應(yīng)實(shí)現(xiàn)多模態(tài)化，并以詞典交際論為理論框架,引入多模態(tài)語(yǔ)篇理論,指出了詞典的多模態(tài)化的諸多優(yōu)勢(shì)[9]。但正如章宜華所言，他們的研究混淆了“媒體”與“模態(tài)”的概念，把復(fù)雜的模態(tài)簡(jiǎn)化為了媒體[2]，同時(shí)也忽視了各種模態(tài)的有效融合在詞典中發(fā)揮的作用。

基于此，章宜華[10]、李宇明[11]、亢世勇[12]等人提出了“融媒體辭書”編纂概念。從辭書表征的視角講，融媒體辭書融合的對(duì)象是詞典的多模態(tài)表征。詞典釋義方式也應(yīng)由單模態(tài)釋義向多模態(tài)釋義轉(zhuǎn)變，釋義不應(yīng)只局限于語(yǔ)言文字模態(tài)釋義,還應(yīng)包含其他不同類型的非語(yǔ)言模態(tài)釋義形式,應(yīng)涵蓋視覺、聲音及觸感模態(tài)釋義等。目前的研究多已證實(shí)多模態(tài)釋義效果要優(yōu)于文字單模態(tài)釋義，如武衛(wèi)、許洪通過實(shí)證研究表明圖文釋義比只有文字的釋義更加有利于詞匯附帶學(xué)習(xí)，“漢語(yǔ)+圖畫”的組合注釋對(duì)詞匯附帶學(xué)習(xí)最有效[13]。李紅、李于南（2007）的研究也證實(shí)，“圖文”雙模態(tài)釋義更有助于英語(yǔ)新詞詞義的學(xué)習(xí)和長(zhǎng)時(shí)記憶[14]。

然而，國(guó)內(nèi)的“多模態(tài)釋義”或“多模態(tài)詞典”研究，雖名為“多模態(tài)”，但實(shí)為“圖文雙模態(tài)”研究，如羅永勝《多模態(tài)英語(yǔ)學(xué)習(xí)詞典圖文釋義模式探究》[15]、田晶晶《高階英語(yǔ)學(xué)習(xí)詞典的多模態(tài)釋義研究》[16]、陳思一葉《高階英語(yǔ)電子詞典圖文關(guān)系的多模態(tài)研究》[17]等，多只局限于探討詞典中的圖文配置關(guān)系、圖片類型等，對(duì)于其他模態(tài)元素尤其是視頻、音頻在詞典釋義中發(fā)揮的作用探討較少，多模態(tài)釋義的實(shí)證研究也鮮見。

基于以上研究背景，本文以英語(yǔ)水平較弱和較高的的初中學(xué)生為被試，考察在刻意詞匯學(xué)習(xí)條件下詞典多模態(tài)釋義是否比文字單模態(tài)釋義更有助于漢語(yǔ)二語(yǔ)詞匯學(xué)習(xí)。具體來說，我們要回答以下三個(gè)問題：（1）多模態(tài)釋義下的詞匯學(xué)習(xí)是否要顯著優(yōu)于文字單模態(tài)釋義下的詞匯學(xué)習(xí)？（2）相較于文字單模態(tài)釋義，多模態(tài)釋義是否在具體詞和抽象詞中的學(xué)習(xí)中均表現(xiàn)出促進(jìn)優(yōu)勢(shì)？（3）相較于文字單模態(tài)釋義，多模態(tài)釋義是否在不同水平的初中英語(yǔ)學(xué)習(xí)中均具有優(yōu)勢(shì)？

一、研究方法

（一）被試

被試為就讀于重慶某校的12～15 歲的80名初中學(xué)生。取被試期中成績(jī)與期末成績(jī)的平均值，并將平均值劃分為四個(gè)分段：100～90 分為A 段，89～75 分為B 段，74～60 分為C 段，59 分及其以下為D 段。其中A、B 分段的學(xué)生代表了英語(yǔ)水平較高的被試，C、D 分段的學(xué)生代表了英語(yǔ)水平相對(duì)較弱的被試。A、B、C、D 四個(gè)分段各20 人，共80 人。

（二）實(shí)驗(yàn)材料

目標(biāo)詞的確立總共分三個(gè)步驟：（1）詞類選擇上主要選擇開放性的詞類如名詞、動(dòng)詞、形容詞和副詞。確定了所要測(cè)試的詞類后，為了保障所選詞語(yǔ)被試從未接觸過，從雅思、托福等有較高難度的英語(yǔ)測(cè)試中選擇詞語(yǔ)，所選詞語(yǔ)均在人教版初中英語(yǔ)詞匯表外。為降低詞長(zhǎng)因素對(duì)記憶的干擾，所選詞語(yǔ)詞長(zhǎng)控制為8 到10 個(gè)字母間。為防止被試通過所學(xué)詞根推理出詞義，構(gòu)詞中的詞根被試均未學(xué)習(xí)過，如“Arrogantly”中的“Arrogant”。（2）請(qǐng)與被試組語(yǔ)言水平相當(dāng)?shù)粎⒓诱綔y(cè)試的其他同學(xué)先行測(cè)試，并同時(shí)請(qǐng)被試的英語(yǔ)老師進(jìn)行核對(duì)，以確保目標(biāo)詞被試從未學(xué)習(xí)過，如不達(dá)標(biāo)則進(jìn)行替換，替換詞語(yǔ)要求與被替換詞語(yǔ)詞長(zhǎng)、詞性一致。（3）張萍根據(jù)認(rèn)知語(yǔ)言學(xué)理論，從空間概念和感官體驗(yàn)兩個(gè)角度對(duì)具體詞和抽象詞進(jìn)行了劃分。具體詞即指那些通過感覺器官可以在現(xiàn)實(shí)世界被感知的物理實(shí)體如DOG [n]、被實(shí)踐的行為動(dòng)作如SMILE[v]、被體驗(yàn)的感覺特征如SOFT[adj.]。抽象詞則指不能被五官直接感知的概念如INDIVIDUALISM [n]、肉眼難見的心理活動(dòng)如SUPPOSE[v]、各類事物的特征屬性如UNIQUE[adj.][18]。基于張萍的論述，實(shí)驗(yàn)中的具體詞由15 個(gè)五官可以直接感知的名詞、動(dòng)詞構(gòu)成，抽象詞由15 個(gè)五官不易直接感知的形容詞、副詞構(gòu)成，共計(jì)30個(gè)詞語(yǔ)：

具體詞：Pentagon 五邊形，Popsicle 冰糕，Gardenia 梔子花，Camellia 山 茶 花，Hibiscus 木 槿，Dromedary 單峰駝，Partridge 山鶉，Cardigan 開襟毛衣，Recliner 可調(diào)式躺椅，Hibernate 冬眠，Germinate 發(fā)芽，Pollinate 授粉，Excavate 挖掘，Meander 蜿蜒而流，Strangle 絞死。

抽象詞：Periodic 周期的，Statutory 法定的，Soporific 催眠的，Deprived 貧困的，Ossified 僵化的，Inimical 有害的，Notorious 臭名昭著的，F(xiàn)rivolous輕浮的，Wantonly 惡意地，Brashly 盛氣凌人地，Arrogantly 自 大 地，Strikingly 驚 人 地，Succinctly簡(jiǎn)潔地，Rigorously 嚴(yán)厲地，Scornfully 輕蔑地。

確定了目標(biāo)詞后，我們開始制作單模態(tài)釋義與多模態(tài)釋義的實(shí)驗(yàn)材料。單模態(tài)釋義組只提供文字文本，文本內(nèi)容根據(jù)《牛津高階英漢雙解詞典》詞語(yǔ)信息收錄情況依次排列目標(biāo)詞詞形、音標(biāo)、詞性、中英文釋義和例句，其中例句在《牛津高階英漢雙解詞典》例句的基礎(chǔ)上進(jìn)行簡(jiǎn)化以符合被試目前認(rèn)知水平，如：

Gardenia n./a bush with shiny leaves and large white or yellow flowers with a sweet smell,also called gardenias 梔子花/Gardenias are white and beautiful.梔子花潔白而美麗。

根據(jù)章宜華對(duì)詞典多模態(tài)元素的劃分為每個(gè)詞語(yǔ)制作多模態(tài)釋義視頻[2]，視頻中的模態(tài)元素包括:（1）音頻，中英文朗讀目標(biāo)詞讀音、釋義與例證。（2）圖片，展示與目標(biāo)詞相關(guān)的動(dòng)態(tài)圖片或靜態(tài)圖片。（3）短視頻，播放與目標(biāo)詞相關(guān)的釋義短視頻，如“Wantonly”一詞所配備的短視頻是一個(gè)人在惡意地破壞環(huán)境，“Soporific”則是一個(gè)人在上課時(shí)昏昏欲睡。釋義模態(tài)呈現(xiàn)順序?yàn)橄扔梦淖帜B(tài)展示目標(biāo)詞詞性、詞形與釋義，在展示的同時(shí)朗讀上述目標(biāo)詞信息。隨后，播放釋義短視頻，每個(gè)詞語(yǔ)的釋義短視頻時(shí)長(zhǎng)控制在1 分半左右。最后，同時(shí)呈現(xiàn)目標(biāo)詞詞形、詞性、釋義、例證與圖片，在展示的同時(shí)朗讀上述目標(biāo)詞文字信息（如圖1 所示）。此外，多模態(tài)釋義組所使用文本的內(nèi)容在文字釋義文本的基礎(chǔ)上增加了圖片，以體現(xiàn)模態(tài)的交融性。為抵消詞語(yǔ)呈現(xiàn)的先后順序?qū)τ洃浀挠绊?，我們將詞語(yǔ)呈現(xiàn)的順序打亂為幾個(gè)不同的版本。

圖1 釋義視頻中模態(tài)元素展示順序

（三）測(cè)量工具

實(shí)驗(yàn)的測(cè)量工具為兩套結(jié)構(gòu)和內(nèi)容相同的測(cè)試題，分別用于即時(shí)測(cè)和延后測(cè)，題型為詞匯理解測(cè)試與詞匯產(chǎn)出測(cè)試。詞匯理解測(cè)試有兩類題型：

一是給出目標(biāo)詞詞形，讓被試者用漢語(yǔ)寫出釋義。如：

Arrogantly：____________Cardigan：____________

二是選詞填空，如：

①Germinate ②Rigorously

③Periodic ④Ossified

Duanwu Festival is a traditional and____________holiday originating in China.

詞匯產(chǎn)出測(cè)試共兩類題型：

一是漢翻英，如：

梔子花潔白而美麗。

_______________________________________________

二是用所給目標(biāo)詞造句，如用“Periodic”造出完整的句子。詞匯理解型題目共計(jì)30 道，每題1 分，共計(jì)30 分，題型一中單詞含義書寫正確得1 分，字形錯(cuò)誤如多筆劃、少筆劃等但不影響理解或用拼音代替漢字同樣得分；題型二中正確寫出單詞所對(duì)應(yīng)序號(hào)或直接寫出正確詞形得1 分。詞匯產(chǎn)出型題目共計(jì)30 道，每題1 分，共計(jì)30 分，題型一中句子語(yǔ)法正確、單詞書寫正確且表意清晰，得1 分。語(yǔ)法錯(cuò)誤、單詞書寫錯(cuò)誤，出現(xiàn)一處扣0.5 分，扣完為止，目標(biāo)詞書寫錯(cuò)誤不得分，句子表意不明不得分。題型二與題型一評(píng)分標(biāo)準(zhǔn)一致。

（四）實(shí)驗(yàn)程序

實(shí)驗(yàn)程序包括：前測(cè)、目標(biāo)詞學(xué)習(xí)、即時(shí)測(cè)、延后測(cè)、問卷調(diào)查。

（1）前測(cè)。對(duì)未參加測(cè)試但與被試者語(yǔ)言水平相當(dāng)?shù)膶W(xué)生進(jìn)行目標(biāo)詞測(cè)試，同時(shí)將目標(biāo)詞給被試的任課教師進(jìn)行審核，以確保被試從未學(xué)過目標(biāo)詞。

（2）目標(biāo)詞學(xué)習(xí)。被試分別對(duì)30 個(gè)目標(biāo)詞進(jìn)行學(xué)習(xí)。30 個(gè)目標(biāo)詞分為四類，多模態(tài)釋義—具體詞，多模態(tài)釋義—抽象詞，文字釋義—具體詞，文字釋義—抽象詞。實(shí)驗(yàn)時(shí)，A、B、C、D 四個(gè)分段的80 個(gè)被試平均分為A1、A2、B1、B2、C1、C2、D1、D2 八個(gè)組，每組10 個(gè)被試，其中A1、B1、C1、D1 四組被試參加單模態(tài)實(shí)驗(yàn)，A2、B2、C2、D2 四組被試參加多模態(tài)實(shí)驗(yàn)。單模態(tài)組的被試耗費(fèi)30 分鐘運(yùn)用單模態(tài)紙質(zhì)文本自行理解、記憶詞語(yǔ)。多模態(tài)組的被試則是先耗費(fèi)10分鐘瀏覽圖文雙模態(tài)文本，再觀看時(shí)長(zhǎng)約為20分鐘釋義視頻。

（3）被試完成目標(biāo)詞學(xué)習(xí)后進(jìn)行及時(shí)測(cè)。

（4）24 小時(shí)后被試完成延后測(cè)。

（5）對(duì)參與多模態(tài)實(shí)驗(yàn)的被試進(jìn)行問卷調(diào)查，主要考察對(duì)多模態(tài)釋義方式的感受和所喜愛的模態(tài)元素組合。

三、實(shí)驗(yàn)結(jié)果

（一）CD組實(shí)驗(yàn)結(jié)果

1.CD 分段被試的詞匯理解成績(jī)

分別統(tǒng)計(jì)每名被試在多模態(tài)釋義－具體詞、多模態(tài)釋義－抽象詞、文字釋義－具體詞、文字釋義－抽象詞四種條件下的答題得分率（各條件下被試實(shí)際得分值／各條件下的滿分值），并計(jì)算所有被試的平均得分率，結(jié)果如表1 所示。使用SPSS24.0 對(duì)統(tǒng)計(jì)結(jié)果進(jìn)行2（釋義模態(tài)）×2（詞匯屬性）×2（測(cè)試時(shí)間）的重復(fù)測(cè)量方差分析。結(jié)果顯示：釋義模態(tài)的主效應(yīng)顯著，多模態(tài)釋義下CD分段的被試的詞匯理解得分率（28.764%）顯著高于文字單模態(tài)釋義下的理解得分率（12.050%），F(xiàn)（1，40）＝105.737，p＝0.000。詞匯屬性的主效應(yīng)顯著，具體詞的理解得分率（30.50%）顯著高于抽象詞的理解得分率（11.315%），F(xiàn)（1，40）＝201.411，p＝0.000。測(cè)試時(shí)間的主效應(yīng)也顯著，即時(shí)測(cè)的理解得分率（25.601%）顯著高于延后測(cè)的理解得分率（16.214%），F(xiàn)（1，40）＝54.830，p＝0.000。釋義模態(tài)與詞匯屬性的交互效應(yīng)也顯著，F(xiàn)（1，40）＝74.376，p＝0.000，說明對(duì)于不同屬性的詞語(yǔ)，釋義時(shí)是否提供多模態(tài)的理解效果可能不同。釋義模態(tài)與測(cè)量時(shí)間的交互效應(yīng)也顯著，F(xiàn)（1，40）＝22.054，p＝0.000，說明對(duì)于不同釋義模態(tài)的詞語(yǔ)，隨著時(shí)間的波動(dòng)變化不一樣。三因素交互效應(yīng)也是顯著，F(xiàn)（1，40）＝6.732，p＝0.013。

2.CD 分段被試的詞匯產(chǎn)出成績(jī)

同樣分別統(tǒng)計(jì)每名被試在多模態(tài)釋義－具體詞、多模態(tài)釋義－抽象詞、文字釋義－具體詞、文字釋義－抽象詞四種條件下的產(chǎn)出得分率（各條件下被試實(shí)際得分值／各條件下的滿分值），并計(jì)算所有被試的平均得分率，結(jié)果如表2 所示。

表2 CD 分段被試詞匯理解的即時(shí)測(cè)和延后測(cè)得分率（%）

對(duì)產(chǎn)出成績(jī)進(jìn)行2（釋義模態(tài)）×2（詞匯屬性）×2（測(cè)試時(shí)間）的重復(fù)測(cè)量方差分析。結(jié)果顯示：釋義模態(tài)的主效應(yīng)邊緣顯著。多模態(tài)釋義下水平較弱被試詞匯產(chǎn)出得分率（22.038%）顯著高于文字單模態(tài)釋義下的產(chǎn)出得分率（10.886%），F(xiàn)（1，40）＝66.689，p＝0.000。詞匯屬性的主效應(yīng)顯著，具體詞產(chǎn)出的得分率（20.282%）顯著高于抽象詞的得分率（12.642%），F(xiàn)（1，40）＝31.642，p＜0.001。測(cè)試時(shí)間的主效應(yīng)也顯著，即時(shí)測(cè)的得分率（17.729%）高于延后測(cè)的得分率（15.195%），F(xiàn)（1，40）＝5.621，p＝0.019。釋義模態(tài)與詞匯屬性的交互效應(yīng)也顯著，F(xiàn)（1，40）＝37.608，p＝0.000，說明對(duì)于不同屬性的詞語(yǔ)，釋義時(shí)是否提供多模態(tài)的理解效果可能不同。詞匯屬性與測(cè)量時(shí)間的交互效應(yīng)也顯著，F(xiàn)（1，40）＝5.274，p＝0.027，說明對(duì)于不同詞匯屬性的詞語(yǔ)，隨著時(shí)間的波動(dòng)變化不一樣。三因素交互效應(yīng)也是顯著的，F(xiàn)（1，40）=16.518，p＝0.000。

（二）AB 組實(shí)驗(yàn)結(jié)果

1.AB 分段被試詞匯理解

對(duì)數(shù)據(jù)（表3）進(jìn)行2（釋義模態(tài)）×2（詞匯屬性）×2（測(cè)試時(shí)間）的重復(fù)測(cè)量方差分析。結(jié)果表明：釋義模態(tài)的主效應(yīng)顯著，多模態(tài)釋義條件下AB 分段被試的詞匯理解得分率（51.552%）顯著高于文字單模態(tài)釋義條件下詞匯理解的得分率（28.062%），F(xiàn)（1，31）＝67.094，p＝0.000。詞匯屬性的主效應(yīng)顯著，具體詞的理解得分率（47.067%）顯著高于抽象詞的得分率（32.546%），F(xiàn)（1，31）＝74.553，p＜0.000。測(cè)試時(shí)間的主效應(yīng)不顯著，即時(shí)測(cè)的理解得分率（39.242%）不顯著低于延后測(cè)的得分率（40.372%），F(xiàn)（1，31）＝0.711，p=0.406>0.05。詞匯屬性與測(cè)量時(shí)間的交互效應(yīng)也顯著，F(xiàn)（1，31）＝7.956，p＝0.008，說明對(duì)于不同詞匯屬性的詞語(yǔ)，隨著時(shí)間的波動(dòng)變化不一樣。三因素交互效應(yīng)不顯著，F(xiàn)（1，31）＝1.842，p＝0.056。

表3 AB 分段被試詞匯理解的即時(shí)測(cè)和延后測(cè)得分率（%）

2.AB 分段被試的詞匯產(chǎn)出成績(jī)

對(duì)AB 分段被試的詞匯產(chǎn)出成績(jī)（見表4）進(jìn)行2（釋義模態(tài)）×2（詞匯屬性）×2（測(cè)試時(shí)間）的重復(fù)測(cè)量方差分析。結(jié)果顯示：釋義模態(tài)的主效應(yīng)顯著，多模態(tài)釋義下AB 分段被試的詞匯產(chǎn)出得分率（55.112%）顯著高于文字單模態(tài)釋義下的產(chǎn)出得分率（25.997%），F(xiàn)（1，31）=133.843，p＝0.000。詞匯屬性的主效應(yīng)顯著，具體詞的產(chǎn)出得分率（44.034%）高于抽象詞的產(chǎn)出得分率（37.076%），F(xiàn)（1，31）＝10.186，p=0.003。測(cè)試時(shí)間的主效應(yīng)不顯著，即時(shí)測(cè)的產(chǎn)出得分率（40.701%）與延后測(cè)的得分率（40.409%）無(wú)顯著差異，F(xiàn)（1，31）＜1，p＝0.835。以上三因素的兩兩交互效應(yīng)均不顯著（ps＞0.05）。三因素交互效應(yīng)不顯著，F(xiàn)（1，31）＜1，p＝0.190。

表4 AB 分段被試詞匯產(chǎn)出的即時(shí)測(cè)和延后測(cè)得分率（%）

三、問卷調(diào)查結(jié)果

問卷以問卷星的形式發(fā)放給40 名參與了多模態(tài)釋義實(shí)驗(yàn)的被試，其中參與多模態(tài)釋義實(shí)驗(yàn)的AB 分段被試回收18 份，回收率為90%；參與多模態(tài)釋義實(shí)驗(yàn)的CD 分段被試回收20 份，回收率為100%。所回收的問卷均為有效問卷。問卷首先調(diào)查了多模態(tài)釋義在詞匯理解和產(chǎn)出兩方面能力的輔助程度。問卷調(diào)查結(jié)果如表5 所示，77.71%的AB 分段的被試和85%的CD 分段的被試認(rèn)為多模態(tài)釋義有利于生詞的理解，55.55%的AB 分段的被試和70%CD 分段的被試認(rèn)為多模態(tài)釋義有利于生詞的記憶，這說明多數(shù)被試認(rèn)可多模態(tài)釋義在英語(yǔ)詞匯習(xí)得過程中所發(fā)揮的積極作用，但CD 分段選擇“幫助較大”和“幫助非常大”的被試要顯著大于AB 分段，這說明英語(yǔ)水平較弱的被試更認(rèn)可這種積極作用。

表5 被試對(duì)多模態(tài)釋義的評(píng)判結(jié)果

此外，我們還調(diào)查了被試所喜愛的模態(tài)元素組合。根據(jù)表6 的數(shù)據(jù)顯示，被試最喜愛的模態(tài)元素組合是“短視頻+動(dòng)圖+音頻”，其次是“短視頻+動(dòng)圖”，其中“短視頻”選中率為100%，可見被試比較偏愛于能夠進(jìn)行動(dòng)態(tài)展示的模態(tài)元素。

表6 被試喜愛的模態(tài)元素組合

四、分析與討論

（一）討論一

實(shí)驗(yàn)結(jié)果表明，對(duì)于各階段的被試而言，多模態(tài)釋義下的詞匯理解和產(chǎn)出成績(jī)均顯著優(yōu)于文字單模態(tài)釋義下的成績(jī)。此外，多數(shù)被試主觀上認(rèn)同多模態(tài)在詞匯學(xué)習(xí)中的積極作用?？梢?，整體而言，多模態(tài)釋義比文字單模態(tài)釋義更有助于英語(yǔ)二語(yǔ)者的詞匯學(xué)習(xí)。

實(shí)際上，人類語(yǔ)言交際本身就是多模態(tài)化的，當(dāng)幼兒還未發(fā)展出識(shí)讀能力時(shí)，就是依靠多模態(tài)元素來感知世界從而習(xí)得概念，研究顯示，幼兒最先發(fā)展起的中文詞匯多是與其能直接所觀、所聽、所觸的名詞、動(dòng)詞為主[19]。同樣，在二語(yǔ)習(xí)得中，多模態(tài)釋義也可幫助被試建立起詞形與概念之間聯(lián)系，簡(jiǎn)化或消除“目的語(yǔ)—母語(yǔ)”的翻譯過程，從而弱化母語(yǔ)負(fù)遷移的影響。

焦慮是影響二語(yǔ)習(xí)得的重要情感變量之一，語(yǔ)言焦慮與語(yǔ)言課程成績(jī)以及教師對(duì)被試成就的評(píng)定呈負(fù)相關(guān)。劉會(huì)霞、燕浩等人的研究顯示焦慮情緒會(huì)削弱大腦的執(zhí)行控制能力，進(jìn)而降低工作記憶的加工效率，最終對(duì)語(yǔ)言學(xué)習(xí)產(chǎn)生負(fù)面影響[20]。相反，愉悅情緒對(duì)語(yǔ)言學(xué)習(xí)有促進(jìn)作用，李成陳、韓曄發(fā)現(xiàn)愉悅對(duì)英語(yǔ)考試成績(jī)及自評(píng)網(wǎng)課學(xué)習(xí)成效有顯著正向預(yù)測(cè)作用[21]。在進(jìn)行詞匯學(xué)習(xí)前，教師明確告知被試學(xué)習(xí)完成后要進(jìn)行測(cè)試，這在一定程度上引起了被試的焦慮。然而，多模態(tài)呈現(xiàn)方式能夠調(diào)動(dòng)被試多感官的參與并激發(fā)他們的學(xué)習(xí)興趣，從而有效削減被試的學(xué)習(xí)焦慮，尤其是在播放視頻模態(tài)時(shí)，能夠明顯感覺被試的狀態(tài)要放松許多。鄭群、徐瑩的研究也證實(shí)多模態(tài)呈現(xiàn)方式有助于降低被試詞匯學(xué)習(xí)的交際焦慮[22]。

認(rèn)知負(fù)荷理論認(rèn)為由于人的工作記憶容量是有限的，當(dāng)被試所學(xué)內(nèi)容或所接受內(nèi)容超過工作記憶的處理極限時(shí)，就會(huì)導(dǎo)致認(rèn)知超載，教學(xué)設(shè)計(jì)的核心原則就是要降低內(nèi)在和外在認(rèn)知負(fù)荷，而促進(jìn)有效認(rèn)知負(fù)荷[23]。傅曉玲指出人們?cè)谝曈X、聽覺的雙通道同時(shí)進(jìn)行信息加工時(shí)，需要在兩種通道之間建立關(guān)聯(lián)，即將有關(guān)聯(lián)的聽覺表象和視覺表象進(jìn)行轉(zhuǎn)換。也只有這樣，人的大腦視覺、聽覺認(rèn)知資源才能得到充分地利用[24]。多模態(tài)釋義圍繞釋詞的形、音、義將視覺、聽覺兩個(gè)通道聯(lián)通并建立起有效關(guān)聯(lián)，將文字表征轉(zhuǎn)換成被試更容易感知的視頻模態(tài)、圖片模態(tài)和音頻模態(tài)等，并利用同步呈現(xiàn)“圖像和文本”信息相近的原則，增加視覺、聽覺表證認(rèn)知加工，從而有效降低了被試的認(rèn)知負(fù)荷，促進(jìn)了被試長(zhǎng)時(shí)記憶的提升。

（二）討論二

此外，實(shí)驗(yàn)結(jié)果還表明，詞語(yǔ)屬性和語(yǔ)言水平兩個(gè)變量共同調(diào)節(jié)圖文雙模態(tài)釋義的效果。具體而言，對(duì)于各個(gè)階段的被試而言，無(wú)論是學(xué)習(xí)抽象詞還是具體詞，多模態(tài)釋義下的詞語(yǔ)學(xué)習(xí)成績(jī)均顯著好于文字單模態(tài)釋義下的詞語(yǔ)學(xué)習(xí)成績(jī)。但相比之下，具體詞的理解和產(chǎn)出程度要好于抽象詞。雙重編碼理論認(rèn)為，具體詞在進(jìn)行心理加工時(shí)較抽象詞有優(yōu)勢(shì)。具體詞能在以言語(yǔ)為基礎(chǔ)和以意象為基礎(chǔ)的兩個(gè)系統(tǒng)中同時(shí)被加工,而抽象詞則主要是在言語(yǔ)系統(tǒng)中被加工。具體詞的呈現(xiàn)比抽象詞更經(jīng)常地喚起意象表征,言語(yǔ)和意象表征的喚起使具體詞具有了加工優(yōu)勢(shì)[25]。雖然，多模態(tài)釋義使得抽象詞的呈現(xiàn)方式較之單模態(tài)釋義更為具體，但無(wú)論如何抽象詞構(gòu)成義素的模糊性使其難以通過多模態(tài)語(yǔ)境實(shí)質(zhì)地喚起意象表征，也因此抽象詞的多模態(tài)釋義是一種間接釋義方式，加工優(yōu)勢(shì)較之具體詞并不顯著。如對(duì)具體詞“Gardenia”的多模態(tài)釋義可以通過展示茉莉花的圖片被試直接建立起與概念的聯(lián)系，而抽象詞“Periodic”的多模態(tài)釋義實(shí)則是通過多模態(tài)元素的互動(dòng)對(duì)“Periodic”的例證語(yǔ)境進(jìn)行再現(xiàn)，而并不是對(duì)“Periodic”的語(yǔ)義進(jìn)行直接解釋。

五、對(duì)詞典編纂的啟示

綜上所述，模態(tài)元素之間互動(dòng)、互補(bǔ)比單一的文字更有助于用戶解讀語(yǔ)義，多模態(tài)釋義能有效促進(jìn)英語(yǔ)詞匯的學(xué)習(xí)。同時(shí)，從此次實(shí)驗(yàn)中我們也獲得了一些啟示。

首先，在進(jìn)行多模態(tài)釋義之前，應(yīng)對(duì)被釋詞的語(yǔ)義進(jìn)行分析，根據(jù)語(yǔ)義特征設(shè)置不同的模態(tài)元素進(jìn)行釋義。具體詞可以直接用圖片，但抽象詞如“Notorious”“Frivolous”用圖片進(jìn)行釋義其效果并不一定顯著。怎樣才能使得抽象詞的多模態(tài)釋義效果實(shí)現(xiàn)最大化，我們認(rèn)為需要做到以下兩點(diǎn)：（1）構(gòu)建真實(shí)生活語(yǔ)境，圖式具體化過程中語(yǔ)境首先起著刺激作用，能激活處于休眠狀態(tài)的圖式，同時(shí)語(yǔ)境能成為圖式解釋、預(yù)判和推理的對(duì)象，從而有助于理解。詞典中構(gòu)建的多模態(tài)語(yǔ)境應(yīng)是用戶所經(jīng)歷、體驗(yàn)過的真實(shí)生活語(yǔ)境，如若缺乏這樣的語(yǔ)境則無(wú)助于圖式的具體化[26]。如詞典用戶為學(xué)生群體，我們可以圍繞“Periodic Examination”來為“Periodic”構(gòu)建多模態(tài)語(yǔ)境。（2）調(diào)動(dòng)詞典用戶積極情緒，郭晶晶、王敏帆等人的實(shí)驗(yàn)結(jié)論顯示，當(dāng)被試在憤怒韻律背景下學(xué)習(xí)抽象詞時(shí)加工的正確率更低、反應(yīng)時(shí)更長(zhǎng)[27]。因此，在進(jìn)行多模態(tài)釋義時(shí)，我們可以嘗試從色彩搭配、人物形象塑造、背景音樂配置等方面來調(diào)動(dòng)詞典用戶的積極情緒。

其次，我們注意到視頻模態(tài)受到了被試的廣泛喜愛，被試在收看視頻時(shí)的專注度也要比觀看圖片時(shí)更高。但同時(shí)部分被試在收看視頻時(shí)容易被釋義視頻中的人物表情、服飾、外貌等次要元素所帶偏而忽視了釋義的核心內(nèi)容。釋義視頻的內(nèi)容、時(shí)長(zhǎng)、場(chǎng)景等都需要根據(jù)詞典用戶的喜歡仔細(xì)研究。

最后，在進(jìn)行多模態(tài)釋義時(shí)，各個(gè)模態(tài)元素之間應(yīng)是互融、互動(dòng)和互補(bǔ)的，而不是孤立地對(duì)詞語(yǔ)進(jìn)行釋義。這需要我們理清各個(gè)模態(tài)的釋義優(yōu)勢(shì)，從而實(shí)現(xiàn)釋義效果的最大化。