宋占美，孫倪明，屈 燕

繪本閱讀能夠促進幼兒的語言發(fā)展，幼兒能夠通過語氣語調(diào)的變化感知語言韻律，通過看圖片猜測某一單詞或句子的意思，從而形成概念與圖片的對應，還可在教師的支持下通過參與故事表演共同構建一些特定的語言環(huán)境、語言形式和意義過程。英語繪本是目前國內(nèi)雙語幼兒園普遍采用的重要教學媒介，以其豐富的故事性、趣味性影響幼兒的英語學習。但由于傳統(tǒng)的紙質(zhì)繪本質(zhì)量、設計以及教師的閱讀水平不高，導致雙語教學整體互動性弱、教師容易忽略幼兒的情感情緒體驗和閱讀興趣培養(yǎng)等問題；[1]且國內(nèi)雙語幼兒園的英語教師多為本土老師，專業(yè)化水平不高，存在“傳統(tǒng)教育經(jīng)驗模式、線性思維”傾向。[2]因此很多雙語幼兒園都存在教學形式化、小學化的傾向。針對以上問題，本研究以“讓幼兒在快樂游戲化過程中體驗英語繪本學習的有趣”為目的，探究英語繪本學習的新手段——多模態(tài)英語電子繪本。

一、多模態(tài)電子交互式繪本的開發(fā)

(一)理論與實踐基礎

“兒童需要借助轉喻認識事物之間的鄰近關系，形成形象思維能力，由此實現(xiàn)認知發(fā)展。好的繪本應善于使用文字與圖像等多模態(tài)轉喻，用兒童熟悉的認知域來突顯新的認知域，以此引導兒童關注和理解繪本內(nèi)容”[3]。Neuman(1997)在她的協(xié)同理論中提出，通過多媒體增強語言信息實際上可能有助于兒童學習新內(nèi)容，為他們提供處理新信息的新工具。[4]多模態(tài)電子交互式繪本則是利用視頻、圖譜、真人語音、操作引導按鈕組成的兒童可觸摸電子繪本，融合了聽覺、視覺、觸覺三大模態(tài)，基于維果斯基社會文化理論和多模態(tài)文本理論(Jewitt &Kress，2003;Kress，2010)而誕生的一種運用于幼兒繪本領域的教學輔助工具。[5]

國外已有研究通過大量實驗證明基于電子設備的交互式繪本可以讓3—6歲幼兒使用，并且可以在一定程度上促進幼兒的雙語學習和提升幼兒語言思維能力，尤其在3—6歲這個語言發(fā)展的關鍵期，采用多模態(tài)電子繪本可以促進幼兒有效閱讀。Cristine.W是目前多模態(tài)電子交互式繪本使用領域的專業(yè)研究者，她根據(jù)多個實驗研究，得出了關于多模態(tài)繪本的如下特點：(1)有動畫作為輔助可吸引孩子注意；(2)多模態(tài)繪本聲畫同步，通過豐富的按鍵可以讓孩子點讀、跟讀、聽讀文本；(3)繪本操作過程中及時彈跳出來的單詞解釋可以鞏固孩子的單詞記憶；(4)多種功能模式閱讀，尤其是孩子利用集成模式(聽讀、使用不同功能的按鍵、評論文本)和伙伴一起閱讀，可以促進社會互動能力發(fā)展。[6]美國、土耳其等國家的幼兒園目前已經(jīng)開始投入多模態(tài)電子繪本作為促進幼兒雙語學習的重要輔助工具。2018年4月，亞馬遜推出了一款兒童版智能音箱Echo Dot Kids Ediyion，該系統(tǒng)屬于多模態(tài)人機交互，研究者目前將這套系統(tǒng)運用于兒童早期閱讀領域，通過兒童自由點擊、傳輸語言，只需輕點電子屏幕上的圖文，視覺交互終端就能通過攝像頭采集，并對內(nèi)容進行定位、提取和識別，實時解決孩子在閱讀中遇到的難題。[7]國內(nèi)研究者孫平(2016)也提出通過構建兒童繪本跨媒體閱讀新模式，促進新時期兒童繪本閱讀的良性健康發(fā)展；[8]劉曉婷(2016)通過版式風格、構圖、角色造型、文字特征和色彩特征五個方面，設計兒童繪本APP，讓兒童在觀看電子繪本時通過視覺、聽覺、觸覺與電子繪本產(chǎn)生互動。[9]但國內(nèi)的幼兒園目前很少有利用多模態(tài)電子交互式繪本進行雙語教學的案例。

事實上，“諸如變焦鏡頭和音效等多媒體增強功能可以使動作更加突出，并將孩子們的注意力吸引到相關細節(jié)上”[10]。多模態(tài)電子交互式繪本通常有動畫視頻、功能按鍵、導航菜單和其他(返回、數(shù)據(jù)保留)這幾個部分，[11]每個部分的設置也是構成電子繪本特點的重要因素，如“動畫”，不同的繪本有不同動畫部分，包括聽讀無動畫、自動連播動畫、手動點播動畫和可自動可手動模式；再如“功能按鍵”，有無按鍵繪本，也有與故事線保持一致的按鍵，這些不一樣的設置能告訴教育者怎樣的模式才是最適合幼兒的，并反饋到下一輪研發(fā)中，將功能按鈕、繪本排版、動畫、測試等模塊都調(diào)整到適合幼兒使用的方式。

(二)開發(fā)過程

1.開發(fā)理念與目標

多模態(tài)電子交互式繪本是對傳統(tǒng)紙質(zhì)繪本的補充，可以在幼兒欣賞靜態(tài)繪本之余，通過自主聽、看、玩游戲等方式，豐富整個英語學習過程，讓幼兒在涂畫和玩樂中潛移默化地接受英語語言的熏陶。設計該類型繪本的初衷是想要解答“怎樣實現(xiàn)孩子與繪本之間的聯(lián)系”“如何讓繪本‘自己說話’”“如何讓幼兒在游戲中學英語”“怎樣幫助孩子養(yǎng)成良好的閱讀習慣”以及“如何讓孩子在玩樂中感知原汁原味的英語”這幾個問題。因此，開發(fā)目標是：(1)通過巧妙的軟件設計，讓孩子自己在繪本里找尋答案；(2)在此基礎上，通過原繪本的內(nèi)容，讓孩子更好地理解單詞句子和情境；(3)通過讓孩子自主點讀，讓教師從“全方位干預”中解脫出來，教師不再是幼兒繪本閱讀的指導者和監(jiān)督者，而是幼兒閱讀過程中的陪伴者；(4)通過豐富的內(nèi)容拓展，讓孩子不僅學習英語，也了解相關百科知識，更有體驗感，從而建立音、意、形之間的連接。

2.開發(fā)工具

本研究所使用的多模態(tài)電子交互式繪本為研究者本人所在團隊共同研發(fā)，使用來自中國臺灣的Hama Star科技軟件“Simmagic互動式電子書編輯軟件”，經(jīng)授權，研究團隊可以登錄永久使用。Simmagic互動式電子書編輯軟件操作簡便易上手，研究者需要將視頻、音頻、圖片、游戲代碼等素材提前準備好，之后一一導入該系統(tǒng)的“電子書母版”，在母版中直接編輯素材即可。該軟件的主要功能有彈跳視窗、另開附件、幻燈片播放、插入視頻、邊框截取、動作軌跡、測試板塊等。以“幻燈片播放”為例，研究者將一個魔方的前后左右上下6個面全部拍照導入系統(tǒng)中后，利用幻燈片播放功能，可以實現(xiàn)該魔方的“360度旋轉”，使用者通過拖拉圖片，即可看到該物體的3D呈現(xiàn)方式，這一功能對于幼兒學習簡單圖形和方位有很大幫助。

3.“藍本”選取

為了配套目標幼兒園正在使用的繪本，研究團隊根據(jù)幼兒年齡特點和身心發(fā)展規(guī)律，在紙質(zhì)雙語繪本Babylovesspring、Countingkisses、BrownbearBrownbearwhatdoyousee、Whoneedsadrink的基礎上，制作出多模態(tài)電子繪本，在原有繪本的基礎上，令靜態(tài)繪本圖片“發(fā)聲”“動起來”，并增加了百科知識和游戲。這4本紙質(zhì)繪本圍繞春天、數(shù)字、顏色、盥洗這些與幼兒日常相關的內(nèi)容展開，以故事的形式敘述與幼兒活動相關的英語單詞句子，既能夠讓幼兒對英語語言產(chǎn)生興趣，也能夠讓幼兒在故事中學習到與自己相關的簡單日常英語。

4.開發(fā)思路

(1)游戲化。多模態(tài)電子交互式繪本要結合具體園所的具體教學目標，如主題目標、課程目標，結合幼兒現(xiàn)有操作水平，在幼兒“最近發(fā)展區(qū)”[12]內(nèi)進行；結合課程游戲化的理念，將游戲融入學習過程中，如我們設計的測試題采用游戲“刮刮樂”“連連看”“貪吃蛇”“打地鼠”等幼兒比較熟悉的操作方式，將英語單詞、句型、對話融入游戲中，讓幼兒在涂畫和玩樂中學習；結合繪本內(nèi)容，創(chuàng)造出更多價值。

(2)集成化?；赟immagic軟件設計的多模態(tài)電子交互式繪本集成了六大功能：一是點讀功能。幼兒通過手指點擊屏幕上的按鈕，實現(xiàn)單詞、句型點讀，研究團隊設計了“喇叭”“藍色小手”提示圖標來引導幼兒點擊目標單詞和句子。二是聽說功能。幼兒點擊后可重復多次，也可以將自己的聲音錄下來聽聽自己的讀音等。三是寫畫功能。幼兒可以點擊電子屏幕最下面一欄的“畫筆”按鍵，隨時隨地涂涂寫寫，也可以做標記，如畫圈、打星號等。四是體驗功能。研究團隊編輯的音效全部來自真人真聲，視頻動畫也是采用幼兒熟悉的動畫，讓幼兒感受到自然、真實的聲音和熟悉的動畫人物，從而喜歡探索多模態(tài)電子繪本。五是游戲功能。這里的游戲主要是上文提到的“刮刮樂”“連連看”“打地鼠”等幼兒喜愛且熟悉的游戲，研究團隊不只是為了讓幼兒玩樂，也是將重點詞句、概念融入游戲中，讓孩子在游戲中學習。六是測試功能。研究團隊設計的測試題針對目標幼兒的年齡段，設計了適合但高于幼兒目前水平的測試題，如單詞點選題、圖片單詞連線題等，這些測試題的作用體現(xiàn)在，可以幫助教育者掌握幼兒學習程度。部分電子書操作畫面如圖1所示。

圖1 電子書操作畫面圖

二、多模態(tài)電子交互式繪本的應用

(一)對象選取

研究對象均來自溫州市某教育集團園旗下的4所幼兒園，研究團隊將本次研究的對象確定在小班下學期這一時段。這個年齡段的孩子有著“強烈的好奇心和探究欲望”，并且他們已經(jīng)接受過一學期的英語繪本教學了，因此本次研究綜合考慮幼兒的年齡特點和幼兒園教學的現(xiàn)實因素，將研究對象的范圍確定在了小班下學期這一時段。由于實施多模態(tài)繪本需要大量的平板電腦，而且需要拍攝幼兒的操作過程，以便后續(xù)觀察分析所用，因此多模態(tài)繪本應用的第一步，研究團隊就對所選擇的所有小班幼兒家長進行了問卷調(diào)查，了解家長對于多模態(tài)電子交互式繪本的認識程度及態(tài)度看法等，以便綜合考慮篩選符合條件的目標幼兒。研究者用問卷星編制問卷，涉及的問題包括家長對多模態(tài)繪本的了解程度、是否同意幼兒接觸電子設備、平時給幼兒使用什么類型的電子設備等，最后共收集到122份小班幼兒的家長問卷。在其中篩選符合“家里有iPad”“同意幼兒接觸多模態(tài)繪本”“同意幼兒在操作過程中被拍攝”條件的幼兒，最后共獲得36名目標幼兒，男孩21名，女孩15名，年齡集中在4—4.5周歲。

(二)研究時間

整個研究為期13周，第1周對樣本幼兒進行英語水平前測，第13周進行后測，幼兒有11周接觸多模態(tài)繪本的時間；每周進行1次多模態(tài)繪本活動，每次30分鐘，前10分鐘為研究者和幼兒共同閱讀紙質(zhì)繪本，后20分鐘為幼兒自主操作多模態(tài)電子繪本；每進行完1次多模態(tài)繪本的操作，由幼兒園主班老師帶領幼兒到戶外場地運動、遠眺片刻，目的是保護幼兒的視力。在整個實施過程中，研究團隊和幼兒園的老師會不斷提醒幼兒保持正確的坐姿，且眼睛與平板電腦保持一定距離。

(三)具體實施

1.目標幼兒的操作方式

首先是幼兒的操作。以紙質(zhì)繪本為基礎，通過遮罩單詞、隱藏部分內(nèi)容、點讀語句、設置測試題等，讓幼兒通過手指點擊操作，自主閱讀一本多模態(tài)電子繪本，幼兒在提示按鈕的引導下點擊學習英語單詞、跟讀句子以及理解繪本內(nèi)容。其次是幼兒的分組。研究者安排4個幼兒為一桌，由1位教師負責觀察和介紹電子繪本用法，另1位研究助手負責拍攝和記錄。操作良好的幼兒單獨使用自己帶來的平板電腦，操作水平較弱的幼兒則和另一位水平高一些的幼兒一組，進行同伴共讀。所有平板電腦均由幼兒自帶，研究者提前準備5臺平板電腦作為備用，研究團隊會將制作好的繪本提前一天下載到幼兒的平板電腦上，第二天幼兒直接打開即可操作。

2.目標幼兒的評價工具

36名幼兒接觸多模態(tài)電子繪本11周后，研究者使用COR學前兒童觀察評價系統(tǒng)量表對他們的英語等級進行評定。該工具由高瞻教育研究基金會和高瞻早期教育評價中心開發(fā)，開發(fā)者包括：安·愛潑斯坦(Ann S.Epstein)、吉爾·克拉克斯頓(Jill Claxton)、貝絲·哈丁(Beth Hardin)、麗貝卡·詹姆斯(Rebecca James)、莫莉·喬丹(Molly Jourden)等。COR Advantage(學前兒童觀察評價系統(tǒng))是高瞻課程模式的最新兒童觀察評價系統(tǒng)，具有發(fā)展適宜性、高信度、高效度等特點。[13]它包括學習品質(zhì)、社會性和情感發(fā)展、身體發(fā)展和健康、語言讀寫和交流、數(shù)學、創(chuàng)造性藝術、科學和技術、社會學習、英語語言學習(針對母語非英語的兒童)九大領域。研究者將采用九大領域之一的英語語言學習這一維度，與幼兒園教師一同觀察幼兒，給幼兒較為客觀的英語水平等級分數(shù)。

(四)研究結果

研究者對目標幼兒進行了2周的行為觀察，與主班副班老師及同行的研究伙伴一同給目標幼兒評定打分，多模態(tài)繪本投入前的前測等級得分和后測得分如下表格所示(以隨機2人為例)：

表1 多模態(tài)繪本投入前后的幼兒英語語言COR等級水平

表2 COR IX.II維度上的前后測t檢驗結果

表3 COR IX.JJ維度上的前后測t檢驗結果

將36名幼兒的數(shù)據(jù)結果輸入SPSS中運用配對樣本t檢驗分析前后測數(shù)據(jù)的顯著性，經(jīng)過多模態(tài)電子交互式繪本學習后的第2次COR IX.II即英語聽力與理解(M=4.38，SD=0.779)顯著高于未使用多模態(tài)電子交互式繪本的第1次COR IX.II(M=3.86，SD=0.593)，t(36)=-4.14，P<0.05，d=0.69。

經(jīng)過多模態(tài)電子交互式繪本學習后的第2次COR IX.JJ即英語口語(M=4.17，SD=0.971)顯著高于未使用多模態(tài)電子交互式繪本的第1次COR IX.JJ(M=3.14，SD=0.351)，t(36)=-7.025，P<0.05。

根據(jù)t檢驗的結果，經(jīng)過多模態(tài)電子交互式繪本學習，36名目標幼兒無論是英語聽力與理解還是英語口語的等級分數(shù)與使用前有著顯著區(qū)別，第一次的均值均小于第二次的均值，足以證明研究者制作出來的多模態(tài)電子繪本的有效性。

研究者通過拍攝照片、視頻等，記錄幼兒對多模態(tài)電子交互式繪本的使用情況，發(fā)現(xiàn)大部分幼兒非常喜歡使用多模態(tài)電子交互式繪本，在操作過程中幼兒的情緒普遍較高，他們喜歡點擊可以彈跳出來的圖片，也喜歡跟唱繪本中的兒歌，對多模態(tài)繪本中文字的關注度明顯高于紙質(zhì)繪本。

三、小結與建議

在多模態(tài)電子繪本的開發(fā)上，研究者發(fā)現(xiàn)：(1)幼兒更喜愛偏向擬人化的、具有很強故事性的繪本；(2)對于大量重復性畫面的繪本，幼兒目光停留的時間會很短；(3)幼兒在游戲模塊、畫筆涂色模塊停留的時間較長。因此，在之后的多模態(tài)繪本開發(fā)制作中，研究者需要注重對不同模態(tài)版面設計的調(diào)整，避免大量重復的畫面，此外繪本藍本的選取也要充分考慮故事性、擬人性這些特點。

在多模態(tài)電子繪本的應用上，實驗中目標幼兒對多模態(tài)電子繪本的興趣和關注度都顯著高于紙質(zhì)繪本，并顯著提升了自己的英語水平。因此讓幼兒在“玩樂”中感受語言學習的過程才是基于幼兒視角開展的適宜性教學活動，這也再次證明了語言的學習是需要基于幼兒的興趣進行的，且語言的學習是一個潛移默化、浸潤式的過程。因此教師的角色尤為重要，教師需適時采用自上而下的“師者角色式”顯性指導和平行關系的“伙伴角色”隱性指導，[14]將語言滲透到幼兒園一日流程中。

由于多模態(tài)繪本的操作是以幼兒自主活動為主，這就要求幼兒有“內(nèi)隱認知”[15]的需求。美國心理學家Reber于1967年提出了“內(nèi)隱學習”，它是指無意識、自動化地獲得規(guī)則的認知加工過程。[16]在多模態(tài)繪本制作與運用的過程中，幼兒接受多模態(tài)繪本這個工具是無意識的，他們并不知道多模態(tài)繪本是什么，在他們的概念里，這是一個可以讓他們“玩樂”的工具。但是隨著研究者在多模態(tài)繪本里加入語言、認知、游戲等元素，幼兒的“自動化”便形成了，他們會根據(jù)繪本按鍵中的提示逐漸找到方法，熟練之后甚至不需要提示，可完全自動操作一本繪本。這其中的關鍵便在于多模態(tài)繪本給幼兒的呈現(xiàn)方式，是以幼兒的視角來設計并制作的，一定程度上激發(fā)了幼兒內(nèi)隱認知的需求。

在今后的多模態(tài)繪本實驗中，還應在以下方面逐步完善：(1)要在設備上爭取全方位調(diào)試，能夠讓多模態(tài)電子交互式繪本在各個電子設備以及相關平臺上使用，以便讓更多孩子參與進來；(2)教育者應該充分做好家長工作，讓家長了解多模態(tài)電子交互式繪本的具體操作，并觀察記錄好每一位幼兒的使用情況和成長情況，及時上報開發(fā)者，做到開發(fā)與教育一致；(3)在家園合作方面，可以通過密切的家長會、小組討論會、家長委員交流會等，讓家長了解孩子的操作使用情況，以便及時與教師聯(lián)系，還可以通過家庭親子閱讀，讓多模態(tài)電子繪本走進千萬家庭生活中，做到家園一致，保障幼兒身心健康成長。