劉哲雨 郝曉鑫 王 紅 吳立寶

?

學(xué)習(xí)科學(xué)視角下深度學(xué)習(xí)的多模態(tài)研究*

劉哲雨1郝曉鑫1王 紅1吳立寶2[通訊作者]

（1． 天津師范大學(xué) 教育科學(xué)學(xué)院，天津 300387；2． 天津師范大學(xué) 教師教育學(xué)院，天津 300387）

文章從技術(shù)、推廣、評(píng)價(jià)、整合和拓展五個(gè)方面，說(shuō)明深度學(xué)習(xí)研究有賴于基本規(guī)律研究。作為學(xué)習(xí)科學(xué)的重要研究?jī)?nèi)容，深度學(xué)習(xí)基本規(guī)律研究應(yīng)借鑒多模態(tài)的研究方法，全面揭示深度學(xué)習(xí)發(fā)生的內(nèi)在機(jī)制。同時(shí)，文章歸納了不同學(xué)科和不同行為的多模態(tài)，著重分析了學(xué)習(xí)科學(xué)與深度學(xué)習(xí)領(lǐng)域的多模態(tài)。在完善深度學(xué)習(xí)框架的基礎(chǔ)上，文章針對(duì)框架的各個(gè)組成部分提出了基礎(chǔ)型、專業(yè)型多模態(tài)指標(biāo)，構(gòu)建了基于深度學(xué)習(xí)框架的多模態(tài)指標(biāo)體系，可為不同目的、條件和層次的深度學(xué)習(xí)基本規(guī)律的多模態(tài)研究提供指標(biāo)依據(jù)和機(jī)制參考。

深度學(xué)習(xí)框架；多模態(tài)指標(biāo)；內(nèi)在機(jī)制；學(xué)習(xí)科學(xué)

一深度學(xué)習(xí)研究需要多模態(tài)方法

1 深度學(xué)習(xí)研究有賴于基本規(guī)律研究

深度學(xué)習(xí)是學(xué)習(xí)者積極主動(dòng)地、批判性地整合新知識(shí)，并以深度理解為起點(diǎn)、以新情境中的遷移為導(dǎo)向、以解決復(fù)雜問(wèn)題和創(chuàng)新為目標(biāo)的高層次的學(xué)習(xí)方式[1]。深度學(xué)習(xí)的研究歷史和研究成果相對(duì)比較集中，從世界范圍來(lái)看主要集中在北美地區(qū)、英國(guó)、澳大利亞、新加坡和中國(guó)。當(dāng)前對(duì)于深度學(xué)習(xí)的研究主要集中在以下五個(gè)方面：

①技術(shù)——無(wú)論是在技術(shù)與知識(shí)層面[2]、學(xué)習(xí)共同體層面[3]，還是在學(xué)習(xí)系統(tǒng)與學(xué)習(xí)過(guò)程層面[4]，研究者紛紛圍繞著技術(shù)對(duì)深度學(xué)習(xí)的促進(jìn)作用進(jìn)行了深入的理論探索與實(shí)證研究。未來(lái)，研究者可以在思維層面上關(guān)注技術(shù)如何支持深度學(xué)習(xí)。

②推廣——2010年，在美國(guó)威廉和弗洛拉·休利特基金會(huì)的發(fā)起下，經(jīng)由美國(guó)研究院組織，深度學(xué)習(xí)研究項(xiàng)目（Study of Deeper Learning: Opportunities and Outcomes，SDL）從理論上對(duì)深度學(xué)習(xí)的概念、內(nèi)涵進(jìn)行了界定和解讀，并建立了500余所面向深度學(xué)習(xí)的實(shí)驗(yàn)學(xué)校，逐步形成了深度學(xué)習(xí)共同體網(wǎng)絡(luò)[5]。2011年，經(jīng)濟(jì)合作與發(fā)展組織（Organization for Economic Co-operation and Development，OECD）發(fā)起創(chuàng)新學(xué)習(xí)環(huán)境計(jì)劃（Innovative Learning Environment，ILE），針對(duì)如何實(shí)現(xiàn)深度學(xué)習(xí)這一問(wèn)題，構(gòu)建了新型課堂的結(jié)構(gòu)模型，積累了豐富的樣例。此外，芬蘭、法國(guó)等國(guó)更新了課程方案，保證基礎(chǔ)教育學(xué)校為所有學(xué)生提供深度學(xué)習(xí)的機(jī)會(huì)。2015年，我國(guó)教育部試點(diǎn)“深度學(xué)習(xí)”教學(xué)改進(jìn)項(xiàng)目，進(jìn)行面向深度學(xué)習(xí)的教育供給側(cè)改革。

③評(píng)價(jià)——根據(jù)2005～2017年國(guó)外引文分析與共詞矩陣的知識(shí)圖譜分析，可知深度學(xué)習(xí)的過(guò)程與結(jié)果是研究熱點(diǎn)之一，涵蓋深度學(xué)習(xí)的影響因素及有效性等研究[6][7]。

④整合——雖有化學(xué)、數(shù)學(xué)和英語(yǔ)等學(xué)科教學(xué)與深度學(xué)習(xí)的整合，但是深度學(xué)習(xí)究竟是“策略”還是“模式”尚需辨析，亟需進(jìn)一步提煉深度學(xué)習(xí)與學(xué)科從整合走向融合的兼容性框架。

⑤拓展——深度學(xué)習(xí)領(lǐng)域的研究者應(yīng)主動(dòng)交叉融合認(rèn)知神經(jīng)科學(xué)、計(jì)算機(jī)與人工智能等學(xué)科內(nèi)容，并將交叉學(xué)科的研究范式引入深度學(xué)習(xí)領(lǐng)域，促進(jìn)深度學(xué)習(xí)研究走向社會(huì)科學(xué)與自然科學(xué)相融合的、更加寬闊的發(fā)展之路。

總之，上述五個(gè)方面研究都有賴于深度學(xué)習(xí)基本規(guī)律研究，但目前基本規(guī)律研究較為薄弱，難以支持深度學(xué)習(xí)應(yīng)用研究的內(nèi)涵式發(fā)展，因此有必要加強(qiáng)對(duì)深度學(xué)習(xí)基本規(guī)律的研究。

2 深度學(xué)習(xí)基本規(guī)律研究需要多模態(tài)研究方法

深度學(xué)習(xí)的基本規(guī)律包括深度學(xué)習(xí)的本質(zhì)、目的、內(nèi)容和對(duì)象，以及適合學(xué)習(xí)者身心發(fā)展特征的方法、策略和規(guī)則。深入地、規(guī)范化地開(kāi)展深度學(xué)習(xí)基本規(guī)律的研究，應(yīng)采用多元化的研究范式，主動(dòng)借鑒、吸收相關(guān)學(xué)科領(lǐng)域的研究方法。具體來(lái)說(shuō)，深度學(xué)習(xí)需要重點(diǎn)關(guān)注學(xué)習(xí)者的“深度”投入指標(biāo)（如認(rèn)知指標(biāo)、心理指標(biāo)、行為指標(biāo)），此外還可引入一些更加微觀的、本質(zhì)的、精準(zhǔn)的、全面反映深度學(xué)習(xí)機(jī)制的指標(biāo)體系——這種多元化的指標(biāo)體系研究可以借鑒認(rèn)知神經(jīng)科學(xué)和心理學(xué)的多模態(tài)研究方法。

二學(xué)習(xí)科學(xué)與深度學(xué)習(xí)中的多模態(tài)

1 不同領(lǐng)域的多模態(tài)

生物腦（如人腦）與類腦（如人工智能）都具備獲取不同模態(tài)信號(hào)（如視聽(tīng)覺(jué)、皮電心率、眼動(dòng)表情等）的能力。人的感官在與外界交互的過(guò)程中形成獲取信息的感覺(jué)通道，模態(tài)是感覺(jué)通道的符號(hào)表征系統(tǒng)——如果獲取信息的通道是單一的，那么形成的就是單一模態(tài)系統(tǒng)，簡(jiǎn)稱“單模態(tài)”；兩種以上意義表達(dá)或信息交流的綜合符號(hào)表征系統(tǒng)就是多模態(tài)系統(tǒng)，簡(jiǎn)稱“多模態(tài)”。近年來(lái)，多模態(tài)已成為諸多學(xué)科（如認(rèn)知神經(jīng)科學(xué)、計(jì)算機(jī)科學(xué)和多媒體畫(huà)面語(yǔ)言學(xué)等）的研究熱點(diǎn)，不同學(xué)科的多模態(tài)信息（如內(nèi)涵、外延、指標(biāo)和獲取方式等）如表1所示。此外，多模態(tài)在不同行為（如教學(xué)行為、交互行為和情感行為）中亦具有不同的內(nèi)涵、外延、指標(biāo)、策略、問(wèn)題等，如表2所示。

表1 不同學(xué)科的多模態(tài)信息

表2 不同行為的多模態(tài)信息

2 學(xué)習(xí)科學(xué)與深度學(xué)習(xí)領(lǐng)域的多模態(tài)

在學(xué)習(xí)科學(xué)中，多模態(tài)按照人的多重感知模式測(cè)量生物信號(hào)并分析數(shù)據(jù)，實(shí)現(xiàn)同步處理學(xué)習(xí)者不同模態(tài)的數(shù)據(jù)，如同步記錄并分析眼球運(yùn)動(dòng)軌跡和關(guān)注焦點(diǎn)、腦電和事件相關(guān)電位、心電、肌電和皮膚電等生理信號(hào)[20]。探索深度學(xué)習(xí)的多模態(tài)內(nèi)涵，需要在學(xué)習(xí)科學(xué)范疇內(nèi)深刻理解深度學(xué)習(xí)的本質(zhì)[21]。具體地說(shuō)，就是要認(rèn)識(shí)到在深度學(xué)習(xí)的過(guò)程中，人腦會(huì)生成支持深度學(xué)習(xí)的生理神經(jīng)信號(hào)回路和心理認(rèn)知加工過(guò)程，這兩者是同步發(fā)生、同步完成的。

認(rèn)知神經(jīng)科學(xué)認(rèn)為，學(xué)習(xí)是神經(jīng)元突觸間的相互接觸，即學(xué)習(xí)動(dòng)機(jī)對(duì)大腦產(chǎn)生了特定的需求，引起神經(jīng)系統(tǒng)一系列的活動(dòng)與變化[22]，進(jìn)而引起腦血流、皮電、心律血壓和眼動(dòng)等發(fā)生連鎖反應(yīng)。通過(guò)采集這些生物指標(biāo)，可以獲取學(xué)習(xí)是否發(fā)生以及學(xué)習(xí)發(fā)生的程度；深度學(xué)習(xí)作為高層次的學(xué)習(xí)方式，屬于高階思維，借助認(rèn)知神經(jīng)科學(xué)研究范式獲取生物指標(biāo)的變化程度或活躍程度，可以解釋深度學(xué)習(xí)是否發(fā)生以及發(fā)生的程度。如被譽(yù)為“觀察腦的高級(jí)功能的窗口”的ERP，可以捕捉并解釋從辨識(shí)到判斷、從記憶到?jīng)Q策等不同程度的學(xué)習(xí)行為[23]。這些研究成果為多模態(tài)方法揭示深度學(xué)習(xí)的基本規(guī)律提供了前期研究的基礎(chǔ)。

本研究將深度學(xué)習(xí)的多模態(tài)的內(nèi)涵表述為利用多模態(tài)生物識(shí)別技術(shù)，使用生理測(cè)試手段（如EEG、fMRI、ERP等），獲取大腦血流、腦電、眼動(dòng)行為、皮膚電、心率和血壓等生理指標(biāo)信息，同時(shí)利用學(xué)習(xí)分析與計(jì)算機(jī)識(shí)別技術(shù)，獲取學(xué)習(xí)路徑、互動(dòng)交流和學(xué)習(xí)投入等知識(shí)生長(zhǎng)性指標(biāo)信息。這些被自動(dòng)監(jiān)測(cè)、記錄和反饋的指標(biāo)信息經(jīng)過(guò)耦合處理，一方面可用來(lái)判斷深度學(xué)習(xí)是否發(fā)生以及發(fā)生的程度，另一方面可用來(lái)全面揭示深度學(xué)習(xí)發(fā)生的內(nèi)在機(jī)制。

三基于深度學(xué)習(xí)框架的多模態(tài)指標(biāo)體系

筆者曾提出了深度學(xué)習(xí)“3+2”評(píng)價(jià)模式，將深度學(xué)習(xí)的評(píng)價(jià)模式建構(gòu)為兩大方面、三個(gè)維度。其中，兩大方面是指評(píng)價(jià)深度學(xué)習(xí)的基礎(chǔ)和程度，三個(gè)維度指的是新知理解、內(nèi)部關(guān)聯(lián)遷移和外部拓展遷移[24]?；谇捌谘芯砍晒?，本研究完善了深度學(xué)習(xí)的框架，如圖1所示。

1 深度學(xué)習(xí)的框架

（1）評(píng)價(jià)深度學(xué)習(xí)的基礎(chǔ)——新知理解

深度學(xué)習(xí)離不開(kāi)新知理解，新知理解是觸發(fā)深度學(xué)習(xí)的前提，故評(píng)價(jià)深度學(xué)習(xí)的基礎(chǔ)是對(duì)新知識(shí)的深度理解。但需要注意的是，在深度學(xué)習(xí)的實(shí)證研究中，必須對(duì)低階思維中的“理解”進(jìn)行嚴(yán)格的因變量評(píng)估——如果低階思維評(píng)估結(jié)果不合格，而高階思維表現(xiàn)良好，那么建議評(píng)估為“偽”深度學(xué)習(xí)，需要重新返回到對(duì)新知理解的評(píng)估；反之，如果新知理解的表現(xiàn)良好，而深度學(xué)習(xí)表現(xiàn)不理想，則建議評(píng)估為具備深度學(xué)習(xí)的前提條件，但并未進(jìn)入高階思維階段，需要使用反思等策略引導(dǎo)其進(jìn)入深度學(xué)習(xí)?？偠灾?，對(duì)新知理解的評(píng)價(jià)結(jié)果不同，所采取的深度學(xué)習(xí)的支持策略就不同，對(duì)教學(xué)材料、教學(xué)環(huán)境、教學(xué)媒體等的設(shè)計(jì)與開(kāi)發(fā)也應(yīng)有所不同。因此，深度學(xué)習(xí)的常態(tài)化發(fā)展離不開(kāi)對(duì)新知理解的精準(zhǔn)評(píng)估。

圖1 深度學(xué)習(xí)的框架

（2）評(píng)價(jià)深度學(xué)習(xí)的程度——內(nèi)部關(guān)聯(lián)遷移、外部拓展遷移和創(chuàng)新

內(nèi)部關(guān)聯(lián)遷移、外部拓展遷移和創(chuàng)新開(kāi)啟了對(duì)人類深度學(xué)習(xí)程度的探究，主要體現(xiàn)為：

①知識(shí)的生長(zhǎng)與變化。內(nèi)部關(guān)聯(lián)遷移表現(xiàn)為新知識(shí)在認(rèn)知結(jié)構(gòu)范圍內(nèi)，基于其原始形態(tài)進(jìn)入新問(wèn)題解決階段，待解決的新問(wèn)題應(yīng)具備一定的特征，即所需的知識(shí)不超出當(dāng)前的學(xué)習(xí)階段、單元或?qū)W科，知識(shí)結(jié)構(gòu)與形態(tài)不發(fā)生大幅度的變化。外部拓展遷移實(shí)現(xiàn)了跨單元甚至跨學(xué)科的知識(shí)變遷，使知識(shí)在更大程度上得以擺脫其原始形態(tài)并發(fā)生更加顯著的生長(zhǎng)，主要體現(xiàn)為知識(shí)在認(rèn)知結(jié)構(gòu)中的地位和聯(lián)結(jié)強(qiáng)度發(fā)生了明顯變化；此時(shí)，人類能夠解決更多的跨界問(wèn)題，但依然可以在問(wèn)題解決的過(guò)程中回溯知識(shí)的原始形態(tài)并清晰地定位其發(fā)展方向。創(chuàng)新則是將知識(shí)的原始形態(tài)以融入元認(rèn)知知識(shí)的方式參與創(chuàng)造，在知識(shí)層面上表現(xiàn)為知識(shí)的形態(tài)發(fā)生根本性變化或生長(zhǎng)出新知識(shí)。創(chuàng)新階段體現(xiàn)的是深度學(xué)習(xí)作為一種知識(shí)生產(chǎn)模式的特殊價(jià)值，這是深度學(xué)習(xí)的最高境界。

②能力與素養(yǎng)的提升。內(nèi)部關(guān)聯(lián)遷移體現(xiàn)的是對(duì)原有能力與素養(yǎng)的強(qiáng)化或深化。在此基礎(chǔ)上，外部拓展遷移獲得了更高水平的能力和更全面的素養(yǎng)。創(chuàng)新階段則是對(duì)能力和素養(yǎng)的全面提升，創(chuàng)新能力具有打破原有知識(shí)格局的力量，是促進(jìn)人類發(fā)展的不竭動(dòng)力。

內(nèi)部關(guān)聯(lián)遷移、外部拓展遷移和創(chuàng)新是人類在學(xué)習(xí)與探索自然的過(guò)程中發(fā)生的變化，這種變化是連續(xù)非跳躍的、動(dòng)態(tài)非靜止的、相對(duì)非絕對(duì)的，并不存在非此即彼的二元對(duì)立關(guān)系，因此僅僅通過(guò)社會(huì)科學(xué)領(lǐng)域的理論辨析，很難實(shí)現(xiàn)對(duì)深度學(xué)習(xí)程度及其基本規(guī)律的精準(zhǔn)把握。多模態(tài)研究技術(shù)針對(duì)不同水平的思維活動(dòng)提供了各種指標(biāo)，這就為評(píng)價(jià)深度學(xué)習(xí)的程度提供了可操作的研究依據(jù)。

2 基于深度學(xué)習(xí)框架的多模態(tài)指標(biāo)體系

針對(duì)深度學(xué)習(xí)框架中的各個(gè)組成部分，本研究提出了相應(yīng)的多模態(tài)指標(biāo)——針對(duì)中小學(xué)教師、教育資源研發(fā)的小微企業(yè)等不具備高水平采集條件的對(duì)象，提出了基礎(chǔ)型多模態(tài)指標(biāo)；針對(duì)科研機(jī)構(gòu)、高校及其它具備生理數(shù)據(jù)采集條件的對(duì)象，提出了專業(yè)型多模態(tài)指標(biāo)。實(shí)際上，不存在某個(gè)特定的專門(mén)用來(lái)加工深度學(xué)習(xí)的大腦區(qū)域，深度學(xué)習(xí)的神經(jīng)機(jī)制依賴于人類強(qiáng)大的神經(jīng)回路重組機(jī)能，多模態(tài)信息尤其是腦神經(jīng)信息可以在不同角度反映神經(jīng)回路的狀態(tài)，這就是深度學(xué)習(xí)的發(fā)生機(jī)制。通過(guò)梳理大量的多模態(tài)研究文獻(xiàn)，不斷參照推演與深度學(xué)習(xí)機(jī)制最相關(guān)的多模態(tài)現(xiàn)有指標(biāo)（如頓悟等）[25]，本研究構(gòu)建了基于深度學(xué)習(xí)框架的多模態(tài)指標(biāo)體系（如表3所示），旨在探索變化中的多模態(tài)參數(shù)背后的深度學(xué)習(xí)機(jī)制。

表3 基于深度學(xué)習(xí)框架的多模態(tài)指標(biāo)體系

3 多模態(tài)指標(biāo)體系提供研究依據(jù)

基于深度學(xué)習(xí)框架的多模態(tài)指標(biāo)體系為深度學(xué)習(xí)的基本規(guī)律研究提供了可操作的研究依據(jù)和指標(biāo)選擇參照。為了滿足不同目的和水平的研究需求，本研究將該指標(biāo)體系細(xì)化為基礎(chǔ)型多模態(tài)指標(biāo)和專業(yè)型多模態(tài)指標(biāo)，旨在為深度學(xué)習(xí)的實(shí)證研究提供多元化、個(gè)性化的指標(biāo)選擇依據(jù)。雖然該指標(biāo)體系存在一些指標(biāo)重復(fù)出現(xiàn)的情況，但是其解釋機(jī)制、組合方式、激活程度和評(píng)估標(biāo)準(zhǔn)各不相同，因此該指標(biāo)體系依然可以發(fā)揮評(píng)判深度學(xué)習(xí)是否發(fā)生及其發(fā)生程度的作用。

四結(jié)語(yǔ)

本研究通過(guò)梳理相關(guān)領(lǐng)域的多模態(tài)研究成果，分析文獻(xiàn)和實(shí)驗(yàn)數(shù)據(jù)背后的深度學(xué)習(xí)機(jī)制，多方面參考已有的與深度學(xué)習(xí)機(jī)制接近的多模態(tài)指標(biāo)，構(gòu)建了深度學(xué)習(xí)的多模態(tài)指標(biāo)體系，以期有效推進(jìn)深度學(xué)習(xí)的基本規(guī)律研究。深度學(xué)習(xí)的多模態(tài)研究方法是對(duì)深度學(xué)習(xí)傳統(tǒng)認(rèn)知行為研究范式的補(bǔ)充，后續(xù)研究要重視各個(gè)模態(tài)指標(biāo)之間的潛在聯(lián)系，為數(shù)據(jù)耦合提供科學(xué)依據(jù)。需要指出的是，本研究也存在著一定的局限性：①與閱讀等領(lǐng)域的基本規(guī)律研究相比，深度學(xué)習(xí)基本規(guī)律的多模態(tài)研究剛剛起步；②本研究所構(gòu)建的深度學(xué)習(xí)框架仍在迭代完善；③指標(biāo)體系努力去解釋和發(fā)現(xiàn)深度學(xué)習(xí)的機(jī)制，并非與深度學(xué)習(xí)結(jié)果之間存在著一一對(duì)應(yīng)的關(guān)系。立足于前人的研究成果，本研究力求更快速、更準(zhǔn)確地接近深度學(xué)習(xí)的內(nèi)在機(jī)制，促進(jìn)深度學(xué)習(xí)基本規(guī)律的研究取得質(zhì)的突破，從而推動(dòng)深度學(xué)習(xí)的常態(tài)化發(fā)展。

[1]劉哲雨,王志軍.行為投入影響深度學(xué)習(xí)的實(shí)證探究——以虛擬現(xiàn)實(shí)(VR)環(huán)境下的視頻學(xué)習(xí)為例[J].遠(yuǎn)程教育雜志,2017,(1):72-81.

[2]段金菊,余勝泉.學(xué)習(xí)科學(xué)視域下的e-Learning深度學(xué)習(xí)研究[J].遠(yuǎn)程教育雜志,2013,(4):43-51.

[3]張靜,陳佑清.學(xué)習(xí)科學(xué)視域中面向深度學(xué)習(xí)的信息化教學(xué)方式變革[J].中國(guó)電化教育,2013,(4):20-24.

[4]紀(jì)宏璠,雷體南,方紅.基于ITtools3.0的深度學(xué)習(xí)過(guò)程設(shè)計(jì)與實(shí)踐研究[J].現(xiàn)代教育技術(shù),2015,(2):40-46.

[5]卜彩麗,馮曉曉,張寶輝.深度學(xué)習(xí)的概念、策略、效果及其啟示——美國(guó)深度學(xué)習(xí)項(xiàng)目(SDL)的解讀與分析[J].遠(yuǎn)程教育雜志,2016,(5):75-82.

[6]張思琦,張文蘭,李寶.國(guó)外近十年深度學(xué)習(xí)的研究現(xiàn)狀與發(fā)展趨勢(shì)——基于引文分析及共詞矩陣的知識(shí)圖譜分析[J].遠(yuǎn)程教育雜志,2016,(2):64-72.

[7]Akyol Z, Garrison D R. Understanding cognitive presence in an online and blended community of inquiry: Assessing outcomes and processes for deep approaches to learning[J]. British Journal of Educational Technology, 2011,(2):233-250.

[8]何繼軍,沈輝,胡德文.EEG/fMRI融合分析綜述:腦模型、算法和應(yīng)用[J].計(jì)算機(jī)工程與科學(xué),2007,(12):74-81.

[9]位東濤,蒙杰,李亞丹,等.基于個(gè)體差異的大樣本腦影像數(shù)據(jù)在心理學(xué)研究中的應(yīng)用[J].科學(xué)通報(bào),2015,(11):976-985.

[10]盧官明,李海波,劉莉.生物特征識(shí)別綜述[J].南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版),2007,(1):81-88.

[11]謝蓉蓉.多模態(tài)虛擬課程——基于多模態(tài)話語(yǔ)分析理論的未來(lái)網(wǎng)絡(luò)課程新模式[J].中國(guó)電化教育,2012,(4):74-79.

[12]劉明,胡加圣.大學(xué)外語(yǔ)視聽(tīng)教材的多模態(tài)化設(shè)計(jì)構(gòu)想及要求分析[J].外語(yǔ)電化教學(xué),2011,(2):3-8、20.

[13]劉哲雨,侯岸澤,王志軍.多媒體畫(huà)面語(yǔ)言表征目標(biāo)促進(jìn)深度學(xué)習(xí)[J].電化教育研究,2017,(3):18-23.

[14][16]張青妹.多模態(tài)微課的符號(hào)間關(guān)系與意義共建[J].現(xiàn)代教育技術(shù),2015,(9):65-69.

[15]Kress G R, Van Leeuwen T. Multimodal discourse: the modes and media of contemporary communication[M]. London: Bloomsbury Academic, 2010:318-320.

[17]王慧君,王海麗.多模態(tài)視域下翻轉(zhuǎn)課堂教學(xué)模式研究[J].電化教育研究,2015,(12): 70-76.

[18]馬莉,沈克.增強(qiáng)現(xiàn)實(shí)外語(yǔ)教學(xué)環(huán)境及其多模態(tài)話語(yǔ)研究[J].現(xiàn)代教育技術(shù),2012,(7):49-53.

[19]劉哲雨,王志軍,倪曉萌.Avatar虛擬環(huán)境支持CALLA模式的教學(xué)研究[J].現(xiàn)代教育技術(shù),2016,(7):44-50.

[20][22][23][26]張琪,武法提.學(xué)習(xí)分析中的生物數(shù)據(jù)表征——眼動(dòng)與多模態(tài)技術(shù)應(yīng)用前瞻[J].電化教育研究,2016,(9):76-81、109.

[21]尚俊杰,張露.基于認(rèn)知神經(jīng)科學(xué)的游戲化學(xué)習(xí)研究綜述[J].電化教育研究,2017,(2):104-111.

[24]劉哲雨,郝曉鑫.深度學(xué)習(xí)的評(píng)價(jià)模式研究[J].現(xiàn)代教育技術(shù),2017,(4):12-18.

[25]姜永志.教育神經(jīng)科學(xué)的理論與實(shí)踐——從“實(shí)驗(yàn)室”到“教室”的學(xué)習(xí)科學(xué)[J].開(kāi)放教育研究,2013,(3):71-77.

[27]潘東旎,李雪冰.工作記憶訓(xùn)練在精神疾病中的應(yīng)用[J].心理科學(xué)進(jìn)展,2017,(9):1527-1543.

[28]Von Bastian C C, Oberauer K. Effects and mechanisms of working memory training: A review[J]. Psychological Research, 2014,(6):803-820.

[29]羅勁.頓悟的大腦機(jī)制[J].心理學(xué)報(bào),2004,(2):219-234.

[30]官群,姚茹.認(rèn)知神經(jīng)科學(xué):為教育打開(kāi)大腦“黑匣子”[J].中國(guó)特殊教育,2017,(2):59-64.

編輯：小米

The Multi-modal Study of Deep Learning from the Perspective of Learning Science

LIU Zhe-yu1HAO Xiao-xin1WANG Hong1WU Li-bao2[Corresponding Author]

This paper proposed that the study of deep learning depended on the research of the basic laws from the five aspects of technology, promotion, assessment, integration and expansion. As an important part of the learning science, the research of the basic laws of deep learning should draw on the multi-modal research method, in order to fully reveal the internal mechanism of deep learning. Meanwhile, the multi-mode of different disciplines and behaviors were summarized, in which the multi-mode of learning science and deep learning were emphatically analyzed. The basic and professional multi-modal indexes for various components of the framework were also proposed on the basis of perfecting the framework of deep learning. Moreover, the multi-modal index system based on the framework of deep learning was constructed, which can provide index basis and mechanism reference for the multi-modal study of the basic laws of deep learning with different purposes, conditions and levels.

the framework of deep learning; multi-modal index; internal mechanism; learning science

本文為2017年教育部人文社會(huì)科學(xué)研究項(xiàng)目“深度學(xué)習(xí)的促進(jìn)機(jī)制研究與評(píng)價(jià)模式構(gòu)建——以教育媒體表征深度學(xué)習(xí)核心要素為路徑”（項(xiàng)目編號(hào)：17YJC880074）的階段性研究成果，并得到了北京大學(xué)教育學(xué)院學(xué)習(xí)科學(xué)實(shí)驗(yàn)室的支持。

劉哲雨，講師，博士，研究方向?yàn)樯疃葘W(xué)習(xí)，郵箱為zheyuliu@126.com。

2018年1月22日

10.3969/j.issn.1009-8097.2018.03.002

G40-057

A

1009—8097（2018）03—0012—07