(青少年網(wǎng)絡(luò)心理與行為教育部重點(diǎn)實(shí)驗(yàn)室(華中師范大學(xué));人的發(fā)展與心理健康湖北省重點(diǎn)實(shí)驗(yàn)室;華中師范大學(xué)心理學(xué)院,武漢 430079)

1 引言

伴隨著計(jì)算機(jī)和視頻技術(shù)的進(jìn)步,高效而豐富多彩的多媒體被廣泛關(guān)注。相對(duì)于單一媒體,多媒體是將文字、圖形、聲音、圖片、動(dòng)畫等多種信息媒介進(jìn)行有機(jī)整合并加以處理的綜合媒體(王以寧,王永鋒,孔得偉,2005)。簡(jiǎn)言之,多媒體就是用語詞和畫面來共同呈現(xiàn)材料(理查德·梅耶,2006)。語詞是以文本或言語形式呈現(xiàn)材料;畫面是以圖片形式呈現(xiàn)材料,如靜態(tài)的圖形或動(dòng)態(tài)的圖畫。這個(gè)定義可以囊括多媒體的多種整合情形。多媒體技術(shù)的發(fā)展實(shí)現(xiàn)了語詞和畫面信息的集成,使很多信息可以以視覺和聽覺的形式共同呈現(xiàn),從而實(shí)現(xiàn)信息的多感覺通道的統(tǒng)一獲取、存儲(chǔ)、加工以及整合。

多媒體信息的集成性使得信息的呈現(xiàn)方式更加形象、生動(dòng)、豐富,相比傳統(tǒng)的學(xué)習(xí)方式更能吸引學(xué)習(xí)者的注意力,激發(fā)他們的學(xué)習(xí)動(dòng)機(jī)和興趣。研究表明,多媒體環(huán)境下的圖文整合有效促進(jìn)了學(xué)習(xí)者的學(xué)習(xí)成績(Eitel,Scheiter,&Schüler,2013)。所以,以計(jì)算機(jī)和視頻技術(shù)為基礎(chǔ)的多媒體被教育者廣泛使用,以幫助學(xué)習(xí)者構(gòu)建心理表征和理解學(xué)習(xí)材料(Mayer &Moreno,2002)?；谏鲜龆嗝襟w的定義與理解,多媒體學(xué)習(xí)可以被認(rèn)為是學(xué)習(xí)者同時(shí)使用視覺通道模式和聽覺通道模式加工和處理信息的過程(胡衛(wèi)星,2012)。在教育學(xué)和心理學(xué)研究中,多媒體學(xué)習(xí)可進(jìn)一步從兩個(gè)角度加以分析：一是信息的呈現(xiàn)模式角度,主要關(guān)注信息的表征方式,如文字或圖片;二是感覺通道角度,它主要強(qiáng)調(diào)學(xué)習(xí)者用兩種或兩種以上的信息加工通道,如聽覺通道和視覺通道(Mayer,2005)。

目前多媒體學(xué)習(xí)的研究主要集中于三個(gè)方面：多媒體學(xué)習(xí)過程、學(xué)習(xí)規(guī)律和學(xué)習(xí)原則等的基本理論研究;多媒體學(xué)習(xí)的相關(guān)理論和原則在學(xué)科教學(xué)中的具體運(yùn)用與實(shí)踐;以及多媒體學(xué)習(xí)自身和在教學(xué)運(yùn)用中的評(píng)價(jià)。其中,多媒體學(xué)習(xí)的基本理論一直是研究的重點(diǎn),它是對(duì)于多媒體學(xué)習(xí)過程的模型建構(gòu),關(guān)注的是不同呈現(xiàn)形式或不同感覺通道的信息的接收和建構(gòu),是指導(dǎo)多媒體學(xué)習(xí),提高多媒體教學(xué)效果的基礎(chǔ)(劉世清,2013)。

2 多媒體學(xué)習(xí)中圖文加工的認(rèn)知理論

從上世紀(jì)80年代開始,計(jì)算機(jī)多媒體技術(shù)迅速發(fā)展并應(yīng)用于教學(xué)。使用圖形、動(dòng)畫等視覺形式呈現(xiàn)學(xué)習(xí)材料變得越來越普遍。研究發(fā)現(xiàn),包含對(duì)應(yīng)文字說明的圖解能夠有效地促進(jìn)學(xué)習(xí)者對(duì)科學(xué)解釋的理解,但當(dāng)時(shí)還缺少心理學(xué)理論來對(duì)這種新的學(xué)習(xí)方式進(jìn)行解釋(王英豪,2009)。

隨后,Mayer和Moreno(2002)在雙通道假設(shè)、有限容量假設(shè)以及主動(dòng)加工假設(shè)基礎(chǔ)上建立了多媒體學(xué)習(xí)認(rèn)知理論,重點(diǎn)關(guān)注個(gè)體通過語詞和圖片進(jìn)行學(xué)習(xí)的過程。該理論認(rèn)為多媒體學(xué)習(xí)包含三個(gè)階段、五個(gè)認(rèn)知加工過程,遵循先分后總的加工模式：第一階段是感覺注意階段,從呈現(xiàn)的文本或解說中選擇相關(guān)語詞,從呈現(xiàn)的插圖或視頻中選擇相關(guān)圖片;第二階段是工作記憶中的信息組織階段,將所選擇的語詞進(jìn)行組織形成連貫的言語表征,將所選擇的圖片進(jìn)行組織以形成連貫的視覺表征;第三階段是信息整合階段,將語言表征和視覺表征信息與學(xué)習(xí)者的先前知識(shí)主動(dòng)進(jìn)行整合(Mayer,2010)。多媒體學(xué)習(xí)認(rèn)知理論不僅強(qiáng)調(diào)學(xué)習(xí)者在認(rèn)知加工過程中對(duì)不同表征方式信息的加工,同時(shí)還關(guān)注個(gè)體對(duì)語詞和圖片信息的有意識(shí)的主動(dòng)選擇。因此,該理論不僅有利于教育者系統(tǒng)的認(rèn)識(shí)學(xué)習(xí)者的多媒體學(xué)習(xí)過程,而且對(duì)其恰當(dāng)呈現(xiàn)學(xué)習(xí)材料具有重要的實(shí)踐指導(dǎo)意義。

然而,多媒體學(xué)習(xí)認(rèn)知理論僅指出了言語表征和視覺表征信息以及先前知識(shí)之間的整合,缺乏對(duì)于個(gè)體是如何對(duì)不同表征信息進(jìn)行加工以及如何對(duì)語詞和圖片信息進(jìn)行整合的機(jī)制的概括和解釋(文東,王玉琴,吳秀園,2013)。針對(duì)這一問題,Schnotz和Bannert(2003)提出了面向多媒體學(xué)習(xí)的圖文理解整合模型。該模型中存在兩種形式的表征,一種是基于符號(hào)進(jìn)行處理的描述性表征,如文字表征和命題表征;另一種是基于過程的結(jié)構(gòu)進(jìn)行處理的描繪性表征,如視覺表象和心理模型。在圖文理解整合模型中,首先從感覺記憶中選擇語詞和圖片進(jìn)入工作記憶,并分別組成相應(yīng)的文字表征和視覺表象;然后對(duì)文字表征進(jìn)行語義加工,在長時(shí)記憶中的認(rèn)知圖式輔助下,結(jié)合視覺表象建立命題表征;同時(shí)對(duì)視覺表象進(jìn)行主題選擇,在長時(shí)記憶中認(rèn)知圖示的輔助下,結(jié)合文字表征建構(gòu)心理模型;心理模型與命題表征進(jìn)行交互,形成整合的知識(shí)信息(Schnotz &Kürschner,2008;Hochp?chler et al.,2013)。在該模型中,整合發(fā)生在兩個(gè)階段,一是語詞和圖片信息的整合以形成命題表征和心理模型,二是命題表征和心理模型的交互整合以完成知識(shí)信息的整體建構(gòu)。

盡管多媒體學(xué)習(xí)的認(rèn)知理論和圖文理解整合模型強(qiáng)調(diào)的重點(diǎn)不同,但兩種理論都認(rèn)為多媒體學(xué)習(xí)早期階段圖、文信息通過不同的通道進(jìn)行獲取和加工,晚期階段完成不同表征信息和先前知識(shí)的整合。然而,先前對(duì)于多媒體學(xué)習(xí)過程中圖文加工過程的研究多是基于理論的探討。借助認(rèn)知神經(jīng)科學(xué)的力量,對(duì)多媒體學(xué)習(xí)中圖文信息整合的內(nèi)部心理機(jī)制進(jìn)行深入剖析,將成為多媒體學(xué)習(xí)認(rèn)知理論未來關(guān)注的重點(diǎn)(鄭旭東,吳秀圓,王美倩,2013)。

3 多媒體學(xué)習(xí)中圖文加工的神經(jīng)機(jī)制

個(gè)體在多媒體學(xué)習(xí)過程中,需要整合圖文信息以完成知識(shí)建構(gòu)。根據(jù)多媒體學(xué)習(xí)的認(rèn)知理論和圖文理解整合模型,圖片和文字在早期加工階段的認(rèn)知機(jī)制存在差異,而在后期的語義加工階段進(jìn)行整合。神經(jīng)成像和電生理技術(shù)的發(fā)展使直接觀察多媒體學(xué)習(xí)過程中大腦信息加工成為可能。高空間分辨率的正電子放射斷層掃描(Positive Emission Tomography,PET)和功能核磁共振成像(Functional Magnetic Resonance Imaging,fMRI)技術(shù)可以幫助我們定位多媒體學(xué)習(xí)過程中圖文信息加工和整合的相關(guān)腦區(qū),高時(shí)間分辨率的腦電圖(Electroencephalograph,EEG)和事件相關(guān)電位技術(shù)(Event-related Potential,ERP)有利于我們區(qū)分多媒體學(xué)習(xí)的認(rèn)知加工階段。

然而,現(xiàn)實(shí)的多媒體學(xué)習(xí)很難進(jìn)行直接的神經(jīng)成像研究。原因有三：首先,多媒體學(xué)習(xí)往往是在語篇水平上,包含了信息識(shí)別、選擇、整合和記憶等多個(gè)認(rèn)知過程,這些認(rèn)知過程往往在時(shí)間上存在交叉,很難實(shí)現(xiàn)具體子過程的獨(dú)立分割;其次,從腦成像技術(shù)上考慮,可靠的分析需要通過對(duì)相當(dāng)數(shù)量的、可重復(fù)觀察的同類心理事件進(jìn)行,而多媒體學(xué)習(xí)材料比較復(fù)雜,很難保證材料的同質(zhì)性,也正是因此行為研究多采用少數(shù)的幾個(gè)案例來進(jìn)行多媒體學(xué)習(xí)研究,如“閃電的形成過程與原理”(段朝輝,顏志強(qiáng),王福興,周宗奎,2013;龔少英,段婷,王福興,周宗奎,盧春曉,2014);最后,多媒體學(xué)習(xí)受到學(xué)習(xí)者知識(shí)經(jīng)驗(yàn)、認(rèn)知風(fēng)格、學(xué)習(xí)動(dòng)機(jī)和情緒等多種因素影響(Hede,2002;康誠,周愛保,2010),這也增大了對(duì)多媒體學(xué)習(xí)進(jìn)行直接神經(jīng)成像研究的難度。因此,目前多媒體學(xué)習(xí)的研究主要采用行為研究方法,即便是多媒體學(xué)習(xí)研究權(quán)威Richard E.Mayer也較少進(jìn)行神經(jīng)成像研究,僅僅使用 fMRI研究了人們采用不同學(xué)習(xí)策略時(shí)的腦區(qū)差異(Miller,Donovan,Bennett,Aminoff,&Mayer,2012)。

盡管如此,依然可以通過實(shí)驗(yàn)室研究對(duì)多媒體學(xué)習(xí)過程進(jìn)行概括和簡(jiǎn)化,對(duì)其核心的圖文加工的神經(jīng)機(jī)制進(jìn)行探討。正如物理學(xué)中,不管機(jī)械運(yùn)動(dòng)多么復(fù)雜,總脫離不開牛頓三大定律。同樣,不管多媒體學(xué)習(xí)多么復(fù)雜,其核心過程都是圖文信息加工與整合。認(rèn)知神經(jīng)科學(xué)關(guān)于圖文加工的基礎(chǔ)研究,為了解多媒體學(xué)習(xí)的認(rèn)知神經(jīng)機(jī)制提供了窗口。目前對(duì)圖文加工的神經(jīng)機(jī)制研究主要圍繞圖文信息語義加工系統(tǒng)爭(zhēng)論和圖文加工過程比較兩方面展開。

3.1 圖文信息語義加工系統(tǒng)爭(zhēng)論

認(rèn)知心理學(xué)與神經(jīng)心理學(xué)對(duì)圖文信息語義加工系統(tǒng)的爭(zhēng)論持續(xù)已久(Bright,Moss,&Tyler,2004;Devereux,Clarke,Marouchos,&Tyler,2013)。研究多在概念表征水平展開,爭(zhēng)論的焦點(diǎn)在于圖、文加工是否共享同一語義系統(tǒng)。

早期對(duì)腦損傷病人的研究支持了圖、文加工的多重語義加工系統(tǒng)觀點(diǎn),認(rèn)為言語(文字)和視覺(圖片)輸入形態(tài)下的信息加工具有不同的概念表征系統(tǒng),大腦對(duì)不同輸入方式信息的加工和存儲(chǔ)的對(duì)象是不同的(Warrington &Shallice,1984)。Warrington(1975)對(duì)兩位視覺失認(rèn)病人的研究發(fā)現(xiàn),其中一位患者可以識(shí)別視覺呈現(xiàn)的物體,但是不能對(duì)其命名;另一位患者可以再認(rèn)物體的名稱,但沒有視覺表征。視覺失認(rèn)癥具有的不同表現(xiàn)形式,支持了視覺和言語系統(tǒng)的獨(dú)立性。隨后一項(xiàng)對(duì)進(jìn)行性非流利性失語患者的研究(Saffran,Coslett,Martin,&Boronat,2003)發(fā)現(xiàn),病人在一系列的語義任務(wù)中,對(duì)詞匯的識(shí)別加工明顯不如圖片刺激。研究者認(rèn)為這一現(xiàn)象支持了分布式的語義系統(tǒng),知識(shí)分布在不同的獨(dú)立的子系統(tǒng)中,因此不同腦區(qū)的損傷導(dǎo)致不同的語義行為缺陷。此外,一系列基于語義判斷的圖片與詞匯的分類關(guān)系實(shí)驗(yàn)結(jié)果也都支持了具體通道的語義信息表征獨(dú)立性(Warrington &McCarthy,1994)。

然而,上述研究其實(shí)并不能完全的說明圖、文加工具有多重語義加工系統(tǒng),因?yàn)槟X損傷病人在圖、文任務(wù)中的差異也可能是發(fā)生在圖、文識(shí)別的前語義加工階段。腦成像的研究支持了這一說法,發(fā)現(xiàn)因?yàn)閳D片和文字刺激形式的不同,圖文早期的前語義加工階段激活的腦區(qū)存在差異。Vandenberghe,Price,Wise,Josephs和Frackowiak(1996)利用 PET技術(shù)比較了健康被試在三種圖文概念匹配任務(wù)(語義關(guān)聯(lián)匹配;視覺語義匹配;物理大小匹配)下的圖文加工過程,探討前語義加工過程中圖片和文字語義加工過程的獨(dú)特性。所有圖片刺激條件共同激活的腦區(qū)被認(rèn)為圖片刺激的前語義加工腦區(qū),所有文字刺激條件共同激活的腦區(qū)被認(rèn)為文字刺激的前語義加工激活腦區(qū)。結(jié)果顯示,圖片刺激的前語義加工激活右側(cè)枕中回,而文字刺激的前語義加工激活左側(cè)頂下葉。Moore和Price(1999)在概念水平的圖片和文字命名和瀏覽(命名時(shí)不出聲;瀏覽時(shí)默念“Okay”)任務(wù)的PET研究同樣支持了圖片和文字的前語義加工激活腦區(qū)的差異。研究發(fā)現(xiàn),在語義加工過程中文字刺激更多地激活了與語音加工有關(guān)的左側(cè)顳上回(BA 22/41)(包括緣上回);而圖片刺激更多的激活了與物體識(shí)別有關(guān)的腹側(cè)顳枕皮質(zhì)(BA 19)(包括外側(cè)枕葉皮質(zhì))。由于外側(cè)枕葉皮質(zhì)與表征的概念水平加工無關(guān)(Grill-Spector,Kourtzi,&Kanwisher,2001),因此研究者認(rèn)為這些不同的激活腦區(qū)或與前語義加工階段相關(guān)。

盡管圖片和文字在早期前語義加工階段存在差異,但在后期言語和視覺輸入形態(tài)下的語義加工都使用共同的概念表征系統(tǒng),系統(tǒng)中的信息以共享的形式進(jìn)行存儲(chǔ)和加工,并不會(huì)追溯到其輸入形式(Federmeier &Kutas,2001)。Bright等(2004)采用詞匯判斷任務(wù)及語義類別判斷任務(wù),探究在語義表征水平,圖片和文字的加工是否具有通道獨(dú)特性。通過對(duì)四類語義任務(wù)的PET數(shù)據(jù)進(jìn)行了聯(lián)合元分析,發(fā)現(xiàn)圖片與文字輸入形態(tài)下都強(qiáng)烈激活的區(qū)域主要是左半球的額下回、顳上回、顳中回、梭狀回以及海馬旁回。與具體通道相關(guān)的腦區(qū)中,文字激活左側(cè)顳上回、海馬旁回以及右側(cè)的顳上回;圖片加工激活右側(cè)枕上回和雙側(cè)梭狀回,其中枕上回的激活與圖片加工相關(guān),反映視覺加工過程的前語義階段。研究支持了圖文語義加工系統(tǒng)的一致性。Shinkareva,Malave,Mason,Mitchell和Just(2011)采用了fMRI技術(shù)比較了不同呈現(xiàn)方式刺激的語義類別解碼腦區(qū)。結(jié)果發(fā)現(xiàn),圖文概念的加工具有明顯的左半球優(yōu)勢(shì),圖文共同激活了左側(cè)顳上回、顳中回、顳下回、梭狀回、頂下葉、緣上回以及枕下回和舌回等區(qū)域。文字獨(dú)特激活的腦區(qū)主要是言語及負(fù)責(zé)執(zhí)行功能的腦區(qū),圖片獨(dú)特激活的腦區(qū)主要是視空間及視覺功能區(qū)域。結(jié)果同樣支持了圖、文前語義加工階段存在差異,但圖片和文字在語義加工階段共享同一語義系統(tǒng)。

然而,van Doren,Dupont,Grauwe,Peeters和Vandenberghe(2010)認(rèn)為在比較同一信息的圖片與文字呈現(xiàn)形式的語義加工激活腦區(qū)時(shí),不僅要排除前語義加工過程激活腦區(qū)的差異,還應(yīng)排除通達(dá)概念表征系統(tǒng)時(shí)的語義執(zhí)行控制所誘發(fā)的腦活動(dòng),這樣才能明確探究圖片與文字的語義概念系統(tǒng)是否一致。他們將圖片與文字刺激的呈現(xiàn)設(shè)置在被試的識(shí)別閾限水平,探究當(dāng)個(gè)體在剛剛識(shí)別不同通道輸入刺激時(shí)的大腦加工差異,以排除語義執(zhí)行需求對(duì)刺激加工活動(dòng)的影響。當(dāng)被試能夠剛剛識(shí)別刺激時(shí),圖片與文字刺激共同激活的區(qū)域主要有左半球的顳枕溝(包括梭狀回)、頂內(nèi)溝、前額連接以及額下溝中間的三分之一(左側(cè)額下回)。相比先前有關(guān)圖文語義加工共同激活的腦區(qū),該研究在前額葉區(qū)域的激活很少,說明額葉與語義執(zhí)行控制需求有關(guān)。在將語義執(zhí)行控制降至最低時(shí),圖文的語義加工仍有大量的腦區(qū)重疊,包括左側(cè)額下回、顳枕溝和梭狀回,結(jié)果仍支持圖文語義具有單一的語義加工系統(tǒng)。

除了概念表征水平,也有研究比較了命題和語篇水平的圖文加工激活腦區(qū),從不同水平為圖文具有共享的語義加工系統(tǒng)提供支持。Gates和Yoon(2005)在字母、詞匯以及句子水平上比較了圖片與文字理解過程中的語義加工腦活動(dòng)。在句子理解和圖片(與句子具有相同的語義信息)語義加工過程中發(fā)現(xiàn)了大腦中的分離區(qū)域。句子理解獨(dú)特的激活了左右舌腦回的部分區(qū)域,左側(cè)梭狀回,左右枕下回,右側(cè)楔葉和左側(cè)枕葉腦回;雖然圖片語義的知覺刺激獨(dú)特激活也涉及舌回、梭狀回和楔葉,但是具體區(qū)域與句子理解并無重疊。在句子理解以及圖片知覺中顳枕聯(lián)合的 80%區(qū)域作為圖文加工共享區(qū)域被激活,在單個(gè)物體的圖片和對(duì)應(yīng)文字的知覺中顳枕聯(lián)合區(qū)共享區(qū)域占 96%。這些結(jié)果說明,圖片語義加工與句子理解之間的共享腦區(qū)會(huì)隨著心智表征的復(fù)雜性增加而減少。Li,Zhong和Lu(2011)通過眼動(dòng)和fMRI技術(shù)探究了語篇水平上圖片與文本的語義加工是否傳達(dá)相同的信息含義以及是否具有共享的神經(jīng)系統(tǒng)。眼動(dòng)研究結(jié)果發(fā)現(xiàn),圖片與文本兩種形式的信息呈現(xiàn)方式在閱讀效率上沒有顯著差異。fMRI數(shù)據(jù)的聯(lián)合分析顯示,圖片與文本在語義加工過程中存在很多共享的加工網(wǎng)絡(luò)：額葉、頂葉、顳葉和邊緣系統(tǒng),眼動(dòng)及神經(jīng)機(jī)制研究的結(jié)果都支持圖片和文本加工共享同一語義系統(tǒng)。盡管對(duì)圖文語義加工系統(tǒng)爭(zhēng)論的研究在命題水平、語篇水平的研究并不多,但其研究結(jié)果與概念表征水平的研究結(jié)果一致,都支持圖文共享語義加工系統(tǒng)的觀點(diǎn)。

上述對(duì)圖文語義加工的研究多是對(duì)語義系統(tǒng)腦區(qū)進(jìn)行識(shí)別,主要關(guān)注的是共享的語義加工激活腦區(qū),而非腦區(qū)的具體運(yùn)算表現(xiàn)。Devereux等(2013)在以往研究基礎(chǔ)上,利用多體素模式分析法對(duì)圖、文分類任務(wù)中語義理解過程激活的腦區(qū)進(jìn)行分析,語義類別效應(yīng)顯示了圖、文語義加工的左半球效應(yīng),圖片和文字的語義加工在左半球存在較多的重疊,主要集中左后側(cè)顳中回、左側(cè)角回及左側(cè)頂內(nèi)溝。盡管左后側(cè)顳中回和左側(cè)頂內(nèi)溝都參與了語義加工,但在跨區(qū)域和跨通道的表征內(nèi)容差異性分析中,只有左側(cè)頂內(nèi)溝在不同的視覺輸入形式下的神經(jīng)活動(dòng)沒有顯著差異,而左后側(cè)顳中回在加工文字與物體時(shí)的神經(jīng)活動(dòng)并不相同,說明不同語義表征形式的信息在同一腦區(qū)的加工計(jì)算模型可能不同。Devereux等人的研究支持了圖文理解整合模型,即多媒體學(xué)習(xí)過程中圖文信息的加工并非形成單一模式的知識(shí)信息,而是同時(shí)構(gòu)建命題表征和心理模型,二者雖然表征的是同一知識(shí)信息,但計(jì)算模型并不相同。

總結(jié)已有的研究,無論呈現(xiàn)的方式,圖文具有單一的語義表征激活,但是系統(tǒng)中某些部分的激活是特定于刺激的輸入類型的(Plaut,2002)。具體表現(xiàn)在(如圖1所示),圖片加工的前語義階段激活與物體識(shí)別有關(guān)的右外側(cè)枕葉,文字刺激的前語義加工階段主要激活與語音加工和語義存儲(chǔ)有關(guān)的左側(cè)頂下葉、顳上回(包括緣上回)和頂內(nèi)溝;而后期的語義加工過程圖片和文字共同激活的腦區(qū)主要包括左側(cè)額下回、顳葉皮質(zhì)、梭狀回,具有明顯的左半球優(yōu)勢(shì)效應(yīng)。結(jié)果基本上支持了多媒體學(xué)習(xí)的認(rèn)知理論以及圖文理解整合模型對(duì)圖片和文字的語義加工過程的闡述。

圖1 圖、文加工過程及腦區(qū)示意圖

3.2 圖、文語義加工過程比較

PET和 fMRI技術(shù)從空間腦區(qū)定位的角度對(duì)圖文語義加工系統(tǒng)進(jìn)行了探討,但由于 PET和fMRI技術(shù)時(shí)間分辨率較低,對(duì)于激活腦區(qū)參與的具體加工階段大多是基于理論的推測(cè),并無明確的證據(jù)。ERP技術(shù)以其較高的時(shí)間分辨率為了解圖文加工的動(dòng)態(tài)過程提供了新的視角。

N400成分是言語研究中最常見的成分(Stafura &Perfetti,2014),為揭示不同呈現(xiàn)方式信息的語義加工的神經(jīng)機(jī)制提供了有效指標(biāo)。Nigam,Hoffman和Simons(1992)在命題水平上通過操縱句尾圖片或文字與句子的語義一致性,比較了圖片與文字在句意理解過程中誘發(fā)的 N400成分。無論圖片還是文字條件,正常句意加工不會(huì)誘發(fā) N400成分,但語義違反會(huì)誘發(fā)出一個(gè)清晰明顯的 N400成分,且此成分在文字與圖片刺激之間沒有顯著差異。說明 N400與語義的表征形式無關(guān),反映的是深層的語義加工機(jī)制。N400不僅僅是對(duì)言語系統(tǒng)的反映,而是對(duì)圖片和文字共用的概念系統(tǒng)反映。進(jìn)一步,Khateb,Pegna,Landis,Mouthon和Annoni(2010)通過分析3種匹配任務(wù)(語義任務(wù);語音判斷任務(wù);圖片類別判斷任務(wù))誘發(fā)的N400成分特點(diǎn),發(fā)現(xiàn)N400效應(yīng)不僅獨(dú)立于信息表征方式,而且具有跨任務(wù)類型的一致性。

盡管圖文誘發(fā)的 N400的潛伏期與波幅沒有差異(Willems,?zyürek,&Hagoort,2008 ),但圖片刺激條件下的語義加工與文字刺激的加工并不同,圖片刺激的加工會(huì)誘發(fā)出一個(gè)比 N400更靠前的的獨(dú)特成分—N300。在圖片刺激的相關(guān)性判斷任務(wù)中,不相關(guān)比相關(guān)任務(wù)在額區(qū)有一個(gè)300ms左右的峰值(N300),隨后出現(xiàn)一個(gè)分布更加廣泛的N400(Holcomb &McPherson,1994),在單純的言語刺激相關(guān)性任務(wù)中并沒有觀察到N300的出現(xiàn),認(rèn)為 N300是對(duì)圖片刺激的獨(dú)特的反映。West和Holcomb(2002)通過控制圖片刺激的復(fù)雜性,降低對(duì)圖片刺激自主命名的加工過程,發(fā)現(xiàn)額區(qū)分布的N300成分及更廣泛分布的N400成分都有出現(xiàn),說明對(duì)于圖片刺激而言,N300的出現(xiàn)并不是由于言語操作引起的,而直接反映了圖片語義信息的加工機(jī)制。由于 N300出現(xiàn)在N400之前,因此 N300反映的可能是知覺輸入圖片與長時(shí)記憶中已存儲(chǔ)的圖片表征的匹配加工(Schendan &Maher,2009),而N400成分與跨通道的語義信息整合相關(guān)(Wu &Coulson,2011)。也有研究者在詞匯加工過程中發(fā)現(xiàn)類 N300效應(yīng)。Cristescu和 Nobre(2008)發(fā)現(xiàn)具體詞匯如工具或動(dòng)物的詞匯也會(huì)誘發(fā)一個(gè)廣泛分布的 N300成分,該成分可能反映的是具體詞匯的視覺表象加工,與視知覺存在認(rèn)知系統(tǒng)重疊,結(jié)果仍然支持N300成分對(duì)圖片刺激加工的獨(dú)特性。

ERP研究從時(shí)間進(jìn)程上揭示了圖片和文字的早期加工階段確實(shí)存在差異,圖片刺激獨(dú)特的誘發(fā)了 N300成分,但后期的語義加工階段圖片和文字均會(huì)誘發(fā)N400成分。N400成分的波幅及潛伏期的相似性預(yù)示著它是對(duì)圖片和文字系統(tǒng)的共同活動(dòng)的反映,支持了圖、文共享同一語義加工系統(tǒng)的觀點(diǎn)。

3.3 圖、文語義整合的神經(jīng)機(jī)制

在多媒體學(xué)習(xí)環(huán)境下,圖片和文字常常同時(shí)呈現(xiàn),需要學(xué)習(xí)者對(duì)圖片和文字的語義信息進(jìn)行整合。多媒體學(xué)習(xí)的認(rèn)知理論指出,圖、文信息經(jīng)過不同的通路進(jìn)行加工,并最終與先前知識(shí)進(jìn)行整合;而圖文理解整合模型進(jìn)一步提出,在長時(shí)記憶中認(rèn)知圖示的輔助下圖、文信息整合最終形成相應(yīng)的命題表征和心理模型。然而,圖片和文字信息在大腦中整合的神經(jīng)機(jī)制并不清楚,目前尚沒有研究對(duì)這一問題進(jìn)行直接探討。對(duì)圖、文語義加工系統(tǒng)的爭(zhēng)論及圖、文語義加工過程的探討,結(jié)果支持了圖片和文字具有共同的語義加工系統(tǒng),因此可以推測(cè),不同的表征形式的信息整合也發(fā)生在共享的語義加工系統(tǒng)中。本文試圖從圖、文共享的語義系統(tǒng)出發(fā),結(jié)合以往語義整合的相關(guān)研究,分析圖文語義整合的關(guān)鍵腦區(qū)。

語言作為一種高級(jí)的認(rèn)知加工活動(dòng),涉及額下皮層、顳上回、顳中回和頂葉等大范圍區(qū)域,這些腦區(qū)在語言加工過程中具有不同的功能,共同構(gòu)成了語言加工的神經(jīng)網(wǎng)絡(luò)(Vigneau et al.,2006)。朱祖德、王穗蘋、馮剛毅和劉穎(2011)通過分析42篇命題水平的語義整合相關(guān)文獻(xiàn),發(fā)現(xiàn)語義整合過程主要激活了額下回,顳中回、顳上回后部、顳上回前部等腦區(qū)。Huang,Wang,Jia和 Chen(2012)利用 ERP結(jié)合事件相關(guān)光信號(hào)(Event-related Optical Signals)技術(shù),發(fā)現(xiàn)句子語義整合中激活的大腦關(guān)鍵區(qū)域包括左側(cè)額下回及顳葉前部。通過對(duì)圖、文語義系統(tǒng)爭(zhēng)論研究的總結(jié),發(fā)現(xiàn)圖片和文字在語義加工過程中共同激活的腦區(qū)主要包括左側(cè)額下回、顳葉皮質(zhì)和梭狀回。

3.3.1 梭狀回

左側(cè)梭狀回對(duì)正詞法規(guī)則具有加工偏好,因此被稱為“視覺詞形區(qū)”(Reinke,Fernandes,Schwindt,O’Craven,&Grady,2008;Yeatman,Rauschecker,&Wandell,2013)。然而,有研究對(duì)梭狀回對(duì)文字刺激加工的機(jī)理提出了質(zhì)疑。Price和Devlin(2003)通過綜述相關(guān)文獻(xiàn),發(fā)現(xiàn)左側(cè)梭狀回在非文字實(shí)驗(yàn)條件下也能產(chǎn)生激活,如物體知覺、圖片加工等,而不僅僅只針對(duì)視覺呈現(xiàn)的文字刺激。在實(shí)證研究中,Price(2010)同樣發(fā)現(xiàn)左側(cè)梭狀回中部不僅只在視覺詞形加工任務(wù)中激活,還在顏色和圖片命名、盲文閱讀和重復(fù)聽到的單詞時(shí)也存在顯著激活,認(rèn)為左側(cè)梭狀回中部對(duì)多種模態(tài)文字刺激均具有響應(yīng)。Kassuba等人(2011)進(jìn)一步研究發(fā)現(xiàn)在對(duì)物體的多重感覺信息加工過程中,左側(cè)梭狀回具有統(tǒng)一多重通道信息對(duì)物體進(jìn)行表征的關(guān)鍵作用。

目前,左側(cè)梭狀回在文字和物體加工中的具體作用仍無定論(Barton,Fox,Sekunova,&Iaria,2010)。不過從現(xiàn)有文獻(xiàn)來看,左側(cè)梭狀回對(duì)文字并沒有特異性加工。梭狀回對(duì)所有刺激都具有一般外部特征加工,實(shí)現(xiàn)把刺激的視覺綜合信息向更高級(jí)加工中樞(如語音、語義中樞)傳遞的功能(任靜,2010)。因此,在多媒體學(xué)習(xí)中,圖、文信息加工中梭狀回的激活反映的是對(duì)視覺刺激特征的一般性加工,并不涉及語義整合。

3.3.2 左側(cè)額下回與顳葉皮質(zhì)

圖、文共同激活的腦區(qū)除了與視覺刺激特征加工有關(guān)的梭狀回,還包括左側(cè)額下回和顳葉皮層,二者均被認(rèn)為與語義整合有關(guān)。

左側(cè)顳葉皮層是典型的語言加工腦區(qū),與語義信息通達(dá)和提取密切相關(guān)(Lau,Phillips,&Poeppel,2008)。Baron 和 Osherson(2011)以及Baron,Thompson-Schill,Weber和Osherson(2010)在復(fù)雜概念整合過程的研究中觀察到了左側(cè)顳葉前部的激活,但左側(cè)額下回未見激活。研究者認(rèn)為顳葉前部儲(chǔ)存著一般語義關(guān)系,對(duì)概念間的整合具有重要作用,而左側(cè)額下回一般在比較復(fù)雜的語義表征整合時(shí)才會(huì)被激活。Peelen和Caramazza(2012)以及 Hoffman,Evans和 Lambon Ralph(2014)通過 fMRI實(shí)驗(yàn)也發(fā)現(xiàn),顳葉前部儲(chǔ)存著所有物體的屬性概念表征,這種表征將具體通道的屬性信息抽象出來。結(jié)果同樣支持了左側(cè)顳葉前部區(qū)域儲(chǔ)存著語義概念,其主要功能是將不同的信息源整合成新穎概念。因此,左側(cè)顳葉前部被認(rèn)為是語義整合的關(guān)鍵腦區(qū)(Lau et al.,2008),負(fù)責(zé)了捆綁分布式網(wǎng)絡(luò)間的概念特征以及言語中的整合操作(Westerlund &Pylkk?nen,2014),而左側(cè)額下回只是負(fù)責(zé)執(zhí)行認(rèn)知控制功能。

盡管左側(cè)額下回在加工語義過程中是負(fù)責(zé)語義整合功能還是伴隨任務(wù)的認(rèn)知控制尚無定論,但近年來相關(guān)研究卻為左側(cè)額下回在語義整合過程中的作用提供了支持。Zhu等人(2012)以及Huang,Zhu等(2012)使用ERP和fMRI技術(shù)探究在內(nèi)隱與外顯的語義句子理解過程中的語義整合過程,聯(lián)合分析結(jié)果發(fā)現(xiàn)語義整合過程激活的腦區(qū)主要在左側(cè)額下回的前部?？缛蝿?wù)的比較顯示,外顯比內(nèi)隱任務(wù)在雙側(cè)前扣帶回/背外側(cè)前額葉皮層,左側(cè)顳中回以及右側(cè)額下回顯示了更加廣泛的激活,作者認(rèn)為這些激活腦區(qū)是由于語義加工的一般過程所誘發(fā)的,如認(rèn)知控制。隨后 Zhu,Zhang,Li,Li和Wang(2013)利用fMRI技術(shù)對(duì)此進(jìn)行了更加深入的探究,他們讓被試完成內(nèi)隱與外顯的語義判斷任務(wù),同時(shí)增加一項(xiàng)與認(rèn)知控制相關(guān)的stroop任務(wù)。對(duì)內(nèi)隱和外顯任務(wù)的聯(lián)合分析發(fā)現(xiàn),在左側(cè)額下回有兩個(gè)區(qū)域與語義整合的相關(guān)：一個(gè)是左側(cè)額下回前部,一個(gè)是左側(cè)額下回后部;而語義判斷任務(wù)與 stroop任務(wù)在左側(cè)額下回后部具有更多的激活重疊。該結(jié)果支持左側(cè)額下回后部對(duì)于一般領(lǐng)域的認(rèn)知控制比較重要,而左側(cè)額下回前部對(duì)于語義整合過程具有重要的作用。

王穗蘋和黃健(2012)總結(jié)語義整合的相關(guān)文獻(xiàn),認(rèn)為左側(cè)額下回和顳葉皮層都參與了語義整合,只不過參與的整合過程不同。因?yàn)檎Z義整合加工的研究多使用語義違反范式,語義正常句通常是自動(dòng)進(jìn)行加工的,非常迅速;語義違反句需要更多注意加工資源,因此整合的時(shí)間會(huì)比較晚。有研究發(fā)現(xiàn),當(dāng)采用合理的短語跟假詞短語進(jìn)行對(duì)比,左側(cè)顳葉前部會(huì)在很早的時(shí)間內(nèi)出現(xiàn)持續(xù)時(shí)間很短的激活,約發(fā)生在184至255 ms這短短的 70 ms左右(Bemis &Pylkk?nen,2011);而語義違反句子跟正常句子的對(duì)比可以觀察到左側(cè)額下回出現(xiàn)激活,但這一區(qū)域激活的時(shí)間發(fā)生在N400時(shí)窗內(nèi)(Hagoort,Hald,Bastiaansen,&Petersson,2004)。由于顳葉前部的激活與正常句的語義加工關(guān)系更為密切,因此較早的被激活;而左側(cè)額下回的激活與語義違反的句子加工有關(guān),其激活時(shí)間比顳葉前部晚(王穗蘋,黃健,2012)。

不過,左側(cè)額下回和顳葉皮層在語義整合作用的主要差異并非時(shí)間進(jìn)程上的差異,而是體現(xiàn)在不同類型的語義整合上。Hagoort,Baggio和Willems(2009)將語義整合的形式分為兩類,一類是小的信息塊組合成已有的記憶表征,由于該記憶表征已經(jīng)存在,因此實(shí)際上該過程是再認(rèn)過程,主要由顳葉負(fù)責(zé);另一類是將不同的信息結(jié)合在一起,形成了一個(gè)新的、原有記憶中不存在的意義表征,主要由額葉負(fù)責(zé)。由于在第二類的語義整合中,左側(cè)顳上回和顳中回也會(huì)激活(Willems,Ozyürek,&Hagoort,2007;Willems et al.,2008),因此研究者認(rèn)為左側(cè)額下回和左側(cè)顳中回/顳上回的交互作用共同調(diào)節(jié)語義整合過程。

根據(jù)多媒體學(xué)習(xí)的認(rèn)知理論,多媒體學(xué)習(xí)同時(shí)包含了兩類語義整合,首先圖、文信息經(jīng)過不同的通道分別形成視覺表征和言語表征,這個(gè)過程涉及片段語義信息的組合,因此激活了左側(cè)顳葉皮層;隨后視覺表征和言語表征與先前知識(shí)進(jìn)行整合形成新的、原有記憶中不存在的意義表征,因此激活了左側(cè)額下回。由于學(xué)習(xí)的本質(zhì)在于新知識(shí)的獲得,因此左側(cè)額下回在多媒體學(xué)習(xí)中的作用更為重要。

4 總結(jié)與展望

多媒體學(xué)習(xí)中,文字和圖片的共同呈現(xiàn)實(shí)現(xiàn)了信息的多通道統(tǒng)一獲取、存儲(chǔ)、加工以及整合。多媒體學(xué)習(xí)的認(rèn)知理論認(rèn)為,文字和圖片在早期階段的加工遵循雙通道假設(shè),分別形成言語表征和視覺表征,并最終與先前知識(shí)進(jìn)行整合。圖文理解整合模型進(jìn)一步指出,圖文整合的結(jié)果是在長時(shí)記憶中認(rèn)知圖示的輔助下形成相應(yīng)的命題表征和心理模型。理論上的探討得到了神經(jīng)科學(xué)實(shí)證研究的支持。腦成像研究發(fā)現(xiàn),圖、文加工在前語義階段存在差異,圖片激活了與物體識(shí)別有關(guān)的右外側(cè)枕葉,文字則激活了與語音及拼字法有關(guān)的左側(cè)顳頂皮層;圖片和文字共同激活了與語義信息整合有關(guān)的左側(cè)額下回和顳葉皮層,說明圖、文在信息整合階段共享了同一語義系統(tǒng)。事件相關(guān)電位研究也發(fā)現(xiàn)了一致的結(jié)果,在信息加工早期圖片獨(dú)特的誘發(fā)了一個(gè) N300成分,而晚期圖片和文字均誘發(fā)了N400效應(yīng)。

盡管現(xiàn)有研究已經(jīng)明確了圖、文共享同一語義系統(tǒng),但是信息是如何在這一系統(tǒng)中進(jìn)行整合的還需要進(jìn)一步的研究。目前圖文語義整合相關(guān)的文獻(xiàn)多是使用眼動(dòng)追蹤技術(shù)的行為研究(Richardson &Matlock,2007;van Genuchten,Scheiter,&Schüler,2012),對(duì)圖文整合的神經(jīng)機(jī)制方面的研究還不足。而對(duì)于語義整合的研究則多采用文字材料,發(fā)現(xiàn)在語義加工過程中顳葉前部負(fù)責(zé)語義的加工和提取,而同時(shí)左側(cè)額葉負(fù)責(zé)語義加工整合過程中的調(diào)控。這一結(jié)論是否能夠推廣到圖文信息整合中,尚不明確。今后的研究可采用眼動(dòng)追蹤和 fMRI聯(lián)動(dòng)的方式同時(shí)記錄行為和神經(jīng)活動(dòng),眼動(dòng)數(shù)據(jù)為 fMRI數(shù)據(jù)的分析提供精準(zhǔn)的圖文整合的時(shí)間信息,進(jìn)而準(zhǔn)確地鎖定圖文整合的關(guān)鍵腦區(qū)。

共享同一語義系統(tǒng)并不代表圖文整合的神經(jīng)加工模式是單一的。已有研究證實(shí),圖文共同的語義加工系統(tǒng)對(duì)兩種表征方式信息的加工計(jì)算模型是不同的(Devereux et al.,2013)。根據(jù)圖文理解整合模型,多媒體學(xué)習(xí)中的圖文整合包含視覺表象輔助文字表征形成命題表征,文字表征輔助視覺表象形成心理模型,以及命題表征和心理模型進(jìn)行整合完成知識(shí)建構(gòu),這些不同類型整合的神經(jīng)加工模式應(yīng)該是不同的。在同一語義系統(tǒng)中,三者的差別可能體現(xiàn)在相關(guān)腦區(qū)的不同協(xié)同模式上。大腦連通性分析方法為揭示腦區(qū)之間的協(xié)同模式提供了有力的工具(Friston,Frith,&Frackowiak,1993)。

在語義加工過程的研究中,通常采用 N400作為語義加工整合的指標(biāo)。但 N400是在語義違反句式中誘發(fā),是一個(gè)人造的成分,并不能反映正常的語義整合過程。今后的研究可考慮將晚期正成分(Late Positive Component,LPC)作為語義整合的指標(biāo),因?yàn)樗赡芨芊从痴＞渥又械恼Z義整合(Spotorno,Cheylus,van Der Henst,&Noveck,2013)。

段朝輝,顏志強(qiáng),王福興,周宗奎.(2013).動(dòng)畫呈現(xiàn)速度對(duì)多媒體學(xué)習(xí)效果影響的眼動(dòng)研究.心理發(fā)展與教育,29(1),46–53.

龔少英,段婷,王福興,周宗奎,盧春曉.(2014).裝飾圖片影響多媒體學(xué)習(xí)的眼動(dòng)研究.心理發(fā)展與教育,30(4),403–410.

胡衛(wèi)星.(2012).動(dòng)畫情境下多媒體學(xué)習(xí)的實(shí)驗(yàn)研究(博士學(xué)位論文).遼寧師范大學(xué),大連.

康誠,周愛保.(2010).信息呈現(xiàn)方式與認(rèn)知風(fēng)格對(duì)多媒體環(huán)境下學(xué)習(xí)效果的影響.心理科學(xué),(6),1397–1400.

劉世清.(2013).多媒體學(xué)習(xí)與研究的基本問題——中美學(xué)者的對(duì)話.教育研究,(4),113–117.

[美]理查德·梅耶著,牛勇,邱香譯.(2006).多媒體學(xué)習(xí).北京:商務(wù)印書館:3.

任靜.(2010).文字和物體圖形視覺加工腦成像研究(碩士學(xué)位論文).廣州大學(xué).

王穗蘋,黃健.(2012).句子理解中的語義加工回路——研究熱點(diǎn)與未來的展望.華南師范大學(xué)學(xué)報(bào):社會(huì)科學(xué)版,(6),47–55.

王以寧,王永鋒,孔得偉.(2005).多媒體學(xué)習(xí)中的認(rèn)知心理學(xué)因素考察——來自梅耶(Mayer) 的研究和實(shí)踐.開放教育研究,11(3),34–37.

王英豪.(2009).梅耶多媒體學(xué)習(xí)研究探析(碩士學(xué)位論文).華東師范大學(xué),上海.

文東,王玉琴,吳秀園.(2013).基于認(rèn)知神經(jīng)科學(xué)視角的多媒體學(xué)習(xí)認(rèn)知理論創(chuàng)新.現(xiàn)代遠(yuǎn)程教育研究,(3),40–49.

鄭旭東,吳秀圓,王美倩.(2013).多媒體學(xué)習(xí)研究的未來:基礎(chǔ),挑戰(zhàn)與趨勢(shì).現(xiàn)代遠(yuǎn)程教育研究,(6),17–23.

朱祖德,王穗蘋,馮剛毅,劉穎.(2011).左側(cè)額下回在句子語義整合加工中的作用.心理科學(xué)進(jìn)展,19(8),1147–1157.

Baron,S.G.,&Osherson,D.(2011).Evidence for conceptual combination in the left anterior temporal lobe.NeuroImage,55(4),1847–1852.

Baron,S.G.,Thompson-Schill,S.L.,Weber,M.,&Osherson,D.(2010).An early stage of conceptual combination:Superimposition of constituent concepts in left anterolateral temporal lobe.Cognitive Neuroscience,1(1),44–51.

Barton,J.J.S.,Fox,C.J.,Sekunova,A.,&Iaria,G.(2010).Encoding in the visual word form area:An fMRI adaptation study of words versus handwriting.Journal of Cognitive Neuroscience,22(8),1649–1661.

Bemis,D.K.,&Pylkk?nen,L.(2011).Simple composition:A magnetoencephalography investigation into the comprehension of minimal linguistic phrases.The Journal of Neuroscience,31(8),2801–2814.

Bright,P.,Moss,H.,&Tyler,L.K.(2004).Unitary vs multiple semantics:PET studies of word and picture processing.Brain and Language,89(3),417–432.

Cristescu,T.C.,&Nobre,A.C.(2008).Differential modulation of word recognition by semantic and spatial orienting of attention.Journal of Cognitive Neuroscience,20(5),787–801.

Devereux,B.J.,Clarke,A.,Marouchos,A.,&Tyler,L.K.(2013).Representational similarity analysis reveals commonalities and differences in the semantic processing of words and objects.The Journal of Neuroscience,33(48),18906–18916.

Eitel,A.,Scheiter,K.,&Schüler,A.(2013).How inspecting a picture affects processing of text in multimedia learning.Applied Cognitive Psychology,27(4),451–461.

Federmeier,K.D.,&Kutas,M.(2001).Meaning and modality:Influences of context,semantic memory organization,and perceptual predictability on picture processing.Journal of Experimental Psychology:Learning,Memory,and Cognition,27(1),202–224.

Friston,K.J.,Frith,C.D.,&Frackowiak,R.S.J.(1993).Time-dependent changes in effective connectivity measured with PET.Human Brain Mapping,1(1),69–79.

Gates,L.,&Yoon,M.G.(2005).Distinct and shared cortical regions of the human brain activated by pictorial depictions versus verbal descriptions:An fMRI study.NeuroImage,24(2),473–486.

Grill-Spector,K.,Kourtzi,Z.,&Kanwisher,N.(2001).The lateral occipital complex and its role in object recognition.Vision Research,41(10–11),1409–1422.

Hagoort,P.,Baggio,G.,&Willems,R.M.(2009).Semantic unification.In M.S.Gazzaniga(Ed.),The cognitive neurosciences(4th ed.,pp.819–836).Cambridge,MA:MIT Press.

Hagoort,P.,Hald,L.,Bastiaansen,M.,&Petersson,K.M.(2004).Integration of word meaning and world knowledge in language comprehension.Science,304(5669),438–441.

Hede,A.(2002).Integrated model of multimedia effects on learning.Journal of Educational Multimedia and Hypermedia,11(2),177–191.

Hochp?chler,U.,Schnotz,W.,Rasch,T.,Ullrich,M.,Horz,H.,McElvany,N.,&Baumert,J.(2013).Dynamics of mental model construction from text and graphics.European Journal of Psychology of Education,28(4),1105–1126.

Hoffman,P.,Evans,G.A.L.,&Lambon Ralph,M.A.(2014).The anterior temporal lobes are critically involved in acquiring new conceptual knowledge:Evidence for impaired feature integration in semantic dementia.Cortex,50,19–31.

Holcomb,P.J.,&Mcpherson,W.B.(1994).Event-related brain potentials reflect semantic priming in an object decision task.Brain and Cognition,24(2),259–276.

Huang,J.,Zhu,Z.D.,Zhang,J.X.,Wu,M.X.,Chen,H.-C.,&Wang,S.P.(2012).The role of left inferior frontal gyrus in explicit and implicit semantic processing.Brain Research,1440,56–64.

Huang,J.,Wang,S.,Jia,S.,Chen,H.-C.(2012).The dynamics of brain activation in semantic integration:A study combining ERP and Event-Related Optical Signal,Poster presented on the 19th Annual Cognitive Neuroscience Society Meeting.Chicago,USA.

Kassuba,T.,Klinge,C.,H?lig,C.,Menz,M.M.,Ptito,M.,R?der,B.,&Siebner,H.R.(2011).The left fusiform gyrus hosts trisensory representations of manipulable objects.NeuroImage,56(3),1566–1577.

Khateb,A.,Pegna,A.J.,Landis,T.,Mouthon,M.S.,&Annoni,J.-M.(2010).On the origin of the N400 effects:An ERP waveform and source localization analysis in three matching tasks.Brain Topography,23(3),311–320.

Lau,E.F.,Phillips,C.,&Poeppel,D.(2008).A cortical network for semantics:(de) constructing the N400.Nature Reviews Neuroscience,9(12),920–933.

Li,M.,Zhong,N.,&Lu,S.F.(2011).Shared and separate semantic systems for text and figure:Converging evidence from eye-tracking and brain imaging.Paper presented at the meeting of 2011 IEEE/ICME International Conference on Complex Medical Engineering(CME).

Mayer,R.E.(2005).Cognitive theory of multimedia learning.InThe Cambridge handbook of multimedia learning(pp.31–48).Cambridge:Cambridge University Press.

Mayer,R.E.(2010).Applying the science of learning to medical education.Medical Education,44(6),543–549.

Mayer,R.E.,&Moreno,R.(2002).Aids to computer-based multimedia learning.Learning and Instruction,12(1),107–119.

Miller,M.B.,Donovan,C.-L.,Bennett,C.M.,Aminoff,E.M.,&Mayer,R.E.(2012).Individual differences in cognitive style and strategy predict similarities in the patterns of brain activity between individuals.NeuroImage,59(1),83–93.

Moore,C.J.,&Price,C.J.(1999).Three distinct ventral occipitotemporal regions for reading and object naming.NeuroImage,10(2),181–192.

Nigam,A.,Hoffman,J.E.,&Simons,R.F.(1992).N400 to semantically anomalous pictures and words.Journal of Cognitive Neuroscience,4(1),15–22.

Peelen,M.V.,&Caramazza,A.(2012).Conceptual object representations in human anterior temporal cortex.The Journal of Neuroscience,32(45),15728–15736.

Plaut,D.C.(2002).Graded modality-specific specialisation in semantics:A computational account of optic aphasia.Cognitive Neuropsychology,19(7),603–639.

Price,C.J.(2010).The anatomy of language:A review of 100 fMRI studies published in 2009.Annals of the New York Academy of Sciences,1191(1),62–88.

Price,C.J.,&Devlin,J.T.(2003).The myth of the visual word form area.NeuroImage,19(3),473–481.

Reinke,K.,Fernandes,M.,Schwindt,G.,O’Craven,K.,&Grady,C.L.(2008).Functional specificity of the visual word form area:General activation for words and symbols but specific network activation for words.Brain and Language,104(2),180–189.

Richardson,D.,&Matlock,T.(2007).The integration of figurative language and static depictions:An eye movement study of fictive motion.Cognition,102(1),129–138.

Saffran,E.M.,Coslett,H.,Martin,N.,&Boronat,C.B.(2003).Access to knowledge from pictures but not words in a patient with progressive fluent aphasia.Language and Cognitive Processes,18(5–6),725–757.

Schendan,H.E.,&Maher,S.M.(2009).Object knowledge during entry-level categorization is activated and modified by implicit memory after 200 ms.NeuroImage,44(4),1423–1438.

Schnotz,W.,&Bannert,M.(2003).Construction and interference in learning from multiple representation.Learning and Instruction,13(2),141–156.

Schnotz,W.,&Kürschner,C.(2008).External and internal representations in the acquisition and use of knowledge:Visualization effects on mental model construction.Instructional Science,36(3),175–190.

Shinkareva,S.V.,Malave,V.L.,Mason,R.A.,Mitchell,T.M.,&Just,M.A.(2011).Commonality of neural representations of words and pictures.NeuroImage,54(3),2418–2425.

Spotorno,N.,Cheylus,A.,van Der Henst,J.-B.,&Noveck,I.A.(2013).What’s behind a p600? Integration operations during irony processing.PloS One,8(6),e66839.

Stafura,J.Z.,&Perfetti,C.A.(2014).Word-to-text integration:Message level and lexical level influences in ERPs.Neuropsychologia,64,41–53.

van Doren,L.,Dupont,P.,De Grauwe,S.,Peeters,R.,&Vandenberghe,R.(2010).The amodal system for conscious word and picture identification in the absence of a semantic task.NeuroImage,49(4),3295–3307.

van Genuchten,E.,Scheiter,K.,&Schüler,A.(2012).Examining learning from text and pictures for different task types:Does the multimedia effect differ for conceptual,causal,and procedural tasks?Computers in Human Behavior,28(6),2209–2218.

Vandenberghe,R.,Price,C.,Wise,R.,Josephs,O.,&Frackowiak,R.S.J.(1996).Functional anatomy of a common semantic system for words and pictures.Nature,383(6597),254–256.

Vigneau,M.,Beaucousin,V.,Herve,P.-Y.,Duffau,H.,Crivello,F.,Houdé,O.,...Tzourio-Mazoyer,N.(2006).Meta-analyzing left hemisphere language areas:Phonology,semantics,and sentence processing.NeuroImage,30(4),1414–1432.

Warrington,E.K.(1975).The selective impairment of semantic memory.The Quarterly journal of Experimental Psychology,27(4),635–657.

Warrington,E.K.,&McCarthy,R.A.(1994).Multiple meaning systems in the brain:A case for visual semantics.Neuropsychologia,32(12),1465–1473.

Warrington,E.K.,&Shallice,T.(1984).Category specific semantic impairments.Brain,107(3),829–853.

West,W.C.,&Holcomb,P.J.(2002).Event-related potentials during discourse-level semantic integration of complex pictures.Cognitive Brain Research,13(3),363–375.

Westerlund,M.,&Pylkk?nen,L.(2014).The role of the left anterior temporal lobe in semantic composition vs.semantic memory.Neuropsychologia,57,59–70.

Willems,R.M.,?zyürek,A.,&Hagoort,P.(2007).When language meets action:The neural integration of gesture and speech.Cerebral Cortex,17(10),2322–2333.

Willems,R.M.,?zyürek,A.,&Hagoort,P.(2008).Seeing and hearing meaning:ERP and fMRI evidence of word versus picture integration into a sentence context.Journal of Cognitive Neuroscience,20(7),1235–1249.

Wu,Y.C.,&Coulson,S.(2011).Are depictive gestures like pictures? Commonalities and differences in semantic processing.Brain and Language,119(3),184–195.

Yeatman,J.D.,Rauschecker,A.M.,&Wandell,B.A.(2013).Anatomy of the visual word form area:Adjacent cortical circuits and long-range white matter connections.Brain and Language,125(2),146–155.

Zhu,Z.D.,Feng,G.Y.,Zhang,J.X.,Li,G.C.,Li,H.,&Wang,S.P.(2013).The role of the left prefrontal cortex in sentence-level semantic integration.NeuroImage,76,325–331.

Zhu,Z.D.,Hagoort,P.,Zhang,J.X.,Feng,G.Y.,Chen,H.-C.,Bastiaansen,M.,&Wang,S.P.(2012).The anterior left inferior frontal gyrus contributes to semantic unification.NeuroImage,60(4),2230–2237.