摘 要：學(xué)習(xí)場(chǎng)域中的認(rèn)知負(fù)荷測(cè)評(píng)存在缺乏過程性數(shù)據(jù)、測(cè)評(píng)維度單一、測(cè)評(píng)精確性不足等問題。多模態(tài)數(shù)據(jù)融合與分析技術(shù)從多維時(shí)空角度揭示認(rèn)知負(fù)荷的表征機(jī)制，將認(rèn)知負(fù)荷測(cè)量問題置于數(shù)據(jù)驅(qū)動(dòng)范式中重新審視，有助于形成理解學(xué)習(xí)認(rèn)知和相關(guān)規(guī)律的更為有效的方法。基于此，文章從認(rèn)知負(fù)荷測(cè)評(píng)研究的現(xiàn)狀出發(fā)，梳理分析了融合生理數(shù)據(jù)驅(qū)動(dòng)認(rèn)知負(fù)荷測(cè)評(píng)的動(dòng)因。深入分析了相關(guān)研究開展所涉及的認(rèn)知負(fù)荷可計(jì)算、認(rèn)知負(fù)荷表征模型的可解釋、認(rèn)知負(fù)荷要素權(quán)重的計(jì)算等關(guān)鍵問題，明晰了融合生理數(shù)據(jù)驅(qū)動(dòng)認(rèn)知負(fù)荷測(cè)評(píng)的多維性、過程性、精確性特征，并在此基礎(chǔ)上基于“理論模型—數(shù)據(jù)采集—模型構(gòu)建—計(jì)算分析與模式識(shí)別”思路構(gòu)建了教育生理計(jì)算框架。

關(guān)鍵詞：認(rèn)知負(fù)荷；生理數(shù)據(jù)；數(shù)據(jù)融合；測(cè)評(píng)；多模態(tài)

中圖分類號(hào)：G4 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2096-0069（2024）06-0023-06

引言

隨著數(shù)字及互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)字化學(xué)習(xí)的靈活性和便捷性得到了前所未有的提高[1]，數(shù)字化學(xué)習(xí)的泛在性、開放性、生成性特征容易造成學(xué)習(xí)者認(rèn)知負(fù)荷超載現(xiàn)象。在學(xué)習(xí)和教學(xué)的認(rèn)知理論中，認(rèn)知負(fù)荷被看作是成功和有效學(xué)習(xí)的重要因素。因此，關(guān)注數(shù)字化學(xué)習(xí)環(huán)境中的認(rèn)知負(fù)荷并開展研究是保證數(shù)字化學(xué)習(xí)效果的重要途徑。

約翰·斯韋勒（John Sweller）[2]在人類認(rèn)知架構(gòu)理論及相關(guān)學(xué)習(xí)理論研究的基礎(chǔ)上，將認(rèn)知科學(xué)中的心理負(fù)荷和系統(tǒng)工程學(xué)中的腦力負(fù)荷概念引入學(xué)習(xí)科學(xué)領(lǐng)域，提出了用以解釋人在學(xué)習(xí)過程中認(rèn)知資源消耗的認(rèn)知負(fù)荷理論，即當(dāng)人們所需要處理的信息數(shù)量超過工作記憶容量的時(shí)候，就會(huì)產(chǎn)生認(rèn)知負(fù)荷效應(yīng)。認(rèn)知負(fù)荷所描述的是無法直接觀察的內(nèi)隱認(rèn)知現(xiàn)象，對(duì)認(rèn)知負(fù)荷的認(rèn)識(shí)與干預(yù)建立在對(duì)認(rèn)知負(fù)荷準(zhǔn)確測(cè)量的基礎(chǔ)上，尤其是認(rèn)知負(fù)荷發(fā)生過程中準(zhǔn)確、客觀、有效的測(cè)評(píng)，更有助于我們認(rèn)識(shí)認(rèn)知負(fù)荷的發(fā)展與變化規(guī)律。

一、融合生理數(shù)據(jù)驅(qū)動(dòng)認(rèn)知負(fù)荷測(cè)評(píng)的動(dòng)因

認(rèn)知負(fù)荷的測(cè)量是認(rèn)知科學(xué)、教育科學(xué)研究領(lǐng)域持續(xù)關(guān)注的研究話題，眾多研究者基于認(rèn)知科學(xué)的研究范式開展了大量研究，形成了常用的主觀測(cè)量法。任務(wù)績效測(cè)量法、行為測(cè)量法及生理測(cè)量法。這些方法往往在實(shí)現(xiàn)學(xué)習(xí)者認(rèn)知負(fù)荷精確性、過程性測(cè)量等方面比較乏力，或因具有較高的侵入性，而對(duì)學(xué)習(xí)結(jié)果造成負(fù)面影響。

（一）現(xiàn)有的認(rèn)知負(fù)荷測(cè)量依然以主觀測(cè)量法為主

主觀測(cè)量法以其簡單、易用、非侵入性等因素受到研究者的青睞，但是，主觀測(cè)量法具有幾乎不可克服的缺陷——測(cè)量的主觀性和滯后性。主觀測(cè)量一般使用自陳式的量表進(jìn)行學(xué)習(xí)者認(rèn)知負(fù)荷的測(cè)量與計(jì)算，在此過程中，測(cè)量的準(zhǔn)確度極易受到測(cè)量對(duì)象主觀狀態(tài)的影響，學(xué)習(xí)者真實(shí)的認(rèn)知負(fù)荷水平的差異可能是任務(wù)難度、測(cè)量環(huán)境、注意過程等要素引起的，因此，主觀測(cè)量法在有效識(shí)別認(rèn)知負(fù)荷的影響因素方面顯得比較乏力，測(cè)量能力受到質(zhì)疑。此外，由于主觀測(cè)量法需要在認(rèn)知活動(dòng)暫停或結(jié)束后進(jìn)行測(cè)量，使得其進(jìn)行認(rèn)知負(fù)荷測(cè)量具有滯后性特征，因此，主觀測(cè)量法幾乎無法對(duì)學(xué)習(xí)過程中的認(rèn)知負(fù)荷狀態(tài)進(jìn)行測(cè)量，而學(xué)習(xí)過程中產(chǎn)生的認(rèn)知負(fù)荷是我們開發(fā)教學(xué)資源和優(yōu)化教學(xué)設(shè)計(jì)的重要依據(jù)。生理測(cè)量在認(rèn)知負(fù)荷測(cè)量過程中具有直觀性、客觀性和實(shí)時(shí)性特征，這些特征使其能夠在一定程度上克服主觀測(cè)量的主觀性、滯后性，因此，具有客觀性和可信度的生理測(cè)量法逐漸成為相關(guān)領(lǐng)域研究的熱點(diǎn)內(nèi)容[3]。

（二）生理測(cè)量法往往以單一模態(tài)數(shù)據(jù)作為結(jié)論支撐

當(dāng)前生理測(cè)量法的應(yīng)用往往以眼動(dòng)數(shù)據(jù)、腦電數(shù)據(jù)、心電數(shù)據(jù)等單一模態(tài)數(shù)作為衡量認(rèn)知負(fù)荷狀態(tài)的標(biāo)準(zhǔn)。單一模態(tài)數(shù)據(jù)最大的問題在于其精確性，當(dāng)前單一模態(tài)技術(shù)對(duì)認(rèn)知負(fù)荷識(shí)別率最高的是EEG數(shù)據(jù)，但其有效識(shí)別率也僅僅能夠達(dá)到56%，精確性遠(yuǎn)遠(yuǎn)不足[4]。為了解決這一問題，不少研究者使用簡單的數(shù)據(jù)疊加，以更加有效地表征學(xué)習(xí)者的認(rèn)知負(fù)荷狀態(tài)。例如，同時(shí)使用“量表數(shù)據(jù)+眼動(dòng)數(shù)據(jù)”或“量表數(shù)據(jù)+腦電數(shù)據(jù)”，認(rèn)知負(fù)荷的有效識(shí)別率能夠達(dá)到60%。但是，用單一生理指標(biāo)或?qū)⒉煌頊y(cè)量結(jié)果進(jìn)行簡單疊加來表征學(xué)習(xí)者的認(rèn)知負(fù)荷狀態(tài)，忽略了生理信號(hào)背后的數(shù)據(jù)意義和不同測(cè)量技術(shù)之間的多模態(tài)交互及融合問題，從而造成認(rèn)知負(fù)荷表征模型的解釋力不足。將深度學(xué)習(xí)技術(shù)應(yīng)用于多模態(tài)生理數(shù)據(jù)的融合與計(jì)算，能夠?qū)⒄J(rèn)知負(fù)荷識(shí)別與分類的準(zhǔn)確率提升至80%[5]。因此，具有更高準(zhǔn)確度及解釋力的多模態(tài)生理數(shù)據(jù)融合與分析方法的應(yīng)用成為認(rèn)知負(fù)荷研究中亟待探索的課題。

通過多維生理數(shù)據(jù)融合與分析技術(shù)測(cè)量學(xué)習(xí)者的認(rèn)知負(fù)荷，能夠在一定程度上創(chuàng)新認(rèn)知負(fù)荷測(cè)量方法，填充認(rèn)知負(fù)荷研究的理論框架。多維數(shù)據(jù)融合與分析技術(shù)從多維時(shí)空角度揭示認(rèn)知負(fù)荷的表征機(jī)制，將認(rèn)知負(fù)荷測(cè)量問題置于數(shù)據(jù)驅(qū)動(dòng)范式中重新審視，有助于超越傳統(tǒng)量化方法，形成理解學(xué)習(xí)認(rèn)知和相關(guān)規(guī)律的更為有效的方法。

二、融合生理數(shù)據(jù)驅(qū)動(dòng)認(rèn)知負(fù)荷測(cè)評(píng)的關(guān)鍵問題與特征

（一）融合生理數(shù)據(jù)驅(qū)動(dòng)認(rèn)知負(fù)荷測(cè)評(píng)的關(guān)鍵問題

融合生理數(shù)據(jù)實(shí)現(xiàn)認(rèn)知負(fù)荷的精確測(cè)評(píng)面臨3個(gè)關(guān)鍵問題，分別是認(rèn)知負(fù)荷的可計(jì)算問題、認(rèn)知負(fù)荷表征模型的可解釋性問題、認(rèn)知負(fù)荷要素權(quán)重的計(jì)算問題。

1.認(rèn)知負(fù)荷的可計(jì)算問題

學(xué)習(xí)者認(rèn)知負(fù)荷測(cè)評(píng)旨在以學(xué)習(xí)者的認(rèn)知負(fù)荷多模態(tài)生理信號(hào)提取為基礎(chǔ)，進(jìn)行生理信號(hào)的融合與計(jì)算，實(shí)現(xiàn)對(duì)認(rèn)知負(fù)荷的精確描述。然而，教育學(xué)及心理學(xué)研究領(lǐng)域更注重單模態(tài)認(rèn)知負(fù)荷數(shù)據(jù)描述，較少涉及跨模態(tài)數(shù)據(jù)融合及計(jì)算問題，并且認(rèn)知負(fù)荷作為學(xué)習(xí)者的心理量具有內(nèi)隱性、抽象性特征，不易量化及計(jì)算。因此，學(xué)習(xí)者認(rèn)知負(fù)荷的可計(jì)算問題是本研究需要解決的關(guān)鍵問題。認(rèn)知負(fù)荷的計(jì)算實(shí)質(zhì)上是社會(huì)系統(tǒng)中的實(shí)際情景—概念情景—結(jié)構(gòu)化情景的發(fā)展過程，主體、行為、關(guān)聯(lián)、規(guī)則及特征的提取可以實(shí)現(xiàn)從實(shí)際情景到概念情景的過渡，符號(hào)、規(guī)則、公式可以通過對(duì)概念情景的分解與細(xì)化實(shí)現(xiàn)從概念情景到結(jié)構(gòu)情景的過渡，結(jié)構(gòu)化情景則是計(jì)算機(jī)可識(shí)別的情景[6]。基于此，需要在信息科學(xué)、認(rèn)知科學(xué)等理論指導(dǎo)下，使用計(jì)算機(jī)語言和數(shù)學(xué)邏輯構(gòu)建和描述學(xué)習(xí)者的認(rèn)知負(fù)荷狀態(tài)，重新闡述認(rèn)知負(fù)荷生理特征的數(shù)據(jù)意義，構(gòu)建多維生理數(shù)據(jù)驅(qū)動(dòng)的認(rèn)知負(fù)荷表征模型，使用深度學(xué)習(xí)技術(shù)探索多模態(tài)生理數(shù)據(jù)融合計(jì)算方法，實(shí)現(xiàn)對(duì)學(xué)習(xí)者認(rèn)知負(fù)荷的精確分類與描述。

2.認(rèn)知負(fù)荷表征模型的可解釋性問題

在學(xué)習(xí)領(lǐng)域，知識(shí)產(chǎn)品直接作用于學(xué)習(xí)者的認(rèn)知。知識(shí)產(chǎn)品影響學(xué)習(xí)者學(xué)習(xí)機(jī)制的透明度、可行性和可解釋性，是確保知識(shí)和學(xué)習(xí)者之間建立聯(lián)系的紐帶[7]。同樣，融合生理數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)者認(rèn)知負(fù)荷測(cè)評(píng)的關(guān)鍵是建立數(shù)據(jù)信號(hào)和學(xué)習(xí)者認(rèn)知狀態(tài)之間的關(guān)聯(lián)性?；谏疃葘W(xué)習(xí)的機(jī)器學(xué)習(xí)算法所構(gòu)建的各種表征模型是人工智能為教育提供的核心服務(wù)，然而，人工智能所構(gòu)建的模型過度追求模型的精確性和最優(yōu)化，其中模型構(gòu)建的過程實(shí)質(zhì)上是一種“黑箱”模式。我們雖然能夠?qū)崿F(xiàn)數(shù)據(jù)的輸入并獲得高效的決策方案，卻無法理解和解釋所構(gòu)建模型的原理。模型構(gòu)建過程的模糊性很可能使無關(guān)的數(shù)據(jù)結(jié)論與學(xué)習(xí)規(guī)律產(chǎn)生聯(lián)系，導(dǎo)致這些模型難以被信任。因此，建立認(rèn)知負(fù)荷表征模型和數(shù)據(jù)信號(hào)之間的關(guān)聯(lián)紐帶，提升認(rèn)知負(fù)荷表征模型的可解釋性是相關(guān)研究需要解決的關(guān)鍵問題。研究發(fā)現(xiàn)，模型可解釋性不足在很大程度上是因?yàn)槟Ｐ偷臉?gòu)建缺乏理論支撐[8]。使用“理論+數(shù)據(jù)”的雙驅(qū)動(dòng)形式進(jìn)行數(shù)據(jù)降維，結(jié)合專家經(jīng)驗(yàn)和數(shù)據(jù)計(jì)算的雙重優(yōu)勢(shì)，可以實(shí)現(xiàn)模型的可解釋[9]。

3.認(rèn)知負(fù)荷要素權(quán)重系數(shù)的計(jì)算問題

使用認(rèn)知負(fù)荷誘發(fā)實(shí)驗(yàn)誘發(fā)學(xué)習(xí)者不同層次的認(rèn)知負(fù)荷，使用生理信號(hào)采集設(shè)備提取學(xué)習(xí)者認(rèn)知負(fù)荷的時(shí)域及頻域特征，可以構(gòu)建學(xué)習(xí)者認(rèn)知負(fù)荷測(cè)評(píng)的指標(biāo)體系，而指標(biāo)體系運(yùn)行的關(guān)鍵是各項(xiàng)指標(biāo)的權(quán)重系數(shù)問題。基于生理數(shù)據(jù)的指標(biāo)體系要素眾多，難以通過傳統(tǒng)的方法確定不同要素的權(quán)重系數(shù)。因此，如何設(shè)定不同要素指標(biāo)的權(quán)重系數(shù)是本研究需要解決的關(guān)鍵問題。深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)算法（卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制）在權(quán)重系數(shù)自適應(yīng)調(diào)整上具有較佳的性能，在信息科學(xué)和計(jì)算機(jī)科學(xué)理論指導(dǎo)下，構(gòu)建基于多維算法的認(rèn)知負(fù)荷數(shù)據(jù)訓(xùn)練集，使用深度學(xué)習(xí)技術(shù)對(duì)算法進(jìn)行訓(xùn)練，使用完成訓(xùn)練的多維算法進(jìn)行不同要素權(quán)重系數(shù)的計(jì)算，能夠提升學(xué)習(xí)者不同層次認(rèn)知負(fù)荷識(shí)別的精確度。

（二）融合生理數(shù)據(jù)驅(qū)動(dòng)認(rèn)知負(fù)荷測(cè)評(píng)的特征

融合生理數(shù)據(jù)驅(qū)動(dòng)的認(rèn)知負(fù)荷測(cè)評(píng)在本質(zhì)上是多模態(tài)生理數(shù)據(jù)的計(jì)算與分類，在認(rèn)知負(fù)荷狀態(tài)評(píng)估中具有顯著的多維性、過程性和精確性特征。

1.認(rèn)知負(fù)荷表征機(jī)制的多維性

融合生理數(shù)據(jù)驅(qū)動(dòng)的認(rèn)知負(fù)荷測(cè)評(píng)是對(duì)學(xué)習(xí)者多維生理數(shù)據(jù)的收集與融合分析，多維性特征體現(xiàn)為信號(hào)域的多維性和數(shù)據(jù)域的多維性。信號(hào)域的多維性是指測(cè)評(píng)信息源的多樣性。不同于主觀測(cè)量或單一方法的生理測(cè)量，融合生理數(shù)據(jù)進(jìn)行學(xué)習(xí)者認(rèn)知負(fù)荷測(cè)量的信號(hào)類型包括腦電信號(hào)（EEG和ERP）、心電信號(hào)、眼電信號(hào)、皮電信號(hào)和腦成像信號(hào)（功能性磁共振成像和核成像技術(shù)）等多種類型，綜合多種信號(hào)源的計(jì)算能夠?qū)崿F(xiàn)認(rèn)知負(fù)荷計(jì)算與識(shí)別的高精準(zhǔn)性。當(dāng)前，相關(guān)領(lǐng)域的研究主力隊(duì)伍集中于認(rèn)知科學(xué)和教育科學(xué)領(lǐng)域，由于缺乏信息與計(jì)算科學(xué)背景，科研人員往往只能采集到儀器直接提供的信息數(shù)據(jù)，缺乏多域信號(hào)和數(shù)據(jù)的轉(zhuǎn)換與計(jì)算能力，因此將信息科學(xué)的研究范式及思路引入該領(lǐng)域，實(shí)現(xiàn)多域信號(hào)和數(shù)據(jù)的計(jì)算，是開發(fā)數(shù)據(jù)價(jià)值、實(shí)現(xiàn)認(rèn)知負(fù)荷精準(zhǔn)測(cè)評(píng)的關(guān)鍵。

2.認(rèn)知負(fù)荷測(cè)量的過程性

認(rèn)知負(fù)荷是個(gè)人進(jìn)行負(fù)載信息處理過程中產(chǎn)生并維持的一種認(rèn)知狀態(tài)。該狀態(tài)受到環(huán)境、任務(wù)類型、資源、認(rèn)知基礎(chǔ)等多要素的影響，并且這種狀態(tài)會(huì)隨著影響因素的改變而發(fā)生變化，很難被有效觀察和獲取。傳統(tǒng)認(rèn)知負(fù)荷測(cè)量方法的一大缺陷就是滯后性，無法對(duì)學(xué)習(xí)者學(xué)習(xí)過程中的認(rèn)知負(fù)荷進(jìn)行測(cè)量，而實(shí)現(xiàn)學(xué)習(xí)過程中認(rèn)知負(fù)荷的全域測(cè)量是我們分析學(xué)習(xí)成果、進(jìn)行學(xué)習(xí)者認(rèn)知精準(zhǔn)診斷的基礎(chǔ)。融合生理數(shù)據(jù)的認(rèn)知負(fù)荷測(cè)量起始于學(xué)習(xí)任務(wù)的開始，終結(jié)于學(xué)習(xí)任務(wù)的結(jié)束，測(cè)量過程與學(xué)習(xí)任務(wù)的完成過程保持時(shí)間序列的一致性，只有有效感知多維時(shí)域、頻域的生理數(shù)據(jù)，才能實(shí)現(xiàn)對(duì)學(xué)習(xí)者認(rèn)知負(fù)荷的精準(zhǔn)表征。學(xué)習(xí)者的認(rèn)知負(fù)荷狀態(tài)極易受到外部因素的干擾，單一測(cè)量技術(shù)的容錯(cuò)率較低，融合多源生理數(shù)據(jù)的認(rèn)知負(fù)荷全域測(cè)量能夠依托信號(hào)域、數(shù)據(jù)域的多元性，以及深度學(xué)習(xí)技術(shù)的自我學(xué)習(xí)進(jìn)化特征，實(shí)現(xiàn)認(rèn)知負(fù)荷測(cè)評(píng)的兼容性、抗干擾性和穩(wěn)定性。

3.認(rèn)知負(fù)荷評(píng)估的精確性

融合生理數(shù)據(jù)驅(qū)動(dòng)認(rèn)知負(fù)荷測(cè)評(píng)的目標(biāo)是實(shí)現(xiàn)學(xué)習(xí)者認(rèn)知負(fù)荷狀態(tài)的精準(zhǔn)評(píng)估。這種精準(zhǔn)體現(xiàn)在兩方面：精準(zhǔn)區(qū)分認(rèn)知負(fù)荷的類型，精準(zhǔn)衡量認(rèn)知負(fù)荷的層級(jí)。按照類別，認(rèn)知負(fù)荷可以分為三大類：內(nèi)在認(rèn)知負(fù)荷、外在認(rèn)知負(fù)荷和關(guān)聯(lián)認(rèn)知負(fù)荷。這三種認(rèn)知負(fù)荷相加就是認(rèn)知負(fù)荷的總量[10]。當(dāng)前，認(rèn)知負(fù)荷研究的關(guān)注點(diǎn)之一就是如何有效區(qū)分3種不同類型的認(rèn)知負(fù)荷，而現(xiàn)有的測(cè)量方法在這方面顯得比較乏力。使用深度學(xué)習(xí)算法將不同維度的數(shù)據(jù)進(jìn)行融合計(jì)算，能夠有效地進(jìn)行認(rèn)知負(fù)荷類型的區(qū)分。例如，克勞斯-羅伯特·穆勒（Klaus-Robert Müller）[11]使用深度學(xué)習(xí)技術(shù)將fMRI血流信號(hào)和EEG信號(hào)進(jìn)行了融合計(jì)算，有效地區(qū)分了學(xué)習(xí)者工作記憶信號(hào)的類型。使用深度學(xué)習(xí)技術(shù)可以實(shí)現(xiàn)多維數(shù)據(jù)、多域數(shù)據(jù)的融合與計(jì)算，按照所設(shè)計(jì)的認(rèn)知負(fù)荷誘發(fā)實(shí)驗(yàn)的層次和等級(jí)進(jìn)行學(xué)習(xí)者認(rèn)知負(fù)荷的精準(zhǔn)評(píng)估。例如，王馳翔（Chixiang Wang）等[12]通過N-back實(shí)驗(yàn)誘發(fā)認(rèn)知負(fù)荷，通過對(duì)心率和脈搏數(shù)據(jù)的獲取、預(yù)處理、特征提取、特征選擇，使得測(cè)試對(duì)象在高、中、低3個(gè)層次的認(rèn)知負(fù)荷評(píng)估精準(zhǔn)度達(dá)到97.2%。因此，精準(zhǔn)性是融合生理數(shù)據(jù)驅(qū)動(dòng)認(rèn)知負(fù)荷測(cè)評(píng)的重要特征。

三、面向認(rèn)知狀態(tài)評(píng)估的教育生理計(jì)算框架

生理數(shù)據(jù)不同于行為、圖像等多模態(tài)數(shù)據(jù)形態(tài)，具有小樣本、高復(fù)雜、干擾強(qiáng)、無標(biāo)注的數(shù)據(jù)特征，數(shù)據(jù)獲取途徑與計(jì)算方法都有所區(qū)別。生理計(jì)算一般指使用人類的實(shí)時(shí)生理數(shù)據(jù)來控制系統(tǒng)或進(jìn)行內(nèi)容反饋，以增強(qiáng)其完成特定任務(wù)的能力。生理計(jì)算的基礎(chǔ)是檢測(cè)用戶的中樞神經(jīng)系統(tǒng)（CNS）、軀體神經(jīng)系統(tǒng)（SNS）和自主神經(jīng)系統(tǒng)（ANS）的不同類型信號(hào)，根據(jù)其性質(zhì)和架構(gòu)設(shè)計(jì)對(duì)這些信號(hào)進(jìn)行多類別處理。這些系統(tǒng)通過將生理數(shù)據(jù)轉(zhuǎn)換為控制信號(hào)或控制信號(hào)的輸入來操作，而不需要用戶作出任何明顯的響應(yīng)。生理計(jì)算捕捉了用戶自發(fā)和潛意識(shí)的狀態(tài)內(nèi)容，為人們提供了一種監(jiān)控、量化和反饋的方法，通過實(shí)時(shí)監(jiān)測(cè)、分析和響應(yīng)用戶的內(nèi)在心理活動(dòng)來實(shí)現(xiàn)系統(tǒng)交互[13]。教育中的生理計(jì)算往往是運(yùn)用信息科學(xué)、數(shù)學(xué)、認(rèn)知科學(xué)的范式與方法，結(jié)合多維生理信號(hào)對(duì)教育場(chǎng)景下學(xué)習(xí)者的學(xué)習(xí)狀態(tài)及心理狀態(tài)進(jìn)行量化評(píng)估。

教育生理計(jì)算采取“假設(shè)+數(shù)據(jù)”驅(qū)動(dòng)的方法，通過多維數(shù)據(jù)融合、多維特征關(guān)聯(lián)、時(shí)空數(shù)據(jù)信息對(duì)學(xué)習(xí)者認(rèn)知狀態(tài)與生理電信號(hào)之間的對(duì)應(yīng)關(guān)系進(jìn)行融合與重構(gòu)，將諸多要素的多維映射關(guān)系轉(zhuǎn)換為直觀的一對(duì)一的映射關(guān)系。教育生理計(jì)算不是單純的數(shù)學(xué)運(yùn)算或模型設(shè)計(jì)，而是具有系統(tǒng)性、完整性的理論范式與方法，具體內(nèi)容涵蓋了理論模型建構(gòu)、實(shí)驗(yàn)設(shè)計(jì)、生理數(shù)據(jù)測(cè)量與采集、計(jì)算建模、狀態(tài)預(yù)測(cè)估計(jì)等多個(gè)維度。

（一）融合生理計(jì)算的認(rèn)知狀態(tài)評(píng)估理論模型構(gòu)建

生理表征模型的可解釋是構(gòu)建模型的首要原則，也是開展相關(guān)研究需要解決的關(guān)鍵問題。造成深度學(xué)習(xí)技術(shù)所構(gòu)建的表征模型不可解釋的原因是缺乏預(yù)先的理論構(gòu)建，使得所構(gòu)建的模型脫離了理論結(jié)構(gòu)的束縛。因此，開展理論模型研究應(yīng)側(cè)重于多重生理數(shù)據(jù)維度的構(gòu)建，以實(shí)現(xiàn)多維認(rèn)知狀態(tài)表征的學(xué)理匯集，實(shí)現(xiàn)認(rèn)知狀態(tài)表征模型的可解釋。

關(guān)于理論模型的研究從以下兩方面開展：第一，以文獻(xiàn)分析的形式在大范圍內(nèi)梳理數(shù)字化學(xué)習(xí)環(huán)境中認(rèn)知狀態(tài)的研究概況，分析認(rèn)知狀態(tài)不同評(píng)估方法及模型指標(biāo)的差異，初步確定基于多維生理數(shù)據(jù)的認(rèn)知狀態(tài)測(cè)評(píng)框架，明晰基于多模態(tài)生理數(shù)據(jù)的認(rèn)知狀態(tài)評(píng)估的維度及參考指標(biāo)。第二，以認(rèn)知科學(xué)領(lǐng)域的研究專家為訪談對(duì)象，征詢專家對(duì)初步構(gòu)建指標(biāo)及內(nèi)容的意見，并進(jìn)行適當(dāng)增刪。同時(shí)，征詢信息科學(xué)領(lǐng)域研究專家的意見，明晰多維生理數(shù)據(jù)對(duì)齊、融合與識(shí)別的方法。理論模型的研究是研究開展的起始點(diǎn)，更是保證研究結(jié)論可解釋、可理解的關(guān)鍵。

（二）實(shí)驗(yàn)設(shè)計(jì)與生理數(shù)據(jù)采集

實(shí)現(xiàn)認(rèn)知狀態(tài)精確測(cè)評(píng)的關(guān)鍵是實(shí)現(xiàn)學(xué)習(xí)者不同類別、不同層次認(rèn)知狀態(tài)的誘發(fā)，在此基礎(chǔ)上收集學(xué)習(xí)者的生理信號(hào)，進(jìn)行數(shù)據(jù)融合與計(jì)算，達(dá)到認(rèn)知狀態(tài)精確分類、分層的目的。此處涉及兩項(xiàng)關(guān)鍵技術(shù)：認(rèn)知狀態(tài)誘發(fā)技術(shù)和多維生理數(shù)據(jù)采集技術(shù)。

以認(rèn)知負(fù)荷誘發(fā)試驗(yàn)為例，實(shí)驗(yàn)范式任務(wù)包括主任務(wù)分析和次任務(wù)分析。兩種任務(wù)類型都可以通過改變知識(shí)結(jié)構(gòu)、資源呈現(xiàn)方式、策略與資源工具達(dá)到控制不同認(rèn)知負(fù)荷類型誘發(fā)的目的。

多模態(tài)數(shù)據(jù)的融合與計(jì)算為模型決策提供了更多的可用信息，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)識(shí)別的高準(zhǔn)確率。數(shù)據(jù)融合與計(jì)算的基礎(chǔ)是信息的采集與量化，需要使用多種類型的生理采集設(shè)備進(jìn)行生理信號(hào)的采集，在生理信號(hào)轉(zhuǎn)化為數(shù)據(jù)基礎(chǔ)上進(jìn)行認(rèn)知狀態(tài)評(píng)估，因此，眼動(dòng)、腦電、皮電及心電的多維生理數(shù)據(jù)采集技術(shù)是開展研究的關(guān)鍵技術(shù)。

（三）認(rèn)知狀態(tài)表征模型構(gòu)建

認(rèn)知數(shù)據(jù)的可計(jì)算是實(shí)現(xiàn)認(rèn)知狀態(tài)精確評(píng)估的基礎(chǔ)，不同類型、不同維度的信號(hào)具有顯著的差異性，實(shí)現(xiàn)認(rèn)知數(shù)據(jù)可計(jì)算的關(guān)鍵是實(shí)現(xiàn)不同數(shù)據(jù)的歸一化，而數(shù)據(jù)歸一化的前提條件是實(shí)現(xiàn)生理信號(hào)向數(shù)據(jù)的轉(zhuǎn)換。融合生理數(shù)據(jù)驅(qū)動(dòng)的認(rèn)知狀態(tài)表征模型構(gòu)建的基礎(chǔ)是多維生理信號(hào)的時(shí)域、頻域及時(shí)-頻域特征提取，在此過程中會(huì)涉及生理信號(hào)的時(shí)-頻域轉(zhuǎn)換問題，以及數(shù)據(jù)降維問題。

時(shí)-頻域數(shù)據(jù)提供了多維時(shí)域及頻域數(shù)據(jù)的聯(lián)合分布信息，并明晰地反映了信號(hào)頻率與時(shí)間變動(dòng)的關(guān)聯(lián)性，其所蘊(yùn)含的數(shù)據(jù)信息分辨率更高、內(nèi)容更加豐富。由于所面向的信號(hào)往往都是非平穩(wěn)信號(hào)，因此，常用的時(shí)-頻域數(shù)據(jù)轉(zhuǎn)換方法包括短時(shí)傅里葉轉(zhuǎn)換、小波算法轉(zhuǎn)換、希爾伯特－黃轉(zhuǎn)換[14]。

多種類型生理信號(hào)提取涉及的頻域及時(shí)域特征維數(shù)往往較高，在這些特征中往往包含眾多無關(guān)特征、冗余特征，從而會(huì)降低模型識(shí)別的精準(zhǔn)度和運(yùn)行效率。這就需要進(jìn)行數(shù)據(jù)降維，以提升模型分類的精確度。數(shù)據(jù)降維常用的方法有低方差濾波、隨機(jī)森林、反向特征消除、主成分分析（PCA）、獨(dú)立分量分析（ICA）等。由于不同的數(shù)據(jù)降維方法具有不同特點(diǎn)，并且數(shù)據(jù)降維往往不能一蹴而就，因此，研究者往往聯(lián)合使用其中的幾種方法進(jìn)行數(shù)據(jù)降維。

（四）計(jì)算分析與模式識(shí)別

融合多維生理數(shù)據(jù)的認(rèn)知狀態(tài)表征模型涉及多類型、多維度的數(shù)據(jù)信號(hào)，有效分配各數(shù)據(jù)之間的權(quán)重系數(shù)是實(shí)現(xiàn)認(rèn)知狀態(tài)精確識(shí)別的關(guān)鍵。傳統(tǒng)的數(shù)據(jù)計(jì)算與分類技術(shù)幾乎無法為多維數(shù)據(jù)權(quán)重的判斷提供參考，基于深度學(xué)習(xí)技術(shù)的人工智能算法能夠?qū)崿F(xiàn)多維數(shù)據(jù)特征的精確識(shí)別與分類。

在數(shù)據(jù)模式識(shí)別中，常用的算法包括支持向量機(jī)、隨機(jī)森林、神經(jīng)網(wǎng)絡(luò)、貝葉斯網(wǎng)絡(luò)等方法。在眾多方法中，支持向量機(jī)算法在小樣本數(shù)據(jù)量、噪聲干擾、數(shù)據(jù)維度較多的數(shù)據(jù)模式識(shí)別中具有較高的識(shí)別精準(zhǔn)度；神經(jīng)網(wǎng)絡(luò)算法具有自我學(xué)習(xí)與進(jìn)化能力，并且具有較強(qiáng)的抗干擾性、魯棒性強(qiáng)等特點(diǎn)，在生理數(shù)據(jù)分類識(shí)別中使用廣泛；隨機(jī)森林算法具有極佳的穩(wěn)定性及較強(qiáng)的抗過擬合能力，同樣受到研究者的重視。因此，需要同時(shí)使用上述算法對(duì)所構(gòu)建的模型進(jìn)行訓(xùn)練，以達(dá)到最優(yōu)識(shí)別率。

四、結(jié)束語

本研究基于多維生理數(shù)據(jù)融合與計(jì)算的基本思路，探索了融合生理數(shù)據(jù)驅(qū)動(dòng)認(rèn)知負(fù)荷測(cè)量的動(dòng)因，深入分析了融合生理數(shù)據(jù)驅(qū)動(dòng)認(rèn)知負(fù)荷測(cè)評(píng)的關(guān)鍵問題和特征。在此基礎(chǔ)上，依據(jù)生理數(shù)據(jù)小樣本、高復(fù)雜、干擾強(qiáng)、無標(biāo)注的數(shù)據(jù)特征，從理論上構(gòu)建了融合生理數(shù)據(jù)驅(qū)動(dòng)認(rèn)知狀態(tài)評(píng)估的基本框架，為后續(xù)的認(rèn)知負(fù)荷和其他認(rèn)知狀態(tài)評(píng)估提供了借鑒與參考。

參考文獻(xiàn)

[1]王國華，薛瑞鑫，張立國.在線學(xué)習(xí)社區(qū)中的信任及其對(duì)知識(shí)共享的影響研究[J].數(shù)字教育，2022，8（6）：38-46.

[2]SWELLER J. Cognitive load during problem solving： effects on learning[J]. Cognitive Science， 1988， 12（2）： 257-285.

[3]王國華，聶勝欣，薛瑞鑫.多媒體學(xué)習(xí)中的認(rèn)知負(fù)荷：測(cè)量方法與技術(shù)縱覽[J].電化教育研究，2022，43（4）：19-25.

[4]SPüLER M， WALTER C， ROSENSTIEL W， et al. EEG-based prediction of cognitive workload induced by arithmetic： a step towards online adaptation in numerical learning[J]. ZDM， 2016， 48（3）： 267-278.

[5]鄭玲，喬旭強(qiáng)，倪濤，等.基于多維信息特征分析的駕駛?cè)苏J(rèn)知負(fù)荷研究[J].中國公路學(xué)報(bào)，2021，34（4）：240-250.

[6]梁茹，陳永泰，徐峰，等.社會(huì)系統(tǒng)多元情景可計(jì)算模式研究[J].管理科學(xué)學(xué)報(bào)，2017，20（1）：53-63.

[7]王萍，田小勇，孫僑羽.可解釋教育人工智能研究：系統(tǒng)框架、應(yīng)用價(jià)值與案例分析[J].遠(yuǎn)程教育雜志，2021，39（6）：20-29.

[8]劉桐，顧小清.走向可解釋性：打開教育中人工智能的“黑盒”[J].中國電化教育，2022（5）：82-90.

[9]尚佩瑤，汪存友.智適應(yīng)學(xué)習(xí)系統(tǒng)的學(xué)習(xí)效果及其影響因素研究：基于2000—2020年60項(xiàng)實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)研究的元分析[J].數(shù)字教育，2021，7（1）：45-50.

[10]王國華，田梁浩，聶勝欣，等.多媒體學(xué)習(xí)中表征認(rèn)知負(fù)荷的眼動(dòng)指標(biāo)研究[J].電化教育研究，2023，44（10）：54-62.

[11]MüLLER K R， TANGERMANN M， DORNHEGE G， et al. Machine learning for real-time single-trial EEG-analysis： from brain-computer interfacing to mental state monitoring[J]. Journal of Neuroscience Methods， 2007， 167（1）： 82-90.

[12]WANG C X， GUO J Q. A data-driven framework for learners’ cognitive load detection using ECG-PPG physiological feature fusion and XGBoost classification[J]. Procedia Computer Science， 2019（147）：338-348.

[13]胡斌，周穎慧，陶小梅.情感智能與心理生理計(jì)算[J].廣東工業(yè)大學(xué)學(xué)報(bào)，2021，38（4）：1-8.

[14]張迪，萬柏坤，明東.基于生理信號(hào)的情緒識(shí)別研究進(jìn)展[J].生物醫(yī)學(xué)工程學(xué)雜志，2015，32（1）：229-234.

（責(zé)任編輯 孫興麗）

Physiological Computing-Based Cognitive Load Assessment： Motivations， Key Issues and Features—A Physiological Computing Framework for Cognitive Status Assessment

Wang Guohua1， Tian Lianghao1， Yu Shuyu2

（1. Faculty of Education， Henan Normal University， Xinxiang， Henan， China 453000;

2. School of Educational Technology， Northwest Normal University， Lanzhou， Gansu， China 730000）

Abstract：" Cognitive load assessment in the learning field suffers from the problems of lack of process data， single dimension of assessment， and insufficient accuracy of assessment. Multimodal data fusion and analysis technology reveals the representation mechanism of cognitive load from multidimensional spatial and temporal scales， and re-examines the cognitive load measurement problem in a data-driven paradigm， which can help to form a more effective method to understand the learning cognition and related laws. Based on this， the article analyzes the motivations for integrating physiological data to drive cognitive load measurement from the overview of the current state of cognitive load measurement research. It also analyzes the key issues involved in the development of related research， such as the computability of cognitive load， the interpretability of cognitive load representation model， and the computation of cognitive load element weights， and clarifies the multidimensional， process， and accuracy characteristics of the fusion of physiological data-driven cognitive load assessment. Finally， the article analyses and explains the educational physiological computational framework based on the idea of “theoretical model—data collection—model construction — computational analysis and pattern recognition”.

Key words： Cognitive load; Physiological data; Data fusion; Assessment; Multimodality

基金項(xiàng)目：國家社會(huì)科學(xué)基金教育學(xué)一般課題“‘互聯(lián)網(wǎng)+’推動(dòng)西部農(nóng)村小規(guī)模學(xué)校創(chuàng)新發(fā)展的路徑與策略研究”（BCA200085）

作者簡介：王國華（1988— ），男，河南濮陽人，博士，副教授、碩士生導(dǎo)師，研究方向?yàn)樵诰€學(xué)習(xí)、認(rèn)知狀態(tài)評(píng)估；田梁浩（2000— ），男，山西晉城人，碩士研究生，研究方向?yàn)檎J(rèn)知狀態(tài)評(píng)估、多媒體學(xué)習(xí)；俞樹煜（1975— ），男，甘肅皋蘭人，教授、博士生導(dǎo)師，研究方向?yàn)楝F(xiàn)代遠(yuǎn)程教育、教育技術(shù)基本理論。