施劍陽

關(guān)鍵詞： 指點(diǎn)手勢(shì); 課堂表情；頭部姿態(tài)；課堂專注度; 人工智能

中圖分類號(hào)：G43 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）03-0019-03

0 引言

專注是產(chǎn)生有效學(xué)習(xí)的先決條件，是取得良好學(xué)習(xí)成效的重要保證，在課堂教學(xué)中尤為重要。課堂專注度是指學(xué)生在課堂中聚焦于學(xué)習(xí)任務(wù)，迅速篩選重要信息，抵御干擾，表現(xiàn)為保持相對(duì)靜止、持續(xù)關(guān)注學(xué)習(xí)刺激的能力。有強(qiáng)有力的證據(jù)表明，學(xué)習(xí)者在不同的專注狀態(tài)下有不同的學(xué)習(xí)表現(xiàn)。具體而言，在高專注狀態(tài)下，學(xué)生的學(xué)習(xí)動(dòng)機(jī)被大大增強(qiáng)，同時(shí)也能促進(jìn)其對(duì)信息的處理和記憶。因此，精準(zhǔn)的評(píng)估和有效的優(yōu)化學(xué)生的課堂專注度尤為重要。

1 文獻(xiàn)綜述

1.1 學(xué)習(xí)專注度的評(píng)估

學(xué)習(xí)專注度的精確評(píng)估一直是教育領(lǐng)域中重點(diǎn)關(guān)注的議題。評(píng)估專注度的傳統(tǒng)方法可分為兩類：一是教師通過觀察學(xué)習(xí)者的外顯行為特征判斷其專注度，二是學(xué)習(xí)者自我報(bào)告專注狀態(tài)，這兩類方法均存在一定的主觀性和滯后性。隨著數(shù)據(jù)采集技術(shù)的成熟，眾多學(xué)者深入研究了如何利用學(xué)習(xí)者數(shù)據(jù)實(shí)現(xiàn)對(duì)學(xué)習(xí)專注度的自動(dòng)分析，在這方面，較為普遍的方法是采用非侵入的方式，通過攝像頭收集學(xué)習(xí)者的課堂行為數(shù)據(jù)，從中提取學(xué)習(xí)者的視覺特征，然后利用相關(guān)的機(jī)器學(xué)習(xí)方法來識(shí)別學(xué)習(xí)者的專注程度。例如Hu[1]等人基于非侵入性課堂視頻，構(gòu)建了一個(gè)包含多種線索（面部表情、身體動(dòng)作）的課堂專注度數(shù)據(jù)庫，并提出了一種雙峰模型來同時(shí)考慮兩個(gè)方面的信息，將兩個(gè)模態(tài)的特征合并起來進(jìn)行專注度評(píng)估。這種基于多模態(tài)數(shù)據(jù)的專注度評(píng)估方法能實(shí)現(xiàn)對(duì)學(xué)習(xí)者專注度實(shí)時(shí)和自動(dòng)化的評(píng)估，但目前仍缺少足夠的證據(jù)來證明該方法的有效性。來自心理學(xué)和腦科學(xué)領(lǐng)域的研究表明，學(xué)習(xí)者的眼球運(yùn)動(dòng)和大腦皮層的神經(jīng)活動(dòng)能準(zhǔn)確反映學(xué)習(xí)者的專注狀態(tài)。具體而言，通過視線落點(diǎn)、注視時(shí)間及次數(shù)、眼跳路徑等能夠獲知學(xué)習(xí)者的注意范圍、對(duì)學(xué)習(xí)材料的加工難度與注意量，從而判斷學(xué)習(xí)者的專注度狀態(tài)。例如 D' Mello[2]等學(xué)者研究在線閱讀場景，通過學(xué)習(xí)者對(duì)閱讀材料整體和局部的眼動(dòng)特征進(jìn)行觀察以判斷學(xué)習(xí)者是否專注于學(xué)習(xí)內(nèi)容。此外，通過腦電信號(hào)的頻譜特征可以反映出學(xué)習(xí)者的專注度水平，目前采用頻譜分析方法識(shí)別大腦狀態(tài)的專注度水平主要有兩種算法，一種是計(jì)算θ β 比率的得出大腦的專注水平；另一種是將腦電信號(hào)分解為δ 波（≤4HZ） 、θ 波（4～8HZ）、α 波（8～15HZ） 、β 波（12～30HZ）和其他波（≤30HZ） ，把每個(gè)波的能量或者功率譜作為反饋信息。上述基于生理數(shù)據(jù)的方法雖然能夠?qū)W(xué)習(xí)者的專注度進(jìn)行準(zhǔn)確的評(píng)估，但眼動(dòng)儀和頭戴式腦電設(shè)備的投入成本高，且難以規(guī)?；瘧?yīng)用，其次頭戴式腦電設(shè)備以侵入式的方式采集數(shù)據(jù)易對(duì)學(xué)生造成影響。

1.2 教師手勢(shì)對(duì)學(xué)習(xí)者的影響

手勢(shì)又稱手的姿勢(shì)，是指人在運(yùn)用手臂時(shí)，所出現(xiàn)的具體動(dòng)作，這其中包括手和手臂的移動(dòng)、姿勢(shì)的調(diào)整、觸碰他人和不同形式的節(jié)拍等。在課堂教學(xué)中，教師在課堂中經(jīng)常使用三種手勢(shì)[3]：指點(diǎn)手勢(shì)通常以伸出的手指或手的方式表示物體的位置；描述性手勢(shì)則通過手的形狀或運(yùn)動(dòng)軌跡來描述語義內(nèi)容的各個(gè)方面，以字面或隱喻方式在聽眾腦海中喚起相應(yīng)的心理圖像；節(jié)拍手勢(shì)是一種簡單的、有規(guī)律的上下運(yùn)動(dòng)，與語音的韻律或話語結(jié)構(gòu)一致，而不涉及語義內(nèi)容的描述。已有的許多研究發(fā)現(xiàn)，教師手勢(shì)的運(yùn)用有利于提高學(xué)習(xí)者的學(xué)習(xí)效果。具體來說，教師的手勢(shì)是一種非語言交流形式，它可以用來補(bǔ)充語言信息，增強(qiáng)學(xué)習(xí)者的理解和記憶。此外，手勢(shì)作為一種視覺提示，不僅可以幫助學(xué)習(xí)者理解復(fù)雜的概念和信息，還可以提高學(xué)習(xí)者的專注度和參與度。例如楊九民[4]等人使用眼動(dòng)設(shè)備測量了被試在學(xué)習(xí)過程中的眼動(dòng)數(shù)據(jù)，通過比較被試在不同手勢(shì)教學(xué)條件下的眼動(dòng)情況和學(xué)習(xí)情況，他們發(fā)現(xiàn)指點(diǎn)手勢(shì)和描述性手勢(shì)都能引導(dǎo)學(xué)習(xí)者關(guān)注教師和屏幕上的學(xué)習(xí)材料，但指點(diǎn)手勢(shì)更能促進(jìn)學(xué)習(xí)者在教師和學(xué)習(xí)材料之間切換注意力，而描述性手勢(shì)則更能促進(jìn)學(xué)習(xí)者在學(xué)習(xí)材料內(nèi)部分配注意力，該研究說明了教師在教學(xué)過程中可以通過使用不同類型的手勢(shì)來調(diào)節(jié)學(xué)生的注意力分配從而促進(jìn)其學(xué)習(xí)。來自手勢(shì)的EEG研究也發(fā)現(xiàn)手勢(shì)和學(xué)習(xí)者的注意力存在一定的關(guān)聯(lián)[5]，具體來說，與指點(diǎn)手勢(shì)相比，當(dāng)學(xué)生觀察到教師的節(jié)拍手勢(shì)或描述性手勢(shì)時(shí)，α和β振蕩的振幅較低。而α和β波與視覺空間注意力分配認(rèn)知活動(dòng)以及感覺運(yùn)動(dòng)皮層的激活密切相關(guān)。因此，在觀看手勢(shì)時(shí)，學(xué)習(xí)者需要感知運(yùn)動(dòng)皮層的參與，并進(jìn)行視覺空間注意力的分配。

綜上所述，教師的手勢(shì)與學(xué)習(xí)者的專注度水平存在一定的關(guān)聯(lián)，但具體的關(guān)系仍需進(jìn)一步的證實(shí)。因此，本研究借助人工智能技術(shù)實(shí)現(xiàn)課堂專注度和教師指點(diǎn)手勢(shì)的自動(dòng)識(shí)別，并在此基礎(chǔ)上進(jìn)一步探究教師指點(diǎn)手勢(shì)對(duì)學(xué)生課堂專注度的影響。

2 課堂專注度識(shí)別

對(duì)于課堂專注度的識(shí)別主要分為四個(gè)步驟：人臉識(shí)別、表情識(shí)別、頭部姿態(tài)識(shí)別和課堂專注度計(jì)算，具體的過程如圖1所示。學(xué)生的視頻數(shù)據(jù)先經(jīng)由人臉檢測模塊識(shí)別學(xué)習(xí)者的人臉信息，通過裁剪得到學(xué)生的人臉圖片。隨后將得到的所有人臉圖像輸入到頭部姿態(tài)檢測模塊和表情識(shí)別模塊，以得到每一位學(xué)習(xí)者的表情類別和頭部偏轉(zhuǎn)角度。將得到的結(jié)果映射到評(píng)價(jià)指標(biāo)中，再經(jīng)過計(jì)算得到課堂專注度值。在上述過程中，人臉識(shí)別使用的RetinaFace模型[6]，表情識(shí)別使用的是ResMaskingNet 模型[7]，頭部姿態(tài)識(shí)別使用的是HopeNet模型[8]。關(guān)于課堂專注度的評(píng)價(jià)指標(biāo)，通過對(duì)先前研究者關(guān)于課堂專注度研究的梳理，確立課堂表情和頭部姿態(tài)的相關(guān)評(píng)價(jià)指標(biāo)。具體來說本研究確定了驚奇、開心、中性、害怕、悲傷、生氣和厭惡七種課堂表情，并且依次賦予3、2、1、0、-1、-2和-3七個(gè)分值。對(duì)于頭部姿態(tài)，本研究通過對(duì)俯仰角和偏航角兩個(gè)角度來綜合評(píng)價(jià)頭部姿態(tài)，具體的評(píng)價(jià)指標(biāo)如表1所示，其中m₁、m₂、m₃、m₄賦予的值分別為1、0.75、0.5、0.25。

對(duì)于課堂專注度的計(jì)算，其綜合了表情識(shí)別和頭部姿態(tài)識(shí)別的結(jié)果，首先是表情得分的計(jì)算如公式（1）所示。

3 教師指點(diǎn)手勢(shì)識(shí)別

在這一章節(jié)中介紹了基于ResNet50的教師指點(diǎn)手勢(shì)識(shí)別方法，該方法主要包括了兩個(gè)步驟：教師識(shí)別和指點(diǎn)手勢(shì)識(shí)別，具體的流程如圖2所示。

1） 教師識(shí)別

識(shí)別教師在課堂教學(xué)中的指點(diǎn)手勢(shì)的前提是需要在課堂視頻的每一幀中識(shí)別到教師對(duì)象，我們通過對(duì)金華市某中學(xué)兩個(gè)班級(jí)的數(shù)學(xué)課堂進(jìn)行長達(dá)一個(gè)學(xué)期的跟蹤拍攝發(fā)現(xiàn)，教師在講授學(xué)習(xí)材料時(shí)，絕大部分時(shí)間都是在講臺(tái)附近活動(dòng)，反映在視頻中就是講臺(tái)與黑板所圍成的矩形區(qū)域。因此我們假設(shè)教師在使用指點(diǎn)手勢(shì)進(jìn)行教學(xué)時(shí)，教師位于講臺(tái)附近。如圖2所示，我們利用教師在進(jìn)行學(xué)習(xí)材料講解時(shí)與學(xué)生在空間位置上存在顯著分界的特點(diǎn)識(shí)別課堂視頻中的教師對(duì)象。具體來說，考慮到黑板中電子白板的顏色屬性。首先將RGB圖像轉(zhuǎn)換為灰度圖像，然后設(shè)置閾值為150將灰度圖像轉(zhuǎn)化為二值圖，并在二值圖中進(jìn)行輪廓檢測。其中輪廓面積最大的即為電子白板，確定電子白板的輪廓之后即可獲取該輪廓外接矩形的左上角坐標(biāo)（X_lt，Y_lt）以及外接矩形的寬W_box和高H_box。為了獲取講臺(tái)與黑板所圍成的矩形區(qū)域四個(gè)頂點(diǎn)坐標(biāo)的，我們對(duì)外接矩形的高度進(jìn)行了適當(dāng)?shù)臄U(kuò)增，教師活動(dòng)區(qū)域矩形四個(gè)頂點(diǎn)的坐標(biāo)的計(jì)算如下：

其中W_pic為圖片寬度。在四個(gè)坐標(biāo)點(diǎn)限定的區(qū)域內(nèi)通過Yolov5[9]即可提取區(qū)域內(nèi)的教師對(duì)象。

2） 指點(diǎn)手勢(shì)識(shí)別

如圖2所示，我們?cè)谥更c(diǎn)手勢(shì)識(shí)別上的過程可以概括為：首先將教師圖像放入Mediapipe進(jìn)行人體關(guān)鍵點(diǎn)檢測，然后連接手部關(guān)節(jié)點(diǎn)得到手部姿態(tài)，并利用Resnet50進(jìn)行手勢(shì)識(shí)別。

由于手部姿態(tài)依賴于教師的關(guān)節(jié)點(diǎn)位置，我們利用Mediapipe[10]算法對(duì)人體關(guān)節(jié)點(diǎn)進(jìn)行檢測。具體而言，將在教師活動(dòng)區(qū)域內(nèi)捕獲的教師圖像序列作為Me?diapipe的輸入從而獲得圖像中人物的連接點(diǎn)S_i。Me?diapipe能夠檢測人體的33個(gè)關(guān)節(jié)點(diǎn)，但在該任務(wù)中只需要手部的關(guān)節(jié)點(diǎn)，因此，11 ≤ i ≤ 16，i∈Z。之后，將獲取的手部關(guān)節(jié)點(diǎn)歸一化并在224*224的畫布上連接各個(gè)關(guān)節(jié)點(diǎn)以獲取教師的手部姿態(tài)。對(duì)于指點(diǎn)手勢(shì)的識(shí)別，本研究使用了ResNet50[11]。它是經(jīng)典的ResNet模型，在ImageNet數(shù)據(jù)集中，ResNet50在圖像場景分類方面的表現(xiàn)均優(yōu)于其他CNN模型，可以很好地用于指點(diǎn)手勢(shì)的識(shí)別。在訓(xùn)練過程中，為了提高模型的精度、穩(wěn)定性和訓(xùn)練速度。本研究使用了ResNet50模型在Ima?geNet數(shù)據(jù)集上預(yù)訓(xùn)練好的權(quán)重。并且，針對(duì)指點(diǎn)手勢(shì)分類任務(wù)，本研究對(duì)ResNet50模型進(jìn)行了微調(diào)。具體來說我們將ResNet50模型的最后一層（全連接層）替換為了一個(gè)新的神經(jīng)網(wǎng)絡(luò)層，該網(wǎng)絡(luò)層包含兩個(gè)全連接層、一個(gè)ReLU激活函數(shù)、一個(gè)Dropout層和一個(gè)Log?Softmax層，從而使ResNet50適用二分類任務(wù)。訓(xùn)練過程中所使用的數(shù)據(jù)集均來自真實(shí)的課堂實(shí)錄，包含兩種標(biāo)簽即指點(diǎn)手勢(shì)和非指點(diǎn)手勢(shì)，共計(jì)2183張RGB教師圖片，其中訓(xùn)練集1310張，測試集873張，經(jīng)過50輪迭代最后分類的準(zhǔn)確率為97.63%。

4 教師指點(diǎn)手勢(shì)對(duì)課堂專注度的影響

為了探究教師指點(diǎn)手勢(shì)對(duì)學(xué)生課堂專注度的影響，本研究對(duì)5節(jié)課的課堂教學(xué)視頻進(jìn)行了分析，這些視頻的時(shí)間在40～45分鐘不等，每節(jié)課的課堂教學(xué)視頻包含教師視頻和學(xué)生視頻。借助于我們所提出的課堂專注度識(shí)別模型和手勢(shì)識(shí)別模型，我們統(tǒng)計(jì)了每一分鐘的課堂專注度均值和教師使用指點(diǎn)手勢(shì)的頻次。并以指點(diǎn)手勢(shì)條件為因素，在SPSS 26.0上利用單因素方差分析（ANOVA） 進(jìn)行一系列方差分析。

1） 教師在課堂中指點(diǎn)手勢(shì)的使用情況

對(duì)于教師在課堂中指點(diǎn)手勢(shì)的使用情況，圖3的統(tǒng)計(jì)結(jié)果表明，教師在教學(xué)過程中大部分時(shí)間段都使用了指點(diǎn)手勢(shì)，其時(shí)間占比均超過了50%，與非指點(diǎn)手勢(shì)之間存在顯著差異，由此可見指點(diǎn)手勢(shì)在教學(xué)中的重要性。

2） 指點(diǎn)手勢(shì)對(duì)課堂專注度的影響

對(duì)于指點(diǎn)手勢(shì)對(duì)課堂專注度的影響，表2 的ANOVA檢驗(yàn)的結(jié)果表明。教師在使用指點(diǎn)手勢(shì)和不使用指點(diǎn)手勢(shì)時(shí)學(xué)習(xí)者的課堂專注度存在顯著差異（M = 64.02，SD = 3.92，P < 0.001）。具體來說，相較于非指點(diǎn)手勢(shì)，教師使用指點(diǎn)手勢(shì)能大幅提升學(xué)習(xí)者的課堂專注度。

5 結(jié)束語

本研究探究了教師在課堂中使用指點(diǎn)手勢(shì)對(duì)學(xué)生課堂專注度的影響。單因素方差分析結(jié)果顯示，教師使用指點(diǎn)手勢(shì)能夠大幅提升學(xué)習(xí)者的課堂專注度，使學(xué)生專注于知識(shí)的獲取。選擇性注意理論指出，個(gè)體不可能同時(shí)關(guān)注所有呈現(xiàn)的刺激，而是會(huì)有選擇性地集中注意力于某一刺激，忽視同時(shí)呈現(xiàn)的其他多種刺激。在課堂教學(xué)中指點(diǎn)手勢(shì)作為一種引導(dǎo)行為，可以有效地幫助學(xué)習(xí)者在黑板或電子白板上快速捕捉到需要深度加工的材料，從而使學(xué)生的視覺空間注意力指向教學(xué)內(nèi)容，進(jìn)而忽略其他的教學(xué)干擾因素。同時(shí)教師的指點(diǎn)手勢(shì)能夠營造出一種師生交互的臨場感，使學(xué)習(xí)者沉浸于學(xué)習(xí)情境中，將有限的認(rèn)知資源投入知識(shí)建構(gòu)過程中。因此，在課堂教學(xué)中，當(dāng)學(xué)生在看到指點(diǎn)手勢(shì)時(shí)會(huì)表現(xiàn)出行為專注，從而提高課堂專注度。

【通聯(lián)編輯：李雅琪】