張小妮 張真真

摘? 要：近年來，智慧教育發(fā)展迅速，與之相關(guān)的學(xué)生課堂行為識別隨之得到重視。針對課堂環(huán)境復(fù)雜、學(xué)生目標(biāo)密集、遮擋嚴(yán)重等問題，提出一種基于YOLOv5目標(biāo)檢測算法的學(xué)生課堂行為識別方法。首先，建立學(xué)生課堂行為數(shù)據(jù)集，為研究提供數(shù)據(jù)來源；其次，針對學(xué)生目標(biāo)密集等問題提出一種多尺度特征融合的學(xué)生課堂行為識別方法。多次實(shí)驗(yàn)結(jié)果表明，所提方法有效地提高了學(xué)生課堂行為識別的精度。學(xué)生課堂行為的智能化識別為教師掌握學(xué)生學(xué)情、改進(jìn)授課策略提供了重要依據(jù)。

關(guān)鍵詞：YOLOv5；學(xué)生行為；行為識別；目標(biāo)檢測；特征融合

中圖分類號：TP183? 文獻(xiàn)標(biāo)識碼：A? 文章編號：2096-4706（2023）08-0096-04

Abstract： In recent years， with the rapid development of smart education， students' classroom behavior recognition related to it has received attention. Aiming at the problems of complex classroom environment， dense student targets， and severe occlusion， a method for student classroom behavior recognition based on YOLOv5 target detection algorithm is proposed. Firstly， establish a dataset of student classroom behavior to provide data sources for research; Secondly， a multiscale feature fusion method for student classroom behavior recognition is proposed to solve the problem of dense student targets. Several experimental results show that the proposed method effectively improves the accuracy of students' classroom behavior recognition. The intelligent identification of students' classroom behavior provides an important basis for teachers to master students' learning situation and improve teaching strategies.

Keywords： YOLOv5; student behavior; behavior recognition; object detection; feature fusion

0? 引? 言

將智能化行為識別應(yīng)用于教育行業(yè)，能夠有效解決早期課堂老師獲取學(xué)生學(xué)情的不足，幫助老師提高授課效率，同時幫助學(xué)生及時發(fā)現(xiàn)學(xué)業(yè)中的問題，幫助家長隨時掌握孩子上課情況。

目前學(xué)生行為識別方法大多基于深度學(xué)習(xí)技術(shù)，其中，閆興亞等人[1]在Mobilenet V3的基礎(chǔ)上提出了輕量級的姿態(tài)識別方法，提高了對人體行為的識別準(zhǔn)確率。王澤杰等人[2]利用Open Pose算法提取學(xué)生姿態(tài)特征，融合YOLOv3算法提取學(xué)生行為的局部特征，最終成功識別出正坐、側(cè)身、低頭和舉手四種學(xué)生課堂行為。董琪琪等人[3]提出一種改進(jìn)的SSD算法，結(jié)合K-means聚類算法對數(shù)據(jù)進(jìn)行聚類分析，最終在聽講、睡覺、舉手、回答和寫字五種學(xué)生課堂行為上提高了識別精度。林燦然等人[4]對學(xué)生的起立、端坐和舉手三種行為進(jìn)行研究，取得了較好的結(jié)果。柯斌等人[5]首先對課堂圖像進(jìn)行處理，利用Inception V3算法模型對學(xué)生六類課堂行為進(jìn)行研究，認(rèn)為模型對學(xué)生的單一動作識別率較高。

本文從學(xué)生課堂行為數(shù)據(jù)集入手，首先解決數(shù)據(jù)來源不足的問題，其次對模型提取學(xué)生行為特征的能力進(jìn)行加強(qiáng)，構(gòu)建一種有效的學(xué)生課堂行為識別模型，提高學(xué)生行為識別的準(zhǔn)確率。

1? 學(xué)生行為識別

1.1? 學(xué)生行為識別數(shù)據(jù)集

在目標(biāo)檢測領(lǐng)域中，ImageNet[6]、PASCAL Visual Object Classes （VOC）[7]和Microsoft's Common Objects in Context （COCO）[8]等數(shù)據(jù)集都是眾所周知的基準(zhǔn)數(shù)據(jù)集，但這些數(shù)據(jù)集并沒有包含行為的標(biāo)簽，不能為學(xué)生課堂行為的研究提供幫助，因此，我們構(gòu)建了一個學(xué)生課堂行為數(shù)據(jù)集，為學(xué)生課堂行為的研究提供一個統(tǒng)一的衡量標(biāo)準(zhǔn)。

1.1.1? 數(shù)據(jù)采集

數(shù)據(jù)的采集工作在河南某高校進(jìn)行，拍攝的課堂視頻均屬于真實(shí)課堂中學(xué)生自發(fā)的行為，包括各個學(xué)生目標(biāo)的行為狀態(tài)變化。拍攝過程中，由于人數(shù)、科目、教室等因素的不同會對學(xué)生行為產(chǎn)生影響，我們對學(xué)生課堂進(jìn)行多次拍攝，使得到的學(xué)生行為盡可能全面，并根據(jù)人數(shù)、遮擋情況、拍攝距離等因素將課堂場景劃分為簡單環(huán)境、一般環(huán)境和復(fù)雜環(huán)境。

1.1.2? 數(shù)據(jù)處理

對采集到的學(xué)生課堂視頻進(jìn)行處理，截取具有代表性的高質(zhì)量圖像。由于行為具有連續(xù)性，相鄰幀間的學(xué)生行為差異較小，為了得到不同的學(xué)生行為，每3秒采樣一幀圖像，最終得到1 903張學(xué)生課堂圖像。

根據(jù)采集到的圖像特點(diǎn)，對學(xué)生行為進(jìn)行分類，最終將學(xué)生行為劃分為抬頭、低頭、轉(zhuǎn)頭、玩手機(jī)、讀寫、睡覺、直立、趴著八個類別以及手機(jī)、書兩種行為相關(guān)類別。

根據(jù)劃分的學(xué)生課堂行為對采樣圖像進(jìn)行標(biāo)注，使用標(biāo)注工具LabelImg生成模型可讀的數(shù)據(jù)格式。標(biāo)注工作完成后，共得到137 960個樣本標(biāo)簽，按照3：1：1的比例把數(shù)據(jù)劃分為訓(xùn)練集，驗(yàn)證集和測試集。其中，訓(xùn)練集里的數(shù)據(jù)用來模型訓(xùn)練，學(xué)習(xí)學(xué)生課堂行為特征；驗(yàn)證集里的數(shù)據(jù)用來模型調(diào)整參數(shù)；測試集里的數(shù)據(jù)用來測試學(xué)生課堂行為識別模型的泛化能力。圖1顯示了各學(xué)生課堂行為類別的樣本數(shù)量，表1為數(shù)據(jù)集劃分的詳細(xì)說明。

1.2? 多尺度特征融合

本文選用YOLOv5[9，10]目標(biāo)檢測模型作為基準(zhǔn)模型，該模型由Input、Backbone、Neck、Prediction四部分組成，其中Input是輸入端，負(fù)責(zé)向模型輸入數(shù)據(jù)；Backbone主要負(fù)責(zé)特征的提取，Neck將特征進(jìn)行融合，最后在Prediction進(jìn)行目標(biāo)預(yù)測。

在目標(biāo)檢測任務(wù)中，大多使用卷積神經(jīng)網(wǎng)絡(luò)通過逐層抽象的方式來提取目標(biāo)特征。由于高層網(wǎng)絡(luò)的感受野較大，語義信息表征能力強(qiáng)，但特征圖的分辨率較低，幾何信息的表征能力強(qiáng)；底層網(wǎng)絡(luò)的感受野比較小，幾何細(xì)節(jié)信息表征能力強(qiáng)，分辨率較高，但語義信息表征能力較弱。因此，將高層特征信息與底層特征信息進(jìn)行融合，可以有效提高模型對目標(biāo)的特征提取能力，所以，多尺度特征融合旨在對不同分辨率下的特征進(jìn)行聚合，以獲取更多信息。

在YOLOv5目標(biāo)檢測模型中，使用PANet網(wǎng)絡(luò)進(jìn)行特征融合，但該網(wǎng)絡(luò)把所有特征對結(jié)果的影響視為同等重要，不能有效融合各類特征，大大降低了學(xué)生課堂行為識別的精度。不同的輸入具有不同的分辨率，對融合的輸出特征做出的貢獻(xiàn)也不相同，為了解決這一問題，本文提出了一種雙向特征金字塔網(wǎng)絡(luò)（Bidirectional Feature Pyramid Network， BiFPN），引入可學(xué)習(xí)的權(quán)重來學(xué)習(xí)不同輸入特征的重要性，同時反復(fù)應(yīng)用自頂向下和自底向上的多尺度特征融合，提高模型對學(xué)生行為特征的提取能力和融合能力。圖2分別為PANet網(wǎng)絡(luò)和BiFPN網(wǎng)絡(luò)的結(jié)構(gòu)圖。

相比于PANet，BiFPN有以下特點(diǎn)和優(yōu)勢：1）刪除只有一個輸入邊的節(jié)點(diǎn)。一個節(jié)點(diǎn)只有一個輸入邊，對于融合不同學(xué)生行為特征的貢獻(xiàn)較小。2）處于同一級別的兩個節(jié)點(diǎn)，額外添加一條從原始輸入到輸出節(jié)點(diǎn)的邊，在不增加計算成本的情況下融合更多特征。3）將每個雙向（自頂向下和自定向上）路徑視為一個特征網(wǎng)絡(luò)層，并多次重復(fù)同一層，便于更高級的特征融合。該網(wǎng)絡(luò)能夠方便、快速地進(jìn)行多尺度特征融合，同時可以對主干網(wǎng)絡(luò)、特征網(wǎng)絡(luò)以及最后的預(yù)測網(wǎng)絡(luò)的分辨率、深度和寬度進(jìn)行均勻縮放，以一種更加直觀和有原則的方式優(yōu)化多尺度特征融合。

1.3? 學(xué)生行為識別模型

在學(xué)生課堂行為識別模型構(gòu)建的過程中，首先將課堂視頻處理為模型需要的數(shù)據(jù)格式，然后利用卷積神經(jīng)網(wǎng)絡(luò)提取學(xué)生行為特征，接著用雙向特征金字塔網(wǎng)絡(luò)融合高層特征，然后用目標(biāo)分類網(wǎng)絡(luò)計算學(xué)生目標(biāo)，邊框回歸網(wǎng)絡(luò)計算學(xué)生目標(biāo)位置，最后通過分類學(xué)習(xí)實(shí)現(xiàn)學(xué)生行為識別。本文將BiFPN與目標(biāo)檢測模型YOLOv5進(jìn)行結(jié)合，構(gòu)建新的學(xué)生行為識別模型——Bi-YOLOv5，利用YOLOv5快速檢測的特點(diǎn)和優(yōu)勢，在保證對學(xué)生行為進(jìn)行實(shí)時檢測的同時，提高模型在復(fù)雜環(huán)境下對目標(biāo)的特征的提取能力。圖3為Bi-YOLOv5模型結(jié)構(gòu)圖。

2? 實(shí)驗(yàn)結(jié)果

2.1? 實(shí)驗(yàn)環(huán)境

2.1.1? 實(shí)驗(yàn)環(huán)境

所有實(shí)驗(yàn)均在Windows 10操作系統(tǒng)上進(jìn)行，編程語言為Python 3.9，框架技術(shù)為PyTorch，加速環(huán)境為CUDA 11.3，GPU為NVIDIA GeForce RTX 3060，顯存大小為6 GB。

2.1.2? 模型參數(shù)

模型參數(shù)不同，最終的結(jié)果也會有一定差距，為了使學(xué)生行為識別模型對學(xué)生的課堂行為具有較好的識別率，我們在其他參數(shù)相同的條件下對各項參數(shù)逐一進(jìn)行嘗試，以尋求效果較好的參數(shù)組合。綜合考慮實(shí)驗(yàn)硬件配置和模型效果，最終模型參數(shù)為：batchsize為16，學(xué)習(xí)率大小為0.001，權(quán)重衰減為0.000 5，Adam優(yōu)化器。

2.1.3? 實(shí)驗(yàn)步驟

具體實(shí)驗(yàn)步驟如下：

1）采集學(xué)生的10類典型課堂行為。

2）對數(shù)據(jù)進(jìn)行處理，構(gòu)建數(shù)據(jù)集。

3）將BiFPN網(wǎng)絡(luò)與YOLOv5融合，構(gòu)建新的模型——Bi-YOLOv5。

4）使用訓(xùn)練集和驗(yàn)證集進(jìn)行模型訓(xùn)練，使用余弦退火算法更新學(xué)習(xí)率，設(shè)置訓(xùn)練輪數(shù)為500，訓(xùn)練過程中的損失函數(shù)變化如圖4所示。

5）將訓(xùn)練好的模型對測試數(shù)據(jù)進(jìn)行測試，評估模型性能。

2.2? 實(shí)驗(yàn)結(jié)果和分析

本文探索了改進(jìn)前后的模型在不同教室環(huán)境下對學(xué)生課堂行為識別精度的影響，分別在簡單環(huán)境、一般環(huán)境和復(fù)雜環(huán)境下對學(xué)生行為進(jìn)行多次實(shí)驗(yàn)，在相同參數(shù)下對YOLOv5和Bi-YOLOv5的結(jié)果進(jìn)行對比，YOLOv5原模型在數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2所示，Bi-YOLOv5改進(jìn)模型的實(shí)驗(yàn)結(jié)果如表3所示（簡單代表簡單環(huán)境，一般代表一般環(huán)境，復(fù)雜代表復(fù)雜環(huán)境，所有代表實(shí)驗(yàn)的所有數(shù)據(jù)）。其中，All對應(yīng)所有類別精度的平均精度。為降低結(jié)果的偶然性和精度偏差，每組實(shí)驗(yàn)結(jié)果均取10次相同實(shí)驗(yàn)的平均精度。

從實(shí)驗(yàn)結(jié)果可以看出，隨著課堂環(huán)境復(fù)雜程度的增加，YOLOv5和Bi-YOLOv5對學(xué)生課堂行為的檢測精度逐漸降低。YOLOv5在簡單環(huán)境、一般環(huán)境和復(fù)雜環(huán)境的精度分別為90.5%、73.1%和71.5%，相同條件下，改進(jìn)后的模型比原模型的精度分別高了3.5%、7.3%和6.8%。對于整個數(shù)據(jù)集而言，YOLOv5達(dá)到了78.1%的精度，Bi-YOLOv5達(dá)到了84.6%的檢測精度，比原模型高出6.5個百分點(diǎn)。

3? 結(jié)? 論

本文首先創(chuàng)建了學(xué)生課堂行為數(shù)據(jù)集，在目標(biāo)檢測模型YOLOv5的基礎(chǔ)上，針對課堂環(huán)境復(fù)雜、人數(shù)多、遮擋嚴(yán)重等問題導(dǎo)致學(xué)生課堂行為識別率較低的問題，提出了一種融合雙向特征金字塔網(wǎng)絡(luò)的模型，該模型能有效提取學(xué)生課堂行為特征，使每類學(xué)生課堂行為的識別精度均得到有效提升。后期工作將會圍繞增加學(xué)生課堂行為類別展開工作，進(jìn)一步測試所提方法的有效性。

參考文獻(xiàn)：

[1] 閆興亞，匡婭茜，白光睿，等.基于深度學(xué)習(xí)的學(xué)生課堂行為識別方法 [J/OL].計算機(jī)工程，2022：1-8[2022-11-03].https：//www.cnki.net/KCMS/detail/detail.aspx？dbcode=CAPJ&dbname=CAPJLAST&filename=JSJC20221012000&v=MTIzMTY2amg0VEF6bHEyQTBmTFQ3UjdxZFpPWnNGaS9sVWIvQkkxND1MejdCYmJHNEhOUE5yNDVIWk9zUFl3azd2QkFT.

[2] 王澤杰，沈超敏，趙春，等.融合人體姿態(tài)估計和目標(biāo)檢測的學(xué)生課堂行為識別 [J].華東師范大學(xué)學(xué)報：自然科學(xué)版，2022（2）：55-66.

[3] 董琪琪，劉劍飛，郝祿國，等.基于改進(jìn)SSD算法的學(xué)生課堂行為狀態(tài)識別 [J].計算機(jī)工程與設(shè)計，2021，42（10）：2924-2930.

[4] 林燦然.基于深度學(xué)習(xí)的課堂學(xué)生行為識別技術(shù)研究與分析系統(tǒng)設(shè)計 [D].廣州：廣東工業(yè)大學(xué)，2020.

[5] 柯斌，楊思林，曾睿，等.基于Inception V3的高校學(xué)生課堂行為識別研究 [J].電腦知識與技術(shù)，2021，17（6）：13-15+29.

[6] KUZNETSOVA A，ROM H，ALLDRIN N，et al. The Open Images Dataset V4：Unified image classification，object detection，and visual relationship detection at scale [J].International Journal of Computer Vision，2020，128（7）：1956-1981.

[7] THAKURDESAI N，TRIPATHI A，BUTANI D，et al. Vision：A Deep Learning Approach to provide walking assistance to the visually impaired [J/OL].arXiv：1911.08739 [cs.CV].[2022-11-03].https：//arxiv.org/abs/1911.08739.

[8] LIN T Y，MAIRE M，BELONGIE S，et al. Microsoft COCO：Common Objects in Context [C]//Computer Vision–ECCV 2014.Zurich：Springer，2014：740-755.

[9] REDMON J，DIVVALA S，GIRSHICK R，et al. You Only Look Once：Unified，Real-Time Object Detection [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：779-788.

[10] glenn-jocher. ultralytics/yolov5 [EB/OL].[2022-11-03].https：//github.com/ultralytics/YOLOv5.

作者簡介：張小妮（1996—），女，漢族，河南周口人，碩士研究生在讀，研究方向：大數(shù)據(jù)與云計算。