摘 "要： 精準的學生課堂行為識別結果有助于提升課堂教學效果，為此，設計一種基于卷積神經(jīng)網(wǎng)絡的學生課堂行為識別系統(tǒng)。系統(tǒng)的圖像采集模塊利用SZ?4K512M型攝像機，采集學生課堂行為的視頻圖像，并通過流式傳輸技術將標記后的采集圖像傳輸至圖像預處理模塊；圖像預處理模塊對圖像進行清洗和標準化處理后，傳送至行為識別模塊。行為識別模塊通過卷積層、池化層和全連接層構建卷積神經(jīng)網(wǎng)絡，以已標記的學生課堂行為圖像作為基礎訓練網(wǎng)絡，利用完成訓練的卷積神經(jīng)網(wǎng)絡識別學生課堂行為。實驗結果表明，所設計系統(tǒng)可以精準識別學生玩手機、睡覺、舉手等不同課堂行為，識別精度高于97%，說明該系統(tǒng)可以更好地掌握學生的心理活動變化。

關鍵詞： 學生課堂行為； 識別系統(tǒng)； 卷積神經(jīng)網(wǎng)絡； 視頻圖像采集； 流式傳輸； 標準化處理

中圖分類號： TN711?34； TP391.41 " " " " " " " " " 文獻標識碼： A " " " " " " " " "文章編號： 1004?373X（2024）06?0142?05

Design of student classroom behavior recognition system based on

convolutional neural network

LIU Lin1， 2

（1. Qinghai Normal University， Xining 810000， China; 2. Qinghai Vocational College of Police Officers， Xining 810000， China）

Abstract： Accurate student classroom behavior recognition results can help improve classroom teaching effectiveness. Therefore， a student classroom behavior recognition system based on convolutional neural networks is designed. In the image acquisition module of the system， an SZ?4K512M camera is used to capture video images of students' classroom behavior， and transmit the labeled collected images to the image preprocessing module by means of the streaming transmission technology. The image preprocessing module can clean and standardize the image and transmit it to the behavior recognition module. The behavior recognition module can construct a convolutional neural network by means of the convolutional layers， pooling layers， and fully connected layers. The network is trained based on labeled student classroom behavior images， and the trained convolutional neural network is used to recognize student classroom behavior. The experimental results show that the designed system can accurately recognize different classroom behaviors such as students playing with their phones， sleeping， and raising their hands， with a recognition accuracy of over 97%， indicating that this system can better grasp the changes in students' psychological activities.

Keywords： student classroom behavior; recognition system; convolutional neural networks; video image acquisition; streaming transmission; standardized processing

0 "引 "言

人體行為識別作為智能視頻分析領域必不可少的一部分[1?2]，已成為新的研究熱點，可以應用于智能教室、在線學習平臺等教育場景，為教師提供個性化指導、學生評估和學習分析等支持，輔助教師確定學生的學習狀態(tài)，掌握學生的心理活動。

目前，針對人體行為識別的研究數(shù)量直線增加[3?4]。黃勇康等將深度時空殘差卷積神經(jīng)網(wǎng)絡應用于課堂行為識別中[5]，董琪琪等將SSD算法應用于學生課堂狀態(tài)識別中[6]。兩種方法均可以實現(xiàn)學生課堂行為識別，但是存在運算過程過于復雜、學生課堂狀態(tài)識別精度較差的缺陷。

卷積神經(jīng)網(wǎng)絡是人工智能技術中廣泛使用的重要技術，其具有無需預先提取學生課堂行為圖像特征、識別準確率高的優(yōu)點。因此，本文設計一種基于卷積神經(jīng)網(wǎng)絡的學生課堂行為識別系統(tǒng)，利用卷積神經(jīng)網(wǎng)絡的高效識別性能，為提升教學質(zhì)量提供依據(jù)。

1 "學生課堂行為識別系統(tǒng)設計

1.1 "系統(tǒng)總體結構

學生課堂行為識別系統(tǒng)的總體結構如圖1所示。

通過圖1的學生課堂行為識別系統(tǒng)總體結構圖可以看出，所設計系統(tǒng)的圖像采集模塊利用攝像機采集學生的課堂行為現(xiàn)場視頻圖像。標記處理現(xiàn)場視頻圖像后，利用通信網(wǎng)絡將其傳送至圖像預處理模塊。圖像預處理模塊對圖像進行清洗和標準化處理，再將預處理后的學生課堂行為圖像傳送至行為識別模塊。行為識別模塊利用卷積神經(jīng)網(wǎng)絡識別學生課堂行為，輸出學生課堂行為識別結果?？梢暬缑嬲故緦W生課堂行為識別結果，為課堂教學質(zhì)量評價等應用提供基礎。

1.2 "系統(tǒng)硬件設計

1.2.1 "圖像采集模塊

系統(tǒng)圖像采集模塊結構如圖2所示。

所設計的學生課堂行為識別系統(tǒng)的圖像采集模塊采用流式傳輸技術，持續(xù)、實時采集與傳輸學生課堂行為的視頻圖像。管理人員經(jīng)過系統(tǒng)授權后，獲取學生課堂行為的視頻圖像數(shù)據(jù)[7]，為學生課堂行為智能分析提供基礎。通過圖2可以看出，圖像采集模塊包括攝像機、圖像采集卡、流媒體服務器與流媒體客戶端。利用流媒體服務器將所采集的學生課堂行為數(shù)字視頻信號進行壓縮處理，轉化為壓縮包，并采用壓縮包的形式傳輸數(shù)據(jù)。系統(tǒng)僅為用戶提供其所需的數(shù)據(jù)[8]，其余數(shù)據(jù)放入流媒體緩存區(qū)域內(nèi)，不必等待全部視頻圖像數(shù)據(jù)流傳輸完畢，即可開始學生課堂行為識別。

1.2.2 "視頻圖像采集攝像機

學生課堂行為識別系統(tǒng)中，采集學生課堂行為圖像的攝像機型號選擇極為重要。SZ?4K512M型號攝像機是深圳開視公司研發(fā)的4K錄播攝像機，其采集的4K畫面清晰度更高，便于獲取更加精準的學生課堂行為識別結果[9]，滿足課堂應用場景的使用需求。所以選取型號為SZ?4K512M作為采集學生課堂行為視頻數(shù)據(jù)的攝像機。

系統(tǒng)攝像機的參數(shù)設置如表1所示。

分析表1可知：所選取的攝像機的有效像素高達851萬；攝像機設置了鏡頭光圈，保證攝像機采集課堂行為圖像時，具有足夠的進光量；光圈范圍為F1.6～F2.8，光圈范圍足夠大[10]，可以滿足不同時間段課堂環(huán)境變化時，不同光照度的學生課堂行為視頻圖像采集需求。

1.3 "基于卷積神經(jīng)網(wǎng)絡的課堂行為識別方法

系統(tǒng)的行為識別模塊利用卷積神經(jīng)網(wǎng)絡識別依據(jù)采集模塊采集到的學生課堂行為圖像，從中識別出學生的課堂行為。卷積神經(jīng)網(wǎng)絡的結構圖如圖3所示。

通過圖3可以看出，卷積神經(jīng)網(wǎng)絡通過特征提取和分類器兩部分進行學生課堂行為識別。

卷積神經(jīng)網(wǎng)絡的卷積核利用卷積操作，提取圖像特征。卷積神經(jīng)網(wǎng)絡卷積層輸出結果[xi，j]的計算公式如下：

[xi，j=fi∈Mjxl-1i?klij+blj] " " " " " " （1）

式中：[f·]表示輸出函數(shù)；[i]表示圖像序號；[Mj]表示與特征圖對應圖像特征圖編號為[j]的圖像；[xl-1i]表示第[i]幅圖像在當前卷積層數(shù)為[l-1]時的輸出結果；“[?]”表示卷積運算；[klij]表示第[i]幅圖像中在當前卷積層數(shù)為[l]時圖像特征圖編號為[j]的卷積核；[blj]為偏置。

利用式（1）對輸入的學生課堂行為圖像進行卷積處理，并利用激活函數(shù)激活生成的特征圖作為卷積神經(jīng)網(wǎng)絡的第一個卷積層。采用平均值構造方法構造池化層，利用池化層縮小特征圖的維數(shù)。池化層選取局部求均值方法進行特征圖的特征降維，池化層的輸出結果[Xl，ji]計算公式如下：

[Xl，ji=1Nj=1Nxi，j] " " " " " " "（2）

式中：[Xl，ji]表示池化層的輸出結果；[N]表示特征圖數(shù)量。

將上一個卷積層的輸出結果作為池化層的輸入，將池化層對學生課堂行為圖像的處理結果傳送至下一個卷積層中。卷積神經(jīng)網(wǎng)絡利用池化層計算學生課堂行為圖像特征圖中的局部值。相鄰的池化層通過移動方式從局部區(qū)域讀取數(shù)據(jù)進行降維，簡化學生課堂行為識別的計算過程。

設置全連接層作為卷積神經(jīng)網(wǎng)絡的分類器，將所獲取的學生課堂行為圖像特征圖作為全連接層的輸入。卷積神經(jīng)網(wǎng)絡的分類器將輸入向量與權重向量進行點積運算并與偏置相加，利用激活函數(shù)輸出最終輸出層的狀態(tài)，即學生課堂行為識別結果。選取Sigmoid函數(shù)作為分類器輸出課堂行為識別結果的激活函數(shù)，其表達式如下：

[Sigmoid=11+e-x] " " " " " " " （3）

利用以上過程完成卷積神經(jīng)網(wǎng)絡的運算。利用已標記的學生課堂行為圖像訓練網(wǎng)絡，通過網(wǎng)絡測試輸出學生課堂行為識別結果。

2 "系統(tǒng)測試

2.1 "測試設置

為了測試所設計的學生課堂行為識別系統(tǒng)對學生課堂行為的識別性能，選取某高校通信工程專業(yè)的學生作為研究對象，采集該專業(yè)的高等數(shù)學課程的學生課堂行為圖像，課程時間為9：00—9：40。高等數(shù)學是該專業(yè)學生需要學習的公共課程，課堂上學生人數(shù)較多，學生容易出現(xiàn)睡覺、玩手機等不正確的課堂行為。

在測試前，首先初始化設計系統(tǒng)的軟硬件環(huán)境：編程語言采用Python，深度學習框架選取TensorFlow。將采集到的圖像存儲到OpenCV圖像處理庫中。在上述環(huán)境中，本文系統(tǒng)利用4K錄播攝像機采集學生課堂行為的視頻圖像。從所采集的學生課堂行為視頻圖像中，隨機截取1幅圖像，如圖4所示。

通過圖4實驗結果可以看出，本文系統(tǒng)可以利用設置的攝像機，采集學生課堂行為的視頻圖像信息。所采集的學生課堂行為圖像清晰度較高，可以作為學生課堂行為分析的圖像基礎。除上述準備外，規(guī)定卷積神經(jīng)網(wǎng)絡參數(shù)為：網(wǎng)絡架構為ResNet?50模型；輸入圖像尺寸為224×224像素；批處理大小為32；初始學習率為0.001。

2.2 "結果分析

本文系統(tǒng)的學生課堂行為識別結果如表2所示。

通過表2實驗結果可以看出，本文系統(tǒng)可以有效識別學生在課堂上的玩手機、看書、說話等不同類型的課堂行為。本文系統(tǒng)在識別學生課堂行為的同時，指定了具體的學生，便于教師進行課堂教學管理。

表2中，隨機選取本文系統(tǒng)對學生課堂行為識別結果為睡覺和玩手機的學生，統(tǒng)計與其對應的識別結果，如圖5所示。

分析圖5的實驗結果，本文系統(tǒng)識別的學生課堂行為結果為睡覺和玩手機行為的對應圖像中，學生存在明顯的睡覺行為和玩手機行為。實驗結果驗證，本文系統(tǒng)可以有效識別學生的課堂行為，識別準確性較高。

本文系統(tǒng)選取卷積神經(jīng)網(wǎng)絡方法識別學生的課堂行為，統(tǒng)計本文系統(tǒng)識別不同學生課堂行為的識別性能，結果如表3所示。

從表3實驗結果可以看出，采用本文系統(tǒng)可以精準識別學生玩手機、睡覺、舉手等不同類型的課堂行為，識別精度高于97%，識別精度較高。本文系統(tǒng)采用卷積神經(jīng)網(wǎng)絡識別學生課堂行為時，卷積神經(jīng)網(wǎng)絡的訓練耗時均低于30 s，不同類型課堂行為識別的測試耗時均低于1 s。實驗結果驗證，本文系統(tǒng)不僅具有較高的識別精度，還具有較高的識別實時性。本文系統(tǒng)利用高實時性、高精度的識別性能，提升系統(tǒng)在課堂中的應用性。

3 "結 "論

本文設計一種基于卷積神經(jīng)網(wǎng)絡的學生課堂行為識別系統(tǒng)。所設計系統(tǒng)利用攝像機采集學生課堂行為圖像實時信息后，利用卷積神經(jīng)網(wǎng)絡識別學生課堂行為。實驗結果表明，所設計的學生課堂行為識別系統(tǒng)可以精準識別學習、睡覺、玩手機等不同類型的課堂行為，可以作為提升課堂教學質(zhì)量的重要依據(jù)。

參考文獻

[1] 李秀智，張冉，賈松敏.面向助老行為識別的三維卷積神經(jīng)網(wǎng)絡設計[J].北京工業(yè)大學學報，2021，47（6）：589?597.

[2] 蔣麗，黃仕建，嚴文娟.基于低秩行為信息和多尺度卷積神經(jīng)網(wǎng)絡的人體行為識別方法[J].計算機應用，2021，41（3）：721?726.

[3] 云本勝，干瀟雅，錢亞冠.一種基于隨機森林和改進卷積神經(jīng)網(wǎng)絡的網(wǎng)絡流量分類方法[J].電信科學，2023，39（7）：80?89.

[4] 龍翔，韓蘭勝，王偉豪.基于深度卷積神經(jīng)網(wǎng)絡的異常行為快速識別[J].火力與指揮控制，2023，48（1）：26?32.

[5] 黃勇康，梁美玉，王笑笑，等.基于深度時空殘差卷積神經(jīng)網(wǎng)絡的課堂教學視頻中多人課堂行為識別[J].計算機應用，2022，42（3）：736?742.

[6] 董琪琪，劉劍飛，郝祿國，等.基于改進SSD算法的學生課堂 行為狀態(tài)識別[J].計算機工程與設計，2021，42（10）：2924?2930.

[7] 王瓊，王旭，劉云麟，等.基于改進密集軌跡算法的人體行為識別[J].計算機仿真，2022，39（12）：284?289.

[8] 胡凱，陳旭，朱俊，等.基于多尺度3D卷積神經(jīng)網(wǎng)絡的行為識別方法[J].重慶郵電大學學報（自然科學版），2021，33（6）：970?976.

[9] 蘇超，王國中.基于改進OpenPose的學生行為識別研究[J].計算機應用研究，2021，38（10）：3183?3188.

[10] 錢興，張曉明.基于輕量卷積神經(jīng)網(wǎng)絡的步態(tài)識別系統(tǒng)[J].中北大學學報（自然科學版），2022，43（5）：474?480.

[11] 杜崢.基于深度學習的學生課堂行為識別與分析系統(tǒng)研究[D].邯鄲：河北工程大學，2023.

[12] 胡建華，張軍，吳偉美，等.基于深度學習的課堂行為識別系統(tǒng)[J].電子技術與軟件工程，2021（20）：103?105.

[13] 左國才，蘇秀芝，王海東，等.基于CNN深度學習模型的大學生課堂行為檢測研究[J].智能計算機與應用，2020，10（2）：158?160.

[14] 吳麗娟，任海清，關貴明，等.基于人臉姿態(tài)識別的課堂學習狀態(tài)反饋系統(tǒng)的設計與實現(xiàn)[J].沈陽師范大學學報（自然科學版），2022，40（2）：127?132.

[15] 白茹.基于視頻流媒體的人臉識別課堂監(jiān)控系統(tǒng)[J].電子設計工程，2021，29（23）：166?170.

[16] 王禹鈞，馬致明.基于深度學習的學生課堂行為識別研究[J].軟件工程，2023，26（7）：40?43.