趙君 龔炳江

摘要：課堂行為是評(píng)估學(xué)生成績(jī)和授課質(zhì)量的重要參考因素。目前關(guān)于課堂行為的研究多是通過(guò)人工問(wèn)卷或直接觀察，準(zhǔn)確率低且費(fèi)時(shí)費(fèi)力。提出使用SSD深度學(xué)習(xí)算法進(jìn)行學(xué)生課堂行為識(shí)別。搜集學(xué)生上課視頻和圖片，經(jīng)過(guò)數(shù)據(jù)預(yù)處理和數(shù)據(jù)增強(qiáng)操作后構(gòu)成數(shù)據(jù)集。訓(xùn)練SSD網(wǎng)絡(luò)模型以識(shí)別學(xué)生坐著，舉手，看手機(jī)，睡覺(jué)，寫作等行為。最后比較SSD、VGG16、RestNet18三個(gè)網(wǎng)絡(luò)在行為檢測(cè)方面的準(zhǔn)確率，得出SSD模型比較出色。

關(guān)鍵詞：行為識(shí)別;SSD;深度學(xué)習(xí);目標(biāo)檢測(cè);圖像處理

中圖分類號(hào)： TP391 ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）34-0212-03

Abstract：Classroom behavior is an important reference factor for evaluating students' achievement and teaching quality.The current research on classroom behaviors mostly through manual questionnaires or direct observation， the accuracy is low and time-consuming. A SSD deep learning algorithm is proposed to identify students' classroom behavior. Collect students' video and go through data preprocessing to form a data set.By training the SSD network model， it is possible to recognize the behaviors of students sitting， raising their hands， watching mobile phones， sleeping， whispering， etc.Finally， the accuracy of the three networks SSD， VGG16， and RestNet18 in behavior detection is compared， and the SSD model is relatively good.

Key words：Behavior recognition; SSD; deep learning; Target detection; Image processing

1 引言

近年來(lái)，深度學(xué)習(xí)快速發(fā)展并被應(yīng)用到各個(gè)領(lǐng)域。隨著國(guó)家提出“利用智能技術(shù)加快推動(dòng)人才培養(yǎng)模式、教學(xué)方法改革，構(gòu)建包含智能學(xué)習(xí)、交互式學(xué)習(xí)的新型教育體系”[1]，實(shí)現(xiàn)智能化教學(xué)是未來(lái)的發(fā)展趨勢(shì)。學(xué)生作為課堂的主體，其行為是對(duì)課堂氛圍、學(xué)習(xí)效果和授課情況等進(jìn)行分析的主要依據(jù)。目前，關(guān)于使用深度學(xué)習(xí)進(jìn)行學(xué)生課堂行為識(shí)別研究的論文不多。魏艷濤[1]等人通過(guò)訓(xùn)練VGG16模型，實(shí)現(xiàn)了對(duì)中學(xué)生睡覺(jué)、寫字等行為的識(shí)別。提供了將深度學(xué)習(xí)用于行為識(shí)別的方法，不過(guò)準(zhǔn)確率還不夠。左國(guó)才[2]等人通過(guò)基于深度學(xué)習(xí)的人臉識(shí)別模型，采用檢測(cè)眼睛和鼻子的方法來(lái)判斷學(xué)生上課專注度。該研究方法對(duì)于學(xué)生狀態(tài)判斷比較細(xì)致，但是由于課堂中人臉容易被遮擋，因此此方法在實(shí)際應(yīng)用中實(shí)施較為困難。尚偉藝[3]則通過(guò)Openpose骨骼檢測(cè)的方式進(jìn)行學(xué)生課堂行為識(shí)別。該方法對(duì)人體動(dòng)作檢測(cè)有很好的效果，不過(guò)教室中人員分布比較密集，容易出現(xiàn)兩個(gè)人之間骨骼關(guān)鍵點(diǎn)錯(cuò)位的現(xiàn)象，進(jìn)而容易造成識(shí)別錯(cuò)誤。

目標(biāo)檢測(cè)方法分為傳統(tǒng)的和基于深度學(xué)習(xí)的，兩者差別主要為是否可以自動(dòng)完成特征提取，因此后者準(zhǔn)確率提升了很多。應(yīng)用較多的目標(biāo)檢測(cè)方法有FasterR-CNN、YOLO和SSD。本文采用的SSD算法在小目標(biāo)檢測(cè)上略高于YOLO算法，和FasterR-CNN相差不多;在檢測(cè)速度上高于FasterR-CNN，幾乎和YOLO相同。綜合考慮，本文使用SSD目標(biāo)檢測(cè)算法展開(kāi)研究，為學(xué)生課堂行為檢測(cè)提供了新的思路。

2 SSD算法

2.1 SSD網(wǎng)絡(luò)結(jié)構(gòu)

SSD網(wǎng)絡(luò)結(jié)構(gòu)包括可以分類圖片的基礎(chǔ)網(wǎng)絡(luò)和輔助網(wǎng)絡(luò)兩部分，是由Liu[4]等人于2016年提出的一種基于回歸的目標(biāo)檢測(cè)算法。本文中基礎(chǔ)網(wǎng)絡(luò)采用修改過(guò)的VGG16模型，將其最后的兩個(gè)全連接層fc6和fc7分別改為3x3和1x1的卷積層，命名為Conv6和Conv7，然后刪除最后的全連接層fc8并添加四個(gè)卷積層[5]。如圖1所示。

2.2 SSD算法原理

1）使用多種尺度的特征圖進(jìn)行檢測(cè)：從整個(gè)網(wǎng)絡(luò)中選擇Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_26這幾個(gè)特征圖進(jìn)行預(yù)測(cè)，并且前面的尺寸大于后面的尺寸。

2）每個(gè)特征圖有其特定數(shù)量和大小的先驗(yàn)框：先驗(yàn)框有正方和長(zhǎng)方形兩種形狀，不同形狀計(jì)算公式不同。具體計(jì)算過(guò)程如下。

① 首先計(jì)算SSD的縮放比：將當(dāng)前用來(lái)檢測(cè)的特診圖設(shè)為[m]層，同時(shí)假設(shè)[Sk]為[k]個(gè)先驗(yàn)框和真實(shí)框相比。

第一層計(jì)算縮放比的公式為：

[Sk=Smin2] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （1）

其他層計(jì)算縮放比的公式為：

[Sk=Smin+Smax-Sminm-1（k-1），k∈[1，m]] ? ? ? ? ? ? ?（2）

通常情況下取[Smin=0.2]、[Smax=0.9]，前者代表真實(shí)框比先驗(yàn)框的值為最小時(shí);后者則表示值為最大時(shí)。

② 計(jì)算兩個(gè)正方形的大小

通過(guò)縮放比與原始圖像尺寸進(jìn)行計(jì)算得到中間小正方形的大小。此時(shí)的Sk不再是縮放比，而是代表中間小正方形尺寸，則令Sk+1為后面那一層先驗(yàn)框的尺寸。

則外面大正方形的大小計(jì)算公式為：

[Sk'=SkSk+1] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （3）

③ 計(jì)算兩個(gè)長(zhǎng)方形的大小

首先給出五種寬高比，然后根據(jù)寬高比計(jì)算長(zhǎng)方形的寬高。

寬高比為：[αr∈{1，2，3，12，13}] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （4）

寬高的計(jì)算公式為：

[wαk=Skαr，hαk=Skαr] ? ? ? ? ? ? ? ? ? ? ? ? （5）

在上面公式中可以發(fā)現(xiàn)，對(duì)于不同層的特征圖都有其特有的先驗(yàn)框尺寸，就算是在同一個(gè)特征圖中每個(gè)柵格的長(zhǎng)方形大小也不同，所以可以高效檢測(cè)大小形狀不一的圖像。

3）損失函數(shù)

SSD損失函數(shù)等于定位損失（[Lloc]）和置信度損失（[Lconf]）的加權(quán)和，其中[c]表示置信度、[l]表示預(yù)測(cè)框、[g]表示真實(shí)框、[n]表示匹配到的默認(rèn)框數(shù)量、[α]表示兩者的權(quán)重[6]。

損失函數(shù)公式為：

[L（x，c，l，g）=1N（Lconf（x，c）+αLloc（x，l，g））] ? ? ? ? ? ?（6）

定位損失和置信度損失的公式如下：其中[P]代表類別序號(hào)，[P=0]時(shí)表示背景;[Xij={0，1}]取1時(shí)表示檢測(cè)到類別為[P]的目標(biāo)，此時(shí)先驗(yàn)框有可以相配的真實(shí)框;[Cpi]表示預(yù)測(cè)為[P]這一類別的概率。

定位損失函數(shù)公式為：

[Lloc（x，l，g）=i∈PosNm∈{cx，xy，w，h}xkijsmoothL1（lmi-gmj）] ? ? ? ? ?（7）

置信度損失函數(shù)公式為：

[Lconf（x，c）=i∈PosNxPijlog（cPi）-i∈Neglog（c0i）] ? ? ? ? ? ? ?（8）

3 模型訓(xùn)練

3.1 制作數(shù)據(jù)集

1）數(shù)據(jù)采集

模型訓(xùn)練之前需要大量數(shù)據(jù)，目前還沒(méi)有專門用于學(xué)生課堂行為識(shí)別的數(shù)據(jù)集，因此本文使用的數(shù)據(jù)集都是來(lái)源教室監(jiān)控錄像和網(wǎng)絡(luò)圖片。視頻圖像需要經(jīng)過(guò)處理才能作為數(shù)據(jù)集，從其中選取包含舉手、端坐、睡覺(jué)、寫字、玩手機(jī)這幾個(gè)動(dòng)作出現(xiàn)比較多視頻段。然后，使用OpenCV對(duì)選取的視頻進(jìn)行幀采樣，分別選出包含以上五個(gè)動(dòng)作的圖片進(jìn)行保存。為了保證訓(xùn)練的速度，盡量保證圖片的大小為200k左，如果圖片太大會(huì)導(dǎo)致訓(xùn)練比較慢。部分圖形數(shù)據(jù)如下所示。

2）數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理在深度學(xué)習(xí)算法中是非常重要的一部分，本文使用的預(yù)處理方法有：①隨機(jī)裁剪，由于SSD涉及了目標(biāo)框標(biāo)注問(wèn)題，因此在隨機(jī)裁剪后需要修改相應(yīng)的目標(biāo)框信息。②在訓(xùn)練時(shí)對(duì)圖像隨機(jī)添加噪聲。

本文能收集的圖像數(shù)據(jù)不多，但是模型訓(xùn)練的精度需要大量數(shù)據(jù)作為支撐，因此本文使用數(shù)據(jù)增強(qiáng)的方法來(lái)增加數(shù)據(jù)量。主要包括對(duì)圖像進(jìn)行水平、左右和隨機(jī)方向翻轉(zhuǎn)，水平方向和豎直方向的平移，以及隨機(jī)改變圖像顏色[7]。經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后，本文數(shù)據(jù)集共2500張圖片。以舉手這一動(dòng)作為例，給出部分?jǐn)?shù)據(jù)增強(qiáng)后的圖片，如下圖所示分別為左右翻轉(zhuǎn)、隨機(jī)翻轉(zhuǎn)和豎直平移后的圖片。

3）標(biāo)簽標(biāo)注

本文使用目前常用的LabelImg圖片標(biāo)注工具。標(biāo)注完成后圖像的一些基本信息，包括存儲(chǔ)位置、大小、類別名稱都保存在xml文件中。

3.2 訓(xùn)練SSD網(wǎng)絡(luò)模型

1）模型訓(xùn)練環(huán)境

2）模型訓(xùn)練過(guò)程中用到的參數(shù)

①訓(xùn)練集、測(cè)試集：網(wǎng)絡(luò)訓(xùn)練用訓(xùn)練集，測(cè)試時(shí)用測(cè)試集。

②batchsize：把所有數(shù)據(jù)劃分為多個(gè)小部分，幾個(gè)部分就有幾個(gè)batchsize，其大小直接影響模型的性能;

③訓(xùn)練次數(shù)（epoch）：把所有數(shù)據(jù)訓(xùn)練完一遍;

④學(xué)習(xí)率（lr）：表示損失函數(shù)中梯度下降的步長(zhǎng)。

3）SSD模型訓(xùn)練過(guò)程

設(shè)置好模型參數(shù)后，將訓(xùn)練集放入SSD網(wǎng)絡(luò)進(jìn)行訓(xùn)練，該過(guò)程主要是找到和圖片中提前標(biāo)注好的目標(biāo)框相配的先驗(yàn)框。先驗(yàn)框有可能找不到相配的目標(biāo)框，也就是其范圍內(nèi)沒(méi)有要識(shí)別的目標(biāo)，將這一類先驗(yàn)框定位負(fù)樣本，如果有的話則為正樣本。如果正負(fù)樣本數(shù)量相差很多，會(huì)造成損失函數(shù)值非常大。因此本文人為減少負(fù)樣本數(shù)量，即在訓(xùn)練中去除一部分負(fù)樣本，使正負(fù)的比約為1：3。

每完成一次訓(xùn)練就會(huì)生成一個(gè)模型，選擇損失函數(shù)最低、準(zhǔn)確率高的作為本次實(shí)驗(yàn)的最終模型，并對(duì)其進(jìn)行測(cè)試和優(yōu)化，直到達(dá)到預(yù)期效果。為了更加直觀的了解訓(xùn)練過(guò)程，將得到的數(shù)據(jù)放到TensorBoard工具中，然后調(diào)用相關(guān)函數(shù)方法就可以看到準(zhǔn)確率等值的變化過(guò)程。

4 實(shí)驗(yàn)結(jié)果分析

為了達(dá)到比較好的識(shí)別效果，本文分別設(shè)置不同的模型參數(shù)進(jìn)行試驗(yàn)，然后通過(guò)對(duì)比選擇最優(yōu)參數(shù)。研究的參數(shù)主要有三個(gè)，訓(xùn)練集和測(cè)試集之比、batchsize大小、以及epoch的取值。

將訓(xùn)練集與測(cè)試集的比值作為研究對(duì)象，分析其值對(duì)結(jié)果的影響。首先將學(xué)習(xí)率設(shè)置為0.0001、batchsize設(shè)置為8，分別選擇三組不同的比值，得到的結(jié)果見(jiàn)表2?？梢钥闯鋈绻氲玫奖容^高的識(shí)別效果，應(yīng)該加大訓(xùn)練集的量。

在上面實(shí)驗(yàn)的基礎(chǔ)上，對(duì)batchsize取值展開(kāi)研究。同樣分別設(shè)置三個(gè)不同的取值，實(shí)驗(yàn)結(jié)果如表3所示。batchsize取值同時(shí)影響準(zhǔn)確率和速度，太小會(huì)影響速度，太大則準(zhǔn)確率不能保證，綜合考慮本文選擇batchsize為8。

分別設(shè)置三個(gè)不同的epoch值，實(shí)驗(yàn)結(jié)果如表4所示。當(dāng)epoch為100時(shí)，損失函數(shù)值和準(zhǔn)確率基本趨于穩(wěn)定。所以在保證準(zhǔn)確率的同時(shí)，為了節(jié)省訓(xùn)練時(shí)間，本文選擇epoch為100。

同時(shí)為了驗(yàn)證算法的有效性，本文在相同迭代次數(shù)和epoch值的情況下，分別選取SSD網(wǎng)絡(luò)、VGG16網(wǎng)絡(luò)和ResNet18網(wǎng)絡(luò)的10次實(shí)驗(yàn)結(jié)果的平均準(zhǔn)確率和速度進(jìn)行對(duì)比。如表5所示，在訓(xùn)練相同次數(shù)的情況下，SSD模型的準(zhǔn)確率高于VGG16和Resnet網(wǎng)絡(luò)模型。

通過(guò)對(duì)不同參數(shù)的研究，得出當(dāng)選取2250張圖像作為測(cè)試集、250張為訓(xùn)練集，設(shè)置學(xué)習(xí)率為0.0001、batchsize為8時(shí)得到的識(shí)別準(zhǔn)確率比較高。經(jīng)過(guò)30000次迭代后，得到每個(gè)行為準(zhǔn)確率如表6所示。其中端坐、舉手、睡覺(jué)準(zhǔn)確率比較高，分別為0.9635、0.9705、0.9531。而寫字為0.8946、看手機(jī)0.8667，效果沒(méi)有前面三個(gè)好。造成的原因有：一方面，看手機(jī)和寫字這些動(dòng)作容易受到遮擋不容易識(shí)別;另一方面，玩手機(jī)和寫字兩個(gè)動(dòng)作比較細(xì)微，造成所采集的部分?jǐn)?shù)據(jù)集中手機(jī)和筆不清楚，這樣就造成關(guān)于這兩個(gè)動(dòng)作的數(shù)據(jù)集減少，進(jìn)而導(dǎo)致訓(xùn)練時(shí)不能提取足夠的特征。

5 結(jié)論

本文分析了目前常用的幾種行為檢測(cè)方法優(yōu)劣，提出基于深度學(xué)習(xí)的SSD算法。該算法的模型訓(xùn)練從輸入到輸出都是自動(dòng)完成的，包括尋找圖像特征。另外SSD算法在完成動(dòng)作識(shí)別的同時(shí)還可以定位目標(biāo)，為針對(duì)特定一個(gè)的學(xué)生進(jìn)行分析奠定了基礎(chǔ)。實(shí)驗(yàn)結(jié)果表明該方法在學(xué)生行為分析方面可以取得不錯(cuò)的效果，例如對(duì)舉手這一動(dòng)作識(shí)別準(zhǔn)確率可以達(dá)到97.05%。但是由于采集的數(shù)據(jù)集數(shù)量不夠龐大、前期圖像標(biāo)注有輕微誤差和教室環(huán)境比較復(fù)雜，關(guān)于寫字和看手機(jī)這些比較小的動(dòng)作識(shí)別準(zhǔn)確率還有待提高。針對(duì)這些問(wèn)題，在后續(xù)工作中將繼續(xù)探討和研究。

參考文獻(xiàn)：

[1] 魏艷濤，秦道影，胡佳敏，等.基于深度學(xué)習(xí)的學(xué)生課堂行為識(shí)別[J].現(xiàn)代教育技術(shù)，2019，29（7）：87-91.

[2] 左國(guó)才，韓東初，蘇秀芝，等.基于深度學(xué)習(xí)人臉識(shí)別技術(shù)的課堂行為分析評(píng)測(cè)系統(tǒng)研究[J].智能計(jì)算機(jī)與應(yīng)用，2019，9（5）：135-137，141.

[3] 尚偉藝.基于視頻圖像的課堂點(diǎn)名及聽(tīng)課狀態(tài)檢測(cè)[D].大連：大連交通大學(xué)，2018.

[4] Liu W，Anguelov D，Erhan D，et al.SSD：single shot MultiBox detector[M]//Computer Vision – ECCV2016.Cham：Springer InternationalPublishing，2016：21-37.

[5] 彭昕昀，李嘉樂(lè)，李婉，等.基于SSD算法的垃圾識(shí)別分類研究[J].韶關(guān)學(xué)院學(xué)報(bào)，2019，40（6）：15-20.

[6] 胡夢(mèng)龍，施雨.基于SSD方法的小目標(biāo)物體檢測(cè)算法研究[J].現(xiàn)代信息科技，2020（3）：5-9.

[7] man_world. 數(shù)據(jù)增強(qiáng)及預(yù)處理[EB/OL]. （2018-04-22）[2020-06-02]. https：//blog.csdn.net/mzpmzk/article/details/80039481.

【通聯(lián)編輯：唐一東】