劉新運，葉時平，張登輝

(1.常州大學 信息科學與工程學院，江蘇 常州 213164；2.浙江樹人大學 信息科技學院，浙江 杭州310015)

0 引 言

行為識別應用于課堂場景，能夠幫助教師掌握學生上課狀態(tài)、調整教學方式，并可作為教學評價的重要依據。目前主流的視頻行為識別方法多基于深度學習技術。其中Karpathy等基于CNN設計了4種不同的神經網絡模型用于行為識別[1]。Simmoyan等使用圖像空間特征和時序特征的雙流網絡方法，改善了運動特征提取不足問題[2]。Limin Wang等提出TSN方法將視頻分為K個部分，稀疏采樣后使用雙流網絡提取特征，再融合各部分特征進行行為識別，提高了長時間視頻的行為識別能力[3]。Tran等提出的C3D方法使用三維卷積核提取視頻特征，簡化了網絡結構、提高了檢測速度[4]。Wenbin Du等提出的RPAN方法[5]和Donahue等提出的LRCN方法[6]，采用RNN和LSTM網絡，提升了時間維度的理解能力。

應用中，沈錚等使用改進的CNN模型對經預處理后的連續(xù)幀圖像進行識別，實現了公交車中異常行為的檢測[7]。孔言等將注意力機制融入雙流網絡中，實現了油田現場人員的行為識別[8]。李辰政等使用遷移學習訓練的C3D網絡實現了公共場合下危險行為識別[9]。

上述方法計算成本較高、模型訓練時間較長、實時性不足；此外，所用數據集包含的場景有限、目標單一且小目標少，訓練所得模型難以在課堂場景中推廣。針對課堂場景中學生活動空間有限、行為受時間影響小的特點，可使用多目標回歸的目標檢測方法對學生課堂行為進行檢測。本文主要工作有：

(1)針對檢測任務，通過課堂視頻均勻采樣，建立了學生行為檢測數據集;

(2)通過設計多尺寸輸出的網絡結構、聚類生成的預選框，適應了學生目標尺寸的變化；

(3)采用了兩段式訓練策略，優(yōu)化了訓練參數，提高了模型訓練速度和模型性能。

1 相關算法

YOLO(you only look once)目標檢測算法由Rodmon等提出[10]，其原理是通過神經網絡提取圖像特征，將圖像劃分成S×S個網格，每個網格針對中心落在網格內的目標預測B個邊界框(bounding box)和置信度(confidence scores)，以及C個類別(class)。

該算法采用基于殘差結構[11]與全卷積網絡[12](fully conventional networks，FCN)的Darknet-53[13]，包含53個卷積層，能夠提取圖像更底層的特征。算法采用Anchors boxes機制[14]，使用多個預選框對目標進行預測。其工作原理為：采用大小與比例不同的幾個預選框采集同一網格特征，并根據預測邊框與真實邊框交并比(intersection over union，IOU)與置信度的閾值選擇最適合的預選框采集圖像特征[15]。

YOLO算法在實際應用中應考慮以下幾點：①根據實際場景中數據特點和目標檢測要求，合理設計與制作數據集；②針對實際場景中目標大小及特征深度提取的需求，設計結構合理的網絡；③選擇適應數據特點的模型訓練策略與參數。

2 學生課堂行為檢測方法設計

2.1 實驗數據集

實驗數據來源于17個不同課堂，經采集、篩選和處理、行為統(tǒng)計、標注4個步驟完成數據集制作，具體過程如下：①數據采集。每課堂采集40-50分鐘的視頻數據，總時長680分鐘；②數據篩選與處理。去除視頻中非課堂場景部分，并對課堂部分視頻做均勻采樣，生成jpg格式圖片數據集；③行為統(tǒng)計。經統(tǒng)計各課堂場景中學生行為類別總數為15個，其中7個出現頻率低，單個課堂場景中出現類別最多為7個；④數據標注。以統(tǒng)計結果為依據，選取出現頻率較高的8個類別為標簽對所有圖像文件進行標注，標簽說明見表1，數據按照PASCAL VOC數據集格式進行保存。數據集由圖像文件及包含有標注對象分類信息、邊框位置信息的XML文件組成。

表1 學生課堂行為檢測數據標簽

學生課堂行為檢測數據集共包含1300幅圖像、46 800多個目標，表2表明該數據集具有目標數量大、目標密集、分類和尺寸多變、遮擋率高等特征。

表2 學生課堂行為數據集特征

2.2 模型設計與訓練

如圖1所示，學生行為檢測網絡模型包含DBA結構(Darknetconv2D_BN_Activation)和ResN結構(Resblock_body)。每個DBA結構依次包含一個Conv2D層、一個BN(batch normalization)層和一個激活函數層。每個ResN結構依次由一個Zero padding層、一個DBA結構和N個Res_unit 組成(Res_unit為殘差網絡基本單元)，且同一個ResN結構中特征尺寸不變。該網絡為全卷積網絡，包含75個卷積層，通過改變卷積步長(stride)實現網絡特征尺寸變化。圖1中實線框為網絡模型特征提取的主體部分，由一個DBA結構和5個ResN結構組成。

圖1 網絡模型結構

為提高課堂場景中小目標檢測能力，并兼顧模型檢測速度與準確率，網絡采用圖像32、16、8倍下采樣后的3種尺寸進行輸出。第一種尺寸由特征提取主體后接6個DBA結構和1個Conv2D 層輸出，其維度為13*13*255。第二種尺寸由節(jié)點3輸出經1個DBA結構和一個上采樣層與節(jié)點2連接，再經過6個DBA結構和1個Conv2D層輸出，其維度為26*26*255。第3種尺寸由節(jié)點4輸出經1個DBA結構和一個上采樣層與節(jié)點1連接，再經過6個DBA結構和1個Conv2D層輸出，其維度為52*52*255?；貧w器接收3種尺寸輸出的特征，并計算目標分類值、置信度和位置值，最后計算loss值。

該模型利用特征圖中網格坐標的相對位置來預測目標邊框，使目標位置參數易于收斂。具體計算如式(1)所示，其中xp、yp為預測邊框的中心坐標，wp、hp為預測邊框的寬和高，xg、yg為特征圖中當前預測網格左上角坐標，ε(ox)、ε(oy) 為預測邊框中心坐標相對于xg、yg的偏移量，其中ε為sigmoid函數，用于將ox、oy約束在(0，1)之間，保證預測中心落在當前網格內，wa、ha為預選框的寬和高，wu、hu為預測邊框相對于預選框寬、高的偏移量，e為自然常數

xp=ε(ox)+xg
yp=ε(oy)+yg
wp=wa*ewu
hp=ha*ehu

(1)

loss函數計算如式(2)所示，包含4個損失項，邊框中心坐標損失、寬高損失、置信度損失和分類損失。當預測網格中包含目標物體時θobj=1、θnoobj=0， 否則θobj=0、θnoobj=1。 式中wt、ht、xt、yt為真實邊框寬高和中心坐標值，wp、hp、xp、yp為預測值，ct、cp為置信度真實值與預測值，clt、clp為分類真實值與預測值。其中Η為交叉熵函數，計算括號中參數的交叉熵。此外S為當前特征圖大小，A為預選框的個數，K為分類的種類數

(2)

本文設計了兩段式訓練策略，以提高模型訓練速度。第一階段為適應性階段，加載由COCO數據集[16]訓練所得權重，訓練過程中只對網絡最后三層的權重做更新，使得loss值下降到較為穩(wěn)定的區(qū)間；第二階段為優(yōu)化階段，加載第一階段訓練所得權重，在數據集上迭代訓練，更新網絡各層權重參數，使網絡模型趨于最優(yōu)化、loss值下降到最優(yōu)區(qū)間。

模型訓練時的超參數是影響其訓練速度和性能的另一重要因素，下文將通過實驗對影響模型訓練較大的學習率(learning rate)、批尺寸(batch size)、預選框尺寸、激活函數(activation function)、優(yōu)化器(optimizer)5項參數進行篩選，并確定優(yōu)化的模型訓練方案。

2.3 學生課堂行為檢測

學生課堂行為檢測流程如圖2所示。首先，將課堂監(jiān)控視頻切分成圖像逐幀輸入到訓練好的網絡模型中，由網絡給出預選目標集；其次，通過設定閾值排除得分小的目標的選項，剩余預選目標做降序排列；而后使用非極大值抑制(NMS)排除冗余選項；最后，由回歸器計算出目標位置和分類結果，并在圖像中標示。

圖2 學生課堂行為檢測流程

3 實驗與結果

本文設計了以下5組實驗，用以篩選模型的訓練參數。實驗系統(tǒng)環(huán)境為Ubuntu 18.04.01，算法框架為Keras；計算硬件為Nvidia GPU∶Tesla P100。

3.1 學習率

為避免learning rate過大而造成目標函數發(fā)散、模型難以收斂，實驗選取了10-3，10-4，10-5這3種不同的learning rate，驗證該參數對模型訓練產生的影響，實驗結果如圖3、圖4所示。learning rate為10-5時，loss值下降較為緩慢。當learning rate為10-3時，loss值前期下降較快，但后期發(fā)生了震蕩。learning rate為10-4時，loss值在整個過程中能夠穩(wěn)定下降。

圖3 不同學習率下loss值變化趨勢

圖4 不同學習率下loss值變化趨勢局部圖

3.2 批尺寸

因計算設備內存(12 G)的限制，訓練時batch size設置的上限第一階段為64，第二階段為15。由于第一階段訓練只對模型最后3層的權重做更新，對模型性能影響小，因此主要觀察第二階段batch size變化對模型性能產生的影響。實驗結果見表3，隨著batch size減小，訓練迭代次數增加時，模型有更多的機會向不同梯度方向做更新、更具泛化能力，mAP(平均精準度)值逐漸提高。

3.3 預選框尺寸

為適應課堂場景中不同尺寸學生目標，選取了6、9、12這3個不同的k值，通過聚類訓練集中的目標邊框尺寸，得到3組預選框。實驗結果見表4，其中avg_iou為預測框

表3 不同批尺寸下模型mAP值

表4 不同預選框下模型avg_iou與mAP值

尺寸與真實目標框IOU的平均值。實驗結果表明聚類得到的預選框尺寸提高了模型的檢測性能，且隨著預選框個數的增加模型的檢測性能進一步提升。

3.4 激活函數

實驗對比了ELU、ReLU、LeakyReLU、Softmax為激活函數時模型loss值的變化趨勢，實驗結果如圖5、圖6所示。由于第一階段只對網絡最后3層權重進行更新，導致Softmax作為激活函數時loss值下降緩慢，且Softmax函數易發(fā)生梯度消失現象。相較于指數型的ELU激活函數，ReLU和LeakyReLU這類導數恒定的激活函數計算成本更低，loss值收斂更快。

圖5 不同激活函數下loss值變化趨勢

圖6 不同激活函數下loss值變化趨勢局部圖

3.5 優(yōu)化器

實驗對比了SGD、Adagrad、RMSprop、Adam這4種優(yōu)化器對模型訓練產生的影響，實驗結果如圖7、圖8所示。模型在第一階段訓練中只對最后3層權重進行更新，因此固定學習率的SGD優(yōu)化器效果更佳；第二階段對網絡各層權重進行整體優(yōu)化，RMSprop和Adam優(yōu)化器采用指數移動平均公式計算梯度的二階動量，能自動調整學習率，且改善Adgrad學習率下降過快問題，而Adam計算了梯度的一階動量使模型訓練更具穩(wěn)定性。

圖7 不同優(yōu)化器下loss值變化趨勢

圖8 不同優(yōu)化器下loss值變化趨勢局部圖

3.6 優(yōu)化訓練方案

通過分析以上5組實驗，最終確定訓練方案見表5。詳述如下：①為防止梯度消失，且避免因為ReLU函數在輸入為0時造成的神經元壞死，整個訓練過程都采用LeakyReLU激活函數。②為提高模型的檢測性能，并保證模型訓練速度，訓練過程使用k=9時聚類所得預選框。③第一階段訓練選擇固定學習率的SGD優(yōu)化器，且使用較大學習率與批尺寸，加速第一階段的訓練，使loss值較快向最優(yōu)區(qū)間收斂。④為保證模型穩(wěn)定收斂且具有良好泛化能力，第二階段起始學習率設置為10-4，并使用較小的批尺寸和更適應參數變化的Adam優(yōu)化器。

表5 優(yōu)化訓練方案

經上述方案訓練，模型訓練時長由384分鐘縮減為206分鐘，mAP由最初的35.32%提高為40.73%，在視頻檢測中平均fps為20，檢測效果如圖9所示。

圖9 模型檢測效果

4 結束語

由于課堂場景中學生個體多、行為不統(tǒng)一等特點，常見行為識別方法難以運用其中。本文采用多目標回歸的方法，通過制作學生課堂行為檢測數據集、構造學生行為檢測模型，實現了課堂場景下的學生行為檢測。通過觀察不同參數對模型性能產生的影響，結合兩段式模型訓練策略，本文提出了一種優(yōu)化的模型訓練方案。經過驗證，該方案有效縮短了訓練所需的時長，提高了模型檢測的能力，實現了在視頻中學生行為的實時檢測。