倪 童，桑慶兵

（江南大學(xué)人工智能與計(jì)算機(jī)學(xué)院，江蘇無錫 214122）

0 概述

近年來，我國大力推進(jìn)教育信息化［1］，提出以信息技術(shù)為支撐，提升教學(xué)管理水平的方案。基于此，高校不斷完善信息化基礎(chǔ)設(shè)施建設(shè)，視頻監(jiān)控、投影儀、電腦等技術(shù)設(shè)備被廣泛應(yīng)用于教學(xué)場(chǎng)景中。隨著人工智能等新興技術(shù)的興起，有研究人員提出智慧校園［2］的概念，出現(xiàn)了計(jì)算機(jī)視覺和教育領(lǐng)域相結(jié)合的新局面。由基于人臉檢測(cè)［3-5］實(shí)現(xiàn)的課堂考勤［6-7］以及基于行為識(shí)別等相關(guān)技術(shù)實(shí)現(xiàn)的動(dòng)作識(shí)別［8-10］已初見成效，抬頭率作為衡量課堂聽課專注度的重要指標(biāo)，已逐漸進(jìn)入研究人員的視野。

目前檢測(cè)抬頭率的方法主要有兩種：一是基于人臉檢測(cè)獲取人臉的位置，并通過分類器對(duì)獲取的人臉信息進(jìn)行分類以得到頭部狀態(tài)［11］；二是基于人臉姿態(tài)估計(jì)［12］獲得面部朝向的角度信息，通過角度反應(yīng)學(xué)生頭部狀態(tài)。上述兩種方法均基于人臉進(jìn)行，因此依賴于人臉獲取的情況，但在真實(shí)的課堂場(chǎng)景下，由于受光照、監(jiān)控設(shè)備清晰度等各類因素影響，要獲得完整清晰的人臉有一定難度，因此基于人臉的方法具有一定局限性。

得益于深度學(xué)習(xí)的發(fā)展，使用深度學(xué)習(xí)的檢測(cè)方法［13-15］越來越多，REN 等［16］提出Faster R-CNN 算法，利用RPN 網(wǎng)絡(luò)并基于Anchor 機(jī)制來生成候選框，進(jìn)一步提升檢測(cè)精度和檢測(cè)效率。文獻(xiàn)［17］提出YOLOv3 算法，使用3 個(gè)尺度的特征圖提升小目標(biāo)的檢測(cè)效果。但在課堂視頻中，人物相對(duì)復(fù)雜，特征提取較困難，且當(dāng)學(xué)生出現(xiàn)遮擋時(shí)，容易出現(xiàn)遺漏目標(biāo)的情況。

本文引入視覺特征RGB difference，將其與原圖提取后的特征相融合，并使用改進(jìn)的注意力模型（Improved Convolutional Block Attention Module，ICBAM）構(gòu)建新的特征提取網(wǎng)絡(luò)。此外，通過設(shè)計(jì)精煉模塊對(duì)檢測(cè)結(jié)果進(jìn)行優(yōu)化，以提高抬頭率檢測(cè)的準(zhǔn)確性。

1 抬頭率檢測(cè)算法

基于注意力機(jī)制和特征融合的抬頭率檢測(cè)算法結(jié)構(gòu)如圖1 所示。對(duì)于一段完整的課堂視頻，將其逐幀拆分并作為網(wǎng)絡(luò)的輸入，同時(shí)引入RGB difference 視覺特征作為網(wǎng)絡(luò)的另一支輸入，可視化結(jié)果如圖2 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版），從人眼的角度容易看出其中人物的輪廓。之所以選擇引入RGB difference，是因?yàn)檎n堂的監(jiān)控設(shè)備是固定視角，RGB difference 能夠弱化背景等靜物，保持網(wǎng)絡(luò)對(duì)人物這一動(dòng)態(tài)目標(biāo)的關(guān)注度。原圖和RGB difference 被輸入加載了ICBAM 的特征提取網(wǎng)絡(luò)，得到2 個(gè)尺寸相同的Feature Map：Fi和Fr，F(xiàn)i和Fr進(jìn)行elementwise 加和得到最終的融合 特征圖。以融合特征提取網(wǎng)絡(luò)為backbone，使用YOLOv3 進(jìn)行頭部檢測(cè)。與人臉相比，頭部包含更豐富的視覺信息，且受遮擋等因素的影響更小，對(duì)抬頭率檢測(cè)具有重要作用。在獲得頭部邊界框集合后，通過精煉模塊對(duì)結(jié)果進(jìn)一步優(yōu)化。

圖1 基于注意力機(jī)制和特征融合的抬頭率檢測(cè)算法結(jié)構(gòu)Fig.1 Structure of head up rate detection algorithm based on attention mechanism and feature fusion

圖2 RGB difference 特征Fig.2 RGB difference feature

1.1 改進(jìn)的注意力模塊

注意力機(jī)制從模擬生物學(xué)的角度出發(fā)，使神經(jīng)網(wǎng)絡(luò)具備專注于其輸入或特征子集的能力。文獻(xiàn)［18］提出卷積塊注意力模塊（Convolutional Block Attention Module，CBAM），其結(jié)構(gòu)如圖3 所示。CBAM 通過通道注意力模塊和空間注意力模塊依次對(duì)輸入特征進(jìn)行處理，并獲得精煉特征。在課堂視頻中，教室背景和物品并非關(guān)注的目標(biāo)，因此在網(wǎng)絡(luò)中添加注意力模型能夠提升提取有效特征的能力。由于CBAM 使用串型結(jié)構(gòu)，因此空間注意力模塊對(duì)特征的解釋能力在一定程度上依賴通道注意力的輸出。此外，CBAM 在通道注意力模塊和空間注意力模塊的前端均使用MaxPool 和AvgPool，這會(huì)損失圖像部件之間精確的空間相對(duì)關(guān)系?；谏鲜鰡栴}，本文提出ICBAM 模型，其結(jié)構(gòu)如圖4 所示。

圖3 CBAM 模型的結(jié)構(gòu)Fig.3 Structure of CBAM model

圖4 ICBAM 模型的結(jié)構(gòu)Fig.4 Structure of ICBAM model

為避免空間注意力模塊對(duì)通道注意力模塊的依賴，ICBAM 模型使用雙流結(jié)構(gòu)。且在網(wǎng)絡(luò)之后，將通道注意力模塊輸出的Mc(F)和空間注意力模塊輸出 的Ms(F) 分別與輸入特征圖F∈RH×W×C進(jìn) 行elementwise 乘法操作，得到2 個(gè)特征圖Fc和Fs，F(xiàn)c和Fs進(jìn)行elementwise 加和后得到最終輸出特征圖Fout，計(jì)算公式分別如下所示：

為獲取通道注意力模塊的輸出Mc(F)，輸入特征圖F∈RH×W×C分別在H和W2 個(gè)維度做global max pooling 和global average pooling，同時(shí)在H和W維度上做膨脹系數(shù)r=2，filter_num=C的W×H空洞卷積，這里加入空洞卷積是因?yàn)檩斎胩卣鳛榇至６忍卣?，包含豐富的原始信息，使用空洞卷積可以擴(kuò)大感受野，過濾冗余特征?？斩淳矸e的本質(zhì)是一般卷積的延伸，其輸出y[i]可以表示為：

其中：x［·］表示一維輸入信號(hào)；w[l]為卷積核；l為卷積核大??；r為膨脹系數(shù)。

二維空洞卷積的示意圖如圖5 所示。輸入特征經(jīng)過global max pooling、global avreage pooling 和空洞卷積得到3 個(gè)1×1×C的特征圖，并將其輸入共享權(quán)重的多層感知機(jī)［19］，分別得到映射特征圖。

圖5 不同膨脹系數(shù)的空洞卷積示意圖Fig.5 Schematic diagram of cavity convolution with different expansion coefficients

將3 個(gè)特征圖進(jìn)行elementwise 加和并用sigmoid函數(shù)激活后得到通道注意力模塊輸出Mc(F)。Mc(F)的計(jì)算公式如式（5）所示：

其 中：W0∈RC/r×C；W1∈RC×C/r；C/r為MLP 隱層神經(jīng)元個(gè)數(shù)；C為輸出層神經(jīng)元個(gè)數(shù)。

為獲取空間注意力模塊的輸出Ms(F)，輸入特征圖F∈RH×W×C并在通道維度做global max pooling和global average pooling，隨后在W和H維度做空洞卷積。參數(shù)設(shè)置：膨脹系數(shù)r=2；filter_num=1；zero_padding=2；size=3×3。3 個(gè)輸出特征和在通道維度上concat成一個(gè)維度為W×H×3的特征圖，然后通過卷積層和sigmoid 函數(shù)激活得到最終空間注意力模塊Ms(F)。Ms(F)的計(jì)算公式如下：

其中：f7×7表示卷積核尺寸為7×7 的卷積層。

與CBAM 模型相比，ICBAM 模型使用了雙流結(jié)構(gòu)，剝離了空間注意力模塊對(duì)通道注意力模塊的直接依賴，使兩者獲得了相同的權(quán)重。此外，在2 個(gè)注意力模塊中加入的空洞卷積擴(kuò)大了感受野，能夠過濾冗余特征。

1.2 精煉模塊

精煉模塊用于進(jìn)一步優(yōu)化檢測(cè)網(wǎng)絡(luò)，其主要包括特殊幀判定和相鄰幀信息融合兩部分。

1.2.1 特殊幀判定

由于視頻包含一些抬頭和低頭姿態(tài)切換瞬間的特殊幀，模型在預(yù)測(cè)時(shí)容易將一個(gè)目標(biāo)預(yù)測(cè)為2 個(gè)不同目標(biāo)，如圖6 所示。圖6 中疊加的2 個(gè)邊界框?qū)儆谔厥獐B加，無法在預(yù)測(cè)時(shí)通過非極大值抑制［20］等常規(guī)過濾方法解決，因?yàn)榀B加的2 個(gè)邊界框置信度相當(dāng)，模型判定這是2 個(gè)不同的目標(biāo)。為保證后續(xù)抬頭率計(jì)算的精確度，需對(duì)頭部檢測(cè)后的基礎(chǔ)邊界框進(jìn)行精煉。

圖6 邊界框疊加Fig.6 Boundary box overlay

特殊疊加的2 個(gè)邊界框具有位置相近、大小相當(dāng)、狀態(tài)分類相反和置信度相當(dāng)?shù)奶攸c(diǎn)，基于以上特點(diǎn)設(shè)計(jì)算法，算法流程如圖7 所示。

圖7 特殊幀判定流程Fig.7 Procedure of special frame determination

算法的具體步驟如下：

步驟1同一幀內(nèi)，對(duì)每一個(gè)檢測(cè)到的頭部邊界框，搜尋是否存在與其疊加的邊界框，若未搜尋到則算法結(jié)束；

步驟2判斷疊加的2 個(gè)邊界框是否具有特殊疊加的特點(diǎn)，若滿足則為特殊疊加，若不滿足則算法結(jié)束；

步驟3刪除兩者中置信度較小的邊界框。

1.2.2 相鄰幀信息融合

到目前為止，每一幀分析相互獨(dú)立，結(jié)果單一依賴檢測(cè)神經(jīng)網(wǎng)絡(luò)的結(jié)果，這容易造成多目標(biāo)檢測(cè)不全面的問題。為此，所提模塊利用視頻時(shí)序信息，對(duì)相鄰兩幀頭部邊界框進(jìn)行融合，使視頻序列構(gòu)成鏈?zhǔn)浇Y(jié)構(gòu)。算法流程如圖8 所示。

圖8 相鄰幀信息融合流程Fig.8 Procedure of adjacent frame information fusion

具體如算法1 所示：

算法1相鄰幀信息融合

其中：pi表示上一幀第i個(gè)頭部邊界框；ni表示當(dāng)前幀第i個(gè)頭部邊界框；max_IOU 表示pi與N中所有邊界框的最大交并比。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

由于目前在抬頭率檢測(cè)領(lǐng)域沒有相關(guān)的公開數(shù)據(jù)集，因此采集課堂視頻數(shù)據(jù)并進(jìn)行人工標(biāo)注，自建抬頭率檢測(cè)數(shù)據(jù)集RDS。RDS 數(shù)據(jù)集共包含378 個(gè)課堂視頻片段，每段視頻時(shí)長(zhǎng)10 s 左右。除了對(duì)每段視頻的抬頭率標(biāo)注外，還以從每20 幀中抽取一幀的方式進(jìn)行頭部邊界框標(biāo)注，標(biāo)注原則為上至頭部頂端，下至下顎，左右至雙耳。視頻采集攝像機(jī)型號(hào)為海康威視DS-2CD3321FD-IW1-T，架設(shè)位置為講臺(tái)上方1 m 處，固定斜向下正面視角。截取視頻部分幀作為數(shù)據(jù)樣例，如圖9 所示。

圖9 RDS 數(shù)據(jù)樣例Fig.9 RDS data sample

2.2 實(shí)驗(yàn)環(huán)境及參數(shù)

硬件環(huán)境：Intel Core I5 處理器；NVIDIA GEFORCEE GTX 860 顯卡；16 GB 內(nèi)存。軟件環(huán)境：anaconda python3.7.1；JetBrains PyCharm Community Edition 2019.1.2 x64，tensorflow1.13.1，opencv，numpy1.12，easydict等。參數(shù)說明：本文使用的IOU 閾值為0.5，置信度閾值為0.8，膨脹系數(shù)為2，訓(xùn)練初始學(xué)習(xí)率為1×10-4，結(jié)尾學(xué)習(xí)率為1×10-6，batch size 為8。

2.3 評(píng)價(jià)指標(biāo)

為衡量算法輸出的準(zhǔn)確性，采用平均抬頭率誤差（mRR Error）作為評(píng)價(jià)指標(biāo)。平均抬頭率誤差是指算法的所有輸出抬頭率與真實(shí)抬頭率之差的平均絕對(duì)值，該指標(biāo)能反映算法的輸出結(jié)果與實(shí)際值之間的偏差，mRR Error 越小代表算法的準(zhǔn)確性越好。mRR Error 的定義如下：

其中：n表示測(cè)試集包含視頻總數(shù)；Ri表示第i個(gè)視頻的算法輸出抬頭率；Ti表示第i個(gè)視頻的實(shí)際抬頭率；m為視頻包含幀數(shù)；rk表示視頻第k幀抬頭人數(shù)；tk表示視頻第k幀總?cè)藬?shù)。

2.4 實(shí)驗(yàn)與結(jié)果分析

2.4.1 消融實(shí)驗(yàn)

為驗(yàn)證RGB difference 特征、ICBAM 和精煉模塊對(duì)模型性能的影響，對(duì)加載上述部件前后的模型進(jìn)行實(shí)驗(yàn)對(duì)比，結(jié)果如表1 所示，其中“√”表示加載此部件，“—”表示不加載此部件。

表1 不同部件對(duì)模型性能的影響Table 1 Influence of different components on model performance %

由表1 可知，RGB difference 特征、ICBAM 和精煉模塊對(duì)模型性能的提升均有不同程度的促進(jìn)作用，其中處于較高層次的精煉模塊對(duì)性能的影響較大，當(dāng)加載所有部件時(shí)，模型性能取得最優(yōu)。

圖10 為訓(xùn)練過程中mRR Error 隨著迭代次數(shù)變化的曲線圖，從中可以看出加載了所有部件的模型相比基礎(chǔ)模型的mRR Eerror 更低，效果更好。

圖10 mRR Error 隨迭代次數(shù)變化的曲線Fig.10 Curve of MRR error with the number of iterations

2.4.2 ICBAM 和CBAM 模型的對(duì)比實(shí)驗(yàn)

本文在CBAM 模型的基礎(chǔ)上改進(jìn)提出ICBAM模型，為比較兩者的效果，在其他部件保持一致的條件下進(jìn)行CBAM 和ICBAM 的對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，加載CBAM 模型的mRR Error 為15.981，加載ICBAM 模型的mRR Error 為15.648，經(jīng)過改進(jìn)的ICBAM 的mRR Error 比CBAM 更低。

2.4.3 ICBAM 加載位置對(duì)mRR Error 的影響

為比較ICBAM 不同加載位置對(duì)mRR Error 的影響，設(shè)計(jì)3 組不同的位置方案并進(jìn)行對(duì)比：1）僅加載至特征提取網(wǎng)絡(luò)前端；2）僅加載至后端；3）前端+后端，實(shí)驗(yàn)結(jié)果如表2 所示。由表2 可知，在特征提取網(wǎng)絡(luò)前端和后端分別加載ICBAM 的效果最好，且前端部分影響較大，這說明ICBAM 對(duì)淺層特征的提取效果更好。

表2 ICBAM 加載位置對(duì)性能影響Table 2 Effect of ICBAM loading position on performance %

2.4.4 空洞卷積參數(shù)對(duì)性能的影響

空洞卷積參數(shù)主要是指膨脹系數(shù)，實(shí)驗(yàn)對(duì)使用不同膨脹系數(shù)的空洞卷積效果進(jìn)行對(duì)比，結(jié)果如表3所示。其中膨脹系數(shù)為2 的空洞卷積效果較好，原因可能是膨脹系數(shù)較小時(shí)，保留的原始信息更完整，進(jìn)而導(dǎo)致mRR Error 更低。

表3 不同膨脹系數(shù)對(duì)性能影響Table 3 Effect of different expansion coefficient on Performance %

2.4.5 不同抬頭率檢測(cè)算法對(duì)比

表4為注意力和特征融合抬頭率檢測(cè)算法與其他抬頭率檢測(cè)算法在RDS 數(shù)據(jù)集上的性能對(duì)比。運(yùn)算時(shí)間為檢測(cè)一段幀率為20 frame/s 的10 s 視頻片段所用時(shí)間。雖然本文所提算法是基于深度學(xué)習(xí)的方法，在速度上稍慢，但是在準(zhǔn)確度上取得了不錯(cuò)的表現(xiàn)。

表4 RDS 數(shù)據(jù)集上不同抬頭率檢測(cè)算法性能對(duì)比Table 4 Performance comparison of different head up rate detection algorithms on RDS datasets

本文算法和CBAM+YOLOv3、D53+YOLOv3 均是基于YOLOv3 的算法，因此在檢測(cè)部分的計(jì)算量一致。之所以本文算法相較于這3 種算法較慢有2 個(gè)主要原因：1）在特征提取網(wǎng)絡(luò)中這2 種算法均僅使用原圖作為輸入，本文算法在逐幀提取特征的同時(shí)還需計(jì)算并生成每一幀對(duì)應(yīng)的RGB difference 特征，且雙流結(jié)構(gòu)的特征提取網(wǎng)絡(luò)需要更高的計(jì)算量；2）本文算法相較于以上2 種算法額外設(shè)計(jì)了2 個(gè)精煉模塊以提升檢測(cè)結(jié)果的準(zhǔn)確性，因此增加了檢測(cè)時(shí)間。

3 軟件實(shí)現(xiàn)

在注意力和特征融合的抬頭率檢測(cè)算法的基礎(chǔ)上，基于PyQt5+TensorFlow1.13 框架構(gòu)建課堂行為分析軟件。軟件主要實(shí)現(xiàn)課堂到課人數(shù)、課堂抬頭率和個(gè)人抬頭率3 個(gè)計(jì)算需求，共包含3 個(gè)頁面：首頁（主界面），視頻頁和分析結(jié)果頁。

1）首頁：用戶進(jìn)入系統(tǒng)后通過首頁選擇待分析的視頻文件，確認(rèn)分析后等待視頻分析完成即可向其他界面查詢分析結(jié)果。首頁僅保留了視頻選擇和視頻分析2 個(gè)功能，配置參數(shù)及選項(xiàng)均向用戶隱藏，有助于提升系統(tǒng)的易用性。分析軟件主界面如圖11 所示。

圖11 軟件主界面Fig.11 Software main interface

2）視頻頁：視頻頁以播放器的形式向用戶展示分析完成的視頻數(shù)據(jù)，能直觀反映分析結(jié)果，視頻的每一幀會(huì)以黃色的矩形框標(biāo)注低頭的學(xué)生（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版），以綠色的矩形框標(biāo)注抬頭的學(xué)生，矩形框上方的數(shù)字表示該學(xué)生從視頻開始到現(xiàn)在的個(gè)人抬頭率。視頻頁支持視頻導(dǎo)出功能，界面如圖12 所示。

圖12 視頻頁Fig.12 Video page

3）分析結(jié)果頁：分析結(jié)果頁展示文本及圖表形式的分析結(jié)果，包括到課人數(shù)、課堂專注度、平均抬頭率以及總體抬頭率變化折線圖，有助于反映課堂的聽課情況，若平均抬頭率低于50%，則會(huì)反饋課堂專注度低，并對(duì)課堂專注度和平均抬頭率標(biāo)紅（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版），界面如圖13 所示。

4 結(jié)束語

為提升課堂監(jiān)督管理質(zhì)量，本文提出一種結(jié)合注意力機(jī)制和特征融合的課堂抬頭率檢測(cè)算法。使用RGB difference 視覺特征獲得信息更為豐富的深層融合特征，并構(gòu)建一種改進(jìn)的注意力模型ICBAM加載至特征提取網(wǎng)絡(luò)上，提升網(wǎng)絡(luò)的特征提取能力。此外，在ICBAM 中引入空洞卷積過濾冗余特征，通過設(shè)計(jì)精煉模塊對(duì)預(yù)測(cè)結(jié)果進(jìn)行優(yōu)化，并在所提算法的基礎(chǔ)上設(shè)計(jì)完成課堂行為分析軟件。實(shí)驗(yàn)結(jié)果表明，本文算法在抬頭率檢測(cè)數(shù)據(jù)集RDS 上的平均抬頭率誤差為15.648%，相比于SolvePnP 等主流檢測(cè)算法具有更低的誤差率。下一步將通過提高模型的運(yùn)行速度，拓展分析軟件可以識(shí)別的行為種類，從而優(yōu)化軟件的界面設(shè)計(jì)，以獲得更大的應(yīng)用價(jià)值。