陳久紅 張海玉

摘要：教室是學(xué)生上課和自習(xí)的主要場所，由于學(xué)校教室有限，尋找無課或人少的教室往往需要花費(fèi)學(xué)生較多時(shí)間。開發(fā)一個(gè)教室人數(shù)統(tǒng)計(jì)系統(tǒng)，幫助學(xué)生快速找到一個(gè)合適的自習(xí)室很有意義。在教室監(jiān)控圖像中學(xué)生個(gè)體是小目標(biāo)，而現(xiàn)有基于卷積神經(jīng)網(wǎng)絡(luò)的R-FCN目標(biāo)檢測算法對小目標(biāo)檢測困難。針對這一問題，在R-FCN基礎(chǔ)上進(jìn)行一系列改進(jìn)，大大提高了R-FCN目標(biāo)檢測算法對小目標(biāo)的識別能力。在自制的數(shù)據(jù)集上進(jìn)行驗(yàn)證，準(zhǔn)確率達(dá)到了89.4%。

關(guān)鍵詞：人數(shù)統(tǒng)計(jì);人頭檢測;R-FCN;卷積神經(jīng)網(wǎng)絡(luò)

DOI：10.11907/rjdL.182682開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

中圖分類號：TP301文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2019）010-0027-03

0引言

基于深度學(xué)習(xí)的教室人數(shù)統(tǒng)計(jì)系統(tǒng)成本低，學(xué)生通過查看此系統(tǒng)可快速找到空閑教室進(jìn)行學(xué)習(xí)，從而節(jié)省大量時(shí)間。除此之外，該系統(tǒng)還可用在許多公共場合，如大型會議場所、商場超市的出入口等，用于統(tǒng)計(jì)場內(nèi)人數(shù)情況;在城市交通運(yùn)輸中進(jìn)行人數(shù)統(tǒng)計(jì)可更好地管理和調(diào)配資源。

近年來，基于深度學(xué)習(xí)的目標(biāo)檢測領(lǐng)域取得了很大突破，從R_CNNE到Fast R_CNNE，再從Faster R_CNNt到R_FCNE，使得某些任務(wù)如人臉檢測、行人檢測得以輕松實(shí)現(xiàn)。文獻(xiàn)采用人臉檢測作為教室人數(shù)統(tǒng)計(jì)依據(jù)，使用一系列預(yù)先設(shè)定的具有不同尺度和寬高比的anchor來檢測人臉。這種基于人臉檢測的人數(shù)統(tǒng)計(jì)方法使用方便、便于部署，缺點(diǎn)是如果學(xué)生低頭記筆記或看書，就會檢測不到人臉，人數(shù)統(tǒng)計(jì)準(zhǔn)確度得不到保證;文獻(xiàn)設(shè)計(jì)一種基于人頭檢測的實(shí)時(shí)人數(shù)統(tǒng)計(jì)方法，采用SSD目標(biāo)檢測算法檢測人頭，這種統(tǒng)計(jì)方法比人臉計(jì)數(shù)更加穩(wěn)定，對人體姿態(tài)沒有特殊要求，具有很強(qiáng)的魯棒性。缺點(diǎn)是通用型目標(biāo)檢測算法對小目標(biāo)不敏感，在監(jiān)測視頻中人體一般很小，人頭在整個(gè)圖像的占比更小，運(yùn)用SSD目標(biāo)檢測算法進(jìn)行人頭檢測會出現(xiàn)較嚴(yán)重的漏檢。

綜上，采用人頭檢測進(jìn)行人數(shù)統(tǒng)計(jì)方法較好，因此本文采用人頭檢測進(jìn)行教室人數(shù)統(tǒng)計(jì)。本文使用R-FCN目標(biāo)檢測框架進(jìn)行檢測。教室中的學(xué)生在監(jiān)控圖片中相當(dāng)于一個(gè)個(gè)小目標(biāo)，而通用的目標(biāo)檢測網(wǎng)絡(luò)對小目標(biāo)不是很敏感。本文對R-FCN目標(biāo)檢測框架的訓(xùn)練機(jī)制進(jìn)行一系列優(yōu)化，增強(qiáng)對小目標(biāo)的識別能力，從而解決基于人頭檢測的方法無法檢測小目標(biāo)的問題。

1R-FCN簡介

R-FCN是一種全新的目標(biāo)檢測架構(gòu)，由微軟亞洲研究院的代季峰研究員于2016年提出。R-FCN對傳統(tǒng)的Faster R-CNN目標(biāo)檢測架構(gòu)內(nèi)部進(jìn)行了改造，將FasterR-CNN的RoI Pooling層后的所有全連接層移除，并利用一種位置敏感特征圖評估各個(gè)類別概率，在保持較高定位準(zhǔn)確度的同時(shí)大幅提高檢測速率。

R-FCN是基于VGG的分類網(wǎng)絡(luò)，在其基礎(chǔ)上進(jìn)行目標(biāo)檢測分為兩個(gè)步驟：①定位目標(biāo);②對定位目標(biāo)進(jìn)行具體的類別分類。R-FCN目標(biāo)檢測框架如圖l所示。首先利用卷積網(wǎng)絡(luò)進(jìn)行特征提取，生成一系列特征映射圖;再利用RPN區(qū)域網(wǎng)絡(luò)，在生成的特征映射圖上進(jìn)行滑窗操作，生成一系列anchors，然后對anchors進(jìn)行回歸和分類操作，最終確定目標(biāo)候選框。在此基礎(chǔ)上，再利用R-FCN提出的位置敏感得分圖對目標(biāo)候選框進(jìn)行分類和回歸。

目標(biāo)檢測解決最小化預(yù)測區(qū)域與真實(shí)區(qū)域之間的誤差和最小化分類誤差，一般用損失函數(shù)衡量。神經(jīng)網(wǎng)絡(luò)的優(yōu)化目標(biāo)就是最小化損失函數(shù)，通常使用隨機(jī)梯度下降法對網(wǎng)絡(luò)中的參數(shù)值進(jìn)行更新，使損失函數(shù)最小化。R-FCN目標(biāo)檢測框架中的損失函數(shù)由分類誤差L_cls和回歸誤差L_reg兩部分組成，損失函數(shù)為：

2教室檢測器

在教室場景下本文對R-FCN目標(biāo)檢測框架采用了如下幾種優(yōu)化方法。

2.1roi-align

在常見的兩級目標(biāo)檢測框架中，全連接層是基本組成結(jié)構(gòu)，但是全連接層只接受固定尺寸輸入，而卷積層操作產(chǎn)生的特征圖大小完全由輸入圖片大小決定，因此卷積操作產(chǎn)生的特征圖不能直接作為全連接層輸入。2015年Ross Girshick在Faster R-CNN目標(biāo)檢測框架中提出了RoI Pooling層。RoI Pooling層的核心作用是將預(yù)選框的坐標(biāo)映射到最后一個(gè)卷積層產(chǎn)生的特征圖中，然后采用最大池化或平均池化方式產(chǎn)生新的特征圖，此時(shí)新的特征圖擁有固定尺寸，可以作為全連接層的輸入，以便進(jìn)行后續(xù)的分類和回歸操作。預(yù)選框的位置由目標(biāo)檢測模型中的區(qū)域推薦網(wǎng)絡(luò)RPN回歸得到，在進(jìn)行預(yù)選框映射和池化操作過程中，RoI Pooling層存在兩次量化過程：①將候選框的邊界坐標(biāo)映射到最后一個(gè)卷積層產(chǎn)生的特征圖中，將映射后的邊界浮點(diǎn)數(shù)坐標(biāo)變成整數(shù)坐標(biāo)值，這樣映射區(qū)域就會變小;②在RoI Pooling層中，由于池化操作，將映射區(qū)域平均分割成k*k個(gè)單元，對每一個(gè)單元的邊界進(jìn)行整數(shù)量化。經(jīng)過上述兩次量化，此時(shí)的RoI pooling層產(chǎn)生的特征圖出現(xiàn)了一定的信息丟失，影響到檢測準(zhǔn)確度。

為解決Roi Pooling的上述缺點(diǎn)，本文使用RoI Align代替RoI Pooling。RoI Align的思路是取消量化操作，使用雙線性內(nèi)插方法獲得坐標(biāo)真實(shí)值，從而將整個(gè)映射和池化過程轉(zhuǎn)化為一個(gè)連續(xù)的操作，使特征信息得以完整保留。而兩者在各自的反向傳播上有著巨大差異，常規(guī)的RoIPooling反向傳播公式如下：

式（5）中，x_i代表池化操作前特征圖上的點(diǎn)，y_rj代表池化操作后第r個(gè)候選區(qū)域的第j個(gè)點(diǎn)。由式（5）可以看出，只有當(dāng)某個(gè)候選區(qū)域上的某個(gè)點(diǎn)在池化操作過程中采用了x_i值，也就是滿足i=i^*（r，j）時(shí)，才在x_i點(diǎn)處進(jìn)行梯度回傳。

Rol Align的反向傳播公式如式（6）所示。

其中，y_ri代表池化操作后的第r個(gè)候選區(qū)域的第j個(gè)點(diǎn)，x_i是某個(gè)候選區(qū)域在池化操作過程中采用的一個(gè)點(diǎn)，i^*（r，j）表示與x_i的橫縱坐標(biāo)都小于1的點(diǎn)，d（·）表示兩點(diǎn)之間的距離符號，△h和△w表示x_i與i^*（r，j）橫縱坐標(biāo)差值的絕對值，這里作為雙線性內(nèi)插系數(shù)乘在原始的梯度上。兩者的最大區(qū)別是：RoI Pooling只是在池化操作中被選用的點(diǎn)才有梯度值，其余點(diǎn)的梯度都為零;而在RoI Align中，不僅在池化操作中選用的點(diǎn)有梯度值，而且與x_i的橫縱坐標(biāo)都小于1的點(diǎn)也有梯度值。而候選區(qū)域是候選框在高維特征圖上的映射，候選區(qū)域的梯度值對卷積層的權(quán)重更新有直接關(guān)系，因此候選區(qū)域的梯度值包含越少的零值，權(quán)重更新就越快，模型收斂也越快。

2.2OHEM算法

OHEM（online hard example miniing）算法的核心思想是根據(jù)輸入樣本損失篩選出hard example（對分類和檢測影響較大的樣本），然后將篩選得到的這些樣本在隨機(jī)梯度下降法中進(jìn)行訓(xùn)練。OHEM算法對于數(shù)據(jù)的類別不平衡問題不需要采用設(shè)置正負(fù)樣本比例的方式解決，因?yàn)檫@種在線選擇方式針對性更強(qiáng)。而且隨著數(shù)據(jù)集的增大，算法的提升會更明顯。因此本文采用OHEM算法，使負(fù)樣本更具有針對性，更能代表整個(gè)負(fù)樣本空間集，能提升分類器的分類效果。OHEM算法在R-FCN網(wǎng)絡(luò)的位置如圖2所示。

2.3ResNet殘差網(wǎng)絡(luò)

學(xué)生在教室監(jiān)控圖片中是一個(gè)個(gè)小目標(biāo)，經(jīng)過一系列卷積層后，在高語義低分辨率的特征映射圖中就不存在學(xué)生的高維特征。如果有一種融合方式將低語義高分辨率的特征映射圖融合進(jìn)高語義低分辨特征映射圖，這樣高語義低分辨率的特征映射圖就有了低語義高分辨率的特征映射圖信息，就可保證在以后的特征提取過程中不會丟失小目標(biāo)信息，增強(qiáng)模型對小目標(biāo)的檢測能力。ResNe網(wǎng)絡(luò)采用shortcut恒等連接，結(jié)構(gòu)如圖3所示。前一層特征映射圖可通過shortcut恒等連接直接作用于后一層的特征映射圖，這樣就可將低語義高分辨率特征映射圖融合進(jìn)高語義低分辨率的特征映射圖中，保證了高維特征圖不會丟失小目標(biāo)。本文將基于VGG分類網(wǎng)絡(luò)的目標(biāo)檢測框架改成基于ResNet殘差分類網(wǎng)絡(luò)框架，使得高語義低分辨率的特征映射圖存在小目標(biāo)特征，使整個(gè)網(wǎng)絡(luò)對小目標(biāo)有較好的檢測能力。

2.4anchor尺寸分配

在使用RPN區(qū)域提取網(wǎng)絡(luò)目標(biāo)檢測框架中，anchor通常設(shè)置為128、256和512三個(gè)基本尺度，而教室中學(xué)生的尺寸遠(yuǎn)小于anchor尺寸，此時(shí)anchor與真實(shí)目標(biāo)框不滿足線性回歸關(guān)系，導(dǎo)致檢測效果不好，模型失效。

本文將anchor尺度設(shè)為8、16、32三個(gè)尺度，此時(shí)小目標(biāo)和anchor尺度較接近，滿足線性回歸關(guān)系。

3實(shí)驗(yàn)

為驗(yàn)證本文改進(jìn)架構(gòu)的實(shí)際效果，采集不同狀態(tài)下的教室圖片共2533張，包含6339個(gè)學(xué)生個(gè)體的目標(biāo)數(shù)據(jù)集。對監(jiān)控圖片中的學(xué)生個(gè)體進(jìn)行標(biāo)簽標(biāo)注，作為真實(shí)標(biāo)簽進(jìn)行訓(xùn)練，最終檢測結(jié)果如圖4所示。

4結(jié)語

本文通過對人數(shù)統(tǒng)計(jì)方法和通用型目標(biāo)檢測框架的深研究，發(fā)現(xiàn)基于人頭檢測的人數(shù)統(tǒng)計(jì)方法遠(yuǎn)好于基于人臉檢測的人數(shù)統(tǒng)計(jì)方法，對R-FCN目標(biāo)檢測框架進(jìn)行相關(guān)優(yōu)化，增強(qiáng)了R-FCN目標(biāo)檢測算法對小目標(biāo)的識別能力。