陳濤 謝寧寧 張曦 張玉嬋 史新增 李攀

摘? 要：為了提高教室人數(shù)檢測精度識別出教室的正確狀態(tài)，克服學(xué)生上課姿態(tài)，座位遠(yuǎn)近、面部遮擋、尺度較小等因素而造成傳統(tǒng)人臉檢測技術(shù)識別精度較低，無法滿足實(shí)際需求的問題。實(shí)驗(yàn)采用了如今熱門的實(shí)時(shí)目標(biāo)檢測算法——YOLOv3（YOU ONLY LOOK ONCE v3），并根據(jù)教室這一特定場景采集大量圖像信息樣本，對其進(jìn)行標(biāo)注制成訓(xùn)練集。通過多次訓(xùn)練并不斷調(diào)整參數(shù)，得出最佳的教室人數(shù)檢測模型.實(shí)驗(yàn)結(jié)果表明，在1000張測試集圖片樣本中能得到90%以上的準(zhǔn)確率，可以識別出教室人數(shù)并準(zhǔn)確判斷出教室狀態(tài)，驗(yàn)證了基于YOLOv3的教室人數(shù)檢測方法的有效性。

關(guān)鍵詞：人數(shù)統(tǒng)計(jì);目標(biāo)檢測;YOLO;圖像識別

中圖分類號：TP18 文獻(xiàn)標(biāo)志碼：A 文章編號：2095-2945（2020）27-0030-04

Abstract： In order to improve the detection accuracy of the number of students in the classroom and recognize the correct state of the classroom， overcome the problems of students' classroom postures， seat distances， face occlusions， small scales and other factors which easily result in the low-accuracy recognition of traditional face detection technology， thereby can not meet the actual needs. In the experiment， we used the popular real-time target detection algorithm - YOLOv3 （YOU ONLY LOOK ONCE v3）. A large number of image information samples are collected according to the specific scene of the classroom and labeled to make a training set. By training many times and adjusting the parameters continuously， we got the best number detection model of classroom. The experimental results show that the accuracy rate of more than 90% can be obtained in 1000 test set picture samples， and the number of students in the classroom can be identified and the state of classroom can be accurately determined， which verifies the effectiveness of the number detection method based on YOLOv3.

Keywords： number of students; target detection; YOLO; image recognition

引言

目前CNN（Convolutional Neural Networks）已經(jīng)廣泛應(yīng)用于機(jī)器學(xué)習(xí)、語音識別、圖像識別等多個(gè)領(lǐng)域[1-3]。以CNN為基礎(chǔ)的目標(biāo)檢測算法、人群計(jì)數(shù)算法的發(fā)展也趨于穩(wěn)定，在大部分場景中已有實(shí)際運(yùn)用[4-5]。在課余時(shí)間，在校大學(xué)生往往有上自習(xí)的需求，而圖書館和自習(xí)室存在無座、擁擠等問題，因此教學(xué)樓中空閑的教室就為想上自習(xí)的學(xué)生提供了一個(gè)不錯(cuò)的選擇。根據(jù)實(shí)際體驗(yàn)，因教室的課程安排或臨時(shí)課程安排等諸多因素，同學(xué)將會(huì)花費(fèi)大量時(shí)間尋找一個(gè)沒有安排課程的教室。此外，找到的空閑教室中也存在不久就會(huì)上課的問題，存在頻繁更換教室的問題。因此以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，通過識別教室人數(shù)判斷教室狀態(tài)并匹配課程表過濾有課教室，為同學(xué)推薦人數(shù)最少、可自習(xí)時(shí)間最長的教室具有重要意義，可極大的為在校生的學(xué)習(xí)生活提供便捷。

在傳統(tǒng)的人群計(jì)數(shù)方法中常用的有基于檢測的方法和基于回歸的方法?；跈z測的方法通常會(huì)利用SVM和隨機(jī)森林等傳統(tǒng)機(jī)器學(xué)習(xí)方法訓(xùn)練一個(gè)分類器[6]，利用人體的整體或部分結(jié)構(gòu)，如頭部、肩膀等提取HOG（Histograms of Oriented Gradients）、邊緣等特征來檢測并統(tǒng)計(jì)人數(shù)[7]。但該方法并不適用于人群遮擋的場景，針對不同尺度大小目標(biāo)的檢測效果并不理想?；诨貧w的方法，其思想是學(xué)習(xí)一種特征到人群數(shù)量的映射，通常是學(xué)習(xí)一個(gè)回歸模型來估計(jì)人群的數(shù)量。

相較于傳統(tǒng)機(jī)器學(xué)習(xí)的方法，深度學(xué)習(xí)在計(jì)算機(jī)視覺的識別、檢測方面取得了很大的進(jìn)步，識別精度有了很大的提高[9]。無論是使用目標(biāo)檢測的方法還是基于回歸的方法在CNN上都能得到優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)方法的結(jié)果，隨著深度學(xué)習(xí)的不斷發(fā)展，在目標(biāo)檢測等多領(lǐng)域體現(xiàn)出明顯優(yōu)勢已經(jīng)逐漸開始取代傳統(tǒng)的機(jī)器學(xué)習(xí)方法。

針對高密度人群場景，Zhang等人在2016年提出了MCNN（Multi-column Convolutional Neural Network）[8]利用卷積神經(jīng)網(wǎng)絡(luò)提取密度圖，通過回歸密度圖的方式估計(jì)人群密度，該算法在SHT A得到了110.2的MAE和173.2的MSE[9]。而對于低密度人群、人群無遮擋的場景，采用目標(biāo)檢測的方法進(jìn)行人群計(jì)數(shù)其準(zhǔn)確度明顯優(yōu)于采用密度圖回歸的方法。

因此根據(jù)教室這一特定場景具有人群低密度、遮擋少等特點(diǎn)采用目標(biāo)檢測的方法進(jìn)行人數(shù)統(tǒng)計(jì)。YOLO（You Only Look Once）[9]是Joseph Redmon等人于2015年提出的目標(biāo)檢測算法，最初的版本最多只能檢測49個(gè)目標(biāo)。當(dāng)前，已有YOLOv1、YOLOv2[10]和YOLOv3[11]等多個(gè)版本。在最新的版本中YOLOv3調(diào)整了網(wǎng)絡(luò)結(jié)構(gòu)，利用多尺度特征進(jìn)行對象檢測并且借鑒了殘差網(wǎng)絡(luò)[12]結(jié)構(gòu)，形成更深的網(wǎng)絡(luò)層次。相較于前兩個(gè)版本YOLOv3可分類的目標(biāo)更多、檢測的目標(biāo)更多、檢測速度更快并且檢測精度也更高[11]。在精確度相當(dāng)?shù)那闆r下，YOLOv3的速度是其它目標(biāo)檢測模型的3、4倍[11]。

本文將YOLOv3目標(biāo)檢測算法應(yīng)用于教室人數(shù)識別中，在采集的教室監(jiān)控樣本中訓(xùn)練目標(biāo)檢測模型，利用訓(xùn)練得到的模型對測試集進(jìn)行測試，具有較高的準(zhǔn)確性。

1 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3以darknet-53作為基礎(chǔ)網(wǎng)絡(luò)，整個(gè)網(wǎng)絡(luò)使用了全卷積層，由一系列1x1、3x3的卷積層組成。并且采用了三種先驗(yàn)框13x13、26x26、52x52，可在特征圖上進(jìn)行不同尺度的檢測，提高了小尺度目標(biāo)檢測識別的能力。圖2說明了YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)[11]。

2 實(shí)驗(yàn)過程

2.1 數(shù)據(jù)集制作

實(shí)驗(yàn)數(shù)據(jù)集取自教學(xué)樓各個(gè)教室視頻監(jiān)控，為了提高識別系統(tǒng)在不同時(shí)間段針對不同人數(shù)的檢測能力，因此實(shí)驗(yàn)數(shù)據(jù)集包含多張不同時(shí)間段、不同光照和不同人數(shù)的教室視頻監(jiān)控截圖。在這樣的數(shù)據(jù)集上進(jìn)行模型訓(xùn)練更具有代表性，可更加準(zhǔn)確的反映出教室的準(zhǔn)確狀態(tài)。將獲取到的教室監(jiān)控截圖使用LabelImg進(jìn)行標(biāo)注，產(chǎn)生訓(xùn)練需要的xml文件，xml文件中包含目標(biāo)分類名稱以及目標(biāo)所在位置的坐標(biāo)信息。為了應(yīng)對更多復(fù)雜的光線環(huán)境、進(jìn)一步擴(kuò)充數(shù)據(jù)集的數(shù)量，因此采用了隨機(jī)參數(shù)設(shè)置的方法調(diào)整原始圖像的亮度、對比度和飽和度，訓(xùn)練樣本及標(biāo)注后的訓(xùn)練樣本如圖3所示。最終得到的實(shí)驗(yàn)數(shù)據(jù)集包含3000張教室監(jiān)控截圖樣本訓(xùn)練集，1000張測試集以及1000張驗(yàn)證集。各個(gè)數(shù)據(jù)集中的數(shù)據(jù)均不重復(fù)，如表1所示。

2.2 訓(xùn)練模型過程

本文使用的是基于Pytorch[13]深度學(xué)習(xí)框架實(shí)現(xiàn)的YOLOv3進(jìn)行訓(xùn)練和測試。采用darknet53.conv.74預(yù)訓(xùn)練權(quán)重以及使用數(shù)據(jù)增強(qiáng)方法擴(kuò)充后得到的3000張圖像的訓(xùn)練集進(jìn)行訓(xùn)練。

模型在訓(xùn)練過程中可分為3個(gè)步驟：

（1）根據(jù)損失函數(shù)計(jì)算預(yù)測框的誤差

YOLO的損失由4部分組成：對預(yù)測的中心坐標(biāo)做損失、對預(yù)測邊界框的寬高做損失、對預(yù)測的類別做損失、對預(yù)測的置信度做損失。

對預(yù)測的中心坐標(biāo)做損失公式為：

（1）

式中λcoord表示網(wǎng)格內(nèi)沒有目標(biāo)的系數(shù);l■■表示網(wǎng)格單元i的j網(wǎng)格是否負(fù)責(zé)obj目標(biāo);（x，y）為預(yù)測邊界框的位置，（■，■）為訓(xùn)練數(shù)據(jù)中的實(shí)際位置。

對預(yù)測邊界框的寬高做損失公式為：

（2）

式中（w，h）為預(yù)測框的尺寸，（■，■）為訓(xùn)練數(shù)據(jù)中的實(shí)際尺寸。

對預(yù)測類別做損失的公式為：

（3）

式中p■■（c）為預(yù)測結(jié)果為c類的概率，■■■（c）表示單元格i為c類的真實(shí)概率。

對預(yù)測的置信度做損失的公式為：

（4）

式中C是置信度得分，■是預(yù)測邊界框基本事實(shí)的交叉部分。當(dāng)在一個(gè)單元格中有對象時(shí)，? ? 等于1，否則取值為0。

（2）根據(jù)誤差計(jì)算卷積核中每個(gè)權(quán)重的梯度。

（3）通過基于梯度的優(yōu)化算法更新權(quán)重。

在訓(xùn)練過程中保存模型，在訓(xùn)練結(jié)束后選出最優(yōu)的教室人數(shù)檢測模型。

3 實(shí)驗(yàn)結(jié)果

本次實(shí)驗(yàn)僅需對一類目標(biāo)進(jìn)行識別，故采用精確率（Precision）和召回率（Recall）作為模型的評價(jià)標(biāo)準(zhǔn)，精確率反應(yīng)出在識別的測試集中，預(yù)測出的樣本與實(shí)際正樣本的比值;召回率反應(yīng)出所有正樣本比例中被正確識別為正樣本的比例。

式中：tp為正樣本被正確識別為正樣本;fp為負(fù)樣本被錯(cuò)誤識別為正樣本;fn為正樣本被錯(cuò)誤識別為負(fù)樣本;n為樣本總數(shù)。

網(wǎng)絡(luò)模型完成訓(xùn)練后，得到最終的教室人數(shù)檢測模型，將教室監(jiān)控?cái)?shù)據(jù)幀數(shù)據(jù)輸入模型中，即可完成對教室人數(shù)進(jìn)行檢測，測試結(jié)果如圖4所示。

在訓(xùn)練好的模型上，使用1000張圖像的測試集進(jìn)行驗(yàn)證。基于YOLOv3的教室人數(shù)檢測模型的精確率和召回率如表2所示

表2 重要指標(biāo)

通過表2和圖4可以看到基于YOLOv3網(wǎng)絡(luò)訓(xùn)練的教室人數(shù)檢測方法，其精確率和召回率都達(dá)到90%以上。對一些存在遮擋問題的目標(biāo)也能進(jìn)行有效識別。在實(shí)際應(yīng)用中，可以準(zhǔn)確判斷教室狀態(tài)，滿足實(shí)驗(yàn)需求。

4 結(jié)束語

為了解決傳統(tǒng)目標(biāo)檢測算法帶來的識別精度低、魯棒性差等問題，本文基于YOLOv3目標(biāo)檢測算法實(shí)現(xiàn)了教室人數(shù)實(shí)時(shí)檢測與統(tǒng)計(jì)功能，結(jié)果表明基于YOLOv3的人數(shù)檢測方法無論是在測試精度和還是檢測統(tǒng)計(jì)速度上都取得了良好的效果。在1000張測試集上進(jìn)行評估，達(dá)到了92%的準(zhǔn)確率。本研究的結(jié)果意味著，使用YOLOv3進(jìn)行教室人數(shù)檢測切實(shí)可行，能夠準(zhǔn)確的檢測出教室狀態(tài)，為同學(xué)們推薦符合要求的教室。下一步，將通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)化參數(shù)，進(jìn)一步提高教室人數(shù)檢測算法的識別速度和識別精度。

參考文獻(xiàn)：

[1]武陽，余綜.基于CNN的擴(kuò)展混合端到端中文語音識別模型[J].青島科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，41（01）：104-109+118.

[2]朱超平，楊藝.基于YOLO2和ResNet算法的監(jiān)控視頻中的人臉檢測與識別[J].重慶理工大學(xué)學(xué)報(bào)（自然科學(xué)），2018，32（08）：170-175.

[3]Engineering. Studies from Civil Aviation University of China Further Understanding of Engineering （A Light Cnn for End-to-end Car License Plates Detection and Recognition）[J]. Journal of Technology & Science，2020.

[4]Gao， J.， Lin， W.， Zhao， B.， Wang， D.， Gao， C.， & Wen， J. （2019）. C^3 Framework： An Open-source PyTorch Code for Crowd Counting[J]. ArXiv， abs/1907.02724.

[5]Xingjiao Wu， Baohan Xu， Yingbin Zheng， et al. Fast video crowd counting with a Temporal Aware Network[J]. arXiv，2020， 403：13-20.

[6]江中華.人群密度估計(jì)綜述[J].輕工科技，2018，34（10）：80-81+87.

[7]Li M， Zhang Z， Huang K， et al. Estimating the number of people in crowded scenes by mid based foreground segmentation and head-shoulder detection[C]. International Conference on Pattern Recognition. New York， NY， USA： IEEE， 2008： 1-4.

[8]Zhang Y， Zhou D， Chen S， et al. Single-Image Crowd Counting via Multi-Column Convolutional Neural Network[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2016.

[9]Redmon， J.， Divvala， S.K.， Girshick， R.B.， & Farhadi， A. （2015）. You Only Look Once： Unified， Real-Time Object Detection[J]. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 779-788.

[10]Redmon， J.， & Farhadi， A.（2016）. YOLO9000： Better， Faster， Stronger[J]. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 6517-6525.

[11]Redmon， J.， & Farhadi， A.（2018）. YOLOv3： An Incremental Improvement[J]. ArXiv， abs/1804.02767.

[12]He， K.， Zhang， X.， Ren， S.， & Sun， J.（2016）. Deep Residual Learning for Image Recognition[J]. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），770-778.

[13]本刊訊.Facebook發(fā)布深度學(xué)習(xí)框架PyTorch 1.3[J].數(shù)據(jù)分析與知識發(fā)現(xiàn)，2019，3（10）：65.