郭遇強， 趙豪翔， 陳思源， 張 斌

（鄭州大學 地球科學與技術學院， 鄭州 450001）

0 引 言

由于時間和空間等多種因素影響，校園許多教室的空間沒有得到合理的利用。 例如，學校一些教室人滿為患，而一些教室卻只有寥寥數(shù)人；有些時間段教室人數(shù)比較少，而有些時間段卻比較擁擠，以至于沒有位置提供給學生自習。 但在很多情況下，學生在前往自習室之前卻無法得知自習室的使用情況，不利于選擇合適的自習室。 這就對學生學習造成了些許不便，同時降低了校園內(nèi)的教室空間資源利用率。 考慮到教室內(nèi)都配有攝像頭，能夠提供實時的攝像機圖像，如此一來則為改善該問題提供了思路和必要的數(shù)據(jù)基礎。

研究可知，如果需要準確獲取自習室的人數(shù)，通過攝像頭視頻數(shù)據(jù)進行人的識別是很重要的一項工作，也是后續(xù)各項研究的基礎，其運行速度、準確率等指標都會影響分析應用的效果［1］。 2014 年，RCNN 將PASCAL VOC 2012［2］數(shù)據(jù)集上的驗證指標提升了30%，成功將深度學習應用到了目標檢測領域［3］，在該領域內(nèi)識別圖片中的人逐漸成為熱門的研究內(nèi)容。 最近幾年，研究者們提出了許多不同的、適用于各種場景的模型，在識別人的準確度和速度中取得了可觀的進展。

1 設計思路

當前，基于深度學習目標檢測算法模型主要分為基于候選框生成與分類的two-stage［4-5］方法和基于回歸的one-stage 方法［6］。 其中，two-stage 方法是在產(chǎn)生一系列候選框的基礎上進行回歸和分類，代表性成果是最早將深度學習應用在目標檢測領域的R-CNN［7］算法，使用了卷積神經(jīng)網(wǎng)絡對感興趣的區(qū)域進行特征提取，但是其選擇性過程無法通過GPU 等并行計算設備進行加速，會分別提取每個區(qū)域的特征，造成重復計算，訓練耗時費力。 隨后，研究人員提出了SPP-Net［8］、Fast R-CNN［9］等算法，加強了部分之間的聯(lián)系，提升了檢測的速度。 而one-stage 方法略過了候選框這一步驟，采用卷積神經(jīng)網(wǎng)絡對圖像數(shù)據(jù)進行卷積操作，直接進行特征提取并進行分類，雖然精確度比two-stage 方法略低，但大大提升了目標識別速度，代表性成果為YOLO算法［10-11］，這是將對象檢測視為一個回歸問題、而不是一個分類問題，使用單個神經(jīng)網(wǎng)絡來完成檢測對象的所有階段，大大提高了檢測速度，除此以外，還可以被訓練來檢測不同的對象。 目前，主流算法的優(yōu)缺點及使用場景見表1。

表1 目標檢測算法優(yōu)缺點及適用場景［12］Tab． 1 Advantages， disadvantages and applicable scenarios of target detection algorithm［12］

通過分析各種算法模型特點可知，YOLOv5 算法網(wǎng)絡結(jié)構簡單、檢測速度快，能較好地滿足室內(nèi)區(qū)域?qū)θ梭w目標的識別。 本文設計采用YOLOv5 的預訓練模型作為目標檢測算法模型，使用OpenCVPython 模塊的VideoCapture 子模塊獲取待處理圖像。 系統(tǒng)后端采用圖像處理方法，應用YOLOv5 網(wǎng)絡模型處理教室視頻，計算其中的人數(shù)，并允許學生對教室和人數(shù)進行查詢，從而方便學生根據(jù)自身需要，靈活地選擇自己想要前往的教室。 系統(tǒng)前端利用百度地圖JavaScript API［13］構建交互地圖，使用HTML、CSS、JavaScript［14］搭建頁面。

1．1 算法設計

自從2016 年Redmon 等學者［15］提出目標識別領域的YOLOv1 模型開始，YOLO 系列便不斷推陳出新，直到2020 年推出YOLOv5 模型，模型性能最佳，體積更小，版本已相當成熟，更加適合實際工程的應用，而且可以通過PyTorch 輕松完成部署與實現(xiàn)。 YOLOv5 的網(wǎng)絡結(jié)構主要由輸入端、Backone、Neck 以及Prediction 四部分組成，如圖1 所示。

圖1 YOLOv5 網(wǎng)絡結(jié)構［16］Fig． 1 Network structure of YOLOv5［16］

由圖1 可知，輸入端表示輸入的圖片或視頻幀，為了方便后續(xù)的圖像處理，該階段會對輸入的圖像進行預處理，將圖像縮放到網(wǎng)絡的輸入大小后再做歸一化處理。 Backbone 部分主要用于從圖片中提取信息和特征，以供后續(xù)的網(wǎng)絡使用。 YOLOv5 使用CSPDarknet 作為Backbone，CSPNet 解決了其他大型卷積神經(jīng)網(wǎng)絡框架Backbone 中網(wǎng)絡優(yōu)化的梯度信息重復問題，將梯度的變化從頭到尾地集成到特征圖中，因此減少了模型的參數(shù)量和FLOPS數(shù)值，既保證了推理速度和準確率，又減小了模型尺寸。 Neck 網(wǎng)絡部分通常位于Backone 網(wǎng)絡部分和Prediction 部分的中間位置，可用來進一步提升特征的多樣性。 Prediction 部分用來完成目標檢測結(jié)果的輸出。 針對不同的檢測算法，輸出端的分支個數(shù)不盡相同，通常包含一個分類分支和一個回歸分支。

相較于前期成果，YOLOv5 在如下方面進行了提高和改善:

（1）輸入端。 通過使用Mosaic 數(shù)據(jù)增強的方式來豐富數(shù)據(jù)集和提高訓練速度，該方式是在CutMix數(shù)據(jù)增強方法的基礎上改進而來，相較于CutMix 數(shù)據(jù)增強方法的2 張圖片，Mosaic 數(shù)據(jù)增強方法采用了4 張圖片，按照隨機縮放、隨機裁剪和隨機排布的方式進行拼接而成，適用面更廣，同時通過自適應錨框計算和自適應圖片縮放來提高算法的適用度和推算速度。

（2）Backbone 部分。 采用Focus 結(jié)構和CSP 結(jié)構增強了CNN 的學習能力，在確保準確率的情況下減少了計算量，并降低了內(nèi)存成本。

（3）Neck 部分。 YOLOv5 的Neck 和YOLOv4中一樣，都采用FPN ＋PAN 的結(jié)構。 YOLOv4 的Neck 結(jié)構中，采用的都是普通的卷積操作。 而YOLOv5 的Neck 結(jié)構中，采用借鑒CSPNet 設計的CSP2 結(jié)構，加強網(wǎng)絡特征融合的能力。

（4）Prediction 部分。 采用GIoU_Loss［17］作為Bounding box 的損失函數(shù)。 該方法不僅簡單，還具有尺度不變性。

目前， YOLOv5 的目標檢測網(wǎng)絡主要有YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x 等4 個主要模型，各模型計算速度和檢測精度如圖2 所示。本文采用YOLOv5s 網(wǎng)絡模型，該模型是YOLOv5 中各類模型的基礎，具有深度最小、計算速度最快的優(yōu)點，能很好地滿足系統(tǒng)對運算速度的要求，其它的網(wǎng)絡模型都是在該模型的基礎上對網(wǎng)絡的加深與加寬。

圖2 YOLOv5 的主要模型及其性能（基于COCO 數(shù)據(jù)集）［18］Fig． 2 Main models and performance of YOLOv5 （based on COCO data set）［18］

1．2 系統(tǒng)整體框架

按照“高內(nèi)聚、低耦合”的設計思想，將系統(tǒng)分為表現(xiàn)層、業(yè)務層、數(shù)據(jù)層三層架構，分工明確，每層內(nèi)功能集中，層與層之間相互獨立，便于維護。 具體架構如圖3 所示。 這里對此將給出如下闡釋論述如下。

圖3 系統(tǒng)架構圖Fig． 3 System architecture

（1）數(shù)據(jù)層、即系統(tǒng)所需的數(shù)據(jù)庫。 包含教室位置信息、教室人數(shù)、教室可承載的最大人數(shù)、教學樓的課表。 教室位置與教室最大承載人數(shù)需開發(fā)人員提前錄入。

（2）業(yè)務層。 通過連接數(shù)據(jù)庫，獲取教室的信息與課表。 對課表進行查詢與修改操作，對教室的信息進行查詢與更新。

（3）表現(xiàn)層。 為展示給用戶的界面，用戶可以通過查詢功能獲知目的地教學樓當前時段有哪些較為空閑的教室，并獲知教室當前人數(shù)與最大承載數(shù)，從而決定前往哪間教室。 管理員可通過地圖交互，對特定教學樓內(nèi)的攝像頭進行瀏覽，并可在Web 頁面根據(jù)不同專業(yè)的課表信息及時修改教學樓課表，保證信息的實時性、準確性。

1．3 數(shù)據(jù)庫結(jié)構設計

數(shù)據(jù)庫的功能是對空閑教室查詢提供數(shù)據(jù)支撐，實現(xiàn)對數(shù)據(jù)的存儲、維護和查詢等功能。 根據(jù)用戶查詢的需要構建系統(tǒng)數(shù)據(jù)庫，設置教學樓課表與教室信息表。

教學樓課表采用教學樓名稱作為表名，也就是一棟樓即為數(shù)據(jù)庫中的一張表，以星期作為該表一條記錄的關鍵字，按照每天10 節(jié)小課分為10 個時間段。 該表需要集合不同專業(yè)的上課需求，統(tǒng)計出每天哪個時段的哪間教室沒有上課需求，按照“教室樓／教室編號”的格式提前錄入，即表示當天該時段該教學樓內(nèi)的所有空閑教室。 若某一時間段有上課需求，則表中以空值“NULL”填入。 無課表的結(jié)構見表2。

表2 教學樓課表數(shù)據(jù)結(jié)構圖Tab． 2 Class schedule data structure of teaching buildings

教室位置、教室人數(shù)、教室最大承載人數(shù)集中顯示在同一張表中，其中教室位置按照“教學樓／教室編號”的格式進行錄入，作為一條記錄的關鍵字，為了避免調(diào)用數(shù)據(jù)時由于不同編碼導致的中文亂碼問題，因此在錄入時統(tǒng)一以英文方式錄入。 教室信息表結(jié)構見表3。

表3 教室信息數(shù)據(jù)結(jié)構圖Tab． 3 Classroom information data structure

1．4 教室人數(shù)信息的獲取

OpenCV-Python 模塊的VideoCapture 子模塊對MP4 格式有著良好的支持，可以直接獲取指定幀數(shù)并保存。 利用該模塊，將視頻按幀循環(huán)讀取，將當前視頻幀以.jpeg 格式進行存儲，對存儲路徑進行設置，使路徑中包含圖片所對應的教室位置。 具體流程如圖4 所示。

圖4 獲取人數(shù)流程圖Fig． 4 Flow chart of obtaining the number of people

調(diào)用YOLOv5 對保存的圖片進行處理，即可得到截取圖片時刻的人數(shù)信息。 通過設置后綴為.pt的模型包文件、識別類型等參數(shù)，為了能在框架運行時同步調(diào)用控制臺，利用Python 的OS 模塊的popen子模塊，該模塊允許開發(fā)者在Python 內(nèi)直接運行控制臺命令。 根據(jù)保存的圖片路徑，構建命令行提示符（cmd）命令，處理結(jié)果如圖5 所示。

圖5 測試圖片處理結(jié)果Fig． 5 Test image processing results

圖5 中，將所有符合條件的人全部框出，標識框上方為置信度，該數(shù)字代表標識框內(nèi)區(qū)域中存在人的概率，概率越大，準確性越高。 遍歷所有標識框，設置參數(shù)，過濾置信度較低的標識框，統(tǒng)計符合目標檢測結(jié)果的數(shù)目，即為當前畫面中的人數(shù)。

獲取人數(shù)信息后，根據(jù)圖片路徑中所包含的位置信息，構建SQL 語句［19］更新數(shù)據(jù)庫中的人數(shù)信息。 當沒有人在圖片中時，該模型會返回空值，此時對空值進行替換，將整型0 代替空值存入數(shù)據(jù)庫中。

2 自習室人數(shù)監(jiān)控與查詢試驗

2．1 數(shù)據(jù)集介紹

本次實驗的運行環(huán)境:CPU 為Intel core i5 6300HQ，內(nèi)存為8 G，操作系統(tǒng)為Windows 10，開發(fā)語言為Python，Pytorch 的CPU 版框架。

YOLOv5 自身模型文件的構建基于COCO 數(shù)據(jù)集［20］，COCO 數(shù)據(jù)集是微軟公司于2014 年出資標注的Microsoft COCO 數(shù)據(jù)集，該數(shù)據(jù)集是一個大型的物體檢測數(shù)據(jù)集。 本文通過手機在自習室錄制了學生自習時的視頻，按幀截取視頻，獲得總計300 張教室圖片作為測試數(shù)據(jù)集，每張圖像的分辨率大小為1920×1080。

2．2 測試結(jié)果與分析

2.2.1 圖片處理結(jié)果分析

單張圖片處理結(jié)果如圖6 所示。 從圖6 中可以看出，大部分人員可以準確識別并標出，但部分人員無法識別出來。 產(chǎn)生此誤差的原因是YOLOv5 自身的識別誤差。

圖6 單張圖片處理結(jié)果Fig． 6 Single picture processing result

多次重復實驗，得到每一次處理的準確率，制作圖表如圖7 所示。 從圖7 中可以看出，每次處理前后結(jié)果并不相同，但總體準確率穩(wěn)定在80% ～100%之間，可以滿足日常生活中自習室檢測人數(shù)的需求。

圖7 圖片處理準確率Fig． 7 Processing accuracy of the image

每次處理圖片所需時間如圖8 所示，由于Python 為動態(tài)類型語言，在相同硬件條件下，每次處理同一段代碼所需時間不一致。 每次處理時間均在4 s 內(nèi)，表示該框架處理圖片所需時間短，處理速度快，可以滿足實際應用的時間效率需求。

2.2.2 管理功能測試

管理員在瀏覽界面能夠在學校地圖上選擇任意教學樓，且可以查看當前教室人數(shù)概況以及該攝像頭下的監(jiān)控畫面中的人數(shù)，監(jiān)控畫面如圖9 所示。測試得到的瀏覽界面中，使用進度條概括顯示當前人數(shù)占教室可以承載的總?cè)藬?shù)的比例，圖9 顯示本系統(tǒng)相應功能實現(xiàn)完整，操作能夠順利準確運行。

圖9 攝像頭瀏覽界面Fig． 9 Camera browsing interface

2.2.3 查詢功能測試

用戶選擇目的地與自習時間，系統(tǒng)將根據(jù)用戶的查詢要求，結(jié)合當前各個自習室的人數(shù)情況和各個教室的排課情況，得出符合用戶需求的自習室列表，以供用戶選擇。 其具體查詢界面如圖10 所示。圖10 表明，本系統(tǒng)能夠正確完成相應的查詢操作，并且，將教室當前人數(shù)少于最大人數(shù)的一半的教室置為綠色，大于最大人數(shù)的一半置為紅色，幫助用戶可以更快地確定自己的目的地。

圖10 查詢結(jié)果Fig． 10 Query results

3 結(jié)束語

本文從校園自習室空間利用的角度出發(fā)，通過視頻攝像頭獲取影像數(shù)據(jù)，引入深度學習的計算方法，介紹了基于YOLOv5 的自習室人數(shù)監(jiān)控與查詢系統(tǒng)的設計思路、具體實現(xiàn)及應用試驗等內(nèi)容。 系統(tǒng)使用OpenCV-Python 模塊的VideoCapture 子模塊，調(diào)用YOLOv5 算法處理視頻幀，上傳至數(shù)據(jù)庫，同時通過調(diào)用數(shù)據(jù)庫，將結(jié)果以網(wǎng)頁端的形式展現(xiàn)出來，整個流程從視頻幀處理到數(shù)據(jù)庫數(shù)據(jù)更新，最后到網(wǎng)頁端刷新顯示僅需數(shù)分鐘，對于短時間內(nèi)人流量變動較小的公共空間，諸如自習室、圖書館等，有著較好的應用前景，能夠加強對自習室的管理，給學生們尋找自習室提供幫助，提高自習室的使用效率。 后續(xù)將進一步對系統(tǒng)加以改進完善，在獲取實時監(jiān)控影像基礎上優(yōu)化數(shù)據(jù)流程及代碼，縮短整個過程所需要的時間，以利于應用到更多場景中。