李明,杜茂華

（650500 云南省 昆明市 昆明理工大學(xué) 機(jī)電工程學(xué)院）

0 引言

摩托車、電動車、自行車等騎乘交通工具以其便捷、便宜、環(huán)保等特點(diǎn)受到出行者的廣泛歡迎，但這類騎乘人員在駕駛過程中完全暴露于道路之中，容易在交通事故中傷亡。2019 年，我國共發(fā)生交通事故244 058 起，其中摩托車、非機(jī)動車、自行車交通事故發(fā)生數(shù)共76 967 起，占比約為31.54%。摩托車、非機(jī)動車、自行車發(fā)生交通事故致死人數(shù)占總交通事故死亡人數(shù)的24.91%[1]。

騎行頭盔是騎乘交通工具不可缺少的一部分，可以有效減少發(fā)生交通事故時的傷亡。近幾年全國各地陸續(xù)開始實(shí)施相關(guān)法規(guī)，要求騎乘者必須佩戴安全頭盔。在各個交通要道安排執(zhí)勤人員檢測騎乘者頭盔佩戴情況，但是這種檢測方式效率低、漏檢率高，對執(zhí)勤人員的生命安全也存在一定威脅。

近十年人工智能崛起，機(jī)器學(xué)習(xí)代替了人工學(xué)習(xí)，極大地提高了工作效率，尤其在圖像處理領(lǐng)域，深度學(xué)習(xí)成果顯著。采用深度學(xué)習(xí)網(wǎng)絡(luò)對騎行人員進(jìn)行頭盔佩戴檢測能有效解決當(dāng)前所存在的問題。目前，基于深度學(xué)習(xí)的目標(biāo)檢測算法主要分為2 類：（1）兩階段（Two-stage）算法，如RCNN[2]（Region-proposal Convolutional Neural Network）、Fast R-CNN[3]、Faster R-CNN[4]、R-FCN[5]（Regionbased fully convolutional network）、Mask R-CNN[6]等；（2）單階段（One-stage）算法，如SSD[7]（Single Shot MultiBox Detector）、YOLO[8]（You Only Look Once）等。這2 類算法的區(qū)別在于是否需要生成候選框。一般而言，使用兩階段算法的模型在預(yù)測精度上表現(xiàn)優(yōu)秀，但2 步計算方式增加了計算成本，影響網(wǎng)絡(luò)訓(xùn)練速度。YOLO、SSD 等單階段算法將目標(biāo)邊框定位問題轉(zhuǎn)化為回歸問題，可以進(jìn)行端到端檢測，因?yàn)闆]有候選框，所以速度快、實(shí)時性好，被廣泛應(yīng)用于工程實(shí)際中。

頭盔檢測應(yīng)用的場景是車水馬龍的交通道路，環(huán)境復(fù)雜，且人流車流量大。不但要對龐大的車流人流進(jìn)行分析，還要從中識別出騎行者有無佩戴頭盔，所以對模型運(yùn)算精度和實(shí)時性都有較高的要求。因此，本文采用具有較高精度且時效性更好的單階段算法YOLOv4 模型。傳統(tǒng)檢測方法將待檢測目標(biāo)劃分為2 部分：騎車人和騎乘工具[9-10]，這樣制作的數(shù)據(jù)集極易將非騎行人員納入識別范圍，增加了擬識別對象的數(shù)目，也就增加了計算量和計算過程，所以在人員密集環(huán)境下的檢測精度不高。為此，本文采用人與車整體標(biāo)定的方法，即在制作數(shù)據(jù)集時，將騎車人與騎乘工具標(biāo)定為一個整體。這樣，訓(xùn)練出的網(wǎng)絡(luò)就可有效地將騎車者與非騎車者區(qū)別開來；同時，為了實(shí)現(xiàn)遠(yuǎn)程監(jiān)控功能，采用以太網(wǎng)搭配網(wǎng)絡(luò)攝像頭的方式，將現(xiàn)場采集的視頻流通過以太網(wǎng)實(shí)時輸送到Y(jié)OLOv4 模型中進(jìn)行分析預(yù)測，以實(shí)現(xiàn)遠(yuǎn)程目標(biāo)的檢測。

1 YOLOv4 算法原理

2020 年4 月，Bochkovskiy 等[11]在前3 版YOLO 模型的基礎(chǔ)上，提出了YOLOv4 的網(wǎng)絡(luò)模型，該模型將Cross-Stage-connection（CSP）、Self-adversarial-training（SAT）、Mosaic data augmentation 等技術(shù)融合，使YOLOv4 性能得到大幅度提高。圖1 所示為各神經(jīng)網(wǎng)絡(luò)的性能對比。

圖1 各神經(jīng)網(wǎng)絡(luò)的性能對比Fig.1 Performance comparison of each neural network

與YOLOv3 相比YOLOv4 網(wǎng)絡(luò)主要有以下改進(jìn)：（1）使用CSPDarknet53[12]代替Darknet53 作為特征提取網(wǎng)絡(luò)，目的是解決復(fù)雜卷積神經(jīng)網(wǎng)絡(luò)框架主干中網(wǎng)絡(luò)優(yōu)化梯度信息重復(fù)的問題[13]。CSPDarknet53 模塊示意圖如圖2 所示；（2）使用SPP[14]網(wǎng)絡(luò)作為Neck 的附加模塊，主要解決輸入圖像尺寸與所要求尺寸不匹配、對圖像進(jìn)行拉伸和裁剪時易失真的問題。該方法應(yīng)用于YOLOv4 中，增強(qiáng)了網(wǎng)絡(luò)感受野。網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖3 所示；（3）使用PANet[15]作為Neck 的特征融合模塊，進(jìn)一步加強(qiáng)了YOLOv4 的特征提取能力。

圖2 CSPDarknet53 模塊示意圖Fig.2 CSPDarknet53 module diagram

圖3 YOLOv4 網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.3 Schematic diagram of YOLOv4 network structure

2 實(shí)驗(yàn)

實(shí)驗(yàn)平臺是Windows10(64位)操作系統(tǒng)，CPU為AMD Ryzen 7 4800H，2.9 GHz，GPU 為NVIDIA GTX1650Ti，顯存為4 G。CUDA 版本為10.2，CuDNN版本為7.6.5，采用的編程語言為Python3.7。

2.1 數(shù)據(jù)集制作

為了適應(yīng)在復(fù)雜交通環(huán)境中對來往騎行車輛進(jìn)行頭盔檢測，本文采用網(wǎng)絡(luò)爬取圖片加攝像頭拍攝的方式制作數(shù)據(jù)集。網(wǎng)絡(luò)爬取的目的是收集不同拍攝角度騎行狀態(tài)的圖片，便于后期模型能學(xué)到多種特征，進(jìn)而提高檢測的精度。攝像頭拍攝馬路上真實(shí)交通狀態(tài)，一張圖片中包含多個檢測目標(biāo)，有利于后期訓(xùn)練出的模型對密集目標(biāo)的檢測，更好地擬合實(shí)際交通情況。圖片采集情況如圖4 所示。

圖4 圖片采集Fig.4 Image acquisition

為了解決現(xiàn)有模型[9]錯誤地將行人判定為待檢測目標(biāo)的問題，本文采用整體標(biāo)定的方式對擬檢測目標(biāo)進(jìn)行標(biāo)定，使得模型檢測的范圍鎖定為騎行者而非其他目標(biāo)，整體標(biāo)定例圖如圖5 所示。因?yàn)閷δ繕?biāo)進(jìn)行檢測屬于監(jiān)督學(xué)習(xí)的范疇，所以要對訓(xùn)練集中待檢測的目標(biāo)進(jìn)行位置和類別的標(biāo)注。采用Labeling 軟件對圖片進(jìn)行逐一標(biāo)注，生成xml 文件，文件格式如圖6 所示。本次數(shù)據(jù)集一共采集1 500張圖片，其中75%作為訓(xùn)練集，25%作為測試集。

圖5 整體標(biāo)定示意圖Fig.5 Overall calibration diagram

圖6 xml 文件Fig.6 xml file

2.2 二分K-means 先驗(yàn)框聚類分析

對于一個給定的樣本，樣本里包含n個對象，X={X1,X2,X3,…,Xn}，隨機(jī)設(shè)置K個特征空間內(nèi)的點(diǎn)作為初始的聚類中心{m1,m2,m3,…,mk}，然后計算每個點(diǎn)到K個中心的歐式距離，未知的點(diǎn)選擇最近的一個聚類中心點(diǎn)作為標(biāo)記類別。歐式距離表達(dá)式為

式中：Xi——第i個對象；mi——第i個聚類中心；Xit——第i個對象的第t個屬性。

采用誤差二次方和準(zhǔn)則函數(shù)作為聚類準(zhǔn)則函數(shù)，誤差二次方和J為

式中：ni——第i個聚類樣本點(diǎn)數(shù)量；mi——第i個聚類中心；Xij——第i個聚類中的第j個樣本點(diǎn)。

本實(shí)驗(yàn)所涉及的對象只有戴頭盔與未帶頭盔2種，因此需要重新對先驗(yàn)框進(jìn)行聚類分析。K-means算法具有收斂速度快、聚類效果較好的優(yōu)點(diǎn)，但得到的結(jié)果和運(yùn)行時間容易受初始聚類中心的影響，一旦初始聚類中心選取不恰當(dāng)，就容易造成局部最優(yōu)解。為了解決局部最優(yōu)解問題，本實(shí)驗(yàn)采用二分K-means 算法對先驗(yàn)框進(jìn)行聚類分析。該算法不需要選擇初始聚類中心，由一個樣本集分裂后得到2 個簇，對于K個簇則進(jìn)行K-1 次分裂，具體流程如圖7 所示[16]。實(shí)驗(yàn)得到在K=9 時先驗(yàn)框最優(yōu)，分別為（35，84）、（80，118）、（115，162）、（92，282）、（151，219）、（148，441）、（223，338）、（285，500）、（431，543）。之后再將新的聚類結(jié)果更新到Y(jié)OLOv4 的配置文件中進(jìn)行訓(xùn)練。

圖7 二分K-means 算法流程圖Fig.7 Flow chart of bisection K-means algorithm

2.3 模型訓(xùn)練

首先修改YOLOv4 相關(guān)配置文件，本次實(shí)驗(yàn)選擇迭代次數(shù)為8 000 次，學(xué)習(xí)率使用分步策略。訓(xùn)練結(jié)果如圖8 所示。

圖8 實(shí)驗(yàn)結(jié)果對比Fig.8 Comparison of experimental results

從圖8（a）可以看出，未采用二分K-means算法之前所標(biāo)定的先驗(yàn)框在訓(xùn)練過程中的mAP波動較大，mAP=78.4%；圖8（b）采用二分K-means算法對整體標(biāo)定數(shù)據(jù)集的先驗(yàn)框聚類分析訓(xùn)練時的mAP處于較平穩(wěn)狀態(tài)，mAP=90.8%，因此，采用改進(jìn)算法后的準(zhǔn)確率有很大提升，如表1 所示。

2.4 目標(biāo)檢測

改進(jìn)前后的目標(biāo)檢測效果如圖9 所示。圖9（a）為改進(jìn)前模型檢測結(jié)果，在預(yù)測的過程中將圖片中間的步行者視為待檢測目標(biāo)，對其進(jìn)行有無佩戴頭盔的判定，造成了錯檢，且容易對遠(yuǎn)處目標(biāo)漏檢。圖9（b）為改進(jìn)后效果，模型能正確識別出騎行者與非騎行者，只對騎行者進(jìn)行頭盔檢測。

圖9 改進(jìn)前后的檢測效果比較Fig.9 Comparison of detection effect before and after improvement

3 遠(yuǎn)程檢測

本文采用網(wǎng)絡(luò)攝像頭+以太網(wǎng)的方式，實(shí)現(xiàn)對目標(biāo)的遠(yuǎn)程檢測，且YOLOv4 網(wǎng)絡(luò)模型的檢測精度遠(yuǎn)遠(yuǎn)高于人工檢測，可將執(zhí)法人員從危險的執(zhí)法環(huán)境中脫離出來

3.1 傳輸設(shè)備

網(wǎng)絡(luò)攝像頭型號 MC-E25，長寬為38 mm×38 mm，約60 g，工作電壓DC12 V、電流2 A。該攝像頭可適應(yīng)環(huán)境溫度最高為85 ℃，完全適用于本文要求的實(shí)驗(yàn)環(huán)境，還具有一個型號為RJ45 的10/100 M 自適應(yīng)以太網(wǎng)接口，以太網(wǎng)接口具有通訊速率高、通訊穩(wěn)定的特性，能確保網(wǎng)絡(luò)攝像頭采集的環(huán)境圖像快速、穩(wěn)定地傳輸至PC 端。該網(wǎng)絡(luò)攝像頭像素為400 萬，焦距為4 mm，可觀察至20 m處物件輪廓，主碼流幀數(shù)25 FPS，支持即時串流協(xié)議RTSP（Real Time Streaming Protocol）、ONVIF（Open Network Video Interface Forum）、HTTP、P2P 等視頻流網(wǎng)絡(luò)協(xié)議以及NVR（Network Video Recorder）對接協(xié)議。

3.2 遠(yuǎn)程傳輸和檢測

首先使用ONVIF 獲取網(wǎng)絡(luò)攝像頭的RTSP 地址。ONVIF 使不同網(wǎng)絡(luò)攝像頭具有互通性，同時可以利用 ONVIF 協(xié)議來實(shí)現(xiàn)對網(wǎng)絡(luò)攝像頭的信息獲取，如獲取RTSP 地址信息、實(shí)時視頻流與音頻等。而RTSP 則是用于實(shí)現(xiàn)視頻或音頻的多媒體串流，可以使用TCP（Transmission Control Protocol）或UDP（User Datagram Protocol）來實(shí)現(xiàn)信息傳輸，另外可以實(shí)現(xiàn)多個串流控制，即可以同時獲取多個網(wǎng)絡(luò)攝像頭的視頻或音頻信息。

在獲取網(wǎng)絡(luò)攝像頭RTSP 地址后，可將其輸入到攝像頭顯示軟件中，如圖10 所示。在圖11 中所顯示的MC-E25 網(wǎng)絡(luò)攝像頭的RTSP 地址為“rtsp://admin:123456@192.168.0.123:554/mpeg4”，該地址中“rtsp”為協(xié)議類型，“192.169.0.123”為網(wǎng)絡(luò)攝像頭IP 地址，“554”為網(wǎng)絡(luò)端口，“mpeg4”表示獲取主碼流。PC 端根據(jù)RTSP 地址獲取視頻流信息，之后再將截取后的視頻流通過以太網(wǎng)導(dǎo)入YOLOv4 的網(wǎng)絡(luò)模型中進(jìn)行預(yù)測，最終的顯示效果如圖11 所示。圖11（a）為網(wǎng)絡(luò)攝像頭獲取視頻流，通過以太網(wǎng)實(shí)時輸送到PC 端的YOLOv4 模型中，對畫面中佩戴頭盔的對象做出了正確的識別；圖11（b）為對未佩戴頭盔對象做出了正確識別。

圖10 輸入RTSP 地址Fig.10 Input the RTSP address

圖11 網(wǎng)絡(luò)攝像頭遠(yuǎn)程實(shí)時監(jiān)控Fig.11 Remote real-time monitoring by webcam

4 結(jié)論

在使用相同YOLOv4 模型的條件下，一方數(shù)據(jù)集采用整體標(biāo)定的方式進(jìn)行制作，另一方采用非整體標(biāo)定的方式進(jìn)行制作。結(jié)果表明，整體標(biāo)定的數(shù)據(jù)集所訓(xùn)練出來的網(wǎng)絡(luò)模型能夠?qū)Ψ球T行狀態(tài)下與騎行狀態(tài)下的2 種狀態(tài)進(jìn)行區(qū)分，更加適用于真實(shí)的交通環(huán)境。為了提高檢測精度，通過二分K-means算法對先驗(yàn)框進(jìn)行聚類分析，得到一組最適合該實(shí)驗(yàn)條件的9 組先驗(yàn)框，采用分步訓(xùn)練方式優(yōu)化學(xué)習(xí)權(quán)重，平均準(zhǔn)確率mAP達(dá)到了90.8%；其次，為了將執(zhí)法者從危險的交通環(huán)境中脫離出來，采用網(wǎng)絡(luò)攝像頭+以太網(wǎng)進(jìn)行遠(yuǎn)距離的傳輸，最終實(shí)現(xiàn)了在PC 端進(jìn)行遠(yuǎn)程檢測。因此，使用此方法使得騎乘人員頭盔佩戴的遠(yuǎn)程檢測成為可能。