豐玉華,魏 怡,劉力手,豐圓丹,李 可

( 1.武漢理工大學(xué) 自動(dòng)化學(xué)院,武漢 430070;2.湖北經(jīng)濟(jì)學(xué)院 金融學(xué)院,武漢 430205;3.青島工學(xué)院 食品工程學(xué)院,山東 青島 266300)

0 引 言

對(duì)高齡人群[1]及復(fù)雜作業(yè)環(huán)境中工人[2]的跌倒行為進(jìn)行實(shí)時(shí)性檢測(cè),是有關(guān)生命安全的大事,具有重要的研究意義。迄今為止,跌倒行人檢測(cè)在安全領(lǐng)域甚少受到關(guān)注,研究成果較少。文獻(xiàn)[3]設(shè)計(jì)了一種分類3維卷積神經(jīng)網(wǎng)絡(luò)(separable 3D convolutional neural network,S3D-CNN),緩解了背景對(duì)跌倒姿態(tài)檢測(cè)的干擾,文獻(xiàn)[4]使用光流直方圖和運(yùn)動(dòng)邊界直方圖特征構(gòu)建了跌倒運(yùn)動(dòng)混合模型的高斯混合模型,能夠有效地識(shí)別各種場(chǎng)景中的跌倒事件,但這2種方法均未能取得較為理想的識(shí)別速度與識(shí)別精度;文獻(xiàn)[5]提出一種殘差神經(jīng)網(wǎng)絡(luò)(residual neural network,res2Net)結(jié)合YOLO變體網(wǎng)絡(luò)(you only look at coefficients,YOLACT)以及融合特征的室內(nèi)跌倒檢測(cè)算法,其檢測(cè)準(zhǔn)確率高達(dá)98.65%,但其檢測(cè)速度僅有28幀/s;文獻(xiàn)[6]采用了一種用于統(tǒng)一目標(biāo)檢測(cè)和實(shí)例分割的新型網(wǎng)絡(luò)(a new deep architecture for reciprocal object detection and instance segmentation,RDSNet),檢測(cè)準(zhǔn)確率可達(dá)到96.67%,但其檢測(cè)速度也僅能達(dá)到12幀/s。

目前跌倒行人檢測(cè)的效果不夠理想,識(shí)別速度和識(shí)別精度有待提高。本文將近幾年最新的深度學(xué)習(xí)算法進(jìn)行對(duì)比,將其應(yīng)用于行人跌倒檢測(cè)。當(dāng)前目標(biāo)檢測(cè)算法大致分為兩大類,一類是Two-Stage算法,先產(chǎn)生候選區(qū)域然后再進(jìn)行分類,標(biāo)志性模型主要有區(qū)域卷積神經(jīng)網(wǎng)絡(luò) (region CNN,R-CNN)[7]、Fast R-CNN[8]、Faster R-CNN[9]等;另一類是One-Stage算法,直接對(duì)輸入圖像應(yīng)用算法進(jìn)行處理并輸出類別和相應(yīng)的定位,其代表模型有單發(fā)多框檢測(cè)器 (single shot multiBox detector,SSD)[10]、“你只看一次” (you only look once,YOLO)[11]系列等。針對(duì)跌倒檢測(cè), CNN系列算法在檢測(cè)的實(shí)時(shí)性[12]方面有所欠缺,SSD網(wǎng)絡(luò)對(duì)于小目標(biāo)的檢測(cè)效果及精度并未超越Y(jié)OLOv5,因此,本文選擇YOLOv5進(jìn)行跌倒檢測(cè)的研究。

近年來,YOLO系列相關(guān)算法在不斷改進(jìn),文獻(xiàn)[13]提出在YOLOv3網(wǎng)絡(luò)中加入自注意力機(jī)制,即self-attention,來緩解卷積操作感受野不足的缺陷,但該算法時(shí)間復(fù)雜度較高;文獻(xiàn)[14]提出基于YOLOv5融合SENet的目標(biāo)檢測(cè)技術(shù),對(duì)通道給予不同“關(guān)注度”,解決了特征圖的不同通道所占的重要性相同帶來的損失問題,但未能考慮特征圖位置信息的損失;文獻(xiàn)[15]使用基于密度的空間聚類算法(density-based spatial clustering of applications with noise,DBSCAN)結(jié)合K均值聚類算法(k-means clustering algorithm,K-Means)選取更合適的錨框以提高小目標(biāo)檢測(cè)的精度,但該算法對(duì)參數(shù)的選取具有依賴性;文獻(xiàn)[16]采用D類交并比非極大值抑制(D intersection over union-NMS,DIOU-NMS),考慮了2個(gè)預(yù)測(cè)框中心點(diǎn)之間的距離并對(duì)IoU進(jìn)行了優(yōu)化,但未能有效改善漏檢現(xiàn)象。

以上研究成果雖有成效,但卻有各自的缺點(diǎn),基于YOLOv5的跌倒姿態(tài)檢測(cè)算法仍存在幾個(gè)方面的問題:網(wǎng)絡(luò)對(duì)小目標(biāo)不夠敏感;遇到與跌倒行人姿態(tài)相似的結(jié)構(gòu)時(shí)易發(fā)生混淆,產(chǎn)生誤檢;當(dāng)目標(biāo)大面積重疊時(shí),會(huì)產(chǎn)生漏檢現(xiàn)象。

本文在YOLOv5模型的基礎(chǔ)上提出一系列改進(jìn)方法,基于多頭注意力的思想,設(shè)計(jì)了TRC3結(jié)構(gòu),充分利用顯卡的并行性,利用更少的時(shí)間復(fù)雜度獲得更高的檢測(cè)精度;設(shè)計(jì)多尺度檢測(cè)結(jié)構(gòu),使網(wǎng)絡(luò)擁有高分辨率的feature map,更敏銳地識(shí)別小目標(biāo)[17],此方法比DBSCAN +K-Means算法更加穩(wěn)定;提出一種改進(jìn)SENet注意力機(jī)制[18]以減少位置信息的損失;采用Soft-NMS替換原網(wǎng)絡(luò)的NMS[19]算法,以此降低漏檢率。實(shí)驗(yàn)表明:MP-YOLOv5檢測(cè)模型對(duì)小目標(biāo)的檢測(cè)效果良好,可以有效改善由于跌倒目標(biāo)重疊和特征不明顯導(dǎo)致的誤檢現(xiàn)象,在精度上相對(duì)于基線方法有一定幅度的提升。

1 YOLOv5模型簡(jiǎn)介

YOLOv5模型的結(jié)構(gòu)如圖1所示。該模型由Input、Backbone、Neck、Prediction共 4個(gè)模塊組成。首先,圖像在Input端輸入,通過resize、數(shù)據(jù)增強(qiáng),統(tǒng)一圖片大小、豐富圖片背景;其次,通過主干特征提取網(wǎng)絡(luò)(Backbone),在不同圖像細(xì)粒度上聚合,得到多種尺度的圖像特征;然后,通過特征融合網(wǎng)絡(luò)(Neck),采用特征金字塔與路徑聚合網(wǎng)絡(luò)相結(jié)合的結(jié)構(gòu),將網(wǎng)絡(luò)的語義特征和位置特征進(jìn)行融合,豐富網(wǎng)絡(luò)提取的特征;最后,進(jìn)入預(yù)測(cè)端(Prediction),網(wǎng)絡(luò)具有3個(gè)檢測(cè)層分別用于不同尺寸目標(biāo)的檢測(cè),采用非極大值抑制算法(non-maximum supression,NMS),刪除冗余的預(yù)測(cè)框,生成最終的檢測(cè)框。

圖1 YOLOv5模型的結(jié)構(gòu)Fig.1 Structure of the YOLOv5 model

圖1中,CBS(ConvBNSiLU)結(jié)構(gòu)由卷積層(conv)、標(biāo)準(zhǔn)化層(batch normalization,BN)、激活函數(shù)(the Sigmoid linear unit,SiLU)組成;C3結(jié)構(gòu)包含3個(gè)標(biāo)準(zhǔn)卷積層;空間金字塔池化結(jié)構(gòu)(spatial pyramid pooling-fast,SPPF)用于實(shí)現(xiàn)自適應(yīng)尺寸的輸出;Upsample表示上采樣;Concat表示對(duì)特征圖在通道上進(jìn)行拼接;Conv表示普通卷積。

盡管YOLOv5的檢測(cè)精度與實(shí)時(shí)性能已達(dá)到較高水平,但針對(duì)跌倒目標(biāo),仍存在以下瓶頸:①Backbone中采用了較多的C3結(jié)構(gòu),雖降低了網(wǎng)絡(luò)計(jì)算量,但是未能建立網(wǎng)絡(luò)的全局依賴關(guān)系,大量基礎(chǔ)卷積結(jié)構(gòu)會(huì)造成局部信息的丟失;②Prediction模塊中3種尺寸特征圖的大小分別為80×80、40×40、20×20,分辨率較低的檢測(cè)層在遇到小目標(biāo)時(shí),會(huì)產(chǎn)生漏檢;③在特征融合網(wǎng)絡(luò)中,底層特征與高層特征融合次數(shù)不夠,網(wǎng)絡(luò)對(duì)特征的感知力不夠;④網(wǎng)絡(luò)采用的NMS算法,當(dāng)基準(zhǔn)框與預(yù)測(cè)框IoU值高于閾值時(shí),會(huì)直接刪除相應(yīng)的預(yù)測(cè)框,在目標(biāo)發(fā)生重疊時(shí),會(huì)出現(xiàn)漏檢現(xiàn)象。

2 MP-YOLOv5網(wǎng)絡(luò)模型算法

2.1 Backbone區(qū)域的改進(jìn)

YOLOv5的Backbone區(qū)域是由一系列卷積模塊構(gòu)成的殘差網(wǎng)絡(luò),本文在YOLOv5中選用了C3模塊,一定程度上減輕了網(wǎng)絡(luò)計(jì)算量,但未能建模網(wǎng)絡(luò)的全局依賴關(guān)系。本文還設(shè)計(jì)了TRC3結(jié)構(gòu),采用多頭注意力(multi-head self-attention,MHSA)模型,進(jìn)一步細(xì)化了注意力層,擴(kuò)展了模型專注于不同位置的能力。

2.1.1 Self-Attention結(jié)構(gòu)

SA(self-attention)結(jié)構(gòu)是Q、K、V均為同一個(gè)輸入向量映射而來的Attention,可以忽略特征之間的距離直接計(jì)算依賴關(guān)系,能夠很好地學(xué)習(xí)網(wǎng)絡(luò)內(nèi)部特征,SA結(jié)構(gòu)原理如圖2所示。SA結(jié)構(gòu)操作過程如下。

圖2 SA結(jié)構(gòu)原理圖Fig.2 Schematic diagram of SA structure

1)進(jìn)行Embedding操作,將輸入矩陣降維。降維的目的是將高維稀疏向量轉(zhuǎn)化為低維稠密向量,以防止過度占用資源。

2)將a1,a2,…,an分別通過3個(gè)變換矩陣Wq、Wk、Wv,得到對(duì)應(yīng)的qi、ki、vi(i=1,2,…,n),即

qi=aiWq;ki=aiWk;vi=aiWv

(1)

(1)式中:qi表示query,后續(xù)會(huì)和每個(gè)ki進(jìn)行匹配;ki代表key;vi代表從a1,…,an中提取到的信息。

3)qi與ki匹配的過程,即計(jì)算兩者的相關(guān)性的過程,經(jīng)過匹配,得

(2)

(3)

5)綜上,令Q=(q1,…,qn)T,K=(k1,…,kn)T,V=(v1,v2,…,vn)T,SA的整體機(jī)制可表述為

(4)

通過SA結(jié)構(gòu),輸入為X=[X1,X2,…,Xn],輸出為(b1,b2,…,bn),輸入轉(zhuǎn)變?yōu)檩敵龅倪^程為特征之間建立了依賴關(guān)系,更好地利用了上下文信息。

2.1.2 多頭自注意力結(jié)構(gòu)

在SA結(jié)構(gòu)的基礎(chǔ)上,MHSA結(jié)構(gòu)能夠聯(lián)合不同head部分學(xué)習(xí)到的信息,同時(shí)計(jì)算多個(gè)Attention,最終得到合并結(jié)果,通過計(jì)算多次來捕獲不同子空間上的相關(guān)信息,其原理如圖3所示。

圖3 MHSA結(jié)構(gòu)原理Fig.3 Schematic diagram of MHSA structure

(5)

2)將每個(gè)head得到的結(jié)果進(jìn)行concat拼接,再將拼接的結(jié)果通過Wo(可學(xué)習(xí)參數(shù))進(jìn)行融合,得

MultiHead(Q,K,V)=Concat(head1,…,headh)Wo

(6)

相比于SA,MHSA進(jìn)一步細(xì)化了注意力層,為注意力層提供了多個(gè)“表示子空間”,擴(kuò)展了模型專注于不同位置的能力。

2.1.3 TRC3結(jié)構(gòu)

C3與TRC3結(jié)構(gòu)如圖4所示。TRC3使用MHSA模塊來捕獲高層語義信息,對(duì)C3模塊進(jìn)行改進(jìn),將殘差學(xué)習(xí)單元(ResUnit)中的第2層CBS結(jié)構(gòu)替換為MHSA,進(jìn)而建模全局依賴關(guān)系以充分利用上下文信息。

圖4 C3與TRC3結(jié)構(gòu)圖Fig.4 Structure of C3 and TRC3

2.2 改進(jìn)SENet

SENet是一種壓縮和激勵(lì)網(wǎng)絡(luò),由Squeeze和Excitation兩部分組成。

1)Squeeze部分。原始feature map的維度為H×W×C,經(jīng)過Squeeze操作將feature map壓縮為1×1×C,這1維參數(shù)便獲得了全局的感受野。采用最簡(jiǎn)單的求平均的方式,將空間上的點(diǎn)都平均成一個(gè)值,即

(7)

(7)式中,ZC∈RC是對(duì)特征空間x在空間維度上執(zhí)行平均池化的結(jié)果。

2)Excitation部分。在經(jīng)過Squeeze操作得到的1×1×C的feature map中加入一個(gè)FC全連接層,對(duì)每個(gè)通道的重要性進(jìn)行預(yù)測(cè),得到不同通道的重要性,再利用全連接層恢復(fù)原來的通道數(shù),即

(8)

(8)式中,σ表示sigmoid激活函數(shù),原始SENet只考慮通過建模通道關(guān)系來重新衡量每個(gè)通道的重要性,忽略了位置信息。

本文對(duì)SENet進(jìn)行改進(jìn),使網(wǎng)絡(luò)在考慮通道間關(guān)系的同時(shí)關(guān)注特征空間的位置信息,改進(jìn)SENet原理如圖5所示。

圖5 改進(jìn)SE模塊原理圖Fig.5 Schematics of the improved SE modules

將通道注意力通過2個(gè)方向的平均池化操作(X Avg Pool,Y Avg Pool)變成2個(gè)1維特征,沿其中一個(gè)空間方向捕獲遠(yuǎn)程依賴關(guān)系,沿另一空間方向?qū)ξ恢眯畔⑦M(jìn)行保留,用公式可表述為

(9)

(10)

上述2種變換分別沿2個(gè)空間方向聚合特征,得到一對(duì)方向感知的特征圖,不僅允許注意力模塊捕捉沿著一個(gè)方向的長(zhǎng)期依賴關(guān)系,并且保存了沿著另一個(gè)空間方向的精確位置信息,有助于網(wǎng)絡(luò)更準(zhǔn)確地定位跌倒特征。

2.3 Neck和Prediction區(qū)域的改進(jìn)

2.3.1 四檢測(cè)頭

在YOLOv5網(wǎng)絡(luò)中,小目標(biāo)檢測(cè)層尺寸是80×80,Input端輸入圖片尺寸是640×640,網(wǎng)絡(luò)檢測(cè)的最小像素值是8×8。當(dāng)?shù)剐腥嗽趫D片中所占比例較小時(shí),經(jīng)YOLOv5網(wǎng)絡(luò)放大后,會(huì)出現(xiàn)邊緣模糊甚至失真,導(dǎo)致對(duì)小目標(biāo)定位困難,產(chǎn)生漏檢。另外,當(dāng)feature map分辨率不足時(shí),多個(gè)跌倒目標(biāo)的中心點(diǎn)落到同一個(gè)網(wǎng)格中,會(huì)導(dǎo)致最后只檢測(cè)出一個(gè)目標(biāo)。

本文基于多尺度檢測(cè)的思想,在YOLOv5原有的網(wǎng)絡(luò)上增加一個(gè)檢測(cè)尺度用于小目標(biāo)的檢測(cè),在尺寸為80×80特征層之后,繼續(xù)對(duì)特征圖進(jìn)行卷積和上采樣處理,把特征圖擴(kuò)大為尺寸為160×160的特征層,將此特征層與Backbone中160×160的特征層進(jìn)行融合,得到第4個(gè)160×160的檢測(cè)尺度,網(wǎng)絡(luò)最小檢測(cè)像素為4×4。

增加160×160的檢測(cè)尺度,會(huì)使網(wǎng)絡(luò)預(yù)測(cè)更加細(xì)致,將距離近的小尺寸目標(biāo)劃分開,使其中心落到不同的網(wǎng)格中,有效避免了由于小目標(biāo)重疊發(fā)生的漏檢現(xiàn)象,多尺度檢測(cè)網(wǎng)絡(luò)在不明顯增加計(jì)算量的情況下,同時(shí)改善了小目標(biāo)的檢測(cè)效果。

2.3.2 特征融合的改進(jìn)

為了提高跌倒行人檢測(cè)的準(zhǔn)確率,彌補(bǔ)高層特征對(duì)細(xì)節(jié)感知能力缺失所帶來的信息損失,通過增加檢測(cè)層及融合次數(shù)來增強(qiáng)網(wǎng)絡(luò)檢測(cè)性能。在原始YOLOv5網(wǎng)絡(luò)中,將第2層與第21層進(jìn)行特征融合后的輸出作為小目標(biāo)檢測(cè)層。對(duì)比原始網(wǎng)絡(luò),在第2層與第21層融合之后,增加第20層與第25層的特征融合,將具有較大感受野的特征層與目標(biāo)檢測(cè)層之前的特征層進(jìn)行融合。多次特征融合使得圖像通道數(shù)增加,達(dá)到了信息增廣的效果。MP-YOLOv5網(wǎng)絡(luò)架構(gòu)如圖6 所示。改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)擁有更強(qiáng)的細(xì)節(jié)感知能力,更適用于行人跌倒檢測(cè)。

圖6 MP-YOLOv5網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.6 Structure of MP-YOLOv5

2.4 NMS的改進(jìn)

YOLOv5原網(wǎng)絡(luò)采用的是NMS算法,對(duì)于有重疊的候選框,其IoU值若大于設(shè)定閾值,NMS算法會(huì)將其剔除,反之保留;對(duì)于無重疊的候選框,均將其保留。NMS輸出矩形框如圖7所示。假設(shè)網(wǎng)絡(luò)有6個(gè)輸出矩形框,NMS工作原理如下。

圖7 NMS輸出矩形框Fig.7 Output rectangle of the NMS

1)網(wǎng)絡(luò)將對(duì)6個(gè)矩形框進(jìn)行置信度排序,若F為最大概率矩形框,則網(wǎng)絡(luò)會(huì)執(zhí)行A—E與F的IoU值計(jì)算,并判斷IoU值是否大于閾值;若F與B、D的IoU值大于閾值,則刪除B、D框,并將F框標(biāo)記并保留。

2)從剩下的A、C、E中選擇置信度最高的框,假設(shè)E置信度最高,則繼續(xù)執(zhí)行A、C與E的IoU計(jì)算,重復(fù)步驟1)的操作。

在實(shí)際檢測(cè)場(chǎng)景中,當(dāng)同類別兩物體距離很近時(shí),IoU值較大,算法這種情況下可能會(huì)將其中一個(gè)目標(biāo)的框過濾掉,從而產(chǎn)生漏檢。

為解決該問題,本文在網(wǎng)絡(luò)中引入Soft-NMS算法。選定基準(zhǔn)框后,遍歷其他預(yù)測(cè)框,不再刪除IoU值高于閾值的預(yù)測(cè)框,而是通過衰減函數(shù)降低其置信度,將置信度最高的檢測(cè)框保留,次高的檢測(cè)框作為基準(zhǔn)。按此循環(huán),最后將選出的框進(jìn)行綜合篩選,得到最優(yōu)預(yù)測(cè)框,數(shù)學(xué)表達(dá)式為

(11)

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集的搭建

在目標(biāo)檢測(cè)問題中,訓(xùn)練數(shù)據(jù)集以及訓(xùn)練標(biāo)簽的制作是2個(gè)至關(guān)重要的步驟,原始圖像標(biāo)簽的準(zhǔn)確性直接影響訓(xùn)練的效果和測(cè)試的準(zhǔn)確性。實(shí)驗(yàn)數(shù)據(jù)集選用華錄杯比賽中6 000張人體跌倒姿態(tài)的開源數(shù)據(jù)集,以及4 000張日常采集的數(shù)據(jù)集。圖8所示為跌倒行人數(shù)據(jù)集樣本的幾種示例。日常采集圖片的拍攝場(chǎng)景為工地、車間、交通十字路口等高危環(huán)境。訓(xùn)練數(shù)據(jù)集共10 000張,為保證實(shí)驗(yàn)效果,數(shù)據(jù)集中包含了一定比例的小目標(biāo)、目標(biāo)堆疊、目標(biāo)遮擋的圖片。

圖8 跌倒行人數(shù)據(jù)集樣本示例Fig.8 Samples of fall dataset

在Python環(huán)境下通過開源工具LabelImg對(duì)數(shù)據(jù)集圖片目標(biāo)物體所在區(qū)域進(jìn)行逐一標(biāo)注,并生成與之對(duì)應(yīng)的標(biāo)簽,本實(shí)驗(yàn)對(duì)跌倒姿態(tài)設(shè)置的標(biāo)簽為“down”。

3.2 實(shí)驗(yàn)環(huán)境的配置

使用Intel(R) Core(TM) i7-10750H CPU處理器,在windows 10系統(tǒng)下進(jìn)行模型訓(xùn)練。為了提高訓(xùn)練效率,使用NVIDIA GeForce RTX 3090顯卡、Cuda11.3和Cudnn10.0調(diào)用GPU進(jìn)行加速。輸入圖像分辨率為640×640,為了增強(qiáng)模型的抗干擾能力,在訓(xùn)練時(shí)使用了Mosaic數(shù)據(jù)增強(qiáng)的方法,批尺寸為64,訓(xùn)練輪數(shù)為100。

3.3 評(píng)估指標(biāo)

為了驗(yàn)證MP-YOLOv5網(wǎng)絡(luò)的性能,本文采用通用目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo),準(zhǔn)確率(Precision)P,召回率(Recall)R以及平均精度均值(mean average precision,mAP)VmAP來對(duì)模型進(jìn)行評(píng)估。通常使用P和R這2個(gè)指標(biāo)來衡量模型的好壞,P、R越大,表示模型檢測(cè)的準(zhǔn)確度越高。VmAP可以衡量整個(gè)模型的性能,VmAP越大,表示模型訓(xùn)練效果越好。各指標(biāo)計(jì)算公式為

(12)

(13)

(14)

訓(xùn)練過程中,對(duì)算法的各項(xiàng)指標(biāo)進(jìn)行實(shí)時(shí)記錄,MP-YOLOv5網(wǎng)絡(luò)訓(xùn)練結(jié)果見圖9。隨著迭代次數(shù)的不斷增加,P、R、VmAP的值逐漸趨于平穩(wěn),迭代至100代時(shí)各項(xiàng)指標(biāo)的值在0.01以內(nèi)浮動(dòng),表明模型訓(xùn)練已基本完成。

圖9 MP-YOLOv5網(wǎng)絡(luò)訓(xùn)練結(jié)果Fig.9 Training results of the MP-YOLOv5 network

3.4 算法有效性驗(yàn)證

為了驗(yàn)證本文基于YOLOv5算法改進(jìn)的有效性,以YOLOv4、YOLOv5算法作為對(duì)比算法。此外,進(jìn)一步驗(yàn)證每個(gè)改進(jìn)點(diǎn)的有效性,設(shè)TRC3、Four Prediction Head、改進(jìn)SENet、Soft-NMS分別為改進(jìn)點(diǎn)①②③④。其中,YOLOv5-①表示在原始YOLOv5模型中應(yīng)用TRC3模塊;YOLOv5-①②表示在YOLOv5-①的基礎(chǔ)上采用4個(gè)檢測(cè)頭;YOLOv5-①②③表示在YOLOv5-①②的基礎(chǔ)上添加改進(jìn)SENet模塊;YOLOv5-①②③④,即MP-YOLOv5,表示在YOLOv5-①②③的基礎(chǔ)上采用Soft-NMS。算法識(shí)別速度對(duì)比如表1所示。

表1 算法性能對(duì)比Tab.1 Performance comparison of algorithms %

由表1可見,對(duì)比YOLOv4、YOLOv5,MP-YOLOv5網(wǎng)絡(luò)的P、R指標(biāo)均有一定幅度的提升。在YOLOv5網(wǎng)絡(luò)的基礎(chǔ)上,逐步增加改進(jìn)點(diǎn),P、R指標(biāo)會(huì)逐步提升。使用TRC3模塊,相比YOLOv5網(wǎng)絡(luò),VmAP提高了0.36個(gè)百分點(diǎn);進(jìn)一步加入Four Prediction Head,VmAP提高了0. 6個(gè)百分點(diǎn);再疊加改進(jìn)SENet,VmAP進(jìn)一步提高了0. 03個(gè)百分點(diǎn);最后一步疊加Soft-NMS,VmAP又提高了0. 19個(gè)百分點(diǎn)。最終得到Y(jié)OLOv5-①②③④,即MP-YOLOv5的P、R、VmAP分別高達(dá)97.65%、98.55%、98.87%,這證明了本文改進(jìn)算法的有效性。

另外,本文針對(duì)識(shí)別速度進(jìn)行了對(duì)比試驗(yàn),識(shí)別速度越高,代表模型實(shí)時(shí)監(jiān)測(cè)的效果越好,實(shí)驗(yàn)結(jié)果如表2所示。

表2 算法識(shí)別速度對(duì)比Tab.2 Comparison of the recognition speed of the algorithm

由表2可見,相比于YOLOv4,YOLOv5網(wǎng)絡(luò)在識(shí)別速度上提高了20幀/s,達(dá)到了85幀/s,而引入TRC3模塊后網(wǎng)絡(luò)的識(shí)別速度更是達(dá)到了98幀/s,識(shí)別速度有了進(jìn)一步提高。在此基礎(chǔ)上,加入Four Prediction Head與改進(jìn)SENet,識(shí)別速度均略有下降,但仍可達(dá)到86幀/s,高于YOLOv4和YOLOv5算法。

綜上, MP-YOLOv5模型在識(shí)別精度與識(shí)別速度2個(gè)指標(biāo)上均優(yōu)于對(duì)比模型,綜合指標(biāo)最優(yōu),證明了改進(jìn)算法的有效性。

3.5 算法先進(jìn)性驗(yàn)證

為了驗(yàn)證MP-YOLOv5算法的先進(jìn)性,在相同配置條件下,將MP-YOLOv5與Faster R-CNN、SSD、CenterNet-Keypoint、CenterNet-Triplets以及CenterPoint-3D等目前比較流行的幾種目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同算法識(shí)別效果對(duì)比Tab.3 Recognition effect of different algorithms

由表3可見,MP-YOLOv5算法的VmAP普遍高于對(duì)比算法。其中,Faster R-CNN的VmAP為89.56%,SSD是基于高斯金字塔結(jié)構(gòu)的單階段目標(biāo)檢測(cè)算法,其VmAP為91.23%,2種算法的VmAP均低于MP-YOLOv5;CenterNet- Keypoint、CenterNet-Triplets、YOLOv4都是基于回歸思想的最新檢測(cè)算法,MP-YOLOv5的VmAP值比CenterNet-Keypoint高出6.32個(gè)百分點(diǎn),比CenterNet-Triplets高出5.13個(gè)百分點(diǎn),比YOLOv4高出3.24個(gè)百分點(diǎn);CenterPoint-3D是延續(xù)CenterNet-Keypoint思想的3D目標(biāo)檢測(cè)算法,檢測(cè)效果依賴于深度信息和旋轉(zhuǎn)角度的有效學(xué)習(xí),MP-YOLOv5算法較其提高了5.94個(gè)百分點(diǎn);最終,將MP-YOLOv5與YOLOv5原始網(wǎng)絡(luò)進(jìn)行比較,可以發(fā)現(xiàn)其VmAP較原始網(wǎng)絡(luò)提高了1.25個(gè)百分點(diǎn)。

此外,MP-YOLOv5算法相比于其他算法,在識(shí)別速度上取得了較優(yōu)結(jié)果,識(shí)別速度達(dá)到了86幀/s,優(yōu)于7種對(duì)比算法。這證明MP-YOLOv5算法不僅可以提供更優(yōu)的識(shí)別效果,還能提供更高的識(shí)別效率,可以滿足行人跌倒場(chǎng)景下的實(shí)際需要。

為了進(jìn)一步驗(yàn)證MP-YOLOv5網(wǎng)絡(luò)在行人跌倒識(shí)別場(chǎng)景下的適用性,選取數(shù)據(jù)集中3組經(jīng)典示例進(jìn)行算法識(shí)別效果的對(duì)比,如圖10所示。圖10Ⅰ類:圖片存在與人體跌倒姿態(tài)相似的物體;Ⅱ類:圖片中存在跌倒姿態(tài)堆疊的情況;Ⅲ類:圖片中存在跌倒小目標(biāo)。觀察對(duì)比圖像,在Ⅰ類圖像場(chǎng)景下,YOLOv5原始網(wǎng)絡(luò)出現(xiàn)了誤檢的情況;在Ⅱ類圖像場(chǎng)景下,由于目標(biāo)較為密集,并且存在堆疊,使用YOLOv5原始網(wǎng)絡(luò)發(fā)生了漏檢;在Ⅲ類圖像場(chǎng)景下,原YOLOv5算法對(duì)小目標(biāo)識(shí)別并不敏感,識(shí)別效果差。MP-YOLOv5網(wǎng)絡(luò)在這些場(chǎng)景下均能較好地識(shí)別圖像中的目標(biāo)。

圖10 算法改進(jìn)前后識(shí)別效果對(duì)比Fig.10 Comparison of recognition effect before and after improvement of algorithm

4 結(jié)束語

本文提出一種面向跌倒行人的MP-YOLOv5檢測(cè)模型,設(shè)計(jì)了TRC3模塊,運(yùn)用MHSA模型,豐富了上下文信息,增強(qiáng)了Backbone的特征提取能力;針對(duì)小目標(biāo)檢測(cè),在YOLOv5 原有的網(wǎng)絡(luò)上增加一個(gè)prediction head,提高圖像的分辨率,使預(yù)測(cè)網(wǎng)絡(luò)更加細(xì)致,改善了小目標(biāo)的檢測(cè)效果;提出改進(jìn)SENet注意力機(jī)制,有助于網(wǎng)絡(luò)更精確地關(guān)注跌倒姿態(tài);采用Soft-NMS替換YOLOv5原始的NMS,降低了漏檢率。通過實(shí)驗(yàn),得出以下結(jié)論。

1)本文提出的改進(jìn)方法,將深度學(xué)習(xí)技術(shù)與行人姿態(tài)檢測(cè)問題相結(jié)合,實(shí)現(xiàn)了對(duì)跌倒行人的實(shí)時(shí)性檢測(cè)。

2)MP-YOLOv5網(wǎng)絡(luò)的VmAP值達(dá)98.87%,檢測(cè)速度達(dá)86幀/s,均優(yōu)于原始YOLOv5網(wǎng)絡(luò)。

MP-YOLOv5模型在檢測(cè)精度和檢測(cè)速度方面的效果較為理想,由于要保證識(shí)別精度,該模型在輕量化方面有待提高,今后將進(jìn)一步探索更輕量化的模型,更好地服務(wù)于行人跌倒的實(shí)時(shí)性檢測(cè)。