武歷展，王夏黎，張 倩，王煒昊，李 超

基于優(yōu)化YOLOv5s的跌倒人物目標(biāo)檢測(cè)方法

武歷展，王夏黎，張 倩，王煒昊，李 超

(長安大學(xué)信息工程學(xué)院，陜西 西安 710064)

針對(duì)目標(biāo)檢測(cè)模型在人物跌倒時(shí)易漏檢、魯棒性和泛化能力差等問題，提出一種基于改進(jìn)YOLOv5s的跌倒人物目標(biāo)檢測(cè)方法YOLOv5s-FPD。首先，對(duì)Le2i跌倒數(shù)據(jù)集使用多種方式擴(kuò)充后用于模型訓(xùn)練，增強(qiáng)模型魯棒性和泛化能力；其次，使用MobileNetV3作為主干網(wǎng)絡(luò)來進(jìn)行特征提取，協(xié)調(diào)并平衡模型的輕量化和準(zhǔn)確性關(guān)系；然后，利用BiFPN改善模型多尺度特征融合能力，提高了融合速度和效率，并使用CBAM輕量級(jí)注意力機(jī)制實(shí)現(xiàn)注意力對(duì)通道和空間的雙重關(guān)注，增強(qiáng)了注意力機(jī)制對(duì)模型準(zhǔn)確性地提升效果；最后，引入Focal Loss損失評(píng)價(jià)從而更注重挖掘困難樣本特征，改善正負(fù)樣本失衡的問題。實(shí)驗(yàn)結(jié)果表明，在Le2i跌倒數(shù)據(jù)集上YOLOv5s-FPD模型比原YOLOv5s模型，在精確度、F1分?jǐn)?shù)、檢測(cè)速度分別提高了2.91%，0.03和8.7 FPS，驗(yàn)證了該方法的有效性。

目標(biāo)檢測(cè)；YOLOv5s；MobileNetV3；輕量級(jí)注意力；多尺度特征融合；焦點(diǎn)損失函數(shù)

醫(yī)學(xué)調(diào)查表明，老年人在跌倒后得到及時(shí)救治可降低80%的死亡風(fēng)險(xiǎn)[1-2]。對(duì)于需要智能看護(hù)的老人，必然對(duì)目標(biāo)檢測(cè)系統(tǒng)的準(zhǔn)確性、魯棒性等有極高地要求。

傳統(tǒng)的基于構(gòu)建手工特征的目標(biāo)檢測(cè)方法，由于缺乏有效的圖像特征表示只能設(shè)計(jì)較為復(fù)雜的表示方法，里程碑檢測(cè)器有VJ Det.[3]，HOG Det.[4]和DPM[5]，但隨著手工特征性能趨于飽和而發(fā)展緩慢。

基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的目標(biāo)檢測(cè)模型研究可按檢測(cè)階段分為兩類，一類是基于候選框的兩階段檢測(cè)方法，如R-CNN[6]，F(xiàn)ast R-CNN[7]，F(xiàn)aster R-CNN[8]和Mask R-CNN[9]；另一類是基于免候選框的單階段檢測(cè)方法，如SSD[10]和YOLO[11]系列均為典型的基于回歸思想的單階段檢測(cè)方法。

REDMON和FARHADI[12]首次提出YOLO，借鑒Faster R-CNN的設(shè)計(jì)思想將整個(gè)圖像輸入神經(jīng)網(wǎng)絡(luò)，直接在輸出階段預(yù)測(cè)目標(biāo)位置和標(biāo)簽；隨后YOLOv2采用了批量歸一化、高分分類器和先驗(yàn)框等優(yōu)化策略，加速網(wǎng)絡(luò)收斂性能并移除全連接層，重新引入錨框使得網(wǎng)絡(luò)定位更加準(zhǔn)確。YOLOv3[13]引入了特征金字塔網(wǎng)絡(luò)[14](feature pyramid network，F(xiàn)PN)和Darknet53網(wǎng)絡(luò)，允許改變網(wǎng)絡(luò)結(jié)構(gòu)以權(quán)衡速度與精度，計(jì)算速度大幅提高，并引入殘差結(jié)構(gòu)將主干網(wǎng)絡(luò)做的更深，提升語義特征豐富性。BOCHKOVSKIY等[15]基于文獻(xiàn)[12]進(jìn)行改進(jìn)提出了YOLOv4目標(biāo)檢測(cè)模型，通過大量的調(diào)參實(shí)驗(yàn)，在輸入網(wǎng)絡(luò)分辨率、卷積層數(shù)和參數(shù)數(shù)量間找到最佳平衡，實(shí)現(xiàn)了綜合性能的提升。

在基于YOLO的輕量化目標(biāo)檢測(cè)優(yōu)化部署方案中，文獻(xiàn)[16]使用YOLOv4作為基礎(chǔ)優(yōu)化檢測(cè)老人跌倒行為；文獻(xiàn)[17]融合運(yùn)動(dòng)特征提升跌倒檢測(cè)算法精度；文獻(xiàn)[18]基于ShuffleNet V2進(jìn)行特征提取，并利用融合后的網(wǎng)絡(luò)對(duì)原始YOLOv5的主干網(wǎng)絡(luò)進(jìn)行重構(gòu)；文獻(xiàn)[19]采用MobileNet輕量化網(wǎng)絡(luò)進(jìn)行快速目標(biāo)檢測(cè)。

經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)，現(xiàn)有的目標(biāo)檢測(cè)模型在檢測(cè)人物發(fā)生跌倒時(shí)，仍然存在目標(biāo)檢測(cè)漏檢率高、模型魯棒性和泛化能力差等問題。針對(duì)此問題，本文提出了一種基于改進(jìn)YOLOv5s的跌倒人物目標(biāo)檢測(cè)模型YOLOv5s-FPD，并在Le2i跌倒數(shù)據(jù)集上驗(yàn)證，相較于用YOLOv5s檢測(cè)人物目標(biāo)，新模型的精確度、F1分?jǐn)?shù)、檢測(cè)速度分別提高了2.91%，0.03和8.7 FPS，在提升準(zhǔn)確性的同時(shí)，具有更小的參數(shù)量、更強(qiáng)的魯棒性和泛化能力。

1 YOLOv5目標(biāo)檢測(cè)模型

2020年由Ultralytics發(fā)布的YOLOv5在網(wǎng)絡(luò)輕量化上貢獻(xiàn)明顯，檢測(cè)速度更快也更加易于部署。與之前版本不同，YOLOv5實(shí)現(xiàn)了網(wǎng)絡(luò)架構(gòu)的系列化，分別是YOLOv5n，YOLOv5s，YOLOv5m，YOLOv5l和YOLOv5x。這5種模型的結(jié)構(gòu)相似，通過改變寬度倍數(shù)(Depth multiple)來改變卷積過程中卷積核數(shù)量，還通過改變深度倍數(shù)(Width multiple)來改變BottleneckC3 (帶3個(gè)CBS模塊的BottleneckCSP結(jié)構(gòu))中C3的數(shù)量，從而實(shí)現(xiàn)不同網(wǎng)絡(luò)深度和寬度之間的組合，達(dá)到精度與效率的平衡，見表1。

表1 YOLOv5不同版本的模型參數(shù)

在最新發(fā)布的YOLOv5模型中，YOLOv5n和YOLOv5s模型大小分別為3.87 M和14.1 M，均適合在主流移動(dòng)設(shè)備或邊緣設(shè)備上部署的低成本目標(biāo)檢測(cè)模型。本文的實(shí)驗(yàn)平臺(tái)和環(huán)境為：640×640大小的圖片，使用YOLOv5n進(jìn)行目標(biāo)檢測(cè)，26.4%的圖片出現(xiàn)人物漏檢，平均每張圖片檢測(cè)耗時(shí)6 ms；使用YOLOv5s進(jìn)行目標(biāo)檢測(cè)，13.8%的圖片出現(xiàn)人物漏檢，平均每張圖片檢測(cè)耗時(shí)7 ms。雖然YOLOv5n的單張圖片檢測(cè)耗時(shí)比YOLOv5s減少了1 ms，但目標(biāo)漏檢率增加了一倍，且增加的漏檢主要集中在人物跌倒、下蹲等體態(tài)外形變化較大的場景，在準(zhǔn)確性優(yōu)先的智能看護(hù)系統(tǒng)中，會(huì)極大地降低結(jié)果可信度。綜合考慮，本文選擇YOLOv5s作為基礎(chǔ)模型進(jìn)行改進(jìn)。

1.1 YOLOv5s模型結(jié)構(gòu)

YOLOv5s模型的結(jié)構(gòu)由4部分組成，如圖1所示(基于YOLOv5s-6.0版本)：①基于卷積網(wǎng)絡(luò)的Backbone主干網(wǎng)絡(luò)，主要提取圖像的特征信息；②Head檢測(cè)頭，主要預(yù)測(cè)目標(biāo)框和預(yù)測(cè)目標(biāo)的類別；③主干網(wǎng)絡(luò)和檢測(cè)頭之間的Neck頸部層；④預(yù)測(cè)層輸出檢測(cè)結(jié)果，預(yù)測(cè)出目標(biāo)檢測(cè)框和標(biāo)簽類別。

圖1 YOLOv5s結(jié)構(gòu)圖

1.2 YOLOv5s模型算法流程和原理

YOLOv5s模型主要工作流程：

(1) 原始圖像輸入部分加入了圖像填充、自適應(yīng)錨框計(jì)算、Mosaic數(shù)據(jù)增強(qiáng)來對(duì)數(shù)據(jù)進(jìn)行處理，以增加檢測(cè)的辨識(shí)度和準(zhǔn)確度[20]。

(2) 主干網(wǎng)絡(luò)中采用Focus結(jié)構(gòu)和CSP1_X(個(gè)殘差結(jié)構(gòu)，下同)結(jié)構(gòu)進(jìn)行特征提取。在特征生成部分，使用基于SPP[21]優(yōu)化后的SPPF結(jié)構(gòu)來完成。

(3) 將頸部層應(yīng)用路徑聚合網(wǎng)絡(luò)[22](path- aggregation network，PANet)與CSP2_X進(jìn)行特征融合。

(4) 使用GIOU_Loss作為損失函數(shù)。

2 跌倒人物目標(biāo)檢測(cè)模型改進(jìn)

2.1 YOLOv5s主干網(wǎng)絡(luò)優(yōu)化

YOLOv5s中使用的CSPDarkNet53主干網(wǎng)絡(luò)是在Darknet53中引入跨階段局部網(wǎng)絡(luò)[23](cross stage partial network，CSPNet)，以提取有效的深度特征信息。但在實(shí)驗(yàn)中發(fā)現(xiàn)，只采用直接調(diào)整寬度倍數(shù)和深度倍數(shù)的方式來輕量化模型(寬度系數(shù)和深度系數(shù)小于1.0時(shí))，視頻圖像中的目標(biāo)漏檢問題較為嚴(yán)重，在Le2i數(shù)據(jù)集上，YOLOv5n，YOLOv5s和YOLOv5m的漏檢率分別為26.4%，13.8%和10.4%。因此在考慮調(diào)整輕量化模型時(shí)，需引入特征提取能力更強(qiáng)的移動(dòng)端輕量級(jí)主干網(wǎng)絡(luò)MobileNet，將CSPDarkNet53替換為輕量級(jí)主干網(wǎng)絡(luò)MobileNetV3[24]，嘗試達(dá)到輕量化、準(zhǔn)確性和效率的協(xié)調(diào)平衡。

2.1.1 MobileNetV3原理

MobileNet (即MobileNetV1)是適合邊緣設(shè)備中部署的輕量級(jí)CNN，可利用深度可分離卷積(depthwise separable convolution，DSC)，改變卷積計(jì)算方法以降低網(wǎng)絡(luò)參數(shù)量，平衡檢測(cè)精度和檢測(cè)速度。隨之MobileNetV2[25]新增了2個(gè)特性：反向殘差(Inverted Residuals)方法使得特征的傳遞能力更強(qiáng)，網(wǎng)絡(luò)層數(shù)更深；線性瓶頸(Linear Bottleneck)模塊取代非線性模塊，降低了低層特征的損失。

2019年發(fā)布的MobileNetV3結(jié)合了V1和V2中的部分結(jié)構(gòu)，整合優(yōu)化并刪除了V2體系結(jié)構(gòu)中計(jì)算成本較高的網(wǎng)絡(luò)層，引入SE-Net (squeeze-and- excitation networks)[26]輕量級(jí)注意力結(jié)構(gòu)，資源低耗的同時(shí)精度幾乎沒有損失。

DSC由深度卷積(depthwise convolution，DW)和逐點(diǎn)卷積(pointwise convolution，PW)組成[27]，如圖2所示。DSC相比于傳統(tǒng)卷積參數(shù)和計(jì)算量大為減少，二者計(jì)算量對(duì)比為

其中，W1，W2分別為DSC和傳統(tǒng)卷積的計(jì)算成本。MobileNetV3特征提取的卷積核的尺寸主要為5×5。因此，DSC的計(jì)算成本約為傳統(tǒng)卷積的1/25。殘差結(jié)構(gòu)與反向殘差結(jié)構(gòu)如圖3所示，其中圖3(a)為殘差ResNet，圖3(b)為反向殘差。

圖3 殘差結(jié)構(gòu)和反向殘差結(jié)構(gòu)((a)殘差結(jié)構(gòu)；(b)反向殘差結(jié)構(gòu))

反向殘差結(jié)構(gòu)利用點(diǎn)卷積將通道數(shù)擴(kuò)增，然后在更高層中進(jìn)行深度卷積，最后使用點(diǎn)卷積將通道縮減。反向殘差網(wǎng)路借助于殘差連接改善特征的梯度傳播能力，使得網(wǎng)絡(luò)層更深，同時(shí)網(wǎng)絡(luò)使用更小的輸入、輸出維度，極大地降低網(wǎng)絡(luò)的計(jì)算消耗和參數(shù)體積。另外反向殘差網(wǎng)路具有高效的CPU和內(nèi)存推理能力，能夠構(gòu)建靈活的移動(dòng)端模型，從而適用于移動(dòng)設(shè)備程序。

2.1.2 MobileNetV3寬度系數(shù)調(diào)整

MobileNet中提出了，2個(gè)超參數(shù)。其中作為寬度系數(shù)，可以調(diào)整卷積核的個(gè)數(shù)，將卷積核調(diào)整為原來的倍；用以控制輸入圖像尺寸。使用DSC調(diào)整后的計(jì)算量，即

寬度系數(shù)的調(diào)整可以直接將計(jì)算量、體積降低至1/2，極大地減少模型的參數(shù)量和計(jì)算量，而精度損失很小。本文設(shè)置=0.5。

2.2 YOLOv5s模型注意力機(jī)制的改進(jìn)

實(shí)驗(yàn)中大部分漏檢發(fā)生在目標(biāo)大小突然劇烈變化時(shí)，特別是從完整的站立或行走狀態(tài)的人物，突然劇烈變化為摔倒、蜷縮、下蹲的人體外形時(shí)，漏檢率非常高。這也側(cè)面說明YOLOv5s中原生的輕量級(jí)注意力機(jī)制SE-Net，在目標(biāo)尺度突然劇烈變化時(shí)可能效果有限。

相比于SE-Net只注重通道像素的重要性[26]，CBAM[28]作為一種輕量級(jí)的注意力模型，綜合考慮了不同通道像素和同一通道不同位置像素在重要性上的區(qū)別，是一種簡單、高效的注意力機(jī)制設(shè)計(jì)實(shí)現(xiàn)，計(jì)算消耗極小，且能與卷積網(wǎng)絡(luò)無縫集成并用于端到端的訓(xùn)練。

通道注意力模塊、空間注意力模塊共同構(gòu)成CBAM，輸入特征會(huì)沿著順序結(jié)構(gòu)依次推斷輸入中所含的注意力特征，然后再將注意力特征向量和輸入特征向量相乘來實(shí)現(xiàn)自適應(yīng)特征優(yōu)化。如圖4所示。

相應(yīng)的表達(dá)式為

圖4 通道和空間注意力機(jī)制((a)通道注意力機(jī)制；(b)空間注意力機(jī)制)

Fig. 4 Channel and spatial attention mechanisms ((a) Channel attention mechanism; (b) Spatial attention mechanism)

從圖4(a)可以看出，通道注意力向量沿著空間維度運(yùn)算得到特征向量，并與輸入特征相乘。圖4(b)表示空間注意力向量，沿著通道方向運(yùn)算得到特征向量后與輸入特征相乘。

在目標(biāo)檢測(cè)模型中用CBAM注意力機(jī)制替換SE-Net模塊來優(yōu)化目標(biāo)檢測(cè)精度，使目標(biāo)特征提取更完全，從而改善人物姿勢(shì)劇烈變化時(shí)出現(xiàn)的目標(biāo)丟失問題。

2.3 YOLOv5s特征融合網(wǎng)絡(luò)優(yōu)化

頸部層可使主干網(wǎng)絡(luò)提取的特征更充分地被利用，通常對(duì)各階段直接增加由自底向上和自頂向下的路徑，對(duì)各階段的特征圖進(jìn)行再處理，實(shí)現(xiàn)各階段特征圖的多尺度融合，該方式主要用于生成FPN，F(xiàn)PN會(huì)增強(qiáng)模型對(duì)于不同縮放尺度對(duì)象的檢測(cè)能力[14]?，F(xiàn)常用的頸部結(jié)構(gòu)有：FPN，PANet，NAS-FPN，BiFPN，且PANet比FPN和NAS-FPN更精確，但缺點(diǎn)是參數(shù)多和計(jì)算消耗大[29]。鑒于移動(dòng)端或邊緣設(shè)備上的資源約束，以優(yōu)化模型大小和延遲導(dǎo)向來重新考慮YOLOv5s模型中的多尺度融合策略。

FPN為底層特征圖提供了更多的語義信息，提高了小尺寸目標(biāo)的檢測(cè)效果。最近，研究人員在FPN的基礎(chǔ)上設(shè)計(jì)實(shí)現(xiàn)了更多的跨尺度特征融合網(wǎng)絡(luò)[29]。YOLOv5s的頸部結(jié)構(gòu)部分采用了 PANet結(jié)構(gòu)，如圖5所示。

圖5中FPN是普通的特征金字塔，包含自底向上和自頂向下雙向通道特征提取路徑，從而融合高分辨率的低層和語義信息豐富的高層[14]。

PANet 結(jié)構(gòu)是在FPN的基礎(chǔ)上引入了自底向上路徑增強(qiáng)結(jié)構(gòu)，使得高層特征直接獲取低層更多的位置信息，另外從結(jié)構(gòu)中也能看到其特點(diǎn)是反復(fù)的特征提取，因此需要更多的計(jì)算消耗，模型體積也更大。為優(yōu)化YOLOv5s-FPD的結(jié)構(gòu)，利用加權(quán)雙向特征金字塔網(wǎng)絡(luò)BiFPN來減少特征融合不必要的計(jì)算，其改進(jìn)如圖6所示。

BiFPN特征融合設(shè)計(jì)如圖6(c)中所示，對(duì)應(yīng)的融合計(jì)算過程(其他層類似)為

BiFPN優(yōu)化跨尺度連接的思想和策略主要是：移除對(duì)融合貢獻(xiàn)率小的結(jié)點(diǎn)，在同層的結(jié)點(diǎn)間添加跳躍連接，以實(shí)現(xiàn)同層和更高層次的特征融合效率[29]。

如圖7所示，DSC融合特征被送入分類回歸網(wǎng)絡(luò)，網(wǎng)絡(luò)權(quán)重在所有級(jí)別的特性之間共享，在每次卷積后進(jìn)行批歸一化和激活，實(shí)現(xiàn)BiFPN的雙向跨尺度連接和快速歸一化融合[29]。

圖5 PANet結(jié)構(gòu)圖

圖6 特征網(wǎng)絡(luò)設(shè)計(jì)((a)FPN結(jié)構(gòu)設(shè)計(jì)；(b)PANet結(jié)構(gòu)設(shè)計(jì)；(c)BiFPN結(jié)構(gòu)設(shè)計(jì))

2.4 焦點(diǎn)損失函數(shù)的改進(jìn)

通常情況下對(duì)目標(biāo)檢測(cè)而言，正樣本數(shù)量要遠(yuǎn)小于負(fù)樣本數(shù)量，從而造成樣本失衡，可致訓(xùn)練過程中特征較少而影響網(wǎng)絡(luò)模型的收斂性和準(zhǔn)確性[30]。樣本失衡問題不僅包括正負(fù)樣本數(shù)量的不平衡性，同時(shí)也可以表現(xiàn)為難分和易分樣本的數(shù)量不平衡。評(píng)估目標(biāo)檢測(cè)中的總損失，往往期望更關(guān)注模型在正樣本和難分樣本目標(biāo)檢測(cè)時(shí)的準(zhǔn)確性和魯棒性，但模型評(píng)估中負(fù)樣本和易分樣本的損失比例過大，從而造成損失評(píng)估偏離理想方向。另外易分樣本的易收斂性也會(huì)直接導(dǎo)致數(shù)量不占優(yōu)的難分樣本的特征提取不充分。

文獻(xiàn)[30]認(rèn)為，樣本失衡是導(dǎo)致單階段目標(biāo)檢測(cè)算法準(zhǔn)確性不如兩階段的主要原因。焦點(diǎn)損失函數(shù)(focal loss，F(xiàn)L)降低了低特征貢獻(xiàn)率的負(fù)樣本在特征提取時(shí)所占比重，是一種簡單直接地提取難分樣本特征的方法，用于解決樣本失衡和提高目標(biāo)檢測(cè)算法的準(zhǔn)確度。

在YOLOv5中使用交叉熵二分類損失評(píng)估，即

其中，為真實(shí)標(biāo)記數(shù)值；?為經(jīng)過激活函數(shù)的檢測(cè)概率值(在0～1之間)。正樣本的?數(shù)值與損失成反比，負(fù)樣本的?數(shù)值與損失成正比。這樣的損失評(píng)估方式在難分樣本數(shù)量占劣的迭代過程中，收斂緩慢甚至可能根本無法找到最優(yōu)解[30]，因此考慮使用基于二分類交叉熵的Focal Loss損失函數(shù)進(jìn)行改進(jìn)，即

式(6)中加入了因子，以減少易分樣本的關(guān)注度，訓(xùn)練中用訓(xùn)練時(shí)間去提取難分或易錯(cuò)分的樣本特征，以加強(qiáng)這些樣本的特征提取能力、識(shí)別能力和魯棒性。另外單純依靠關(guān)注度因子去平衡樣本數(shù)量比例無法解決前文中所提到的特征貢獻(xiàn)率問題，因此增加特征貢獻(xiàn)率因子來調(diào)節(jié)2種樣本的特征權(quán)重貢獻(xiàn)率為

關(guān)注度調(diào)整因子的影響力隨著的變化而變化(=0時(shí)退化為交叉熵二分類損失函數(shù))，實(shí)驗(yàn)[30]采用最優(yōu)，數(shù)值分別為=0.25，=2。

3 實(shí)驗(yàn)結(jié)果及對(duì)比分析

3.1 實(shí)驗(yàn)環(huán)境

本次實(shí)驗(yàn)均在表2的實(shí)驗(yàn)平臺(tái)中進(jìn)行。

表2 實(shí)驗(yàn)平臺(tái)

3.2 實(shí)驗(yàn)所用數(shù)據(jù)集

3.2.1 數(shù)據(jù)集獲取

本文實(shí)驗(yàn)的數(shù)據(jù)集來源見表3。

其中使用Le2i數(shù)據(jù)集(Le2i Dataset)作為訓(xùn)練測(cè)試驗(yàn)證數(shù)據(jù)集，使用UR數(shù)據(jù)集(UR Dataset)和Multiple數(shù)據(jù)集(Multiple Dataset)的部分視頻圖像用于評(píng)估YOLOv5s-FPD模型的泛化能力和魯棒性。

表3 跌倒檢測(cè)的數(shù)據(jù)集

3.2.2 數(shù)據(jù)集標(biāo)注

對(duì)于無標(biāo)注的數(shù)據(jù)集部分，本文使用LabelImg標(biāo)注。

3.2.3 數(shù)據(jù)集擴(kuò)充與劃分

本文利用多種方式的圖像轉(zhuǎn)換，對(duì)所用的跌倒目標(biāo)數(shù)據(jù)集進(jìn)行擴(kuò)充操作，分別使用表4中的對(duì)稱翻轉(zhuǎn)、運(yùn)動(dòng)模糊、高斯模糊、亮度對(duì)比度變換、圖像旋轉(zhuǎn)來處理原始數(shù)據(jù)集。

圖8展示了Le2i數(shù)據(jù)集中選取的3種跌倒姿勢(shì)圖像經(jīng)擴(kuò)充變換處理后的效果。

表4 跌倒數(shù)據(jù)集擴(kuò)充操作

圖8 圖像變換效果對(duì)比((a)原圖；(b)對(duì)稱翻轉(zhuǎn)；(c)運(yùn)動(dòng)模糊；(d)添加高斯噪聲；(e)亮度對(duì)比變換；(f)圖像旋轉(zhuǎn))

Le2i數(shù)據(jù)集共包含191個(gè)視頻文件合計(jì)75 911幀(其中132個(gè)跌倒視頻，59個(gè)非跌倒視頻)，使用表4中的5種圖像變換方式擴(kuò)充后，共1 146個(gè)視頻文件(其中792個(gè)跌倒視頻，354個(gè)非跌倒視頻)，使用腳本將全部視頻按照8∶1∶1的比例隨機(jī)劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集，具體視頻文件數(shù)量分別為訓(xùn)練集917個(gè)、測(cè)試集115個(gè)和驗(yàn)證集114個(gè)。

3.2.4 訓(xùn)練過程

YOLOv5s-FPD采用了多尺度訓(xùn)練方式迭代300輪，初始學(xué)習(xí)率0.000 1，輸入圖像大小為640×640，批處理大小16。另外設(shè)交并比(intersection over union，IoU)等于0.5以區(qū)分正、負(fù)樣本。

3.3 模型算法評(píng)價(jià)指標(biāo)

本文選取了反映目標(biāo)檢測(cè)模型檢測(cè)水平的6種常用評(píng)價(jià)指標(biāo)，對(duì)改進(jìn)后的檢測(cè)網(wǎng)絡(luò)模型進(jìn)行評(píng)價(jià)。

(1) 精確度(Precision，P)、召回率(Recall，R)和1分?jǐn)?shù)

其中，T為跌倒目標(biāo)被正確檢測(cè)出來的數(shù)量；F為被跌倒誤檢的目標(biāo)數(shù)量；F為跌倒未被檢測(cè)出的樣本數(shù)量；

1分?jǐn)?shù)可以看作是模型精確率和召回率的一種調(diào)和平均，同時(shí)兼顧了分類模型的精確率和召回率。

(2) 平均精度(average precision，AP)、平均精度均值(mean average precision，mAP)為

其中，N為類別個(gè)數(shù)；為不同類別的平均精度。得到每一類的值后，將其平均就得到。

(3) 幀速(frames per second，F(xiàn)PS)：通常用來衡量目標(biāo)檢測(cè)模型的實(shí)時(shí)性，其表示神經(jīng)網(wǎng)絡(luò)每秒能處理圖片的數(shù)量。

3.4 消融實(shí)驗(yàn)

YOLOv5s-FPD對(duì)YOLOv5s模型的特征提取、注意力機(jī)制和特征融合方法進(jìn)行了改進(jìn)，同時(shí)引入了焦點(diǎn)損失函數(shù)。為評(píng)估不同模塊改動(dòng)和不同模塊組合對(duì)于算法性能優(yōu)化的程度，設(shè)計(jì)了消融實(shí)驗(yàn)，消融實(shí)驗(yàn)數(shù)據(jù)見表5。

消融實(shí)驗(yàn)數(shù)據(jù)表明，每種改進(jìn)對(duì)最終結(jié)果產(chǎn)生了不同程度的優(yōu)化，如：

實(shí)驗(yàn)2表明，引入MobileNetV3降低了3.2%目標(biāo)漏檢率的同時(shí)幀速度提高約10 FPS；實(shí)驗(yàn)3和實(shí)驗(yàn)4表明，CBAM和BiFPN對(duì)于識(shí)別準(zhǔn)確率的貢獻(xiàn)相對(duì)較為明顯，mAP分別提升2.1%和2.0%；實(shí)驗(yàn)5表明，焦點(diǎn)損失優(yōu)化對(duì)漏檢率影響較大，本文可降低5.5%的人物漏檢率。

不同的組合對(duì)模型整體表現(xiàn)也基本呈現(xiàn)正向優(yōu)化，對(duì)比實(shí)驗(yàn)12和實(shí)驗(yàn)16，mAP提升1.9%的同時(shí)，體積僅增加0.7 M，漏檢率減少了1.3%，與實(shí)驗(yàn)5比較，也說明MobileNetV3和CBAM，BiFPN結(jié)合，在降低漏檢率的同時(shí)，也削弱焦點(diǎn)損失函數(shù)對(duì)漏檢率的優(yōu)化程度。對(duì)比實(shí)驗(yàn)13和實(shí)驗(yàn)16，二者在幀速上的區(qū)別，也驗(yàn)證了BiFPN具有更強(qiáng)的特征融合能力和效率。對(duì)比實(shí)驗(yàn)14和實(shí)驗(yàn)16，mAP提升3.4%的同時(shí)，模型體積僅增加了0.2 M，表明了CBAM輕量級(jí)注意力模型，能以極小的代價(jià)提高模型精度。對(duì)比實(shí)驗(yàn)15和實(shí)驗(yàn)16，MobileNetV3的能力主要體現(xiàn)在對(duì)模型體積、速度和漏檢率上，同時(shí)mAP參數(shù)仍然有1.1%的提升。

4種不同策略的組合，產(chǎn)生的優(yōu)化結(jié)果不同，例如實(shí)驗(yàn)9雖然比實(shí)驗(yàn)16的mAP高出0.2%，但漏檢率卻差了近一倍，所以說明其策略組合并不理想。同時(shí)采用4種策略，雖然某種程度上可能會(huì)削弱單個(gè)策略的優(yōu)化程度，但卻取得了5.2%的最低漏檢率，同時(shí)保持了精確度、速度和模型大小的較優(yōu)值，達(dá)到了本文環(huán)境中的較為理想的平衡效果。

3.5 對(duì)比實(shí)驗(yàn)

使用基于Le2i數(shù)據(jù)擴(kuò)充的跌倒人物數(shù)據(jù)集分別訓(xùn)練SSD，F(xiàn)aster-RCNN，YOLOv4，YOLOv5s和YOLOv5s-FPD模型，結(jié)果見表6。

表5 消融實(shí)驗(yàn)結(jié)果對(duì)比

注：●為采用此策略；○為不采用此策略

表6 4種算法的性能對(duì)比

通過表6可知，在相同的Le2i數(shù)據(jù)集上，YOLOv5s-FPD算法的檢測(cè)精度為92.49%，相比SSD，F(xiàn)aster RCNN，YOLOv4 和YOLOv5s算法，精確度分別提高了3.52%，1.79%，1.61%和2.91%，以上說明YOLOv5-FPD具有更好的準(zhǔn)確性。

在模型的體積上，YOLOv5s-FPD具有最小的體積7.9 M，遠(yuǎn)小于SSD，F(xiàn)aster RCNN和YOLOv4模型，并且體積只是YOLOv5s體積的56%。

同時(shí)，從檢測(cè)速度上而言，YOLOv5s-FPD 的檢測(cè)速率優(yōu)于SSD，F(xiàn)aster RCNN，YOLOv4和YOLOv5s模型，YOLOv5s-FPD比Faster RCNN檢測(cè)速率快了24.2倍，比YOLOv4模型快了2.22倍；YOLOv5s-FPD與SSD算法相比，雖然檢測(cè)速率只快了3.2 FPS，但檢測(cè)精度大幅度提升，F(xiàn)1分?jǐn)?shù)提升了0.04。YOLOv5s-FPD與YOLOv5算法相比，F(xiàn)1分?jǐn)?shù)提升了0.03，同時(shí)檢測(cè)速率快了8.7 FPS。以上表明了YOLOv5-FPD具有更好的實(shí)時(shí)性。

實(shí)驗(yàn)訓(xùn)練得到Y(jié)OLOv5s-FPD模型的P-R (Precision-Recall)曲線，如圖9所示。由P-R曲線可知，絕大部分時(shí)，灰色曲線表示的falling person類別都比紅色曲線表示的person類別更靠近坐標(biāo)(1,1)位置，表示前者的準(zhǔn)確性更高，同時(shí)藍(lán)色曲線表示的全部類別平均精度，也比person類別曲線更高，YOLOv5s-FPD模型精度提升明顯。

圖9 YOLOv5s-FPD的P-R曲線

3.6 視頻檢測(cè)結(jié)果

在跌倒初期(身體有摔倒傾向時(shí))和跌倒中期(身體開始倒向地面)漏檢情況極少，漏檢高頻發(fā)生主要集中跌倒末期(身體基本貼近地面)和特殊視角檢測(cè)時(shí)，常見的幾種情況有：①待檢測(cè)目標(biāo)身體呈現(xiàn)遮擋，腿部和軀干遮擋較多，嚴(yán)重時(shí)只有單臂和頭部可見；②軀干與地面傾斜到特殊角度；③特殊視角檢測(cè)時(shí)，人體外形呈現(xiàn)為中小目標(biāo)或倒置、旋轉(zhuǎn)目標(biāo)。在這些常見的跌倒漏檢視頻上驗(yàn)證YOLOv5s-FPD檢測(cè)效果。

圖10中2個(gè)驗(yàn)證視頻來源于Le2i數(shù)據(jù)集中的Coffee room環(huán)境，該數(shù)據(jù)集環(huán)境只有一個(gè)攝像視角為45°斜向下近景，YOLOv5s-FPD算法解決了圖10(a)中的漏檢情況，并提高了圖10(c)5%的檢測(cè)置信度。

圖10 Le2i數(shù)據(jù)集Coffee room檢測(cè)結(jié)果((a)漏檢問題改善前；(b)漏檢問題改善后；(c)置信度提高前；(d)置信度提高后)

圖11的2個(gè)驗(yàn)證視頻來源于Multiple數(shù)據(jù)集，該數(shù)據(jù)集環(huán)境有8個(gè)攝像角度，選取2個(gè)攝像視角為45°斜向下遠(yuǎn)景，YOLOv5s-FPD算法解決了圖11(a)的漏檢情況，并提高了圖11(c)情況中24%的檢測(cè)置信度。

圖11 Multiple數(shù)據(jù)集檢測(cè)結(jié)果一((a)漏檢改善前；(b)漏檢改善后；(c)置信度提高前；(d)置信度提高后)

當(dāng)人物目標(biāo)動(dòng)作相對(duì)緩慢，人物外形特征也較為明顯，遮擋也只發(fā)生在身體的下半部分，YOLOv5s檢測(cè)仍然有效，圖12中的目標(biāo)人物，反映了YOLOv5s-FPD只提高檢測(cè)置信度的情況，如圖12(b)和圖12(d)，分別提高了4%和6%。

訓(xùn)練數(shù)據(jù)集的圖像絕大部分都是人體與圖像的上下兩部分對(duì)應(yīng)，而不是相反，這也導(dǎo)致了特殊視角下的人物目標(biāo)檢測(cè)(比如攝像視角位于人物的正上方)困難，對(duì)人物檢測(cè)模型提出新的挑戰(zhàn)。圖13反映了YOLOv5s-FPD解決正上方視角下的目標(biāo)漏檢問題，效果如圖13(d)，并且提高了水平視角下的人物檢測(cè)置信度，效果如圖13(b)。

從Le2i和UR 2個(gè)跌倒數(shù)據(jù)集中選取漏檢率比較高、遮擋嚴(yán)重的視頻，來測(cè)試模型在目標(biāo)遮擋時(shí)的魯棒性，如圖14所示。肢體發(fā)生遮擋，如圖14(b)為下肢遮擋時(shí)檢測(cè)結(jié)果，圖14(d)為部分軀干遮擋時(shí)檢測(cè)結(jié)果，YOLOv5s-FPD也能夠以較低的置信度來檢測(cè)出人物目標(biāo)。因此對(duì)于解決或改善一些典型漏檢情況，如特殊視角或遮擋情況下的目標(biāo)檢測(cè)，YOLOv5s-FPD的魯棒性更強(qiáng)。

圖12 Multiple數(shù)據(jù)集檢測(cè)結(jié)果二((a)置信度提高前；(b)置信度提高后；(c)置信度提高前；(d)置信度提高后)

圖13 UR數(shù)據(jù)集檢測(cè)結(jié)果((a)置信度提高前；(b)置信度提高后；(c)漏檢改善前；(d)漏檢改善后)

圖14 遮擋時(shí)的檢測(cè)結(jié)果((a)下肢遮擋改善前；(b)下肢遮擋改善后；(c)軀干遮擋改善前；(d)軀干遮擋改善后)

4 結(jié)束語

YOLOv5s-FPD使用MobileNetV3進(jìn)行特征提取來改善原生YOLOv5s的輕量化方法對(duì)模型準(zhǔn)確性的影響，并引入CBAM輕量化注意力機(jī)制和焦點(diǎn)損失函數(shù)來提升檢測(cè)模型的特征提取能力。實(shí)驗(yàn)結(jié)果表明，使用YOLOv5s-FPD模型的目標(biāo)漏檢率大大降低，同時(shí)模型體積和檢測(cè)速度均有了一定程度的優(yōu)化，泛化能力和魯棒性更強(qiáng)，更易于作為智能看護(hù)系統(tǒng)的基礎(chǔ)模型部署在移動(dòng)設(shè)備和邊緣設(shè)備上，具有一定的實(shí)際意義和社會(huì)價(jià)值。

[1] 黃明安, 陳鈺. 中國人口老齡化的現(xiàn)狀及建議[J]. 經(jīng)濟(jì)研究導(dǎo)刊, 2018(10): 54-58, 66.

HUANG M G, CHEN Y. The status quo and advice of China’s ageing[J]. Economic Research Guide, 2018(10): 54-58, 66 (in Chinese).

[2] GE Y F, WANG L J, FENG W M. et al. The challenge and strategy selection of healthy aging in China[J]. Journal of Management World 2020, 36:86-95.

[3] VIOLA P, JONES M. Rapid object detection using a boosted cascade of simple features[OE/BL]. [2021-06-12]. https:// ieeexplore.ieee.org/document/990517.

[4] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2005: 886-893.

[5] FELZENSZWALB P F, GIRSHICK R B, MCALLESTER D, et al. Object detection with discriminatively trained part-based models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1627-1645.

[6] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2014: 580-587.

[7] GIRSHICK R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision. New York: IEEE Press, 2015: 1440-1448.

[8] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[9] HE K M, GKIOXARI G, DOLLáR P, et al. Mask R-CNN[C]//2017 IEEE International Conference on Computer Vision. New York: IEEE Press, 2017: 2980-2988.

[10] LIU W, ANGUELOV D, ERHAN D, et al. SSD: single shot MultiBox detector[M]//Computer Vision - ECCV 2016. Cham: Springer International Publishing, 2016: 21-37.

[11] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 779-788.

[12] REDMON J, FARHADI A. YOLO9000: better, faster, stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 6517-6525.

[13] REDMON J, FARHADI A. YOLOv3: an incremental improvement [EB/OL]. (2018-04-08) [2021-06-04]. https:// arxiv.org/abs/1804.02767.

[14] LIN T Y, DOLLáR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 936-944.

[15] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: optimal speed and accuracy of object detection[EB/OL]. (2020-04-23) [2021-06-04]. https://arxiv.org/abs/2004.10934.

[16] 馬敬奇, 雷歡, 陳敏翼. 基于AlphaPose優(yōu)化模型的老人跌倒行為檢測(cè)算法[J]. 計(jì)算機(jī)應(yīng)用, 2022, 42(1): 294-301.

MA J Q, LEI H, CHEN M Y. Fall behavior detection algorithm for the elderly based on AlphaPose optimization model[J]. Journal of Computer Applications, 2022, 42(1): 294-301 (in Chinese).

[17] 曹建榮, 呂俊杰, 武欣瑩, 等. 融合運(yùn)動(dòng)特征和深度學(xué)習(xí)的跌倒檢測(cè)算法[J]. 計(jì)算機(jī)應(yīng)用, 2021, 41(2): 583-589.

CAO J R, LYU J J, WU X Y, et al. Fall detection algorithm integrating motion features and deep learning[J]. Journal of Computer Applications, 2021, 41(2): 583-589 (in Chinese).

[18] 宋爽, 張悅, 張琳娜, 等. 基于深度學(xué)習(xí)的輕量化目標(biāo)檢測(cè)算法[J]. 系統(tǒng)工程與電子技術(shù), 2022, 44(9): 2716-2725.

SONG S, ZHANG Y, ZHANG L N, et al. Lightweight target detection algorithm based on deep learning[J]. Systems Engineering and Electronics, 2022, 44(9): 2716-2725 (in Chinese).

[19] 張?zhí)諏? 陳恩慶, 肖文福. 一種改進(jìn)MobileNet＿YOLOv3網(wǎng)絡(luò)的快速目標(biāo)檢測(cè)方法[J]. 小型微型計(jì)算機(jī)系統(tǒng), 2021, 42(5): 1008-1014.

ZHANG T N, CHEN E Q, XIAO W F. Fast target detection method for improving MobileNet＿YOLOv3 network[J]. Journal of Chinese Computer Systems, 2021, 42(5): 1008-1014 (in Chinese).

[20] 許德剛, 王露, 李凡. 深度學(xué)習(xí)的典型目標(biāo)檢測(cè)算法研究綜述[J]. 計(jì)算機(jī)工程與應(yīng)用, 2021, 57(8): 10-25.

XU D G, WANG L, LI F. Review of typical object detection algorithms for deep learning[J]. Computer Engineering and Applications, 2021, 57(8): 10-25 (in Chinese).

[21] HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence. New York: IEEE Press, 2014: 1904-1916.

[22] LIU S, QI L, QIN H F, et al. Path aggregation network for instance segmentation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 8759-8768.

[23] WANG C Y, MARK LIAO H Y, WU Y H, et al. CSPNet: a new backbone that can enhance learning capability of CNN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. New York: IEEE Press, 2020: 1571-1580.

[24] HOWARD A, SANDLER M, CHEN B, et al. Searching for MobileNetV3[C]//2019 IEEE/CVF International Conference on Computer Vision. New York: IEEE Press, 2019: 1314-1324.

[25] SANDLER M, HOWARD A, ZHU M L, et al. MobileNetV2: inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 4510-4520.

[26] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 7132-7141.

[27] HOWARD A G, ZHU M, CHEN B, et al. MobileNets: efficient convolutional neural networks for mobile vision applications[EB/OL]. [2021-06-23]. https://arxiv.org/abs/1704. 04861.

[28] WOO S, PARK J, LEE J Y, et al. CBAM: convolutional block attention module[M]//Computer Vision - ECCV 2018. Cham: Springer International Publishing, 2018: 3-19.

[29] TAN M X, PANG R M, LE Q V. EfficientDet: scalable and efficient object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New York: IEEE Press, 2020: 10778-10787.

[30] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C]//2017 IEEE International Conference on Computer Vision. New York: IEEE Press, 2017: 2999-3007.

An object detection method of falling person based on optimized YOLOv5s

WU Li-zhan, WANG Xia-li, ZHANG Qian, WANG Wei-hao, LI Chao

(School of Information Engineering, Chang’an University, Xi’an Shaanxi 710064, China)

To address the problems of easy missing, poor robustness and generalization ability when object detection model is detecting a person falling down, a new detection method YOLOv5s-FPD was proposed based on the improved YOLOv5s. Firstly, the Le2i fall detection data set was expanded in various ways for model training to enhance model robustness and generalization ability. Secondly, MobileNetV3 was employed as the backbone network for feature extraction, which could coordinate and balance the relationship between lightness and accuracy of the model. Furthermore, BiFPN (bi-directional feature pyramid network) was utilized to boost model multi-scale feature fusion ability, thereby improving the efficiency and speed of fusion. Meanwhile, the CBAM (convolutional block attention module) lightweight attention mechanism was adopted to realize double focus attention to channel and space, enhancing the effect of attention mechanism on model accuracy. Finally, Focal Loss evaluation was used to pay more attention to hard example mining and alleviate the samples imbalance problem. The experimental results show that the precision, F1score, and detection speed of YOLOv5s-FPD model were improved by 2.91%, 0.03, and 8.7 FPS, respectively, compared with the original YOLOv5s model on Le2i fall detection dataset, which verified the effectiveness of the proposed method.

object detection; YOLOv5s; MobileNetV3; lightweight attention; multi-scale feature fusion; focal loss function

TP 391

10.11996/JG.j.2095-302X.2022050791

A

2095-302X(2022)05-0791-12

2022-04-13；

2022-06-10

13 April，2022；

10 June，2022

國家自然科學(xué)基金項(xiàng)目(51678061)

National Natural Science Foundation of China (51678061)

武歷展(1989-)，男，碩士研究生。主要研究方向?yàn)閳D形圖像處理、目標(biāo)檢測(cè)與動(dòng)作識(shí)別。E-mail：1215719889@qq.com

WU Li-zhan (1989-), master student. His main research interests cover graphic image processing, object detection and action recognition. E-mail：1215719889@qq.com

王夏黎(1965-)，男，副教授，博士。主要研究方向?yàn)閳D形圖像處理與模式識(shí)別。E-mail：1225947082@qq.com

WANG Xia-li (1965-), associate professor, Ph.D. His main research interests cover graphic image processing and pattern recognition. E-mail：1225947082@qq.com