王 萍，陳 楠，魯 磊，2

（1.西安交通大學(xué) 信息與通信工程學(xué)院，西安 710049；2.綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室（西安電子科技大學(xué)），西安 710071）

0 引言

跌倒威脅到人的健康和安全，尤其隨著社會(huì)經(jīng)濟(jì)的進(jìn)步和發(fā)展，全球人口正步入老齡化階段，有效保障獨(dú)居老人在居家和出行時(shí)的人身安全更是社會(huì)需要關(guān)切的問(wèn)題。及時(shí)準(zhǔn)確地檢測(cè)跌倒事件有助于提供快速救援，降低受傷的嚴(yán)重程度。已有跌倒檢測(cè)算法或單純依靠人工觀察發(fā)現(xiàn)，或依賴于可穿戴設(shè)備、環(huán)境傳感器等硬件裝置，使用不便且易受噪聲干擾。隨著安防監(jiān)控網(wǎng)絡(luò)建設(shè)的不斷完善和計(jì)算機(jī)視覺(jué)技術(shù)的飛速發(fā)展，基于視覺(jué)的跌倒檢測(cè)算法越來(lái)越受到重視。通過(guò)攝像頭獲取圖像或視頻，利用計(jì)算機(jī)視覺(jué)分析算法自動(dòng)檢測(cè)跌倒事件，可以降低人工成本、及時(shí)發(fā)現(xiàn)危險(xiǎn)。因此，基于視覺(jué)研究高效、準(zhǔn)確的跌倒檢測(cè)算法日漸重要。

跌倒檢測(cè)算法主要分為基于可穿戴設(shè)備、基于環(huán)境感知和基于視覺(jué)三種類別?；诳纱┐髟O(shè)備的算法使用電子傳感器（如加速度計(jì)、陀螺儀等）收集數(shù)據(jù)，并提供給計(jì)算機(jī)系統(tǒng)或嵌入式系統(tǒng)進(jìn)行分析以檢測(cè)跌倒。如Mathie 等［1］利用一個(gè)安裝在腰部的加速度測(cè)量系統(tǒng)檢測(cè)跌倒事件；Lai 等［2］使用多個(gè)三軸加速器感應(yīng)意外跌倒時(shí)身體易受傷部分的關(guān)節(jié)點(diǎn)的加速度值；Chaitep 等［3］從加速度計(jì)數(shù)據(jù)推導(dǎo)出重力值進(jìn)而判斷是否發(fā)生跌倒。該類算法計(jì)算成本低、易于實(shí)施，但需要人們長(zhǎng)期佩戴、用戶體驗(yàn)較差。

基于環(huán)境感知的算法通過(guò)安裝在人員活動(dòng)區(qū)域的傳感器采集壓力、震動(dòng)和聲音等信息，進(jìn)而識(shí)別跌倒事件。如Alwan 等［4］鑒于人跌倒所產(chǎn)生的震動(dòng)信號(hào)和正?；顒?dòng)如行走所產(chǎn)生的震動(dòng)信號(hào)的不同，使用壓電傳感器監(jiān)控地板的震動(dòng)模式判斷跌倒事件；Li 等［5］利用圓形麥克風(fēng)陣列收集周圍環(huán)境的聲音信號(hào)，進(jìn)而檢測(cè)跌倒事件；Wang 等［6］利用無(wú)線技術(shù)識(shí)別傳感器周圍的環(huán)境變化，建立了無(wú)線信號(hào)和人活動(dòng)之間的關(guān)系。此類算法雖不需要隨身佩戴傳感器，但部署成本較高，且對(duì)噪聲敏感而容易產(chǎn)生誤報(bào)。

基于視覺(jué)的算法大多偏重于對(duì)人身體姿態(tài)的特征進(jìn)行建模，通過(guò)對(duì)人員身體的檢測(cè)及身體姿態(tài)屬性的分析來(lái)對(duì)跌倒?fàn)顟B(tài)進(jìn)行判別。在早期基于機(jī)器學(xué)習(xí)的算法中，通過(guò)設(shè)計(jì)和提取手工特征，再利用多層感知機(jī)、支持向量機(jī)（Support Vector Machines，SVM）、決策樹(shù)、K 近鄰等模式識(shí)別算法對(duì)提取的特征進(jìn)行預(yù)測(cè)，達(dá)到區(qū)分跌倒事件和正常事件的目的。如Charfi 等［7］提取人體輪廓的軌跡特征，再利用支持向量機(jī)分類器判斷是否有跌倒事件；Yun 等［8］將提取的人體重心周圍的占地面積、角度等特征送入機(jī)器學(xué)習(xí)算法；張舒雅等［9］提出一種基于SVM 和K 近鄰分類的跌倒檢測(cè)算法。這類算法雖然可以通過(guò)精心設(shè)計(jì)特征和選擇分類器獲得良好的性能，但是前景對(duì)象分割和特征提取容易受到圖像噪聲、光照變化和遮擋的影響，從而導(dǎo)致算法在復(fù)雜環(huán)境中魯棒性較差。

隨著深度學(xué)習(xí)技術(shù)，尤其是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在圖像分類、目標(biāo)檢測(cè)、圖像分割、自然語(yǔ)言處理等計(jì)算機(jī)視覺(jué)領(lǐng)域［10-11］取得巨大成功，一些研究人員也將深度學(xué)習(xí)算法應(yīng)用于跌倒檢測(cè)任務(wù)。Fan 等［12］將包含跌倒4 個(gè)階段（站立、正在跌倒、已經(jīng)跌倒、靜止）的視頻序列整合為一個(gè)動(dòng)態(tài)圖，輸入到深度卷積網(wǎng)絡(luò)中訓(xùn)練一個(gè)識(shí)別跌倒事件的深度學(xué)習(xí)模型；Min 等［13］在跌倒檢測(cè)中考慮了場(chǎng)景信息，但使用了Faster RCNN（Region-based Convolutional Neural Network）而導(dǎo)致算法效率較低，無(wú)法滿足實(shí)時(shí)性要求；Feng 等［14］提出一種基于注意力引導(dǎo)的長(zhǎng)短期記憶（Long-Short-Term Memory，LSTM）網(wǎng)絡(luò)跌倒檢測(cè)模型，首先利用YOLOv3（You Only Look Once version 3）檢測(cè)視頻中的行人，然后通過(guò)一個(gè)跟蹤模塊跟蹤行人軌跡，之后通過(guò)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)提取行人框特征進(jìn)而判斷是否發(fā)生跌倒事件；Lie等［15］先采用卷積神經(jīng)網(wǎng)絡(luò)為每個(gè)輸入幀提取人體的2D 骨架信息，再使用具有LSTM 單元的循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）處理骨骼序列以充分利用空間信息和時(shí)間信息；伏娜娜等［16］提出一種基于YOLOv5s（YOLOv5 Small）的人體目標(biāo)檢測(cè)結(jié)合輕量級(jí)OpenPose 人體姿態(tài)估計(jì)模型的跌倒檢測(cè)算法。此類深度學(xué)習(xí)算法雖然識(shí)別精度較高，但需要預(yù)先提取人體形狀或骨架信息，計(jì)算較為復(fù)雜。

本文工作源于一個(gè)實(shí)際應(yīng)用場(chǎng)景：日常生活中電梯使用日趨頻繁，當(dāng)人獨(dú)自乘梯發(fā)生跌倒時(shí)，僅靠人工發(fā)現(xiàn)可能延誤救治時(shí)機(jī)，而基于電梯中安裝的攝像頭采用計(jì)算機(jī)視覺(jué)算法自動(dòng)檢測(cè)人員跌倒可作為智能電梯系統(tǒng)的功能補(bǔ)充。已有跌倒檢測(cè)算法多數(shù)依賴于對(duì)前景目標(biāo)的分割以及對(duì)人員身體姿態(tài)的特征建模和分析，由于電梯空間有限以及攝像頭的俯視角度的問(wèn)題，直接利用已有算法檢測(cè)準(zhǔn)確率不高，且計(jì)算效率難以達(dá)到實(shí)時(shí)應(yīng)用的要求。本文在基于全局圖像特征分類的基礎(chǔ)上，以場(chǎng)景先驗(yàn)信息及注意力引導(dǎo)的方式，聚焦人員表觀特征及其與場(chǎng)景的交互特征，學(xué)習(xí)并建模目標(biāo)的判別特征及類別間的特征邊界，從而形成對(duì)跌倒事件的有效檢測(cè)。本文收集并制作了一個(gè)電梯場(chǎng)景人員跌倒檢測(cè)的數(shù)據(jù)集，在驗(yàn)證所提算法性能后又進(jìn)一步將該算法應(yīng)用于公開(kāi)的跌倒檢測(cè)數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，所提算法利用場(chǎng)景先驗(yàn)信息引導(dǎo)網(wǎng)絡(luò)著重關(guān)注人員與場(chǎng)景的交互特征，取得了較高的檢測(cè)準(zhǔn)確率和執(zhí)行效率。

1 本文方法

當(dāng)人跌倒時(shí)，身體會(huì)和地面發(fā)生大面積接觸，已有的跌倒檢測(cè)算法僅對(duì)人的身體姿態(tài)特征進(jìn)行建模，卻忽視了場(chǎng)景信息以及人與地面的交互信息。本文通過(guò)對(duì)環(huán)境的學(xué)習(xí)，對(duì)地面區(qū)域及非地面區(qū)域進(jìn)行判別和建模，并基于場(chǎng)景先驗(yàn)引入注意力機(jī)制，使網(wǎng)絡(luò)關(guān)注有利于判別跌倒的局部特征。本文檢測(cè)模型如圖1 所示，包括場(chǎng)景先驗(yàn)信息學(xué)習(xí)模塊、基于場(chǎng)景先驗(yàn)引導(dǎo)注意力的特征提取與融合模塊以及預(yù)測(cè)分類模塊。

圖1 本文跌倒檢測(cè)算法流程Fig.1 Flowchart of the proposed fall detection algorithm

1.1 場(chǎng)景先驗(yàn)信息學(xué)習(xí)

目前，已有的跌倒檢測(cè)算法大多采用前景目標(biāo)檢測(cè)和人員身體姿態(tài)建模的算法，該類算法依賴于目標(biāo)檢測(cè)算法的準(zhǔn)確性以及人員身體特征的完整性，嚴(yán)重受限于攝像頭的拍攝角度。在典型的居家看護(hù)場(chǎng)景中，攝像頭通常安裝在墻面或與人員近似等高的位置，以確保有較好的視野能夠觀察人員完整的肢體動(dòng)作；而在電梯場(chǎng)景中，攝像頭通常安裝在轎廂頂部，加之轎廂內(nèi)空間有限，往往難以對(duì)人員完整的軀干狀態(tài)形成有效觀察。此時(shí)傳統(tǒng)的目標(biāo)檢測(cè)和分析的算法往往會(huì)失效。人員跌倒時(shí)，身體會(huì)和地面存在大面積接觸，因此，有效利用地面先驗(yàn)信息有助于跌倒事件的判別。本節(jié)提出對(duì)場(chǎng)景先驗(yàn)信息進(jìn)行學(xué)習(xí)與建模的算法，并將其融入跌倒特征中。

對(duì)于場(chǎng)景先驗(yàn)信息學(xué)習(xí)，目的是學(xué)習(xí)可能的跌倒區(qū)域，即判定場(chǎng)景中地面區(qū)域所在空間位置。如果用語(yǔ)義分割算法學(xué)習(xí)地面區(qū)域，需要重新標(biāo)注及訓(xùn)練，引入的額外計(jì)算也較為復(fù)雜。考慮到工程的實(shí)際需求，為了盡可能地避免人工標(biāo)定的介入，提高算法的適用性、通用性及可遷移性，同時(shí)也為了應(yīng)對(duì)跨電梯場(chǎng)景帶來(lái)的反復(fù)標(biāo)定問(wèn)題，本文提出根據(jù)監(jiān)控視頻的歷史數(shù)據(jù)，通過(guò)人員的活動(dòng)軌跡檢測(cè)地面位置區(qū)域，自動(dòng)化地完成對(duì)場(chǎng)景位置先驗(yàn)的學(xué)習(xí)。

假設(shè)檢測(cè)出電梯中某一人員pi的位置區(qū)域?yàn)镽i=(li，ri，ui，di)，其中：li、ri、ui、di分別表示該區(qū)域的左邊界、右邊界、上邊界及下邊界。選定下邊界的中心點(diǎn)作為一個(gè)地面區(qū)域參考點(diǎn)，為了減小因人員目標(biāo)檢測(cè)不準(zhǔn)確帶來(lái)的對(duì)地面區(qū)域?qū)W習(xí)的干擾，這里假定此中心點(diǎn)有較大概率屬于地面區(qū)域，其周圍像素屬于地面區(qū)域的概率將隨距離增大而減小，即采用高斯分布模擬像素點(diǎn)屬于地面區(qū)域的概率分布。因此，根據(jù)人員pi所確定的地面區(qū)域可表示為：

其中：σ表示高斯分布的方差，為了將人員pi所推算出的地面區(qū)域范圍控制在檢測(cè)框附近，且經(jīng)實(shí)驗(yàn)驗(yàn)證，σ=(ri-li)3 時(shí)性能較好。依據(jù)此思路，基于乘梯歷史數(shù)據(jù)，通過(guò)目標(biāo)檢測(cè)算法可以盡可能多地獲取人員活動(dòng)軌跡Ri(i=1，2，…，m)，進(jìn)而得到對(duì)應(yīng)的地面區(qū)域分布Ai(x，y)，疊加這些概率分布后做歸一化處理，可得到有效的地面區(qū)域概率分布A（x，y），具體如式（2）所示：

1.2 基于場(chǎng)景先驗(yàn)引導(dǎo)注意力的特征提取與融合

考慮到運(yùn)算效率及標(biāo)注訓(xùn)練的難易程度，本文采用基于圖像特征的分類網(wǎng)絡(luò)對(duì)單人跌倒進(jìn)行檢測(cè)。如果只使用全局圖像特征進(jìn)行預(yù)測(cè)，過(guò)多的冗余信息和背景噪聲會(huì)嚴(yán)重影響預(yù)測(cè)的準(zhǔn)確性。人員在跌倒時(shí)身體會(huì)和地面大面積接觸，因此聚焦人在地面這一顯著區(qū)域的特征將更有助于檢測(cè)。受此啟發(fā)，本文利用建模后的位置先驗(yàn)作為空間注意力掩膜，引導(dǎo)深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)地面區(qū)域的特征形成聚焦，以使預(yù)測(cè)分類過(guò)程可以更專注于可能跌倒區(qū)域內(nèi)的人員姿態(tài)特征。

首先，基于學(xué)習(xí)到的地面先驗(yàn)信息，引導(dǎo)空間注意力達(dá)到特征聚焦和去冗余的目的。高層卷積特征圖具有較豐富的語(yǔ)義特征，并且和原始輸入圖像在空間維度上存在有一定的關(guān)聯(lián)關(guān)系。以學(xué)習(xí)到的地面先驗(yàn)區(qū)域作為空間注意力掩膜與高層卷積特征圖進(jìn)行融合操作。具體地，第i組卷積層輸出得到c個(gè)尺寸為w×h的特征圖Cij(j=1，2，…，c)，其中c表示通道數(shù)。將包含地面先驗(yàn)區(qū)域的概率分布A經(jīng)尺度處理并沿通道方向擴(kuò)張后得到與特征圖同尺寸的空間注意力掩膜，并將其與Cij進(jìn)行哈達(dá)瑪積（Hadamard product）操作，如式（3）所示：

其中：A表示1.1 節(jié)所獲得的地面區(qū)域概率分布；d 表示下采樣操作；Expand 表示利用python 的廣播機(jī)制擴(kuò)張通道數(shù)；Cij表示i組卷積階段輸出的特征圖；⊙代表哈達(dá)瑪積，即逐元素相乘操作。

其次，經(jīng)過(guò)空間注意力模塊融合后的特征重點(diǎn)描述場(chǎng)景地面區(qū)域的局部特征，脫離了全局場(chǎng)景信息，無(wú)法有效區(qū)分某些相似的跌倒和非跌倒姿態(tài)（例如雙腿屈膝坐姿跌倒和下蹲正常姿態(tài)），即單獨(dú)關(guān)注地面區(qū)域無(wú)法解決某些歧義姿態(tài)的判別；同時(shí)，網(wǎng)絡(luò)的逐層抽象特征提取會(huì)引起局部信息的損失。因此，需要將局部特征和全局特征進(jìn)一步聯(lián)合，在盡可能凸顯局部判別區(qū)域的同時(shí)，保留全局性的場(chǎng)景信息和人員姿態(tài)信息，以獲取更具判別力的特征。

本文以ResNet（Residual Network）［17］為骨干構(gòu)建特征提取網(wǎng)絡(luò)，ResNet 由多個(gè)殘差模塊堆疊構(gòu)成，在多項(xiàng)任務(wù)表現(xiàn)優(yōu)異，是目前使用最廣泛的神經(jīng)網(wǎng)絡(luò)之一。本文提出對(duì)ResNet 第5 個(gè)卷積階段的空間注意力特征融合結(jié)果Mf5與原始第5個(gè)卷積階段特征圖C5進(jìn)行自適應(yīng)加權(quán)融合，其中Mf5代表了地面顯著區(qū)域的局部特征，C5代表了全局特征。具體過(guò)程如圖2 所示，受SENet（Squeeze-and-Excitation Network）［18］啟發(fā)，特征圖Mf5和C5分別經(jīng)過(guò)1×1 卷積（Convolution，Conv）、批標(biāo)準(zhǔn)化（Batch Normalization，BN）層、ReLU6（Rectified Linear Unit 6）激活層生成相應(yīng)的初始權(quán)重，之后將兩個(gè)初始權(quán)重在通道維度拼接后輸入到1×1 卷積中進(jìn)行信息交互，得到最終的權(quán)重矩陣α，β∈Rw×h，如式（4）所示：

圖2 自適應(yīng)特征融合模塊Fig.2 Adaptive feature fusion module

權(quán)重矩陣沿通道方向擴(kuò)張得到與特征圖同維度的權(quán)重張量，并利用所得結(jié)果對(duì)特征加權(quán)，得到包含局部和全局信息的融合特征F，如式（5）所示：

式（4）和式（5）中：C5表示第5 組卷積階段輸出的特征圖；Mf5表示C5經(jīng)過(guò)式（3）融合后的特征圖；CBR（Convolution，Batch normalization，ReLU6）代表特征圖依次經(jīng)過(guò)1×1Conv、BN 層和ReLU6 激活層；｛*；*｝代表兩個(gè)特征圖在通道方向進(jìn)行拼接；α表示特征圖Mf5對(duì)應(yīng)的權(quán)重矩陣；β表示特征圖C5對(duì)應(yīng)的權(quán)重矩陣；Expand 表示利用Python 的廣播機(jī)制擴(kuò)張通道數(shù)；⊙表示哈達(dá)瑪積。

1.3 預(yù)測(cè)分類

得到融合特征后，采用眾多主流網(wǎng)絡(luò)的做法，將其送入到由全局平均池化層（Global Average Pooling，GAP）、一層全連接層和Softmax 層組成的分類器。全局平均池化操作可以保留之前卷積神經(jīng)網(wǎng)絡(luò)提取特征的空間信息和語(yǔ)義信息，可獲得最顯著的特征。全連接層的輸入節(jié)點(diǎn)數(shù)是GAP 之前的特征圖個(gè)數(shù)，輸出節(jié)點(diǎn)數(shù)是圖片分類類別數(shù)目，即為2。

考慮到跌倒事件的小樣本特性，本文采取帶權(quán)重的交叉熵?fù)p失函數(shù)，用樣本先驗(yàn)分布的倒數(shù)作為權(quán)重，對(duì)占比低的跌倒樣本賦予更高的損失權(quán)重，對(duì)占比高的正常樣本賦予較小的損失權(quán)重，具體如式（6）所示：

其中：為樣本實(shí)際類別標(biāo)簽、yi為樣本預(yù)測(cè)類別，正類為1，負(fù)類為0；wfall為樣本實(shí)際標(biāo)簽為1 時(shí)的損失函數(shù)權(quán)重，wnfall為樣本實(shí)際標(biāo)簽為0 時(shí)的損失函數(shù)權(quán)重。wfall和wnfall的計(jì)算方式如下：

其中：Nall代表樣本整體數(shù)量，Nfall代表跌倒樣本數(shù)量，Nnfall代表非跌倒樣本數(shù)量。

當(dāng)測(cè)試集學(xué)習(xí)到多個(gè)場(chǎng)景先驗(yàn)時(shí)，本文對(duì)這些先驗(yàn)對(duì)應(yīng)的預(yù)測(cè)結(jié)果進(jìn)行投票，即執(zhí)行逐元素求最大值操作，以求得不同場(chǎng)景先驗(yàn)上的最大輸出響應(yīng)。此外，為了進(jìn)一步確認(rèn)跌倒檢測(cè)結(jié)果，減少誤報(bào)，可選擇將數(shù)據(jù)增強(qiáng)后的圖像和原始圖像同時(shí)輸入網(wǎng)絡(luò)，并對(duì)預(yù)測(cè)結(jié)果進(jìn)行投票，從而得到最終的預(yù)測(cè)類別。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)使用PyTorch 深度學(xué)習(xí)框架完成，操作系統(tǒng)為Ubuntu20.04、硬件環(huán)境為Intel Xeon Gold 6134 CPU@3.20 GHz，單張NVIDIA Quadro P6000 顯卡，軟件平臺(tái)采用OPENCV4.4.2、Python3.6.3、CUDA（Compute Unified Device Architecture）和針對(duì)深度神經(jīng)網(wǎng)絡(luò)的加速庫(kù)cuDNN（CUDA Deep Neural Network library）。

2.2 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

為了驗(yàn)證算法性能，本文收集整理了一個(gè)電梯場(chǎng)景下跌倒檢測(cè)的Elevator Fall Detection 數(shù)據(jù)集，共包含2 696 張跌倒圖片和10 787 張非跌倒圖片。其中非跌倒圖片來(lái)自真實(shí)的電梯場(chǎng)景，跌倒圖片由13 個(gè)志愿者（包括5 名女性和8 名男性）在真實(shí)電梯中模擬得到。模擬跌倒時(shí)覆蓋轎廂地面的5個(gè)區(qū)域（包括4 個(gè)角落和1 個(gè)中心點(diǎn)）；跌倒的姿態(tài)包括坐、躺、臥、趴等；非跌倒包括正常站立以及下蹲、彎腰等與跌倒相類似的姿態(tài)。數(shù)據(jù)集的具體樣本數(shù)量及劃分情況如表1所示，圖3（a）是訓(xùn)練集跌倒樣本的部分示例，圖3（b）和圖3（c）依次是測(cè)試集跌倒樣本、非跌倒樣本部分樣本示例。

表1 Elevator Fall Detection 數(shù)據(jù)集分布Tab.1 Distribution of Elevator Fall Detection dataset

圖3 Elevator Fall Detection 數(shù)據(jù)集部分樣本示例Fig.3 Some examples of Elevator Fall Detection dataset

為了測(cè)試本文所提算法的適用性，驗(yàn)證其不僅局限于電梯場(chǎng)景，實(shí)驗(yàn)中還使用了一個(gè)公開(kāi)的用于跌倒檢測(cè)的UR（University of Rzeszow）Fall Detection 數(shù)據(jù)集［19］。該數(shù)據(jù)集包含30 個(gè)跌倒和40 個(gè)日常生活活動(dòng)序列，使用兩個(gè)不同視角的Microsoft Kinect 攝像頭拍攝而得。部分樣本如圖4 所示，其中圖4（a）是視角1 下的跌倒樣本示例，圖4（b）是視角2 下的跌倒樣本示例，圖4（c）是非跌倒樣本示例。

圖4 UR Fall Detection數(shù)據(jù)集部分樣本示例Fig.4 Some examples of UR Fall Detection dataset

關(guān)于評(píng)價(jià)指標(biāo)，設(shè)跌倒為正類、非跌倒為負(fù)類，使用混淆矩陣定義3 種指標(biāo)：準(zhǔn)確率（Accuracy，Acc）、靈敏度（Sensitivity，Se）、特異度（Specificity，Sp），具體計(jì)算方式如下：

其中：準(zhǔn)確率是正確檢測(cè)到的跌倒和非跌倒數(shù)目之和與總數(shù)量之比，靈敏度是正確檢測(cè)到的跌倒數(shù)目與跌倒總數(shù)之比，特異度是正確檢測(cè)的非跌倒數(shù)目與非跌倒總數(shù)之比。這里TP（True Positives）表示正確檢出的跌倒數(shù)，TN（True Negatives）表示正確檢出的非跌倒數(shù)，F(xiàn)P（False Positives）表示被誤檢為跌倒的非跌倒數(shù)，F(xiàn)N（False Negatives）表示表示被誤檢為非跌倒的跌倒數(shù)。

2.3 實(shí)驗(yàn)結(jié)果與分析

2.3.1 模塊分析實(shí)驗(yàn)

考慮到跌倒檢測(cè)的即時(shí)性要求，實(shí)驗(yàn)首先以參數(shù)較少、層次較淺的ResNet18 為骨干網(wǎng)絡(luò)，驗(yàn)證算法中高斯場(chǎng)景先驗(yàn)信息融合與自適應(yīng)特征融合模塊的性能。這兩個(gè)模塊具有良好的結(jié)構(gòu)兼容性，可以很好地接入已有深度網(wǎng)絡(luò)結(jié)構(gòu)，以實(shí)現(xiàn)對(duì)特征的優(yōu)化。實(shí)驗(yàn)中，網(wǎng)絡(luò)輸入分辨率為256×256，不使用額外的數(shù)據(jù)增強(qiáng)技巧；設(shè)置批處理數(shù)為64，使用帶動(dòng)量的隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化器，動(dòng)量系數(shù)為0.9；使用帶權(quán)重的交叉熵?fù)p失函數(shù)訓(xùn)練優(yōu)化模型。

在自構(gòu)建的Elevator Fall Detection 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2 所示，其中A 算法為在ResNet18 網(wǎng)絡(luò)中使用帶權(quán)重的交叉熵?fù)p失函數(shù)，B 算法在A 的基礎(chǔ)上增加了高斯場(chǎng)景先驗(yàn)信息融合模塊，C 算法在B 算法的基礎(chǔ)上進(jìn)一步增加了自適應(yīng)特征融合模塊。

表2 Elevator Fall Detection 數(shù)據(jù)集上的模塊性能比較 單位：%Tab.2 Module performance comparison on Elevator Fall Detection dataset unit：%

從表2 中可以觀察到，第5 個(gè)卷積階段后引入高斯場(chǎng)景先驗(yàn)引導(dǎo)注意力，檢測(cè)準(zhǔn)確率明顯提升，靈敏度指標(biāo)說(shuō)明算法大幅提高了正樣本的檢測(cè)率，即檢測(cè)出了更多的跌倒類別。在融合局部和全局特征后，檢測(cè)性能進(jìn)一步提升，總體算法檢測(cè)準(zhǔn)確率達(dá)到95.36%，這說(shuō)明高斯場(chǎng)景先驗(yàn)引導(dǎo)的注意力機(jī)制和自適應(yīng)特征融合機(jī)制均能提高檢測(cè)模型的準(zhǔn)確率。

為了進(jìn)一步分析先驗(yàn)信息融合模塊對(duì)跌倒檢測(cè)的有效性，實(shí)驗(yàn)中將場(chǎng)景先驗(yàn)?zāi)K施加于不同卷積階段得到的特征圖上，實(shí)驗(yàn)結(jié)果如表3 所示。

表3 不同卷積階段的場(chǎng)景先驗(yàn)融合結(jié)果比較 單位：%Tab.3 Comparison of results of scene prior fusion at different convolution stages unit：%

從表3 中可以觀察到，高斯先驗(yàn)掩膜和具有較強(qiáng)語(yǔ)義特征的第5 個(gè)卷積階段的特征圖融合時(shí)，算法的綜合性能最好。

先驗(yàn)信息融合模塊的作用在于引導(dǎo)空間注意力，使得特征提取更關(guān)注于跌倒區(qū)域的特征。表4 對(duì)比了該注意力與現(xiàn)有幾種經(jīng)典注意力模型在跌倒檢測(cè)中的性能。實(shí)驗(yàn)均是在ResNet18 結(jié)構(gòu)的第5 個(gè)卷積階段后添加注意力，其中CBAM（Convolutional Block Attention Module）［20］是一種結(jié)合空間注意力和通道注意力的算法，SAM（Spatial Attention Module）僅是CBAM 中的空間注意力算法，SENet 是一種通道注意力算法?？梢钥吹?，本文提出的模型檢測(cè)準(zhǔn)確率最高，靈敏度指標(biāo)增加明顯，說(shuō)明基于場(chǎng)景先驗(yàn)的空間注意力在特征提取和優(yōu)化上更適合于跌倒檢測(cè)場(chǎng)景。

表4 不同注意力算法的性能比較 單位：%Tab.4 Performance comparison of different attention algorithms unit：%

自適應(yīng)特征融合模塊的作用在于進(jìn)一步聯(lián)合局部和全局特征以獲取更具有判別力的特征。為了驗(yàn)證該模塊的有效性，實(shí)驗(yàn)中對(duì)比了常用的特征逐元素相加和特征拼接兩種融合算法，結(jié)果如表5 所示。從表5 可以看出自適應(yīng)融合算法能獲取更優(yōu)的判別特征。

表5 不同融合算法的性能比較 單位：%Tab.5 Performance comparison of different feature fusion algorithms unit：%

2.3.2 對(duì)比實(shí)驗(yàn)

Li 等［21］提出了一種基于AlexNet 分類網(wǎng)絡(luò)的跌倒檢測(cè)算法，在該算法的基礎(chǔ)上，本文將其分類網(wǎng)絡(luò)分別替換為ResNet34 和ResNet50，在Elevator Fall Detection 數(shù)據(jù)集上對(duì)比了一些基于分類網(wǎng)絡(luò)的跌倒檢測(cè)算法，實(shí)驗(yàn)結(jié)果如表6 所示。從實(shí)驗(yàn)結(jié)果可以看到，相較于其他分類網(wǎng)絡(luò)，本文算法獲得了最高的檢測(cè)準(zhǔn)確率，尤其與網(wǎng)絡(luò)深度更深的ResNet34和ResNet50 相比，準(zhǔn)確率分別提高6.04 和3.52 個(gè)百分點(diǎn)，本文算法雖然采用了結(jié)構(gòu)相對(duì)簡(jiǎn)單的ResNet18，但是場(chǎng)景先驗(yàn)引導(dǎo)的注意力機(jī)制和自適應(yīng)特征融合模塊有效地提升了特征提取質(zhì)量，讓特征更有利于對(duì)跌倒的檢測(cè)。

表6 不同分類網(wǎng)絡(luò)在Elevator Fall Detection 數(shù)據(jù)集上的性能比較 單位：%Tab.6 Performance comparison of different classification networks on Elevator Fall Detection dataset unit：%

為了驗(yàn)證本文算法的場(chǎng)景適用性，檢驗(yàn)其在非電梯場(chǎng)景的檢測(cè)性能，本文在跌倒檢測(cè)的公開(kāi)UR Fall Detection 數(shù)據(jù)集上測(cè)試了本文所提算法。表7 給出了實(shí)驗(yàn)對(duì)比結(jié)果，其中：AR-FD（Area Ratios-Fall Detection）［8］算法計(jì)算了人體重心周圍的占用區(qū)域；MEWMA-FD（Multivariate Exponentially Weighted Moving Average-Fall Detection）［22］算法將人體分為5個(gè)區(qū)域，分別計(jì)算每個(gè)區(qū)域的面積比；Mask RCNN-LSTM 算法［23］利用Mask RCNN 提取運(yùn)動(dòng)物體，再通過(guò)一種注意力引導(dǎo)的雙向 LSTM 模型檢測(cè)跌倒事件；DCFI-FD（Dual Channel Feature Integration-Fall Detection）［24］利用檢測(cè)模型YOLO 和姿態(tài)估計(jì)模型OpenPose 提取目標(biāo)的位置信息和骨架信息，之后利用位置信息和骨架信息推斷出目標(biāo)的靜態(tài)特征與運(yùn)動(dòng)特征，進(jìn)而進(jìn)行跌倒檢測(cè)。

表7 不同算法在UR Fall Detection數(shù)據(jù)集性能比較 單位：%Tab.7 Performance comparison of different algorithms on UR Fall Detection dataset unit：%

從表7 中可以觀察到，在UR Fall Detection 數(shù)據(jù)集上，本文算法同樣表現(xiàn)出了非常優(yōu)秀的性能，尤其是拍攝該數(shù)據(jù)集的兩個(gè)攝像頭分別平行于地板和天花板安裝，該數(shù)據(jù)集的視角與電梯場(chǎng)景視角差異較大，但本文所提算法仍取得了最優(yōu)的性能（準(zhǔn)確率為99.01%），這表明本文所提算法具有良好的跨場(chǎng)景適用性。

出于跌倒檢測(cè)算法需要實(shí)時(shí)響應(yīng)，在Elevator Fall Detection 數(shù)據(jù)集上本文分別在Intel Xeon Gold 6134 CPU 和GPU 顯卡上測(cè)試算法的運(yùn)行速度。實(shí)驗(yàn)中對(duì)比了ResNet18、ResNet34 和ResNet50 三種分類網(wǎng)絡(luò)算法，實(shí)驗(yàn)結(jié)果如表8 所示。從表8 的實(shí)驗(yàn)結(jié)果可以看到，本文所提算法在CPU 上檢測(cè)速度達(dá)到48 FPS（Frames Per Second），GPU 上達(dá)到354 FPS。本文算法在ResNet18 上引入高斯場(chǎng)景先驗(yàn)及自適應(yīng)特征融合，與基線ResNet18 相比，所提算法的參數(shù)量基本不變，處理速度在CPU 和GPU 下分別下降了5.9%和1.4%，但檢測(cè)準(zhǔn)確率提升明顯，提高了約11.7 個(gè)百分點(diǎn)；并且比網(wǎng)絡(luò)結(jié)構(gòu)更為復(fù)雜的ResNet50 算法的準(zhǔn)確率也提高了3.52 個(gè)百分點(diǎn)。

表8 模型參數(shù)量、檢測(cè)幀率和準(zhǔn)確率對(duì)比結(jié)果Tab.8 Comparison results of different models on parameters，detection frame rate and accuracy

3 結(jié)語(yǔ)

本文提出了一種基于場(chǎng)景先驗(yàn)信息及注意力引導(dǎo)的跌倒檢測(cè)算法，該算法可以有效優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的深度特征，使其更加關(guān)注地面區(qū)域中的人員姿態(tài)特征。算法采用特征分類的思想，不需要對(duì)人員目標(biāo)及其姿態(tài)進(jìn)行事先標(biāo)注，避免了前景目標(biāo)提取和人員姿態(tài)建模所需的復(fù)雜計(jì)算以及潛在的噪聲干擾，并且所提算法具有良好的場(chǎng)景適用性，可向具有多樣化視角的現(xiàn)實(shí)應(yīng)用中進(jìn)行遷移。此外，本文構(gòu)建了一個(gè)電梯場(chǎng)景下檢測(cè)跌倒的Elevator Fall Detection 數(shù)據(jù)集，其在樣本量和多樣性方面均處于領(lǐng)先狀態(tài)。本文所提算法在對(duì)比實(shí)驗(yàn)中取得了較為領(lǐng)先的結(jié)果。然而，本文所提算法側(cè)重于對(duì)先驗(yàn)信息的融合，對(duì)于融合后特征的判別能力在應(yīng)對(duì)跨場(chǎng)景應(yīng)用方面還需要進(jìn)一步增強(qiáng)，這也是下一步研究工作的主要方向之一。