亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于場景先驗及注意力引導的跌倒檢測算法

        2023-02-24 05:01:38萍,陳楠,魯磊,2
        計算機應用 2023年2期
        關鍵詞:特征區(qū)域融合

        王 萍,陳 楠,魯 磊,2

        (1.西安交通大學 信息與通信工程學院,西安 710049;2.綜合業(yè)務網(wǎng)理論及關鍵技術國家重點實驗室(西安電子科技大學),西安 710071)

        0 引言

        跌倒威脅到人的健康和安全,尤其隨著社會經(jīng)濟的進步和發(fā)展,全球人口正步入老齡化階段,有效保障獨居老人在居家和出行時的人身安全更是社會需要關切的問題。及時準確地檢測跌倒事件有助于提供快速救援,降低受傷的嚴重程度。已有跌倒檢測算法或單純依靠人工觀察發(fā)現(xiàn),或依賴于可穿戴設備、環(huán)境傳感器等硬件裝置,使用不便且易受噪聲干擾。隨著安防監(jiān)控網(wǎng)絡建設的不斷完善和計算機視覺技術的飛速發(fā)展,基于視覺的跌倒檢測算法越來越受到重視。通過攝像頭獲取圖像或視頻,利用計算機視覺分析算法自動檢測跌倒事件,可以降低人工成本、及時發(fā)現(xiàn)危險。因此,基于視覺研究高效、準確的跌倒檢測算法日漸重要。

        跌倒檢測算法主要分為基于可穿戴設備、基于環(huán)境感知和基于視覺三種類別?;诳纱┐髟O備的算法使用電子傳感器(如加速度計、陀螺儀等)收集數(shù)據(jù),并提供給計算機系統(tǒng)或嵌入式系統(tǒng)進行分析以檢測跌倒。如Mathie 等[1]利用一個安裝在腰部的加速度測量系統(tǒng)檢測跌倒事件;Lai 等[2]使用多個三軸加速器感應意外跌倒時身體易受傷部分的關節(jié)點的加速度值;Chaitep 等[3]從加速度計數(shù)據(jù)推導出重力值進而判斷是否發(fā)生跌倒。該類算法計算成本低、易于實施,但需要人們長期佩戴、用戶體驗較差。

        基于環(huán)境感知的算法通過安裝在人員活動區(qū)域的傳感器采集壓力、震動和聲音等信息,進而識別跌倒事件。如Alwan 等[4]鑒于人跌倒所產(chǎn)生的震動信號和正?;顒尤缧凶咚a(chǎn)生的震動信號的不同,使用壓電傳感器監(jiān)控地板的震動模式判斷跌倒事件;Li 等[5]利用圓形麥克風陣列收集周圍環(huán)境的聲音信號,進而檢測跌倒事件;Wang 等[6]利用無線技術識別傳感器周圍的環(huán)境變化,建立了無線信號和人活動之間的關系。此類算法雖不需要隨身佩戴傳感器,但部署成本較高,且對噪聲敏感而容易產(chǎn)生誤報。

        基于視覺的算法大多偏重于對人身體姿態(tài)的特征進行建模,通過對人員身體的檢測及身體姿態(tài)屬性的分析來對跌倒狀態(tài)進行判別。在早期基于機器學習的算法中,通過設計和提取手工特征,再利用多層感知機、支持向量機(Support Vector Machines,SVM)、決策樹、K 近鄰等模式識別算法對提取的特征進行預測,達到區(qū)分跌倒事件和正常事件的目的。如Charfi 等[7]提取人體輪廓的軌跡特征,再利用支持向量機分類器判斷是否有跌倒事件;Yun 等[8]將提取的人體重心周圍的占地面積、角度等特征送入機器學習算法;張舒雅等[9]提出一種基于SVM 和K 近鄰分類的跌倒檢測算法。這類算法雖然可以通過精心設計特征和選擇分類器獲得良好的性能,但是前景對象分割和特征提取容易受到圖像噪聲、光照變化和遮擋的影響,從而導致算法在復雜環(huán)境中魯棒性較差。

        隨著深度學習技術,尤其是卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)在圖像分類、目標檢測、圖像分割、自然語言處理等計算機視覺領域[10-11]取得巨大成功,一些研究人員也將深度學習算法應用于跌倒檢測任務。Fan 等[12]將包含跌倒4 個階段(站立、正在跌倒、已經(jīng)跌倒、靜止)的視頻序列整合為一個動態(tài)圖,輸入到深度卷積網(wǎng)絡中訓練一個識別跌倒事件的深度學習模型;Min 等[13]在跌倒檢測中考慮了場景信息,但使用了Faster RCNN(Region-based Convolutional Neural Network)而導致算法效率較低,無法滿足實時性要求;Feng 等[14]提出一種基于注意力引導的長短期記憶(Long-Short-Term Memory,LSTM)網(wǎng)絡跌倒檢測模型,首先利用YOLOv3(You Only Look Once version 3)檢測視頻中的行人,然后通過一個跟蹤模塊跟蹤行人軌跡,之后通過一個卷積神經(jīng)網(wǎng)絡提取行人框特征進而判斷是否發(fā)生跌倒事件;Lie等[15]先采用卷積神經(jīng)網(wǎng)絡為每個輸入幀提取人體的2D 骨架信息,再使用具有LSTM 單元的循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network,RNN)處理骨骼序列以充分利用空間信息和時間信息;伏娜娜等[16]提出一種基于YOLOv5s(YOLOv5 Small)的人體目標檢測結合輕量級OpenPose 人體姿態(tài)估計模型的跌倒檢測算法。此類深度學習算法雖然識別精度較高,但需要預先提取人體形狀或骨架信息,計算較為復雜。

        本文工作源于一個實際應用場景:日常生活中電梯使用日趨頻繁,當人獨自乘梯發(fā)生跌倒時,僅靠人工發(fā)現(xiàn)可能延誤救治時機,而基于電梯中安裝的攝像頭采用計算機視覺算法自動檢測人員跌倒可作為智能電梯系統(tǒng)的功能補充。已有跌倒檢測算法多數(shù)依賴于對前景目標的分割以及對人員身體姿態(tài)的特征建模和分析,由于電梯空間有限以及攝像頭的俯視角度的問題,直接利用已有算法檢測準確率不高,且計算效率難以達到實時應用的要求。本文在基于全局圖像特征分類的基礎上,以場景先驗信息及注意力引導的方式,聚焦人員表觀特征及其與場景的交互特征,學習并建模目標的判別特征及類別間的特征邊界,從而形成對跌倒事件的有效檢測。本文收集并制作了一個電梯場景人員跌倒檢測的數(shù)據(jù)集,在驗證所提算法性能后又進一步將該算法應用于公開的跌倒檢測數(shù)據(jù)集。實驗結果表明,所提算法利用場景先驗信息引導網(wǎng)絡著重關注人員與場景的交互特征,取得了較高的檢測準確率和執(zhí)行效率。

        1 本文方法

        當人跌倒時,身體會和地面發(fā)生大面積接觸,已有的跌倒檢測算法僅對人的身體姿態(tài)特征進行建模,卻忽視了場景信息以及人與地面的交互信息。本文通過對環(huán)境的學習,對地面區(qū)域及非地面區(qū)域進行判別和建模,并基于場景先驗引入注意力機制,使網(wǎng)絡關注有利于判別跌倒的局部特征。本文檢測模型如圖1 所示,包括場景先驗信息學習模塊、基于場景先驗引導注意力的特征提取與融合模塊以及預測分類模塊。

        圖1 本文跌倒檢測算法流程Fig.1 Flowchart of the proposed fall detection algorithm

        1.1 場景先驗信息學習

        目前,已有的跌倒檢測算法大多采用前景目標檢測和人員身體姿態(tài)建模的算法,該類算法依賴于目標檢測算法的準確性以及人員身體特征的完整性,嚴重受限于攝像頭的拍攝角度。在典型的居家看護場景中,攝像頭通常安裝在墻面或與人員近似等高的位置,以確保有較好的視野能夠觀察人員完整的肢體動作;而在電梯場景中,攝像頭通常安裝在轎廂頂部,加之轎廂內(nèi)空間有限,往往難以對人員完整的軀干狀態(tài)形成有效觀察。此時傳統(tǒng)的目標檢測和分析的算法往往會失效。人員跌倒時,身體會和地面存在大面積接觸,因此,有效利用地面先驗信息有助于跌倒事件的判別。本節(jié)提出對場景先驗信息進行學習與建模的算法,并將其融入跌倒特征中。

        對于場景先驗信息學習,目的是學習可能的跌倒區(qū)域,即判定場景中地面區(qū)域所在空間位置。如果用語義分割算法學習地面區(qū)域,需要重新標注及訓練,引入的額外計算也較為復雜??紤]到工程的實際需求,為了盡可能地避免人工標定的介入,提高算法的適用性、通用性及可遷移性,同時也為了應對跨電梯場景帶來的反復標定問題,本文提出根據(jù)監(jiān)控視頻的歷史數(shù)據(jù),通過人員的活動軌跡檢測地面位置區(qū)域,自動化地完成對場景位置先驗的學習。

        假設檢測出電梯中某一人員pi的位置區(qū)域為Ri=(li,ri,ui,di),其中:li、ri、ui、di分別表示該區(qū)域的左邊界、右邊界、上邊界及下邊界。選定下邊界的中心點作為一個地面區(qū)域參考點,為了減小因人員目標檢測不準確帶來的對地面區(qū)域學習的干擾,這里假定此中心點有較大概率屬于地面區(qū)域,其周圍像素屬于地面區(qū)域的概率將隨距離增大而減小,即采用高斯分布模擬像素點屬于地面區(qū)域的概率分布。因此,根據(jù)人員pi所確定的地面區(qū)域可表示為:

        其中:σ表示高斯分布的方差,為了將人員pi所推算出的地面區(qū)域范圍控制在檢測框附近,且經(jīng)實驗驗證,σ=(ri-li)3 時性能較好。依據(jù)此思路,基于乘梯歷史數(shù)據(jù),通過目標檢測算法可以盡可能多地獲取人員活動軌跡Ri(i=1,2,…,m),進而得到對應的地面區(qū)域分布Ai(x,y),疊加這些概率分布后做歸一化處理,可得到有效的地面區(qū)域概率分布A(x,y),具體如式(2)所示:

        1.2 基于場景先驗引導注意力的特征提取與融合

        考慮到運算效率及標注訓練的難易程度,本文采用基于圖像特征的分類網(wǎng)絡對單人跌倒進行檢測。如果只使用全局圖像特征進行預測,過多的冗余信息和背景噪聲會嚴重影響預測的準確性。人員在跌倒時身體會和地面大面積接觸,因此聚焦人在地面這一顯著區(qū)域的特征將更有助于檢測。受此啟發(fā),本文利用建模后的位置先驗作為空間注意力掩膜,引導深度學習網(wǎng)絡對地面區(qū)域的特征形成聚焦,以使預測分類過程可以更專注于可能跌倒區(qū)域內(nèi)的人員姿態(tài)特征。

        首先,基于學習到的地面先驗信息,引導空間注意力達到特征聚焦和去冗余的目的。高層卷積特征圖具有較豐富的語義特征,并且和原始輸入圖像在空間維度上存在有一定的關聯(lián)關系。以學習到的地面先驗區(qū)域作為空間注意力掩膜與高層卷積特征圖進行融合操作。具體地,第i組卷積層輸出得到c個尺寸為w×h的特征圖Cij(j=1,2,…,c),其中c表示通道數(shù)。將包含地面先驗區(qū)域的概率分布A經(jīng)尺度處理并沿通道方向擴張后得到與特征圖同尺寸的空間注意力掩膜,并將其與Cij進行哈達瑪積(Hadamard product)操作,如式(3)所示:

        其中:A表示1.1 節(jié)所獲得的地面區(qū)域概率分布;d 表示下采樣操作;Expand 表示利用python 的廣播機制擴張通道數(shù);Cij表示i組卷積階段輸出的特征圖;⊙代表哈達瑪積,即逐元素相乘操作。

        其次,經(jīng)過空間注意力模塊融合后的特征重點描述場景地面區(qū)域的局部特征,脫離了全局場景信息,無法有效區(qū)分某些相似的跌倒和非跌倒姿態(tài)(例如雙腿屈膝坐姿跌倒和下蹲正常姿態(tài)),即單獨關注地面區(qū)域無法解決某些歧義姿態(tài)的判別;同時,網(wǎng)絡的逐層抽象特征提取會引起局部信息的損失。因此,需要將局部特征和全局特征進一步聯(lián)合,在盡可能凸顯局部判別區(qū)域的同時,保留全局性的場景信息和人員姿態(tài)信息,以獲取更具判別力的特征。

        本文以ResNet(Residual Network)[17]為骨干構建特征提取網(wǎng)絡,ResNet 由多個殘差模塊堆疊構成,在多項任務表現(xiàn)優(yōu)異,是目前使用最廣泛的神經(jīng)網(wǎng)絡之一。本文提出對ResNet 第5 個卷積階段的空間注意力特征融合結果Mf5與原始第5個卷積階段特征圖C5進行自適應加權融合,其中Mf5代表了地面顯著區(qū)域的局部特征,C5代表了全局特征。具體過程如圖2 所示,受SENet(Squeeze-and-Excitation Network)[18]啟發(fā),特征圖Mf5和C5分別經(jīng)過1×1 卷積(Convolution,Conv)、批標準化(Batch Normalization,BN)層、ReLU6(Rectified Linear Unit 6)激活層生成相應的初始權重,之后將兩個初始權重在通道維度拼接后輸入到1×1 卷積中進行信息交互,得到最終的權重矩陣α,β∈Rw×h,如式(4)所示:

        圖2 自適應特征融合模塊Fig.2 Adaptive feature fusion module

        權重矩陣沿通道方向擴張得到與特征圖同維度的權重張量,并利用所得結果對特征加權,得到包含局部和全局信息的融合特征F,如式(5)所示:

        式(4)和式(5)中:C5表示第5 組卷積階段輸出的特征圖;Mf5表示C5經(jīng)過式(3)融合后的特征圖;CBR(Convolution,Batch normalization,ReLU6)代表特征圖依次經(jīng)過1×1Conv、BN 層和ReLU6 激活層;{*;*}代表兩個特征圖在通道方向進行拼接;α表示特征圖Mf5對應的權重矩陣;β表示特征圖C5對應的權重矩陣;Expand 表示利用Python 的廣播機制擴張通道數(shù);⊙表示哈達瑪積。

        1.3 預測分類

        得到融合特征后,采用眾多主流網(wǎng)絡的做法,將其送入到由全局平均池化層(Global Average Pooling,GAP)、一層全連接層和Softmax 層組成的分類器。全局平均池化操作可以保留之前卷積神經(jīng)網(wǎng)絡提取特征的空間信息和語義信息,可獲得最顯著的特征。全連接層的輸入節(jié)點數(shù)是GAP 之前的特征圖個數(shù),輸出節(jié)點數(shù)是圖片分類類別數(shù)目,即為2。

        考慮到跌倒事件的小樣本特性,本文采取帶權重的交叉熵損失函數(shù),用樣本先驗分布的倒數(shù)作為權重,對占比低的跌倒樣本賦予更高的損失權重,對占比高的正常樣本賦予較小的損失權重,具體如式(6)所示:

        其中:為樣本實際類別標簽、yi為樣本預測類別,正類為1,負類為0;wfall為樣本實際標簽為1 時的損失函數(shù)權重,wnfall為樣本實際標簽為0 時的損失函數(shù)權重。wfall和wnfall的計算方式如下:

        其中:Nall代表樣本整體數(shù)量,Nfall代表跌倒樣本數(shù)量,Nnfall代表非跌倒樣本數(shù)量。

        當測試集學習到多個場景先驗時,本文對這些先驗對應的預測結果進行投票,即執(zhí)行逐元素求最大值操作,以求得不同場景先驗上的最大輸出響應。此外,為了進一步確認跌倒檢測結果,減少誤報,可選擇將數(shù)據(jù)增強后的圖像和原始圖像同時輸入網(wǎng)絡,并對預測結果進行投票,從而得到最終的預測類別。

        2 實驗

        2.1 實驗環(huán)境

        本文實驗使用PyTorch 深度學習框架完成,操作系統(tǒng)為Ubuntu20.04、硬件環(huán)境為Intel Xeon Gold 6134 CPU@3.20 GHz,單張NVIDIA Quadro P6000 顯卡,軟件平臺采用OPENCV4.4.2、Python3.6.3、CUDA(Compute Unified Device Architecture)和針對深度神經(jīng)網(wǎng)絡的加速庫cuDNN(CUDA Deep Neural Network library)。

        2.2 數(shù)據(jù)集與評價指標

        為了驗證算法性能,本文收集整理了一個電梯場景下跌倒檢測的Elevator Fall Detection 數(shù)據(jù)集,共包含2 696 張跌倒圖片和10 787 張非跌倒圖片。其中非跌倒圖片來自真實的電梯場景,跌倒圖片由13 個志愿者(包括5 名女性和8 名男性)在真實電梯中模擬得到。模擬跌倒時覆蓋轎廂地面的5個區(qū)域(包括4 個角落和1 個中心點);跌倒的姿態(tài)包括坐、躺、臥、趴等;非跌倒包括正常站立以及下蹲、彎腰等與跌倒相類似的姿態(tài)。數(shù)據(jù)集的具體樣本數(shù)量及劃分情況如表1所示,圖3(a)是訓練集跌倒樣本的部分示例,圖3(b)和圖3(c)依次是測試集跌倒樣本、非跌倒樣本部分樣本示例。

        表1 Elevator Fall Detection 數(shù)據(jù)集分布Tab.1 Distribution of Elevator Fall Detection dataset

        圖3 Elevator Fall Detection 數(shù)據(jù)集部分樣本示例Fig.3 Some examples of Elevator Fall Detection dataset

        為了測試本文所提算法的適用性,驗證其不僅局限于電梯場景,實驗中還使用了一個公開的用于跌倒檢測的UR(University of Rzeszow)Fall Detection 數(shù)據(jù)集[19]。該數(shù)據(jù)集包含30 個跌倒和40 個日常生活活動序列,使用兩個不同視角的Microsoft Kinect 攝像頭拍攝而得。部分樣本如圖4 所示,其中圖4(a)是視角1 下的跌倒樣本示例,圖4(b)是視角2 下的跌倒樣本示例,圖4(c)是非跌倒樣本示例。

        圖4 UR Fall Detection數(shù)據(jù)集部分樣本示例Fig.4 Some examples of UR Fall Detection dataset

        關于評價指標,設跌倒為正類、非跌倒為負類,使用混淆矩陣定義3 種指標:準確率(Accuracy,Acc)、靈敏度(Sensitivity,Se)、特異度(Specificity,Sp),具體計算方式如下:

        其中:準確率是正確檢測到的跌倒和非跌倒數(shù)目之和與總數(shù)量之比,靈敏度是正確檢測到的跌倒數(shù)目與跌倒總數(shù)之比,特異度是正確檢測的非跌倒數(shù)目與非跌倒總數(shù)之比。這里TP(True Positives)表示正確檢出的跌倒數(shù),TN(True Negatives)表示正確檢出的非跌倒數(shù),F(xiàn)P(False Positives)表示被誤檢為跌倒的非跌倒數(shù),F(xiàn)N(False Negatives)表示表示被誤檢為非跌倒的跌倒數(shù)。

        2.3 實驗結果與分析

        2.3.1 模塊分析實驗

        考慮到跌倒檢測的即時性要求,實驗首先以參數(shù)較少、層次較淺的ResNet18 為骨干網(wǎng)絡,驗證算法中高斯場景先驗信息融合與自適應特征融合模塊的性能。這兩個模塊具有良好的結構兼容性,可以很好地接入已有深度網(wǎng)絡結構,以實現(xiàn)對特征的優(yōu)化。實驗中,網(wǎng)絡輸入分辨率為256×256,不使用額外的數(shù)據(jù)增強技巧;設置批處理數(shù)為64,使用帶動量的隨機梯度下降(Stochastic Gradient Descent,SGD)優(yōu)化器,動量系數(shù)為0.9;使用帶權重的交叉熵損失函數(shù)訓練優(yōu)化模型。

        在自構建的Elevator Fall Detection 數(shù)據(jù)集上的實驗結果如表2 所示,其中A 算法為在ResNet18 網(wǎng)絡中使用帶權重的交叉熵損失函數(shù),B 算法在A 的基礎上增加了高斯場景先驗信息融合模塊,C 算法在B 算法的基礎上進一步增加了自適應特征融合模塊。

        表2 Elevator Fall Detection 數(shù)據(jù)集上的模塊性能比較 單位:%Tab.2 Module performance comparison on Elevator Fall Detection dataset unit:%

        從表2 中可以觀察到,第5 個卷積階段后引入高斯場景先驗引導注意力,檢測準確率明顯提升,靈敏度指標說明算法大幅提高了正樣本的檢測率,即檢測出了更多的跌倒類別。在融合局部和全局特征后,檢測性能進一步提升,總體算法檢測準確率達到95.36%,這說明高斯場景先驗引導的注意力機制和自適應特征融合機制均能提高檢測模型的準確率。

        為了進一步分析先驗信息融合模塊對跌倒檢測的有效性,實驗中將場景先驗模塊施加于不同卷積階段得到的特征圖上,實驗結果如表3 所示。

        表3 不同卷積階段的場景先驗融合結果比較 單位:%Tab.3 Comparison of results of scene prior fusion at different convolution stages unit:%

        從表3 中可以觀察到,高斯先驗掩膜和具有較強語義特征的第5 個卷積階段的特征圖融合時,算法的綜合性能最好。

        先驗信息融合模塊的作用在于引導空間注意力,使得特征提取更關注于跌倒區(qū)域的特征。表4 對比了該注意力與現(xiàn)有幾種經(jīng)典注意力模型在跌倒檢測中的性能。實驗均是在ResNet18 結構的第5 個卷積階段后添加注意力,其中CBAM(Convolutional Block Attention Module)[20]是一種結合空間注意力和通道注意力的算法,SAM(Spatial Attention Module)僅是CBAM 中的空間注意力算法,SENet 是一種通道注意力算法??梢钥吹剑疚奶岢龅哪P蜋z測準確率最高,靈敏度指標增加明顯,說明基于場景先驗的空間注意力在特征提取和優(yōu)化上更適合于跌倒檢測場景。

        表4 不同注意力算法的性能比較 單位:%Tab.4 Performance comparison of different attention algorithms unit:%

        自適應特征融合模塊的作用在于進一步聯(lián)合局部和全局特征以獲取更具有判別力的特征。為了驗證該模塊的有效性,實驗中對比了常用的特征逐元素相加和特征拼接兩種融合算法,結果如表5 所示。從表5 可以看出自適應融合算法能獲取更優(yōu)的判別特征。

        表5 不同融合算法的性能比較 單位:%Tab.5 Performance comparison of different feature fusion algorithms unit:%

        2.3.2 對比實驗

        Li 等[21]提出了一種基于AlexNet 分類網(wǎng)絡的跌倒檢測算法,在該算法的基礎上,本文將其分類網(wǎng)絡分別替換為ResNet34 和ResNet50,在Elevator Fall Detection 數(shù)據(jù)集上對比了一些基于分類網(wǎng)絡的跌倒檢測算法,實驗結果如表6 所示。從實驗結果可以看到,相較于其他分類網(wǎng)絡,本文算法獲得了最高的檢測準確率,尤其與網(wǎng)絡深度更深的ResNet34和ResNet50 相比,準確率分別提高6.04 和3.52 個百分點,本文算法雖然采用了結構相對簡單的ResNet18,但是場景先驗引導的注意力機制和自適應特征融合模塊有效地提升了特征提取質(zhì)量,讓特征更有利于對跌倒的檢測。

        表6 不同分類網(wǎng)絡在Elevator Fall Detection 數(shù)據(jù)集上的性能比較 單位:%Tab.6 Performance comparison of different classification networks on Elevator Fall Detection dataset unit:%

        為了驗證本文算法的場景適用性,檢驗其在非電梯場景的檢測性能,本文在跌倒檢測的公開UR Fall Detection 數(shù)據(jù)集上測試了本文所提算法。表7 給出了實驗對比結果,其中:AR-FD(Area Ratios-Fall Detection)[8]算法計算了人體重心周圍的占用區(qū)域;MEWMA-FD(Multivariate Exponentially Weighted Moving Average-Fall Detection)[22]算法將人體分為5個區(qū)域,分別計算每個區(qū)域的面積比;Mask RCNN-LSTM 算法[23]利用Mask RCNN 提取運動物體,再通過一種注意力引導的雙向 LSTM 模型檢測跌倒事件;DCFI-FD(Dual Channel Feature Integration-Fall Detection)[24]利用檢測模型YOLO 和姿態(tài)估計模型OpenPose 提取目標的位置信息和骨架信息,之后利用位置信息和骨架信息推斷出目標的靜態(tài)特征與運動特征,進而進行跌倒檢測。

        表7 不同算法在UR Fall Detection數(shù)據(jù)集性能比較 單位:%Tab.7 Performance comparison of different algorithms on UR Fall Detection dataset unit:%

        從表7 中可以觀察到,在UR Fall Detection 數(shù)據(jù)集上,本文算法同樣表現(xiàn)出了非常優(yōu)秀的性能,尤其是拍攝該數(shù)據(jù)集的兩個攝像頭分別平行于地板和天花板安裝,該數(shù)據(jù)集的視角與電梯場景視角差異較大,但本文所提算法仍取得了最優(yōu)的性能(準確率為99.01%),這表明本文所提算法具有良好的跨場景適用性。

        出于跌倒檢測算法需要實時響應,在Elevator Fall Detection 數(shù)據(jù)集上本文分別在Intel Xeon Gold 6134 CPU 和GPU 顯卡上測試算法的運行速度。實驗中對比了ResNet18、ResNet34 和ResNet50 三種分類網(wǎng)絡算法,實驗結果如表8 所示。從表8 的實驗結果可以看到,本文所提算法在CPU 上檢測速度達到48 FPS(Frames Per Second),GPU 上達到354 FPS。本文算法在ResNet18 上引入高斯場景先驗及自適應特征融合,與基線ResNet18 相比,所提算法的參數(shù)量基本不變,處理速度在CPU 和GPU 下分別下降了5.9%和1.4%,但檢測準確率提升明顯,提高了約11.7 個百分點;并且比網(wǎng)絡結構更為復雜的ResNet50 算法的準確率也提高了3.52 個百分點。

        表8 模型參數(shù)量、檢測幀率和準確率對比結果Tab.8 Comparison results of different models on parameters,detection frame rate and accuracy

        3 結語

        本文提出了一種基于場景先驗信息及注意力引導的跌倒檢測算法,該算法可以有效優(yōu)化卷積神經(jīng)網(wǎng)絡的深度特征,使其更加關注地面區(qū)域中的人員姿態(tài)特征。算法采用特征分類的思想,不需要對人員目標及其姿態(tài)進行事先標注,避免了前景目標提取和人員姿態(tài)建模所需的復雜計算以及潛在的噪聲干擾,并且所提算法具有良好的場景適用性,可向具有多樣化視角的現(xiàn)實應用中進行遷移。此外,本文構建了一個電梯場景下檢測跌倒的Elevator Fall Detection 數(shù)據(jù)集,其在樣本量和多樣性方面均處于領先狀態(tài)。本文所提算法在對比實驗中取得了較為領先的結果。然而,本文所提算法側重于對先驗信息的融合,對于融合后特征的判別能力在應對跨場景應用方面還需要進一步增強,這也是下一步研究工作的主要方向之一。

        猜你喜歡
        特征區(qū)域融合
        村企黨建聯(lián)建融合共贏
        融合菜
        從創(chuàng)新出發(fā),與高考數(shù)列相遇、融合
        《融合》
        如何表達“特征”
        不忠誠的四個特征
        當代陜西(2019年10期)2019-06-03 10:12:04
        抓住特征巧觀察
        關于四色猜想
        分區(qū)域
        基于嚴重區(qū)域的多PCC點暫降頻次估計
        電測與儀表(2015年5期)2015-04-09 11:30:52
        国产精品久久久久精品一区二区| 亚洲av乱码一区二区三区观影 | 欧美在线专区| 男人的av天堂狠狠操| 日韩精品一二三区乱码| 粗大的内捧猛烈进出小视频| 最近中文字幕在线mv视频在线| 男性一插就想射是因为啥| 自拍情爱视频在线观看| 亚洲一区二区三区小说| 国产va免费精品高清在线| 国产午夜视频免费观看| 成人免费毛片立即播放| 国产suv精品一区二区四| 真实国产老熟女粗口对白| 中文字幕无码免费久久99| 国产伦精品一区二区三区| 国产精品久人妻精品老妇| 丰满的少妇xxxxx青青青| 国产一区二区欧美丝袜| 男女啪啪在线视频网站| 日本真人做爰免费视频120秒| 99久久国语露脸精品国产| 青青青国产免A在线观看| 在线成人影院国产av| 天天躁日日躁狠狠躁| 精品人妻无码视频中文字幕一区二区三区 | 国产精品免费久久久久影院仙踪林| 免费一级国产大片| 久久精品国产亚洲av四区| 国产精品国产三级国产专播| 精品人体无码一区二区三区| 中文字幕人妻少妇美臀| 男女边摸边吃奶边做视频韩国| 六月婷婷久香在线视频| 亚洲地区一区二区三区| 蜜乳一区二区三区亚洲国产| 国产超碰女人任你爽| 手机看片1024精品国产| 亚洲一级天堂作爱av| 精品免费国产一区二区三区四区|