方 可，劉 蓉，魏馳宇，張心月，劉 楊

（華中師范大學(xué) 物理科學(xué)與技術(shù)學(xué)院，武漢 430079）

0 引言

人口老齡化是我國目前一個重要的趨勢，第七次全國人口普查結(jié)果顯示，2020 年我國60 歲及以上人口已超2.6 億，占總?cè)丝诒壤?8.70%［1］。世界衛(wèi)生組織（World Health Organization，WHO）指出，跌倒已經(jīng)成為全球老年人共同面臨的一個健康問題，在全世界范圍內(nèi)都是一個非常嚴(yán)峻的公共衛(wèi)生問題，它會增加社會醫(yī)療負(fù)擔(dān)，影響老年人生活質(zhì)量。2014 年一項(xiàng)針對中國老年人跌倒發(fā)生率的Meta 分析［2］指出，我國老年人的跌倒率為18.3%，因跌倒所致的直接醫(yī)療費(fèi)用每年高達(dá)50 億元人民幣［3］。因此，對跌倒進(jìn)行檢測并及時(shí)采取相應(yīng)措施以減輕跌倒所帶來的傷害，可以降低老年人的安全風(fēng)險(xiǎn)，節(jié)省社會醫(yī)療資源。

隨著機(jī)器學(xué)習(xí)和人工智能的飛速發(fā)展，檢測系統(tǒng)涌現(xiàn)出許多研究與算法。根據(jù)設(shè)備和檢測方法的不同，目前常見的跌倒檢測方法主要分為三大類：基于可穿戴式傳感器的方法、基于場景傳感器的方法和基于計(jì)算機(jī)視覺的方法［4］?；诳纱┐髟O(shè)備的方法主要是將加速度傳感器、紅外傳感器等嵌入到手環(huán)、衣服等設(shè)備中自動檢測跌倒行為，通過藍(lán)牙、無線網(wǎng)絡(luò)等通信設(shè)備發(fā)送求助信息，這種方式需要老年人常年佩戴傳感器，用戶體驗(yàn)受限；基于場景傳感器的方法利用安裝在監(jiān)控區(qū)域內(nèi)的場景傳感器采集環(huán)境信息以判斷是否發(fā)生跌倒行為，但此類方法抗噪性差，容易錯報(bào)導(dǎo)致準(zhǔn)確率較低；基于計(jì)算機(jī)視覺的跌倒檢測不同于穿戴式和環(huán)境式的檢測方式，通過從監(jiān)控設(shè)備中獲取人體運(yùn)動信息，并對獲取的視頻和圖像進(jìn)行處理以檢測跌倒目標(biāo)，具有無需穿戴、不影響正?；顒拥奶攸c(diǎn)，并且實(shí)時(shí)性好，檢測準(zhǔn)確率也更高。

利用計(jì)算機(jī)視覺進(jìn)行跌倒檢測的重點(diǎn)是如何有效提取視頻圖像中的運(yùn)動目標(biāo)并判斷是否發(fā)生跌倒。隨著計(jì)算機(jī)視覺和深度學(xué)習(xí)技術(shù)近年來的快速發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測算法成為主流的跌倒檢測方式。深度學(xué)習(xí)中目標(biāo)檢測算法主要分為兩大類別：基于候選區(qū)域和基于回歸?；诤蜻x區(qū)域的目標(biāo)檢測算法也稱為二階段（two stage）方法，以Faster R-CNN（Region-based Conventional Neural Network）［5］為例，將目標(biāo)檢測問題分成兩個階段：一是使用區(qū)域候選網(wǎng)絡(luò)（Region Proposal Network，RPN）經(jīng)過卷積操作后生成一系列可能包含目標(biāo)的候選區(qū)域；二是把候選區(qū)域放入分類器中進(jìn)行分類并修正位置?；诨貧w的目標(biāo)檢測算法只有一階段（one stage）方 法，以YOLO（You Only Look Once）［6］、SSD（Single Shot multibox Detector）［7］、CenterNet［8］、全卷積一階段目標(biāo)檢 測（Fully Convolutional One-Stage object detection，F(xiàn)COS）［9］等算法為代表，直接對預(yù)測的目標(biāo)物體進(jìn)行回歸，雖然檢測速度較快，但是檢測精度較低。

基于深度學(xué)習(xí)的跌倒檢測算法研究中，F(xiàn)eng 等［10］提出一種結(jié)合跌倒場景空間與時(shí)間的長短期記憶（Long Short-Term Memory，LSTM）模型，并在一階段代表算法YOLOv3（You Only Look Once version 3）［11］的基礎(chǔ)上加入跟蹤模塊，為每個跟蹤的邊界框提取卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）特征，取得了良好的性能與檢測速度。朱艷等［12］提出一種新型跌倒檢測模型，以深度視覺傳感器獲取的骨骼節(jié)點(diǎn)為樣本數(shù)據(jù)源，輸入所設(shè)計(jì)的CNN 模型中進(jìn)行訓(xùn)練，得到優(yōu)化的跌倒檢測模型參數(shù)。Chen 等［13］首次將二階段代表算法Mask R-CNN［14］用于準(zhǔn)確提取噪聲背景中的運(yùn)動目標(biāo)，并提出一種注意引導(dǎo)的雙向LSTM 模型用于最終的跌倒事件。馬露等［15］針對監(jiān)控視頻中的復(fù)雜場景及多種相似性人類行為干擾的情況，在典型單階段目標(biāo)檢測算法SSD 的基礎(chǔ)上，提出一種改進(jìn)的特征融合單階段多框檢測器（Feature fusion Single Shot multibox Detector，F(xiàn)SSD）跌倒檢測方法，可以有效檢測每幀圖像的跌倒目標(biāo)。Cai 等［16］針對深度網(wǎng)絡(luò)中的信息丟失問題，提出了一種使用多任務(wù)沙漏卷積自動編碼器的基于視覺的跌倒檢測方法，通過完成幀重建的輔助任務(wù)來增強(qiáng)網(wǎng)絡(luò)特征，以實(shí)現(xiàn)精確的跌倒檢測。曹建榮等［17］提出了一種融合人體運(yùn)動信息的深度學(xué)習(xí)跌倒檢測算法，著重改善了人為涉及特征造成的不完備性、前后景分離困難和目標(biāo)混淆或丟失的問題。García 等［18］使用LSTM 神經(jīng)網(wǎng)絡(luò)對時(shí)間序列進(jìn)行分類，并提出一種新的數(shù)據(jù)增強(qiáng)階段，通過合并日常活動中的時(shí)間序列，在訓(xùn)練中引入了可變性，從而讓模型變得更穩(wěn)健、精確。Wang 等［19］提出一種雙通道特征融合的跌倒檢測方法，首先使用目標(biāo)檢測模型和人體姿態(tài)檢測模型獲取人體關(guān)鍵點(diǎn)和位置信息，然后利用雙通道滑動窗口模型提取人體的動態(tài)及靜態(tài)特征，輸入多層感知機(jī)（Multi-Layer Perceptron，MLP）和隨機(jī)森林進(jìn)行最后的分類。上述算法均能取得不錯的效果，但是模型參數(shù)量和計(jì)算量都較高，網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，訓(xùn)練難度較大，導(dǎo)致實(shí)時(shí)性差；并且在復(fù)雜場景下的魯棒性一般，適用范圍有限，難以應(yīng)用于實(shí)際環(huán)境中。

本文針對復(fù)雜場景下跌倒檢測率較低的問題，提出一種改進(jìn)的跌倒檢測模型——PDD-FCOS（PVT DRFPN DIoU-Fully Convolutional One-Stage object detection），在特征提取和特征融合部分融合多種注意力機(jī)制，計(jì)算并調(diào)整不同通道的權(quán)重，促進(jìn)網(wǎng)絡(luò)識別目標(biāo)的位置特征，以準(zhǔn)確實(shí)現(xiàn)跌倒檢測。

本文的主要工作包括如下內(nèi)容。

1）為提取豐富的多尺度特征，特征提取過程中采用金字塔視覺轉(zhuǎn)換器（Pyramid Vision Transformer，PVT）［20］替換ResNet50［21］作為骨干網(wǎng)絡(luò)進(jìn)行特征提取，引入特征金字塔結(jié)構(gòu)，沒有任何卷積操作，在減少計(jì)算量且不增加參數(shù)量的同時(shí)，能提取到豐富的語義信息。

2）在特征融合過程中引入雙重細(xì)化特征金字塔網(wǎng)絡(luò)（Dual Refinement Feature Pyramid Networks，DRFPN）［22］。它由空間細(xì)化塊（Spatial Refinement Block，SRB）和信道細(xì)化塊（Channel Refinement Block，CRB）兩個模塊組成，分別用于緩解空間采樣不準(zhǔn)確和信道融合不準(zhǔn)確的問題。

3）采用距離交并比（Distance Intersection over Union，DIoU）［23］損失，加快模型訓(xùn)練收斂，解決交并比（Intersection over Union，IoU）［9］不能衡量框的距離以及相交方式的問題，為邊界框提供移動方向和更準(zhǔn)確的位置信息。

1 FCOS網(wǎng)絡(luò)模型

FCOS 是一種基于全卷積的單階段目標(biāo)檢測器，是像素級別的目標(biāo)檢測，主要思想類似于語義分割。FCOS 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。FCOS 選取ResNet50 作為基礎(chǔ)網(wǎng)絡(luò)，首先骨干網(wǎng)絡(luò)對圖片進(jìn)行多層次特征提取得到3 組特征結(jié)果后，在特征融合階段將特征圖｛C3，C4，C5｝作為特征融合層的輸入；然后通過自頂向下和橫向連接等方式融合形成特征金字塔｛P3，P4，P5，P6，P7｝，每層特征圖輸入檢測頭模塊后都有逐像素點(diǎn)的分類和回歸兩條支路。

圖1 FCOS網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of FCOS

為了抑制低質(zhì)量的正樣本，F(xiàn)COS 引入中心度（Centerness）［13］的概念，中心度的定義如式（1）所示：

中心度表示樣本偏離中心的程度，取值范圍為［0，1］，若樣本逐漸偏離中心，中心度會越來越小。FCOS 中檢測頭模塊新加一個分支用于預(yù)測中心度，在非極大值抑制（Non-Maximum Suppression，NMS）［9］過程中，過于偏離中心的樣本有可能被去除，從而提升整體算法的性能。

2 跌倒檢測模型

為適應(yīng)在復(fù)雜場景下對行人跌倒行為的檢測，提升檢測效果，本文提出的PDD-FCOS 是一種無錨框的跌倒檢測算法。算法模型由特征提取、特征融合和檢測頭這3 個模塊構(gòu)成，結(jié)構(gòu)如圖2 所示。首先在特征提取模塊，鑒于注意力機(jī)制獲取多尺度特征的能力，輸入圖片經(jīng)過無卷積操作的金字塔視覺轉(zhuǎn)換器（Pyramid Vision Transformer，PVT）提取得到多層次特征｛P2，P3，P4，P5｝，提取更加豐富的語義信息。其次在特征融合模塊，構(gòu)建DRFPN，采用SRB 優(yōu)化通道間的融合方法，并通過CRB 賦予各通道不同的權(quán)重。最后通過橫向連接的方式形成特征金字塔｛N2，N3，N4，N5，N6，N7｝傳向檢測頭，檢測頭模塊主要進(jìn)行最終的分類和回歸。為更好地衡量真實(shí)框與預(yù)測框的位置關(guān)系與相交方式，使收斂框收斂更快、精度更高，本文算法在回歸框損失函數(shù)中采用DIoU。本章將聯(lián)系基準(zhǔn)FCOS 算法中的各種檢測問題，從特征提取、特征融合和損失函數(shù)3 個模塊對PDD-FCOS 模型所作改進(jìn)進(jìn)行詳細(xì)的闡述。

圖2 PDD-FCOS模型結(jié)構(gòu)Fig.2 Structure of PDD-FCOS model

2.1 特征提取模塊

FCOS 骨干網(wǎng)絡(luò)ResNet50 的感受野隨著深度的增加而增大，只能逐步獲取期望的局部結(jié)構(gòu)。為了可以在密集的預(yù)測任務(wù)中提取更豐富的特征信息，本文在骨干網(wǎng)絡(luò)處采用PVT，此結(jié)構(gòu)基于純Transformer 模塊通過將圖像視為塊序列，并融入金字塔結(jié)構(gòu)以提取多尺度特征圖。PVT 能產(chǎn)生全局感受野，所以比ResNet50 的局部感受野更適合檢測目標(biāo)。同時(shí)，由于金字塔結(jié)構(gòu)的推進(jìn)，PVT 更容易插入許多有代表性的密集預(yù)測管道。

為了以更簡單的方式處理高分辨率的特征圖，PVT 對ViT（Vision Transformer）的多頭注意力模塊作了調(diào)整，提出一種線性空間減少注意力（Spatial Reduction Attention，SRA）機(jī)制［23］，它接收一個查詢Q、一個鍵K和一個值V作為輸入，并輸出一個改進(jìn)后的特征。SRA 中的K和V空間均減少，降低了計(jì)算和內(nèi)存的成本?？梢詫⒌谝浑A段的SRA 詳細(xì)信息表述如式（2）～（4）所示：

本文采用的PVT 版本為PVTv2［24］，突出特點(diǎn)為SRA 的應(yīng)用。通過空間縮減，SRA 的計(jì)算和存儲成本遠(yuǎn)小于多頭注意力（Multi-Head Attention，MHA），MHA 與線性SRA 的操作對比如圖3 所示，其中c指輸出通道。

圖3 多頭注意力與線性SRA的對比Fig.3 Comparison between multi-head attention and linear SRA

與PVTv1 中使用卷積進(jìn)行空間縮減的SRA 不同，線性SRA 使用平均池化將空間維度H×W在注意力操作之前縮減為固定大小的P×P，因此線性SRA 具有跟卷積層相似的線性計(jì)算和內(nèi)存成本。

PVT 整個結(jié)構(gòu)中一共分為4 個相似的階段，堆疊多個獨(dú)立的Transformer encoder，每個Transformer 模塊都由一個多頭自注意力（Multi-Head Self-Attention，MHSA）層［25］和一個前饋多層感知機(jī)（Feedforward MLP，F(xiàn)MLP）［25］組成。MHSA的計(jì)算公式如式（5）所示：

其中：Q為查詢矩陣，K和V分別為矩陣表示的鍵和值，d表示詞向量的長度。PVT 在每個階段中通過貼片嵌入（Patch Embedding，Patch Emb）逐漸降低輸入的分辨率。在第一階段給定一個H×W×3 大小的輸入圖像，首先將它劃分為（H/4）×（W/4）個切片，每個切片的尺寸為4×4×3；然后將展平的切片送到線性投影，并獲得尺寸為（H/4）×（W/4）×C1的Patch Embedding、Patch Embedding 和Position Embedding 一起通過具有L1層的Transformer 編碼器；最后輸出重塑后尺寸為（H/4）×（W/4）×C1的特征圖F1。以相同的方式，使用前一階段的特征圖作為輸入，從而獲得以下特征圖F3、F4 和F5，其相較于輸入圖像的步幅分別為8、16、32和64。使用金字塔特征圖｛F2，F(xiàn)3，F(xiàn)4，F(xiàn)5｝，使PVT 可以適當(dāng)作為目標(biāo)檢測任務(wù)的骨干提取網(wǎng)絡(luò)。PVT的總體架構(gòu)如圖4所示。

圖4 PVT的總體架構(gòu)Fig.4 Overall architecture of PVT

2.2 雙重細(xì)化金字塔特征融合模塊

經(jīng)過骨干網(wǎng)絡(luò)PVT 提取得到多層次特征｛F2，F(xiàn)3，F(xiàn)4，F(xiàn)5｝后，為了讓低層特征圖盡可能地預(yù)測小物體，讓高層特征圖盡可能地預(yù)測大物體，F(xiàn)COS 采用多尺度分級預(yù)測機(jī)制特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）［9］。FPN 包括兩個階段：第一階段，F(xiàn)PN 對每個通道的特征圖進(jìn)行上采樣，由于存在許多不同維度的卷積算子和重復(fù)的池化操作，相鄰特征會存在語義和分辨率上的差距，因此插值法在合并中引入了大量錯誤和冗余的信息；第二階段，F(xiàn)PN 使用直接加法融合向上采樣具有相同空間分辨率的通道；但是部分模式包含更抽象的信息，而其他模式包含更詳細(xì)的信息，因此合并時(shí)這些模式的重要性是不同的。

為更好提升模型的性能，本文采用雙重細(xì)化特征金字塔網(wǎng)絡(luò)（DRFPN）解決以上問題，DRFPN 由空間細(xì)化塊（SRB）和信道細(xì)化塊（CRB）兩個模塊組成。SRB 基于相鄰級別之間的上下文信息學(xué)習(xí)采樣點(diǎn)的位置和內(nèi)容。CRB 學(xué)習(xí)了一種基于注意力機(jī)制的自適應(yīng)信道合并方法，在特征地圖層面學(xué)習(xí)不同模式之間的關(guān)系，有利于準(zhǔn)確區(qū)分物體和背景。SRB和CRB 的結(jié)構(gòu)如圖5 所示。

圖5 SRB和CRB的結(jié)構(gòu)Fig.5 Structure of SRB and CRB

SRB 主要解決兩個問題：第一，僅基于位置信息對分辨率較高的特征圖進(jìn)行上采樣是不準(zhǔn)確的；第二，不同的采樣點(diǎn)包含不同的語義信息，不應(yīng)具有相同的權(quán)重。SRB 首先合并相鄰層的上下文信息學(xué)習(xí)采樣點(diǎn)的偏移量，然后使用全局信息細(xì)化每個采樣點(diǎn)的值。SRB 總體過程分為兩個子任務(wù)：采樣點(diǎn)偏移和全局信息細(xì)化。如圖5（a）所示，SRB 學(xué)習(xí)整個特征映射的每個像素的偏移量，使偏移矩陣的參數(shù)數(shù)量大幅減少，而且SRB 結(jié)合不同尺度的信息，準(zhǔn)確得出采樣位置。SRB 還利用全局信息細(xì)化采樣權(quán)重，使采樣結(jié)果更加準(zhǔn)確。SRB 的計(jì)算輸出公式如式（6）所示：

其中conv3是指3×3 的卷積層；up 是上采樣操作；ω是重新排列的權(quán)重指在所有像素被映射后，形成的與低級別特征圖大小相同的特征圖；⊙是Hadamard 乘積。SRB 首先使用兩個1×1 的卷積層壓縮兩個特征圖Flow和Fhigh的通道，并通過逆卷積層將Fhigh采樣到與Flow相同的大小，然后將它們連接在一起，并使用連接后的特征映射作為SRB 全局細(xì)化工作的輸入，P是SRB 的最終輸出結(jié)果。

CRB 旨在根據(jù)上下文優(yōu)化通道間的融合方法。如圖5（b）所示，該模塊以自下而上的方式工作，使用通道注意機(jī)制引導(dǎo)網(wǎng)絡(luò)在相鄰層合并時(shí)學(xué)習(xí)通道的權(quán)重。CRB 側(cè)重于在合并時(shí)相鄰層如何通過上下文相互引導(dǎo)，并在特征融合過程中使用低級特征映射的語義信息學(xué)習(xí)高級特征映射的權(quán)重。在不顯著增加計(jì)算量的情況下，CRB 捕獲通道之間更準(zhǔn)確的語義關(guān)系，并提高最終檢測性能。CRB 的計(jì)算輸出公式如式（7）（8）所示：

其中：GAP 表示全局平均池化，conv3表示3×3 卷積，conv1是一個內(nèi)核大小為1×1的卷積核，convdown是3×3步幅的卷積。CRB首先通過全局平均池化在特征圖Flow上獲取權(quán)重引導(dǎo)信息，并與1×1 卷積層細(xì)化后的Fhigh進(jìn)行Hadamard 乘積，然后加上步長為2、大小為3×3的卷積層處理Fhigh后的特征圖得到Pl，并由另一個3×3的卷積層處理后得到CRB的最終特征Nl。

2.3 損失函數(shù)

對目標(biāo)進(jìn)行位置預(yù)測時(shí)，算法生成不止一個預(yù)測框，需要使用非極大值抑制（NMS）方法［9］刪除多余的預(yù)測框，從而選擇最接近真實(shí)框的預(yù)測框。在FCOS 中，交并比（IoU）［9］作為衡量邊界框置信度的評價(jià)指標(biāo)，對正負(fù)樣本的選擇起著至關(guān)重要的作用。研究證明，IoU 損失函數(shù)在回歸框損失的計(jì)算擁有不錯的效果，但是IoU 無法衡量兩個邊界框的距離，不能反映兩者的相交方式，而且IoU 損失函數(shù)僅與兩框的IoU 和相交面積相關(guān)。如果直接使用IoU 作為損失函數(shù)，當(dāng)兩框相交面積相同時(shí)IoU 損失函數(shù)也相等，無法給出預(yù)測框和真實(shí)框的重合度；當(dāng)兩框不相交時(shí)損失函數(shù)為零，無法優(yōu)化邊界框，無法準(zhǔn)確衡量位置信息。針對上述問題，本文采用距離交并比（DIoU）代替IoU 作為評價(jià)邊界框位置的參數(shù)，同時(shí)使用DIoU Loss 作為邊界框位置預(yù)測的損失函數(shù)。DIoU在IoU 的基礎(chǔ)上加入一個包含邊界框和真實(shí)框的最小凸包，DIoU 定義如式（9）所示：

其中：ρ代表兩個框中心點(diǎn)之間的歐氏距離，B和Bgt分別表示預(yù)測框和真實(shí)框，C表示能夠同時(shí)覆蓋預(yù)測框和真實(shí)框最小矩形的對角線距離。當(dāng)兩框的DIoU 值越大時(shí)，損失函數(shù)就越小。當(dāng)邊界框與目標(biāo)框全部重合時(shí)損失函數(shù)為0；當(dāng)兩框相距很遠(yuǎn)時(shí)損失函數(shù)等于2，所以能夠更好地反映兩框之間的重合度。目標(biāo)檢測算法中已引入多種回歸框損失函數(shù)，在本文算法中DIoU 的精度提升效果與參數(shù)復(fù)雜度最優(yōu)，所以本文采用DIoU 作為損失函數(shù)。當(dāng)邊界框與目標(biāo)框不相交時(shí)，DIoU 仍然可以為邊界框提供更準(zhǔn)確的移動方向，并且它損失限制的是兩個框的距離，因此會提高模型收斂速度，即使兩框包含也能達(dá)到上述效果。同時(shí)，利用DIoU 代替IoU 作為評價(jià)參數(shù)，當(dāng)邊界框與真實(shí)框上下或左右相鄰時(shí)，DIoU 能夠優(yōu)化不相交的邊界框，保留位置更準(zhǔn)確的邊界框，從而提高模型對目標(biāo)位置預(yù)測的準(zhǔn)確率，使它通過NMS 篩選得到的結(jié)果更加合理。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本次實(shí)驗(yàn)使用百度AIStudio 上的開源跌倒檢測數(shù)據(jù)集Fall detection Database（https：//aistudio.baidu.com/aistudio/datasetdetail/94809），該數(shù)據(jù)集為VOC 格式，總共有1 442 張圖片，包含多種場景下的跌倒情形。數(shù)據(jù)集中多場景跌倒的示例見圖6。本文實(shí)驗(yàn)將數(shù)據(jù)集轉(zhuǎn)化為COCO 格式，并按照8∶2 隨機(jī)分為訓(xùn)練集和測試集，即訓(xùn)練集1 154 張，測試集288 張。為提高模型泛化能力，本文在實(shí)驗(yàn)中對數(shù)據(jù)采取了水平翻轉(zhuǎn)、隨機(jī)剪裁、角度旋轉(zhuǎn)等擴(kuò)充方式。

圖6 多場景跌倒示例Fig.6 Fall examples in multiple scenes

3.2 評估標(biāo)準(zhǔn)及實(shí)驗(yàn)環(huán)境

本文利用準(zhǔn)確率P（Precision）和召回率R（Recall）計(jì)算的平均精確度均值（mean Average Precision，mAP）作為網(wǎng)絡(luò)模型性能評估標(biāo)準(zhǔn)。mAP 是所有類別平均檢測準(zhǔn)確率（Average Precision，AP）的均值，用來評價(jià)檢測模型的整體性能。P、R和mAP的計(jì)算如式（10）～（13）所示：

其中：TP（True Positive）為被正確預(yù)測的正例數(shù)，F(xiàn)P（False Positive）為被錯誤預(yù)測為正例的負(fù)例數(shù)，F(xiàn)N（False Negative）為被錯誤預(yù)測為負(fù)例的正例數(shù)，n為檢測類別數(shù)，VAP(i)為各類檢測精度。本文搭建的實(shí)驗(yàn)環(huán)境具體設(shè)置如表1 所示。

表1 實(shí)驗(yàn)環(huán)境Tab.1 Experimental environment

訓(xùn)練時(shí)采用AdamW 的優(yōu)化算法，初始學(xué)習(xí)率為0.001，共訓(xùn)練60 輪，并使用MultiStepLR 衰減策略，在48 輪和54 輪時(shí)將學(xué)習(xí)率調(diào)整為當(dāng)前的1/10。

3.3 實(shí)驗(yàn)場景測試

本文在多場景下將原始FCOS 和本文算法進(jìn)行可視化對比，跌倒檢測效果按前倒、后倒、側(cè)倒和復(fù)雜場景這4 種方式進(jìn)行對比展示，可視化結(jié)果如圖7 所示。通過對比可以看出，在4 種方式下，本文算法的檢測精度均有不同程度的提升，該可視化效果圖也驗(yàn)證了本文算法能提升行人跌倒檢測的有效性。

圖7 可視化結(jié)果對比Fig.7 Comparison of visualization results

3.4 對比實(shí)驗(yàn)

本實(shí)驗(yàn)將本文檢測算法與其他4 種主流目標(biāo)檢測算法（文獻(xiàn)［5，11，14］算法和基準(zhǔn)算法FCOS［9］）進(jìn)行比較，從而進(jìn)一步驗(yàn)證本文算法的有效性。實(shí)驗(yàn)將IoU 值為0.5 時(shí)的mAP作為評價(jià)標(biāo)準(zhǔn)，并列出各算法的參數(shù)量與計(jì)算量，如表2所示。

表2 實(shí)驗(yàn)結(jié)果對比Tab.2 Comparison of experimental results

本文算法與兩階段目標(biāo)檢測算法代表Faster R-CNN 相比，參數(shù)量與計(jì)算量均有所減小，但是mAP 有0.9 個百分點(diǎn)的提升；與以Faster R-CNN 為基準(zhǔn)改進(jìn)的Mask-RCNN 相比，mAP 也有0.4 個百分點(diǎn)的提升；與一階段目標(biāo)檢測算法代表YOLOv3 相比，在計(jì)算量有所減小、參數(shù)量減半的情況下，mAP 仍提高了1.9 個百分點(diǎn)；與基準(zhǔn)算法FCOS（Baseline）相比，雖然參數(shù)量略有增加，但是計(jì)算量有所減小，mAP 也在原基礎(chǔ)上提升了6.4 個百分點(diǎn)。通過與多種主流目標(biāo)檢測算法的比較，驗(yàn)證了本文算法的有效性。

3.5 消融實(shí)驗(yàn)

為驗(yàn)證本文算法各個模塊對AP 的影響，本文設(shè)置了4組對比實(shí)驗(yàn)，IoU 值設(shè)置為0.5，除去表3 中對比的模塊以外，其余設(shè)置全部相同。消融實(shí)驗(yàn)結(jié)果如表3 所示。

在第1 組使用基準(zhǔn)（Baseline）算法FCOS，即沒有任何改進(jìn)的情況下mAP 為75.8%；第2 組實(shí)驗(yàn)用金字塔視覺轉(zhuǎn)換器（PVT）替換了骨干網(wǎng)絡(luò)ResNet50 之后，mAP 提升了4.0 個百分點(diǎn)；第3 組實(shí)驗(yàn)在回歸框損失計(jì)算中用DIoU 代替了IoU 之后，mAP 又提升了1.7 個百分點(diǎn)；第4 組實(shí)驗(yàn)將雙重細(xì)化特征金字塔（DRFPN）插入原有FPN 之后，mAP 進(jìn)一步提升了0.7個百分點(diǎn)。消融實(shí)驗(yàn)結(jié)果表明改進(jìn)后的算法mAP 比原Baseline 算法整體提升了6.4 個百分點(diǎn)，證明了該算法在各模塊改進(jìn)后均能有效提升對多場景行人跌倒的檢測精度。

4 結(jié)語

本文針對行人跌倒檢測在復(fù)雜場景下檢測精度較低的問題，提出一種行人跌倒檢測模型——PDD-FCOS。在特征提取階段，針對FCOS 骨干網(wǎng)絡(luò)ResNet50 網(wǎng)絡(luò)過深導(dǎo)致參數(shù)量過大的問題，引入一種金字塔結(jié)構(gòu)的特征轉(zhuǎn)換器PVT 作為新的骨干網(wǎng)絡(luò)，從而提取到更為豐富的特征語義；在特征融合階段，加入SRB 和CRB 兩個模塊，彌補(bǔ)了FPN 中相鄰層特征融合的設(shè)計(jì)缺陷。在邊界回歸損失問題上，考慮中心點(diǎn)距離的歸一化問題，采用距離交并比的策略，使收斂更快，性能更好。實(shí)驗(yàn)結(jié)果表明，在減少計(jì)算量的情況下，比原算法的mAP 提高了6.4 個百分點(diǎn)，可見改進(jìn)后算法的有效性。實(shí)驗(yàn)結(jié)果也表明，對于行人跌倒數(shù)據(jù)集中小目標(biāo)的檢測效果仍有待提高，這也是未來要進(jìn)一步研究的內(nèi)容。