毛曉東

（永城職業(yè)學(xué)院電子信息工程系，河南 永城 476600）

1 引言

隨著我國城市化進程的進一步發(fā)展，升降電梯以其方便快捷的特點，逐漸成為了新建商品房、寫字樓等建筑的標(biāo)準(zhǔn)配置。然而，在電梯的實際使用過程中，除了電梯本身的設(shè)計制造缺陷造成的安全事故［1］外，還有一些是由于電梯乘客不遵守電梯使用規(guī)范，在電梯內(nèi)蹦跳、打鬧以及扒門、踹門等，使電梯出現(xiàn)故障，造成嚴(yán)重安全事故，對個人及其家庭帶來了極大的傷害，另外還會給管理方造成不必要的經(jīng)濟損失［2］。因此，對電梯內(nèi)乘客的行為進行監(jiān)測分析，在發(fā)現(xiàn)危險行為時及時向物業(yè)管理部門進行預(yù)警并阻止電梯乘客的危險行為，可以在一定程度上降低電梯內(nèi)安全事故的發(fā)生概率，具有重要研究意義。

目前，基于“特征提取-機器學(xué)習(xí)”模型的電梯危險行為識別方法應(yīng)用較為廣泛，文獻［3］以現(xiàn)有電梯硬件配置結(jié)合計算機視覺技術(shù)和機器學(xué)習(xí)算法進行電梯轎廂人員檢測；文獻［4］通過特征提取技術(shù)計算能量函數(shù)的數(shù)值，并結(jié)合電梯內(nèi)的人數(shù)來判定異常行為的發(fā)生與否。雖然上述方法在電梯危險行為監(jiān)測方面取得了一定成果，但是這些方法都不能直接分析電梯乘客的行為，且傳統(tǒng)基于“人工特征提取-機器學(xué)習(xí)識別”的危險行為監(jiān)測方法的性能很大程度上依賴于人工特征提取和特征選擇，而從原始特征集中為不同的識別任務(wù)選擇較為敏感的特征并不容易，此外支持向量機（Support Vector Machine，SVM）、神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）等淺層分類器面臨維數(shù)災(zāi)難問題。電梯乘客的危險行為分析屬于人體動作識別領(lǐng)域，人體動作識別是計算機視覺的一個重要研究方向。不同于普通的圖像識別任務(wù)，人體動作具有連貫性、復(fù)雜性等特點，難以通過一張圖片分析人體動作，必須對連續(xù)的視頻幀進行分析以識別人體動作，這就對識別算法提出了較高要求。

由上述可知，傳統(tǒng)基于人工設(shè)計特征的動作識別算法［5-8］由于數(shù)據(jù)預(yù)處理復(fù)雜、效率低、魯棒性差等特點，在實際應(yīng)用中效果較差。近年來，深度學(xué)習(xí)技術(shù)發(fā)展迅猛，尤其是卷積神經(jīng)網(wǎng)絡(luò)（CNN）［9］使得計算機視覺領(lǐng)域的各種技術(shù)難題都獲得了突破性進展，例如圖像識別、目標(biāo)檢測、動作識別以及姿態(tài)估計等技術(shù)都得到了極大進步。在目標(biāo)檢測領(lǐng)域，RCNN等雙階段目標(biāo)檢測方法［10-12］的提出，大大提高了目標(biāo)檢測的準(zhǔn)確率，但檢測速度不佳。文獻［13］提出的YOLOv3單階段目標(biāo)檢測算法在保證準(zhǔn)確率的情況下大幅度提升了檢測速度。在動作識別領(lǐng)域，Karen 文獻［14］提出了Convolutional Two-Stream Network 進行動作識別，文獻［15］提出了3DCNN 同時學(xué)習(xí)人體動作的時空特征，文獻［16］利用3DCNN，設(shè)計了C3D 模型進行動作識別，文獻［17］提出了利用卷積神經(jīng)網(wǎng)絡(luò)及長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）［18］識別人體動作，以上這些基于深度學(xué)習(xí)的人體行為識別方法在電梯危險行為監(jiān)測領(lǐng)域也得到了應(yīng)用，文獻［19］直接使用深度神經(jīng)網(wǎng)絡(luò)模型進行電梯乘客危險行為識別，取得了較高的識別率但存在實時性差計算復(fù)雜度高的缺陷，這是因為若直接使用深度學(xué)習(xí)算法對電梯危險行為進行識別監(jiān)測，而不首先進行快速定位，則訓(xùn)練時間過長，不利于實時監(jiān)測。因此分兩階段進行電梯危險行為分析，首先利用YOLOv3目標(biāo)檢測算法快速對目標(biāo)進行定位，然后利用三維卷積神經(jīng)網(wǎng)絡(luò)（3DCNN）進行電梯危險行為監(jiān)測，可在一定程度上提高檢測效率。

2 算法分析

2.1 整體算法流程

整體算法流程，如圖1所示。

圖1 整體算法流程Fig.1 Overall Algorithm Flow

圖2 YOLOv3算法流程Fig.2 Algorithm Flow of the YOLOv3

首先利用目標(biāo)檢測算法進行人員檢測，當(dāng)檢測到有乘客后，啟動動作識別算法對乘客進行行為分析。若發(fā)現(xiàn)異常行為則及時向相關(guān)負責(zé)人進行預(yù)警，并可通過電梯內(nèi)的對講系統(tǒng)對乘客進行喊話。因此，合適的目標(biāo)檢測算法與動作識別算法的選取與設(shè)計是實現(xiàn)電梯行為監(jiān)測的首要任務(wù)。

2.2 目標(biāo)檢測算法分析

由文獻［13］可知，YOLOv3比單階段的目標(biāo)檢測算法速度快很多，能滿足實際應(yīng)用的需求性，YOLOv3 的算法流程，如圖1 所示。首先將輸入圖像分割成若干小格，若所檢測物體的中心恰巧在某小格中，則該格子負責(zé)檢測該物體類別及坐標(biāo)。整個過程不需要像RCNN對多個候選區(qū)域提取分別提取特征，只需要對輸入圖像提取一次卷積特征即可，因此速度提升明顯，可達RCNN的一千倍左右。

YOLOv3之所以可以端到端的檢測物體類別及位置，這得益于設(shè)計的損失函數(shù)，該損失函數(shù)由坐標(biāo)誤差、置信度誤差、類別誤差三部分組成，因此可直接訓(xùn)練得到物體的類別及坐標(biāo)。其損失函數(shù)表達式，如式（1）所示。

2.3 動作識別算法分析

目前常見的基于深度學(xué)習(xí)的動作識別算法，按其設(shè)計思路大概可分為三種：基于光流等特征與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合的模型（Two-Stream）［10］、基于三維卷積神經(jīng)網(wǎng)絡(luò)的模型（C3D）［12］、基于CNN與LSTM結(jié)合的模型（LRPN）［13］。Two-Stream模型是由兩個二維卷積神經(jīng)網(wǎng)絡(luò)組成的模型，兩個卷積神經(jīng)網(wǎng)絡(luò)分別處理單幀圖像與光流特征，單幀圖像可以學(xué)習(xí)空間信息，光流特征可以學(xué)習(xí)時域信息，最后進行特征融合以識別人體動作。C3D是基于三維卷積神經(jīng)網(wǎng)絡(luò)設(shè)計的模型，模型的輸入與卷積核相較于二維卷積神經(jīng)網(wǎng)絡(luò)都擴充了一個維度，可以同時學(xué)習(xí)時域與空間域信息。LRPN則是將CNN提取的特征，按時序傳給LSTM網(wǎng)絡(luò)，因此LRPN也具備了關(guān)聯(lián)前后幀時域信息的能力。

對三種模型的識別準(zhǔn)確率以及識別速度進行了對比，準(zhǔn)確率均是對公開數(shù)據(jù)集UCF-101［20］進行測試得到的，如圖3所示。

圖3 動作識別算法對比Fig.3 Comparison of Motion Recognition Algorithms

由圖3 可知：C3D 模型的識別速度可達313.9fps/s，準(zhǔn)確率也高達85.2%［12］，且不需要復(fù)雜的數(shù)據(jù)預(yù)處理，更貼近工程應(yīng)用的實際需求。因此將研究設(shè)計一個三維卷積神經(jīng)網(wǎng)絡(luò)，并構(gòu)建電梯危險行為數(shù)據(jù)集進行訓(xùn)練，最后再測試集上測試網(wǎng)絡(luò)的識別準(zhǔn)確率。

3 三維卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計

3.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是由一系列卷積層、池化層以及全連接層等組成的神經(jīng)網(wǎng)絡(luò)模型。卷積神經(jīng)網(wǎng)絡(luò)具有局部感受野、權(quán)值共享以及池化的性質(zhì)，可以更好的處理圖像信息。一個簡單的卷積神經(jīng)網(wǎng)絡(luò)模型，如圖4所示。

圖4 二維卷積神經(jīng)網(wǎng)絡(luò)Fig.4 Two Dimensional Convolutional Neural Network

二維卷積神經(jīng)網(wǎng)絡(luò)的輸入往往是一張二維圖像，然后卷積核對輸入圖像進行卷積操作。若用wb表示偏執(zhí)值，則卷積公式表示如下：

式中：ai，j—輸出特征圖對應(yīng)位置的值；（fx）—激活函數(shù)，激活函數(shù)是為了使卷積操作可以得到非線性的輸出，擬合能力更強。

接下來，對卷積層進行池化操作，以此得到池化層。池化操作可以在保證特征不變性的情況下大幅減少參數(shù)量，實現(xiàn)特征降維；經(jīng)過幾次卷積與池化操作，將最后的特征信息傳給全連接層，全連接層作為輸出層的過渡，可以很好的組合神經(jīng)網(wǎng)絡(luò)學(xué)到的高維抽象特征；在多分類任務(wù)中，Softmax 函數(shù)常會在輸出層常采用，將輸出值映射到（0～1）的區(qū)間內(nèi)。Softmax函數(shù)表示，如式（3）所示。其中，vi表示每個輸出分類的得分，C為總的分類個數(shù)。

最后輸出層通過與真實標(biāo)簽對比得到學(xué)習(xí)誤差，并通過隨機梯度下降（SGD）等方法進行參數(shù)更新，與Softmax對應(yīng)的損失函數(shù)常采用交叉熵損失函數(shù)，其公式，如式（4）所示：

式中：y（i）—第i個類別的真實值；

3.2 三維卷積神經(jīng)網(wǎng)絡(luò)

通常情況下，三維卷積神經(jīng)網(wǎng)絡(luò)也是由三維卷積層、三維池化層、全連接層等組成。但三維卷積神經(jīng)網(wǎng)絡(luò)的輸入不再是一張二維的圖像，而是將多張圖像進行疊加，將連續(xù)的視頻幀序列作為一個樣本，相應(yīng)的卷積核也同時增加了一個維度，可以同時學(xué)習(xí)空間域及時間域信息。二維卷積與三維卷積的對比圖，如圖5所示。

圖5 卷積神經(jīng)網(wǎng)絡(luò)對比Fig.5 Comparison of the Convolutional Neural Networks

考慮到樣本數(shù)據(jù)量較小，基于C3D模型建立了較小的三維卷積神經(jīng)網(wǎng)絡(luò)模型，該模型由三維卷積層、三維池化層、全連接層、輸出層組成，結(jié)構(gòu)示意圖，如圖6所示。

圖6 網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Network Structure

網(wǎng)絡(luò)的輸入為從視頻中按時間序列隨機抽取的16幀序列圖像，每張圖像的尺寸都被裁剪成尺寸為（112×112×3）的RGB 圖像。所有的卷積層均采用長、寬、高都為3的三維卷積核進行卷積操作，并經(jīng)激活函數(shù)激活得到。另外，為了保留更多特征信息，所有卷積核的步長均為［1，1，1］。

4 實驗及結(jié)果分析

4.1 數(shù)據(jù)集建立

訓(xùn)練一個可用的神經(jīng)網(wǎng)絡(luò)模型的一般過程，如圖7所示。由圖可知，建立預(yù)識別動作的數(shù)據(jù)集是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的前提。因此，分析常見的電梯危險行為并建立數(shù)據(jù)集是首要任務(wù)。

圖7 訓(xùn)練流程Fig.7 Training Process

通過對近來電梯安全事故的分析，造成事故的主要行為主要有以下幾種：蹦跳、扒電梯門、踹電梯門、打架、跌倒五類。因此，建立包含五類危險行為動作以及一類正常行為的數(shù)據(jù)集，部分樣本示例，如圖8所示。

圖8 數(shù)據(jù)集示例Fig.8 Dataset Examples

危險行為數(shù)據(jù)集一部分由6位實驗人員在實驗室錄制而成，且包含單人環(huán)境下的動作及多人情況下的動作，另一部分由網(wǎng)絡(luò)公開視頻搜集而來，共計300段視頻樣本，每個視頻樣本的長度都為3s左右。考慮到人體行為的多樣性，在建立樣本數(shù)據(jù)集時，所有動作都由實驗人員按照自己的理解進行。數(shù)據(jù)集的具體情況，如表1所示。

表1 數(shù)據(jù)集情況Tab.1 Data Set Status

隨后，對每個視頻樣本提取視頻幀，每秒提取十幀圖像，保存在相應(yīng)文件夾下。以蹦跳行為為例，一級目錄為jump，二級目錄為50 個子文件夾，每個文件夾下都是提取相應(yīng)視頻的視頻幀。訓(xùn)練時，將從二級目錄下按時許抽取16幀圖像作為一個樣本，一級目錄即為其類別標(biāo)簽。到此，動作識別數(shù)據(jù)集建立完成。

由于電梯監(jiān)控視角的特殊性，直接用YOLOv3在VOC數(shù)據(jù)集上訓(xùn)練好的權(quán)重進行人員檢測效果不佳，故還需要對構(gòu)建的數(shù)據(jù)集進行標(biāo)注及訓(xùn)練。用LabelImg標(biāo)注工具對圖像標(biāo)注，生成標(biāo)簽文件，標(biāo)簽文件與圖片一一對應(yīng)，其中包含該圖片中的目標(biāo)類別即坐標(biāo)信息，標(biāo)注過程，如圖9所示。

圖9 標(biāo)注過程Fig.9 Labeling Process

4.2 實驗及結(jié)果分析

實驗所用服務(wù)器系統(tǒng)為Ubuntu16.04（64位），顯卡為NVIDIA Titan XP，CPU為64G的Intel E5-2630，YOLOv3訓(xùn)練環(huán)境為Darknet，3DCNN訓(xùn)練環(huán)境為Tensorflow-gpu。

4.2.1 YOLOv3訓(xùn)練

將標(biāo)注得到的3000張圖像及標(biāo)簽文件，分為訓(xùn)練集與測試集，其中訓(xùn)練集占80%，測試集占20%。隨后利用Darknet 框架進行訓(xùn)練，batch_size 大小為32，分8 次輸入網(wǎng)絡(luò)，初始學(xué)習(xí)率為0.001，訓(xùn)練最大批次數(shù)為200000 次。損失函數(shù)的訓(xùn)練曲線圖，如圖10所示。由圖10可知，損失值穩(wěn)定得收斂在0.1左右。最后，在測試集上對訓(xùn)練好得模型進行測試，檢測準(zhǔn)確率達96.6%，檢測速度為32fps/s，可以很好的達到檢測電梯內(nèi)是否有人的目的。

圖10 損失曲線Fig.10 Loss Curve

4.2.2 三維卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練

將數(shù)據(jù)集的80%作為訓(xùn)練集，20%作為測試集，訓(xùn)練最大批次數(shù)為700 次，初始化學(xué)習(xí)率為0.0001，學(xué)習(xí)率衰減系數(shù)為0.5，衰減周期為2 個迭代次數(shù)，batch_size 大小為5，即一次輸入5個樣本。

訓(xùn)練過程的準(zhǔn)確率及損失的可視化結(jié)果，如圖11所示。由可視化結(jié)果可知，網(wǎng)絡(luò)模型基本找到了超參數(shù)最優(yōu)解，損失函數(shù)收斂較好，得到了較好的訓(xùn)練效果，建立的危險行為訓(xùn)練數(shù)據(jù)集上的準(zhǔn)確率可達99.3%。

圖11 訓(xùn)練結(jié)果Fig.11 Training Results

接下來進驗證訓(xùn)練模型的測試效果，以避免過擬合情況的發(fā)生。訓(xùn)練模型對測試集6類動作的測試結(jié)果的，如圖12所示。由該圖可知，該模型對6 類電梯行為的識別準(zhǔn)確率大于等于80%，平均測試準(zhǔn)確率為88.3%。基本可以滿足實際應(yīng)用需求，可達到及時發(fā)現(xiàn)危險行為并進行預(yù)警的目的。

圖12 測試結(jié)果Fig.12 Test Results

5 結(jié)論

（1）利用YOLOv3對電梯廂內(nèi)的乘客進行檢測，準(zhǔn)確率可達96.6%，檢測速度為32fps，可以在滿足是實時性的前提下準(zhǔn)確的檢測出乘客；（2）用設(shè)計的三維卷積神經(jīng)網(wǎng)絡(luò)模型可以快速準(zhǔn)確的識電梯乘客的危險行為，包括蹦跳、扒電梯門、踹電梯門、打架、跌倒以及正常情況，平均識別準(zhǔn)確率達到88.3%，識別速度到了306fps/s；（3）通過對結(jié)果的觀察發(fā)現(xiàn)，在電梯內(nèi)人數(shù)較多時，由于遮擋原因會造成識別率較低，針對這種情況暫時還沒有較好解決辦法，且由于實驗條件及安全問題所限，還未能在真實的電梯環(huán)境下測試；（4）未來還需要進一步構(gòu)建更多的數(shù)據(jù)集以及探索更優(yōu)的網(wǎng)絡(luò)模型以達到更好的識別效果。