(上海工程技術(shù)大學(xué) 機(jī)械與汽車工程學(xué)院，上海 201820)

0 引言

隨著汽車保有量的快速增加，交通事故數(shù)量和死亡人數(shù)一直處于較高水平，行人作為道路交通的主要參與者，保障行人安全是智能交通系統(tǒng)建設(shè)的重要目標(biāo)之一。資料數(shù)據(jù)表明，在道路交通事故的人員傷亡中，行人橫穿道路發(fā)生的交通事故占較大比重。因此，實(shí)現(xiàn)對行人行為的有效檢測和正確識(shí)別，可保障交通環(huán)境中行人的安全，減少交通事故的發(fā)生率[1-2]。實(shí)現(xiàn)車輛前方行人行為的準(zhǔn)確識(shí)別是汽車自動(dòng)駕駛系統(tǒng)構(gòu)建基本要求，對改善道路交通安全和交通質(zhì)量具有重要的意義[3]。

車載攝像系統(tǒng)可對車輛前方的行人及道路狀況進(jìn)行記錄，通過對記錄的視頻數(shù)據(jù)進(jìn)行分析可識(shí)別出行人的行為動(dòng)作[4]。根據(jù)視頻數(shù)據(jù)源不同可將行為識(shí)別方法劃分為三類：基于彩色視頻的行為識(shí)別、基于深度圖的行為識(shí)別、基于骨架節(jié)點(diǎn)的行為識(shí)別[5]?；诓噬曨l的行為識(shí)別方面，F(xiàn)eichtenhofer等人[6]提出了一種新的雙流網(wǎng)絡(luò)時(shí)空結(jié)構(gòu)，將時(shí)間流和空間流產(chǎn)生的特征在時(shí)間和空間上進(jìn)行3D融合識(shí)別視頻，但由于數(shù)據(jù)集中的干擾信息過多對識(shí)別精度產(chǎn)生了一定的影響?；谏疃葓D的行為識(shí)別方面，Vieira等人[7]在識(shí)別行為動(dòng)作中，保留了時(shí)空單元之間的空間和時(shí)間的上下文信息，具有較高的靈活性。與前兩種方法相比，基于骨架節(jié)點(diǎn)的行為識(shí)別方法主要利用骨架的運(yùn)動(dòng)特征表示行為，具有更好的視圖不變性，減小了識(shí)別模型的復(fù)雜度和計(jì)算量[8]。Yang等人[9]利用人體關(guān)節(jié)點(diǎn)位置的差異性，提出了一種由特征信息構(gòu)成骨架節(jié)點(diǎn)的表達(dá)方式，并作為特征描述符，利用樸素貝葉斯分類器進(jìn)行行為識(shí)別。Boulbaba等人[10]使用中值濾波方法對骨架節(jié)點(diǎn)的軌跡進(jìn)行平滑處理，并分別用最近鄰分類器和支持向量機(jī)對動(dòng)作進(jìn)行分類。Zhang等人[11]采用關(guān)節(jié)線距離作為輸入，以較少的訓(xùn)練樣本數(shù)量獲得較好的識(shí)別結(jié)果。Zhu等人[12]提出了一種端到端完全連接的長短時(shí)記憶網(wǎng)絡(luò)用于基于骨架的行為識(shí)別?；诠羌芄?jié)點(diǎn)的行為識(shí)別方法能夠有效的降低行為識(shí)別復(fù)雜程度，但由于其特征數(shù)據(jù)中包含干擾序列，致使該方法識(shí)別精度方面仍存在一定的改善空間。

綜上所述，本文以骨架節(jié)點(diǎn)為研究對象，建立了基于經(jīng)驗(yàn)?zāi)B(tài)分解(Empirical Modal Decomposition, EMD)的深度神經(jīng)網(wǎng)絡(luò)-長短時(shí)記憶網(wǎng)絡(luò)(Deep Neural Network-Long Short Term Memory, DNN-LSTM)行為識(shí)別模型。該方法結(jié)合了經(jīng)驗(yàn)?zāi)B(tài)分解能夠平滑數(shù)據(jù)的優(yōu)點(diǎn)，采用深度神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)做特征分析，并利用長短時(shí)記憶網(wǎng)絡(luò)對獲取的行為特征做時(shí)序分析，從而實(shí)現(xiàn)對車輛前方行人行為的準(zhǔn)備識(shí)別。

1 骨架節(jié)點(diǎn)特征提取

骨架節(jié)點(diǎn)特征提取是行人行為識(shí)別的關(guān)鍵技術(shù)之一。該方法首先以行人行為骨架節(jié)點(diǎn)為基礎(chǔ)，提取行人行為運(yùn)動(dòng)的關(guān)鍵參數(shù)，構(gòu)建行人行為特征表征向量。勢能、加速度以及位置信息等特征在識(shí)別行人的行為動(dòng)作方面具有很強(qiáng)的表述性。選取勢能、相對位置、加速度、角加速度作為表征參量描述行人行為，表征形式δi如公式(1)所示。

δi=[Eij,Pi,ai,γi]

(1)

式中，Eij為骨架節(jié)點(diǎn)的勢能變化特征；Pi為相鄰幀間同一關(guān)節(jié)點(diǎn)處的相對位置特征；ai為節(jié)點(diǎn)加速度特征；γi為關(guān)節(jié)點(diǎn)處角加速度特征。

為解決人與攝像機(jī)相對位置不同出現(xiàn)的誤差，利用相鄰幀間的勢能差來表示行人勢能的變化[13]，在行人的運(yùn)動(dòng)過程中，頭部相對肢體其他部位坐標(biāo)變化較小，故選取頭部作為零勢能點(diǎn),人體的勢能變化表示如公式(2)所示。

Eij=L(Pi,j-Pi,0)

(2)

式中，L為勢能參數(shù)，取9.8；Pi,j為第i幀中的第個(gè)骨架節(jié)點(diǎn)的像素；Pi,0為第i幀中零勢能點(diǎn)的像素。

不同運(yùn)動(dòng)情況下，相鄰兩幀間各骨架節(jié)點(diǎn)的相對位置變化量不同，其表達(dá)式如公式(3)所示。

Pi=Pi,j-Pi-1,j

(3)

式中，Pi-1,j為i-1幀第個(gè)骨架節(jié)點(diǎn)的像素。

行人動(dòng)作可以看作一組骨架節(jié)點(diǎn)組成的剛體軌跡，不同的運(yùn)動(dòng)方式其速度與加速度會(huì)產(chǎn)生不同的變化，且變化差異較大。速度與加速度表達(dá)式如公式(4)所示。

(4)

式中，dt為相鄰兩幀之間的時(shí)間間隔；根據(jù)姿態(tài)估計(jì)算法性能，此處取為。

每個(gè)剛體的運(yùn)動(dòng)可看作是以剛體長度為半徑的圓周運(yùn)動(dòng)，都有對應(yīng)的角速度和角加速度[14]。以膝蓋處的角速度和角加速度為例：設(shè)大腿處的向量為rm,小腿處的向量為rn，則關(guān)節(jié)角彎曲角度表達(dá)式如公式(5)所示。

(5)

式中，rm，rn分別為相鄰的兩向量；||為向量的模。

剛體的角速度及角加速度表達(dá)式如公式(6)所示。

(6)

式中，αi,j為當(dāng)前幀膝蓋處的彎曲角度；αi-1,j為前一幀的膝蓋處的彎曲角度。

2 基于EMD的DNN-LSTM模型

針對提取的特征數(shù)據(jù)存在干擾信息以及需要考慮特征信息的時(shí)序性等問題，提出了基于EMD的DNN-LSTM網(wǎng)絡(luò)識(shí)別模型。該方法主要基于經(jīng)驗(yàn)?zāi)B(tài)分解方法對初始特征數(shù)據(jù)進(jìn)行平滑處理，利用深度神經(jīng)網(wǎng)絡(luò)對特征數(shù)據(jù)做非線性變換，并采用長短時(shí)記憶網(wǎng)絡(luò)分析連續(xù)幀間的變化規(guī)律。

2.1 模型原理

EMD[15]具有自適應(yīng)特性，能夠根據(jù)數(shù)據(jù)自身的特征進(jìn)行分解，把數(shù)據(jù)中包含大尺度的波動(dòng)逐級(jí)分解開，用于處理非線性、非平穩(wěn)性數(shù)據(jù)，并將各分量能量小于某一閾值的數(shù)據(jù)濾除達(dá)到數(shù)據(jù)去噪的目的。

其分解假設(shè)滿足兩個(gè)條件：在整個(gè)時(shí)序內(nèi)，分量的局部極值點(diǎn)和零點(diǎn)的數(shù)目之差小于或相等1個(gè)；在任意時(shí)刻，局部極大值點(diǎn)形成的上包絡(luò)線和局部極小值點(diǎn)形成的下包絡(luò)線，均值為零。其分解步驟如圖1所示。

圖1 分解步驟

每個(gè)分量代表一個(gè)特征尺度的數(shù)據(jù)序列，分解過程即將原數(shù)據(jù)序列分解成各種不同特征波動(dòng)序列的疊加。利用能量法根據(jù)提取的特征數(shù)據(jù)以及各分量的能量占比選擇合適的閾值M對數(shù)據(jù)進(jìn)行處理，使特征數(shù)據(jù)更加平穩(wěn)以利于后續(xù)識(shí)別階段的處理。

計(jì)算各分量的能量：

(7)

式中，T代表每個(gè)動(dòng)作的總幀數(shù)。

計(jì)算各分量的能量占比：

(8)

式中，Ki為第i個(gè)信號(hào)IMF分量的能量比；I為信號(hào)分量的個(gè)數(shù)。

經(jīng)過上述處理特征數(shù)據(jù)可以表示為：

(9)

式中，cj為原始信號(hào)的第j個(gè)分量；rn為原始信號(hào)的殘余分量。

考慮到模型的網(wǎng)絡(luò)性能和泛化能力，增加網(wǎng)絡(luò)層數(shù)可以提高精度但會(huì)使網(wǎng)絡(luò)復(fù)雜化，增加節(jié)點(diǎn)數(shù)會(huì)降低誤差，因此改進(jìn)模型的深度神經(jīng)網(wǎng)絡(luò)有4個(gè)隱含層，每個(gè)隱含層有32個(gè)神經(jīng)元。但深度神經(jīng)網(wǎng)絡(luò)對特征的處理在各時(shí)刻都是獨(dú)立的，循環(huán)神經(jīng)網(wǎng)絡(luò)對特征的處理具有時(shí)序性，其神經(jīng)元在當(dāng)前時(shí)刻的輸入包括上一層神經(jīng)元在該時(shí)刻的輸出和自身在前一時(shí)刻的輸出。長短時(shí)記憶網(wǎng)絡(luò)[16]在循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入了門控機(jī)制，其細(xì)胞單元中包含輸入門、遺忘門和輸出門。

圖2 DNN-LSTM模型

當(dāng)深度神經(jīng)網(wǎng)絡(luò)具有l(wèi)層網(wǎng)絡(luò)，其第l-1層共有m個(gè)神經(jīng)元時(shí),則第l層的第j個(gè)神經(jīng)元的輸出表達(dá)式如公式(10)所示。

(10)

式中，tanh為神經(jīng)元的激活函數(shù)；σ為sigmoid函數(shù)；ω為權(quán)重系數(shù)；δ表示當(dāng)前層的輸入；b為偏置向量。

本文序列幀長度為N的特征序列δ=(δ1,δ2,…,δn)，標(biāo)準(zhǔn)LSTM單元按時(shí)間順序從t=1-n進(jìn)行計(jì)算其計(jì)算公式如公式(11)～(16)所示。

遺忘門決定細(xì)胞單元中遺忘的信息，輸出一個(gè)0-1之間的數(shù)值輸入到輸入門，計(jì)算公式為：

(11)

式中，ht-1為上一個(gè)細(xì)胞的輸入；δ為DNN的輸出即LSTM當(dāng)前細(xì)胞的輸入。

輸入門決定需要更新和丟棄的信息，分三步運(yùn)算，σ決定更新的數(shù)據(jù)，tanh得到一個(gè)新候選值，決定加入到細(xì)胞狀態(tài)的比例，計(jì)算公式為：

(12)

(13)

(14)

輸出門是LSTM的最終輸出，先利用決定更新再與得到的新候選值相乘獲得最終輸出，計(jì)算公式為：

(15)

ht=ot*tanh(ct)

(16)

DNN輸出更明顯的特征向量后利用LSTM分析其時(shí)間序列特性[17]。對人體左右兩側(cè)分別進(jìn)行特征提取，模型輸入層的節(jié)點(diǎn)數(shù)n=8，深度網(wǎng)絡(luò)層的節(jié)點(diǎn)數(shù)為32，激活函數(shù)為tanh函數(shù)，長短時(shí)記憶網(wǎng)絡(luò)層的神經(jīng)元個(gè)數(shù)為64，激活函數(shù)為sigmoid函數(shù)，輸出層的節(jié)點(diǎn)數(shù)為1，激活函數(shù)為sigmoid函數(shù)。為解決過擬合問題，實(shí)現(xiàn)更有效地學(xué)習(xí)加入Dropout層，其比重設(shè)置為0.5。圖3為融合的神經(jīng)網(wǎng)絡(luò)模型圖。

圖3 網(wǎng)絡(luò)模型圖

2.2 模型的訓(xùn)練

有監(jiān)督訓(xùn)練在訓(xùn)練過程中既有訓(xùn)練數(shù)據(jù)又有訓(xùn)練結(jié)果，訓(xùn)練效果較好，因此采用有監(jiān)督訓(xùn)練，將處理好的特征輸入模型中，經(jīng)過模型處理得出相應(yīng)的識(shí)別結(jié)果。本文模型采用均方誤差函數(shù)(mean square error，MSE)作為損失函數(shù)，即將預(yù)測值與實(shí)際值作比較，利用損失函數(shù)計(jì)算識(shí)別結(jié)果與真實(shí)值之間的誤差。具體表達(dá)式如公式(17)所示。

(17)

計(jì)算數(shù)據(jù)的損失梯度后，優(yōu)化算法對損失進(jìn)行優(yōu)化，模型使用的優(yōu)化算法是自適應(yīng)學(xué)習(xí)率的Adam優(yōu)化算法，利用梯度的一階矩估計(jì)和二階矩估計(jì)動(dòng)態(tài)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率，一階矩估計(jì)的指數(shù)衰減率為0.9，二階矩估計(jì)的指數(shù)衰減率為0.999，使每一次迭代學(xué)習(xí)率都有明確的區(qū)間，參數(shù)較平穩(wěn)，可較快預(yù)估結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 Weizmann數(shù)據(jù)集

Weizmann數(shù)據(jù)庫包含了10個(gè)動(dòng)作，每個(gè)動(dòng)作有9個(gè)不同的樣本，視頻的視角是固定的，背景中沒有嘈雜的環(huán)境。文中主要針對交通過程中行人的常見行為即行走和奔跑進(jìn)行識(shí)別，將數(shù)據(jù)集中的剩余行為作為負(fù)樣本數(shù)據(jù)集進(jìn)行處理。原始視頻數(shù)據(jù)經(jīng)過前期預(yù)處理后分為訓(xùn)練集和測試集兩部分。其中，訓(xùn)練集用于建立模型和調(diào)整參數(shù)，測試集用于測試模型的識(shí)別精度，訓(xùn)練過程中用2/3的動(dòng)作數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，1/3的動(dòng)作數(shù)據(jù)作為測試數(shù)據(jù)。

3.2 預(yù)處理結(jié)果分析

對視頻中的動(dòng)作利用一種自下而上的人體姿態(tài)估計(jì)算法[18]獲取人體各關(guān)鍵點(diǎn)的像素點(diǎn)，該算法檢測人體的十八個(gè)關(guān)鍵的骨架節(jié)點(diǎn)，是特征提取的基礎(chǔ)。圖4為對實(shí)際場景中行人檢測的序列圖。

圖4 行人運(yùn)動(dòng)序列圖

圖5和圖6分別為跑步和行走時(shí)的足部軌跡圖。從圖5中的前14幀以及15幀到30幀，可以看出行人的運(yùn)動(dòng)軌跡呈周期性變化，從圖6中可以看出左右腳的位置呈互補(bǔ)關(guān)系，證明檢測算法的準(zhǔn)確性和可靠性較高。對某一幀骨架節(jié)點(diǎn)像素值全為零的情況，利用前兩幀的數(shù)據(jù)變化規(guī)律進(jìn)行補(bǔ)缺的方法填補(bǔ)特征數(shù)據(jù)。

圖5 跑步時(shí)足部軌跡圖

圖6 行走時(shí)足部軌跡圖

3.3 實(shí)驗(yàn)結(jié)果分析

為了校驗(yàn)基于改進(jìn)DNN-LSTM算法的車輛前方行人行為識(shí)別模型的有效性，采用常用的傳統(tǒng)DNN模型、LSTM模型以及DNN-LSTM模型作為對比模型。對比試驗(yàn)采用相同的試驗(yàn)數(shù)據(jù)作為輸入，對比結(jié)果如圖7至圖8及表1所示。圖7為各模型在整個(gè)訓(xùn)練過程中隨著訓(xùn)練迭代次數(shù)增加的損失變化圖，圖8為精度變化圖，為了能更清晰直觀的比較各個(gè)模型的損失與精度之間的差異，從迭代30次后進(jìn)行對比。

圖7 各模型訓(xùn)練損失圖

圖8 各模型精度圖

從圖7中可以看出，在訓(xùn)練過程中基于改進(jìn)DNN-LSTM算法的網(wǎng)絡(luò)模型在迭代150次左右已趨向穩(wěn)定，趨于穩(wěn)定的速度明顯快于其他模型，且其損失值比其他3種模型更小。未經(jīng)平滑處理的特征數(shù)據(jù)在訓(xùn)練過程中的損失較大，證明特征數(shù)據(jù)平滑處理的必要性；其余3種模型均用預(yù)處理后的特征數(shù)據(jù)做為訓(xùn)練模型的輸入，損失下降過程中波動(dòng)較小，且損失值與未經(jīng)預(yù)處理的模型相比下降0.01左右。

圖8可以看出，隨著迭代次數(shù)增加精度均呈增加的趨勢，在迭代次數(shù)達(dá)到100次左右時(shí)精度趨于穩(wěn)定。傳統(tǒng)DNN模型在迭代過程中精度上升最慢；未經(jīng)EMD處理的模型的精度波動(dòng)最大，平穩(wěn)性較差；改進(jìn)DNN-LSTM算法的網(wǎng)絡(luò)模型識(shí)別精度明顯高于其他3種模型，且訓(xùn)練后期穩(wěn)定性較好。

表1為對Weizmann數(shù)據(jù)集進(jìn)行行為識(shí)別的準(zhǔn)確率與其他模型的識(shí)別準(zhǔn)確率對比表，從表中可以看出識(shí)別準(zhǔn)確率由高到低依次為：改進(jìn)自行車的DNN-LSTM、DNN-LSTM、LSTM、DNN。在特征提取階段簡化了識(shí)別模型的輸入，減少了模型輸入的參數(shù)量，模型的計(jì)算效率有所提高。改進(jìn)DNN-LSTM算法的網(wǎng)絡(luò)模型識(shí)別準(zhǔn)確率要高于其他3種類型，主要原因是對特征進(jìn)行了平滑處理以及用LSTM網(wǎng)絡(luò)進(jìn)行時(shí)間序列分析；并證明改進(jìn)DNN-LSTM算法模型可提高行為識(shí)別的準(zhǔn)確率。

表1 與其他模型識(shí)別準(zhǔn)確率對比表

為證明模型的可行性，采用KTH數(shù)據(jù)集對模型進(jìn)一步訓(xùn)練和測試，KTH數(shù)據(jù)集由25個(gè)人在4個(gè)不同場景下進(jìn)行的6類動(dòng)作組成，共有2391個(gè)視頻樣本。視頻樣本的外在環(huán)境變化包括尺度變化、衣著變化和光照變化，將慢跑與跑步視頻作為跑步數(shù)據(jù)集，行走作為行走數(shù)據(jù)集，剩余行為作為其他負(fù)樣本數(shù)據(jù)集，數(shù)據(jù)集的前期處理與Weizmann數(shù)據(jù)集相同，最終的識(shí)別部分依然用數(shù)據(jù)集中2/3的動(dòng)作數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，1/3的動(dòng)作數(shù)據(jù)作為測試數(shù)據(jù)。識(shí)別精度達(dá)到98%，證明本模型在KTH數(shù)據(jù)集上也同樣適用。

4 結(jié)論

本文提出了一種基于EMD的DNN-LSTM的深度學(xué)習(xí)模型進(jìn)行行為識(shí)別。提取關(guān)鍵骨架節(jié)點(diǎn)的特征向量后利用EMD降低特征數(shù)據(jù)的不平穩(wěn)性，最后用DNN-LSTM模型實(shí)現(xiàn)行為識(shí)別，模型表現(xiàn)出不錯(cuò)的識(shí)別效果。

(1)為評估新模型的性能，分別在DNN、LSTM、DNN-LSTM、改進(jìn)的DNN-LSTM四個(gè)模型上利用Weizmann數(shù)據(jù)集進(jìn)行訓(xùn)練與測試，結(jié)果表明新模型的測試識(shí)別率達(dá)到98.59%，高于其他3個(gè)模型。

(2)新模型在KTH數(shù)據(jù)集的測試精度達(dá)到98%，證明該模型適用于兩種數(shù)據(jù)集，具有較高的可行性。由于實(shí)驗(yàn)中采用的數(shù)據(jù)集背景比較單一，且均為單人動(dòng)作，與現(xiàn)實(shí)場景有所偏差，未來將對復(fù)雜環(huán)境下的多人場景進(jìn)行行人的行為識(shí)別。