亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于改進(jìn)DNN-LSTM算法的車輛前方行人行為識(shí)別方法

        2019-12-02 07:14:28
        計(jì)算機(jī)測量與控制 2019年11期
        關(guān)鍵詞:特征模型

        (上海工程技術(shù)大學(xué) 機(jī)械與汽車工程學(xué)院,上海 201820)

        0 引言

        隨著汽車保有量的快速增加,交通事故數(shù)量和死亡人數(shù)一直處于較高水平,行人作為道路交通的主要參與者,保障行人安全是智能交通系統(tǒng)建設(shè)的重要目標(biāo)之一。資料數(shù)據(jù)表明,在道路交通事故的人員傷亡中,行人橫穿道路發(fā)生的交通事故占較大比重。因此,實(shí)現(xiàn)對行人行為的有效檢測和正確識(shí)別,可保障交通環(huán)境中行人的安全,減少交通事故的發(fā)生率[1-2]。實(shí)現(xiàn)車輛前方行人行為的準(zhǔn)確識(shí)別是汽車自動(dòng)駕駛系統(tǒng)構(gòu)建基本要求,對改善道路交通安全和交通質(zhì)量具有重要的意義[3]。

        車載攝像系統(tǒng)可對車輛前方的行人及道路狀況進(jìn)行記錄,通過對記錄的視頻數(shù)據(jù)進(jìn)行分析可識(shí)別出行人的行為動(dòng)作[4]。根據(jù)視頻數(shù)據(jù)源不同可將行為識(shí)別方法劃分為三類:基于彩色視頻的行為識(shí)別、基于深度圖的行為識(shí)別、基于骨架節(jié)點(diǎn)的行為識(shí)別[5]?;诓噬曨l的行為識(shí)別方面,F(xiàn)eichtenhofer等人[6]提出了一種新的雙流網(wǎng)絡(luò)時(shí)空結(jié)構(gòu),將時(shí)間流和空間流產(chǎn)生的特征在時(shí)間和空間上進(jìn)行3D融合識(shí)別視頻,但由于數(shù)據(jù)集中的干擾信息過多對識(shí)別精度產(chǎn)生了一定的影響?;谏疃葓D的行為識(shí)別方面,Vieira等人[7]在識(shí)別行為動(dòng)作中,保留了時(shí)空單元之間的空間和時(shí)間的上下文信息,具有較高的靈活性。與前兩種方法相比,基于骨架節(jié)點(diǎn)的行為識(shí)別方法主要利用骨架的運(yùn)動(dòng)特征表示行為,具有更好的視圖不變性,減小了識(shí)別模型的復(fù)雜度和計(jì)算量[8]。Yang等人[9]利用人體關(guān)節(jié)點(diǎn)位置的差異性,提出了一種由特征信息構(gòu)成骨架節(jié)點(diǎn)的表達(dá)方式,并作為特征描述符,利用樸素貝葉斯分類器進(jìn)行行為識(shí)別。Boulbaba等人[10]使用中值濾波方法對骨架節(jié)點(diǎn)的軌跡進(jìn)行平滑處理,并分別用最近鄰分類器和支持向量機(jī)對動(dòng)作進(jìn)行分類。Zhang等人[11]采用關(guān)節(jié)線距離作為輸入,以較少的訓(xùn)練樣本數(shù)量獲得較好的識(shí)別結(jié)果。Zhu等人[12]提出了一種端到端完全連接的長短時(shí)記憶網(wǎng)絡(luò)用于基于骨架的行為識(shí)別?;诠羌芄?jié)點(diǎn)的行為識(shí)別方法能夠有效的降低行為識(shí)別復(fù)雜程度,但由于其特征數(shù)據(jù)中包含干擾序列,致使該方法識(shí)別精度方面仍存在一定的改善空間。

        綜上所述,本文以骨架節(jié)點(diǎn)為研究對象,建立了基于經(jīng)驗(yàn)?zāi)B(tài)分解(Empirical Modal Decomposition, EMD)的深度神經(jīng)網(wǎng)絡(luò)-長短時(shí)記憶網(wǎng)絡(luò)(Deep Neural Network-Long Short Term Memory, DNN-LSTM)行為識(shí)別模型。該方法結(jié)合了經(jīng)驗(yàn)?zāi)B(tài)分解能夠平滑數(shù)據(jù)的優(yōu)點(diǎn),采用深度神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)做特征分析,并利用長短時(shí)記憶網(wǎng)絡(luò)對獲取的行為特征做時(shí)序分析,從而實(shí)現(xiàn)對車輛前方行人行為的準(zhǔn)備識(shí)別。

        1 骨架節(jié)點(diǎn)特征提取

        骨架節(jié)點(diǎn)特征提取是行人行為識(shí)別的關(guān)鍵技術(shù)之一。該方法首先以行人行為骨架節(jié)點(diǎn)為基礎(chǔ),提取行人行為運(yùn)動(dòng)的關(guān)鍵參數(shù),構(gòu)建行人行為特征表征向量。勢能、加速度以及位置信息等特征在識(shí)別行人的行為動(dòng)作方面具有很強(qiáng)的表述性。選取勢能、相對位置、加速度、角加速度作為表征參量描述行人行為,表征形式δi如公式(1)所示。

        δi=[Eij,Pi,ai,γi]

        (1)

        式中,Eij為骨架節(jié)點(diǎn)的勢能變化特征;Pi為相鄰幀間同一關(guān)節(jié)點(diǎn)處的相對位置特征;ai為節(jié)點(diǎn)加速度特征;γi為關(guān)節(jié)點(diǎn)處角加速度特征。

        為解決人與攝像機(jī)相對位置不同出現(xiàn)的誤差,利用相鄰幀間的勢能差來表示行人勢能的變化[13],在行人的運(yùn)動(dòng)過程中,頭部相對肢體其他部位坐標(biāo)變化較小,故選取頭部作為零勢能點(diǎn),人體的勢能變化表示如公式(2)所示。

        Eij=L(Pi,j-Pi,0)

        (2)

        式中,L為勢能參數(shù),取9.8;Pi,j為第i幀中的第個(gè)骨架節(jié)點(diǎn)的像素;Pi,0為第i幀中零勢能點(diǎn)的像素。

        不同運(yùn)動(dòng)情況下,相鄰兩幀間各骨架節(jié)點(diǎn)的相對位置變化量不同,其表達(dá)式如公式(3)所示。

        Pi=Pi,j-Pi-1,j

        (3)

        式中,Pi-1,j為i-1幀第個(gè)骨架節(jié)點(diǎn)的像素。

        行人動(dòng)作可以看作一組骨架節(jié)點(diǎn)組成的剛體軌跡,不同的運(yùn)動(dòng)方式其速度與加速度會(huì)產(chǎn)生不同的變化,且變化差異較大。速度與加速度表達(dá)式如公式(4)所示。

        (4)

        式中,dt為相鄰兩幀之間的時(shí)間間隔;根據(jù)姿態(tài)估計(jì)算法性能,此處取為。

        每個(gè)剛體的運(yùn)動(dòng)可看作是以剛體長度為半徑的圓周運(yùn)動(dòng),都有對應(yīng)的角速度和角加速度[14]。以膝蓋處的角速度和角加速度為例:設(shè)大腿處的向量為rm,小腿處的向量為rn,則關(guān)節(jié)角彎曲角度表達(dá)式如公式(5)所示。

        (5)

        式中,rm,rn分別為相鄰的兩向量;||為向量的模。

        剛體的角速度及角加速度表達(dá)式如公式(6)所示。

        (6)

        式中,αi,j為當(dāng)前幀膝蓋處的彎曲角度;αi-1,j為前一幀的膝蓋處的彎曲角度。

        2 基于EMD的DNN-LSTM模型

        針對提取的特征數(shù)據(jù)存在干擾信息以及需要考慮特征信息的時(shí)序性等問題,提出了基于EMD的DNN-LSTM網(wǎng)絡(luò)識(shí)別模型。該方法主要基于經(jīng)驗(yàn)?zāi)B(tài)分解方法對初始特征數(shù)據(jù)進(jìn)行平滑處理,利用深度神經(jīng)網(wǎng)絡(luò)對特征數(shù)據(jù)做非線性變換,并采用長短時(shí)記憶網(wǎng)絡(luò)分析連續(xù)幀間的變化規(guī)律。

        2.1 模型原理

        EMD[15]具有自適應(yīng)特性,能夠根據(jù)數(shù)據(jù)自身的特征進(jìn)行分解,把數(shù)據(jù)中包含大尺度的波動(dòng)逐級(jí)分解開,用于處理非線性、非平穩(wěn)性數(shù)據(jù),并將各分量能量小于某一閾值的數(shù)據(jù)濾除達(dá)到數(shù)據(jù)去噪的目的。

        其分解假設(shè)滿足兩個(gè)條件:在整個(gè)時(shí)序內(nèi),分量的局部極值點(diǎn)和零點(diǎn)的數(shù)目之差小于或相等1個(gè);在任意時(shí)刻,局部極大值點(diǎn)形成的上包絡(luò)線和局部極小值點(diǎn)形成的下包絡(luò)線,均值為零。其分解步驟如圖1所示。

        圖1 分解步驟

        每個(gè)分量代表一個(gè)特征尺度的數(shù)據(jù)序列,分解過程即將原數(shù)據(jù)序列分解成各種不同特征波動(dòng)序列的疊加。利用能量法根據(jù)提取的特征數(shù)據(jù)以及各分量的能量占比選擇合適的閾值M對數(shù)據(jù)進(jìn)行處理,使特征數(shù)據(jù)更加平穩(wěn)以利于后續(xù)識(shí)別階段的處理。

        計(jì)算各分量的能量:

        (7)

        式中,T代表每個(gè)動(dòng)作的總幀數(shù)。

        計(jì)算各分量的能量占比:

        (8)

        式中,Ki為第i個(gè)信號(hào)IMF分量的能量比;I為信號(hào)分量的個(gè)數(shù)。

        經(jīng)過上述處理特征數(shù)據(jù)可以表示為:

        (9)

        式中,cj為原始信號(hào)的第j個(gè)分量;rn為原始信號(hào)的殘余分量。

        考慮到模型的網(wǎng)絡(luò)性能和泛化能力,增加網(wǎng)絡(luò)層數(shù)可以提高精度但會(huì)使網(wǎng)絡(luò)復(fù)雜化,增加節(jié)點(diǎn)數(shù)會(huì)降低誤差,因此改進(jìn)模型的深度神經(jīng)網(wǎng)絡(luò)有4個(gè)隱含層,每個(gè)隱含層有32個(gè)神經(jīng)元。但深度神經(jīng)網(wǎng)絡(luò)對特征的處理在各時(shí)刻都是獨(dú)立的,循環(huán)神經(jīng)網(wǎng)絡(luò)對特征的處理具有時(shí)序性,其神經(jīng)元在當(dāng)前時(shí)刻的輸入包括上一層神經(jīng)元在該時(shí)刻的輸出和自身在前一時(shí)刻的輸出。長短時(shí)記憶網(wǎng)絡(luò)[16]在循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入了門控機(jī)制,其細(xì)胞單元中包含輸入門、遺忘門和輸出門。

        圖2 DNN-LSTM模型

        當(dāng)深度神經(jīng)網(wǎng)絡(luò)具有l(wèi)層網(wǎng)絡(luò),其第l-1層共有m個(gè)神經(jīng)元時(shí),則第l層的第j個(gè)神經(jīng)元的輸出表達(dá)式如公式(10)所示。

        (10)

        式中,tanh為神經(jīng)元的激活函數(shù);σ為sigmoid函數(shù);ω為權(quán)重系數(shù);δ表示當(dāng)前層的輸入;b為偏置向量。

        本文序列幀長度為N的特征序列δ=(δ1,δ2,…,δn),標(biāo)準(zhǔn)LSTM單元按時(shí)間順序從t=1-n進(jìn)行計(jì)算其計(jì)算公式如公式(11)~(16)所示。

        遺忘門決定細(xì)胞單元中遺忘的信息,輸出一個(gè)0-1之間的數(shù)值輸入到輸入門,計(jì)算公式為:

        (11)

        式中,ht-1為上一個(gè)細(xì)胞的輸入;δ為DNN的輸出即LSTM當(dāng)前細(xì)胞的輸入。

        輸入門決定需要更新和丟棄的信息,分三步運(yùn)算,σ決定更新的數(shù)據(jù),tanh得到一個(gè)新候選值,決定加入到細(xì)胞狀態(tài)的比例,計(jì)算公式為:

        (12)

        (13)

        (14)

        輸出門是LSTM的最終輸出,先利用決定更新再與得到的新候選值相乘獲得最終輸出,計(jì)算公式為:

        (15)

        ht=ot*tanh(ct)

        (16)

        DNN輸出更明顯的特征向量后利用LSTM分析其時(shí)間序列特性[17]。對人體左右兩側(cè)分別進(jìn)行特征提取,模型輸入層的節(jié)點(diǎn)數(shù)n=8,深度網(wǎng)絡(luò)層的節(jié)點(diǎn)數(shù)為32,激活函數(shù)為tanh函數(shù),長短時(shí)記憶網(wǎng)絡(luò)層的神經(jīng)元個(gè)數(shù)為64,激活函數(shù)為sigmoid函數(shù),輸出層的節(jié)點(diǎn)數(shù)為1,激活函數(shù)為sigmoid函數(shù)。為解決過擬合問題,實(shí)現(xiàn)更有效地學(xué)習(xí)加入Dropout層,其比重設(shè)置為0.5。圖3為融合的神經(jīng)網(wǎng)絡(luò)模型圖。

        圖3 網(wǎng)絡(luò)模型圖

        2.2 模型的訓(xùn)練

        有監(jiān)督訓(xùn)練在訓(xùn)練過程中既有訓(xùn)練數(shù)據(jù)又有訓(xùn)練結(jié)果,訓(xùn)練效果較好,因此采用有監(jiān)督訓(xùn)練,將處理好的特征輸入模型中,經(jīng)過模型處理得出相應(yīng)的識(shí)別結(jié)果。本文模型采用均方誤差函數(shù)(mean square error,MSE)作為損失函數(shù),即將預(yù)測值與實(shí)際值作比較,利用損失函數(shù)計(jì)算識(shí)別結(jié)果與真實(shí)值之間的誤差。具體表達(dá)式如公式(17)所示。

        (17)

        計(jì)算數(shù)據(jù)的損失梯度后,優(yōu)化算法對損失進(jìn)行優(yōu)化,模型使用的優(yōu)化算法是自適應(yīng)學(xué)習(xí)率的Adam優(yōu)化算法,利用梯度的一階矩估計(jì)和二階矩估計(jì)動(dòng)態(tài)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率,一階矩估計(jì)的指數(shù)衰減率為0.9,二階矩估計(jì)的指數(shù)衰減率為0.999,使每一次迭代學(xué)習(xí)率都有明確的區(qū)間,參數(shù)較平穩(wěn),可較快預(yù)估結(jié)果。

        3 實(shí)驗(yàn)結(jié)果與分析

        3.1 Weizmann數(shù)據(jù)集

        Weizmann數(shù)據(jù)庫包含了10個(gè)動(dòng)作,每個(gè)動(dòng)作有9個(gè)不同的樣本,視頻的視角是固定的,背景中沒有嘈雜的環(huán)境。文中主要針對交通過程中行人的常見行為即行走和奔跑進(jìn)行識(shí)別,將數(shù)據(jù)集中的剩余行為作為負(fù)樣本數(shù)據(jù)集進(jìn)行處理。原始視頻數(shù)據(jù)經(jīng)過前期預(yù)處理后分為訓(xùn)練集和測試集兩部分。其中,訓(xùn)練集用于建立模型和調(diào)整參數(shù),測試集用于測試模型的識(shí)別精度,訓(xùn)練過程中用2/3的動(dòng)作數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),1/3的動(dòng)作數(shù)據(jù)作為測試數(shù)據(jù)。

        3.2 預(yù)處理結(jié)果分析

        對視頻中的動(dòng)作利用一種自下而上的人體姿態(tài)估計(jì)算法[18]獲取人體各關(guān)鍵點(diǎn)的像素點(diǎn),該算法檢測人體的十八個(gè)關(guān)鍵的骨架節(jié)點(diǎn),是特征提取的基礎(chǔ)。圖4為對實(shí)際場景中行人檢測的序列圖。

        圖4 行人運(yùn)動(dòng)序列圖

        圖5和圖6分別為跑步和行走時(shí)的足部軌跡圖。從圖5中的前14幀以及15幀到30幀,可以看出行人的運(yùn)動(dòng)軌跡呈周期性變化,從圖6中可以看出左右腳的位置呈互補(bǔ)關(guān)系,證明檢測算法的準(zhǔn)確性和可靠性較高。對某一幀骨架節(jié)點(diǎn)像素值全為零的情況,利用前兩幀的數(shù)據(jù)變化規(guī)律進(jìn)行補(bǔ)缺的方法填補(bǔ)特征數(shù)據(jù)。

        圖5 跑步時(shí)足部軌跡圖

        圖6 行走時(shí)足部軌跡圖

        3.3 實(shí)驗(yàn)結(jié)果分析

        為了校驗(yàn)基于改進(jìn)DNN-LSTM算法的車輛前方行人行為識(shí)別模型的有效性,采用常用的傳統(tǒng)DNN模型、LSTM模型以及DNN-LSTM模型作為對比模型。對比試驗(yàn)采用相同的試驗(yàn)數(shù)據(jù)作為輸入,對比結(jié)果如圖7至圖8及表1所示。圖7為各模型在整個(gè)訓(xùn)練過程中隨著訓(xùn)練迭代次數(shù)增加的損失變化圖,圖8為精度變化圖,為了能更清晰直觀的比較各個(gè)模型的損失與精度之間的差異,從迭代30次后進(jìn)行對比。

        圖7 各模型訓(xùn)練損失圖

        圖8 各模型精度圖

        從圖7中可以看出,在訓(xùn)練過程中基于改進(jìn)DNN-LSTM算法的網(wǎng)絡(luò)模型在迭代150次左右已趨向穩(wěn)定,趨于穩(wěn)定的速度明顯快于其他模型,且其損失值比其他3種模型更小。未經(jīng)平滑處理的特征數(shù)據(jù)在訓(xùn)練過程中的損失較大,證明特征數(shù)據(jù)平滑處理的必要性;其余3種模型均用預(yù)處理后的特征數(shù)據(jù)做為訓(xùn)練模型的輸入,損失下降過程中波動(dòng)較小,且損失值與未經(jīng)預(yù)處理的模型相比下降0.01左右。

        圖8可以看出,隨著迭代次數(shù)增加精度均呈增加的趨勢,在迭代次數(shù)達(dá)到100次左右時(shí)精度趨于穩(wěn)定。傳統(tǒng)DNN模型在迭代過程中精度上升最慢;未經(jīng)EMD處理的模型的精度波動(dòng)最大,平穩(wěn)性較差;改進(jìn)DNN-LSTM算法的網(wǎng)絡(luò)模型識(shí)別精度明顯高于其他3種模型,且訓(xùn)練后期穩(wěn)定性較好。

        表1為對Weizmann數(shù)據(jù)集進(jìn)行行為識(shí)別的準(zhǔn)確率與其他模型的識(shí)別準(zhǔn)確率對比表,從表中可以看出識(shí)別準(zhǔn)確率由高到低依次為:改進(jìn)自行車的DNN-LSTM、DNN-LSTM、LSTM、DNN。在特征提取階段簡化了識(shí)別模型的輸入,減少了模型輸入的參數(shù)量,模型的計(jì)算效率有所提高。改進(jìn)DNN-LSTM算法的網(wǎng)絡(luò)模型識(shí)別準(zhǔn)確率要高于其他3種類型,主要原因是對特征進(jìn)行了平滑處理以及用LSTM網(wǎng)絡(luò)進(jìn)行時(shí)間序列分析;并證明改進(jìn)DNN-LSTM算法模型可提高行為識(shí)別的準(zhǔn)確率。

        表1 與其他模型識(shí)別準(zhǔn)確率對比表

        為證明模型的可行性,采用KTH數(shù)據(jù)集對模型進(jìn)一步訓(xùn)練和測試,KTH數(shù)據(jù)集由25個(gè)人在4個(gè)不同場景下進(jìn)行的6類動(dòng)作組成,共有2391個(gè)視頻樣本。視頻樣本的外在環(huán)境變化包括尺度變化、衣著變化和光照變化,將慢跑與跑步視頻作為跑步數(shù)據(jù)集,行走作為行走數(shù)據(jù)集,剩余行為作為其他負(fù)樣本數(shù)據(jù)集,數(shù)據(jù)集的前期處理與Weizmann數(shù)據(jù)集相同,最終的識(shí)別部分依然用數(shù)據(jù)集中2/3的動(dòng)作數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),1/3的動(dòng)作數(shù)據(jù)作為測試數(shù)據(jù)。識(shí)別精度達(dá)到98%,證明本模型在KTH數(shù)據(jù)集上也同樣適用。

        4 結(jié)論

        本文提出了一種基于EMD的DNN-LSTM的深度學(xué)習(xí)模型進(jìn)行行為識(shí)別。提取關(guān)鍵骨架節(jié)點(diǎn)的特征向量后利用EMD降低特征數(shù)據(jù)的不平穩(wěn)性,最后用DNN-LSTM模型實(shí)現(xiàn)行為識(shí)別,模型表現(xiàn)出不錯(cuò)的識(shí)別效果。

        (1)為評估新模型的性能,分別在DNN、LSTM、DNN-LSTM、改進(jìn)的DNN-LSTM四個(gè)模型上利用Weizmann數(shù)據(jù)集進(jìn)行訓(xùn)練與測試,結(jié)果表明新模型的測試識(shí)別率達(dá)到98.59%,高于其他3個(gè)模型。

        (2)新模型在KTH數(shù)據(jù)集的測試精度達(dá)到98%,證明該模型適用于兩種數(shù)據(jù)集,具有較高的可行性。由于實(shí)驗(yàn)中采用的數(shù)據(jù)集背景比較單一,且均為單人動(dòng)作,與現(xiàn)實(shí)場景有所偏差,未來將對復(fù)雜環(huán)境下的多人場景進(jìn)行行人的行為識(shí)別。

        猜你喜歡
        特征模型
        一半模型
        抓住特征巧觀察
        重要模型『一線三等角』
        新型冠狀病毒及其流行病學(xué)特征認(rèn)識(shí)
        重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
        如何表達(dá)“特征”
        不忠誠的四個(gè)特征
        抓住特征巧觀察
        3D打印中的模型分割與打包
        FLUKA幾何模型到CAD幾何模型轉(zhuǎn)換方法初步研究
        激情亚洲综合熟女婷婷| 永久免费观看国产裸体美女 | 99久久无色码中文字幕鲁信| 国产主播性色av福利精品一区| 人妻 偷拍 无码 中文字幕| 欧美mv日韩mv国产网站| 99久久亚洲国产高清观看| 国产丝袜一区丝袜高跟美腿| 天天做天天摸天天爽天天爱| 最近日本中文字幕免费完整 | 永久免费毛片在线播放| 性感美女脱内裤无遮挡| 亚洲国产成人av在线观看 | 亚洲一区二区在线视频播放| 日本久久视频在线观看| 无码中文字幕日韩专区| 熟妇人妻中文av无码| 岛国视频在线无码| 偷拍一区二区三区四区视频| 国产精品多p对白交换绿帽| 久久久伊人影院| 日韩精品一区二区三区视频| 成年丰满熟妇午夜免费视频| 精品亚洲欧美无人区乱码| 91福利精品老师国产自产在线| 亚洲国产一区二区中文字幕| 欧美成人aaa片一区国产精品| 欧美日韩人妻| 日韩少妇高潮在线视频| 国产99一区二区三区四区| 日本不卡一区二区三区在线| 中文字幕乱码亚洲无线精品一区| 国产一区二区三区四区在线视频 | 国内精品久久久久久久久齐齐| 亚洲av乱码国产精品色| 国产精品自线一区二区三区| 色哟哟网站在线观看| 97超级碰碰碰久久久观看| 日本免费观看视频一区二区| 农村欧美丰满熟妇xxxx| 精品少妇大屁股白浆无码 |