李珊，孫鵬，郎宇博

（中國刑事警察學(xué)院 遼寧沈陽 110854）

步態(tài)是人在行走過程中的姿態(tài)的變化，其中包括了行走人的靜態(tài)體態(tài)特征和個人動態(tài)行走特征。心理學(xué)和生理學(xué)證據(jù)表明，人人都有截然不同的步態(tài)特征，因此步態(tài)可用于身份的鑒別［1］。相對于人臉、指紋、虹膜、耳廓等其他生物特征，步態(tài)對圖像質(zhì)量要求低、遠(yuǎn)距離非受控狀態(tài)下可采集，與當(dāng)今普及程度極高的視頻監(jiān)控設(shè)備相結(jié)合，成為當(dāng)下生物特征技術(shù)的熱門研究方向。步態(tài)識別指利用步態(tài)信息對人的身份進(jìn)行識別的技術(shù)［2］。在公安應(yīng)用領(lǐng)域，步態(tài)能夠彌補人臉在夜間環(huán)境下識別率大大降低的缺陷，所以對夜間環(huán)境下利用步態(tài)進(jìn)行人身鑒定的研究十分必要。

目前，視頻監(jiān)控下步態(tài)識別的研究集中在對步態(tài)特征的更新和對分類方法的改進(jìn)?；诜悄Ｐ偷牟綉B(tài)特征從傳統(tǒng)Han 和Bhanu 提出的步態(tài)能量圖［3］到Bobick 和Davis 提出的運動能量圖和運動歷史圖［4］，再到現(xiàn)在邵虹、王呋昀提出的基于集成Gabor特征的步態(tài)特征提取方法［5］；基于模型的步態(tài)特征從傳統(tǒng)的Lee 等人提出的橢圓模型［6］到Nixon 等人提出的簡化腿部模型［7］，再到現(xiàn)在Zhao等人針對于二維模型易受遮擋問題提出的三維模型［8］；分類方法從傳統(tǒng)的決策樹算法、支持向量機SVM、BP 神經(jīng)網(wǎng)絡(luò)等到更為復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)［9］、遞歸神經(jīng)網(wǎng)絡(luò)及在原基礎(chǔ)上改進(jìn)的各種人工神經(jīng)網(wǎng)絡(luò)算法［10］等，如近期周蘭等人提出的基于深度卷積限制玻爾茲曼機的步態(tài)識別［11］以及中科院自動化研究所吳子峰，黃永禎等提出基于深度卷積網(wǎng)絡(luò)的步態(tài)識別方法［12］。近期，深度學(xué)習(xí)與步態(tài)識別相結(jié)合、多特征融合、多視角融合這些成為熱點研究方向，但是對夜間監(jiān)控視頻下的步態(tài)識別的研究相對較少。夜間環(huán)境下光線條件差、拍攝背景復(fù)雜、行人亮度變化不明顯等因素導(dǎo)致在夜間對行人的輪廓特征、面部姿態(tài)、指紋等精準(zhǔn)信息的捕捉較為困難［13］，同時采集到的步態(tài)圖像也常常具有不可避免的較強噪聲或缺損。因此，與白天環(huán)境下步態(tài)識別相比較，夜間環(huán)境下步態(tài)識別的難點在于視頻圖像預(yù)處理過程更為復(fù)雜，步態(tài)特征的選取范圍更窄。

本文首次專門性地對夜間監(jiān)控視頻下的步態(tài)識別進(jìn)行探究。視頻圖像預(yù)處理上，采用去噪、閉運算、孔洞填充、邊緣平滑化和提取輪廓等形態(tài)學(xué)處理方法對夜間圖像進(jìn)行降噪處理；步態(tài)特征的選取上，選取人體關(guān)鍵點間距離隨步行前進(jìn)的變化作為步態(tài)特征，并且創(chuàng)新性地針對夜間行人步態(tài)圖像出現(xiàn)的缺足現(xiàn)象提取檢測及特征優(yōu)化算法；步態(tài)分類環(huán)節(jié)，選取較適合所選取步態(tài)特征的SVM分類算法進(jìn)行分類，并將分類識別率與白天環(huán)境相比較。

一、夜間步態(tài)圖像預(yù)處理算法

紅外（熱感）攝像機在夜間拍攝的原始視頻序列圖像如圖1所示。將白天與夜間環(huán)境下數(shù)據(jù)庫中的步態(tài)剪影進(jìn)行對比，如圖2 所示。可見夜間紅外攝像機采集到的步態(tài)圖像具有較大的噪聲且在一定部位出現(xiàn)缺損，直接采用會對后期的步態(tài)特征提取和識別階段產(chǎn)生較大影響。因此，需要進(jìn)行圖像預(yù)處理操作，使得夜間步態(tài)圖像更好地用于步態(tài)識別后續(xù)操作。

針對夜間步態(tài)數(shù)據(jù)庫，進(jìn)行去小塊噪聲、閉運算、孔洞填充、平滑邊緣、邊緣提取等形態(tài)學(xué)操作。去小塊噪聲主要利用連通區(qū)域的數(shù)量與大小之間的關(guān)系，對一些屬于噪聲的小塊區(qū)域進(jìn)行去除；閉運算是對圖像現(xiàn)進(jìn)行膨脹再腐蝕，實現(xiàn)斷連的身體部位之間的連通；孔洞填充主要對閉運算后仍然存在的孔洞進(jìn)行填充，使圖像中的步態(tài)剪影成為一個整體連通區(qū)域；邊緣平滑操作將步態(tài)剪影輪廓上的高頻噪聲去除。邊緣提取過程將人體輪廓邊緣提取到，有利于后續(xù)人體特征點的定位。經(jīng)過各個步驟形態(tài)學(xué)處理后，效果如圖3所示，可見夜間步態(tài)圖像中原本具有的噪聲和缺損被消除掉。

圖1 紅外攝像頭在夜間拍攝到的步態(tài)

圖2 白天與夜晚環(huán)境下步態(tài)圖像對比

圖3 形態(tài)學(xué)處理效果

二、步態(tài)特征的提取算法

（一）步態(tài)能量圖

步態(tài)能量圖（Gait Energy Image，GEI）采用簡單的加權(quán)平均方法將一個周期的步態(tài)圖像合成一幅圖像，是步態(tài)識別最常用的步態(tài)特征。一個步態(tài)周期定義為在行進(jìn)過程中，同一只腳從腳跟離地跨出到下一次該只腳腳跟離地跨出之間的行進(jìn)過程。

1.步態(tài)周期的分割。步態(tài)周期最常用的分割算法就是按照人體步態(tài)剪影長寬比的周期性變化作為分割依據(jù)，如圖4 所示。連續(xù)三個波峰之間或者連續(xù)三個波谷之間可以被定義為一個步態(tài)周期。

圖4 步態(tài)周期分割依據(jù)

2.步態(tài)能量圖的計算。給出一個步態(tài)周期內(nèi)的N 張步態(tài)二值圖像，t代表周期圖像序列，Bt(x,y)代表t時刻步態(tài)二值圖像，該周期內(nèi)步態(tài)能量圖G(x,y)是對該周期內(nèi)所有步態(tài)剪影圖進(jìn)行加權(quán)平均得到，計算公式如公式（1），步態(tài)能量圖式樣如圖5所示。

雖然步態(tài)能量圖計算簡單，包含步態(tài)信息豐富，但是計算量較大。本文主要針對的夜間環(huán)境下步態(tài)識別，由于多是頂光照射的原因，提取到的步態(tài)圖像常出現(xiàn)缺足現(xiàn)象，如圖6所示，此類缺損特征對步態(tài)能量圖影響較大，所以本次不選取傳統(tǒng)步態(tài)能量圖作為步態(tài)特征。

圖5 步態(tài)能量

圖6 缺足現(xiàn)象

（二）人體關(guān)鍵點特征

人體關(guān)鍵點特征實際屬于簡化的基于模型的特征，利用在行進(jìn)過程中，人體骨骼關(guān)鍵點的狀態(tài)與變化規(guī)律作為人體步態(tài)的模型，但又不需要建立實際模型，降低運算復(fù)雜度和運算量。

1.特征的選取。參照論文監(jiān)控視頻中基于人體關(guān)鍵點的步態(tài)識別研究［14］，選取人體質(zhì)心-頭頂距離與嫌疑人身高比a、質(zhì)心-足右距離與嫌疑人身高比b、質(zhì)心-足左距離與嫌疑人身高比c，人體形態(tài)寬長比d四個特征在連續(xù)30張視頻圖像序列下的變化作為特征，如圖7所示，并在最終形成1*120的一維向量特征。四個特征的變化曲線如圖8所示，可以看出特征的周期性變化。

圖7 步態(tài)特征

圖8 特征值的變化曲線

2.異常特征的檢測及優(yōu)化。異常特征檢測和優(yōu)化流程圖如圖9所示。異常特征的檢測過程實際就是是否提取到足部位置的判斷問題:若提取到的特征數(shù)量與輸入的圖片數(shù)量相同，則表明該段視頻圖片序列內(nèi)無缺足現(xiàn)象。若提取到的特征數(shù)量少于輸入的圖片數(shù)量，則明該段視頻圖片序列內(nèi)出現(xiàn)缺足現(xiàn)象。優(yōu)化的過程實際是對關(guān)鍵點坐標(biāo)進(jìn)行濾波的過程，本文選擇巴特沃斯濾波器進(jìn)行數(shù)據(jù)優(yōu)化。巴特沃斯低通濾波器可用公式（2）表示:

其中，H(ω)是振幅，n是濾波器的階數(shù)，ωc是截止頻率（振幅下降到-3dB 時的頻率），ωp是通頻帶邊緣頻率。分別對質(zhì)心點、頭頂點、右足點、左足點的橫坐標(biāo)和縱坐標(biāo)變化趨勢進(jìn)行巴特沃斯濾波，得到的結(jié)果如圖10所示，可見濾波后的坐標(biāo)在濾波前異常變化部分的波動明顯減小，達(dá)到降噪效果。將降噪后的關(guān)鍵點坐標(biāo)標(biāo)記于步態(tài)圖像上，與降噪前進(jìn)行對比，如圖11所示，可見定位到的人體關(guān)鍵點更加準(zhǔn)確。為保證不丟失步態(tài)的個人特征，本文只是將檢測到的具有缺足現(xiàn)象的步態(tài)關(guān)鍵點的坐標(biāo)進(jìn)行處理，優(yōu)化異常點，而原正常點的坐標(biāo)值保持不變。將優(yōu)化前后提取到的特征值進(jìn)行對比，對比圖如圖12所示，可見特征值在一些變化紊亂的圖片中的得到了優(yōu)化。

圖9 異常特征檢測和優(yōu)化流程

圖10 濾波前后關(guān)鍵點坐標(biāo)變化趨勢對比

圖11 濾波優(yōu)化前后關(guān)鍵點位置對比

圖12 優(yōu)化前后特征值變化對比

三、實驗

本文實驗環(huán)境為Matlab 2018a，實驗所用數(shù)據(jù)庫來源于中科院步態(tài)數(shù)據(jù)庫中的Dataset B 和Dataset C。Dataset B 在正常環(huán)境下采集，共124 個人，每個人有11 個視角（0，18，36，……，180 度），在3種行走條件下（普通，穿大衣，攜帶包裹）采集。Dataset C 是一個用紅外（熱感）攝像機在夜間拍攝的大規(guī)模數(shù)據(jù)庫，包含153人，每個人在4種條件下行走:正常行走，快走，慢走，帶包走。白天數(shù)據(jù)較好，直接進(jìn)行特征提取和分類；夜晚數(shù)據(jù)由于光線原因，具有較大噪聲和殘缺，利用本文提出的預(yù)處理和特征優(yōu)化的方法處理后，再進(jìn)行分類操作。最終通過白天環(huán)境下和夜晚環(huán)境下的識別率來進(jìn)行步態(tài)識別效果的對比。

（一）數(shù)據(jù)準(zhǔn)備

本文對比實驗的數(shù)據(jù)有白天環(huán)境下步態(tài)數(shù)據(jù)和夜晚環(huán)境下步態(tài)數(shù)據(jù)。白天環(huán)境下的步態(tài)數(shù)據(jù)來源于B數(shù)據(jù)庫（本文僅探究與攝像頭成90°視角下的步態(tài)），每名實驗對象具有的10段視頻（背包+大衣+正常行走）全部備用，從每段視頻中提取20段不同的特征序列，因此每名實驗對象有200段特征序列。夜間環(huán)境下的步態(tài)數(shù)據(jù)來源于C 數(shù)據(jù)庫，從每名實驗對象具有的10 段視頻中取出6段（2 段背包+4 段正常行走）備用，從每段視頻中提取出34 段不同的特征序列，因此每名實驗對象有204段特征序列。

為盡量保證白天夜間實驗條件相同，B 和C 數(shù)據(jù)庫中每名實驗對象均取出200 段特征序列（需注意:白天環(huán)境下，每名實驗對象的步態(tài)特征來源于10 段視頻；而夜間環(huán)境下，每名實驗對象的步態(tài)特征僅來源于6段視頻）。都將3/4的數(shù)據(jù)用作訓(xùn)練集，另外1/4的數(shù)據(jù)用作測試集。

（二）視頻中行人分類識別

利用Libsvm 對提取到的步態(tài)數(shù)據(jù)進(jìn)行多分類，類別數(shù)從2 逐漸增至25，最終的分類識別率如表1所示。通過分類識別率可以看出:通過步態(tài)對監(jiān)控視頻中的行人進(jìn)行身份識別，夜間環(huán)境下的步態(tài)識別效果略低于白天環(huán)境，但是也能夠達(dá)到較高的識別率。

表1 分類識別率結(jié)果

四、結(jié)論

本文針對夜間步態(tài)數(shù)據(jù)的噪聲和缺足現(xiàn)象，進(jìn)行算法優(yōu)化后，提取人體關(guān)鍵點特征，最終用SVM 進(jìn)行分類。實驗結(jié)果表明，相比于白天環(huán)境，夜間環(huán)境下的步態(tài)識別率略低，驗證了步態(tài)識別技術(shù)在夜間的可行性。雖然取得了不錯的分類效果，但是本文對步態(tài)數(shù)據(jù)的優(yōu)化算法僅考慮了對部分關(guān)節(jié)點的恢復(fù)，對現(xiàn)存步態(tài)特征算法不具有普適性，下一步工作計劃將對夜間步態(tài)數(shù)據(jù)庫中的數(shù)據(jù)優(yōu)化算法進(jìn)行改進(jìn)，以減少光線條件對步態(tài)識別結(jié)果的影響。