沈 喆, 盛 陽

(沈陽航空航天大學(xué)民用航空學(xué)院, 沈陽 110136)

2022年10月,《信息安全技術(shù) 步態(tài)識(shí)別數(shù)據(jù)安全要求》(GB/T 41773—2022)正式發(fā)布實(shí)施。由于生活中某些特定的場所對(duì)安全等級(jí)有特殊要求,但是由于人員數(shù)量比較龐大,且實(shí)際情況較為復(fù)雜導(dǎo)致了傳統(tǒng)的生物特征身份識(shí)別很難繼續(xù)發(fā)揮效能[1],環(huán)球網(wǎng)2019年報(bào)道的“步態(tài)識(shí)別:50米外,秒讀你的‘活體密碼’”,通過人的體型以及走路姿態(tài)來識(shí)別行人身份的步態(tài)識(shí)別技術(shù),相比于其他類似人臉、指紋等傳統(tǒng)生物特征進(jìn)行身份識(shí)別方法來說其具有無需近身識(shí)別和極不易被模仿的優(yōu)點(diǎn)[2]?，F(xiàn)在普遍使用的步態(tài)識(shí)別方法按照研究圖像類型不同分為基于非模型識(shí)別方法與基于模型識(shí)別方法[3-4],其中非模型識(shí)別方法直接從人體輪廓中提取步態(tài)特征,通過構(gòu)建步態(tài)輪廓圖的幀與幀之間的關(guān)系針對(duì)步態(tài)圖像的輪廓信息進(jìn)行分析,利用步態(tài)樣本輪廓得出步態(tài)特征。與模型步態(tài)識(shí)別法相比較,非模型步態(tài)識(shí)別方法具有模型簡單、整體算力低等優(yōu)點(diǎn),對(duì)目標(biāo)圖像或者視頻的分辨率要求更低,也是如今步態(tài)識(shí)別主要采用的方法。非模型步態(tài)識(shí)別法不需要考慮人體內(nèi)部骨架等結(jié)構(gòu)如何運(yùn)動(dòng),重點(diǎn)研究這些輪廓信息的外部輪廓?jiǎng)討B(tài)方式,研究步態(tài)圖像中步態(tài)輪廓像素量的變化量,根據(jù)變化量得到對(duì)應(yīng)的步態(tài)特征來實(shí)現(xiàn)步態(tài)識(shí)別。劉曉陽和靖薇[5]順利將步態(tài)識(shí)別運(yùn)用于識(shí)別煤礦井下人員身份,采用自適應(yīng)的度量學(xué)習(xí)實(shí)現(xiàn)特征提取,為煤礦井下人員提供位置自動(dòng)化檢測;Derlatka和Borowska[6]提出異構(gòu)基分類器集合的方法進(jìn)行步態(tài)識(shí)別,并提高了準(zhǔn)確率與識(shí)別時(shí)間。

1 圖像預(yù)處理

1.1 形態(tài)學(xué)處理

實(shí)驗(yàn)采用CASIA-B數(shù)據(jù)庫中經(jīng)過運(yùn)動(dòng)目標(biāo)提取且二值化后的圖像,雖不需要進(jìn)行行人檢測以及背景剔除,但仍存在噪聲、粘連等問題,要對(duì)這些二值化的圖像進(jìn)行形態(tài)學(xué)處理。其中膨脹操作可以將圖像中的物體變大,使它更加連通;腐蝕操作則可以將圖像中的物體變小,使它更加細(xì)化;開運(yùn)算可以做到去除噪點(diǎn),將圖像邊緣的鋸齒消除;閉運(yùn)算可以填補(bǔ)圖像中物體的孔洞。腐蝕:A⊙B={x,y|(B)xy?A},膨脹:A⊕B={x,y|(B)xy∩A≠?},分別表示用一個(gè)B結(jié)構(gòu)來腐蝕A圖像和用一個(gè)B結(jié)構(gòu)來膨脹A圖像。⊙和?分別表示腐蝕操作和膨脹操作,(x,y)為錨點(diǎn)的位置,x和y為結(jié)構(gòu)元值為1的像素相對(duì)錨點(diǎn)的位置偏移。

1.2 圖像的歸一化

由于步態(tài)數(shù)據(jù)采集過程中設(shè)備是固定不動(dòng)的,采集到的圖樣是由小到大再到小的狀態(tài),圖像中也因此存在過多噪聲點(diǎn),而步態(tài)歸一化[7]通過成比例調(diào)整步態(tài)輪廓的高度,把圖像中步態(tài)輪廓的中心位置和大小調(diào)整至一致。通過找到圖像中上下左右像素值的最值點(diǎn),由此生成一個(gè)足以覆蓋步態(tài)輪廓的最大矩形框,通過矩形框裁剪出人體目標(biāo)的輪廓圖像,將其高度放縮至64像素并保持此橫縱比不變來實(shí)現(xiàn)。如式(1)所示計(jì)算調(diào)整輪廓圖的質(zhì)心標(biāo)xc。歸一化操作也可以優(yōu)化步態(tài)圖像中特征受到的外界背景環(huán)境以及采樣光照的影響,解決步態(tài)圖像中局部過暗過亮的問題,抑制住了步態(tài)圖像中的干擾噪點(diǎn)。

(1)

式中:xc為輪廓圖質(zhì)心坐標(biāo);xi為像素值為1的點(diǎn)的橫坐標(biāo);N為整幅圖中像素值為1的點(diǎn)的總數(shù)。

2 步態(tài)能量圖

步態(tài)能量圖[8]的原理是使用多通道映射函數(shù)來使步態(tài)圖像的更多時(shí)空信息在均值的過程中保留下來,通過選取人的一只腳腳尖剛離地到另外一只腳腳尖剛離地這一段時(shí)間作為一個(gè)步態(tài)周期,使用一個(gè)周期內(nèi)步態(tài)序列輪廓圖求一個(gè)平均灰度值圖像,根據(jù)式(2)得出步態(tài)能量圖。

(2)

式中:N為一系列步態(tài)輪廓序列的個(gè)數(shù);t為當(dāng)前時(shí)刻的序列圖;x、y為圖像坐標(biāo)。

圖1為一個(gè)步態(tài)周期和其步態(tài)能量圖,圖中像素點(diǎn)越亮的部分代表其在步態(tài)周期中出現(xiàn)得越頻繁。

圖1 一個(gè)步態(tài)周期以及步態(tài)能量圖

3 主流CNNs方法

普通卷積神經(jīng)網(wǎng)絡(luò)模型(CNNs)通常由卷積層、池化層、下采樣層、全連接層和輸出層組成。將圖像作為輸入量輸入到第1個(gè)卷積層中,將卷積層的輸出作為激活函數(shù)。然后通過添加池化層來減少輸入?yún)?shù)量,在輸出層得到輸出值之前,經(jīng)過的卷積層有助于提取特征。CNNs中的輸出層屬于全連接層,來自其他層的輸入向量在全連接層被平化,這一步的作用是方便后續(xù)輸出轉(zhuǎn)換為卷積神經(jīng)網(wǎng)絡(luò)需要的參數(shù)量。

卷積層對(duì)圖像各個(gè)子區(qū)域進(jìn)行特征提取,使用激活函數(shù)對(duì)消除高層偏差后輸出的特征向量進(jìn)行轉(zhuǎn)換,卷積層特征提取計(jì)算公式為

Ft=ReLU(wt?Ft-1+βt)

(3)

式中:Ft為模型提取輸出的特征向量;Ft-1為子區(qū)域輸出的特征向量;wt為偏差權(quán)重;βt為偏差向量,線性整流函數(shù)(ReLU)作為激活函數(shù),定義為ReLU=max(0,x),其中x為神經(jīng)網(wǎng)絡(luò)的輸入。

這里的池化層的作用是克服卷積時(shí)對(duì)位置的敏感,通常采用最大值池化或平均值池化。在絕大多數(shù)應(yīng)用情景下,最大值池化提取特征能力較強(qiáng),maxP表示最大池操作,操作定義為

Fi=maxP(Fi-1)

式中:Fi-1為池化區(qū)域內(nèi)的輸入像素點(diǎn);Fi為區(qū)域內(nèi)特征的集合。

4 耦合神經(jīng)網(wǎng)絡(luò)模型

耦合神經(jīng)網(wǎng)絡(luò)[9]包括雙層卷積神經(jīng)網(wǎng)絡(luò)、對(duì)比損失層[10]和邏輯回歸損失層,如圖2所示。圖2顯示,來自卷積層的特性向量,通過全連接層輸出至對(duì)比損失層,通過識(shí)別輸入樣本類別來訓(xùn)練網(wǎng)絡(luò)模型參數(shù)。其將從上層提取的步態(tài)特征向量與Conv4區(qū)分并連接,對(duì)比損失層每次輸入一對(duì)圖片,進(jìn)入同一個(gè)網(wǎng)絡(luò)進(jìn)行特征提取。對(duì)應(yīng)到圖中就是上下均為一對(duì)。那么兩個(gè)網(wǎng)絡(luò)就會(huì)提取兩個(gè)特征,然后可以用這兩個(gè)網(wǎng)絡(luò)輸出的特征進(jìn)行相減來提取特征差異,然后再經(jīng)過全連接層作一個(gè)二分類,判斷輸入圖像是否為同一人,最后耦合神經(jīng)網(wǎng)絡(luò)通過損失函數(shù)組合訓(xùn)練。這里使用損失函數(shù)還可以幫助識(shí)別模型是否存在過擬合或欠擬合的情況,如果損失函數(shù)在訓(xùn)練集上較低但在驗(yàn)證集上較高,可能表示模型存在過擬合。

GEI為步態(tài)能量圖;Conv1、Conv2、Conv3為卷積網(wǎng)絡(luò)單元;Pool1、Pool2、Pool3為池化層;Fc1、Fc2、Fc3為全連接層

GEI作為樣本輸入到卷積網(wǎng)絡(luò)單元Conv1中,擴(kuò)張操作后輸入到局部歸一化層N和Pool1中。卷積網(wǎng)絡(luò)單元Conv2與Conv3對(duì)池化層的輸出量獲取步態(tài)特征向量的方式一樣,將卷積單元Conv3經(jīng)過池化層Pool3得出的特征向量輸入到Fc1和Fc2中,然后輸入到局部響應(yīng)歸一化層當(dāng)中,對(duì)比損失層輸入得到的特征向量。接下來,通過對(duì)來自Pool3輸出層的兩個(gè)特征圖進(jìn)行差分融合,將卷積網(wǎng)絡(luò)的Pool3輸出層的特征向量分別輸入到Conv4和對(duì)比損失層,將其映射為0～1分布,確定步態(tài)樣本輸入的相似度。

5 網(wǎng)絡(luò)訓(xùn)練方法

結(jié)合邏輯回歸[11]和對(duì)比損失函數(shù)[12]對(duì)網(wǎng)絡(luò)進(jìn)行參數(shù)訓(xùn)練,訓(xùn)練后提取樣本步態(tài)特征來進(jìn)一步實(shí)現(xiàn)對(duì)比、識(shí)別行人身份。經(jīng)過全連接層歸一化后的特征向量輸入到對(duì)比損失層中,其中對(duì)比損失函數(shù)的定義如式(4)所示,α為手動(dòng)設(shè)置的閾值,用來計(jì)算網(wǎng)絡(luò)中兩個(gè)輸出向量之間的度量距離。

(z)+:max(z,0)

(4)

式中:I1、I2為樣本對(duì)的差值特征向量;Lc為通過網(wǎng)絡(luò)特征提取預(yù)測到的差值特征向量的概率分布;y為兩個(gè)樣本是否匹配的標(biāo)簽;d為兩個(gè)樣本特征之間的歐氏距離;z為設(shè)定的閾值。

在卷積網(wǎng)絡(luò)單元Conv4中輸入得到的特征向量進(jìn)行差值融合,把Fc3輸出的特征向量輸入到邏輯回歸損失函數(shù)中,并基于0～1分布實(shí)現(xiàn)對(duì)輸入步態(tài)樣本的身份識(shí)別。邏輯回歸函數(shù)常用于二分類,損失函數(shù)越小,模型在訓(xùn)練集上面的擬合效果越好,邏輯回歸損失函數(shù)如公式(5)所示,其中θ的最優(yōu)值可以通過梯度下降的方法,得到的θ在訓(xùn)練集中的擬合效果非常好,但是可能會(huì)存在過擬合的現(xiàn)象,這時(shí)可以使用L1、L2正則化的方法來降低過擬合帶來的影響。

(5)

式中:n為輸入樣本數(shù)量;i為目標(biāo)類;pθ為損失層參數(shù);fi為真實(shí)目標(biāo)樣本差值特征向量的概率分布。

耦合神經(jīng)網(wǎng)絡(luò)的參數(shù)由損失函數(shù)關(guān)聯(lián)法驅(qū)動(dòng),并通過一個(gè)特定的參數(shù)λ將兩者結(jié)合起來,從而控制損失函數(shù)在總損失函數(shù)中的實(shí)現(xiàn)狀態(tài),二者聯(lián)合如式(6)所示。

Loss=L(θ)+λLc

(6)

λ取值范圍為(0,+∞),在模型訓(xùn)練過程中,當(dāng)λ=0時(shí),損失函數(shù)的檢驗(yàn)與網(wǎng)絡(luò)參數(shù)的匹配無關(guān);當(dāng)λ≠0時(shí),驗(yàn)證損失函數(shù)生效,邏輯回歸損失函數(shù)與網(wǎng)絡(luò)參數(shù)擬合的比例逐漸減小?？梢钥吹?當(dāng)λ→+∞時(shí),可以看作對(duì)比損失函數(shù)單獨(dú)涉及對(duì)整體參數(shù)的調(diào)整。經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)當(dāng)λ=0.06時(shí),該參數(shù)下的損失函數(shù)組合優(yōu)化的性能最優(yōu),步態(tài)識(shí)別率也得到提高。

6 實(shí)驗(yàn)分析

實(shí)驗(yàn)運(yùn)用MATLAB 2017-a仿真工具,操作系統(tǒng)為Windows 10,設(shè)備內(nèi)存容量16GB,CPU為酷睿i5-1340p,采用中科院CASIA-B步態(tài)數(shù)據(jù)集作為訓(xùn)練集。CASIA-B數(shù)據(jù)集是使用最廣泛的步態(tài)數(shù)據(jù)集,包含124個(gè)受試者的步態(tài)輪廓數(shù)據(jù),每個(gè)受試者有10組視頻。每個(gè)受試者的步態(tài)序列樣本分別采集自0°,18°,…,180°的11個(gè)角度,每個(gè)視角下都有10個(gè)步態(tài)序列。選擇在4種正常步態(tài)條件下收集的步態(tài)序列作為訓(xùn)練樣本,記為NM1-4。選擇了兩個(gè)行走序列作為驗(yàn)證樣本,記為NM5-6。驗(yàn)證樣本集選擇大衣遮擋下的步態(tài)序列(CL1-2)與背包遮擋下的步態(tài)序列(BG1-2),通過參數(shù)λ將兩個(gè)損失函數(shù)聯(lián)合訓(xùn)練網(wǎng)絡(luò)參數(shù)。圖3為耦合網(wǎng)絡(luò)模型對(duì)正常行走、背包遮擋以及大衣遮擋下的步態(tài)識(shí)別率。通過圖4可以看出,在背包情況下耦合網(wǎng)絡(luò)對(duì)各視角的識(shí)別綜合情況要好于CNNs。

圖3 耦合在各情況下的識(shí)別率

圖4 背包情況下CNNs與耦合網(wǎng)絡(luò)識(shí)別率對(duì)比

對(duì)CNNs[13]的識(shí)別數(shù)據(jù)與通過本文使用的耦合神經(jīng)網(wǎng)絡(luò)得出的結(jié)果進(jìn)行綜合對(duì)比,見表1。

表1 不同視角下不同條件步態(tài)識(shí)別率

由表1可以看出,耦合神經(jīng)網(wǎng)絡(luò)的平均識(shí)別率要高于CNNs,在考慮11個(gè)不同視角下的NM、CL、BG 3種不同的行走情況時(shí)發(fā)現(xiàn),在某些行走情況和視角,如探針為NM、BG條件下的18°～72°時(shí),耦合網(wǎng)絡(luò)識(shí)別率低于CNNs。CNNs對(duì)該一段視角的識(shí)別更加穩(wěn)定,但是耦合網(wǎng)絡(luò)模型綜合性能優(yōu)于CNNs,證明了模型的有效性。通過損失函數(shù)聯(lián)合訓(xùn)練參數(shù)可以有效解決步態(tài)識(shí)別中最小的類間距離大于最大的類內(nèi)距離的問題,有效提高了在不同視角下的步態(tài)識(shí)別率。

7 結(jié)論

提出基于耦合網(wǎng)絡(luò)模型的步態(tài)識(shí)別方法,介紹了步態(tài)識(shí)別的原理以及耦合神經(jīng)網(wǎng)絡(luò)的基本架構(gòu),對(duì)CASIA-B數(shù)據(jù)集所提供的步態(tài)圖像進(jìn)行圖像歸一化等處理并由此得出步態(tài)能量圖,將得到的步態(tài)能量圖輸入到構(gòu)建的耦合神經(jīng)網(wǎng)絡(luò)模型中提取步態(tài)特征差異,構(gòu)建對(duì)比損失函數(shù)和邏輯回歸損失函數(shù),并經(jīng)過訓(xùn)練得出λ,使得損失函數(shù)聯(lián)合優(yōu)化的性能達(dá)到最優(yōu),使用訓(xùn)練后的網(wǎng)絡(luò)模型來進(jìn)行步態(tài)特征識(shí)別比對(duì),能夠有效提升步態(tài)識(shí)別精度。最后,通過實(shí)驗(yàn)得出耦合神經(jīng)網(wǎng)絡(luò)在驗(yàn)證樣本集NM5-6、BG1-2以及CL1-2上的步態(tài)識(shí)別率,并與傳統(tǒng)CNNs進(jìn)行實(shí)驗(yàn)結(jié)果對(duì)比,驗(yàn)證了步態(tài)識(shí)別時(shí)當(dāng)角度發(fā)生變化或人物出現(xiàn)外物遮擋時(shí),耦合神經(jīng)網(wǎng)絡(luò)模型可以有效地減少步態(tài)識(shí)別效果的誤差。