徐 健，黃 磊，陳倩倩，陸 珍，吳曙培西安工程大學(xué) 電子信息學(xué)院，西安 710048

隨著我國智慧城市建設(shè)的深入，我國視頻監(jiān)控市場繼續(xù)保持快速增長的態(tài)勢。行人作為公共監(jiān)控視頻中的核心，如何在視頻監(jiān)控中對行人進(jìn)行準(zhǔn)確檢測與有效識別成為當(dāng)今研究熱點。

人體步態(tài)識別作為一種新型生物識別技術(shù)，根據(jù)各人獨(dú)特的行走方式來標(biāo)記、描述和確定行人個體的身份。近代醫(yī)學(xué)研究表明，步態(tài)是一種復(fù)雜的人類行為特征，人類的步態(tài)中存在24種不同的影響因素，如果將所有因素都考慮起來，則可以唯一地確定一個人[1]，此項醫(yī)學(xué)研究為步態(tài)識別提供了可能。

步態(tài)識別與人臉識別和指紋識別等其他生物識別技術(shù)相比較而言，步態(tài)識別的優(yōu)勢在于不需要當(dāng)事人同意且無需身體直接或間接接觸的情況下即可進(jìn)行識別行人身份。同時，步態(tài)識別高度依賴于人體的全身身體特征和行走姿態(tài)，因此步態(tài)作為識別特征也很難被隱藏或改變。隨著圖像處理、模式識別及計算機(jī)技術(shù)不斷發(fā)展，近些年一部分研究學(xué)者采用傳統(tǒng)機(jī)器學(xué)習(xí)方法實現(xiàn)通過行人步態(tài)達(dá)到識別行人身份的目的。李凱等[2]提出用步態(tài)能量圖作為步態(tài)的特征圖像，利用受限玻爾茲曼機(jī)自動獲取步態(tài)特征，并選取支持向量機(jī)、孿生支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)與k近鄰識別方法對使用受限玻爾茲曼機(jī)方法的提取的特征進(jìn)行了研究。趙喜玲等[3]提出基于靜態(tài)能量圖和動態(tài)群體隱馬爾可夫模型的步態(tài)識別方法，最后采用近鄰法進(jìn)行識別，極大程度減少了角度變化和噪聲帶來的影響，達(dá)到了較高的識別率。

近些年來，深度學(xué)習(xí)[4]發(fā)展迅速，在語音識別、機(jī)器視覺、圖像識別等諸多領(lǐng)域取得了巨大成功。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是深度學(xué)習(xí)中一種端到端的人工智能模型，CNN在海量的Imagenet數(shù)據(jù)集上識別和檢測達(dá)到了比人眼更高的識別率與準(zhǔn)確率，但在實際學(xué)習(xí)工作中，由于往往不具備官方數(shù)據(jù)集那么大的數(shù)據(jù)量，因此應(yīng)用于實際樣本集時效果很差，通常表現(xiàn)為訓(xùn)練集識別率和測試集識別率相差甚大，也經(jīng)常導(dǎo)致過擬合現(xiàn)象發(fā)生。Sinno等[5]提出遷移學(xué)習(xí)的思想，解決了樣本數(shù)據(jù)量不夠的問題，并且還可避免大量昂貴的數(shù)據(jù)標(biāo)注工作?；谶w移學(xué)習(xí)的思想，龍滿生等[6]將AlexNet模型在ImageNet圖像數(shù)據(jù)集上學(xué)習(xí)到的知識遷移到油茶病害識別任務(wù)中，對于常見的5種油茶病害都達(dá)到了極高的識別率。羅娟等[7]采用深度卷積神經(jīng)網(wǎng)絡(luò)通過遷移學(xué)習(xí)分別訓(xùn)練植物的單個器官，并且結(jié)合多個神經(jīng)網(wǎng)絡(luò)的多線索進(jìn)行植物識別，對傳統(tǒng)植物都可以有效地自動進(jìn)行識別。關(guān)胤[8]采用152層殘差網(wǎng)絡(luò)結(jié)構(gòu)，在花卉數(shù)據(jù)集上對模型進(jìn)行遷移學(xué)習(xí)訓(xùn)練，對于用戶自主上傳的花卉照片達(dá)到了較高的識別率。

針對當(dāng)前公布的步態(tài)數(shù)據(jù)集，如果使用步態(tài)能量圖作為網(wǎng)絡(luò)輸入，會導(dǎo)致樣本集偏小易產(chǎn)生過擬合的問題。因此本研究引入深度遷移學(xué)習(xí)思想，利用VGG-16網(wǎng)絡(luò)模型作為特征提取器，考慮到原網(wǎng)絡(luò)提取圖像特征時僅針對單一尺度這樣會導(dǎo)致丟失部分圖像細(xì)節(jié)信息，故在網(wǎng)絡(luò)模型上融合空間金字塔池化網(wǎng)絡(luò)（SPP）[9]優(yōu)化算法，提取行人步態(tài)中的多尺度信息特征。最終提出一種基于融合空間金字塔池化微調(diào)VGG-16網(wǎng)絡(luò)模型的行人步態(tài)識別方法。通過對比現(xiàn)有多種識別方法，該方法不僅避免過擬合現(xiàn)象發(fā)生，而且測試集識別率有所提升。

1 步態(tài)能量圖

步態(tài)能量圖是一種混合步態(tài)輪廓序列中靜態(tài)和動態(tài)信息的運(yùn)動模板，通過計算一個步態(tài)周期中步態(tài)輪廓圖像素的平均強(qiáng)度得到模板中每個像素點的能量[10]。步態(tài)能量圖提取方法簡單，并且能較完整地表現(xiàn)步態(tài)的形狀、速度等特征，因此行人步態(tài)識別過程中獲取完整的步態(tài)能量圖對整個識別過程至關(guān)重要。

1.1 步態(tài)周期

人體的步態(tài)被認(rèn)為是具有周期性的循環(huán)運(yùn)動，一個完整的步態(tài)周期是從一側(cè)足的足跟著地到同一側(cè)足跟再次著地為止的連續(xù)過程所用的時間。

步態(tài)周期常用的檢測方法是基于人體側(cè)影的寬高比法[11]，對于一個連續(xù)的步態(tài)過程，人體的高度和寬度會隨著身體的運(yùn)動不斷變化。

如圖1（a）所示，當(dāng)兩腿分開的角度逐漸變大時，人體的寬度變大，高度變小，此時寬高比變大，當(dāng)兩腿逐漸靠近時，人體的高度變大，寬度變小，此時寬高比變小，因為整個步態(tài)周期呈現(xiàn)周期變化，因此寬高比變化也呈現(xiàn)周期變化。

圖1（b）中的x點、z點與p點對應(yīng)雙腿并攏時所對應(yīng)的寬高比曲線，y點、w點分別對應(yīng)左腳邁出最大步伐時與右腳邁出最大步伐時所對應(yīng)的寬高比曲線，由x點到p點即為一個完整的步態(tài)周期。

圖1 步態(tài)寬高比變化曲線Fig.1 Variation curve of gait aspect ratio

1.2 提取步態(tài)能量圖

相較于將步態(tài)輪廓圖或者步態(tài)序列作為深度網(wǎng)絡(luò)的輸入，步態(tài)能量圖將整個步態(tài)過程用一幅特征圖像進(jìn)行表示，保留了運(yùn)動過程中的絕大部分特征信息，同時對于因某一幀輪廓圖出現(xiàn)的輪廓分割變形而產(chǎn)生的噪聲有很強(qiáng)的魯棒性，并且卷積神經(jīng)網(wǎng)絡(luò)對于彩色圖像十分敏感，網(wǎng)絡(luò)會被彩色特征吸引，行人衣服變更會極大影響識別準(zhǔn)確率，步態(tài)能量圖能夠忽視衣物背包和協(xié)變量的特征干擾，只關(guān)注步態(tài)特征本身，包括關(guān)節(jié)、身高、體型、行走的姿態(tài)等，因此選擇將步態(tài)能量圖作為深度神經(jīng)網(wǎng)絡(luò)的輸入。GEI的定義如下：其中，N為單個步態(tài)周期內(nèi)目標(biāo)圖像的總幀數(shù)，B t(x,y)是步態(tài)周期中的t時刻的二值步態(tài)圖像序列，t代表步態(tài)周期中的第t幀。

一個完整周期內(nèi)的人體目標(biāo)圖像合成步態(tài)能量圖的過程如圖2所示。

圖2 合成步態(tài)能量圖Fig.2 Synthetic gait energy map

2 識別算法模型結(jié)構(gòu)

2.1 卷積神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)的機(jī)器學(xué)習(xí)識別方法，主要分為三個步驟：目標(biāo)圖像預(yù)處理、特征提取、特征處理，然后利用分類器等方法對特征向量進(jìn)行分類操作。這種方法的弊端是每個過程需要人為參與費(fèi)時費(fèi)力且特征提取的好壞直接影響分類結(jié)果，而提取特征時需要工作人員豐富經(jīng)驗，且最終識別率有待提高。

而深度學(xué)習(xí)大大減少了發(fā)現(xiàn)特征的成本，其本質(zhì)是可以利用龐大豐富的數(shù)據(jù)，自主學(xué)習(xí)圖像深層特征，完成模型的訓(xùn)練，泛化能力更強(qiáng)，更容易應(yīng)用于實際場景。卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種經(jīng)典的深度學(xué)習(xí)模型，常見的卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、激活層、池化層、全連接層和最后的輸出層構(gòu)成，此網(wǎng)絡(luò)可以有效地從大量樣本中學(xué)習(xí)到相應(yīng)的特征，避免了復(fù)雜的特征提取過程。

VGG-16[12]是2014年提出的一種經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型，相比之前其他網(wǎng)絡(luò)模型，通過增加更多的卷積層來增加網(wǎng)絡(luò)的深度，卷積層全部采用3×3小卷積核代替以往網(wǎng)絡(luò)中的5×5大卷積核，多卷積核串聯(lián)與池化層共同作用使得網(wǎng)絡(luò)結(jié)構(gòu)簡單性能良好。其結(jié)構(gòu)如圖3所示。

圖3 VGG-16網(wǎng)絡(luò)模型Fig.3 VGG-16 network model

原網(wǎng)絡(luò)輸入采用224×224的RGB彩色圖像，其中隱藏層主要由13個卷積層、5個池化層和全連接層組成。卷積層通過卷積運(yùn)算完成特征提取工作，卷積核通過滑動窗口形式在輸入圖像中以確定的步長從左到右從上到下進(jìn)行掃描，計算卷積核中的參數(shù)與輸入圖像卷積后的結(jié)果，每掃描完一張輸入圖像后輸出一張?zhí)卣鲌D，再通過激活函數(shù)進(jìn)行非線性映射后輸出作為下一層卷積層的輸入。卷積層的表達(dá)式為：

其中，為第n+1層第i個輸出特征，f()為激活函數(shù)，M j為從第n層選取的若干個作為第n+1層輸入特征圖的集合，為第n層第i個輸出特征為第n+1層的權(quán)值參數(shù)，為n+1層的偏置，?代表卷積操作。

池化層又稱為下采樣層，對每個卷積后的特征圖進(jìn)行下采樣操作，不僅減少了模型參數(shù)，加快網(wǎng)絡(luò)運(yùn)算速度，還能濾除部分圖像信息，起到特征選擇的作用，以此來提升網(wǎng)絡(luò)泛化能力。

經(jīng)過若干次卷積+激勵+池化后，網(wǎng)絡(luò)對前面提取的特征圖進(jìn)行“平展拉伸”，將其轉(zhuǎn)換為一維特征向量，通過全連接層進(jìn)行相互連接。為防止出現(xiàn)過擬合現(xiàn)象，采用Dropout方法隨機(jī)丟棄網(wǎng)絡(luò)中的部分神經(jīng)元，稀疏全連接層，最后通過Softmax激活函數(shù)分類得到最終的輸出，Softmax函數(shù)表達(dá)式為：

式中，z j表示第j個神經(jīng)元的輸入，n為輸出節(jié)點的個數(shù)即樣本類別數(shù)；j=1,2,…,n。

2.2 網(wǎng)絡(luò)模型結(jié)構(gòu)的改進(jìn)

一方面由于經(jīng)過一系列卷積池化操作后得到的特征信息較為單一，另一方面因為VGG網(wǎng)絡(luò)需要輸入特定尺寸圖像，在檢測其他大小的圖片的時候，圖像需要進(jìn)行裁剪或者縮放，但是裁剪縮放會減少圖像的全局特征信息，降低識別檢測的精度。因此為了有效提取行人步態(tài)圖像中的多尺度特征，本文通過將空間金字塔池化層融合到VGG-16網(wǎng)絡(luò)結(jié)構(gòu)中，對卷積特征進(jìn)行不同尺度最大池化操作，并提取出每個尺度下的特征，然后將生成的多尺度特征根據(jù)網(wǎng)絡(luò)需要聚合成特定維度，從而提高特征的空間尺度不變性。

本文融合的空間金字塔池化網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 空間金字塔池化結(jié)構(gòu)Fig.4 Space pyramid pooling structure

此池化結(jié)構(gòu)將VGG-16最后一個卷積層（conv5）輸出的512張?zhí)卣鲌D作為空間金字塔池化層的輸入，此時對于每一張m×m的特征圖可以劃分為n×n的區(qū)域塊，對于每一個區(qū)域塊采取最大池化方式進(jìn)行池化，其中池化層滑動窗口大小為ceiling(m/n×m/n)，步長為floor(m/n)。本文中n分別取4、2、1，即將特征圖分別劃分為4×4、2×2、1×1共21個不同大小的區(qū)域塊，將每個區(qū)域塊中的最大值保留進(jìn)行級聯(lián)融合得到21×512的多尺度特征，最后將這個多維特征“平展拉伸”成一維向量送入全連接層用于后續(xù)分類工作。

2.3 深度遷移學(xué)習(xí)

遷移學(xué)習(xí)的初衷是節(jié)省樣本標(biāo)注時間，把處理源任務(wù)獲取的知識，應(yīng)用于新的目標(biāo)難題。隨著卷積神經(jīng)網(wǎng)絡(luò)的興起遷移學(xué)習(xí)逐漸引起研究者的關(guān)注，并得到廣泛應(yīng)用。深度遷移學(xué)習(xí)即采用深度學(xué)習(xí)的方法進(jìn)行遷移學(xué)習(xí)，相較于采用非深度學(xué)習(xí)方法擁有兩個優(yōu)勢：自動化地提取更具表現(xiàn)力的特征；滿足實際應(yīng)用中的端到端（End-to-End）需求。其優(yōu)點是可以對已有的知識進(jìn)行利用，解決目標(biāo)領(lǐng)域中標(biāo)簽數(shù)據(jù)匱乏的問題起到舉一反三的效果，并且明顯減少訓(xùn)練時間提高精度。結(jié)合本文步態(tài)識別過程中訓(xùn)練樣本數(shù)據(jù)量較少的現(xiàn)狀，將深度遷移學(xué)習(xí)思想用于本次研究，即可克服過擬合現(xiàn)象發(fā)生，提升識別率，加快訓(xùn)練速度。

遷移學(xué)習(xí)有域D和任務(wù)T之分，以小數(shù)據(jù)量的樣本集作為目標(biāo)域，以大量標(biāo)注的數(shù)據(jù)集作為源域，針對不同的任務(wù)，常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)都需要利用要識別的目標(biāo)數(shù)據(jù)集從頭訓(xùn)練，這是個很耗時間的任務(wù)且在數(shù)據(jù)集數(shù)量較小時極容易產(chǎn)生過擬合現(xiàn)象。因此可以根據(jù)源域與目標(biāo)域的極大相似性，先利用源域數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，將學(xué)到的能力通過某種方式共享遷移至新模型，縮短目標(biāo)域訓(xùn)練時間且提升識別率。遷移學(xué)習(xí)的方式有很多種，根據(jù)遷移內(nèi)容的不同主要分為基于實例的遷移、基于特征的遷移和基于參數(shù)的遷移等。本文采用基于參數(shù)的遷移方式，將Imagenet數(shù)據(jù)集作為源域，行人步態(tài)數(shù)據(jù)集作為目標(biāo)域，在融合SPP網(wǎng)絡(luò)的VGG-16神經(jīng)網(wǎng)絡(luò)模型上進(jìn)行預(yù)訓(xùn)練，遷移參數(shù)，目標(biāo)域微調(diào)參數(shù)，達(dá)到最后步態(tài)識別的目標(biāo)。基于改進(jìn)VGG-16網(wǎng)絡(luò)的遷移學(xué)習(xí)模型結(jié)構(gòu)如圖5所示。

圖5 遷移學(xué)習(xí)模型Fig.5 Transfer learning mode

首先將VGG-16網(wǎng)絡(luò)模型最后的最大池化層去掉，用空間金字塔池化（SPP-Net）代替，且此時輸入圖像相比于原VGG網(wǎng)絡(luò)不要求必須是224×224的RGB彩色圖像，可以輸入任意尺寸大小的圖像以獲得多尺度信息且維度固定的特征，其他網(wǎng)絡(luò)參數(shù)不變，用于源域的預(yù)訓(xùn)練操作。將加入SPP的網(wǎng)絡(luò)稱為sppvgg網(wǎng)絡(luò)模型。待該網(wǎng)絡(luò)在Imagenet數(shù)據(jù)集上得到的損失函數(shù)值與準(zhǔn)確率趨向穩(wěn)定時保存全連接層前面的特征提取層權(quán)值參數(shù)。將改進(jìn)的VGG網(wǎng)絡(luò)結(jié)構(gòu)中的全連接層神經(jīng)元個數(shù)按本研究需要進(jìn)行修改，第一層全連接層由4 096改為512，第二層根據(jù)行人步態(tài)分類需要改為124，去除了第三層全連接層，經(jīng)過softmax函數(shù)得到124類行人結(jié)果的輸出，將其稱為Im-sppvgg網(wǎng)絡(luò)模型。將該網(wǎng)絡(luò)作為行人步態(tài)圖像識別最終模型，在訓(xùn)練測試過程中由于神經(jīng)網(wǎng)絡(luò)中的卷積層和池化層主要承擔(dān)著提取圖像特征的作用，因此先將由源域訓(xùn)練獲得的提取特征能力由sppvgg網(wǎng)絡(luò)遷移至識別行人的Im-sppvgg網(wǎng)絡(luò)中，然后將Im-sppvgg網(wǎng)絡(luò)中卷積層池化層的權(quán)重參數(shù)“凍結(jié)”使其處于不被訓(xùn)練狀態(tài)，再輸入小數(shù)據(jù)量的行人步態(tài)數(shù)據(jù)集至Im-sppvgg網(wǎng)絡(luò)中，微調(diào)網(wǎng)絡(luò)中的全連接層參數(shù)使其具有分析識別行人的能力。

3 實驗與分析

本文算法實驗在Windows10操作系統(tǒng)下，CPU為Intel i7-7700K，GPU為NVIDIA gtx1080，16 GB內(nèi)存，基于Tensorflow1.14深度學(xué)習(xí)框架，編程語言為python3.6。

3.1 實驗數(shù)據(jù)集

本文采用的數(shù)據(jù)集是中國科學(xué)院自動化研究所提供的CASIA步態(tài)數(shù)據(jù)庫Dataset-B數(shù)據(jù)庫[13]（多視角庫）。此數(shù)據(jù)庫提供了124位受測者在11種視角（0°，18°，36°，…，180°），在三種行走條件下（普通條件、穿大衣、攜帶包裹條件）的行人步態(tài)序列。此每種視角選取1個完整步態(tài)周期作為樣本數(shù)據(jù)集，每一位行人包含110張圖像，一共13 640張行人數(shù)據(jù)集圖像。數(shù)據(jù)集存儲了行人步態(tài)序列的二值圖像，因為本文選擇步態(tài)能量圖作為深度網(wǎng)絡(luò)的輸入，所以對人體步態(tài)序列的預(yù)處理（目標(biāo)檢測、圖像分割、圖像歸一化等操作）本文將不再論述。

按照前述獲取步態(tài)能量圖的方法獲取每個行人樣本的步態(tài)能量圖，每位行人樣本包含10個行走條件（2個穿大衣狀態(tài)、2個攜帶包裹條件、6個普通行走條件），每種狀態(tài)包含11種視角。部分樣本如圖6所示。

圖6 行人樣本集Fig.6 Pedestrian sample set

3.2 實驗流程及實驗參數(shù)設(shè)置

實驗流程如圖7所示，首先使用Imagenet數(shù)據(jù)集預(yù)訓(xùn)練改進(jìn)VGG后的網(wǎng)絡(luò)模型（sppvgg），然后保存在源域上學(xué)習(xí)到的權(quán)重參數(shù)，遷移預(yù)訓(xùn)練的權(quán)重參數(shù)并修改網(wǎng)絡(luò)的全連接層，初始化參數(shù)后用行人步態(tài)圖像樣本訓(xùn)練修改后的網(wǎng)絡(luò)模型（Im-sppvgg），微調(diào)全連接層的參數(shù)，經(jīng)過softmax函數(shù)輸出識別結(jié)果。在整個遷移學(xué)習(xí)過程中凍結(jié)的是預(yù)訓(xùn)練模型的低層網(wǎng)絡(luò)參數(shù)，雖然Imagenet數(shù)據(jù)集中的圖像和行人步態(tài)圖像不一樣，但是它們都是具有相似性的彩色圖像，從大數(shù)據(jù)集學(xué)習(xí)得到的低層濾波器往往描述了各種不同的局部邊緣和紋理信息，隨著卷積層數(shù)增加學(xué)習(xí)的特征信息越來越抽象化，因此得到的圖像濾波器更具有普適性。而最終本文只根據(jù)研究對象需要，修改全連接層，使其具備識別行人的能力。

圖7 遷移學(xué)習(xí)流程圖Fig.7 Process map of transfer learning

本實驗對遷移特征后的Im-sppvgg網(wǎng)絡(luò)使用樣本集共13 640張行人步態(tài)圖像進(jìn)行訓(xùn)練微調(diào)。

訓(xùn)練過程中，網(wǎng)絡(luò)超參數(shù)如表1所示。表1中各參數(shù)具體含義如下：

表1 網(wǎng)絡(luò)超參數(shù)Table 1 Hyper-parameter of netwrok

Epoch：網(wǎng)絡(luò)訓(xùn)練迭代周期數(shù)，整個樣本集數(shù)據(jù)被訓(xùn)練一次計為一個Epoch，一般取的數(shù)值能確保損失函數(shù)值和準(zhǔn)確率值趨于最終穩(wěn)定。

Batch_Size：每次輸入神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)大小，每Batch_Size個數(shù)據(jù)輸入后，進(jìn)行一次梯度下降法對權(quán)重參數(shù)更新。

Optimizer：優(yōu)化器，在比較SGD（隨機(jī)梯度下降）等優(yōu)化器所得效果后，最終選擇了AdamOptimizer優(yōu)化器。

Dropout：用于使全連接層的部分神經(jīng)元失效，丟失一些信息，避免過擬合現(xiàn)象。本實驗設(shè)置為0.8。

損失函數(shù)：訓(xùn)練過程中通過Softmax函數(shù)將神經(jīng)網(wǎng)絡(luò)的輸出變成一個概率分布，使用交叉熵（CrossEntropy）作為網(wǎng)絡(luò)的損失函數(shù)，交叉熵刻畫了兩個概率分布之間的距離，是分類問題中常用的評判方法之一。

當(dāng)p表示正確答案，q表示網(wǎng)絡(luò)預(yù)測值時，交叉熵可以表示為：

3.3 實驗結(jié)果及分析

圖8是使用本文所提出的深度遷移學(xué)習(xí)網(wǎng)絡(luò)模型在源域?qū)W習(xí)到的特征提取能力應(yīng)用在行人步態(tài)上所得到的部分卷積特征圖。

圖8 卷積特征圖Fig.8 Convolution feature maps

從圖8中看出，隨著卷積層不斷加深，得到的特征圖不斷抽象化，在低層特征圖可以明顯看出行人具體紋理、邊緣、形狀等特征。在高層次特征圖中行人圖像已經(jīng)很抽象，人眼無法看出具體內(nèi)容，用來濾除不相關(guān)內(nèi)容，提取重要特征。低層卷積核和高層卷積核的局部細(xì)節(jié)信息表明，卷積神經(jīng)網(wǎng)絡(luò)的低層特征抽象能力是可以共享的，因此使用ImageNet的大量數(shù)據(jù)訓(xùn)練基于VGG網(wǎng)絡(luò)改進(jìn)的Im-sppvgg網(wǎng)絡(luò)能夠更詳盡、精準(zhǔn)地學(xué)習(xí)到樣本的抽象特征?？偟膩碚f，將已在ImageNet數(shù)據(jù)集上訓(xùn)練好的模型遷移到行人步態(tài)識別問題上能有效地提取圖像的抽象特征，進(jìn)而提高模型的泛化能力。

為直觀描述網(wǎng)絡(luò)模型的有效性，使用行人步態(tài)能量圖樣本集對模型進(jìn)行訓(xùn)練，得到損失函數(shù)值及準(zhǔn)確率曲線如圖9所示。因本文網(wǎng)絡(luò)利用改進(jìn)的VGG網(wǎng)絡(luò)在結(jié)合深度遷移學(xué)習(xí)思想構(gòu)建而成。為客觀比較本文所提網(wǎng)絡(luò)的性能，對原VGG-16網(wǎng)絡(luò)模型進(jìn)行遷移學(xué)習(xí)，其損失函數(shù)值及準(zhǔn)確率曲線如圖10所示。其中針對本文Im-sppvgg網(wǎng)絡(luò)輸入圖像無尺寸要求，而VGG-16需對輸入圖進(jìn)行尺寸裁剪至224×224×3大小以滿足網(wǎng)絡(luò)要求。

圖9 Im-sppvgg網(wǎng)絡(luò)損失函數(shù)值和準(zhǔn)確率曲線圖Fig.9 Loss function value and accuracy graph of Im-sppvgg network

圖10 VGG-16網(wǎng)絡(luò)損失函數(shù)值和準(zhǔn)確率曲線圖Fig.10 Loss function value and accuracy graph of VGG-16 network

結(jié)果表明，圖9的Im-sppvgg網(wǎng)絡(luò)損失函數(shù)值下降很快，大約第300 iteration時損失函數(shù)值就趨向于0，準(zhǔn)確率曲線大概在第300 iteration時趨向穩(wěn)定，圖中紅色曲線代表行人步態(tài)圖像訓(xùn)練集準(zhǔn)確率，穩(wěn)定后基本保持在100%左右，藍(lán)色曲線代表行人步態(tài)圖像測試集準(zhǔn)確率，穩(wěn)定后保持在95%左右。而基于VGG-16網(wǎng)絡(luò)得到的圖10中損失函數(shù)值下降較慢，大約在400 iteration才趨向于0。而在準(zhǔn)確率曲線圖中大約450 iteration時趨向穩(wěn)定，此時代表訓(xùn)練集的紅色曲線保持在100%左右，代表測試集的藍(lán)色曲線保持在91%左右。直觀上來看本文提出的Im-sppvgg網(wǎng)絡(luò)模型在行人步態(tài)圖像樣本集上精度表現(xiàn)更佳，收斂速度更快。這是因為本文修改VGG-16網(wǎng)絡(luò)時去掉網(wǎng)絡(luò)最后的最大池化層用空間金字塔池化網(wǎng)絡(luò)代替。正是由于這種結(jié)構(gòu)上的改進(jìn)，在Imsppvgg網(wǎng)絡(luò)輸入樣本圖像時，能夠獲取多尺度信息特征，使得識別精度提升。而在最后卷積層輸出時，原VGG16網(wǎng)絡(luò)設(shè)置三個全連接層，第一個全連接層FC1有4 096個節(jié)點，第二個全連接層FC2層有4 096個節(jié)點，第三層全連接層FC3有1 000個節(jié)點，因為原VGG網(wǎng)絡(luò)輸出的卷積特征共7×7×512=25 088個節(jié)點，而全連接層權(quán)重參數(shù)數(shù)目計算方法：前一層節(jié)點數(shù)×本層的節(jié)點數(shù)。所以原VGG16全連接層參數(shù)為：7×7×512×4 096=1 027 645 444，4 096×4 096=16 781 321，4 096×1 000=4 096 000共1 048 522 756個權(quán)重參數(shù)。

而本文在改進(jìn)的VGG16網(wǎng)絡(luò)中，經(jīng)過空間金字塔池化后輸出（1+4+16）×512共10 752個參數(shù)，所以修改后2層全連接層的權(quán)重參數(shù)10 752×512=5 505 024，512×124=63 488共5 568 512個權(quán)重參數(shù)。

較多的權(quán)重參數(shù)在小樣本集上會產(chǎn)生過擬合現(xiàn)象，同時會導(dǎo)致訓(xùn)練時間過長，內(nèi)存消耗量大，存儲容量大等問題。正是不丟失特征信息的參數(shù)減少使得網(wǎng)絡(luò)收斂更快且提高行人步態(tài)的分類性能。

本文將實驗數(shù)據(jù)隨機(jī)打亂分為訓(xùn)練集、測試集及驗證集，隨機(jī)打亂以消除過擬合現(xiàn)象，其中70%作為訓(xùn)練集，10%作為驗證集，20%作為測試集。評價指標(biāo)使用平均識別率(ARR)。ARR表示正確識別的目標(biāo)人物數(shù)占總數(shù)的比例，ARR的值越大表明識別率越高，算法性能越好。

為了客觀對本文算法進(jìn)行分析，將本文算法與其他步態(tài)識別算法進(jìn)行比較，表2列出了不同方法平均識別率。

表2 不同算法性能比較Table 2 Comparison of performance of different algorithms %

從表2對比其他幾種文獻(xiàn)針對行人步態(tài)識別的正確識別率可以看出，本文提出的算法識別性能總體較好，識別率更高。文獻(xiàn)[14]采用融合策略將通過數(shù)據(jù)降維后的步態(tài)能量圖、梯度直方圖、小波描述子和部分圖像信息熵特征進(jìn)行融合后完成步態(tài)識別任務(wù)，雖然與單一步態(tài)特征的識別方法相比，步態(tài)識別率有明顯提高，但是融合后的特征權(quán)重仍通過融合前的單一特征的識別率決定，缺乏特征之間的關(guān)聯(lián)性以及特征個異性在識別過程中的體現(xiàn)。文獻(xiàn)[15]采用分解能量圖與頻譜分析構(gòu)建步態(tài)特征，此方法提取的特征降低了數(shù)據(jù)復(fù)雜度并且能較完整表達(dá)行人個體的步態(tài)信息，在CASIA步態(tài)數(shù)據(jù)庫上達(dá)到較好的識別性能。文獻(xiàn)[16]在步態(tài)能量圖的基礎(chǔ)上分三層求得目標(biāo)圖像的局部二值模式（LBP）與方向梯度直方圖（HOG），使用特征融合的方法每一層的LBP特征和HOG特征進(jìn)行融合得到最終的特征進(jìn)行實驗驗證，在CASIA與USF數(shù)據(jù)集上都達(dá)到較好的識別率。根據(jù)分析可知這些方法都是基于傳統(tǒng)機(jī)器學(xué)習(xí)方法，采用融合策略融合幾種行人步態(tài)的圖像特征，對融合后的特征進(jìn)行分類。

傳統(tǒng)機(jī)器學(xué)習(xí)方法避免了深度學(xué)習(xí)大規(guī)模參數(shù)運(yùn)算弊端，使得測試時間較短。但在整個提取特征信息時需要人為時刻參與費(fèi)時費(fèi)力，并且這種基于單一特征或多種特征的識別算法丟失了大部分步態(tài)過程中的信息。算法4采用的是原始VGG-16神經(jīng)網(wǎng)絡(luò)模型，從訓(xùn)練集和測試集識別精度可以看出，在不加修改的經(jīng)典網(wǎng)絡(luò)模型上直接用小數(shù)據(jù)量的能量圖作為輸入極易產(chǎn)生過擬合現(xiàn)象，這也符合實驗之初的設(shè)想，因此本文提出采用深度遷移學(xué)習(xí)的方法。算法5是在VGG-16網(wǎng)絡(luò)模型結(jié)構(gòu)上采用深度遷移學(xué)習(xí)方法，相比于算法4消除了過擬合現(xiàn)象，使得測試集精度大幅度提升。而本文算法在算法5基礎(chǔ)上，進(jìn)一步改進(jìn)，結(jié)合空間金字塔池化思想，擺脫VGG-16網(wǎng)絡(luò)模型對于輸入圖像尺寸要求的束縛，不僅獲得多尺寸多維度信息特征提升識別精度，還使得全連接層權(quán)重參數(shù)減少，加快算法訓(xùn)練和測試時間。

4 結(jié)語

針對使用步態(tài)能量圖作為深度卷及網(wǎng)絡(luò)的輸入，會導(dǎo)致樣本集偏小易產(chǎn)生過擬合的問題。本文在VGG-16網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上進(jìn)行改進(jìn)，將大規(guī)模數(shù)據(jù)集訓(xùn)練該網(wǎng)絡(luò)后將學(xué)習(xí)得到提取能力遷移，再用行人步態(tài)樣本集微調(diào)網(wǎng)絡(luò)，用于識別研究。根據(jù)行人步態(tài)訓(xùn)練集精度和測試集精度曲線，證明該網(wǎng)絡(luò)識別的有效性。通過對比其他識別算法精度，本文算法的識別率均高于其他算法，證明該網(wǎng)絡(luò)的優(yōu)越性。本文算法的提出，不僅克服了傳統(tǒng)機(jī)器學(xué)習(xí)方法識別率低，需要人為時刻參與的弊端，而且解決了深度學(xué)習(xí)在小數(shù)據(jù)集上產(chǎn)生過擬合現(xiàn)象的問題，在CASIA跨視角跨穿著步態(tài)數(shù)據(jù)庫上對本文算法進(jìn)行實驗，結(jié)果表明此方法是一種有效的步態(tài)識別方法。