梅建華, 楊彥辰，云利軍,2, 秦玲

(1.云南師范大學(xué) 信息學(xué)院,云南 昆明 650500；2.云南師范大學(xué) 云南省光電信息技術(shù)重點(diǎn)實(shí)驗(yàn)室,云南 昆明 650500；3.云南省國家保密局,云南 昆明 650500)

1 引言

醫(yī)學(xué)研究表明，每個(gè)人的走路姿態(tài)具有唯一性[1]，因此步態(tài)識別在遠(yuǎn)距離生物特征識別技術(shù)中頗受關(guān)注[2-3].現(xiàn)階段步態(tài)識別方法分為兩類，一類是步態(tài)模板匹配方法[4-6]；另一類是通過深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)步態(tài)圖像序列的時(shí)空特征進(jìn)行人體步態(tài)匹配[7-9]，該類方法需提供貼合實(shí)際場景的數(shù)據(jù)進(jìn)行深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練.

目前，紅外人體步態(tài)識別研究所使用的數(shù)據(jù)集主要是中國科學(xué)院自動(dòng)化研究所提供的大規(guī)模數(shù)據(jù)庫CASIA Dataset C[10].該數(shù)據(jù)庫包含153人在正常行走、快走、慢走以及帶包行走4種行走狀態(tài)下的步態(tài)圖像數(shù)據(jù)，但其只包含90°單一視角，這對多視角紅外人體步態(tài)研究存在不便.因此本文使用紅外熱像儀進(jìn)行步態(tài)數(shù)據(jù)的采集和處理，建立多視角紅外步態(tài)數(shù)據(jù)庫，為后續(xù)多視角人體紅外步態(tài)識別研究奠定基礎(chǔ).

2 數(shù)據(jù)采集

2.1 數(shù)據(jù)采集方案

數(shù)據(jù)集包含15個(gè)采集對象，設(shè)定60°、90°和120°三個(gè)拍攝角度，采集對象行走方向?yàn)樽杂蚁蜃?，如圖1所示.為確保各個(gè)視角所采集的圖像中人體輪廓大小基本一致，設(shè)定紅外熱像儀在90°視角與行走方向水平距離8 m，其他視角與90°視角在同一水平線上.

圖1 熱成像儀擺放視角圖

紅外熱像儀主要依靠熱感成像，由于露天環(huán)境下太陽光的照射會(huì)有熱量存留地面，從而對熱成像造成影響，因此選擇在室內(nèi)進(jìn)行采集；光滑的地面會(huì)造成反光問題，使得后期提取的人體輪廓存在冗余，因此需選取地面相對粗糙的采集場所，同時(shí)在出現(xiàn)較大地面反光效果時(shí)，手動(dòng)對攝像頭進(jìn)行上下方向調(diào)整，使拍攝時(shí)人體鞋底所處水平線盡量貼近圖像下邊緣.

針對兩種行走狀態(tài)進(jìn)行步態(tài)信息采集，一種是正常行走，一種是慢步行走.為確保不同行走狀態(tài)下的紅外步態(tài)圖像數(shù)量基本一致，對兩種行走狀態(tài)采集相同總時(shí)長的行走視頻.采用FLIR A310紅外熱像儀進(jìn)行行走視頻采集，并將紅外熱像儀調(diào)整為gray模式，分辨率使用640×480，成像儀的拍攝幀率設(shè)置為30幀/s.

2.2 數(shù)據(jù)采集過程

在正常行走狀態(tài)下，錄制的行走視頻時(shí)長為2～3 s；在慢步行走狀態(tài)下，錄制的行走視頻時(shí)長為5～6 s.限于紅外熱像儀的視野范圍，僅通過一個(gè)行走視頻無法為利用深度學(xué)習(xí)進(jìn)行步態(tài)識別研究提供足夠的數(shù)據(jù)量，因此對每個(gè)行走對象按照行走狀態(tài)錄制不同數(shù)量的行走視頻.為確保兩種行走狀態(tài)的總行走視頻時(shí)長基本相等，具體設(shè)計(jì)為正常行走狀態(tài)下重復(fù)錄制12至16段視頻，慢走狀態(tài)下重復(fù)錄制8至10段視頻.在同一個(gè)視角下對采集對象進(jìn)行重復(fù)采集得到的步態(tài)數(shù)據(jù)具有如下優(yōu)勢:第一個(gè)優(yōu)勢是在重復(fù)的行走過程中可采集到同一個(gè)對象不同時(shí)刻步態(tài)的些許差異性特征.例如當(dāng)一個(gè)人剛開始步行和行走了很長一段路程時(shí)的步態(tài)特征會(huì)存在些許差異，通過重復(fù)采集的方式除了可以增加數(shù)據(jù)集的數(shù)量以外，還可以獲取更加豐富的步態(tài)特征；第二個(gè)優(yōu)勢是可以獲得更加真實(shí)的步態(tài)特征.例如當(dāng)被拍攝對象知道自己正在被拍攝時(shí)，被拍攝對象會(huì)出現(xiàn)緊張的心理狀態(tài)，這會(huì)導(dǎo)致所采集的步態(tài)特征與平時(shí)正常行走的步態(tài)特征有所不同，因此采用重復(fù)行走的方式進(jìn)行采集可以讓被采集對象的心理狀態(tài)逐漸放松，使得采集所得的步態(tài)特征更加接近真實(shí)的步態(tài)特征.

3 數(shù)據(jù)處理

將采集所得的行走視頻處理成步態(tài)圖像序列幀，采用間隔抽取的方法提取圖像幀序列，即從視頻幀序列中按照1,3,5，…,29奇數(shù)的方式抽取圖像.將步態(tài)視頻提取成步態(tài)圖像序列幀后，需將行人從圖像中提取出來，該處理分為兩個(gè)步驟，第一步是使用行人檢測算法框選出行人所在的位置區(qū)域，第二步是將框選出來的區(qū)域送入到前后背景分離算法中實(shí)現(xiàn)人體步態(tài)輪廓分割，具體處理框架如圖2所示.

圖2 數(shù)據(jù)處理框架

3.1 行人檢測

采用HOG和SVM結(jié)合的算法對人體步態(tài)輪廓進(jìn)行檢測[11].對于一幅數(shù)字圖像而言，梯度主要存在于圖像的輪廓處，而HOG(即梯度方向直方圖)可以很好地描述目標(biāo)區(qū)域的邊緣部分.HOG的核心思想是生成整幅圖像分割后的每個(gè)小連接區(qū)域的一個(gè)方向梯度直方圖，然后組合這些生成的直方圖即可表示出特征描述子，其算法流程如圖3所示.

圖3 HOG算法流程圖

用HOG+SVM進(jìn)行人體步態(tài)輪廓檢測后得到的效果如圖4所示，其中(a)為紅外熱像儀拍攝的原始圖像，(b)為使用HOG+SVM方法檢測出的行人區(qū)域，(b)中的紅色框就是算法檢測后繪制出的行人所在區(qū)域，由圖可知該算法基本可以達(dá)到檢測要求.

圖4 行人檢測效果圖

3.2 人體輪廓提取

通過HOG+SVM算法檢測得到行人在圖像中的所在區(qū)域后，使用GrabCut算法[12]對該區(qū)域進(jìn)行前后背景分離來提取行人的步態(tài)輪廓.使用該算法進(jìn)行圖像分割時(shí)，輸入圖4中檢測出的行人區(qū)域，行人區(qū)域的格式為(左上角點(diǎn)的x坐標(biāo)，左上角點(diǎn)的y坐標(biāo),檢測框的寬度w,檢測框的高度h)，算法的迭代次數(shù)設(shè)定為5次，并設(shè)定使用矩形窗口對GrabCut進(jìn)行初始化操作.

需注意的是，GrabCut算法是基于人工交互式的圖像分割方法，為避免背景像素值接近目標(biāo)像素值造成的錯(cuò)誤分割，需手工標(biāo)明前后背景，但在本文中使用紅外熱像儀拍攝出的圖像前后背景分明，且經(jīng)前一步行人檢測算法已自動(dòng)獲取了前景所在區(qū)域，直接將該區(qū)域傳遞給GrabCut算法進(jìn)行迭代處理即可實(shí)現(xiàn)人體步態(tài)輪廓分割，因此這里無須手動(dòng)標(biāo)明前景與背景.使用GrabCut算法進(jìn)行行人步態(tài)輪廓提取后的效果如圖5所示，其中(a)為原始圖像，(b)為提取后的人體步態(tài)輪廓，可見GrabCut算法可基本實(shí)現(xiàn)對行人步態(tài)輪廓的完整分割.

圖5 行人輪廓提取效果圖

3.3 圖像二值化與居中剪裁

獲取行人步態(tài)輪廓后需對其進(jìn)行二值化和居中剪裁處理.二值化處理方式是對提取的步態(tài)輪廓部分判斷其像素值是否大于0，將大于0的像素值置為255，其余的像素值置為0.居中裁剪的處理方式是將步態(tài)輪廓居中，裁剪出一個(gè)邊長為256像素的正方形區(qū)域作為最終圖像.二值化和居中剪裁處理后的結(jié)果如圖6所示，其中(a)為原始圖像，(b)為居中剪裁和二值化處理后的圖像，居中剪裁成一個(gè)正方形狀.

圖6 二值化與居中剪裁效果圖

4 實(shí)驗(yàn)與分析

CASIA Dataset C[10]中對紅外步態(tài)圖像采用背景減除法[13]進(jìn)行步態(tài)輪廓的提取，相比于本文采用的提取算法，由于紅外熱像儀在有無熱源的情況下所成畫面不一致會(huì)導(dǎo)致背景減除法產(chǎn)生較多噪點(diǎn).兩種方法的處理效果如圖7所示，其中(a)是有熱源時(shí)的成像效果，(b)是無熱源的成像效果，在這種情況下，直接使用背景減除法得到的效果如圖7中(c)所示，觀察(c)可以發(fā)現(xiàn)，使用背景減除法進(jìn)行步態(tài)輪廓提取會(huì)產(chǎn)生較多噪點(diǎn)，(d)是采用本文設(shè)計(jì)的處理框架得到的較為干凈且完整的步態(tài)輪廓.

圖7 輪廓提取對比圖

通過對CASIA Dataset C的觀察發(fā)現(xiàn)其存在較多問題(如圖8)：(a)存在步態(tài)輪廓缺失的問題，(b)步態(tài)輪廓中保留了太多發(fā)際線和衣服邊線等線條紋理，(c)步態(tài)輪廓存在較多噪點(diǎn).其中(a)與(c)直接影響步態(tài)輪廓的有效性，(b)問題會(huì)導(dǎo)致在使用深度學(xué)習(xí)模型進(jìn)行步態(tài)識別研究時(shí)產(chǎn)生模型過擬合[14].

圖8 CASIA Dataset C 存在問題

對兩份數(shù)據(jù)進(jìn)行人體步態(tài)輪廓完整性比較，具體步驟為：第一步，從每個(gè)對象中選取一張較為完整的人體步態(tài)輪廓圖像并求取該人體輪廓的面積；第二步，求取每個(gè)對象每張人體步態(tài)輪廓圖像中的人體步態(tài)輪廓面積；第三步，使用第二步中求取的人體步態(tài)輪廓面積除以第一步中的人體步態(tài)輪廓面積得到一個(gè)數(shù)值；考慮到行走過程中人體步態(tài)輪廓面積會(huì)有一定的變化，設(shè)定最小閾值為0.7，同時(shí)考慮到由于人體步態(tài)輪廓提取不完全導(dǎo)致計(jì)算得出的輪廓面積會(huì)超出真實(shí)值較大的一個(gè)范圍，因此設(shè)定最大閾值為1.3，接著統(tǒng)計(jì)第三步中得出的數(shù)值小于最小閾值所占比例以及大于最大閾值所占比例，最后繪制各個(gè)比例分布圖(如圖9所示).

第三步中當(dāng)計(jì)算所得數(shù)值小于最小閾值時(shí)表示人體輪廓缺失，當(dāng)計(jì)算所得數(shù)值大于最大閾值時(shí)表示人體輪廓冗余，存在較多噪點(diǎn).圖9中(a)圖的縱坐標(biāo)表示人體輪廓缺失所占比例，(b)圖的縱坐標(biāo)表示人體輪廓冗余所占比例，其橫坐標(biāo)對應(yīng)的都是采集對象編號，藍(lán)色點(diǎn)代表CASIA Dataset C數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果，紅色點(diǎn)代表本文自建數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果.通過觀察圖9發(fā)現(xiàn)，CASIA Dataset C的人體步態(tài)輪廓缺失較為嚴(yán)重，本文自建數(shù)據(jù)集的人體步態(tài)輪廓較為完整，同時(shí)觀察圖例發(fā)現(xiàn)CASIA Dataset C中100編號后的步態(tài)輪廓也存在冗余.

圖9 人體輪廓完整性分析

為了比較兩份數(shù)據(jù)集在神經(jīng)網(wǎng)絡(luò)中的識別效果，使用AlextNet網(wǎng)絡(luò)對兩份數(shù)據(jù)集進(jìn)行對比實(shí)驗(yàn).訓(xùn)練集和驗(yàn)證集的劃分比例為7∶3，設(shè)置batch_size為32，損失函數(shù)選擇多分類交叉熵?fù)p失函數(shù)，網(wǎng)絡(luò)優(yōu)化器采用Adam，設(shè)置初始化學(xué)習(xí)率為10-3，經(jīng)過5次迭代訓(xùn)練后采用驗(yàn)證數(shù)據(jù)集進(jìn)行驗(yàn)證得到如圖10所示的驗(yàn)證準(zhǔn)確率.通過觀察圖10發(fā)現(xiàn)，使用本文處理所得的步態(tài)數(shù)據(jù)對AlexNet神經(jīng)網(wǎng)絡(luò)進(jìn)行驗(yàn)證所得的識別效果優(yōu)于CASIA Dataset C步態(tài)數(shù)據(jù).

圖10 AlexNet網(wǎng)絡(luò)驗(yàn)證結(jié)果

5 結(jié)語

通過紅外熱像儀進(jìn)行步態(tài)數(shù)據(jù)采集，并設(shè)計(jì)了紅外步態(tài)數(shù)據(jù)采集與處理的方法與流程，第一步使用HOG與SVM結(jié)合進(jìn)行行人檢測，第二步將檢測到的行人區(qū)域進(jìn)行前后背景分離提取人體輪廓，第三步對提取得到的人體輪廓進(jìn)行二值化和居中裁剪處理，得到最終適用于深度學(xué)習(xí)模型訓(xùn)練的多角度紅外步態(tài)數(shù)據(jù)集，實(shí)驗(yàn)處理證明了技術(shù)路線的可行性.同時(shí)將得到的數(shù)據(jù)集與CASIA Dataset C紅外步態(tài)數(shù)據(jù)集進(jìn)行了對比，結(jié)果表明所得步態(tài)數(shù)據(jù)集具有一定的優(yōu)勢,但也存在一些不足，如個(gè)體數(shù)量以及行走狀態(tài)不豐富等，后續(xù)需要針對這些不足進(jìn)行補(bǔ)充和完善.