黃彬源, 羅詠東, 謝家輝, 李志文, 周成菊, 潘家輝

(華南師范大學(xué) 軟件學(xué)院, 佛山 528225)

1 引言

1.1 研究背景

生物特征識(shí)別技術(shù)正受到學(xué)術(shù)界和工業(yè)界的廣泛認(rèn)可, 因?yàn)樗梢酝ㄟ^人類的行為特征進(jìn)行屬性識(shí)別.生物特征識(shí)別領(lǐng)域中包含了許多的技術(shù), 其中不乏虹膜識(shí)別、人臉識(shí)別等廣為人知的生物識(shí)別技術(shù). 然而,這些方法包含以下缺陷: 對(duì)偽裝后的特征辨別效果差,只能在短距離內(nèi)進(jìn)行識(shí)別, 同時(shí)在大多數(shù)情景下都需要受試者的主動(dòng)配合[1].

以人臉識(shí)別在實(shí)際中的應(yīng)用缺陷為例: 犯罪分子通常會(huì)以戴口罩或者是易容的方式再次出現(xiàn), 此時(shí)由于人臉特征被隱藏, 通過人臉識(shí)別的方式極難識(shí)別; 另外是在疫情常態(tài)化的當(dāng)下, 戴口罩成為常規(guī)的出行方式, 這同時(shí)也加劇了人臉識(shí)別的難度; 再則是人臉識(shí)別的距離有限, 這對(duì)于實(shí)際應(yīng)用中監(jiān)控?cái)z像頭的素質(zhì)也提出了更高的要求, 因此也增加了硬件成本[1].

而步態(tài)識(shí)別(gait recognition)技術(shù)則成為解決上述問題的關(guān)鍵. 步態(tài)識(shí)別旨在通過分析人的行走模式進(jìn)而對(duì)其進(jìn)行屬性識(shí)別, 每個(gè)人特有的生理結(jié)構(gòu)決定了其獨(dú)有的步態(tài), 因此人體的步態(tài)具有唯一性和穩(wěn)定性, 這也成為了步態(tài)識(shí)別可行性的基礎(chǔ)[2]. 步態(tài)識(shí)別可以在2K攝像頭(公安主流攝像頭)下達(dá)到最遠(yuǎn)50 m的識(shí)別距離, 同時(shí)不需要受試者的主動(dòng)配合, 并且可以從人體的全身捕捉特征, 它不依賴于人體的某一部分,因此受到的約束就少. 基于上述優(yōu)勢(shì), 步態(tài)識(shí)別也被稱為當(dāng)下安防領(lǐng)域中極具應(yīng)用前景的生物識(shí)別技術(shù).

1.2 國(guó)內(nèi)外研究現(xiàn)狀

目前, 步態(tài)識(shí)別技術(shù)的實(shí)現(xiàn)主要分為兩大類: 一類是傳統(tǒng)的基于機(jī)器學(xué)習(xí)的步態(tài)識(shí)別算法, 另一類則是基于深度學(xué)習(xí)的步態(tài)識(shí)別算法. 基于機(jī)器學(xué)習(xí)的步態(tài)識(shí)別研究重點(diǎn)之一是解決視角變化的問題[3–11]. 其中,部分方法通過學(xué)習(xí)更高的專業(yè)知識(shí)來提取視角恒定的步態(tài)特征, 另一部分方法則通過構(gòu)建視圖轉(zhuǎn)換模型(view transform model, VTM)來規(guī)范化不同的視角.Kusakunniran等人[3]提出了基于視角恒定特征的步態(tài)識(shí)別框架將不同的視角歸一化. 此外, Kusakunniran等人[4]還利用截?cái)嗥娈愔捣纸饧夹g(shù)(truncated singular value decomposition, TSVD)構(gòu)建了視角轉(zhuǎn)換模型, 該技術(shù)可以將圖庫(kù)樣本和探針樣本的不同視角轉(zhuǎn)換為同一視角.上述傳統(tǒng)算法雖然可以達(dá)到比較高的實(shí)驗(yàn)精度, 但在實(shí)際應(yīng)用中卻難以克服各種復(fù)雜的協(xié)變量的影響(如行人服飾變化, 視角發(fā)生較大改變), 缺乏一定的魯棒性和普適性. 而基于深度學(xué)習(xí)的步態(tài)識(shí)別算法雖然沒有明確地對(duì)視角的變化進(jìn)行建模, 但依然可以實(shí)現(xiàn)良好的跨視角步態(tài)識(shí)別性能. 現(xiàn)有的基于深度學(xué)習(xí)的步態(tài)識(shí)別方法大致可以分為兩類: 第1種是基于模板圖的方式, 該方法將所有的步態(tài)輪廓壓縮成一個(gè)步態(tài)信息的模板. Wu等人[12]首先介紹了基于CNN的從步態(tài)能量圖像(GEI)中捕捉步態(tài)模式深度特征的方法. Shiraga等人[13]使用 2D CNN 從GEI中提取步態(tài)特征. 盡管上述的方法盡可能期望使用模板表征豐富的步態(tài)時(shí)序信息, 但是不可避免的散失了時(shí)序信息和細(xì)粒度的空間信息[14], 因此并不適合在實(shí)際的系統(tǒng)進(jìn)行應(yīng)用. 第2類則是基于剪影圖序列的方法, 利用卷積直接編碼來自原始步態(tài)輪廓序列的時(shí)空表征從而可以獲得更為豐富而全面的步態(tài)時(shí)序信息, Zhang等人[14]提出基于LSTM的步態(tài)識(shí)別算法以捕獲更長(zhǎng)時(shí)間范圍的時(shí)間信息. 為了提高步態(tài)識(shí)別的靈活性, Chao等人[15]提出GaitSet算法將步態(tài)視為一個(gè)集合而不是一個(gè)序列, 從而獲得更為豐富的步態(tài)樣本數(shù)量并取得優(yōu)異的性能, Huang等人[16]提出了一種基于信息加權(quán)模塊和局部特征流調(diào)節(jié)模塊進(jìn)行步態(tài)特征學(xué)習(xí). Sepas-Moghaddam等人[17]提出使用雙向遞歸神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)關(guān)系序列中提取的部分特征. Ding等人[18]提出了一種順序卷積神經(jīng)網(wǎng)絡(luò)SRN從新穎的角度學(xué)習(xí)時(shí)空特征.

在應(yīng)用領(lǐng)域方面, 國(guó)內(nèi)的銀河水滴科技發(fā)布了全球首個(gè)步態(tài)識(shí)別互聯(lián)系統(tǒng)“水滴慧眼”, 該系統(tǒng)可以實(shí)現(xiàn)遠(yuǎn)距離、多視角的步態(tài)識(shí)別, 且適用于大范圍人群密度測(cè)算, 在安防領(lǐng)域、智能交通、智能家居和醫(yī)療康養(yǎng)方面有較為廣泛的應(yīng)用. 上述系統(tǒng)功能較為完備且適用范圍廣, 但仍然存在一定的局限性. 一方面, 上述系統(tǒng)的研發(fā)與采購(gòu)成本均較高; 另一方面, 上述系統(tǒng)更多關(guān)注于受試者的步態(tài)身份信息, 一旦身份信息失效, 系統(tǒng)則無法提供其他的參考信息. 因此, 本文開發(fā)了一款低成本、支持實(shí)時(shí)多信息跨視角檢測(cè)的智能安防系統(tǒng), 在保證安防系統(tǒng)的基礎(chǔ)身份識(shí)別之外, 拓展了步態(tài)年齡與性別信息輔助篩選, 配合路段追蹤的功能,可以很好地滿足安防常規(guī)需求, 具有重大的現(xiàn)實(shí)意義.

2 系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)結(jié)構(gòu)介紹

本系統(tǒng)的全名為面向多人多生物屬性的跨視角步態(tài)追蹤系統(tǒng), 意指本系統(tǒng)的算法設(shè)計(jì)面向現(xiàn)實(shí)應(yīng)用場(chǎng)景, 致力于解決現(xiàn)實(shí)場(chǎng)景中可能出現(xiàn)的多行人, 跨視角,多種行走狀態(tài)等應(yīng)用難點(diǎn)問題. 系統(tǒng)通過合理而高效的算法設(shè)計(jì)對(duì)上述的協(xié)變量進(jìn)行有效處理并得到了行人的多種生物屬性.

本系統(tǒng)宏觀上可以分為4大模塊: 行人檢測(cè)和追蹤, 行人分割, 算法模型訓(xùn)練, 系統(tǒng)實(shí)現(xiàn), 如圖1所示.首先, 對(duì)于輸入的視頻序列, 系統(tǒng)首先通過行人檢測(cè)模塊將行人從若干種復(fù)雜的街頭事物中分離開來; 其次,通過行人追蹤模塊從視頻中提取出某個(gè)特定行人在視頻中的完整步態(tài)序列. 接著, 系統(tǒng)通過行人分割模塊進(jìn)行前景和背景的分離, 得到行人的二值化步態(tài)序列圖.最后, 系統(tǒng)通過特征提取算法模型對(duì)提取到的二值化步態(tài)序列圖進(jìn)行不同任務(wù)的訓(xùn)練并由此分析出行人的身份,年齡, 性別等多種生物屬性. 在系統(tǒng)實(shí)現(xiàn)中, 我們提供了一個(gè)Windows系統(tǒng)下的客戶端, 同時(shí)客戶端已打包好算法模型運(yùn)行時(shí)所需的環(huán)境依賴, 因此可以對(duì)用戶輸入的視頻進(jìn)行實(shí)時(shí)的屬性分析.

圖1 系統(tǒng)結(jié)構(gòu)圖

2.2 行人檢測(cè)

在行人檢測(cè)階段, 我們使用YOLOv4算法[19]對(duì)輸入的視頻序列進(jìn)行檢測(cè). YOLOv4算法[19]由CSPDark net53網(wǎng)絡(luò)、SPP-Net (spatial pyramid pooling networks)網(wǎng)絡(luò)、PANet (path aggregation network)網(wǎng)絡(luò)以及YOLOv3檢測(cè)頭組成, 其中CSPDarknet53網(wǎng)絡(luò)解決了其他大型卷積神經(jīng)網(wǎng)絡(luò)框架的梯度信息重復(fù)問題, 即將梯度變化集成到特征圖中, 有效減少模型參數(shù)量和運(yùn)算量, 在保持推理速度的同時(shí)縮小了模型尺寸; SPPNet網(wǎng)絡(luò)主要對(duì)任意尺寸的特征圖直接進(jìn)行固定尺寸的池化, 以獲得固定數(shù)量的行人特征; PANet網(wǎng)絡(luò)進(jìn)行參數(shù)聚合以適用于不同水平的行人檢測(cè), 最后由YOLOv3檢測(cè)頭實(shí)現(xiàn)對(duì)大中小3類目標(biāo)的檢測(cè). YOLOv4算法對(duì)行人特征進(jìn)行有效提取、集成和映射, 實(shí)現(xiàn)了系統(tǒng)運(yùn)算速度和行人檢測(cè)精度的完美平衡.

如圖2所示, 我們將行人視頻的幀序列劃分成橫縱網(wǎng)格, 如果某個(gè)行人的中心落在這個(gè)網(wǎng)格中, 則這個(gè)網(wǎng)格就負(fù)責(zé)預(yù)測(cè)邊界框的位置信息、置信度以及類別信息. 計(jì)算出行人的ID置信度分?jǐn)?shù)后, 系統(tǒng)根據(jù)預(yù)設(shè)的閾值過濾分?jǐn)?shù)不佳的邊界框, 對(duì)保留的邊界框進(jìn)行非最大值抑制算法處理, 得到每個(gè)行人的邊界框.

圖2 YOLOv4目標(biāo)檢測(cè)示意圖

2.3 行人追蹤

因?yàn)橄到y(tǒng)應(yīng)用于多人的復(fù)雜場(chǎng)景, 需要對(duì)視頻中出現(xiàn)的每一個(gè)行人目標(biāo)進(jìn)行追蹤. 我們采用多目標(biāo)追蹤中比較成熟的Deep-Sort[20]. Deep-Sort算法[20]主要有4個(gè)步驟: 數(shù)據(jù)輸入、卡爾曼濾波、匈牙利匹配和輸出, 如圖3所示.

圖3 Deep-Sort算法效果圖

卡爾曼濾波跟蹤根據(jù)目標(biāo)檢測(cè)算法得到的前一幀某一個(gè)目標(biāo)的目標(biāo)信息, 并對(duì)其進(jìn)行跟蹤和預(yù)測(cè), 得到該目標(biāo)在后一幀的具體信息. 經(jīng)過卡爾曼濾波器跟蹤模塊處理后, 視頻中每一幀圖像中包含的信息不僅是經(jīng)目標(biāo)檢測(cè)算法得到的目標(biāo)信息, 而且包括跟蹤算法得到的目標(biāo)跟蹤信息. 然后使用匈牙利匹配對(duì)兩種信息進(jìn)行匹配, 得出最終的檢測(cè)跟蹤結(jié)果, 從而避免跟蹤目標(biāo)被多次檢測(cè), 降低算法的性能. 同時(shí)算法在匹配中還引入了級(jí)聯(lián)匹配, 讓更常見的目標(biāo)分配的優(yōu)先級(jí)更高, 更能應(yīng)用于復(fù)雜的場(chǎng)景.

2.4 行人分割

在行人分割階段, 我們使用UNet++算法對(duì)從視頻序列中檢測(cè)得出的行人序列進(jìn)行前后景分離, 從而去除衣服條紋以及街道背景等噪聲對(duì)于識(shí)別準(zhǔn)確的影響.

UNet++網(wǎng)絡(luò)由一對(duì)完全對(duì)稱的編碼器和解碼器構(gòu)成, 并通過連接的方式, 將編碼階段獲得的淺層特征映射同解碼階段獲得的深層特征映射結(jié)合在一起, 細(xì)化圖像, 根據(jù)得到的特征映射進(jìn)行預(yù)測(cè)分割, 最后一層通過卷積做分類. 同時(shí), 將每一層上的特征提取器進(jìn)行相互的連接, 以達(dá)到對(duì)特征提取器進(jìn)行共享的目的. 在訓(xùn)練過程中, UNet++網(wǎng)絡(luò)可以自行學(xué)習(xí)得出哪一層的特征信息更為重要, 從而在特征的提取中有更好的表現(xiàn),具體表現(xiàn)在圖像分割中對(duì)邊緣的處理更為優(yōu)異.

由于行人分割所得到的步態(tài)剪影序列圖將作為特征提取網(wǎng)絡(luò)的直接輸入, 其分割效果以及效率將在很大程度上決定網(wǎng)絡(luò)是否能夠提取得到細(xì)粒度的步態(tài)特征以及系統(tǒng)能否對(duì)輸入的視頻進(jìn)行高效的處理, 因此選用合適的算法能幫助系統(tǒng)提高身份及屬性識(shí)別的準(zhǔn)確率. 常見的前后景分離算法有基于機(jī)器學(xué)習(xí)的高斯混合模型算法[21]以及基于K鄰近的背景分割算法[22],以及基于深度學(xué)習(xí)的MaskRCNN[23]、CGNet[24]、UNet[25]和UNet++[26]等.

圖4 展示了各種常見的分割算法的結(jié)果對(duì)比, 其中MaskRCNN和UNet++分割結(jié)果更好.

圖4 4種語(yǔ)義分割算法得到的行人步態(tài)剪影圖

平均交并比(mIoU)是指模型對(duì)每一類預(yù)測(cè)的結(jié)果和真實(shí)值的交集與并集的比值的平均值, 即結(jié)果越接近1效果越好. 表1中所展示的mIoU是在同等實(shí)驗(yàn)條件下進(jìn)行測(cè)試的結(jié)果. 通過比較, 我們發(fā)現(xiàn)UNet++在比MaskRCNN更少的參數(shù)量的情況下, 達(dá)到同等的分割效果. 所以, 結(jié)合圖4語(yǔ)義分割的效果和表1算法效率之間的比較, 并考慮實(shí)際落地應(yīng)用需要, 即在保持較好分割效果的同時(shí)應(yīng)保持分割模型的輕量化. 本文選擇了輕量化且分割效果較好的UNet++模型作為我們的分割算法.

表1 不同分割模型參數(shù)量以及平均交并比數(shù)據(jù)

2.5 特征提取算法模型

在算法模型方面, 本系統(tǒng)參考Fan等人[27]提出的網(wǎng)絡(luò)架構(gòu), 并在其基礎(chǔ)上針對(duì)不同識(shí)別任務(wù)的需要進(jìn)行模型的優(yōu)化和改良, 最終在不同的識(shí)別任務(wù)上達(dá)到了相對(duì)優(yōu)異的準(zhǔn)確率. 本系統(tǒng)所用于模型訓(xùn)練的特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示.

圖5 系統(tǒng)整體算法模型圖

Fan等人[27]提出的特征提取網(wǎng)絡(luò)的輸入是一系列連續(xù)的步態(tài)圖像(64像素×44像素), 首先, 將包含t幀的步態(tài)輪廓序列逐幀輸入網(wǎng)絡(luò). 在網(wǎng)絡(luò)中, 首先對(duì)輸入的步態(tài)圖像進(jìn)行處理的模塊是幀級(jí)部分特征提取器(framelevel part feature extractor, FPFE), 這是一種特殊設(shè)計(jì)的卷積網(wǎng)絡(luò), 用于挖掘行人步態(tài)中蘊(yùn)含的局部細(xì)粒度信息, 并輸出每幀步態(tài)圖像fi的空間特征Fi,i∈1,2,···,t.

FPFE由3個(gè)塊組成, 每個(gè)塊由兩層焦點(diǎn)卷積層(FConv)組成, 目的是提取每幀的部分信息空間特征.FConv (focal convolution layers)是卷積的一種新應(yīng)用,它可以將輸入的特征圖從上到下分割成若干部分, 然后對(duì)每一部分分別進(jìn)行卷積, 最后水平維度上拼接各個(gè)分割出來的子模塊成為一個(gè)整體模塊.

通過FPFE模塊后的特征圖序列記為SF={Fi|i=1,···,t}, 接著, 我們將其輸入到水平池化HP模塊. HP模塊以提取人體不同部分的信息特征為目標(biāo), 將特征圖Fi水平分割為n個(gè)部分. 對(duì)于Fi的第j部分Fj,i, HP模塊通過全局平均池化和全局最大池化將其向下采樣到列向量Pj,i中, 并將其作為中間結(jié)果:

經(jīng)過HP模塊后, SF中的每個(gè)特征映射將轉(zhuǎn)換為n個(gè)部分級(jí)特征向量, 由這些特征向量得到部分表示矩陣 (part representation matrix, PR-Matrix), 我們將PRMatrix記為:

PR-Matrix中相應(yīng)的向量行可以記為:

其中,Pj,i代表人體第j部分, 第i個(gè)時(shí)刻的步態(tài)特征.因此,Pj,.可以表示人體第j個(gè)部分的時(shí)空運(yùn)動(dòng)表示. 我們將Pj,.通過微動(dòng)作捕捉模塊(MCM)聚合到特征向量vj,.中, 從而可以提取出第j部分的微運(yùn)動(dòng)特征, 上述過程用公式表示為:

其中,MCMj為 第j個(gè)微動(dòng)作捕捉模塊. MCM的作用在于將經(jīng)過HP模塊輸出后的幀級(jí)部分特征向量映射為微運(yùn)動(dòng)特征向量. MCM包括兩個(gè)部分: 分解動(dòng)作模板編輯器(MTB)和時(shí)間池化(TP). MCM模塊工作流程圖如圖6所示. 接下來將首先對(duì)MTB模塊進(jìn)行描述,然后是TP模塊.

圖6 MCM模塊工作流程圖

在MTB模塊中, 設(shè)Sp={Pi|i=1,2,···,t}是PRMatrix的某一行, 代表人體特定部分的步態(tài)時(shí)空表示.MTB將尺寸為2r+1的一維全局平均池化和一維全局最大池化應(yīng)用于Sp的每個(gè)時(shí)刻, 從而得到分解動(dòng)作特征向量序列Sm, 上述過程用公式表示為:

為了獲得對(duì)分解動(dòng)作更有鑒別性的表示, MTB引入了通道注意力機(jī)制來對(duì)每個(gè)時(shí)刻的特征向量重定權(quán)重, 該過程采用了一維卷積核進(jìn)行權(quán)重分配, 重新加權(quán)后的微運(yùn)動(dòng)分量的表達(dá)式為:

通過TP模塊之后, 我們會(huì)得到MCM模塊最終輸出的特征向量vj,.

vj,.表征了人體特定部分的微運(yùn)動(dòng)特征. 而人體各個(gè)部分的完整微運(yùn)動(dòng)特征則需要各個(gè)部分并行的MCM模塊進(jìn)行共同表征, 各個(gè)MCM模塊共同構(gòu)成了時(shí)間聚合器(temporal feature aggregator, TFA)模塊, TFA的輸出為vfinal={vj,.|j=1,2,···,n} .

最后, 我們使用獨(dú)立的FC層將vfinal映射到度量空間得到向量vfc. 對(duì)于身份識(shí)別任務(wù), 我們使用三元組損失函數(shù)對(duì)vfc進(jìn)行身份識(shí)別任務(wù)的訓(xùn)練.

對(duì)于年齡和性別識(shí)別任務(wù), 由于batch的大小對(duì)年齡的估計(jì)結(jié)果有較顯著的影響, 較大的batch所消耗的顯存劇增, 而較小的batch不利于模型突破局部最優(yōu)值.因此我們使用group normalization歸一化方式, 避免batch的大小對(duì)數(shù)據(jù)處理產(chǎn)生顯著影響. 在性別分類中,考慮到二分類問題對(duì)于復(fù)雜的神經(jīng)網(wǎng)絡(luò)而言學(xué)習(xí)難度較小, 可能會(huì)出現(xiàn)在數(shù)據(jù)集上出現(xiàn)過擬合的現(xiàn)象, 因此我們?cè)诰€性層特別使用了dropput技術(shù). 實(shí)驗(yàn)表明, 設(shè)定合適概率的dropput概率既能給予參數(shù)更活躍的搜索空間, 也能使模型在測(cè)試時(shí)泛化性更強(qiáng). 兩個(gè)子任務(wù)中對(duì)網(wǎng)絡(luò)的特殊處理有利于增強(qiáng)模型的非線性表達(dá)能力.

我們?cè)贕aitPart網(wǎng)絡(luò)的末端添加了若干線性層以及Dropout層對(duì)vfc進(jìn)行進(jìn)一步的特征映射, 對(duì)于性別任務(wù), 我們使用平均絕對(duì)誤差作為損失函數(shù); 而對(duì)于年齡任務(wù), 我們則聯(lián)合平均絕對(duì)誤差和JS散度作為損失函數(shù)進(jìn)行訓(xùn)練. 各個(gè)部分的實(shí)驗(yàn)均采用Adam作為訓(xùn)練的優(yōu)化器以及采用LeakyReLU/ReLU作為激活函數(shù).

3 實(shí)驗(yàn)結(jié)果

3.1 系統(tǒng)設(shè)計(jì)和運(yùn)行環(huán)境

本系統(tǒng)基于“MVC”的設(shè)計(jì)思想進(jìn)行設(shè)計(jì), 開發(fā)出一款集成步態(tài)識(shí)別算法的Windows電腦客戶端程序.程序的交互界面通過PyQt進(jìn)行構(gòu)建. 本系統(tǒng)成功在Windows 64位操作系統(tǒng)上運(yùn)行與測(cè)試. 客戶端程序交互界面使用QtDesigner完成設(shè)計(jì)開發(fā), 算法部分使用Python語(yǔ)言編譯實(shí)現(xiàn), 在恒源云平臺(tái)上進(jìn)行訓(xùn)練優(yōu)化.硬件層面, 本系統(tǒng)運(yùn)行和測(cè)試的電腦系統(tǒng)為Windows 10家庭版, CPU為i5-8265U, 內(nèi)存8 GB, 顯卡為MX250.

3.2 數(shù)據(jù)集介紹

3.2.1 CASIA-B 跨視角步態(tài)數(shù)據(jù)集

CASIA-B是目前最為主流的跨視圖步態(tài)數(shù)據(jù)庫(kù)之一. 它包括124個(gè)行人樣本, 每個(gè)行人樣本有10種行走狀態(tài). 其中, 有6組是處于正常步行狀態(tài)(NM), 兩組是處于攜帶背包行走狀態(tài)(BG), 其余的處于穿著外套步行狀態(tài)(CL). 每種行走狀態(tài)包含11個(gè)不同角度的步態(tài)序列(視角的取值0°– 180°, 采樣間隔為18°). 因此,整個(gè)數(shù)據(jù)集包含有124 (行人樣本) × 10 (行走狀態(tài)) ×11 (視角) = 13640個(gè)步態(tài)序列. 由于本系統(tǒng)面向跨視角的應(yīng)用識(shí)別場(chǎng)景, 因此在本文涉及到的算法模型的訓(xùn)練中, 按照主流的測(cè)試協(xié)議使用了CASIA-B中全部視角的數(shù)據(jù)進(jìn)行模型的訓(xùn)練和測(cè)試.

3.2.2 OUMVLP大規(guī)?？缫暯遣綉B(tài)數(shù)據(jù)集

OU-MVLP步態(tài)數(shù)據(jù)集是大阪大學(xué)發(fā)布的, 目前為止世界上最大的并且具有廣泛視野的步態(tài)數(shù)據(jù)集. 該數(shù)據(jù)集中涵蓋了10 307名受試者, 每個(gè)受試者每個(gè)角度的一段序列作為標(biāo)簽已知的匹配庫(kù) (gallery set) 樣本, 另一段序列作為標(biāo)簽未知的待識(shí)別 (probe set)樣本. 其中, 男性5 114名, 女性5 193名,年齡從2到87歲不等. 每個(gè)受試者將會(huì)從14個(gè)視角進(jìn)行捕獲, 范圍在0°–90°、180°–270°之間, 每15°為一個(gè)分隔. 因此,整個(gè)數(shù)據(jù)集包含有10 307 (受試者樣本)×14 (視角)×2(序列數(shù))=288 596個(gè)步態(tài)序列.

目前在OU-MVLP上主流的測(cè)試協(xié)議是將10 307個(gè)受試者樣本劃分為訓(xùn)練集和驗(yàn)證集, 其中訓(xùn)練集包含前5 153個(gè)受試者, 測(cè)試集包含后5 154個(gè)受試者. 在訓(xùn)練階段, 來自所有受試者的gallery和probe序列的圖像將同時(shí)用于模型訓(xùn)練; 在測(cè)試階段, 僅使用gallery序列獨(dú)立評(píng)估模型表現(xiàn), 從中隨機(jī)選擇單個(gè)幀作為網(wǎng)絡(luò)輸入. 由于本系統(tǒng)面向跨視角的應(yīng)用識(shí)別場(chǎng)景, 并且OU-MVLP數(shù)據(jù)集擁有年齡與性別標(biāo)記, 因此本文中的步態(tài)年齡與性別估計(jì)算法將使用OU-MVLP步態(tài)數(shù)據(jù)集中的全視角的數(shù)據(jù)集進(jìn)行訓(xùn)練.

3.3 算法識(shí)別效果

基于步態(tài)的身份識(shí)別算法模型實(shí)驗(yàn)在CASIA-B數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試. 在我們實(shí)驗(yàn)的訓(xùn)練階段, 按照CASIA-B上主流的測(cè)試協(xié)議使用了數(shù)據(jù)集前74個(gè)受試者(ID: 001–074)的樣本數(shù)據(jù)作為訓(xùn)練集進(jìn)行訓(xùn)練,然后將剩余的50名受試者(ID: 075–124)將作為測(cè)試集進(jìn)行檢驗(yàn). 在訓(xùn)練階段, 訓(xùn)練集的每個(gè)行人輸入網(wǎng)絡(luò)的步態(tài)序列長(zhǎng)度為30. 在測(cè)試階段, 我們按照主流協(xié)議將測(cè)試集拆分為標(biāo)簽已知的匹配庫(kù) (gallery set)和標(biāo)簽未知的待識(shí)別 (probe set)兩個(gè)部分. 其中標(biāo)簽已知的匹配庫(kù)包含測(cè)試集中所有ID行人在NM 的前4組步態(tài)序列. 標(biāo)簽已知的匹配庫(kù)樣本通過對(duì)測(cè)試集行人的步態(tài)序列進(jìn)行身份注冊(cè)以便后續(xù)對(duì)比. 標(biāo)簽未知的待識(shí)別樣本為待查詢的集合, 其組成為測(cè)試集中所有ID行人在其余狀態(tài)下的序列, 即剩余的 2組NM、2組CL和 2組 BG 的序列集合. 標(biāo)簽未知的待識(shí)別樣本中的每個(gè)個(gè)體通過和標(biāo)簽已知的匹配庫(kù)樣本中的所有個(gè)體進(jìn)行逐一對(duì)比以評(píng)估模型的準(zhǔn)確率. 在測(cè)試時(shí), 我們對(duì)算法模型在每個(gè)視角的表現(xiàn)進(jìn)行獨(dú)立的評(píng)估, 如表2中的逐列準(zhǔn)確率數(shù)據(jù)展示的是標(biāo)簽未知的待識(shí)別樣本中從0°到180°的每個(gè)查詢視角和標(biāo)簽已知的匹配庫(kù)樣本中從0°到180°中所有視角(除去查詢視角)的跨視角識(shí)別準(zhǔn)確率的平均值. 在測(cè)試過程中, 完整的步態(tài)序列輸入到模型中以提取步態(tài)特征. 實(shí)驗(yàn)中輸入的批大小為64, 算法模型的訓(xùn)練總共經(jīng)過8 000次迭代, 訓(xùn)練全過程的學(xué)習(xí)率固定在1E–4.

本文所采用的算法模型在中科院的CASIA-B數(shù)據(jù)集的最終的訓(xùn)練結(jié)果如表2所示, 通過比較表明我們的方法優(yōu)于Chao等人[15]和Zhang等人[14]提出的步態(tài)識(shí)別算法, 在跨視角的情況且處于多種行走狀態(tài)下(NM: 95.9%, BG: 91.2%, CL: 77.0%)下身份識(shí)別的準(zhǔn)確率可以達(dá)到88.0%, 說明目前我們的算法模型已經(jīng)能夠捕獲到判別性的身份特征并處于相對(duì)領(lǐng)先的水平.

表2 算法模型CASIA-B數(shù)據(jù)集的Rank-1識(shí)別準(zhǔn)確率(不包括相同視角)(%)

對(duì)于性別分類與年齡估計(jì)問題, 我們采用了和身份識(shí)別任務(wù)相同的步態(tài)特征提取器, 并在此基礎(chǔ)上自行設(shè)計(jì)如圖所示的分類器, 將高維空間向量映射至二維輸出向量. 其中, 性別分類與年齡估計(jì)訓(xùn)練過程如圖7所示.

在性別分類上, 我們采用性別預(yù)測(cè)準(zhǔn)確率作為我們的評(píng)判標(biāo)準(zhǔn). 圖7中“train_acc”表示在訓(xùn)練集上的平均分類準(zhǔn)確率, “val_acc”表示在驗(yàn)證集上的平均分類準(zhǔn)確率. 經(jīng)過不少于45 000次的迭代訓(xùn)練后, 算法基本達(dá)到收斂狀態(tài), 且在驗(yàn)證集中的最高識(shí)別率可達(dá)95.2%, 泛化至測(cè)試集后識(shí)別率仍可保持在94.8%的水平. 該算法在性別分類問題上已獲取明晰的判別性表示和魯棒的決策邊界.

圖7 訓(xùn)練集和驗(yàn)證集上的性別識(shí)別率

在年齡評(píng)估上我們采用平均絕對(duì)誤差(mean absolute error,MAE)來評(píng)估估計(jì)年齡的準(zhǔn)確性. 假設(shè) ^yi和yi分別表示第i個(gè)測(cè)試樣本的估計(jì)年齡和真實(shí)年齡,NS表示測(cè)試的樣本個(gè)數(shù),MAE將被計(jì)算為:

圖8中“train_mae”表示在模型在訓(xùn)練集上的平均年齡誤差數(shù)據(jù), “val_mae”則表示在驗(yàn)證集上的平均年齡誤差. 由圖可知, 在經(jīng)過不少于45 000次的迭代訓(xùn)練后, 訓(xùn)練集上的平均絕對(duì)誤差逐漸下降, 并且有不斷下降的趨勢(shì), 而在驗(yàn)證集上的平均年齡誤差并沒有隨著訓(xùn)練而有明顯的下降趨勢(shì), 這說明模型已經(jīng)有效收斂. 算法在驗(yàn)證集中的最低平均年齡誤差可達(dá)7.63歲, 而泛化至測(cè)試集后平均年齡誤差仍可以保持在7.92歲的水平.

圖8 訓(xùn)練集和驗(yàn)證集上的年齡估計(jì)平均年齡誤差

為佐證本文在性別分類與年齡估計(jì)方面的實(shí)驗(yàn)效果, 我們將與Xu等人[28]在2021年提出的方法進(jìn)行對(duì)比和分析. 如表3所示, 其中, “GaitSet-Based CNN Framework”是利用PA-GCR (phase-aware gait cycle reconstructor)重建步態(tài)周期、利用GaitSet網(wǎng)絡(luò)提取步態(tài)特征的方法, 其跨視角年齡平均分類正確率為94.3%、平均年齡誤差為8.39歲. 相比之下, 本文對(duì)14個(gè)視角下行人的性別預(yù)測(cè)精度達(dá)到了94.8%、年齡估計(jì)達(dá)到了7.92歲, 算法效果更優(yōu), 處于當(dāng)下前沿領(lǐng)域的高水平層級(jí).

表3 基于步態(tài)識(shí)別的性別預(yù)測(cè)結(jié)果對(duì)比

3.4 在線系統(tǒng)測(cè)試

本系統(tǒng)將在模擬安防情景下進(jìn)行相應(yīng)的測(cè)試. 在測(cè)試中, 我們預(yù)先錄制了多段模擬的“底庫(kù)視頻”及兩段模擬的“案發(fā)現(xiàn)場(chǎng)視頻”, 前者模擬嫌疑人可能逃離的路段視頻, 后者則模擬案發(fā)路段附近所調(diào)取的包含目標(biāo)嫌疑人的視頻. 本系統(tǒng)將對(duì)“底庫(kù)視頻”中出現(xiàn)的所有行人步態(tài)信息在本地?cái)?shù)據(jù)庫(kù)中進(jìn)行注冊(cè)和錄入,用于與后續(xù)“案發(fā)現(xiàn)場(chǎng)視頻”中的目標(biāo)嫌疑人員進(jìn)行比對(duì), 從而確定最終嫌疑人的逃離路段.

圖9和圖10是本系統(tǒng)對(duì)預(yù)先錄制好的步態(tài)視頻進(jìn)行測(cè)試的結(jié)果. 圖10展示的是系統(tǒng)選擇嫌疑人ID和篩選年齡條件功能. 其中, 圖9為本系統(tǒng)的主頁(yè)面,用于上傳底庫(kù)和案發(fā)現(xiàn)場(chǎng)視頻, 并通過系統(tǒng)對(duì)比找出底庫(kù)中步態(tài)信息與被選擇的嫌疑人最為相似的前3位行人, 返回相應(yīng)的步態(tài)年齡、性別以及所處路段.

圖9 系統(tǒng)主頁(yè)面和ID選擇

在測(cè)試中, 我們輸入了7段測(cè)試視頻, 視頻中共有受試者229名,年齡均為15–63歲, 男女分布均等. 測(cè)試結(jié)果為: 身份匹配Rank-1準(zhǔn)確率為81.93%, Rank-5準(zhǔn)確率為94.16%,年齡預(yù)測(cè)平均年齡誤差為7.5歲, 性別識(shí)別準(zhǔn)確率為91.63%. 從測(cè)試結(jié)果可以看出, 當(dāng)識(shí)別視角發(fā)生改變且嫌疑人通過戴口罩進(jìn)行面部遮擋并更換著裝再次出現(xiàn)在已錄入底庫(kù)中的視頻中時(shí), 系統(tǒng)也可以準(zhǔn)確地對(duì)嫌疑人進(jìn)行識(shí)別, 證明了本系統(tǒng)具備較好的魯棒性, 可以滿足實(shí)際應(yīng)用中復(fù)雜的場(chǎng)景需求.

在圖10展示更多檢測(cè)結(jié)果頁(yè)面中, 系統(tǒng)將展示所有在底庫(kù)視頻中出現(xiàn)的行人步態(tài)信息與嫌疑人步態(tài)信息的對(duì)比結(jié)果, 并且具備篩選功能: 通過嫌疑人的年齡以及性別信息對(duì)海量的行人信息進(jìn)行進(jìn)一步的篩選,以輔助應(yīng)對(duì)一些由于特殊情況導(dǎo)致的身份識(shí)別不準(zhǔn)確的情況, 從而加快查找速度.

圖10 展示更多檢測(cè)結(jié)果頁(yè)面和條件篩選

通過常規(guī)的外置攝像頭或者安防攝像頭, 本系統(tǒng)可以實(shí)時(shí)捕捉行人的步態(tài)信息. 由于算法模型已具有預(yù)訓(xùn)練權(quán)重并且配備好相應(yīng)的環(huán)境依賴項(xiàng), 因此當(dāng)用戶上傳步態(tài)視頻后, 系統(tǒng)可以快速地返回相應(yīng)的結(jié)果.上述測(cè)試場(chǎng)景中, 在1080Ti的GPU算力環(huán)境下, 系統(tǒng)處理視頻的速度為每幀0.373 s, 且可在2 s內(nèi)返回對(duì)比結(jié)果, 因此可以滿足實(shí)際場(chǎng)景中實(shí)時(shí)監(jiān)測(cè)的需要, 具有實(shí)際的開發(fā)意義.

4 總結(jié)

本文搭建了一種可以在視頻監(jiān)控條件下實(shí)現(xiàn)多行人多生物屬性跨視角步態(tài)識(shí)別的智能安防追蹤系統(tǒng),該系統(tǒng)適用于安防和尋人等實(shí)際應(yīng)用場(chǎng)景, 可以追蹤不同路段處在不同視角處于不同行走狀態(tài)的行人步態(tài)信息并通過系統(tǒng)內(nèi)置的算法模型對(duì)其身份、年齡和性別等屬性進(jìn)行準(zhǔn)確高效的分析. 本系統(tǒng)的算法模型基于深度學(xué)習(xí)理論及算法, 在Fan等人[27]提出的算法基礎(chǔ)上加以優(yōu)化, 同時(shí)在目前最為主流的兩個(gè)大規(guī)?？缫暯遣綉B(tài)數(shù)據(jù)集——中科院的CAISA-B數(shù)據(jù)集以及日本大阪大學(xué)的OUMVLP數(shù)據(jù)集上進(jìn)行了訓(xùn)練和測(cè)試并取得了處于相對(duì)高水平的準(zhǔn)確率, 在跨視角的測(cè)試前提下, 身份識(shí)別在多種行走狀態(tài)下(NM, BG, CL)的平均準(zhǔn)確率達(dá)到88.0%, 性別識(shí)別準(zhǔn)確率達(dá)到94.8%,年齡估計(jì)的平均誤差在7.92歲, 基本符合實(shí)際應(yīng)用的水準(zhǔn). 與此同時(shí), 系統(tǒng)的開發(fā)成本低, 支持實(shí)時(shí)檢測(cè)并具備拓展性, 可以根據(jù)不同團(tuán)隊(duì)的需要進(jìn)行適應(yīng)性調(diào)整, 因此具有重要的現(xiàn)實(shí)意義.