基于生成對(duì)抗網(wǎng)絡(luò)的跨視角步態(tài)特征提?、?/h1>
2020-01-15 06:45:06秦月紅
計(jì)算機(jī)系統(tǒng)應(yīng)用 2020年1期
秦月紅,王 敏
(河海大學(xué) 計(jì)算機(jī)與信息學(xué)院,南京 211100)
步態(tài)是指走路時(shí)所表現(xiàn)的姿態(tài)和動(dòng)作,目前對(duì)于步態(tài)的研究一般是對(duì)人類步行運(yùn)動(dòng)的研究.與指紋、人臉、虹膜等不同的是,步態(tài)是唯一可在遠(yuǎn)距離非侵犯條件下獲取并利用的生物特征.心理學(xué)、醫(yī)學(xué)等領(lǐng)域的研究表明,步態(tài)具有唯一性,每個(gè)人的走路姿勢(shì)都不相同,因此步態(tài)可以用來(lái)鑒別身份.步態(tài)識(shí)別就是一種利用步態(tài)鑒別身份的技術(shù).隨著監(jiān)控視頻的覆蓋率逐漸擴(kuò)大,視頻清晰度的不斷提升,步態(tài)識(shí)別在公安刑偵、社會(huì)安全、身份認(rèn)證等領(lǐng)域逐漸發(fā)揮起重要作用[1].由此,步態(tài)識(shí)別在計(jì)算機(jī)視覺(jué)領(lǐng)域也掀起了一片研究熱潮.
然而,步態(tài)識(shí)別仍然面臨著很多挑戰(zhàn),拍攝視角、衣著、攜帶物、行走環(huán)境的變化等因素大大影響了步態(tài)識(shí)別的準(zhǔn)確率.而在眾多干擾因素中,最常見(jiàn)的就是拍攝視角的變化,因?yàn)樵趯?shí)際情境中人行走的方向和視頻拍攝之間的角度是最難控制且變化最多的.解決跨視角步態(tài)識(shí)別問(wèn)題,是本文研究的重點(diǎn).
在深度學(xué)習(xí)領(lǐng)域,生成對(duì)抗網(wǎng)絡(luò)[2](Generative Adversarial Networks,GAN)自2014年提出以來(lái)就一直是學(xué)術(shù)界的研究熱點(diǎn),其原理為生成器和判別器的相互作用.在圖像處理方面,對(duì)于修復(fù)受損圖像、生成全新圖像等應(yīng)用場(chǎng)景,GAN的效果非常好.受此啟發(fā),本文通過(guò)對(duì)生成對(duì)抗網(wǎng)絡(luò)改進(jìn),將任意視角或行走狀態(tài)下的步態(tài)模板轉(zhuǎn)換成特定視角且正常狀態(tài)的步態(tài)模板,進(jìn)而去除干擾,提取有效的步態(tài)特征,從而提高步態(tài)識(shí)別的準(zhǔn)確率.
本文的結(jié)構(gòu)安排如下,第1部分介紹了近年來(lái)國(guó)內(nèi)外對(duì)于步態(tài)識(shí)別的研究成果,第2部分介紹所提出的基于生成對(duì)抗網(wǎng)絡(luò)的跨視角步態(tài)特征提取方法,第3部分展示了所提出方法與其他相關(guān)方法的的實(shí)驗(yàn)結(jié)果對(duì)比與分析,第4部分對(duì)全文進(jìn)行了總結(jié)與展望.
1 國(guó)內(nèi)外相關(guān)工作
近年來(lái),隨著深度學(xué)習(xí)的發(fā)展,越來(lái)越多的研究人員將深度學(xué)習(xí)用于步態(tài)識(shí)別技術(shù)中.如Shiraga等人將步態(tài)能量圖作為模板,提出了基于卷積神經(jīng)網(wǎng)絡(luò)的步態(tài)識(shí)別模型GEINet[3].Wu等人在文獻(xiàn)[4]中提出的基于深度卷積神經(jīng)網(wǎng)絡(luò)的3種模型(deepCNNs)就取得了非常優(yōu)異的效果,該模型輸入為一對(duì)步態(tài)圖像,經(jīng)特征提取和計(jì)算,輸出的是兩個(gè)樣本的相似度,文中還對(duì)不同情況下三種模型的性能進(jìn)行的對(duì)比分析.
為了克服衣著和攜帶物對(duì)識(shí)別效果的影響,Liao等提出了一種從原始視頻中提取人體姿態(tài)關(guān)鍵點(diǎn)的方法[5],然后利用基于姿態(tài)的時(shí)空網(wǎng)絡(luò)學(xué)習(xí)步態(tài)特征.Feng等提出了基于長(zhǎng)短時(shí)記憶模塊的人體姿態(tài)估計(jì)模型[6],針對(duì)人體關(guān)節(jié)熱圖進(jìn)行特征提取.
為了解決跨視角步態(tài)識(shí)別問(wèn)題,一些研究人員試圖利用3D重建的方法,以通過(guò)在所需視角下投影3D模型來(lái)生成任意的二維視圖,但這種方法通常需要嚴(yán)格的環(huán)境條件和巨大的計(jì)算代價(jià).目前,解決跨視角問(wèn)題最常見(jiàn)的方法是構(gòu)建能夠?qū)⒉綉B(tài)特征從一個(gè)視圖投影到另一個(gè)視圖的轉(zhuǎn)換模型.Makihara等[7]提出了一種視圖轉(zhuǎn)換模型,主要是利用奇異值分解的方法計(jì)算每個(gè)步態(tài)能量圖的投影矩陣并計(jì)算出視角特征值.受魯棒的主成分分析在特征提取上的良好表現(xiàn)的啟發(fā),Zheng等[8]提出了一種魯棒的視圖轉(zhuǎn)換模型用于步態(tài)識(shí)別.Bashir等[9]提出了一種基于高斯過(guò)程的框架來(lái)預(yù)估測(cè)試集中的步態(tài)視角的方法,然后運(yùn)用典型相關(guān)分析得出不同視角的步態(tài)序列的相關(guān)性.此外,Yu等人在文獻(xiàn)[10]中提出了一種用自動(dòng)編碼器(SPAE)去除來(lái)自于攜帶物、衣著等影響因素,之后將不同視角的步態(tài)模板特征轉(zhuǎn)換到統(tǒng)一側(cè)面視角的模型.但訓(xùn)練自動(dòng)編碼器過(guò)程較為復(fù)雜,要按照任務(wù)拆分從下至上依次訓(xùn)練,逐層累加,各層累加完畢后要對(duì)整個(gè)網(wǎng)絡(luò)重新調(diào)整.
受GAN在多領(lǐng)域圖像翻譯上的優(yōu)秀效果的啟發(fā),本文提出了一種基于生成對(duì)抗網(wǎng)絡(luò)跨視角的步態(tài)特征提取方法,主要思想是步態(tài)模板的多視角和多狀態(tài)轉(zhuǎn)換.生成對(duì)抗網(wǎng)絡(luò)是一種深度學(xué)習(xí)模型,是近年來(lái)復(fù)雜分布上的無(wú)監(jiān)督學(xué)習(xí)領(lǐng)域中最具前景的方法之一.例如,Choi等人在2017年提出的StarGAN[11]模型在人臉表情、發(fā)色轉(zhuǎn)換的效果非常驚人,堪稱GAN在多領(lǐng)域圖像翻譯中的典型成功案例.GAN的實(shí)現(xiàn)方法是讓生成器和判別器進(jìn)行博弈,訓(xùn)練過(guò)程中通過(guò)相互競(jìng)爭(zhēng)讓這兩個(gè)模型同時(shí)得到增強(qiáng).Yu等在2017年提出的GaitGAN[12]就是將GAN用于視角轉(zhuǎn)換來(lái)進(jìn)行步態(tài)特征提取,與傳統(tǒng)GAN不同的是,GaitGAN使用了兩個(gè)判別器來(lái)確保生成圖片真實(shí)且保留有效的身份信息.但這種方法只是把任意視角的步態(tài)模板轉(zhuǎn)換成了側(cè)面視角的步態(tài)模板,并不能應(yīng)對(duì)實(shí)際情況中復(fù)雜的多視角變換問(wèn)題.此外,He等人在2019年提出的MGANs[13]也是一種基于GAN的多任務(wù)視角轉(zhuǎn)換模型,該文首次將流形學(xué)習(xí)的概念引入步態(tài)視圖特征轉(zhuǎn)換,同時(shí)還提出了一種新的步態(tài)模板周期能量圖(PEI).
2 基于生成對(duì)抗網(wǎng)絡(luò)的步態(tài)特征提取
2.1 算法整體框架
圖1給出了整個(gè)算法的流程圖.首先,所有測(cè)試集、訓(xùn)練集和驗(yàn)證集的步態(tài)視頻序列都被統(tǒng)一處理成同一種步態(tài)模板.對(duì)于測(cè)試集中的一個(gè)a視角下的測(cè)試樣本pa,驗(yàn)證集是含有n個(gè)樣本的b視角下的某種行走狀態(tài)的樣本集合假定pa一定與上述驗(yàn)證集中的某個(gè)樣本具有相同身份,我們的目標(biāo)就是確定pa的身份是{1,2,…,n}中的哪一個(gè).具體過(guò)程是,測(cè)試樣本的步態(tài)模板pa首先經(jīng)過(guò)一個(gè)編碼器E編碼得到隱特征zp=E(pa),然后經(jīng)過(guò)一個(gè)視角轉(zhuǎn)換器V把zp從視角a轉(zhuǎn)換到視角b,得到視角轉(zhuǎn)換后的特征隱表示zg=V(zp,a,b).將zg以及行走狀態(tài)的標(biāo)簽聯(lián)合輸入到生成對(duì)抗網(wǎng)絡(luò)中的生成器,得到視角b下的正常行走狀態(tài)的假特征模板的隱表示.在整個(gè)算法模型中,對(duì)生成器和判別器的訓(xùn)練是尤為重要的,通過(guò)對(duì)生成器與判別器進(jìn)行迭代交叉訓(xùn)練,使得所得到的在達(dá)到視圖轉(zhuǎn)換的同時(shí)最大化的保留身份信息.對(duì)于驗(yàn)證集中的所有步態(tài)模板gbi同樣經(jīng)過(guò)E的編碼得到隱特征其中i∈{1,2,…,n}.最終確定pa的身份是視角b驗(yàn)證集中的gbx,利用最近鄰分類器的計(jì)算公式如下:
其中,‖·‖2代表L2范數(shù).
圖1 算法流程圖
2.2 步態(tài)能量圖
本文提出的算法使用的步態(tài)模板為步態(tài)能量圖[14](GEI).在還沒(méi)有運(yùn)用深度學(xué)習(xí)的方法研究步態(tài)識(shí)別問(wèn)題時(shí),Han等人在文獻(xiàn)[14]中提出的利用GEI和主成分分析進(jìn)行數(shù)據(jù)降維的方法(GEI+PCA)在正常行走狀態(tài)下就取得較好的效果,只是該方法較易受到衣著、攜帶物、視角變化等因素的影響.GEI是步態(tài)識(shí)別技術(shù)中最常用的步態(tài)模板,具有計(jì)算簡(jiǎn)便且能保留原有的步態(tài)序列的周期性的特點(diǎn).簡(jiǎn)單來(lái)說(shuō),步態(tài)能量圖就是一個(gè)完整周期內(nèi)的所有步態(tài)剪影圖的平均,如圖2所示.
圖2 步態(tài)能量圖的合成過(guò)程
GEI中的像素值可以解釋為一個(gè)步態(tài)周期內(nèi),人體占據(jù)GEI中像素位置的概率.由于GEI在步態(tài)識(shí)別中的成功應(yīng)用,本文也采用GEI作為輸入的步態(tài)模板.本文提取GEI的方法與Zheng等人在文獻(xiàn)[8]中提出的方法相同.
2.3 基于生成對(duì)抗網(wǎng)絡(luò)的跨視角步態(tài)特征提取
本文提出的基于生成對(duì)抗網(wǎng)絡(luò)的跨視角步態(tài)特征提取模型主要包含4個(gè)部分:(1)基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器用于對(duì)GEI中的特征進(jìn)行編碼;(2)視角轉(zhuǎn)換器用來(lái)將一個(gè)視角的步態(tài)模板轉(zhuǎn)換到另一個(gè)視角;(3)生成器用于生成視角轉(zhuǎn)換之后的假GEI;(4)判別器用于判斷生成器生成的圖像的真實(shí)性并判斷其是否保留了原有輸入的身份信息.接下來(lái)對(duì)每部分進(jìn)行具體介紹.
2.3.1 編碼器
為了獲得有用的特征進(jìn)行步態(tài)識(shí)別,本文提出的模型中引入了一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器,具體結(jié)構(gòu)如表1所示,其主要由4個(gè)卷積層構(gòu)成.在特征提取的最初階段,輸入是a視角下的步態(tài)能量圖pa.為了減少計(jì)算量,提高訓(xùn)練速度,圖片尺寸縮放為64×64像素.之后使用均值池化并經(jīng)過(guò)全連接層得到步態(tài)特征隱表示zp.非線性激活層采用L-ReLU函數(shù).
表1 編碼器的組成
2.3.2 視角轉(zhuǎn)換器
在跨視角的步態(tài)識(shí)別問(wèn)題中,如何在保留步態(tài)模板的身份特征的情況下轉(zhuǎn)換其視角非常關(guān)鍵.根據(jù)流形學(xué)習(xí)的理論,我們所觀察到的數(shù)據(jù)實(shí)際上是由一個(gè)低維流形映射到高維空間的.可以假設(shè)輸入的步態(tài)模板位于一個(gè)低維的流形上,沿著該流形移動(dòng)的樣本可以實(shí)現(xiàn)視角的轉(zhuǎn)換[13].從視角a到視角b的轉(zhuǎn)換過(guò)程可以用如下公式表示:
其中,za和zb是經(jīng)過(guò)編碼器編碼后得到的步態(tài)特征隱表示,wi表示從視角i–1到視角i的轉(zhuǎn)換向量.與傳統(tǒng)的視角轉(zhuǎn)換方法不同的是,本文提出的模型是將視圖的特征轉(zhuǎn)換到一個(gè)隱空間.具體的轉(zhuǎn)換過(guò)程是通過(guò)沒(méi)有偏置的全連接層來(lái)完成的,從而減少重建視圖所積累的錯(cuò)誤.全連接層的權(quán)重可以表示為nb表示角度的標(biāo)簽,每個(gè)角度對(duì)應(yīng)一個(gè)權(quán)值.因此,編碼視角a到b的過(guò)程用向量可以表示為其中eiab∈{0,1},進(jìn)而視圖轉(zhuǎn)換過(guò)程可以表示為如下公式:
2.3.3 生成器
視角轉(zhuǎn)換器的輸出就是生成器的輸入,主要由5個(gè)反卷積層構(gòu)成,具體參數(shù)如表2所示.生成器的作用是生成與真實(shí)GEI難以區(qū)分的假圖片,但由于步態(tài)識(shí)別的結(jié)果受衣著、攜帶物等不同行走狀態(tài)的影響,所以本文方法中引入了行走狀態(tài)的獨(dú)熱編碼作為標(biāo)簽來(lái)控制輸出的GEI的行走狀態(tài)為正常狀態(tài),從而消除穿大衣、背包等干擾因素.定義生成器的輸入是[zb,c],其中zb是經(jīng)過(guò)視角轉(zhuǎn)換后的視角b下的步態(tài)特征隱表示,c為需要生成的行走狀態(tài)的獨(dú)熱編碼,通過(guò)生成器的反卷積過(guò)程得到重構(gòu)后的步態(tài)能量圖yb.
表2 生成器的組成
2.3.4 判別器
判別器的主要任務(wù)有兩個(gè):(1)判斷生成圖片的真實(shí)性;(2)判別該生成圖片的域是否為指定的角度域和狀態(tài)域.與編碼器類似,判別器主要由4個(gè)卷積層構(gòu)成,具體參數(shù)如表3所示.判別器的輸入為生成器生成的假圖片yb和真實(shí)圖要注意這里的應(yīng)是與生成的yb所指定的角度域、狀態(tài)域一致的真實(shí)GEI.通過(guò)對(duì)生成器和判別器的迭代訓(xùn)練,可以確保生成器生成足夠真實(shí)且保留原有身份信息的假GEI.
表3 判別器的組成
2.4 目標(biāo)函數(shù)
2.4.1 重構(gòu)損失
為了使生成圖像盡可能多的保留原始身份信息,最為重要的就是將真實(shí)圖與生成圖的逐像素?fù)p失最小化,因此提出了重建損失,公式如下:
其中,∥ ·∥1代表L1范數(shù),E、V、G分別表示編碼器,視角轉(zhuǎn)換器和生成器,pa是a視角下的原始輸入GEI,c表示行走狀態(tài)的獨(dú)熱編碼,是真實(shí)的GEI.
2.4.2 對(duì)抗損失
對(duì)于生成器和判別器的訓(xùn)練,我們采用的是常見(jiàn)的對(duì)抗損失,公式如下:
其中,E、V、G、D分別代表編碼器、視角轉(zhuǎn)換器、生成器和判別器,pa是a視角下的原始輸入GEI,c表示行走狀態(tài)的獨(dú)熱編碼,是真實(shí)的GEI.
2.4.3 目標(biāo)損失函數(shù)
最終的關(guān)于E、V、G、D的最終目標(biāo)損失函數(shù)定義如下:
其中,λ是用來(lái)調(diào)節(jié)重建損失和對(duì)抗損失的所占比重的超參數(shù),在本文提出的算法訓(xùn)練過(guò)程中,λ=0.0001.定義最終損失函數(shù)后,使用反向傳播算法對(duì)編碼器、視角轉(zhuǎn)換器、生成器和判別器進(jìn)行訓(xùn)練.
3 實(shí)驗(yàn)與分析
3.1 數(shù)據(jù)集
3.1.1 CASIA-B數(shù)據(jù)集
CASIA-B步態(tài)數(shù)據(jù)集[15]是中國(guó)科學(xué)院自動(dòng)化研究所提供的開(kāi)源跨視角數(shù)據(jù)集,其中包括124人(31女,93男),拍攝視角有11個(gè)(從0°到180°,每18度為一個(gè)間隔),三種行走狀態(tài).每人有10個(gè)視頻序列,6個(gè)為正常行走狀態(tài)(nm01–nm06),2個(gè)為穿大衣行走狀態(tài)(cl0,cl02),2個(gè)為背包行走狀態(tài)(bg01,bg02).
3.1.2 OUMVLP數(shù)據(jù)集
OUMVLP數(shù)據(jù)集[16]是目前規(guī)模最大的多視角步態(tài)數(shù)據(jù)集,由日本大阪大學(xué)提出,其中包括10 307個(gè)人(5114男和5193女),年齡范圍從2到87歲,每人有14個(gè)視角(0°,15°,…,90°;180°,195°,…,270°)和兩個(gè)視頻序列(#00作為驗(yàn)證集,#01作為測(cè)試集).
3.2 實(shí)驗(yàn)設(shè)計(jì)
對(duì)于CASIA-B數(shù)據(jù)集,實(shí)驗(yàn)中我們規(guī)定前62人(ID:001-062)作為訓(xùn)練集,后62人(ID:063-124)作為驗(yàn)證集,并將測(cè)試集分為正常行走(nm)、背包(bg)、穿大衣(cl)及3種狀態(tài)混合(all)共4類,分別進(jìn)行4組實(shí)驗(yàn),具體見(jiàn)表4.訓(xùn)練過(guò)程的迭代次數(shù)為80 000次,學(xué)習(xí)率為1×10–5.
表4 CASIA-B實(shí)驗(yàn)設(shè)計(jì)
對(duì)于OUMVLP數(shù)據(jù)集,為了驗(yàn)證模型的魯棒性,便于與CASIA-B數(shù)據(jù)集做比較,實(shí)驗(yàn)中我們從所有人中隨機(jī)抽取62人作為訓(xùn)練集,再?gòu)氖Ｏ碌娜酥须S機(jī)選擇幾組(62人為一組)作為驗(yàn)證集(#01)和測(cè)試集(#00).
3.3 實(shí)驗(yàn)結(jié)果與分析
經(jīng)過(guò)在CASIA-B數(shù)據(jù)集上的實(shí)驗(yàn),3種行走狀態(tài)下與所有情況下的平均rank-1準(zhǔn)確率如表5所示.
為了對(duì)實(shí)驗(yàn)結(jié)果更加直觀的進(jìn)行分析,我們選擇了3種在非跨視角情況下取得較好識(shí)別效果的方法(GEI-PCA[14],SPAE[10],GaitGAN[12])在同樣數(shù)據(jù)集上的平均rank-1準(zhǔn)確率進(jìn)行了對(duì)比.圖3為測(cè)試集與驗(yàn)證集視角相同條件下識(shí)別準(zhǔn)確率的柱狀圖,從圖中可以看出在nm和bg狀態(tài)下,本文提出的方法與其他3種方法沒(méi)有較大優(yōu)勢(shì),但在cl狀態(tài)下,識(shí)別準(zhǔn)確率有所提升,驗(yàn)證了本文方法對(duì)于衣著這個(gè)干擾因素具有更好的適應(yīng)性.
表5 3種行走狀態(tài)下的平均rank-1準(zhǔn)確率(單位:%)
圖3 同視角下的平均rank-1準(zhǔn)確率比較
為了更好驗(yàn)證本文方法是否在跨視角步態(tài)識(shí)別上更具優(yōu)勢(shì),在排除相同視角的情況下,我們選取了54°、90°和126°三種典型視角與 deepCNNs[4]、SPAE[10]、GaitGAN[12]及MGANs[13]4種方法進(jìn)行了比較,這4種方法代表了近年來(lái)利用深度學(xué)習(xí)進(jìn)行跨視角步態(tài)識(shí)別研究的最先進(jìn)成果.具體結(jié)果如表6所示.
由于幾年來(lái)在OU-MVLP數(shù)據(jù)集上的實(shí)驗(yàn)數(shù)據(jù)不多,所以下面只選擇了GEINet[3]與本文提出的實(shí)驗(yàn)結(jié)果進(jìn)行比較,如表7所示.
綜合2個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果可以得出結(jié)論,在測(cè)試集與驗(yàn)證集視角不一致的情況下,本文提出的方法的平均rank-1準(zhǔn)確率具有大幅度的提升,因此,該方法能較好地解決跨視角步態(tài)識(shí)別問(wèn)題.
表6 CASIA-B排除相同視角下3種典型視角的識(shí)別準(zhǔn)確率 (單位:%)
表7 OU-MVLP排除相同視角下的rank-1準(zhǔn)確率 (單位:%)
3.4 模型評(píng)估
結(jié)合3.3部分的實(shí)驗(yàn)結(jié)果,不難發(fā)現(xiàn),在相同視角的步態(tài)識(shí)別問(wèn)題上,本文提出的模型雖然不是最優(yōu)但并沒(méi)有顯著劣勢(shì),且在穿著大衣的干擾因素下與其他方法相比具有更好的效果.在跨視角步態(tài)識(shí)別問(wèn)題上,本文方法的平均rank-1準(zhǔn)確率有了大幅度的提升.這主要由于本文提出的模型在同視角識(shí)別的狀態(tài)下,與傳統(tǒng)深度學(xué)習(xí)方法相比沒(méi)有做出過(guò)多改進(jìn),而在跨視角識(shí)別問(wèn)題和攜帶物、衣著變化上則具有一定優(yōu)勢(shì).
此外,隨著行走狀態(tài)的改變,從表5可以看出,3種情況對(duì)于步態(tài)識(shí)別準(zhǔn)確率的影響程度是cl>bg>nm,這與以往研究結(jié)果一致.這是由于步態(tài)識(shí)別最重要的部分在于提取腿部特征,所以在穿著大衣的情況下能保留的腿部有效信息是最少的,所以該情況下識(shí)別準(zhǔn)確率會(huì)收到較大影響.對(duì)于跨視角步態(tài)識(shí)別問(wèn)題,觀察表5不難發(fā)現(xiàn),視角在90°左右的識(shí)別效果較好,而在0°和180°附近時(shí)識(shí)別效果較差.這是由于在90°狀態(tài)下,可以提取到的腿部變化的信息是最多的,隨著跨度增大,提取的有效信息逐漸變少,從而導(dǎo)致不同視角下的識(shí)別準(zhǔn)確率差異較大.
綜上所述,本文提出的模型能較好的解決跨視角步態(tài)識(shí)別問(wèn)題,且在行走狀態(tài)變化情況下具有一定的魯棒性,實(shí)驗(yàn)結(jié)果也驗(yàn)證了該方法是有效且可行的.
4 結(jié)論與展望
本文提出了一種基于生成對(duì)抗網(wǎng)絡(luò)的步態(tài)特征提取方法,能有效緩解拍攝視角、衣著和攜帶物變化等因素對(duì)步態(tài)識(shí)別結(jié)果的影響,在CASIA-B和OUMVLP數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的方法可以對(duì)步態(tài)模板進(jìn)行任意角度的轉(zhuǎn)化并提取出包含有效身份信息的步態(tài)特征.同時(shí),與現(xiàn)有的其他方法的比較也表明本文的方法是有效且可行的.
然而,目前所做的工作還不夠,實(shí)驗(yàn)所用的數(shù)據(jù)集的規(guī)模還比較小,識(shí)別準(zhǔn)確率也還不夠高.今后,在訓(xùn)練階段要使用更大規(guī)模的數(shù)據(jù)集,使用網(wǎng)絡(luò)結(jié)構(gòu)更復(fù)雜且更具魯棒性的模型.相信未來(lái)生成對(duì)抗網(wǎng)絡(luò)的發(fā)展會(huì)更好,使得包括步態(tài)識(shí)別在內(nèi)的其他問(wèn)題取得新的研究突破.
猜你喜歡
小螞蟻與“三角步態(tài)”科學(xué)大眾(2024年5期)2024-03-06 09:40:34 基于面部和步態(tài)識(shí)別的兒童走失尋回系統(tǒng)電子制作(2018年18期)2018-11-14 01:48:04 基于FPGA的同步機(jī)軸角編碼器成都信息工程大學(xué)學(xué)報(bào)(2018年3期)2018-08-29 01:08:40 基于Kinect的學(xué)步期幼兒自然步態(tài)提取自動(dòng)化學(xué)報(bào)(2018年6期)2018-07-23 02:55:42 5.3 視圖與投影中學(xué)生數(shù)理化·中考版(2017年6期)2017-11-09 02:46:46 視圖非公有制企業(yè)黨建(2017年10期)2017-11-03 02:26:27 Y—20重型運(yùn)輸機(jī)多視圖現(xiàn)代兵器(2017年4期)2017-06-02 15:59:24 SA2型76毫米車載高炮多視圖現(xiàn)代兵器(2017年4期)2017-06-02 15:58:14 基于PRBS檢測(cè)的8B/IOB編碼器設(shè)計(jì)電子設(shè)計(jì)工程(2017年20期)2017-02-10 03:39:29 JESD204B接口協(xié)議中的8B10B編碼器設(shè)計(jì)電子器件(2015年5期)2015-12-29 08:42:24
秦月紅,王 敏
(河海大學(xué) 計(jì)算機(jī)與信息學(xué)院,南京 211100)
步態(tài)是指走路時(shí)所表現(xiàn)的姿態(tài)和動(dòng)作,目前對(duì)于步態(tài)的研究一般是對(duì)人類步行運(yùn)動(dòng)的研究.與指紋、人臉、虹膜等不同的是,步態(tài)是唯一可在遠(yuǎn)距離非侵犯條件下獲取并利用的生物特征.心理學(xué)、醫(yī)學(xué)等領(lǐng)域的研究表明,步態(tài)具有唯一性,每個(gè)人的走路姿勢(shì)都不相同,因此步態(tài)可以用來(lái)鑒別身份.步態(tài)識(shí)別就是一種利用步態(tài)鑒別身份的技術(shù).隨著監(jiān)控視頻的覆蓋率逐漸擴(kuò)大,視頻清晰度的不斷提升,步態(tài)識(shí)別在公安刑偵、社會(huì)安全、身份認(rèn)證等領(lǐng)域逐漸發(fā)揮起重要作用[1].由此,步態(tài)識(shí)別在計(jì)算機(jī)視覺(jué)領(lǐng)域也掀起了一片研究熱潮.
然而,步態(tài)識(shí)別仍然面臨著很多挑戰(zhàn),拍攝視角、衣著、攜帶物、行走環(huán)境的變化等因素大大影響了步態(tài)識(shí)別的準(zhǔn)確率.而在眾多干擾因素中,最常見(jiàn)的就是拍攝視角的變化,因?yàn)樵趯?shí)際情境中人行走的方向和視頻拍攝之間的角度是最難控制且變化最多的.解決跨視角步態(tài)識(shí)別問(wèn)題,是本文研究的重點(diǎn).
在深度學(xué)習(xí)領(lǐng)域,生成對(duì)抗網(wǎng)絡(luò)[2](Generative Adversarial Networks,GAN)自2014年提出以來(lái)就一直是學(xué)術(shù)界的研究熱點(diǎn),其原理為生成器和判別器的相互作用.在圖像處理方面,對(duì)于修復(fù)受損圖像、生成全新圖像等應(yīng)用場(chǎng)景,GAN的效果非常好.受此啟發(fā),本文通過(guò)對(duì)生成對(duì)抗網(wǎng)絡(luò)改進(jìn),將任意視角或行走狀態(tài)下的步態(tài)模板轉(zhuǎn)換成特定視角且正常狀態(tài)的步態(tài)模板,進(jìn)而去除干擾,提取有效的步態(tài)特征,從而提高步態(tài)識(shí)別的準(zhǔn)確率.
本文的結(jié)構(gòu)安排如下,第1部分介紹了近年來(lái)國(guó)內(nèi)外對(duì)于步態(tài)識(shí)別的研究成果,第2部分介紹所提出的基于生成對(duì)抗網(wǎng)絡(luò)的跨視角步態(tài)特征提取方法,第3部分展示了所提出方法與其他相關(guān)方法的的實(shí)驗(yàn)結(jié)果對(duì)比與分析,第4部分對(duì)全文進(jìn)行了總結(jié)與展望.
1 國(guó)內(nèi)外相關(guān)工作
近年來(lái),隨著深度學(xué)習(xí)的發(fā)展,越來(lái)越多的研究人員將深度學(xué)習(xí)用于步態(tài)識(shí)別技術(shù)中.如Shiraga等人將步態(tài)能量圖作為模板,提出了基于卷積神經(jīng)網(wǎng)絡(luò)的步態(tài)識(shí)別模型GEINet[3].Wu等人在文獻(xiàn)[4]中提出的基于深度卷積神經(jīng)網(wǎng)絡(luò)的3種模型(deepCNNs)就取得了非常優(yōu)異的效果,該模型輸入為一對(duì)步態(tài)圖像,經(jīng)特征提取和計(jì)算,輸出的是兩個(gè)樣本的相似度,文中還對(duì)不同情況下三種模型的性能進(jìn)行的對(duì)比分析.
為了克服衣著和攜帶物對(duì)識(shí)別效果的影響,Liao等提出了一種從原始視頻中提取人體姿態(tài)關(guān)鍵點(diǎn)的方法[5],然后利用基于姿態(tài)的時(shí)空網(wǎng)絡(luò)學(xué)習(xí)步態(tài)特征.Feng等提出了基于長(zhǎng)短時(shí)記憶模塊的人體姿態(tài)估計(jì)模型[6],針對(duì)人體關(guān)節(jié)熱圖進(jìn)行特征提取.
為了解決跨視角步態(tài)識(shí)別問(wèn)題,一些研究人員試圖利用3D重建的方法,以通過(guò)在所需視角下投影3D模型來(lái)生成任意的二維視圖,但這種方法通常需要嚴(yán)格的環(huán)境條件和巨大的計(jì)算代價(jià).目前,解決跨視角問(wèn)題最常見(jiàn)的方法是構(gòu)建能夠?qū)⒉綉B(tài)特征從一個(gè)視圖投影到另一個(gè)視圖的轉(zhuǎn)換模型.Makihara等[7]提出了一種視圖轉(zhuǎn)換模型,主要是利用奇異值分解的方法計(jì)算每個(gè)步態(tài)能量圖的投影矩陣并計(jì)算出視角特征值.受魯棒的主成分分析在特征提取上的良好表現(xiàn)的啟發(fā),Zheng等[8]提出了一種魯棒的視圖轉(zhuǎn)換模型用于步態(tài)識(shí)別.Bashir等[9]提出了一種基于高斯過(guò)程的框架來(lái)預(yù)估測(cè)試集中的步態(tài)視角的方法,然后運(yùn)用典型相關(guān)分析得出不同視角的步態(tài)序列的相關(guān)性.此外,Yu等人在文獻(xiàn)[10]中提出了一種用自動(dòng)編碼器(SPAE)去除來(lái)自于攜帶物、衣著等影響因素,之后將不同視角的步態(tài)模板特征轉(zhuǎn)換到統(tǒng)一側(cè)面視角的模型.但訓(xùn)練自動(dòng)編碼器過(guò)程較為復(fù)雜,要按照任務(wù)拆分從下至上依次訓(xùn)練,逐層累加,各層累加完畢后要對(duì)整個(gè)網(wǎng)絡(luò)重新調(diào)整.
受GAN在多領(lǐng)域圖像翻譯上的優(yōu)秀效果的啟發(fā),本文提出了一種基于生成對(duì)抗網(wǎng)絡(luò)跨視角的步態(tài)特征提取方法,主要思想是步態(tài)模板的多視角和多狀態(tài)轉(zhuǎn)換.生成對(duì)抗網(wǎng)絡(luò)是一種深度學(xué)習(xí)模型,是近年來(lái)復(fù)雜分布上的無(wú)監(jiān)督學(xué)習(xí)領(lǐng)域中最具前景的方法之一.例如,Choi等人在2017年提出的StarGAN[11]模型在人臉表情、發(fā)色轉(zhuǎn)換的效果非常驚人,堪稱GAN在多領(lǐng)域圖像翻譯中的典型成功案例.GAN的實(shí)現(xiàn)方法是讓生成器和判別器進(jìn)行博弈,訓(xùn)練過(guò)程中通過(guò)相互競(jìng)爭(zhēng)讓這兩個(gè)模型同時(shí)得到增強(qiáng).Yu等在2017年提出的GaitGAN[12]就是將GAN用于視角轉(zhuǎn)換來(lái)進(jìn)行步態(tài)特征提取,與傳統(tǒng)GAN不同的是,GaitGAN使用了兩個(gè)判別器來(lái)確保生成圖片真實(shí)且保留有效的身份信息.但這種方法只是把任意視角的步態(tài)模板轉(zhuǎn)換成了側(cè)面視角的步態(tài)模板,并不能應(yīng)對(duì)實(shí)際情況中復(fù)雜的多視角變換問(wèn)題.此外,He等人在2019年提出的MGANs[13]也是一種基于GAN的多任務(wù)視角轉(zhuǎn)換模型,該文首次將流形學(xué)習(xí)的概念引入步態(tài)視圖特征轉(zhuǎn)換,同時(shí)還提出了一種新的步態(tài)模板周期能量圖(PEI).
2 基于生成對(duì)抗網(wǎng)絡(luò)的步態(tài)特征提取
2.1 算法整體框架
圖1給出了整個(gè)算法的流程圖.首先,所有測(cè)試集、訓(xùn)練集和驗(yàn)證集的步態(tài)視頻序列都被統(tǒng)一處理成同一種步態(tài)模板.對(duì)于測(cè)試集中的一個(gè)a視角下的測(cè)試樣本pa,驗(yàn)證集是含有n個(gè)樣本的b視角下的某種行走狀態(tài)的樣本集合假定pa一定與上述驗(yàn)證集中的某個(gè)樣本具有相同身份,我們的目標(biāo)就是確定pa的身份是{1,2,…,n}中的哪一個(gè).具體過(guò)程是,測(cè)試樣本的步態(tài)模板pa首先經(jīng)過(guò)一個(gè)編碼器E編碼得到隱特征zp=E(pa),然后經(jīng)過(guò)一個(gè)視角轉(zhuǎn)換器V把zp從視角a轉(zhuǎn)換到視角b,得到視角轉(zhuǎn)換后的特征隱表示zg=V(zp,a,b).將zg以及行走狀態(tài)的標(biāo)簽聯(lián)合輸入到生成對(duì)抗網(wǎng)絡(luò)中的生成器,得到視角b下的正常行走狀態(tài)的假特征模板的隱表示.在整個(gè)算法模型中,對(duì)生成器和判別器的訓(xùn)練是尤為重要的,通過(guò)對(duì)生成器與判別器進(jìn)行迭代交叉訓(xùn)練,使得所得到的在達(dá)到視圖轉(zhuǎn)換的同時(shí)最大化的保留身份信息.對(duì)于驗(yàn)證集中的所有步態(tài)模板gbi同樣經(jīng)過(guò)E的編碼得到隱特征其中i∈{1,2,…,n}.最終確定pa的身份是視角b驗(yàn)證集中的gbx,利用最近鄰分類器的計(jì)算公式如下:
其中,‖·‖2代表L2范數(shù).
圖1 算法流程圖
2.2 步態(tài)能量圖
本文提出的算法使用的步態(tài)模板為步態(tài)能量圖[14](GEI).在還沒(méi)有運(yùn)用深度學(xué)習(xí)的方法研究步態(tài)識(shí)別問(wèn)題時(shí),Han等人在文獻(xiàn)[14]中提出的利用GEI和主成分分析進(jìn)行數(shù)據(jù)降維的方法(GEI+PCA)在正常行走狀態(tài)下就取得較好的效果,只是該方法較易受到衣著、攜帶物、視角變化等因素的影響.GEI是步態(tài)識(shí)別技術(shù)中最常用的步態(tài)模板,具有計(jì)算簡(jiǎn)便且能保留原有的步態(tài)序列的周期性的特點(diǎn).簡(jiǎn)單來(lái)說(shuō),步態(tài)能量圖就是一個(gè)完整周期內(nèi)的所有步態(tài)剪影圖的平均,如圖2所示.
圖2 步態(tài)能量圖的合成過(guò)程
GEI中的像素值可以解釋為一個(gè)步態(tài)周期內(nèi),人體占據(jù)GEI中像素位置的概率.由于GEI在步態(tài)識(shí)別中的成功應(yīng)用,本文也采用GEI作為輸入的步態(tài)模板.本文提取GEI的方法與Zheng等人在文獻(xiàn)[8]中提出的方法相同.
2.3 基于生成對(duì)抗網(wǎng)絡(luò)的跨視角步態(tài)特征提取
本文提出的基于生成對(duì)抗網(wǎng)絡(luò)的跨視角步態(tài)特征提取模型主要包含4個(gè)部分:(1)基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器用于對(duì)GEI中的特征進(jìn)行編碼;(2)視角轉(zhuǎn)換器用來(lái)將一個(gè)視角的步態(tài)模板轉(zhuǎn)換到另一個(gè)視角;(3)生成器用于生成視角轉(zhuǎn)換之后的假GEI;(4)判別器用于判斷生成器生成的圖像的真實(shí)性并判斷其是否保留了原有輸入的身份信息.接下來(lái)對(duì)每部分進(jìn)行具體介紹.
2.3.1 編碼器
為了獲得有用的特征進(jìn)行步態(tài)識(shí)別,本文提出的模型中引入了一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器,具體結(jié)構(gòu)如表1所示,其主要由4個(gè)卷積層構(gòu)成.在特征提取的最初階段,輸入是a視角下的步態(tài)能量圖pa.為了減少計(jì)算量,提高訓(xùn)練速度,圖片尺寸縮放為64×64像素.之后使用均值池化并經(jīng)過(guò)全連接層得到步態(tài)特征隱表示zp.非線性激活層采用L-ReLU函數(shù).
表1 編碼器的組成
2.3.2 視角轉(zhuǎn)換器
在跨視角的步態(tài)識(shí)別問(wèn)題中,如何在保留步態(tài)模板的身份特征的情況下轉(zhuǎn)換其視角非常關(guān)鍵.根據(jù)流形學(xué)習(xí)的理論,我們所觀察到的數(shù)據(jù)實(shí)際上是由一個(gè)低維流形映射到高維空間的.可以假設(shè)輸入的步態(tài)模板位于一個(gè)低維的流形上,沿著該流形移動(dòng)的樣本可以實(shí)現(xiàn)視角的轉(zhuǎn)換[13].從視角a到視角b的轉(zhuǎn)換過(guò)程可以用如下公式表示:
其中,za和zb是經(jīng)過(guò)編碼器編碼后得到的步態(tài)特征隱表示,wi表示從視角i–1到視角i的轉(zhuǎn)換向量.與傳統(tǒng)的視角轉(zhuǎn)換方法不同的是,本文提出的模型是將視圖的特征轉(zhuǎn)換到一個(gè)隱空間.具體的轉(zhuǎn)換過(guò)程是通過(guò)沒(méi)有偏置的全連接層來(lái)完成的,從而減少重建視圖所積累的錯(cuò)誤.全連接層的權(quán)重可以表示為nb表示角度的標(biāo)簽,每個(gè)角度對(duì)應(yīng)一個(gè)權(quán)值.因此,編碼視角a到b的過(guò)程用向量可以表示為其中eiab∈{0,1},進(jìn)而視圖轉(zhuǎn)換過(guò)程可以表示為如下公式:
2.3.3 生成器
視角轉(zhuǎn)換器的輸出就是生成器的輸入,主要由5個(gè)反卷積層構(gòu)成,具體參數(shù)如表2所示.生成器的作用是生成與真實(shí)GEI難以區(qū)分的假圖片,但由于步態(tài)識(shí)別的結(jié)果受衣著、攜帶物等不同行走狀態(tài)的影響,所以本文方法中引入了行走狀態(tài)的獨(dú)熱編碼作為標(biāo)簽來(lái)控制輸出的GEI的行走狀態(tài)為正常狀態(tài),從而消除穿大衣、背包等干擾因素.定義生成器的輸入是[zb,c],其中zb是經(jīng)過(guò)視角轉(zhuǎn)換后的視角b下的步態(tài)特征隱表示,c為需要生成的行走狀態(tài)的獨(dú)熱編碼,通過(guò)生成器的反卷積過(guò)程得到重構(gòu)后的步態(tài)能量圖yb.
表2 生成器的組成
2.3.4 判別器
判別器的主要任務(wù)有兩個(gè):(1)判斷生成圖片的真實(shí)性;(2)判別該生成圖片的域是否為指定的角度域和狀態(tài)域.與編碼器類似,判別器主要由4個(gè)卷積層構(gòu)成,具體參數(shù)如表3所示.判別器的輸入為生成器生成的假圖片yb和真實(shí)圖要注意這里的應(yīng)是與生成的yb所指定的角度域、狀態(tài)域一致的真實(shí)GEI.通過(guò)對(duì)生成器和判別器的迭代訓(xùn)練,可以確保生成器生成足夠真實(shí)且保留原有身份信息的假GEI.
表3 判別器的組成
2.4 目標(biāo)函數(shù)
2.4.1 重構(gòu)損失
為了使生成圖像盡可能多的保留原始身份信息,最為重要的就是將真實(shí)圖與生成圖的逐像素?fù)p失最小化,因此提出了重建損失,公式如下:
其中,∥ ·∥1代表L1范數(shù),E、V、G分別表示編碼器,視角轉(zhuǎn)換器和生成器,pa是a視角下的原始輸入GEI,c表示行走狀態(tài)的獨(dú)熱編碼,是真實(shí)的GEI.
2.4.2 對(duì)抗損失
對(duì)于生成器和判別器的訓(xùn)練,我們采用的是常見(jiàn)的對(duì)抗損失,公式如下:
其中,E、V、G、D分別代表編碼器、視角轉(zhuǎn)換器、生成器和判別器,pa是a視角下的原始輸入GEI,c表示行走狀態(tài)的獨(dú)熱編碼,是真實(shí)的GEI.
2.4.3 目標(biāo)損失函數(shù)
最終的關(guān)于E、V、G、D的最終目標(biāo)損失函數(shù)定義如下:
其中,λ是用來(lái)調(diào)節(jié)重建損失和對(duì)抗損失的所占比重的超參數(shù),在本文提出的算法訓(xùn)練過(guò)程中,λ=0.0001.定義最終損失函數(shù)后,使用反向傳播算法對(duì)編碼器、視角轉(zhuǎn)換器、生成器和判別器進(jìn)行訓(xùn)練.
3 實(shí)驗(yàn)與分析
3.1 數(shù)據(jù)集
3.1.1 CASIA-B數(shù)據(jù)集
CASIA-B步態(tài)數(shù)據(jù)集[15]是中國(guó)科學(xué)院自動(dòng)化研究所提供的開(kāi)源跨視角數(shù)據(jù)集,其中包括124人(31女,93男),拍攝視角有11個(gè)(從0°到180°,每18度為一個(gè)間隔),三種行走狀態(tài).每人有10個(gè)視頻序列,6個(gè)為正常行走狀態(tài)(nm01–nm06),2個(gè)為穿大衣行走狀態(tài)(cl0,cl02),2個(gè)為背包行走狀態(tài)(bg01,bg02).
3.1.2 OUMVLP數(shù)據(jù)集
OUMVLP數(shù)據(jù)集[16]是目前規(guī)模最大的多視角步態(tài)數(shù)據(jù)集,由日本大阪大學(xué)提出,其中包括10 307個(gè)人(5114男和5193女),年齡范圍從2到87歲,每人有14個(gè)視角(0°,15°,…,90°;180°,195°,…,270°)和兩個(gè)視頻序列(#00作為驗(yàn)證集,#01作為測(cè)試集).
3.2 實(shí)驗(yàn)設(shè)計(jì)
對(duì)于CASIA-B數(shù)據(jù)集,實(shí)驗(yàn)中我們規(guī)定前62人(ID:001-062)作為訓(xùn)練集,后62人(ID:063-124)作為驗(yàn)證集,并將測(cè)試集分為正常行走(nm)、背包(bg)、穿大衣(cl)及3種狀態(tài)混合(all)共4類,分別進(jìn)行4組實(shí)驗(yàn),具體見(jiàn)表4.訓(xùn)練過(guò)程的迭代次數(shù)為80 000次,學(xué)習(xí)率為1×10–5.
表4 CASIA-B實(shí)驗(yàn)設(shè)計(jì)
對(duì)于OUMVLP數(shù)據(jù)集,為了驗(yàn)證模型的魯棒性,便于與CASIA-B數(shù)據(jù)集做比較,實(shí)驗(yàn)中我們從所有人中隨機(jī)抽取62人作為訓(xùn)練集,再?gòu)氖Ｏ碌娜酥须S機(jī)選擇幾組(62人為一組)作為驗(yàn)證集(#01)和測(cè)試集(#00).
3.3 實(shí)驗(yàn)結(jié)果與分析
經(jīng)過(guò)在CASIA-B數(shù)據(jù)集上的實(shí)驗(yàn),3種行走狀態(tài)下與所有情況下的平均rank-1準(zhǔn)確率如表5所示.
為了對(duì)實(shí)驗(yàn)結(jié)果更加直觀的進(jìn)行分析,我們選擇了3種在非跨視角情況下取得較好識(shí)別效果的方法(GEI-PCA[14],SPAE[10],GaitGAN[12])在同樣數(shù)據(jù)集上的平均rank-1準(zhǔn)確率進(jìn)行了對(duì)比.圖3為測(cè)試集與驗(yàn)證集視角相同條件下識(shí)別準(zhǔn)確率的柱狀圖,從圖中可以看出在nm和bg狀態(tài)下,本文提出的方法與其他3種方法沒(méi)有較大優(yōu)勢(shì),但在cl狀態(tài)下,識(shí)別準(zhǔn)確率有所提升,驗(yàn)證了本文方法對(duì)于衣著這個(gè)干擾因素具有更好的適應(yīng)性.
表5 3種行走狀態(tài)下的平均rank-1準(zhǔn)確率(單位:%)
圖3 同視角下的平均rank-1準(zhǔn)確率比較
為了更好驗(yàn)證本文方法是否在跨視角步態(tài)識(shí)別上更具優(yōu)勢(shì),在排除相同視角的情況下,我們選取了54°、90°和126°三種典型視角與 deepCNNs[4]、SPAE[10]、GaitGAN[12]及MGANs[13]4種方法進(jìn)行了比較,這4種方法代表了近年來(lái)利用深度學(xué)習(xí)進(jìn)行跨視角步態(tài)識(shí)別研究的最先進(jìn)成果.具體結(jié)果如表6所示.
由于幾年來(lái)在OU-MVLP數(shù)據(jù)集上的實(shí)驗(yàn)數(shù)據(jù)不多,所以下面只選擇了GEINet[3]與本文提出的實(shí)驗(yàn)結(jié)果進(jìn)行比較,如表7所示.
綜合2個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果可以得出結(jié)論,在測(cè)試集與驗(yàn)證集視角不一致的情況下,本文提出的方法的平均rank-1準(zhǔn)確率具有大幅度的提升,因此,該方法能較好地解決跨視角步態(tài)識(shí)別問(wèn)題.
表6 CASIA-B排除相同視角下3種典型視角的識(shí)別準(zhǔn)確率 (單位:%)
表7 OU-MVLP排除相同視角下的rank-1準(zhǔn)確率 (單位:%)
3.4 模型評(píng)估
結(jié)合3.3部分的實(shí)驗(yàn)結(jié)果,不難發(fā)現(xiàn),在相同視角的步態(tài)識(shí)別問(wèn)題上,本文提出的模型雖然不是最優(yōu)但并沒(méi)有顯著劣勢(shì),且在穿著大衣的干擾因素下與其他方法相比具有更好的效果.在跨視角步態(tài)識(shí)別問(wèn)題上,本文方法的平均rank-1準(zhǔn)確率有了大幅度的提升.這主要由于本文提出的模型在同視角識(shí)別的狀態(tài)下,與傳統(tǒng)深度學(xué)習(xí)方法相比沒(méi)有做出過(guò)多改進(jìn),而在跨視角識(shí)別問(wèn)題和攜帶物、衣著變化上則具有一定優(yōu)勢(shì).
此外,隨著行走狀態(tài)的改變,從表5可以看出,3種情況對(duì)于步態(tài)識(shí)別準(zhǔn)確率的影響程度是cl>bg>nm,這與以往研究結(jié)果一致.這是由于步態(tài)識(shí)別最重要的部分在于提取腿部特征,所以在穿著大衣的情況下能保留的腿部有效信息是最少的,所以該情況下識(shí)別準(zhǔn)確率會(huì)收到較大影響.對(duì)于跨視角步態(tài)識(shí)別問(wèn)題,觀察表5不難發(fā)現(xiàn),視角在90°左右的識(shí)別效果較好,而在0°和180°附近時(shí)識(shí)別效果較差.這是由于在90°狀態(tài)下,可以提取到的腿部變化的信息是最多的,隨著跨度增大,提取的有效信息逐漸變少,從而導(dǎo)致不同視角下的識(shí)別準(zhǔn)確率差異較大.
綜上所述,本文提出的模型能較好的解決跨視角步態(tài)識(shí)別問(wèn)題,且在行走狀態(tài)變化情況下具有一定的魯棒性,實(shí)驗(yàn)結(jié)果也驗(yàn)證了該方法是有效且可行的.
4 結(jié)論與展望
本文提出了一種基于生成對(duì)抗網(wǎng)絡(luò)的步態(tài)特征提取方法,能有效緩解拍攝視角、衣著和攜帶物變化等因素對(duì)步態(tài)識(shí)別結(jié)果的影響,在CASIA-B和OUMVLP數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的方法可以對(duì)步態(tài)模板進(jìn)行任意角度的轉(zhuǎn)化并提取出包含有效身份信息的步態(tài)特征.同時(shí),與現(xiàn)有的其他方法的比較也表明本文的方法是有效且可行的.
然而,目前所做的工作還不夠,實(shí)驗(yàn)所用的數(shù)據(jù)集的規(guī)模還比較小,識(shí)別準(zhǔn)確率也還不夠高.今后,在訓(xùn)練階段要使用更大規(guī)模的數(shù)據(jù)集,使用網(wǎng)絡(luò)結(jié)構(gòu)更復(fù)雜且更具魯棒性的模型.相信未來(lái)生成對(duì)抗網(wǎng)絡(luò)的發(fā)展會(huì)更好,使得包括步態(tài)識(shí)別在內(nèi)的其他問(wèn)題取得新的研究突破.
猜你喜歡
科學(xué)大眾(2024年5期)2024-03-06 09:40:34
電子制作(2018年18期)2018-11-14 01:48:04
成都信息工程大學(xué)學(xué)報(bào)(2018年3期)2018-08-29 01:08:40
自動(dòng)化學(xué)報(bào)(2018年6期)2018-07-23 02:55:42
中學(xué)生數(shù)理化·中考版(2017年6期)2017-11-09 02:46:46
非公有制企業(yè)黨建(2017年10期)2017-11-03 02:26:27
現(xiàn)代兵器(2017年4期)2017-06-02 15:59:24
現(xiàn)代兵器(2017年4期)2017-06-02 15:58:14
電子設(shè)計(jì)工程(2017年20期)2017-02-10 03:39:29
電子器件(2015年5期)2015-12-29 08:42:24
