姚 鵬，周曉晶，金思甫，湯張楓

基于視頻的人體行走參數(shù)測(cè)量方法及應(yīng)用

姚 鵬1，周曉晶1，金思甫1，湯張楓2

(1. 東南大學(xué)儀器科學(xué)與工程學(xué)院，江蘇 南京 210096；2. 杭州螢石軟件有限公司，浙江 杭州 310051)

針對(duì)現(xiàn)有的人體行走參數(shù)測(cè)量方法復(fù)雜度高、效率低等問題，提出了一種基于視頻的人體行走參數(shù)測(cè)量方法。利用監(jiān)督學(xué)習(xí)的方法對(duì)視頻中的運(yùn)動(dòng)目標(biāo)進(jìn)行姿態(tài)估計(jì)，逐幀識(shí)別骨骼關(guān)節(jié)點(diǎn)。然后根據(jù)頭部和腳部特征點(diǎn)，結(jié)合場(chǎng)景標(biāo)定獲取的像素距離與實(shí)際距離的轉(zhuǎn)換關(guān)系，實(shí)現(xiàn)行走身高測(cè)量；根據(jù)關(guān)節(jié)特征點(diǎn)，利用余弦公式計(jì)算關(guān)節(jié)活動(dòng)度；根據(jù)腳部特征點(diǎn)，提出了一種結(jié)合前后極點(diǎn)幀差和像素差判斷行走步長和步速的方法。最后提出了一種基于Unity3D的虛擬人隨動(dòng)控制方法，能夠在虛擬場(chǎng)景中進(jìn)行運(yùn)動(dòng)仿真，便于實(shí)時(shí)監(jiān)控和分析視頻中的人體異常行為并做出預(yù)警。實(shí)驗(yàn)表明該方法具有操作簡(jiǎn)單、準(zhǔn)確度高和實(shí)時(shí)性強(qiáng)等優(yōu)點(diǎn)。

單目視頻；人體關(guān)節(jié)點(diǎn)；行走參數(shù)；虛擬人仿真；異常行為

人體行走是復(fù)雜的非剛體運(yùn)動(dòng)，運(yùn)動(dòng)形式復(fù)雜多樣。通過對(duì)行人進(jìn)行檢測(cè)、跟蹤、計(jì)算得到人體行走參數(shù)，并獲得多種信息，在安全監(jiān)控、刑事偵查、醫(yī)療診斷和虛擬現(xiàn)實(shí)等領(lǐng)域均有廣闊地應(yīng)用前景[1]。相比于其他非接觸測(cè)量方式，如紅外線[2]、激光[3]、雷達(dá)[4]等，基于視頻的人體行走參數(shù)測(cè)量技術(shù)只需對(duì)三維場(chǎng)景進(jìn)行簡(jiǎn)單地拍攝，就可以隨時(shí)利用測(cè)量軟件進(jìn)行在線或離線測(cè)量，具有結(jié)構(gòu)簡(jiǎn)單、成本低廉、安全性高等多重優(yōu)勢(shì)。

基于視頻的測(cè)量方法是從對(duì)單幅圖像的測(cè)量發(fā)展而來，其利用視頻序列中的信息進(jìn)行運(yùn)動(dòng)測(cè)量，能夠?qū)螏瑘D像的測(cè)量結(jié)果做概率統(tǒng)計(jì)從而得到更加精確的平均值，是非接觸式測(cè)量中非常重要的方法之一。CRIMINISI等[5]首次提出了單幅圖像測(cè)量理論，利用消失點(diǎn)和消失線以及共線四點(diǎn)的交并比不變性計(jì)算度量信息之間的比例關(guān)系，從而得到目標(biāo)的真實(shí)距離。CHAI和CAO[6]在該理論的基礎(chǔ)上提出了一種基于單目視覺的人體身高實(shí)時(shí)測(cè)量算法，通過消失點(diǎn)和消失線提取每幀圖像中的頭部頂點(diǎn)和足部點(diǎn)，設(shè)置多個(gè)參考目標(biāo)進(jìn)行測(cè)量得到目標(biāo)平均身高。但此類算法從監(jiān)控視頻中獲得人體身高通常不夠準(zhǔn)確，且圖像的分辨率過低，提取的從頭到腳位置不夠準(zhǔn)確，以致造成對(duì)幀內(nèi)高度的低估。為了解決上述問題，一些學(xué)者通常會(huì)選擇先對(duì)視頻進(jìn)行校準(zhǔn)，TOSTI等[7]嘗試使用意大利AMPED SOFTWARE公司開發(fā)的Amped Five法醫(yī)圖像和視頻增強(qiáng)軟件對(duì)高度失真的低分辨率視頻監(jiān)控圖像中的消失線進(jìn)行校準(zhǔn)，從而提高人體身高估計(jì)的精度。KAINZ等[8]則是采用ArUco標(biāo)記的校準(zhǔn)對(duì)象來估計(jì)視頻中的人體高度。此類方法雖然測(cè)量準(zhǔn)確度較高，但繁瑣的校準(zhǔn)過程，限制了在復(fù)雜場(chǎng)景的適用性。

目前大多數(shù)的人體行走監(jiān)測(cè)系統(tǒng)均需專門部署可提供三維信息的深度相機(jī)Kinect[9-10]，以計(jì)算時(shí)空行走參數(shù)(如步長、步速等)和運(yùn)動(dòng)學(xué)參數(shù)(如膝關(guān)節(jié)、肘關(guān)節(jié)和髖關(guān)節(jié)的屈曲)。STONE和SKUBIC[11]的研究指出，網(wǎng)絡(luò)攝像頭系統(tǒng)在測(cè)量步長時(shí)優(yōu)于Kinect，是因紅外反射對(duì)人體穿著含有氨綸成分的服裝表現(xiàn)不佳，導(dǎo)致Kinect相機(jī)無法獲取這部分人體的深度數(shù)據(jù)，而網(wǎng)絡(luò)攝像頭系統(tǒng)可以更準(zhǔn)確地提取用于計(jì)算步長的腳步位置。使用Kinect深度相機(jī)雖然能從單個(gè)深度圖像中預(yù)測(cè)人體關(guān)節(jié)位置，但也極易受到光照、前景遮擋以及人體自遮擋的影響。

近年來，隨著人工智能的不斷發(fā)展，基于深度學(xué)習(xí)的人體姿態(tài)估計(jì)算法已經(jīng)無需借助深度相機(jī)，便可從普通RGB攝像頭采集的圖像中預(yù)測(cè)出人體位置并提取骨架中的稀疏關(guān)節(jié)點(diǎn)坐標(biāo)[12]。OpenPose人體姿態(tài)識(shí)別項(xiàng)目[13]是美國卡耐基梅隆大學(xué)基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)和監(jiān)督學(xué)習(xí)開發(fā)的開源庫，是世界首個(gè)基于深度學(xué)習(xí)的實(shí)時(shí)多人二維姿態(tài)估計(jì)應(yīng)用。OpenPose首次提出了部分親和場(chǎng)(part affinity fields，PAFs)的概念，并用于描述肢體的位置和方向，解決了多人識(shí)別問題，并采用大卷積核來獲得大的感受野，能夠有效地推斷被遮擋的關(guān)節(jié)。但OpenPose模型也存在很多不足，如網(wǎng)絡(luò)參數(shù)較多、計(jì)算量較大等。劉玉杰等[14]提出的基于全局姿態(tài)感知的輕量級(jí)人體姿態(tài)估計(jì)模型，以損失很小的精度為代價(jià)大大減少了網(wǎng)絡(luò)的參數(shù)量和計(jì)算量，其參數(shù)量?jī)H為OpenPose的10%。

本文通過研究發(fā)現(xiàn)，目前使用普通RGB攝像頭測(cè)量人體行走參數(shù)的研究多集中在測(cè)量行人身高信息，而對(duì)測(cè)量其他很有意義參數(shù)的研究不充分，如行人運(yùn)動(dòng)速度、步長、關(guān)節(jié)運(yùn)動(dòng)角度等。因此，本文提出了一種基于視頻的人體行走參數(shù)測(cè)量的方法，可實(shí)現(xiàn)對(duì)關(guān)節(jié)活動(dòng)度、行走身高、步長和步速等參數(shù)的實(shí)時(shí)測(cè)量；同時(shí)還提出了一種基于Unity3D的虛擬人隨動(dòng)控制方法，能夠在虛擬場(chǎng)景中進(jìn)行運(yùn)動(dòng)仿真，便于實(shí)時(shí)監(jiān)控和分析視頻中的異常行為并及時(shí)做出預(yù)警，該方法具有較高的測(cè)量精度和較強(qiáng)的魯棒性。

1 人體行走參數(shù)測(cè)量方法

基于視頻的人體行走參數(shù)測(cè)量方法的整體框架如圖1所示。該算法主要包括人體骨架特征提取、行走參數(shù)測(cè)量、虛擬人隨動(dòng)控制和異常行為識(shí)別等4個(gè)核心模塊。該方法的流程是：首先輸入視頻序列，由OpenPose對(duì)視頻序列中的人體運(yùn)動(dòng)目標(biāo)進(jìn)行逐幀檢測(cè)并提取關(guān)節(jié)點(diǎn)。根據(jù)頭部、腳部特征點(diǎn)，結(jié)合場(chǎng)景標(biāo)定獲取圖像像素距離與實(shí)際距離的轉(zhuǎn)換關(guān)系，實(shí)現(xiàn)行走身高測(cè)量。根據(jù)肘關(guān)節(jié)、肩關(guān)節(jié)、腕關(guān)節(jié)特征點(diǎn)，利用余弦式計(jì)算關(guān)節(jié)活動(dòng)度。根據(jù)腳部特征點(diǎn)，提出了一種結(jié)合前后極點(diǎn)幀差和像素差判斷行走步長和步速的方法。本文還提出了一種基于Unity3D的虛擬人隨動(dòng)控制方法，能夠在虛擬場(chǎng)景中實(shí)現(xiàn)從視頻到虛擬人模型的動(dòng)作仿真和生成自然流暢的人物動(dòng)畫，并利用測(cè)量的行走參數(shù)，可在虛擬場(chǎng)景中實(shí)時(shí)監(jiān)控和分析異常行為。

圖1 本文方法的整體框圖

1.1 人體關(guān)節(jié)點(diǎn)定位

OpenPose是一種自底向上的方法，先檢測(cè)出圖像中所有人的關(guān)節(jié)點(diǎn)，然后再將檢測(cè)出的關(guān)節(jié)點(diǎn)分配給每個(gè)對(duì)應(yīng)的人。與自頂向下的方法相比，其僅僅使用單位時(shí)間就可以檢測(cè)整幅圖中的所有人，檢測(cè)時(shí)間不受人數(shù)的影響。OpenPose模型本質(zhì)上是一個(gè)雙并行CNN模型，同時(shí)使用2個(gè)CNN，一個(gè)網(wǎng)絡(luò)從圖像中預(yù)測(cè)人體關(guān)節(jié)位置，另一個(gè)網(wǎng)絡(luò)則用于連接關(guān)節(jié)組成肢體，最后將2個(gè)網(wǎng)絡(luò)的結(jié)果進(jìn)行姿態(tài)組裝，完成對(duì)圖像中人體的姿態(tài)估計(jì)。OpenPose姿態(tài)估計(jì)算法的另一個(gè)優(yōu)勢(shì)是對(duì)人體的檢測(cè)并不依賴于圖像中的局部特征，即使在圖像分辨率較低或噪聲較大的條件下也可以準(zhǔn)確提取目標(biāo)的二維關(guān)節(jié)點(diǎn)坐標(biāo)。

本文主要使用了OpenPose開源庫提供的基于BODY25數(shù)據(jù)集的人體關(guān)節(jié)點(diǎn)識(shí)別算法，其支持25個(gè)人體關(guān)節(jié)點(diǎn)的識(shí)別，關(guān)節(jié)點(diǎn)映射次序如圖2所示。輸入視頻序列，可以輸出每一幀圖像的人體骨骼結(jié)構(gòu)圖和關(guān)節(jié)點(diǎn)坐標(biāo)，每個(gè)關(guān)節(jié)點(diǎn)信息由(,,) 3個(gè)數(shù)據(jù)組成，其中和為關(guān)節(jié)點(diǎn)在圖像中的橫、縱坐標(biāo)，坐標(biāo)原點(diǎn)位于圖像的左上角，橫坐標(biāo)方向水平向右，縱坐標(biāo)方向豎直向下，為經(jīng)過歸一化處理后的預(yù)測(cè)評(píng)分，其值越趨近于1，則表明關(guān)節(jié)點(diǎn)的預(yù)測(cè)置信度越高。

通過OpenPose雖然能夠?qū)崟r(shí)獲取每一幀圖像的人體骨骼關(guān)節(jié)點(diǎn)，但要想進(jìn)一步獲取人體行走參數(shù)，還需要對(duì)這些關(guān)節(jié)點(diǎn)坐標(biāo)數(shù)據(jù)進(jìn)行處理。

1.2 關(guān)節(jié)活動(dòng)度測(cè)量算法

人體關(guān)節(jié)主要包括肩關(guān)節(jié)、肘關(guān)節(jié)和膝關(guān)節(jié)等。肘關(guān)節(jié)活動(dòng)度是以肘關(guān)節(jié)為頂點(diǎn)，肩關(guān)節(jié)和腕關(guān)節(jié)為端點(diǎn)構(gòu)成的夾角θ；膝關(guān)節(jié)活動(dòng)度是以膝關(guān)節(jié)為頂點(diǎn)，髖關(guān)節(jié)和踝關(guān)節(jié)為端點(diǎn)構(gòu)成的夾角θ；肩關(guān)節(jié)活動(dòng)度較為特殊，是以肩關(guān)節(jié)為頂點(diǎn)，上臂和0°基準(zhǔn)線所構(gòu)成夾角θ。要計(jì)算關(guān)節(jié)活動(dòng)度，首先需要針對(duì)其關(guān)節(jié)部位選取3個(gè)特征點(diǎn)，利用OpenPose獲取其位置信息，再通過余弦定理計(jì)算其運(yùn)動(dòng)的角度，測(cè)量示意圖如圖3所示。

圖2 BODY25模型關(guān)節(jié)點(diǎn)映射次序

圖3 人體關(guān)節(jié)活動(dòng)度測(cè)量示意圖

以肩關(guān)節(jié)活動(dòng)度為例，其他幾類關(guān)節(jié)活動(dòng)度計(jì)算方法類似。假設(shè)圖像中肘關(guān)節(jié)坐標(biāo)為(x,y)、肩關(guān)節(jié)坐標(biāo)為(x,y)，在肩關(guān)節(jié)正下方的0°基準(zhǔn)線上任取一點(diǎn)記為(x,0)，下標(biāo)?{0,1}，0表示左側(cè)肢體，1表示右側(cè)肢體。首先計(jì)算出關(guān)節(jié)點(diǎn)兩兩之間的歐氏距離，再利用余弦定理計(jì)算出肩關(guān)節(jié)活動(dòng)度，即

1.3 行走身高測(cè)量算法

行走身高定義為人體頭頂點(diǎn)到地平面的垂直距離，由于行走過程中人體質(zhì)心的上下起伏，這個(gè)距離是動(dòng)態(tài)變化的，可以將人體的行走身高近似視為上身長度1和下身長度2之和，則行走身高為

其中，d為鼻子到髖關(guān)節(jié)的豎直距離；d為髖關(guān)節(jié)到踝關(guān)節(jié)的豎直距離。

此時(shí)根據(jù)關(guān)節(jié)點(diǎn)坐標(biāo)計(jì)算得到的行走身高僅僅是像素距離，還需要通過相機(jī)標(biāo)定，獲取相機(jī)內(nèi)外參數(shù)矩陣和畸變系數(shù)，方可將像素距離轉(zhuǎn)化為實(shí)際的身高，本文使用的方法是經(jīng)典的張正友標(biāo)定法[15]，標(biāo)定過程不再贅述。

1.4 步長和步速測(cè)量算法

人在行走過程中，左右腳是交替進(jìn)行動(dòng)作，腳步動(dòng)作可分為支撐和抬腿向前2個(gè)階段，則步長可以通過抬腿向前階段腳部像素變化量得到，但OpenPose檢測(cè)到的腳在支撐階段的坐標(biāo)通常不恒定，會(huì)有一個(gè)小范圍浮動(dòng)。因此針對(duì)支撐腳的坐標(biāo)變化特點(diǎn)，提出了如下測(cè)量步長的方法：

(1) 輸入圖像序列，取連續(xù)3幀圖像的腳部像素位置，即當(dāng)前幀及前后幀圖像；

(2) 判斷當(dāng)前幀的腳部像素位置是否為極點(diǎn)，若不是則取當(dāng)前幀的下一幀，返回步驟1；

(3) 判斷當(dāng)前幀的腳部像素位置是否為有效極點(diǎn)，若是則保存腳部像素坐標(biāo)，反之則取當(dāng)前幀的下一幀，返回步驟1；

(4) 判斷有效極點(diǎn)個(gè)數(shù)是否大于2，若是則計(jì)算步長對(duì)應(yīng)的像素差并輸出，反之則取當(dāng)前幀的下一幀，返回步驟1。

當(dāng)腳處于支撐階段時(shí)，腳坐標(biāo)均可視為極點(diǎn)，判斷極點(diǎn)是否為有效極點(diǎn)是該算法的核心。本文的判斷依據(jù)綜合了前后極點(diǎn)的幀數(shù)差與極點(diǎn)所對(duì)應(yīng)腳像素坐標(biāo)的距離差，即一個(gè)步長對(duì)應(yīng)的像素差與幀數(shù)應(yīng)滿足某一范圍。在判斷極點(diǎn)是否有效時(shí)，將一段連續(xù)圖像序列內(nèi)的無效極點(diǎn)視為同一支撐階段的腳像素坐標(biāo)，進(jìn)行均值計(jì)算，得到真實(shí)步長。

若步長對(duì)應(yīng)的幀差為，視頻幀速率為，則步速為

2 人體行走參數(shù)測(cè)量的應(yīng)用

傳統(tǒng)的視頻監(jiān)控系統(tǒng)，大多采用人為的監(jiān)控和處理，但由于監(jiān)控場(chǎng)景背景復(fù)雜、要素過多、圖像分辨率低等原因，安保人員容易產(chǎn)生視覺疲勞，難以及時(shí)發(fā)現(xiàn)監(jiān)控場(chǎng)景中的人體異常行為。而實(shí)時(shí)復(fù)現(xiàn)的虛擬場(chǎng)景背景清晰、人物模型簡(jiǎn)單，很好地彌補(bǔ)了傳統(tǒng)視頻監(jiān)控的這一缺點(diǎn)，因此通過實(shí)時(shí)測(cè)量人體行走參數(shù)，識(shí)別視頻中的異常行為，并在Unity3D虛擬場(chǎng)景中進(jìn)行實(shí)時(shí)的運(yùn)動(dòng)仿真，分析異常行為的發(fā)生原因，及時(shí)做出預(yù)警，具有極大的現(xiàn)實(shí)意義。

2.1 基于Unity3D的虛擬人隨動(dòng)控制方法

本文提出了基于Unity3D虛擬人隨動(dòng)控制方法，是將OpenPose獲取的關(guān)節(jié)坐標(biāo)在Unity3D虛擬場(chǎng)景中進(jìn)行實(shí)現(xiàn)。由于對(duì)異常行為的識(shí)別更注重人體姿態(tài)的分析，因此可以忽視人體的碰撞體積和剛體屬性，虛擬人建模時(shí)可用小球代替關(guān)節(jié)點(diǎn)，將人體抽象為簡(jiǎn)單的點(diǎn)線模型。

驅(qū)動(dòng)虛擬人模型實(shí)時(shí)跟隨視頻監(jiān)控中的人體運(yùn)動(dòng)由控制腳本完成，即：首先需要對(duì)虛擬人模型和OpenPose人體骨架的關(guān)節(jié)順序進(jìn)行一致性映射處理；逐幀讀取和解析OpenPose輸出的JSON文件，獲取文件中的人體關(guān)節(jié)點(diǎn)坐標(biāo)；當(dāng)坐標(biāo)匹配時(shí)，將數(shù)據(jù)賦值給虛擬人模型對(duì)應(yīng)的關(guān)節(jié)點(diǎn)，將其移動(dòng)至虛擬場(chǎng)景世界坐標(biāo)系的對(duì)應(yīng)位置，即可驅(qū)動(dòng)虛擬人模型同步運(yùn)動(dòng)。

虛擬人模型及其運(yùn)動(dòng)仿真效果如圖4所示，OpenPose將采集到的關(guān)節(jié)點(diǎn)數(shù)據(jù)實(shí)時(shí)傳遞給Unity3D中的虛擬人模型，實(shí)現(xiàn)人體動(dòng)作的隨動(dòng)控制，生成實(shí)時(shí)的人物動(dòng)畫。

2.2 基于人體運(yùn)動(dòng)參數(shù)的跌倒檢測(cè)

由于異常行為的多樣性以及與正常行為區(qū)分的復(fù)雜性，使得異常行為的界定很難提出統(tǒng)一的通用模型，往往需要根據(jù)具體的真實(shí)場(chǎng)景進(jìn)行分析和定義。因此本文以最常見的異常行為——人體跌倒為例，通過分析以下人體行走參數(shù)，對(duì)跌倒行為進(jìn)行簡(jiǎn)單地識(shí)別和判定：

圖4 基于Unity3D的虛擬人隨動(dòng)控制

(1) 行走身高變化幅度。人體在突然墜落的過程中，身高隨之發(fā)生驟變，由于從站立到跌倒是一個(gè)非常短的過程，因此每5個(gè)相鄰幀檢測(cè)一次，若在此期間的身高變化幅度超過25 cm，則認(rèn)為已檢測(cè)到異常特征。

(2) 人體軀干與豎直方向的夾角。在跌落過程中，人體最明顯的特征是身體傾斜，因此可以用人體軀干與豎直方向的夾角來描述人體下落過程中身體連續(xù)傾斜的特點(diǎn)。若軀干與豎直方向的夾角超過60°，則認(rèn)為已檢測(cè)到異常特征。

(3) 在被判定為可能發(fā)生跌倒后，若1 min內(nèi)未恢復(fù)，則被確定為跌倒事件，應(yīng)及時(shí)發(fā)出預(yù)警，指示救援。

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)場(chǎng)景分為室外場(chǎng)景和室內(nèi)場(chǎng)景，室內(nèi)光源為普通照明光線，室外為自然光線。實(shí)驗(yàn)視頻均采用Sony DSC-HX10V相機(jī)拍攝，總像素?cái)?shù)約1 890萬，拍攝時(shí)行人垂直于相機(jī)的主光軸運(yùn)動(dòng)，拍攝的角度大致與人體平行，視頻分辨率均為1280×720，幀速率均為30 Hz。肩關(guān)節(jié)活動(dòng)度在前伸和后屈的極限位置的實(shí)際值可利用電子數(shù)顯量角尺測(cè)量得到，行人身高和步長的實(shí)際長度使用卷尺人工測(cè)量得到，行走的實(shí)際平均速度通過秒表測(cè)量目標(biāo)行走指定距離所需的時(shí)間得到?？紤]到人體行走參數(shù)具有個(gè)體差異性，為了保證實(shí)驗(yàn)結(jié)果的可靠性，針對(duì)不同的行走參數(shù)均設(shè)置了不同的運(yùn)動(dòng)目標(biāo)，并在不同的場(chǎng)景進(jìn)行多次測(cè)量。

3.1 肩關(guān)節(jié)活動(dòng)度測(cè)量結(jié)果及分析

肩關(guān)節(jié)活動(dòng)度測(cè)量分別在室內(nèi)、外進(jìn)行，運(yùn)動(dòng)目標(biāo)完成一次完整的擺臂過程要經(jīng)過“前伸”“下垂”和“后屈”3個(gè)階段，分別對(duì)運(yùn)動(dòng)目標(biāo)1 (圖5)的左肩活動(dòng)度和運(yùn)動(dòng)目標(biāo)2(圖6)的右肩活動(dòng)度進(jìn)行多幀跟蹤。實(shí)驗(yàn)共循環(huán)擺臂20次，取其中連續(xù)的500幀進(jìn)行數(shù)據(jù)分析，左右肩關(guān)節(jié)角度變化如圖7所示，大致呈周期性變化，符合實(shí)際預(yù)期。實(shí)驗(yàn)表明該方法能夠及時(shí)捕捉到人體關(guān)節(jié)角度的變化情況，且人體在擺臂過程中，極限前伸角度約為180°，極限后屈角度約為-60°，符合正常成年人的肩關(guān)節(jié)活動(dòng)范圍。

圖5 左側(cè)肩關(guān)節(jié)活動(dòng)度多幀跟蹤結(jié)果(室內(nèi))

圖6 右側(cè)肩關(guān)節(jié)活動(dòng)度多幀跟蹤結(jié)果(室外)

圖7 左右兩側(cè)肩關(guān)節(jié)活動(dòng)度變化曲線

3.2 行走身高測(cè)量結(jié)果及分析

在室內(nèi)、外測(cè)量不同身高行人正常行走的身高，運(yùn)動(dòng)目標(biāo)1～4的單幀跟蹤結(jié)果如圖8所示，對(duì)每個(gè)運(yùn)動(dòng)目標(biāo)取500幀數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，行走身高統(tǒng)計(jì)結(jié)果見表1，雖然OpenPose在輸出關(guān)節(jié)坐標(biāo)時(shí)在特定幀上易出現(xiàn)抖動(dòng)和跳變從而帶來一定誤差，但總體上行走身高的標(biāo)準(zhǔn)差不超過2 cm，相對(duì)誤差不超過1.5%，實(shí)驗(yàn)結(jié)果可靠。

圖8 多目標(biāo)行走身高單幀跟蹤結(jié)果((a)～(b)運(yùn)動(dòng)目標(biāo)1和2 (室內(nèi))；(c)～(d)運(yùn)動(dòng)目標(biāo)3和4 (室外))

表1 行走身高統(tǒng)計(jì)分析表

行走身高變化情況是跌倒檢測(cè)的重要判斷依據(jù)，圖9顯示了運(yùn)動(dòng)目標(biāo)從直立行走到突然下蹲再恢復(fù)直立行走的過程中身高的跟蹤測(cè)量情況，當(dāng)人體下蹲時(shí)，測(cè)得的行走身高會(huì)發(fā)生驟變，實(shí)驗(yàn)表明該方法能夠及時(shí)捕捉身高的變化情況。

3.3 步長和步速測(cè)量結(jié)果及分析

選取不同身高、性別的行人作為實(shí)驗(yàn)?zāi)繕?biāo)，分別在室內(nèi)和室外對(duì)正常行走和慢跑2種運(yùn)動(dòng)狀態(tài)進(jìn)行實(shí)驗(yàn)，對(duì)每個(gè)運(yùn)動(dòng)目標(biāo)同時(shí)測(cè)量其步長和步速。運(yùn)動(dòng)目標(biāo)1～4的多幀跟蹤結(jié)果如圖10所示，各取200幀圖片進(jìn)行統(tǒng)計(jì)分析，本文通過與平均步長和平均步速比較得出結(jié)論(表2)。實(shí)驗(yàn)結(jié)果表明，由于每個(gè)人的生理結(jié)構(gòu)和走路習(xí)慣不同，不同人的步長和步速在數(shù)值上難以得出一個(gè)統(tǒng)一的變化規(guī)律，即使是同一個(gè)人，在不同時(shí)刻的步長和步速也有較大差異，但整體上實(shí)驗(yàn)測(cè)得每個(gè)人在行走狀態(tài)下步長相對(duì)誤差不超過2.7%，步速的相對(duì)誤差不超過1.8%，在慢跑狀態(tài)下步長相對(duì)誤差不超過3.4%，步速的相對(duì)誤差不超過2.5%，實(shí)驗(yàn)表明該方法具有較高的測(cè)量準(zhǔn)確度。

3.4 虛擬人運(yùn)動(dòng)仿真及跌倒檢測(cè)

在虛擬場(chǎng)景中對(duì)運(yùn)動(dòng)進(jìn)行仿真及跌倒檢測(cè)的實(shí)驗(yàn)結(jié)果如圖11所示，當(dāng)控制腳本檢測(cè)到場(chǎng)景中某人的行走參數(shù)超過設(shè)定的閾值時(shí)，將界定為跌倒事件，并及時(shí)做出預(yù)警。具體表現(xiàn)為虛擬場(chǎng)景中虛擬人的顏色變化，正常行走時(shí)虛擬人為藍(lán)色，當(dāng)檢測(cè)場(chǎng)景中某人出現(xiàn)異常特征，則虛擬人的顏色變化更加醒目，便于與場(chǎng)景中的其他虛擬人區(qū)分，輔助監(jiān)控人員及時(shí)發(fā)現(xiàn)異常情況，如果跌倒后未及時(shí)站起，算法將視為人體無法站立，自動(dòng)將虛擬人標(biāo)紅，提示監(jiān)控人員需要立刻采取援救措施。

圖9 運(yùn)動(dòng)目標(biāo)下蹲時(shí)身高測(cè)量結(jié)果

圖10 運(yùn)動(dòng)目標(biāo)1～4步長和步速測(cè)量結(jié)果((a)～(b)運(yùn)動(dòng)目標(biāo)1行走和慢跑 (室內(nèi))；(c)～(d)運(yùn)動(dòng)目標(biāo)2行走和慢跑(室內(nèi))；(e)～(f)運(yùn)動(dòng)目標(biāo)3行走和慢跑(室外)；(g)～(h)運(yùn)動(dòng)目標(biāo)4行走和慢跑(室外))

表2 步長和步速測(cè)量結(jié)果統(tǒng)計(jì)分析表

圖11 基于虛擬人動(dòng)作仿真的跌倒檢測(cè)及預(yù)警((a)視頻監(jiān)控視角；(b)虛擬場(chǎng)景視角)

4 結(jié)束語

本文給出了一種基于視頻的人體行走參數(shù)測(cè)量方法，針對(duì)不同的實(shí)驗(yàn)場(chǎng)景和運(yùn)動(dòng)目標(biāo)，均能準(zhǔn)確地實(shí)現(xiàn)對(duì)關(guān)節(jié)活動(dòng)度、行走身高、步長和步速等行走參數(shù)的實(shí)時(shí)測(cè)量。該方法無需精確的前景，對(duì)人體自遮擋而造成部分信息缺少的情況，仍能得到較為準(zhǔn)確的人體行走參數(shù)值，測(cè)試系統(tǒng)魯棒性強(qiáng)。由于本文提出的人體行走參數(shù)測(cè)量方法執(zhí)行速度快，可以完成對(duì)人體行為的實(shí)時(shí)監(jiān)控，因此可以用于對(duì)人體異常行為進(jìn)行識(shí)別和判定。利用測(cè)量出來的人體行走參數(shù)，提出了對(duì)跌倒行為的檢測(cè)算法，并在Unity3D虛擬場(chǎng)景中進(jìn)行運(yùn)動(dòng)仿真。通過人體骨骼的運(yùn)動(dòng)仿真分析，能夠發(fā)現(xiàn)異常行為的發(fā)生原因，提取跌倒等異常行為的共性特征，確定發(fā)出預(yù)警信息的合適時(shí)機(jī)。

[1] PAREEK P, THAKKAR A. A survey on video-based human action recognition: recent updates, datasets, challenges, and applications[J]. Artificial Intelligence Review, 2021, 54(3): 2259-2322.

[2] TZYDYNZHAPOV G, GUSIKHIN P, MURAVEV V, et al. New real-time sub-terahertz security body scanner[J]. Journal of Infrared, Millimeter, and Terahertz Waves, 2020, 41(6): 632-641.

[3] ISOGAWA M, YUAN Y, O’TOOLE M, et al. Optical non-line-of-sight physics-based 3D human pose estimation[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 7011-7020.

[4] ALSHAMAA D, SOUBRA R, CHKEIR A. A radar sensor for automatic gait speed analysis in walking tests[J]. IEEE Sensors Journal, 2021, 21(12): 13886-13894.

[5] CRIMINISI A, REID I, ZISSERMAN A. Single view metrology[C]. The 7th IEEE International Conference on Computer Vision. New York: IEEE Press, 1999: 434-441.

[6] CHAI Y, CAO X J. A real-time human height measurement algorithm based on monocular vision[C]//2018 2nd IEEE Advanced Information Management, Communicates, Electronic and Automation Control Conference. New York: IEEE Press, 2018: 293-297.

[7] TOSTI F, NARDINOCCHI C, WAHBEH W, et al. Human height estimation from highly distorted surveillance image[J]. Journal of Forensic Sciences, 2022, 67(1): 332-344.

[8] KAINZ O, DOPIRIAK M, MICHALKO M, et al. Estimating the height of a person from a video sequence[C]//2021 19th International Conference on Emerging eLearning Technologies and Applications. New York: IEEE Press, 2021: 150-156.

[9] BARI A S M H, GAVRILOVA M L. KinectGaitNet: kinect-based gait recognition using deep convolutional neural network[J]. Sensors: Basel, Switzerland, 2022, 22(7): 2631.

[10] BIJALWAN V, SEMWAL V B, MANDAL T K. Fusion of multi-sensor-based biomechanical gait analysis using vision and wearable sensor[J]. IEEE Sensors Journal, 2021, 21(13): 14213-14220.

[11] STONE E, SKUBIC M. Evaluation of an inexpensive depth camera for in-home gait assessment[J]. Journal of Ambient Intelligence and Smart Environments, 2011, 3(4): 349-361.

[12] 任好盼, 王文明, 危德健, 等. 基于高分辨率網(wǎng)絡(luò)的人體姿態(tài)估計(jì)方法[J]. 圖學(xué)學(xué)報(bào), 2021, 42(3): 432-438.

REN H P, WANG W M, WEI D J, et al. Human pose estimation based on high-resolution net[J]. Journal of Graphics, 2021, 42(3): 432-438 (in Chinese).

[13] CAO Z, SIMON T, WEI S E, et al. Realtime multi-person 2D pose estimation using part affinity fields[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 1302-1310.

[14] 劉玉杰, 張敏杰, 李宗民, 等. 基于全局姿態(tài)感知的輕量級(jí)人體姿態(tài)估計(jì)[J]. 圖學(xué)學(xué)報(bào), 2022, 43(2): 333-341.

LIU Y J, ZHANG M J, LI Z M, et al. Lightweight human pose estimation with global pose perception[J]. Journal of Graphics, 2022, 43(2): 333-341 (in Chinese).

[15] 鄭玉梅, 宋文愛. 相機(jī)標(biāo)定關(guān)鍵設(shè)備對(duì)標(biāo)定精度的影響分析[J]. 圖學(xué)學(xué)報(bào), 2017, 38(2): 236-240.

ZHENG Y M, SONG W A. Analysis on the influence of camera calibration key equipment on calibration accuracy[J]. Journal of Graphics, 2017, 38(2): 236-240 (in Chinese).

Video-based human walking parameter measurement method and application

YAO Peng1, ZHOU Xiao-jing1, JIN Si-fu1, TANG Zhang-feng2

(1. School of Instrument Science and Engineering, Southeast University, Nanjing Jiangsu 210096, China; 2. Hangzhou EZVIZ Software Co., Ltd., Hangzhou Zhejiang 310051, China)

To address the problems of high complexity and low efficiency of the available methods for human walking parameter measurement, a video-based human walking parameter measurement method was proposed. The supervised learning method was used to estimate the pose of the moving target in the video, and the bone joint points were recognized frame by frame. Then, according to the feature points of head and feet, combined with the conversion relationship between the pixel distance obtained by scene calibration and the actual distance, the walking height measurement was realized. According to the joint feature points, the joint range of motion was calculated by cosine formula. According to the foot feature points, a method to identify the walking step size and pace was proposed by combining the frame difference of front and rear poles and the pixel difference. Finally, a virtual human follow-up control method based on Unity3D was proposed, which could carry out motion simulation in virtual scenes and was convenient for real-time monitoring and human abnormal behavior analysis in videos and early warning issuing. Experiments show that this method is superior in simple operation, high accuracy, and strong real-time performance.

monocular video; human joint points; walking parameter; virtual human simulation; abnormal behavior

TP 391

10.11996/JG.j.2095-302X.2022050858

A

2095-302X(2022)05-0858-07

2022-03-06；

2022-05-21

6 March，2022；

21 May，2022

國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(2019YFC511501)

National Key Research and Development Program (2019YFC511501)

姚 鵬(1999–)，男，碩士研究生。主要研究方向?yàn)闇y(cè)試計(jì)量技術(shù)。E-mail：yaopeng_seu@163.com

YAO Peng (1999–), master student. His main research interest covers test measurement technology. E-mail：yaopeng_seu@163.com

周曉晶(1971–)，女，副教授，博士。主要研究方向?yàn)闇y(cè)試計(jì)量技術(shù)、虛擬現(xiàn)實(shí)技術(shù)等。E-mail：xiaojingzhou@seu.edu.cn

ZHOU Xiao-jing (1971–), associate professor, Ph.D. Her main research interests cover test measurement technology, virtual reality technology, etc. E-mail：xiaojingzhou@seu.edu.cn