馬輝棟，劉振宇，郭小鳳

(山西農(nóng)業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，山西 晉中 030801)

?

視頻人體下肢運(yùn)動(dòng)分析系統(tǒng)*

馬輝棟，劉振宇，郭小鳳

(山西農(nóng)業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，山西 晉中 030801)

摘要：針對(duì)如何高效、準(zhǔn)確地從視頻圖像中提取相關(guān)特征向量，完成基于視頻的人體運(yùn)動(dòng)分析，構(gòu)建了基于視頻信息的人體下肢運(yùn)動(dòng)系統(tǒng)。系統(tǒng)包括人體運(yùn)動(dòng)輪廓的提取、噪聲處理和人體下肢建模及分析3個(gè)模塊。人體運(yùn)動(dòng)輪廓提取中采用改進(jìn)的光流算法，通過(guò)閾值設(shè)置改善了輪廓提取的清晰度和完整性。噪聲處理模塊運(yùn)用單個(gè)中值濾波器與人體四周去噪算法，不僅有效解決了多中值濾波引起的人體輪廓模糊問(wèn)題，同時(shí)使人體活動(dòng)區(qū)域外的噪聲去除率達(dá)到100%。通過(guò)系統(tǒng)分析，視頻中人體行走的速度為0.687 m/s，髖關(guān)節(jié)垂直方向上下起伏幅度為4.71 cm，行走步態(tài)正常。

關(guān)鍵詞：輪廓提??；人體建模；噪聲處理；運(yùn)動(dòng)分析；視頻

引用格式：馬輝棟，劉振宇，郭小鳳. 視頻人體下肢運(yùn)動(dòng)分析系統(tǒng)[J].微型機(jī)與應(yīng)用，2016,35(12)：59-61，66.

0引言

人體運(yùn)動(dòng)分析是人工智能[1]、生物醫(yī)學(xué)工程等領(lǐng)域研究的重要內(nèi)容?；谝曨l的人體運(yùn)動(dòng)分析系統(tǒng)是通過(guò)運(yùn)動(dòng)目標(biāo)檢測(cè)、跟蹤、特征參量提取、人體結(jié)構(gòu)姿態(tài)重建等完成運(yùn)動(dòng)分析的視頻圖像處理系統(tǒng)。目前，已報(bào)道的基于計(jì)算機(jī)視覺(jué)實(shí)現(xiàn)人體運(yùn)動(dòng)分析的方案有很多，但是如何高效、準(zhǔn)確地視頻圖像信息中對(duì)相關(guān)特征量進(jìn)行提取，完成運(yùn)動(dòng)分析，仍然是目前人們?cè)诓粩嗵剿鞯膯?wèn)題。

本文基于單目視頻，搭建了無(wú)標(biāo)識(shí)物的視頻人體下肢運(yùn)動(dòng)分析系統(tǒng)。該系統(tǒng)包括人體運(yùn)動(dòng)輪廓提取、噪聲處理、人體下肢建模及分析3大模塊，如圖1所示。

圖1　視頻人體下肢運(yùn)動(dòng)分析系統(tǒng)框圖

1人體運(yùn)動(dòng)輪廓提取及噪聲處理

1.1人體運(yùn)動(dòng)輪廓提取模

人體運(yùn)動(dòng)輪廓提取模塊基于Simulink仿真平臺(tái)，綜合運(yùn)用系統(tǒng)連接、計(jì)算機(jī)可視化系統(tǒng)模塊庫(kù)完成系統(tǒng)搭建，模塊仿真框圖如圖2所示。

視頻序列原圖如圖3所示，經(jīng)圖片顏色格式轉(zhuǎn)換模塊、光流模塊、閾值模塊處理后的圖片序列分別如圖4～圖6所示。

圖5顯示，經(jīng)過(guò)光流模塊處理的圖片序列基本提取出了人體輪廓，但是輪廓清晰度不高，腳部輪廓部分缺失。為此對(duì)圖像進(jìn)行了二值化處理，加入閾值處理模塊，經(jīng)過(guò)多次試驗(yàn)，將閾值設(shè)置為0.001。由圖6可以看到，經(jīng)過(guò)閾值處理的圖片序列相對(duì)于圖5，基本還原了腳部輪廓，而且輪廓清晰度也有所提高。

1.2噪聲處理

噪聲處理模塊采用中值濾波和四周去噪法，處理流程如圖7所示。

圖2　人體運(yùn)動(dòng)輪廓提取模塊仿真框圖

圖3　視頻序列原圖

圖4　圖片顏色格式轉(zhuǎn)換模塊結(jié)果

圖5　光流模塊處理結(jié)果

圖6　閾值模塊處理結(jié)果

圖7　噪聲處理流程

1.2.1中值濾波

圖8　中值濾波前后人體輪廓對(duì)比

中值濾波器用于去除孤立的點(diǎn)、毛刺等椒鹽噪聲[2]。如圖8中的兩幅圖對(duì)比，經(jīng)過(guò)多次中值濾波，圖片中的椒鹽噪聲確實(shí)有很大的改善，但是濾波后的腳步輪廓明顯比處理前的模糊，這對(duì)人體建模有非常大的影響。本文在做人體下肢骨架模型時(shí)經(jīng)多次試驗(yàn)結(jié)果對(duì)比，采用了一次7×7中值濾波處理方式。

1.2.2四周除噪

為避免中值濾波對(duì)人體輪廓二值圖像的模糊作用，本文在中值濾波后，采用基于人體高度和寬度參數(shù)的四周除噪法，結(jié)果如圖9所示。四周去噪的具體做法是根據(jù)人體頭頂、腳底、左側(cè)及右側(cè)坐標(biāo)劃分出人體所在的矩形區(qū)域(如圖9(c)所示)，將該矩形區(qū)域外的一切像素點(diǎn)均視為噪聲，予以去除，處理結(jié)果如圖9(d)所示。

圖9　噪聲處理效果圖

四周去噪的必要條件是獲取人體身高和寬度參數(shù)。如圖7所示，為了有效提取人體身體參數(shù)，采用7×7、5×5、3×3中值濾波器充分去除噪聲。實(shí)驗(yàn)中有效視頻幀共55幀，對(duì)每幀提取身高及寬度，取均值得到人體身高H為425像素。

2人體運(yùn)動(dòng)下肢建模

人體行走時(shí)，上身部分相對(duì)于整個(gè)身體軀干可近似看做靜態(tài)，下身部分的動(dòng)態(tài)分析包括以髖關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)5個(gè)關(guān)節(jié)點(diǎn)為中心的大腿骨、小腿骨。人體大腿骨、小腿骨長(zhǎng)度人體身高呈線性關(guān)系[3]。

圖10　髖關(guān)節(jié)定位

2.1髖關(guān)節(jié)定位

髖關(guān)節(jié)定位如圖10所示。

(1)髖關(guān)節(jié)行坐標(biāo)定位。根據(jù)人體骨骼模型[4]，髖關(guān)節(jié)行坐標(biāo)與頭頂行坐標(biāo)的距離為人體身高的0.47倍，計(jì)算出髖關(guān)節(jié)行坐標(biāo)。

(2)髖關(guān)節(jié)列坐標(biāo)定位。為簡(jiǎn)化實(shí)驗(yàn)數(shù)據(jù)分析，本文實(shí)驗(yàn)中人體運(yùn)動(dòng)時(shí)假設(shè)兩臂不擺動(dòng)或有輕微的擺動(dòng)。得到髖關(guān)節(jié)行坐標(biāo)后，在髖關(guān)節(jié)所在行行掃描的到這行像素值為1的點(diǎn)，取兩交點(diǎn)的中間值設(shè)為髖關(guān)節(jié)的列坐標(biāo)。

2.2膝關(guān)節(jié)定位

圖11　兩腿分開(kāi)時(shí)膝關(guān)節(jié)定位示意圖

大腿長(zhǎng)L_lap為身高H的0.245倍[4]，膝關(guān)節(jié)的運(yùn)動(dòng)軌跡是以髖關(guān)節(jié)為圓心，大腿長(zhǎng)為半徑的圓R1，找出軌跡圓與腿部輪廓的交點(diǎn)[5]，便可對(duì)膝關(guān)節(jié)定位。 膝關(guān)節(jié)定位分兩種情況分別討論。

(1)兩大腿骨分開(kāi)。如圖11所示，圓R1與人體下身輪廓有4個(gè)交點(diǎn)。左側(cè)膝關(guān)節(jié)定位為最左側(cè)交點(diǎn)與相鄰交點(diǎn)的弧線的中點(diǎn)；右側(cè)膝關(guān)節(jié)定位為最右側(cè)交點(diǎn)與相鄰交點(diǎn)弧線的中點(diǎn)。

圖12　兩腿重疊時(shí)膝關(guān)節(jié)定位示意圖

(2)兩大腿骨有重疊。如圖12所示，圓R1與人體下身輪廓有兩個(gè)交點(diǎn)。該情況，兩個(gè)膝關(guān)節(jié)定位分別為左側(cè)交點(diǎn)向右0.05×H像素，右側(cè)交點(diǎn)向左0.05×H像素。

圖13　兩腿分開(kāi)時(shí)踝關(guān)節(jié)定位示意圖

2.3踝關(guān)節(jié)定位

踝關(guān)節(jié)定位原理同膝關(guān)節(jié)。小腿長(zhǎng)L_leg為人體身高H的0.246倍[5]，分別以左右兩個(gè)膝關(guān)節(jié)為圓心，小腿長(zhǎng)為半徑作圓R2、R3，得到圓與小腿輪廓的交點(diǎn)[6]，如圖13所示。因受噪聲影響，交點(diǎn)個(gè)數(shù)可能會(huì)不同，取最右側(cè)交點(diǎn)向左0.03×H處為右側(cè)踝關(guān)節(jié)點(diǎn)，取最左側(cè)交點(diǎn)往右0.03×H處為左側(cè)踝關(guān)節(jié)點(diǎn)。

2.4下肢建模結(jié)果

本實(shí)驗(yàn)對(duì)53幀視頻圖像進(jìn)行下肢建模，建模結(jié)果如圖14所示，該模型以髖關(guān)節(jié)和膝關(guān)節(jié)為端點(diǎn)畫(huà)出大腿骨，以膝關(guān)節(jié)和踝關(guān)節(jié)為端點(diǎn)畫(huà)出小腿骨的骨架模型。

圖14　下肢建模結(jié)果

3人體運(yùn)動(dòng)軌跡分析

建立出下肢骨架模型后，對(duì)人體行走時(shí)髖關(guān)節(jié)的運(yùn)動(dòng)軌跡進(jìn)行分析，本實(shí)驗(yàn)共提取出55幀圖像的下肢模型，人體正常行走3步，時(shí)間為2 s。圖15分別為髖關(guān)節(jié)垂直、水平方向運(yùn)動(dòng)軌跡擬合結(jié)果。

圖15　髖關(guān)節(jié)水平、垂直方向運(yùn)動(dòng)軌跡

圖15(a)中，髖關(guān)節(jié)水平方向運(yùn)動(dòng)軌跡擬合曲線如式(1)所示：

P(t)=174.794 0t+56.932 4

(1)

由此關(guān)系式可得髖關(guān)節(jié)橫向運(yùn)動(dòng)軌跡為一階函數(shù)，即該視頻中，人體水平方向的運(yùn)動(dòng)為速度為174.794 0像素/秒的勻速直線運(yùn)動(dòng)。

由圖15(b)可以看出，人體正常行走時(shí)，髖關(guān)節(jié)垂直方向的運(yùn)動(dòng)軌跡基本呈周期性上下波動(dòng)。髖關(guān)節(jié)垂直方向坐標(biāo)最大值為373像素、最小值為361像素，髖關(guān)節(jié)垂直方向波動(dòng)幅度最大值為12像素。本視頻中人體身高為

425像素，167 cm。由此可得，本視頻中人體行走的速度為0.687 m/s，垂直方向上下起伏幅度為4.71 cm。

人體行走時(shí)步態(tài)的生物力學(xué)研究表明，健康成年人正常步態(tài)行走時(shí)，髖關(guān)節(jié)上下起伏的幅度約為4.4 cm[7]，本實(shí)驗(yàn)中人體行走步態(tài)是正常的。

4結(jié)論

本文搭建了視頻人體下肢運(yùn)動(dòng)分析系統(tǒng)，實(shí)現(xiàn)了對(duì)視頻的人體運(yùn)動(dòng)輪廓提取、去噪處理、下肢建模，并根據(jù)建模結(jié)果進(jìn)行了相關(guān)的運(yùn)動(dòng)分析，系統(tǒng)結(jié)構(gòu)簡(jiǎn)單易于實(shí)現(xiàn)。本文提出的改進(jìn)的光流算法有效提高了人體運(yùn)動(dòng)輪廓的完整性；四周去噪方法算法簡(jiǎn)單，易于實(shí)現(xiàn)，能有效去除人體四周噪聲。

參考文獻(xiàn)

[1] 丁晨陽(yáng). 智能體視覺(jué)策略在RoboCup中的設(shè)計(jì)[J]. 微型機(jī)與應(yīng)用,2014,33(5):90-92,95.

[2] 張明源,王宏力,鄭佳華,等.改進(jìn)型中值濾波器在圖像去噪中的應(yīng)用[J].兵工自動(dòng)化，2007，26(8):45-47

[3] 王晏. 人體下肢運(yùn)動(dòng)分析[D]. 大連：大連理工大學(xué), 2005.

[4] WINTER D A. Biomechanics and motor control of human movement[M]. John Wiley & Sons, 2009.

[5] 馬曉蕾. 基于視頻序列的偏癱患者步態(tài)分析[D]. 哈爾濱：哈爾濱工程大學(xué), 2009.

[6] 陳華,史思思,胡春海. 基于特征融合的步態(tài)識(shí)別[J].無(wú)線電工程，2012，42(2):25-27.

[7] 吳劍, 李建設(shè). 人體行走時(shí)步態(tài)的生物力學(xué)研究進(jìn)展[J]. 中國(guó)運(yùn)動(dòng)醫(yī)學(xué)雜志, 2002, 21(3): 305-307.

*基金項(xiàng)目：山西農(nóng)業(yè)大學(xué)科技創(chuàng)新基金(20142-17)

中圖分類(lèi)號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A

DOI：10.19358/j.issn.1674- 7720.2016.12.019

(收稿日期：2016-02-23)

作者簡(jiǎn)介：

馬輝棟(1986-)，女，碩士，助教，主要研究方向：數(shù)字信號(hào)處理、農(nóng)業(yè)物聯(lián)網(wǎng)。

劉振宇(1976-)，男，博士，副教授，碩士生導(dǎo)師，主要研究方向：高壓脈沖電場(chǎng)、農(nóng)業(yè)信息化。

郭小鳳(1987-)，女，碩士，助教，主要研究方向：數(shù)字圖像處理。

Video based human lower limb motion analysis system

Ma Huidong, Liu Zhenyu, Guo Xiaofeng

(College of Information Science and Engineering, Shanxi Agriculture University, Jinzhong 030801, China)

Abstract:Aiming at how to efficiently and accurately extract relevant feature vector from the video image to complete the analysis of human motion, a video based human lower limb motion analysis system was constructed by means of extracting body contour and modeling human lower limbs. The system includes three modules, namely human motion contour extraction, noise processing and human lower limb modeling and analysis. The human motion contour extraction module uses the improved optical flow method, which improves the clarity and completeness of the extracted contour by threshold settings. The noise processing module uses a single median filter and around de-noising. The results show that the noise process method not only effectively solves the problem of blurry outlines, caused by times of median filtering, but also makes the noise removal rate outside the area of human activity reach 100%. The analysis of the system shows that the walking speed is 0.687 m/s, vertical motion amplitude of the hip is 4.71 cm, and the gait is normal.

Key words:contour extraction; human modeling; noise processing; motion analysis; video