程雪蓮， 段渭軍， 高　昂

(1.西北工業(yè)大學(xué) 電子信息學(xué)院，陜西 西安 710072；2.西北工業(yè)大學(xué) 物聯(lián)網(wǎng)技術(shù)及應(yīng)用國(guó)家地方聯(lián)合工程實(shí)驗(yàn)室，陜西 西安 710072)

?

基于Kinect的無(wú)接觸式體質(zhì)檢測(cè)系統(tǒng)*

程雪蓮1,2， 段渭軍1,2， 高昂1,2

(1.西北工業(yè)大學(xué) 電子信息學(xué)院，陜西 西安 710072；2.西北工業(yè)大學(xué) 物聯(lián)網(wǎng)技術(shù)及應(yīng)用國(guó)家地方聯(lián)合工程實(shí)驗(yàn)室，陜西 西安 710072)

摘要:為了減少體質(zhì)檢測(cè)中的人力成本、提高該過(guò)程的速度，將無(wú)接觸式體感交互系統(tǒng)應(yīng)用于體能檢測(cè)中，以達(dá)到更高效的目的。以Kinect傳感器為核心捕捉人體運(yùn)動(dòng)，從骨骼圖像中提取20個(gè)關(guān)節(jié)點(diǎn)的信息，進(jìn)而計(jì)算出身高、跳遠(yuǎn)距離等數(shù)據(jù)。景深圖像可識(shí)別人體與其他非人體物體，由關(guān)節(jié)點(diǎn)坐標(biāo)計(jì)算的方法也利于防止測(cè)試中的作假現(xiàn)象。

關(guān)鍵詞:Kinect傳感器； 景深圖像； 骨骼跟蹤； 人機(jī)交互

0引言

人體行為識(shí)別技術(shù)一般解決包含人體目標(biāo)感知、行為建模管理和行為匹配識(shí)別在內(nèi)的多個(gè)方面的問(wèn)題，目前主要有兩種方法來(lái)實(shí)現(xiàn)。第一種是基于可穿戴傳感器的行為識(shí)別方法，Allen F R等人[1]，提出了一種使用高斯混合模型的可穿戴加速度計(jì)。Mattmann C等人[2]通過(guò)在紡織衣物上裝置的張力傳感器來(lái)識(shí)別特定的人體行為。第二種是基于計(jì)算機(jī)視覺(jué)的人體行為識(shí)別方法。Boulay B等人[3,4]采用人體輪廓作為姿勢(shì)特征表達(dá)。Mo H C等人[5,6]通過(guò)劃分身體部位代表將復(fù)雜的姿勢(shì)估計(jì)問(wèn)題轉(zhuǎn)換到較為簡(jiǎn)單的逐像素分類問(wèn)題。由于這些姿勢(shì)特征都是從二維彩色圖像中抽取而來(lái)，需要處理人體定位、肢體被遮擋、不同光照條件等問(wèn)題。

本文選用的Kinect傳感器，同時(shí)具有RGB攝像頭和景深攝像頭，景深圖像像素記錄距離信息，具有顏色無(wú)關(guān)性，更能準(zhǔn)確快速地分割前景與背景。

1傳感器工作原理

1.1景深圖像的生成

糖龍?jiān)捯魟偮洌瑐}(cāng)庫(kù)里忽然傳來(lái)一聲木棍敲擊的重響，緊接著，原本平靜的倉(cāng)庫(kù)一陣騷亂，哀嚎、求助、尖叫、吱吱聲接連響起。

由于Kinect SDK沒(méi)有姿勢(shì)識(shí)別相關(guān)的API，需要定義某些關(guān)節(jié)點(diǎn)之間的角度或相對(duì)位置來(lái)確定一種姿勢(shì)[13]。本系統(tǒng)中姿勢(shì)庫(kù)中定義了兩種姿勢(shì)，即伸開(kāi)雙臂呈T字形來(lái)啟動(dòng)測(cè)量和舉起雙手以清除當(dāng)前數(shù)據(jù)重新測(cè)量。用戶做出特定的姿勢(shì)通過(guò)與姿勢(shì)庫(kù)中模板匹配，就是對(duì)關(guān)節(jié)點(diǎn)進(jìn)行命中測(cè)試來(lái)觸發(fā)相應(yīng)的事件。

習(xí)近平總書(shū)記強(qiáng)調(diào)：“堅(jiān)持以人民為中心的工作導(dǎo)向，尊重新聞傳播規(guī)律，創(chuàng)新方法手段，切實(shí)提高黨的新聞?shì)浾搨鞑チ?、引?dǎo)力、影響力、公信力?！苯ㄔO(shè)縣級(jí)融媒體中心，還需要充分掌握互聯(lián)網(wǎng)規(guī)律。互聯(lián)網(wǎng)的核心規(guī)律有以下特點(diǎn)。

1.1.1深度圖像數(shù)據(jù)

由Kinect獲取的深度圖像數(shù)據(jù)流由一幀一幀的灰度圖像列組成，在每一幀灰度圖像中，一個(gè)像素點(diǎn)由2個(gè)字節(jié)，16位組成[1]。每個(gè)像素包含了該點(diǎn)的距離信息，這里要注意，并非該點(diǎn)到Kinect傳感器的直接距離，而是其距離Kinect所在垂直面的距離(單位為mm)，如圖1所示。這樣建立的坐標(biāo)信息也方便了從深度圖到骨骼圖的坐標(biāo)轉(zhuǎn)換，在1.2節(jié)中將具體討論。每個(gè)像素灰階代表由最暗到最亮之間亮度的層次級(jí)別，中間的層次越多，所呈現(xiàn)的畫(huà)面就越細(xì)膩。

試驗(yàn)工作在科神公司自制的土豆播種機(jī)試驗(yàn)臺(tái)上進(jìn)行,測(cè)試播在蓖麻油帶上的種子粒距。供試驗(yàn)的土豆種子根據(jù)新疆當(dāng)?shù)赝炼狗N子的特點(diǎn)取為切塊種子，種子尺寸長(zhǎng)寬高均在35～50mm。在其他因素不變的條件下，考察種架傾角、種勺線速度和種勺空間尺寸對(duì)株距合格率、重播率和漏播率的影響。

圖1　Kinect深度數(shù)據(jù)流的數(shù)值Fig 1　Numerical value of Kinect depth data stream

1.1.2人體識(shí)別分割

圖2　人體識(shí)別分割Fig 2　Human body recognition segmentation

通常深度圖像幀的X,Y坐標(biāo)系表示在傳感器上對(duì)應(yīng)的坐標(biāo)，而不表示實(shí)際物理環(huán)境的位置坐標(biāo)。深度圖像坐標(biāo)系的點(diǎn)，類型為DepthImagePoint(X,Y,Z)，其中,(X,Y)為深度圖像像素坐標(biāo)，Z為深度值，mm。而骨骼坐標(biāo)系的點(diǎn)，類型為SkeletonPoint(X,Y,Z)，其中,(X,Y,Z)為空間坐標(biāo)，m。

通過(guò)人體識(shí)別分割已經(jīng)將人體從背景中分離，下面通過(guò)識(shí)別人體的20個(gè)關(guān)節(jié)點(diǎn)來(lái)對(duì)骨骼進(jìn)行識(shí)別。獲得這些骨骼關(guān)節(jié)點(diǎn)的三維坐標(biāo)信息就需要進(jìn)行坐標(biāo)轉(zhuǎn)換[11,12]。

深度圖像坐標(biāo)系和骨骼坐標(biāo)系都是以Kinect傳感器的紅外攝像頭為中心，X,Y軸分別與圖像的X,Y軸平行，Z軸為傳感器的方向，與圖像平面垂直。這樣構(gòu)成的直角坐標(biāo)系為攝像機(jī)坐標(biāo)系。

2數(shù)據(jù)測(cè)量方法

在Kinect上使用紅外接收器獲得深度數(shù)據(jù)所用光編碼(light coding)技術(shù)[1]其實(shí)就是發(fā)射具有三維縱深數(shù)據(jù)的“體積編碼”，這種光源叫做激光散斑(laser speckle)[7]。當(dāng)激光照射到粗糙物體或穿透毛玻璃后形成隨機(jī)衍射的斑點(diǎn)，CMOS紅外攝像頭根據(jù)設(shè)定的距離參考平面來(lái)收集攝像頭視野范圍內(nèi)的每一點(diǎn)，通過(guò)反射得到的黑白光譜方式來(lái)感知周圍環(huán)境。黑白間的灰色地帶對(duì)應(yīng)物體到傳感器的物理距離，通過(guò)層疊峰值和差值計(jì)算，以30幀/s的速度生成景深圖像，完全實(shí)時(shí)再現(xiàn)周圍環(huán)境。

系統(tǒng)軟件設(shè)計(jì)流程圖如圖6所示。

隨著衛(wèi)生、計(jì)生資源的整合和力量的凝聚，宣傳先行先導(dǎo)的地位更加凸顯，如何做好新時(shí)期衛(wèi)生計(jì)生宣傳，為衛(wèi)生計(jì)生改革發(fā)展?fàn)I造良好社會(huì)環(huán)境是我們需要思考的迫切課題。

圖3　節(jié)點(diǎn)三角形法Fig 3　Node triangle method

2.2測(cè)量身高

2.2.2深度結(jié)合三角推導(dǎo)

測(cè)量身高的一種方法，是通過(guò)骨骼圖像提取出來(lái)的頭部和腳部關(guān)節(jié)點(diǎn)坐標(biāo)的差值來(lái)計(jì)算，得到的身高單位為m。由于頭部坐標(biāo)不是人體頭頂?shù)奈恢?，需要加上預(yù)先定義的經(jīng)驗(yàn)值來(lái)彌補(bǔ)誤差。由于每個(gè)人的頭部形狀有偏差，所以，該方法得到的身高值略有誤差。

2.2.1骨骼結(jié)合經(jīng)驗(yàn)值

b=2d×tan 28.5°,

(1)

本系統(tǒng)中關(guān)節(jié)點(diǎn)的命中采用節(jié)點(diǎn)三角形法，即計(jì)算某些關(guān)節(jié)點(diǎn)之間的角度。如圖3所示，由左肩關(guān)節(jié)點(diǎn) (ShoulderLeft)、左肘關(guān)節(jié)點(diǎn)(ElbowLeft)和左手腕關(guān)節(jié)點(diǎn)(WristLeft)三點(diǎn)構(gòu)成的三角形中，可根據(jù)距離公式分別求出a,b,c三邊邊長(zhǎng)，然后根據(jù)余玄定理求出夾角。當(dāng)夾角在規(guī)定的閾值范圍內(nèi)，則判斷為有效姿勢(shì)。

由第二部分介紹的隸屬度F統(tǒng)計(jì)法，根據(jù)問(wèn)卷調(diào)查的結(jié)果可得到對(duì)各評(píng)價(jià)因素做出不同評(píng)價(jià)等級(jí)的人數(shù)，再用其除以參與評(píng)價(jià)總?cè)藬?shù)。由此獲得評(píng)價(jià)指標(biāo)的隸屬度矩陣：

(2)

由式(1)和式(2)，得出式(3)

(3)

圖4　深度測(cè)量身高的原理Fig 4　Principle of height measurement by depth

2.3測(cè)量跳遠(yuǎn)

將Kinect放置在距離起跳點(diǎn)L的位置上(L可人為手動(dòng)設(shè)置)，用戶完成跳遠(yuǎn)后將雙手舉平呈“T”子狀，由Kinect進(jìn)行姿勢(shì)判斷，然后獲得人體骨骼點(diǎn)的位置信息。進(jìn)而判斷左右腳的位置，鎖定離Kinect較遠(yuǎn)的腳的距離為d，也就是實(shí)際跳遠(yuǎn)的落地點(diǎn)在后方的那只腳。最后用L-d便可得到實(shí)際的跳遠(yuǎn)距離，如圖5所示。

圖5　立定跳遠(yuǎn)的測(cè)量方法Fig 5　Measuring method of long jump

3系統(tǒng)實(shí)現(xiàn)

本系統(tǒng)采用的另外一種方法，是通過(guò)遍歷比較人體部位的像素點(diǎn)，結(jié)合Kinect自身的視場(chǎng)角來(lái)計(jì)算，得到的身高單位為mm。但這種方法隨著距離的增加，深度值偏差增大，因此,測(cè)得身高值也會(huì)出現(xiàn)誤差。如圖4所示，d為人體實(shí)際到Kinect的距離；b為人體實(shí)際位于Kinect視角場(chǎng)的橫截面寬度；Hd為人體在深度圖中的高度；Fd為每幀深度圖的寬度；Hr為人體實(shí)際高度。計(jì)算公式如下

以Kinect傳感器為核心捕捉人體運(yùn)動(dòng)，軟件平臺(tái)采用VS2010C#為開(kāi)發(fā)工具，借助官方KinectforwindowsSDK1.8開(kāi)發(fā)包實(shí)現(xiàn)[8]。硬件平臺(tái)采用32位Win7操作系統(tǒng)，Inter(R)Core(TM)i3-3240CPU@3.40GHz，安裝內(nèi)存(RAM) 4.00GB。通過(guò)人體特定姿勢(shì)的識(shí)別判斷來(lái)觸發(fā)測(cè)量事件，完成身高與跳遠(yuǎn)距離的測(cè)量。

留守兒童渴望得到父母的關(guān)愛(ài)，他們對(duì)周邊環(huán)境缺少安全感，感情脆弱，長(zhǎng)期的親情缺失極易導(dǎo)致農(nóng)村留守兒童價(jià)值觀和人生觀的扭曲，使其產(chǎn)生厭學(xué)情緒，認(rèn)為學(xué)習(xí)就是浪費(fèi)時(shí)間和浪費(fèi)金錢(qián)。留守兒童的家長(zhǎng)由于長(zhǎng)期在外，只能用金錢(qián)和物質(zhì)來(lái)彌補(bǔ)孩子，但是這樣卻適得其反，使很多孩子養(yǎng)成了過(guò)度依賴、拜金主義和好逸惡勞的壞習(xí)慣。

圖6　軟件設(shè)計(jì)流程圖Fig 6　Software design flow

3.3實(shí)驗(yàn)結(jié)果

圖7中界面上依次呈現(xiàn)人體的彩色圖像、深度圖像以及骨骼圖像。點(diǎn)擊“設(shè)置Kinect到跳遠(yuǎn)起點(diǎn)的距離”按鈕，初始化Kinect距離跳遠(yuǎn)起點(diǎn)的擺放位置，當(dāng)用戶手臂伸直呈T字狀時(shí)，Kinect檢測(cè)姿勢(shì)有效則開(kāi)始測(cè)量；當(dāng)用戶雙手舉起舉過(guò)頭頂時(shí)，清除數(shù)據(jù)重新測(cè)量。

圖7　界面顯示Fig 7　Interface display

用戶編號(hào)實(shí)測(cè)身高/m方法1測(cè)量值/mm誤差/% 方法2測(cè)量值/m誤差/%11.641643.720.22681.64580.353621.721697.461.31041.72070.040731.781775.841.77581.78920.516841.711743.341.74331.71180.1053

圖8反映了4人分別在距離Kinect 1,1.5,2 m和2.5 m下測(cè)得的身高變化。

第一，張老師雖然試圖采用新課程提倡的教學(xué)方法，但是在實(shí)際課堂中還是采用以教師為中心的講授式教學(xué).在兩個(gè)課題教學(xué)中，他想用探究式教學(xué)方法，但是在實(shí)際的課堂教學(xué)中并沒(méi)有給學(xué)生充分的時(shí)間和空間進(jìn)行探究，而是迫不及待地提示學(xué)生.這也反映出他在如何有效引導(dǎo)學(xué)生學(xué)習(xí)方面有待提高.

圖8　不同距離下深度結(jié)合三角推導(dǎo)方法Fig 8　Depth combined with triangulation derivation method with different distances

根據(jù)表1的測(cè)試結(jié)果可知，由深度結(jié)合三角推導(dǎo)的方法測(cè)量的平均誤差約為1.26 %，由骨骼結(jié)合經(jīng)驗(yàn)值的方法測(cè)量的平均誤差約為0.25 %，兩組數(shù)據(jù)都較為準(zhǔn)確但后者誤差更小。由圖8可知，距離越遠(yuǎn)，4人身高值出現(xiàn)大幅度下降，說(shuō)明當(dāng)人體到Kinect的距離增大時(shí)，由深度結(jié)合三角推導(dǎo)的方法測(cè)量的身高值誤差增大。

表2為選取不同的4人進(jìn)行跳遠(yuǎn)，得到的測(cè)試結(jié)果。表2的跳遠(yuǎn)測(cè)試結(jié)果的平均誤差約為0.56 %，可見(jiàn)用Kinect測(cè)跳遠(yuǎn)的方法準(zhǔn)確高效。

表2　跳遠(yuǎn)測(cè)量結(jié)果

4結(jié)束語(yǔ)

本文采用Kinect為傳感器采集用戶彩色圖像、景深圖像以及骨骼圖像等數(shù)據(jù)流，通過(guò)對(duì)景深圖像和骨骼圖像中的關(guān)節(jié)點(diǎn)進(jìn)行分析計(jì)算，通過(guò)人體特定姿勢(shì)的識(shí)別判斷來(lái)觸發(fā)測(cè)量事件來(lái)求出人體的身高和跳遠(yuǎn)距離。由于在跳遠(yuǎn)過(guò)程中姿態(tài)的不確定性，Kinect可能出現(xiàn)姿勢(shì)誤判，可加入語(yǔ)音識(shí)別來(lái)輔助觸發(fā)測(cè)量等更多功能模塊。

參考文獻(xiàn):

[1]Allen F R,Ambikairajah E,Lovell N H,et al.Classification of a known sequence of motions and postures from accelerometry data using adapted Gaussian mixture models[J].Physiological Mea-surement,2006,27(10):935.

[2]Mattmann C,Clemens F,Troster G.Sensor for measuring strain in textile[J].Sensors，2008,8(6):3719-3732.

[3]Boulay B,Brémond F,Thonnat M.Applying 3D human model in a posture recognition system[J].Pattern Recognition Letters,2006,27(15):1788-1796.

[4]Cohen I,Li H.Inference of human postures by classification of 3D human body shape[C]∥IEEE International Workshop on Analysis and Modeling of Faces and Gestures,AMFG 2003,IEEE,2003:74-81.

[5]Mo H C,Leou J J,Lin C S.Human behavior analysis using multiple 2D features and multicategory support vector machine[C]∥MVA，2009:46-49.

[6]Souto H,Raupp Musse S.Automatic detection of 2D human postures based on single images[C]∥2011 24th SIBGRAPI Confe-rence on Graphics,Patterns and Images (SIBGRAPI),IEEE,2011:48-55.

[7]Albitar C,Graebling P,Doignon C.Design of a monochromatic pattern for a robust structured light coding in image processing[C]∥2007.IEEE International Conference on Image Processing,ICIP 2007.San Antonio,TX,2007.

[8]Webb J,Ashley J.Beginning kinect programming with the Microsoft kinect SDK [M].[s l.]:A Press, 2012．

[9]Suma E A,Lange B,Rizzo S,et al.FAAST:The flexible action and articulated skeleton toolkit [C]∥2011 IEEE Virtual Reality(VR)Conference,2011:247-248.

[10] Belongie S,Malik J,Puzicha J.Shape matching and object recognition using shape contexts[J].IEEE Trans on PAMI,2002,24:4.

[11] Ekelmann J,Butka B.Kinect controlled electro-mechanical skeleto[C]∥2012 Proceedings of IEEE Southeast Conf,2012.

[12] Jiang W,Xu K,Cheng Z Q,et al.Skeleton-based intrinsic symmetry detection on point clouds[J].Graphical Models,2013,75:177-188.

[13] Belinda L,Sebastian K,Eric M,et al.Interactive game-based rehabilitation using the Microsoft Kinect[C]∥Virtual Reality Workshops,Costa Mesa,USA:IEEE,2012:171-172.

Non-contact measurement system of physical test based on Kinect*

CHENG Xue-lian1，2, DUAN Wei-jun1，2, GAO Ang1，2

(1.School of Electronics and Information,Northwestern University,Xi’an 710072,China；2.State and Local Joint Engineering Laboratory of IoT Technology and Application,Northwestern University,Xi’an 710072,China)

Abstract:To reduce costs of physical fitness test and improve rate of the process,develop a non-contact measurement software system in order to make it more efficient.Kinect sensor is used as the core of system to track human motion,20 joint points are extracted from skeleton stream,by means of this height,jump distance and other data can be calculated.Human can be identified from other non-human objects in depth image,the methods of calculation from joint points coordinate also prevent cheating in tests.

Key words:Kinect sensor; depth image; skeleton tracking; human-computer interaction(HCI)

DOI:10.13873/J.1000—9787(2016)03—0085—04

收稿日期：2015—05—20

*基金項(xiàng)目：西北工業(yè)大學(xué)研究生創(chuàng)意創(chuàng)新種子基金資助項(xiàng)目(Z2015099);中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目(3102014KYJD033，3102014KYJD034，3102015ZY093)

中圖分類號(hào):TP 391

文獻(xiàn)標(biāo)識(shí)碼:A

文章編號(hào):1000—9787(2016)03—0085—04

作者簡(jiǎn)介:

程雪蓮(1992-)，女，山西運(yùn)城人，碩士研究生，主要研究方向?yàn)槿梭w目標(biāo)識(shí)別。