程龍樂(lè)，許金林，李皙茹,3，馬祖長(zhǎng),3，李曉風(fēng),3

(1.安徽大學(xué)，安徽 合肥 230601；2.中國(guó)科學(xué)院 合肥物質(zhì)科學(xué)研究院，安徽 合肥 230031；3.中國(guó)科學(xué)技術(shù)大學(xué)，安徽 合肥 230026)

基于圖像處理的跑步機(jī)速度自適應(yīng)技術(shù)研究

程龍樂(lè)1,2，許金林2，李皙茹2,3，馬祖長(zhǎng)2,3，李曉風(fēng)2,3

(1.安徽大學(xué)，安徽 合肥 230601；2.中國(guó)科學(xué)院 合肥物質(zhì)科學(xué)研究院，安徽 合肥 230031；3.中國(guó)科學(xué)技術(shù)大學(xué)，安徽 合肥 230026)

隨著物質(zhì)生活水平的提高，越來(lái)越多的人開(kāi)始關(guān)心自身的健康狀態(tài)，并積極投入健康運(yùn)動(dòng)。電動(dòng)跑步機(jī)體積小、節(jié)約空間、操作簡(jiǎn)便，已經(jīng)成為常用的健身器材之一。然而，在傳統(tǒng)電動(dòng)跑步機(jī)的使用過(guò)程中，跑步者必須被迫調(diào)節(jié)自身速度去適應(yīng)跑步機(jī)預(yù)設(shè)的固定速度，嚴(yán)重影響了跑步者運(yùn)動(dòng)時(shí)的主動(dòng)性和輕松感，也限制了電動(dòng)跑步機(jī)的應(yīng)用拓展；機(jī)械跑步機(jī)雖能實(shí)現(xiàn)速度的自跟隨，但其對(duì)運(yùn)動(dòng)者肌肉關(guān)節(jié)的損傷不容忽視。因此，一種能夠判斷運(yùn)動(dòng)者加減速意圖，并實(shí)時(shí)控制跑步機(jī)電機(jī)速度的技術(shù)變得尤為重要，速度自適應(yīng)跑步機(jī)在日常鍛煉與醫(yī)療復(fù)健領(lǐng)域都有著廣闊前景。從計(jì)算機(jī)視覺(jué)的角度著手，基于對(duì)運(yùn)動(dòng)者走、跑的視頻圖像序列的處理，取得人體的運(yùn)動(dòng)特征并對(duì)其進(jìn)行分析，提出實(shí)時(shí)控制跑步機(jī)電機(jī)速度的方案。通過(guò)實(shí)驗(yàn)驗(yàn)證，最終實(shí)現(xiàn)跑步機(jī)的速度自適應(yīng)控制。

跑步機(jī)；速度自適應(yīng)；計(jì)算機(jī)視覺(jué)；圖像處理

0 引 言

走跑運(yùn)動(dòng)在提高心肺功能、增加肌肉與骨骼強(qiáng)度方面都有顯著效果。由于現(xiàn)代生活節(jié)奏逐漸加快，且戶外跑步受環(huán)境、場(chǎng)地等客觀因素的限制，人們選擇跑步機(jī)用以代替與模擬戶外自由跑環(huán)境，從而達(dá)到健身目的[1]。

傳統(tǒng)的電動(dòng)式跑步機(jī)的調(diào)速依然是通過(guò)按鍵等人機(jī)交互完成，運(yùn)動(dòng)者的自由度受到極大的限制[2]。因此，研究人體在跑步機(jī)上的運(yùn)動(dòng)特征以及速度變化的規(guī)律，根據(jù)這一規(guī)律調(diào)整電機(jī)速度以達(dá)到跑步機(jī)的速度自適應(yīng)這一目的，對(duì)于改善健身者的跑步體驗(yàn)、拓展跑步機(jī)的應(yīng)用范圍等具有重要意義。

跑步機(jī)的速度自適應(yīng)成為近年來(lái)的熱門(mén)研究課題。目前，國(guó)內(nèi)外針對(duì)速度自適應(yīng)跑步機(jī)的研究都有著多種嘗試，并取得了一定的進(jìn)展。例如通過(guò)束縛在人體上的裝置，實(shí)時(shí)檢測(cè)人體的狀態(tài)，以及通過(guò)手勢(shì)等判別加減速意圖[3]。這類方法存在一些瓶頸：加減速極易引起誤判；人體很難控制，易引起加減速震蕩；束縛在肢體上的檢測(cè)裝置影響人的正常運(yùn)動(dòng)；操作不夠簡(jiǎn)便，易引起誤操作，等等[4]。

文中研究了一種基于視頻圖像處理的跑步機(jī)速度自適應(yīng)的技術(shù)。通過(guò)圖像處理的方法獲得視頻分幀圖像中的人體圖像；對(duì)獲得的圖像進(jìn)行特征點(diǎn)提??；分析特征數(shù)據(jù)，建立其與跑步機(jī)電機(jī)轉(zhuǎn)速控制之間的數(shù)學(xué)模型。實(shí)驗(yàn)結(jié)果表明，該技術(shù)可有效解決上述方法中存在的不足。

1 系統(tǒng)結(jié)構(gòu)

系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)總體結(jié)構(gòu)

基本參數(shù)如下：臺(tái)體尺寸為220*80*22 cm；跑帶尺寸為164*55 cm；電機(jī)速度為1～12 km/h可調(diào)；攝像機(jī)視場(chǎng)角為水平78°；架設(shè)距離為100 cm；架設(shè)高度為120 cm；動(dòng)態(tài)分辨率為1 280*720；最大頻幀為30 fps。

攝像頭將采集到的視頻信息通過(guò)USB通信傳給上位機(jī)，上位機(jī)將所得視頻圖片進(jìn)行降噪、背景消除、形態(tài)學(xué)等圖像處理獲得運(yùn)動(dòng)目標(biāo)圖像，并進(jìn)一步分析，獲得運(yùn)動(dòng)對(duì)象的特征信息，分析特征數(shù)據(jù)，進(jìn)而建立其與跑步機(jī)電機(jī)轉(zhuǎn)速控制之間的數(shù)學(xué)模型，再轉(zhuǎn)換成電機(jī)速度指令，通過(guò)串口發(fā)送至電機(jī)控制器。

速度自適應(yīng)控制的總體思路為：通過(guò)攝像頭捕捉到實(shí)驗(yàn)者在每一幀圖像的坐標(biāo)值，在第n幀與第n+1幀的水平軸坐標(biāo)分別為Xn,Xn+1，這樣就可以得到這相鄰兩幀圖像中運(yùn)動(dòng)目標(biāo)關(guān)于地面的相對(duì)位移ΔS，通過(guò)實(shí)驗(yàn)計(jì)算，找出與跑步機(jī)速度變化之間的關(guān)系，即可完成速度自適應(yīng)控制。

2 特征提取與跑步機(jī)速度控制方法

2.1 目標(biāo)特征提取

對(duì)實(shí)驗(yàn)者運(yùn)動(dòng)特征的提取與識(shí)別是該課題的關(guān)鍵點(diǎn)之一。為實(shí)現(xiàn)良好的跑步機(jī)速度自適應(yīng)控制，對(duì)實(shí)驗(yàn)者運(yùn)動(dòng)特征的提取與運(yùn)動(dòng)意圖的判別是重要前提條件。

攝像頭采集如圖2(a)所示的原始圖像，經(jīng)過(guò)預(yù)處理后，可得到如圖2(b)所示的運(yùn)動(dòng)目標(biāo)的邊緣信息。由于邊緣信息并不能單獨(dú)作為運(yùn)動(dòng)目標(biāo)的特征，因而引入如圖3所示的人體生物解剖模型[5-7](棍裝模型)。通過(guò)該模型對(duì)運(yùn)動(dòng)目標(biāo)的邊緣信息做進(jìn)一步分析處理，可提取到運(yùn)動(dòng)目標(biāo)的特征點(diǎn)[8-10]，稱此點(diǎn)為“中心點(diǎn)”。

圖2 原始灰度圖片與處理后邊緣信息

圖3 生物解剖學(xué)中各肢體占身高比例

分別橫向掃描人體運(yùn)動(dòng)輪廓圖像中頸關(guān)節(jié)縱坐標(biāo)所在的高度為0.870H的行和髖關(guān)節(jié)所在的0.530H，因?yàn)槠溆啾尘跋袼刂刀紴?，故可分別得到這一行中最左邊和最右邊的兩個(gè)像素值為1的點(diǎn)的橫坐標(biāo)xl1,xr1;xl2,xr2，然后算出頸關(guān)節(jié)的橫坐標(biāo)(見(jiàn)式(1))、髖關(guān)節(jié)橫坐標(biāo)(見(jiàn)式(2))、中心點(diǎn)橫坐標(biāo)(見(jiàn)式(3))，中心點(diǎn)縱坐標(biāo)即為0.7H。

X1=xl1+(xr1-xl1)/2

(1)

X2=xl2+(xr2-xl2)/2

(2)

(3)

2.2 跑步機(jī)速度控制

對(duì)連續(xù)特征幀圖片的“中心點(diǎn)”坐標(biāo)做差值,很容易得到運(yùn)動(dòng)目標(biāo)的相對(duì)位移ΔS，提出基于ΔS的速度控制方法。

如圖4所示，忽略左右腳的差異，設(shè)周期為t，相鄰兩幀圖像中中心點(diǎn)的相對(duì)位移為ΔS，每個(gè)周期內(nèi)的等效加速度為a，跑帶的速度為Vt。當(dāng)人在單個(gè)周期內(nèi)勻速運(yùn)動(dòng)，即等效加速度a=0時(shí)，人的速度為Vt，人的質(zhì)心m在Y軸上的投影相對(duì)地面保持不變，相鄰兩幀的中心的位移近似為0。

圖4 跑步機(jī)速度控制示意及實(shí)驗(yàn)平臺(tái)

(4)

其中，kp為修正系數(shù)，范圍為0～1.0。

3 實(shí)驗(yàn)數(shù)據(jù)分析

為了對(duì)提出方法進(jìn)行驗(yàn)證，在中科院合肥智能機(jī)械研究所運(yùn)動(dòng)與健康信息技術(shù)研究中心搭建了實(shí)驗(yàn)平臺(tái)，如圖4(b)所示。

在50組重復(fù)實(shí)驗(yàn)中，隨機(jī)挑選一組實(shí)驗(yàn)數(shù)據(jù)，實(shí)驗(yàn)者為男性，25歲，身高175cm，體重60kg；實(shí)驗(yàn)者經(jīng)過(guò)短時(shí)間練習(xí)，能很快適應(yīng)這套實(shí)驗(yàn)裝置，并能夠在跑步機(jī)上實(shí)現(xiàn)速度的自主跟隨調(diào)節(jié)。圖5、6為在實(shí)驗(yàn)過(guò)程中一段時(shí)間內(nèi)的相對(duì)位移的數(shù)據(jù)曲線以及對(duì)應(yīng)的跑步機(jī)速度曲線。加速閾值為45mm，減速閾值為-45mm，KP=0.50。

圖5 運(yùn)動(dòng)過(guò)程中的相對(duì)位移曲線圖

圖6 跑步機(jī)速度曲線

圖中的測(cè)試結(jié)果與以往研究一致[11-14]，驗(yàn)證了文中實(shí)驗(yàn)裝置獲取的信息是準(zhǔn)確的。

在實(shí)驗(yàn)中，實(shí)驗(yàn)者按照要求逐步地調(diào)整自己的行走速度。當(dāng)實(shí)驗(yàn)者試圖加速時(shí)，測(cè)得ΔS的數(shù)值大于加速閾值，跑步機(jī)隨之不斷加速。當(dāng)實(shí)驗(yàn)者試圖減速時(shí)，測(cè)得ΔS的數(shù)值小于減速閾值，跑步機(jī)隨之不斷減速。在跑步機(jī)速度調(diào)整周期內(nèi)，跑步機(jī)能夠完成速度匹配，達(dá)到速度跟隨自適應(yīng)的功能。

4 結(jié)束語(yǔ)

文中提出一種基于圖像處理的跑步機(jī)速度自適應(yīng)的控制方法，不需要在運(yùn)動(dòng)者身上安裝任何裝置，只需通過(guò)攝像機(jī)捕捉運(yùn)動(dòng)者的姿態(tài)特征即可控制電機(jī)轉(zhuǎn)速，跟隨運(yùn)動(dòng)者速度的變化趨勢(shì)。實(shí)驗(yàn)結(jié)果表明，該方法可以在一定范圍內(nèi)實(shí)現(xiàn)跑步機(jī)速度的跟隨控制，為進(jìn)一步研究奠定了基礎(chǔ)。

隨著研究的深入以及互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、傳感器等相關(guān)領(lǐng)域產(chǎn)業(yè)科技的進(jìn)步與發(fā)展，速度自適應(yīng)跑步機(jī)的研究可能將力學(xué)、視覺(jué)圖像、3D、心率、神經(jīng)直覺(jué)等多維度參數(shù)進(jìn)行融合，并結(jié)合云計(jì)算、大數(shù)據(jù)等技術(shù)，從單純的速度自適應(yīng)，不斷向更高維度的智能化方向擴(kuò)展，這也是今后的研究重點(diǎn)。

[1] 郭 鋒.健身走跑在全民健身中運(yùn)用的方法探索[J].安徽電子信息職業(yè)技術(shù)學(xué)院學(xué)報(bào),2010,9(5):108-110.

[2] 崔文琪,李 峰.下肢康復(fù)機(jī)器人系統(tǒng)中的跑步機(jī)速度跟隨自適應(yīng)控制方法[J].現(xiàn)代制造工程,2013(9):30-34.

[3]TaiJC,TsengST,LinCP,etal.Real-timeimagetrackingforautomatictrafficmonitoringandenforcementapplications[J].ImageandVisionComputing,2004,22(6):485-501.

[4]FukunagaK,HostetlerL.Theestimationofthegradientofadensityfunction,withapplicationsinpatternrecognition[J].IEEETransactionsonInformationTheory,1975,21(1):32-40.

[5]LiptonHA,FujiyoshiH,PatilRS.Movingtargetclassification

and tracking from realtime video[C]//Proc of IEEE workshop on applications of computer vision.[s.l.]:IEEE,1998:129-136.

[6] 朱 梁.健康監(jiān)測(cè)跑步機(jī)的研發(fā)[D].杭州:浙江理工大學(xué),2013.

[7] 程 娟.復(fù)雜背景下運(yùn)動(dòng)目標(biāo)識(shí)別算法研究[D].武漢:武漢理工大學(xué),2008.

[8] 孫 浩.智能型電動(dòng)跑步機(jī)驅(qū)動(dòng)控制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].南京:南京郵電大學(xué),2011.

[9] 王樹(shù)文,閆成新,張?zhí)煨?等.數(shù)學(xué)形態(tài)學(xué)在圖像處理中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用,2005,40(32):89-92.

[10] 顧成成,任 彧,劉宗欽,等.可識(shí)別手勢(shì)的跑步機(jī)：中國(guó),2010102452.9[P].2010-12-15.

[11] 蔣建業(yè).一種跑步機(jī)的速度控制方法及裝置：中國(guó),200810217067.5[P].2009-03-18.

[12] Lichtenstein L,Barabbas J,Woods L R,et al.A feedback-controlled interface for treadmill locomotion in virtual environments[J].ACM Transactions on Applied Perception,2007,4(1):1-22.

[13] 楊 杰,張 翔.視頻目標(biāo)檢測(cè)和跟蹤及其應(yīng)用[M].上海:上海交通大學(xué)出版社，2012.

[14] Verkerke G,Hof A,Zijlstra W,et al.Determining the centre of pressure during walking and running using an instrumented treadmill[J].Journal of Biomechanics,2005,38(9):1881-1885.

[15] 楊先軍,李春麗,夏 懿,等.電動(dòng)跑步機(jī)上步態(tài)特征獲取系統(tǒng)的設(shè)計(jì)[J].傳感技術(shù)學(xué)報(bào),2012,25(6):751-755.

Research on Speed-adaptive Technology of Treadmill Based on Image Processing

CHENG Long-le1,2,XU Jin-lin2,LI Xi-ru2,3,MA Zu-chang2,3,LI Xiao-feng2,3

(1.Anhui University,Hefei 230601,China;2.Hefei Institutes of Physical Science,Chinese Academy of Sciences,Hefei 230031,China;3.University of Science and Technology of China,Hefei 230026,China)

With the improvement of people’s living standards,an increasing number of individuals are concerned about their own health and are active in physical exercise,and electric treadmill has the advantages of small volume,saving space,easy operation,which has become one of the most popular fitness equipment.However,for the traditional electric treadmill,the runners are forced to adjust their speed to adapt the preset fixed speed of the treadmill,and this situation seriously affects the initiative and the relaxed feeling of the runners,and also limits the application extension of electric treadmill.Mechanical running machine can realize speed since followed,but the damage of activists muscle joints cannot be ignored.Therefore,a kind of real-time control treadmill which can judge acceleration intention has become particularly important,at the same time,adaptive speed treadmill in daily exercise and medical rehabilitation field has broad prospects.This topic is based on the perspective of computer vision,analysis of the human body movement characteristic,proposed the scheme of real-time speed control,finally realizing the adaptive speed control of treadmill.

treadmill;speed-adaptive;computer vision;image processing

2016-01-04

2016-05-12

時(shí)間：2016-09-19

國(guó)家科技支撐計(jì)劃課題(2013BAH14F01)

程龍樂(lè)(1988-)，男，碩士研究生，研究方向?yàn)樾盘?hào)與信息處理；馬祖長(zhǎng)，博士生導(dǎo)師，研究方向?yàn)榉轻t(yī)療性健康促進(jìn)服務(wù)理論與技術(shù)體系；李曉風(fēng)，博士生導(dǎo)師，研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)管理和計(jì)算機(jī)自動(dòng)控制。

http://www.cnki.net/kcms/detail/61.1450.TP.20160919.0841.036.html

TP393.4

A

1673-629X(2016)10-0092-03

10.3969/j.issn.1673-629X.2016.10.020