毛雁明，章立亮

(寧德師范學(xué)院 計算機系，福建 寧德 352100)

，

?

基于Kinect骨架追蹤技術(shù)的PPT全自動控制方法研究

毛雁明，章立亮

(寧德師范學(xué)院 計算機系，福建 寧德 352100)

提出了一種基于Kinect骨架追蹤技術(shù)的PPT全自動控制方法，首先通過Kinect傳感器獲取骨架節(jié)點的三維信息，其次根據(jù)骨架節(jié)點之間的位置關(guān)系以及左右手的運動信息對手勢進行識別，最后將手勢識別結(jié)果映射到PPT控制命令以實現(xiàn)對PPT的全自動控制.實驗結(jié)果表明，該方法對不同光照和復(fù)雜背景具有很好的魯棒性，識別率高且能夠有效地實現(xiàn)對PPT的全自動控制.

Kinect； 骨架追蹤； PPT控制； 手勢識別

隨著會議、演講及授課智能化程度的提高，PPT作為其重要輔助工具，為用戶提供了便利.但由于對PPT的控制受到傳統(tǒng)輸入設(shè)備如鼠標、鍵盤等的束縛，使得人機交互方式不能滿足用戶的需要.為了使用戶能夠更加自然、友好、人性化的無接觸控制PPT，可使用聲音、激光筆、手勢等來控制PPT.由于手勢含有大量的交互信息，且提供了自然、直接的人際交互方式，同時也符合人類的行為習慣.因此，許多研究者對手勢識別進行了相關(guān)的研究，大體可以分為2類：一類是基于視覺的手勢識別方法[1-3]，主要利用網(wǎng)絡(luò)攝像頭捕獲手勢圖像進而分割手勢，然后采用特定的方法識別手勢.該方法的缺點是容易受到光照條件、復(fù)雜背景以及類膚色如人臉等的干擾；另一類是基于Kinect傳感器的手勢識別方法[4-10]，主要利用微軟2010年新近推出的Kinect傳感器獲取手勢深度圖像，而深度信息對光照以及復(fù)雜環(huán)境等具有很好的魯棒性，能夠克服基于視覺的手勢識別方法的缺點.但這2類方法在進行手勢識別之前都需要進行手勢分割，而手勢分割的質(zhì)量將影響后續(xù)的手勢識別效果.因此，筆者提出了一種基于Kinect骨架追蹤技術(shù)的手勢識別方法，該方法不需要對手勢進行分割，而是直接利用Kinect傳感器獲取人體骨架節(jié)點信息，接著根據(jù)骨架節(jié)點之間的位置關(guān)系以及左右手的運動信息對手勢進行識別，最后將手勢識別結(jié)果應(yīng)用于對PPT的全自動控制.試驗結(jié)果表明，該方法對光照條件和復(fù)雜背景具有很好的魯棒性，識別率高且能夠有效的實現(xiàn)對PPT的全自動控制.

1 Kinect骨架追蹤技術(shù)

骨架追蹤是Kinect“體感操作”的基礎(chǔ)，通過Kinect傳感器獲取深度圖像，并利用機器學(xué)習和模式識別的方法來感知壓縮深度信息，從而構(gòu)建火柴人的骨架節(jié)點，圖1為OpenNI可檢測的15個關(guān)節(jié)點構(gòu)造火柴人的示意圖[11].

圖1 OpenNI可檢測的15個關(guān)節(jié)點

深度圖的獲取采用了光編碼技術(shù)(Light Coding)，將經(jīng)過編碼后的紅外線散斑投射到空間中，使得空間被標記，由于散斑具有高度的隨機性，使得空間中任意兩處的散斑具有不同的圖案，接著接收器(一個標準的CMOS感應(yīng)器)將接收到的空間外線影像交由PS1080芯片處理，計算出深度圖.Kinect傳感器要把得到的深度圖轉(zhuǎn)換為骨架圖，如圖2所示，需要經(jīng)過以下3個步驟：1)人體識別，即將人體從背景環(huán)境中區(qū)分出來，主要通過分析比較接近Kinect的區(qū)域，這也是最有可能是人體的目標，接著逐點掃描這些區(qū)域深度圖像的像素判斷屬于人體的哪些部位；2)部位分類，即從深度圖像中利用特征值將人體32個部位識別出來；3)光節(jié)點識別，即利用機器學(xué)習的方法對已識別的32個人體部位信息進行分析識別出20個關(guān)節(jié)點數(shù)據(jù)[12].

圖2 深度圖像轉(zhuǎn)換為骨骼圖像

目前OpenNI/NITE一共定義了24個關(guān)節(jié)點，不過現(xiàn)在只有15個關(guān)節(jié)點可以通過骨架功能(SkeletonCapability)提供的成員函數(shù)GetSkeletonJointPosition()函數(shù)獲取關(guān)節(jié)點的位置信息，此時獲取的骨架點坐標是真實世界的絕對坐標，因此，需要通過深度生成器DepthGenerator下的ConvertRealWorldToProjective()函數(shù)將絕對坐標轉(zhuǎn)換為屏幕上的投影坐標，以便在屏幕上繪制關(guān)節(jié)點.通過調(diào)用Qt中的QPainter類的成員函數(shù)drawEllipse()畫圓函數(shù)繪制關(guān)節(jié)點以及drawLine()畫線函數(shù)繪制相應(yīng)關(guān)節(jié)點之間的連線，其在白天和黑暗條件下繪制骨骼關(guān)節(jié)點圖像的效果如圖3所示.從圖3中可以看出，該方法對光照條件和復(fù)雜背景具有很好的魯棒性.

2 手勢識別與PPT控制

手勢識別的效果是實現(xiàn)全自動控制PPT的關(guān)鍵，本文的手勢識別方法無需進行前期手勢的分割，而是直接通過分析骨架節(jié)點之間的位置關(guān)系以及左右手的運動信息實現(xiàn)對手勢的識別，并將識別結(jié)果應(yīng)用到對PPT的全自動控制.

圖3 骨骼圖像

2.1 手勢定義 要實現(xiàn)手勢的識別，必須事先建立一個有意義的手勢集合，根據(jù)PPT中常用的打開、最大化、第一頁、最后一頁、上一頁、下一頁以及關(guān)閉功能，定義了7種手勢，如表1所示.表1中“LeftRightUp”表示左右手升起且高過頭部，用于打開PPT文件；“LeftRightStraight”表示左右手往兩邊伸直，用于最大化PPT文件；“RightUp”表示右手升起且高過頭部，用于將PPT翻到第一頁；“LeftUp”表示左手升起且高過頭部，用于將PPT翻到最后一頁；“LeftToLeft”表示左手向左運動，用于將PPT翻到上一頁；“RightToRight”表示右手向右運動，用于將PPT翻到下一頁；“LeftRightCombine”表示雙手合并，用于關(guān)閉PPT.

表1 手勢定義表

2.2 手勢識別 根據(jù)表1定義的手勢，只需要用到其中3個骨架節(jié)點信息，即左手位置信息、右手位置信息以及頭部位置信息，分別用LeftHand、RightHand和Head表示.現(xiàn)在可通過判斷左右手與頭部之間的位置關(guān)系以及左右手的運動信息實現(xiàn)對手勢的識別.設(shè)人體離Kinect傳感器1 m左右，則當LeftHand.Y>Head.Y且RightHand.Y>Head.Y時，識別出的手勢為“LeftRightUp”；當LeftHand.YHead.Y時，識別出的手勢為“RightUp”； 當LeftHand.Y>Head.Y且RightHand.Ythreshold1時，識別出的手勢為“LeftRightStraight”；當RightHand.X- LeftHand.X threshold3時，識別出的手勢為“LeftToLeft”； 設(shè)經(jīng)過0.5 s以后右手位置為NextRightHand，當NextRightHand.X -RightHand.X> threshold3時，識別出的手勢為“RightToRight”.經(jīng)過試驗驗證，當Kinect傳感器距離人體1 m時，以上閾值threshold1取400、threshold2取20、threshold3取100較為合適.由于用戶手心的移動范圍的固定的，因此人體離Kinect距離越遠，其移動范圍也會減小.為了使上述閾值無需變化，利用文獻[6]提供的方法修改手心坐標，其公式如下

(1)

其中h為手心深度， (x,y)為手心的真實位置，(x′,y′)為轉(zhuǎn)換后在640×480標準區(qū)域的坐標.因此通過對轉(zhuǎn)換后的坐標分析可完成對手勢的識別.

2.3PPT控制 根據(jù)手勢識別的結(jié)果，只有當識別的手勢為“LeftRightUp”時，才調(diào)用MFC中的ShellExecuteA()函數(shù)打開PPT文件，再調(diào)用FindWindowA()函數(shù)獲取該文件的句柄，設(shè)為hwnd，這樣就可以通過PostMessage()函數(shù)向該PPT句柄發(fā)送相應(yīng)的消息實現(xiàn)對PPT的控制.當手勢為“LeftRightStraight”時，發(fā)送VK_F5消息以最大化PPT；當手勢為“RightUp”時，發(fā)送VK_HOME消息將PPT翻到第一頁；當手勢為“LeftUp”時，發(fā)送VK_END消息將PPT翻到最后一頁；當手勢為“LeftToLeft”時，此時需判斷PPT是否在第一頁，若不是，則發(fā)送VK_LEFT消息將PPT上翻一頁；當手勢為“RightToRight”時，此時需判斷PPT是否在最后一頁，若不是，則發(fā)送VK_LEFT消息將PPT下翻一頁；當手勢為“LeftRightCombine”時，發(fā)送VK_MENU和VK_F4消息關(guān)閉PPT文件.PPT控制系統(tǒng)流程如圖4所示.

3 實驗結(jié)果與分析

為了驗證本文算法的有效性，以VS2008為開發(fā)工具，基于OpenNI和Qt編寫了一個基于Kinect骨骼追蹤技術(shù)的PPT全自動控制的應(yīng)用程序，識別速度為25f/s，達到了手勢識別應(yīng)用實時性的要求.

圖5為手勢識別與PPT控制實驗效果圖，從圖中可以看出，該手勢識別方法無需進行前期手勢的分割，只需要根據(jù)雙手和頭部關(guān)節(jié)點的位置關(guān)系以及雙手的運動信息就可實現(xiàn)手勢的識別.為了驗證本文算法的有效性，采集5個人分別按照定義的手勢對PPT進行操作，其實驗結(jié)果如表2所示.從表2中可以看出，用戶成功率都高于97%且每個手勢的操作成功率高于95%，尤其是打開、最大化、第一頁、最后一頁和關(guān)閉的操作成功率為100%，而上一頁、下一頁操作個別有誤的原因是人手運動過慢或人手運動過快后又將手移回原處.綜上所述，本文算法總的平均操作成功率為98.4%，能夠有效的應(yīng)用于對PPT的全自動控制.

圖5 手勢識別與PPT控制效果圖

表2 手勢識別成功率(其中m/n表示成功m次，失敗n次)

打開最大化最后一頁第一頁下一頁上一頁關(guān)閉用戶成功率/%User110/010/015/015/018/219/110/097%User210/010/015/015/019/119/110/098%User310/010/015/015/020/020/010/0100%User410/010/015/015/019/119/110/098%User510/010/015/015/019/120/010/099%操作成功率/%100%100%100%100%95%97%100%

4 小 結(jié)

本文提出了一種基于Kinect骨架追蹤技術(shù)的手勢識別方法，先利用骨架功能提供的GetSkeletonJointPosition()函數(shù)獲取15個關(guān)節(jié)點位置信息，并根據(jù)PPT常用操作功能選取了左手、右手以及頭部3個關(guān)節(jié)點信息作為手勢識別的特征向量，然后利用左右手與頭部、左右手之間的位置關(guān)系以及左右手的運動信息進行手勢識別，最后將手勢識別的結(jié)果應(yīng)用于對PPT的全自動控制.該方法的優(yōu)點是無需進行前期的手勢分割工作，識別率高且能夠有效地實現(xiàn)對PPT的全自動控制.下一步的工作是在手勢識別中考慮更多的骨架節(jié)點信息，并將其推廣到其他應(yīng)用領(lǐng)域.

[1]WachsJP,KolschM,SternH,etal.Vision-basedhand-gestureapplications[J].CommunicationsoftheACM, 2011, 54(2)：60-71.

[2] 張秋余,王道東,張墨逸,等.基于特征包支持向量機的手勢識別[J].計算機應(yīng)用,2012,32(12):3 392-3 396.

[3] 公衍超,萬帥,楊楷芳,等.利用雙目視覺視頻的實時三維裸手手勢識別[J].西安電子科技大學(xué)學(xué)報(自然科學(xué)版),2014,41(4): 130-136.

[4] 陶麗君,李翠華,張希倩,等.基于Kinect傳感器深度信息的動態(tài)手勢識別[J].廈門大學(xué)學(xué)報(自然科學(xué)版),2013,52(4):493-497.

[5] 鄧瑞,周玲玲,應(yīng)忍冬. 基于Kinect深度信息的手勢提取與識別研究[J].計算機應(yīng)用研究,2013,30(4): 1 263-1 265.

[6] 李健,路飛,田國會，等.基于Kinect的PPT全自動控制系統(tǒng)研究[J].計算機工程與應(yīng)用,2013,49(17):133-138.

[7]ZhouRen,YuanJunsong,MengJingjing,etal.RobustPart-basedHandGestureRecognitionusingKinectSensor[J].IEEETrans.onMultimedia(T-MM), 2013,15(5):1 110-1 120.

[8] 王松林.基于Kinect的手勢識別與機器人控制技術(shù)研究[D].北京：北京交通大學(xué),2014.

[9] 許凱,王敏.基于手輪廓的深度圖像手勢識別方法[J].計算機工程與科學(xué),2014,36(5):941-946.

[10] 屈燕琴,李昕,盧夏衍.基于表觀特征分析的手勢識別及其應(yīng)用[J].計算機工程與科學(xué),2015,37(1):139-145.

[11] 任侃,曹越,吳杰,等.OpenNI體感應(yīng)用開發(fā)實踐[M]. 北京：機械工業(yè)出版社.2014:82-84.

[12] 余濤.Kinect應(yīng)用開發(fā)實踐[M].北京：機械工業(yè)出版社.2013:60-65.

PPT Full-automatic Control Method Based on Kinect Skeleton Tracking Technology

MaoYanming,ZhangLiliang

(DepartmentofComputer,NingdeNormalUniversity,Ningde352100,China)

Inourreport,anovelPPTautomaticcontrolmethodbasedonKinectskeletontrackingtechnologywasproposed.Firstly,theKinectsensorwasutilizedtocapturethe3Dinformationofskeletonjoints;secondly,thepositionrelationshipbetweenskeletonjointsandmotioninformationofleftandrighthandwereusedforrealizinggesturerecognition;finally,thegesturerecognitionresultsweremappedtoPPTcontrolcommandstorealizePPTautomaticcontrol.Theresultsindicatedthatthemethodhasgoodrobustnessinthedifferentilluminationandcomplexbackgrounds,highrecognitionrate,andcanrealizetheautomaticcontrolofPPTeffectively.

Kinectsensor;skeletaltracking;PPTcontrol;gesturerecognition

2015-03-25

福建省自然科學(xué)基金(2015J01660)；福建省教育廳A類科技項目(JA15543)

毛雁明(1982-)，男，福建福安人，講師，碩士，研究方向：計算機視覺、模式識別，E-mail:hydrone@163.com

1004-1729(2015)03-0215-06

TP 391.41

A DOl：10.15886/j.cnki.hdxbzkb.2015.0040