黨英霞

（國家知識產(chǎn)權局專利局專利審查協(xié)作湖北中心 湖北省 武漢市 4300470）

摘 要：人手作為僅次于語言的一種自然交流方式，通過手勢控制人機交互的應用取得了較大發(fā)展，本文從手勢控制人機交互方向切入，首先根據(jù)全球的申請量變化分析本領域的專利申請趨勢，進而對其技術分支進行分析。

1概述

人機交互技術通過輸入、輸出設備，以有效的方式實現(xiàn)交互主體與交互客體的對話。傳統(tǒng)的交互方式要求用戶通過鍵盤、鼠標等進行信息傳遞，這導致傳統(tǒng)方式不夠高效自然。近年來，針對傳統(tǒng)交互的弱點，逐步發(fā)展了一些新的交互方式，如：人臉識別、語音識別、手勢識別等，它們以人為中心，以多媒體、多通道為交互模式實現(xiàn)對人機交互技術的升級。

作為一種不需要中間媒介非常人性化的人機交互方式，手勢是一種表達用戶的意圖的理想且自然的方式。通過手勢表達信息能夠降低人們的認知負擔，越來越多的應用系統(tǒng)以手勢識別控制作為人機交互的接口，下面對手勢識別控制的人機交互發(fā)展作一個綜述。

2國內(nèi)外研究發(fā)展分析

手控人機交互研究根據(jù)采集設備的不同可以分為基于視覺技術的手控人機交互技術和基于傳感器技術的手控人機交互技術。前者是通過攝像設備采集手勢信息來完成交互任務；后者則是要求用戶通過佩戴傳感器來獲取數(shù)據(jù)信息以完成交互工作。

從圖1給出了全球專利按年度分布的分布情況，可以看出2000-2010年兩者的申請量較小，在此階段人機交互還處于傳統(tǒng)借助設備的階段，以用戶為中心的人機交互手段開始興起。從全球申請量逐年增長比較平穩(wěn)。在2011年之后進入迅猛增長期，具有優(yōu)良性能的電子產(chǎn)品面世為手控人機交互研究帶來機遇，總體來看，基于視覺的手控人機交互相較于基于傳感器的手控人機交互更受青睞，原因是后者需要用戶佩戴感應裝置導致用戶的體驗不夠自由，人們更傾向于自然手的交互方式。但是基于視覺的手控人機交互受環(huán)境影響較大，算法較復雜，實時性相對較差，而基于傳感器的手控人機交互卻可彌補這些不足，所以后者的研究仍然得以繼續(xù)。

基于視覺的

基于視覺的手控人機交互方法是應用攝像機拍攝圖像或視頻，從中檢測和分割獲取目標，然后提取特征識別。

早期基于視覺的交互方法主要是利用一個圖像采集設備獲得手勢的平面模型，與預先建立的手勢數(shù)據(jù)進行匹配識別，由此可通過手勢控制計算機進行指令切換的操作，即基于二維成像的手控人機交互。以索尼公司申請?zhí)枮镴P2003193738的申請專利為例，提出了一種個人計算機的用戶控制系統(tǒng)。在這個系統(tǒng)中，利用攝像機拍攝用戶手部或手指在屏幕前的運動，然后該系統(tǒng)根據(jù)拍攝到的用戶手指或者手部的運動識別出這個手勢所代表的真實含義，并將其轉換成計算機能夠識別的指令予以執(zhí)行，實現(xiàn)非接觸式指令控制，利用手勢進行計算機的遠程控制所帶來了極大便利性。

二維成像方法采集簡單、計算速度較快，但是由于光照、遮擋等問題對其所限制，隨著三維成像技術的推動，產(chǎn)生了基于三維成像的交互技術，該方法利用立體成像設備獲得手勢的三維空間信息。三維成像根據(jù)其成像原理又可分為基于多角成像的、基于深度相機的。

（1）基于多角成像是使用至少兩臺攝像機同時拍攝圖像，通過比對這些在不同位置上的攝像機在同一時刻獲得圖像視差，根據(jù)幾何原理計算深度信息。以松下電器申請?zhí)枮镴PH11174948的申請專利為例，提出了一種手勢識別裝置。在該裝置中，使用至少兩臺攝像機同時拍攝圖像，通過比對這些攝像機獲得圖像視差，計算用戶的三維空間信息，進而檢測用戶手部的三維移動，提取特征執(zhí)行分類識別多個種類的手語手勢。

（2）基于深度相機是利用激光通過光柵發(fā)生折射位移后檢測圖樣變化計算得到深度信息或者利用光子反射回來的飛行時間計算物體距離，代表產(chǎn)品為Kinect一代、TOF相機。以中興通訊申請?zhí)枮镃N201210264265的申請專利為例，提出了一種三維手勢識別方法。實時獲取深度圖像，使用閾值分割出目標位置，計算深度圖像輪廓的深度特征，形成特征向量，基于概率算法抽取手部的運動軌跡，與預定義的模板進行匹配，識別出動作類型，適用于一般計算性能的終端。

基于傳感器的

基于傳感器的手控人機交互方法是用戶通過佩戴可感知運動狀態(tài)的設備采集跟蹤手部相關信息進行分析識別。按照傳感器的類型大致可以分為加速度傳感器、表面肌電信號傳感器以及數(shù)字傳感器數(shù)據(jù)手套三類。

（1）加速度傳感器可以采集人手的運動信息，并通過設備傳輸?shù)叫畔⒔馕瞿K實現(xiàn)手勢識別。以浙江大學申請?zhí)枮镃N200910154018的申請專利為例，提出了一種基于加速度的手勢識別的方法。利用三維加速度傳感器檢測手持該傳感器的用戶整個手勢變化過程中的三維加速度數(shù)據(jù)序列，即前后方向x軸、左右方向y軸、上下方向z軸的三個正交方向的加速度數(shù)據(jù)列，得到整體特征描述，訓練測試得到手勢數(shù)據(jù)的識別，以實現(xiàn)對家電設備的控制。

（2）表面肌電信號數(shù)字傳感器是根據(jù)人體不同肌肉群收縮所產(chǎn)生的微弱電生理信號，可以反映出肌肉的活動狀態(tài)、強度等信息，進而識別手勢。以中國科技大學申請?zhí)枮镃N200910252098的申請專利為例，提出了一種盲人用移動電話交互裝置。利用放置在盲人手前臂皮膚表面作為信號采集模塊，用于檢測相關肌肉活動而產(chǎn)生電信號，基于電信號傳輸給信號處理模塊以獲取手勢動作輸入集，手機系統(tǒng)可根據(jù)輸入集理解其表達的控制意圖，繼而執(zhí)行相應的指令。

（3）數(shù)據(jù)手套是利用傳感器傳輸手部的參數(shù)信息，利用這些信息內(nèi)容進行手勢的識別。以NAVIGATION科技公司申請?zhí)枮閁S20020045804的申請專利為例，提出了一種基于數(shù)據(jù)手套實現(xiàn)數(shù)據(jù)收集的方法。操作人員能夠通過在手上佩戴數(shù)據(jù)手套并做出手勢動作來實現(xiàn)數(shù)據(jù)的輸入，傳感器收集動作數(shù)據(jù)經(jīng)由數(shù)據(jù)手套傳輸?shù)绞占到y(tǒng)中，進而根據(jù)該傳感數(shù)據(jù)識別出手勢。

總結

基于手控人機交互研究已經(jīng)取得一些令人振奮的成果，但它仍舊是一門新興的研究領域，其中基于深度圖的和基于新型傳感器的手控人機交互仍然面臨許多挑戰(zhàn)性的課題，手控人機交互中的應用還處于起步階段。

參考文獻

[1]袁保宗， 阮秋琦， 王延江， 等. 新一代 （第四代） 人機交互的概念框架特征及關鍵技術[J]. 電子學報， 2003， 31（12）： 1945-1954.

[2] 蔣慶全. 國外 VR 技術發(fā)展綜述[J]. 飛航導彈， 2002， 1（272）： 34.