張長青，宋 旭

(安陽師范學院 計算機與信息工程學院，河南 安陽 455002)

手勢是一種自然直觀的人機交流方式，它符合人的生活習慣。手勢識別研究的主要目的是將手勢引入到人機接口HCI(Human Computer Interface)中[1]。

手勢識別技術(shù)最初是基于數(shù)據(jù)手套，人需要戴上有傳感器的數(shù)據(jù)手套[1]，通過傳感器系統(tǒng)感知手的位置和關(guān)節(jié)的相對位置，這種方法由于需要在使用者手上帶上固定的物理裝置，影響了系統(tǒng)使用的自然性和友好性。另外，物理裝置的價格以及容易磨損的特性都嚴重影響了系統(tǒng)的整體使用，尤其嚴重影響了用戶體驗。后來，人們逐漸把手勢識別研究的焦點轉(zhuǎn)移到了自然狀態(tài)的手上，這種識別方式主要基于計算機視覺的識別。基于視覺的手勢識別解除了物理裝置的限制，使人機交互更加自然、直接和簡潔[2]。

基于手勢識別的應(yīng)用方興未艾，目前手勢識別的產(chǎn)品并不多見，然而可以預(yù)見，手勢識別等更為豐富和自然的人機交互方式是未來研究和應(yīng)用的一個趨勢，然而，由于手勢識別的專業(yè)性和復(fù)雜性，阻礙了基于手勢識別的系統(tǒng)的研究和開發(fā)?；诖?，本文提出并設(shè)計了一種通用的手勢識別應(yīng)用軟件開發(fā)框架，降低了軟件開發(fā)成本，將主要精力集中于應(yīng)用的業(yè)務(wù)本身，而非對手勢識別技術(shù)本身的研究。

1 應(yīng)用框架

自然手勢識別方法大致可以分為兩大類：基于三維手勢建模的方法和基于表觀建模的方法?；谌S手勢建模的方法需要估算的參數(shù)值多，比較復(fù)雜。而基于表觀的方法直接從圖像中提取相應(yīng)的特征進行識別，不需要恢復(fù)手勢在三維空間中的信息[3]，但可識別的手勢種類較少。文獻[4]的方法就是通過視頻圖像序列的前若干幀來建立靜態(tài)手勢框架，文獻[5]提出了一種基于2D的變形手勢的實時跟蹤方法。但是考慮到在給定軟件的人機交互中，有限的手勢種類即可滿足要求，重點要考慮自然性和實時性，因此本文采用基于表觀的方法。本文將手勢分為靜態(tài)手勢和動態(tài)手勢，定義如下：

定義1 靜態(tài)手勢：單個手勢，靜態(tài)手勢是手勢模式數(shù)據(jù)庫的基本組成元素，也是構(gòu)成動態(tài)手勢的基本要素。

定義2動態(tài)手勢：由包含時間信息的一個或多個靜態(tài)手勢組成。在定義靜態(tài)手勢后，可通過分析視頻信息定義動態(tài)手勢。

本文提出的框架分為手勢定義部分和手勢識別部分，基本架構(gòu)如圖1所示。該框架又可分為幾個具體部分：

(1)攝像設(shè)備：基于計算機視覺的手勢識別，攝像設(shè)備是必要的硬件裝置。通過攝像設(shè)備捕捉人手動態(tài)信息，將視頻文件傳輸?shù)较鄳?yīng)處理模塊。

(2)視頻分幀模塊：負責初步處理視頻信息。視頻文件傳輸?shù)酱四K后，該模塊將從連續(xù)的視頻文件中提取圖像序列。

(3)手勢定義模塊：負責分析該時間段內(nèi)所形成的手勢，如果該手勢尚未定義，則提醒用戶進行手勢含義定義，并存儲手勢含義信息。

(4)手勢識別模塊：負責手勢的識別和含義的確認，并將識別出的手勢含義以消息的形式封裝。

(5)手勢模式數(shù)據(jù)庫：數(shù)據(jù)庫中存儲了已定義手勢模式及其含義。

圖1 實時手勢識別框架

2 實時識別方法

2.1 靜態(tài)手勢定義方法

靜態(tài)手勢為單一手勢，由一幅含手勢信息的靜態(tài)圖像即可獲得。關(guān)于靜態(tài)手勢的識別方法較多，文獻[1]～[8]都提出了各自的識別方法。手勢分析完成后，將會形成新的手勢，對于每一種手勢，用戶根據(jù)應(yīng)用需要，按照規(guī)定格式定義自己的手勢消息。

2.2 動態(tài)手勢定義方法

動態(tài)手勢由靜態(tài)手勢序列組合而成。動態(tài)手勢的定義步驟如下：

步驟1攝像設(shè)備捕獲用戶的手形變化，形成一段視頻信息；

步驟2 將視頻(或連續(xù)的圖像幀)作為輸入，若為視頻文件，系統(tǒng)將對T0-Tn時間段內(nèi)的視頻轉(zhuǎn)化為連續(xù)的圖像幀作為輸入；

步驟3 用戶設(shè)置相應(yīng)的視頻待分析時間范圍，系統(tǒng)將根據(jù)視頻和時間信息進行分析，嘗試識別出手勢信息；

步驟4 如果識別成功，即形成一個完整手勢模式，然后將識別完成的手勢展示給用戶，用戶確認后，即形成新的動態(tài)手勢模式。

2.3 實時手勢識別策略

手勢模式完成即手勢模式數(shù)據(jù)庫初始化完畢，之后，可進行手勢的識別。從分割出的連續(xù)視頻幀中識別出手勢信息存在的問題，即手勢的時間效用范圍。采用滑動窗口策略，假設(shè)視頻分幀率為f，手勢有效時間長度為t，滑動窗口大小即一個手勢所包含的連續(xù)圖像數(shù)目為n。則有如下關(guān)系：

n=f×t

滑動窗口策略識別步驟如下：

步驟1初始化滑動窗口狀態(tài)，起始窗口狀態(tài)如圖2(a)所示，包含第 1幅視頻幀至第n幅(此處假設(shè) n=3)。

步驟2 此時手勢分析模塊嘗試根據(jù)已定義手勢模式數(shù)據(jù)庫分析手勢。若存在匹配手勢，則轉(zhuǎn)到步驟4，否則轉(zhuǎn)入步驟3；

步驟 3 窗口向后滑動 1步(幀)，如圖 2(b)，轉(zhuǎn)到步驟2；

步驟 4 窗口向后滑動 n步(幀)，如圖 2(c)，轉(zhuǎn)到步驟2。

圖2 滑動窗口

滑動窗口的大小對系統(tǒng)將會產(chǎn)生重要影響，滑動窗口越大，分析的圖像序列越多，則信息相對越完整，識別準確程度越高。但同時，分析時間越長，實時效果越差。

3 消息機制

基于本框架的應(yīng)用軟件分為框架層和應(yīng)用層，如圖3所示。

圖3 消息機制框架

框架層接收視頻輸入后進行手勢分析，將分析所得手勢轉(zhuǎn)化為手勢消息，并將消息放入框架所維護的消息隊列；應(yīng)用層負責從消息隊列中取出消息，并進行相應(yīng)處理。

系統(tǒng)實現(xiàn)示例代碼主要包括三個部分：消息結(jié)構(gòu)體定義、消息封裝函數(shù)、消息處理函數(shù)。

(1)手勢消息結(jié)構(gòu)體

(2)消息封裝函數(shù)

如用戶定義了手勢GM_MOUSEMOVE，該手勢表示鼠標指針的移動，對應(yīng)消息封裝函數(shù)如下：

(3)應(yīng)用層消息處理代碼

本文在介紹手勢識別技術(shù)的基礎(chǔ)上，提出并設(shè)計了了手勢識別應(yīng)用的一種通用框架，使基于手勢識別的軟件開發(fā)框架化，將手勢識別軟件的開發(fā)重點轉(zhuǎn)移到了應(yīng)用業(yè)務(wù)本身，降低了手勢識別軟件開發(fā)的難度。

由于手勢變化的復(fù)雜性，手勢識別技術(shù)的準確性和實時性還是制約手勢識別應(yīng)用發(fā)展一個瓶頸。因此，今后將進一步研究和關(guān)注手勢圖像識別算法，繼續(xù)改進手勢識別的實時性和準確性，提高框架的適應(yīng)性和魯棒性。

[1]朱繼玉，王西穎，王威信，等.基于結(jié)構(gòu)分析的手勢識別[J].計算機學報，2006，29(12)：2130.

[2]肖志勇，秦華標.基于視線跟蹤和手勢識別的人機交互[J].計算機工程，2009，35(15)：198.

[3]任海兵，祝遠新，徐光祐，等.連續(xù)動態(tài)手勢的時空表觀建模及識別[J].計算機學報，2000，23(8)：824.

[4]NING H Z， TAN T N， WANG L， et al.People tracking based on motion model and motion constrains with automatic initialization[J].Pattern Recognition， 2004， 37(7)：1423.

[5]王西穎，張習文，戴國忠.一種面向?qū)崟r交互的變形手勢跟蹤方法[J].軟件學報，2007，18(10)：2423.

[6]章毓晉.基于內(nèi)容的視覺信息檢索[M].北京：科學出版社，2003.

[7]湯勇，顧宏斌，周來.交互系統(tǒng)中實時手勢分割及指尖檢測方法[J].光電工程，2010，37(7)：145.

[8]劉軍，田國會，李榮寬，等.智能空間下基于手勢識別的人機交互[J].北京聯(lián)合大學學報(自然科學版)，2010，26(6)：14.