馮廣宇，侯文軍，周 湖，由振偉

(1.北京郵電大學(xué) 自動化院，北京 100876；2.北京郵電大學(xué) 數(shù)字媒體與設(shè)計(jì)藝術(shù)學(xué)院，北京 100876；3.北京郵電大學(xué) 網(wǎng)絡(luò)系統(tǒng)與網(wǎng)絡(luò)文化北京市重點(diǎn)實(shí)驗(yàn)室，北京 100876)

0 引言

近年來，隨著虛擬現(xiàn)實(shí)(Virtual Reality, VR)應(yīng)用的迅速發(fā)展，基于手柄的傳統(tǒng)鍵觸交互平臺逐漸難以滿足身臨其境的用戶體驗(yàn)需求，VR頭戴式顯示器設(shè)備HTCVIVE與Leapmotion的創(chuàng)新性結(jié)合令VR手勢交互再次成為研究的焦點(diǎn)，作為一種最貼近人與人交互的自然交互方式，無需觸摸的凌空動態(tài)手勢已經(jīng)成為人機(jī)交互研究中的熱點(diǎn)問題之一。相比語音的指令性交互方式，手勢交互開拓了三維空間交互的可能性，這種自然交互模式不但保留了傳統(tǒng)鍵鼠交互方式的桌面交互特性，而且增強(qiáng)了空間位置的指向性，從信息維度和匹配度上都能滿足自然交互的要求。尤其在VR環(huán)境中，凌空手勢交互幫助用戶減輕了手柄、手套等可穿戴設(shè)備的束縛，使用戶可以在不同應(yīng)用場景之間無縫切換和自然交互，從而享受更自由更具沉浸感的交互體驗(yàn)。

凌空手勢交互的核心問題為復(fù)雜動態(tài)時(shí)序信息的語義化處理，而手勢軌跡信息往往具有隱喻性、模糊性和個(gè)性化差異等特點(diǎn)。由于現(xiàn)階段有關(guān)手勢時(shí)序信息的模式識別研究尚淺，對尋找連續(xù)交互動作的識別特征缺乏統(tǒng)一的理論指導(dǎo)，如何通過提取高維動態(tài)的運(yùn)動規(guī)律來建立手勢的特征預(yù)估模型成為研究連續(xù)手勢交互的關(guān)鍵。因?yàn)榱杩帐謩莸淖R別系統(tǒng)具有以下4個(gè)顯著特征[1]，所以基于圖像處理的手勢識別算法很難保證穩(wěn)定的魯棒性和識別率[2]：

(1)自由度復(fù)雜 人手可建模為具有20多個(gè)自由度的復(fù)雜機(jī)構(gòu)，每一幀運(yùn)動姿態(tài)都由多個(gè)狀態(tài)變量描述。

(2)非線性 連續(xù)手勢在離散觀察序列中表現(xiàn)為非線性軌跡，很難用準(zhǔn)確的數(shù)學(xué)公式描述。

(3)噪聲 由于受到陰影、方向、亮度和振動等因素影響，信號噪聲是動態(tài)手勢的內(nèi)在特征。

(4)個(gè)性化差異顯著 連續(xù)手勢的輸入動作通常表現(xiàn)為不同的運(yùn)動模式，導(dǎo)致信號的時(shí)序長短和空間分布存在顯著差異。

1 相關(guān)工作

傳統(tǒng)手勢識別算法可以基于數(shù)據(jù)采集設(shè)備和識別方法進(jìn)行分類，目前主要的輸入設(shè)備有數(shù)據(jù)手套[3]、表皮肌電設(shè)備[4]、普通攝像頭[5]和深度攝像頭[6];識別性能在很大程度上依賴所建立的特征模型，早期的識別算法主要借鑒隱馬爾科夫模型(Hidden Markov Model, HMM)[7-8]、條件隨機(jī)場(Conditional Random Field, CRF)[9]和動態(tài)時(shí)間規(guī)劃(Dynamic Time Warping, DTW)[10]等時(shí)序模型。其中HMM和CRF主要利用概率統(tǒng)計(jì)模型建立目標(biāo)手勢的自適應(yīng)識別標(biāo)準(zhǔn)，但是它們更多地集中在時(shí)序特征的提取，難以表征潛在的運(yùn)動規(guī)律。Alon等[11]提出一種基于模板匹配的DTW算法,雖然算法的復(fù)雜度相對較低，但識別性能容易受到噪聲及異常值的影響。描述性變量如切向角變化[12]和中心點(diǎn)坐標(biāo)[13]常被用于構(gòu)建特征向量，然而由于控制系統(tǒng)的方程為未知，將其用于描述手勢動態(tài)特征并不理想。針對動態(tài)手勢的空間特征，中科院Wang等[14]提出從手勢序列的每幀中平滑提取空間的特征協(xié)方差矩陣，用于計(jì)算Grassmannian流形中樣本之間的差異，該方法適用于小型識別任務(wù)，然而時(shí)序信息的部分缺失導(dǎo)致其難以區(qū)分相似手勢。Barros等[15]提出凸面方法來解決維度災(zāi)難問題，通過生成較小的特征矢量來描述手形，但方法在本質(zhì)上還是基于HMM和DTW的時(shí)序建模，難以捕獲連續(xù)手勢的空間特征。

另一方面，基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)等深度學(xué)習(xí)算法也在手勢識別應(yīng)用中取得了突破性進(jìn)展。Koller等[16]基于時(shí)序建模方法提出混合CNN-HMM算法，將CNN端對端地嵌入HMM，充分結(jié)合了CNN的強(qiáng)識別能力與HMM的時(shí)序建模能力；Wang等[17]提出利用CNN深度學(xué)習(xí)圖像的運(yùn)動流向圖對短時(shí)間內(nèi)的時(shí)空信息進(jìn)行建模識別。在最近的ChaLearn 2016連續(xù)手勢識別挑戰(zhàn)賽中，3D CNN算法通過時(shí)空卷積方法從視頻幀中提取與外形和運(yùn)動相關(guān)的特征，在池化層根據(jù)特征的時(shí)空不變性進(jìn)行編碼，取得了較好的識別率[18]；同時(shí)Necati等[19]提出一種基于粒子濾波的強(qiáng)制概率校準(zhǔn)方法，通過弱邊界標(biāo)注進(jìn)一步改進(jìn)了3D CNN的訓(xùn)練模式。然而，根據(jù)ChaLearn2016的參賽結(jié)果[20]，基于神經(jīng)網(wǎng)絡(luò)的識別算法取得的最佳準(zhǔn)確率只有67.71%，其強(qiáng)計(jì)算能力并未發(fā)揮應(yīng)有的作用，表明手勢識別的特征工程仍然缺乏有效的建模方法。

針對上述方法的不足，本文創(chuàng)新性地提出建立由混沌因子組成的特征向量，用于捕捉連續(xù)手勢中潛在的動力學(xué)特征。假設(shè)連續(xù)手勢的離散采樣信號可以通過特定類型的動態(tài)系統(tǒng)近似模擬，一旦該假設(shè)被證明，非線性系統(tǒng)的混沌運(yùn)動模型將有助于建立特征向量。相較之下，基于混沌動力學(xué)的手勢識別方法優(yōu)于其他基于描述性變量的建模方法，因?yàn)槠淠芸朔肼?、速度變化及個(gè)體運(yùn)動幅度差異等影響因素。

2 基于混沌動力學(xué)的手勢識別算法

2.1 系統(tǒng)模型

系統(tǒng)模型主要分為3個(gè)過程，如圖1所示。首先通過狀態(tài)空間建模描述手勢動力系統(tǒng)，將連續(xù)手勢中5根指頭的指尖絕對坐標(biāo)分解為15組一維非線性序列，分別包含X,Y,Z3個(gè)坐標(biāo)維度；然后通過預(yù)實(shí)驗(yàn)求解重構(gòu)相空間所需要的相關(guān)參數(shù)，提取表征相空間的3個(gè)混沌因子構(gòu)建45維特征矩陣；最后通過3個(gè)經(jīng)典機(jī)器學(xué)習(xí)算法證明假設(shè)的合理性以及建模方法的可行性。

2.2 非線性動力學(xué)分析

混沌系統(tǒng)的假設(shè)源于動力學(xué)研究中的定點(diǎn)概念。在一個(gè)簡單的單擺系統(tǒng)中(如圖2)，定點(diǎn)位于擺錘的最低位置，系統(tǒng)運(yùn)動的重要特性均能在其周圍的運(yùn)動區(qū)域中反映，無論鐘擺的初始位置在哪里，系統(tǒng)最終都會收斂于定點(diǎn)，具有噪聲的復(fù)雜運(yùn)動軌跡分析均可簡化為對定點(diǎn)的分析。凌空手勢動作也屬于動力耗散系統(tǒng)，其特征是隨著時(shí)間的推移，狀態(tài)空間體積會收斂到較低維度的流形上。假設(shè)連續(xù)手勢符合非線性動力學(xué)系統(tǒng)，則可建立基于混沌動力學(xué)的特征模型，通過實(shí)驗(yàn)來驗(yàn)證假設(shè)是否成立。

嵌入Leapmotion的頭盔顯示器(Head-Mounted Display,HMD)可以捕捉到手部骨架的軌跡，表現(xiàn)為手勢動作軌跡的離散觀察序列。與手寫字母識別過程不同，圖3中的凌空字母手勢軌跡不僅包括字母形狀本身，還包括過渡運(yùn)動的軌跡，這些不規(guī)則的運(yùn)動軌跡使基于圖像識別的傳統(tǒng)算法難以有效地捕捉到時(shí)序特征和空間特征。另外，實(shí)際系統(tǒng)中的時(shí)間序列是離散測量的連續(xù)數(shù)據(jù)點(diǎn)，系統(tǒng)的運(yùn)動控制方程通常是復(fù)雜的非線性方程，難以通過數(shù)據(jù)擬合推斷出運(yùn)動特征。

針對手勢動作的空間信息特點(diǎn)，采用狀態(tài)空間模型描述非線性手勢系統(tǒng)的動力學(xué)特性，一組基于離散觀測值的狀態(tài)變量在任意時(shí)刻都包含完整的信息來預(yù)測系統(tǒng)可能的演化。假設(shè)手勢運(yùn)動可以通過特定類型的動力學(xué)系統(tǒng)來近似模擬，指尖的絕對坐標(biāo)被認(rèn)為是一組狀態(tài)變量，任何特定時(shí)刻的變量值都包含有足夠的信息來預(yù)測運(yùn)動的演變。令x1(t),x2(t),…,xn(t)表示每一幀狀態(tài)變量，則非線性動態(tài)系統(tǒng)的運(yùn)動特性可以用一階微分方程組大致表示為dx(t)/dt=F(x(t))。手勢動作的起點(diǎn)和終點(diǎn)均為系統(tǒng)的平衡狀態(tài)，此時(shí)滿足F(x(t))=0，速度向量dx/dt在平衡狀態(tài)x處消失，因此x(t)=x是方程的解。由于解的唯一性，沒有其他解曲線能夠穿過平衡狀態(tài)x，軌跡將退化到該點(diǎn)，使其穩(wěn)定且收斂，可以用于量化及重構(gòu)。

2.3 相空間重構(gòu)

相空間重構(gòu)描述了從一維信號到n維信號的映射狀態(tài)，通過動態(tài)建模捕獲可觀察時(shí)間序列的潛在動力學(xué)特性，從而避免求解復(fù)雜動力學(xué)方程。相對于基于描述性變量的建模方法，相空間重構(gòu)方法能夠克服噪聲、速度變化以及個(gè)體運(yùn)動幅度差異等影響因素，在不丟失動力學(xué)特征的情況下統(tǒng)一特征矩陣的維度，而看似復(fù)雜無規(guī)律的一維時(shí)序信號在高維相空間中的特征分布足以表征動態(tài)系統(tǒng)。從混沌動力學(xué)的數(shù)學(xué)角度而言，混沌吸引子是表示系統(tǒng)演變傾向的一組數(shù)值。根據(jù)混沌系統(tǒng)的特性，具有相似初始條件的吸引子軌跡會隨時(shí)間慢慢分開，具有奇異吸引子的混沌動力系統(tǒng)狀態(tài)的變化對初始運(yùn)動條件很敏感，這將有利于系統(tǒng)的特征分布?；煦缥拥牟蛔兞繘Q定了重構(gòu)相空間的屬性，由此構(gòu)建的特征矩陣主要由以下3個(gè)混沌因子組成：①相關(guān)積分，表示兩個(gè)不同時(shí)間點(diǎn)系統(tǒng)狀態(tài)相近的平均概率；②分?jǐn)?shù)維，用于量化重構(gòu)相空間的密度相對于領(lǐng)域半徑的變化；③Lyapunov指數(shù)，量化了移動中的吸引子之間軌跡分離的指數(shù)速率，描述了吸引子上的軌跡如何隨著系統(tǒng)演化過程而移動,其中最大Lyapunov指數(shù)用于測量重構(gòu)相空間中附近軌跡的散度指數(shù)。

動態(tài)重構(gòu)的基本方法是Takens提出的延遲嵌入法[21]，它通過延遲坐標(biāo)狀態(tài)值來重建等價(jià)于原始空間的相空間。矩陣中的每一行表示高維相空間里的一個(gè)點(diǎn)[22]，原始時(shí)間序列的延遲序列被記錄在長度為m的滑動時(shí)間窗口中，并將m維向量堆疊至矩陣X，

(1)

式中：m為嵌入維數(shù)，t為延遲時(shí)間。

目前主要有自相關(guān)法和互信息法兩種方法預(yù)估理想的延遲時(shí)間。自相關(guān)法是一種序列相關(guān)方法，它通過自相關(guān)函數(shù)選擇延遲時(shí)間，減少重構(gòu)時(shí)間序列之間的相關(guān)性，盡可能少丟失序列的動力學(xué)特性，該方法本質(zhì)上基于線性概念，適合判斷線性相關(guān)性而不適用于非線性系統(tǒng)；互信息法則通過尋找延遲時(shí)間序列和原時(shí)間序列之間互信息量的第一個(gè)局部最小值有效地確定延遲時(shí)間，在該延時(shí)值中兩段時(shí)間序列共享的信息量最小[23]。

相空間幾何法可以從幾何角度求解最合適的嵌入維度m?；煦鐣r(shí)間序列是高維相空間中的運(yùn)動軌跡在一維空間上的投影，在投影過程中混沌運(yùn)動的軌跡會被扭曲。虛假鄰點(diǎn)是高維相空間中并不相鄰但經(jīng)過投影后有可能相鄰的兩點(diǎn)，其會導(dǎo)致混沌時(shí)間序列不規(guī)律[24]。隨著嵌入維數(shù)m的增加，虛假鄰點(diǎn)逐漸消除，混沌運(yùn)動的軌道逐漸展開，混沌運(yùn)動軌跡將從混沌時(shí)間序列中得到恢復(fù)。如果手勢軌跡的狀態(tài)點(diǎn)在重建的相空間中足夠接近，則其在正向迭代期間應(yīng)該保持接近，不滿足這項(xiàng)準(zhǔn)則的相空間點(diǎn)具有假鄰點(diǎn)。對于實(shí)驗(yàn)中的手勢時(shí)間序列，從嵌入維度的最小起始值開始計(jì)算虛假鄰點(diǎn)的比例，當(dāng)該比例小于5%或者虛假最近鄰點(diǎn)不再隨維度的增加而變化時(shí)，混沌吸引子被完全打開，此時(shí)的維度即為最佳嵌入維度。圖4所示為多條手勢運(yùn)動軌跡在相空間中的3D投影，不同長度和運(yùn)動幅度的手勢運(yùn)動軌跡穩(wěn)定地分布在高維相空間中。

2.4 相關(guān)因子

相關(guān)因子包括相關(guān)積分和分?jǐn)?shù)維，共同決定了吸引子的度量結(jié)構(gòu)。其中相關(guān)積分反映了半徑領(lǐng)域內(nèi)的狀態(tài)點(diǎn)數(shù)量密度，表示為

(2)

式中：xi為吸引子上的狀態(tài)點(diǎn)；H(x)表示Heaviside函數(shù)；ε為半徑的值。設(shè)置一個(gè)ε的特定值即可得到對應(yīng)的相關(guān)積分。預(yù)實(shí)驗(yàn)通過多個(gè)手勢樣本來觀察不同半徑時(shí)樣本的分布，最終設(shè)置ε=50使分布差異最顯著。

分?jǐn)?shù)維描述了吸引子上任意兩點(diǎn)x(n)和x(k)對于某一整數(shù)q以距離r隔開的概率，表示為

C(q,r)=r(q-1)Dq。

(3)

當(dāng)q=2并在兩邊取對數(shù)時(shí)，得到吸引子的分?jǐn)?shù)維，進(jìn)而界定描述系統(tǒng)所需的自由度

Dq=lnC(ε)/lnε。

(4)

圖5所示為該函數(shù)的曲線圖，擬合曲線的斜線斜率即為分?jǐn)?shù)維的估計(jì)值。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)方法及過程

實(shí)驗(yàn)選擇11種連續(xù)字母手勢的軌跡數(shù)據(jù)集用于分類器訓(xùn)練和特征向量評估，手勢數(shù)據(jù)由嵌入Leapmotion的頭戴顯示器以每秒25幀的速率錄入。實(shí)驗(yàn)參與人員由20名平均年齡為26歲的研究生組成，男女比例1∶1。所有實(shí)驗(yàn)人員都有VR頭戴顯示器的使用經(jīng)驗(yàn)，被試者視力或矯正視力正常，雙手無殘疾可正常操作。完整的字母手勢動作包括從任意位置開始揮動手勢到手部動作靜止結(jié)束，被測人員根據(jù)提示針對11種不同的字母分別揮動10次手勢動作。為了驗(yàn)證算法在不同的手勢運(yùn)動速度和幅度中的穩(wěn)定性，實(shí)驗(yàn)要求被測人員在每組手勢揮動過程中盡可能地增加動作波動的幅度，同時(shí)滿足一個(gè)字母手勢的正常速度范圍(100幀～200幀)和Leapmotion的監(jiān)測范圍(25 mm～600 mm)，從而增加實(shí)驗(yàn)樣本的多樣性。最終每一種字母手勢采集到200條軌跡數(shù)據(jù)，共得到2 200條字母手勢數(shù)據(jù)。

實(shí)驗(yàn)分別采用K最近鄰(K-Nearest Neighbor, KNN)、支持向量機(jī)(Support Vector Machine, SVM)和隨機(jī)森林算法3種經(jīng)典分類器驗(yàn)證混沌特征矩陣的有效性，樣本驗(yàn)證方法采用五份交叉驗(yàn)證法。在圖6所示的分類器參數(shù)調(diào)試中，KNN分類器的理想K值取決于實(shí)驗(yàn)數(shù)據(jù)，當(dāng)K=11時(shí)，訓(xùn)練識別率綜合最佳，并且能夠有效抑制噪聲；隨機(jī)森林分類器的棵數(shù)n取值越高識別率越好，但計(jì)算耗時(shí)也越長，在不過擬合的情況下綜合選取n=500能夠獲得最好的識別效果；SVM分類器的核函數(shù)分別選取Sigmoid、徑向基函數(shù)(Radial Basis Function，RBF)和多項(xiàng)式(polynomial)，其中階為1時(shí)的線性分類器和RBF核分類器的識別率相對最高，高階多項(xiàng)式核分類器表現(xiàn)不佳。

3.2 實(shí)驗(yàn)結(jié)果及分析

表1所示為每一類字母手勢在各分類器的平均識別率，其中N/G表示因動態(tài)重構(gòu)失敗而不能識別的手勢。無法實(shí)現(xiàn)相空間重構(gòu)的原因主要有兩種，即動作幀數(shù)過低或者運(yùn)動軌跡存在明顯異常值。

表1 各字母手勢在分類器中的平均識別率 %

從圖中的平均識別精度結(jié)果可見，基于混沌動力學(xué)建模的特征矩陣在分類器中表現(xiàn)良好。其中：字母手勢F,H，I，K，Z達(dá)到了近100%的正確率，觀察手勢軌跡可以發(fā)現(xiàn)其均具有直線軌跡的運(yùn)動特點(diǎn)；對于B，P，R這些具有一定曲線軌跡的字母手勢，因?yàn)長eapmotion采集數(shù)據(jù)的離散特性，曲線軌跡的真實(shí)運(yùn)動狀態(tài)很難被完整還原，所以降低了一定的識別率。

圖7所示為特征矩陣在樣本空間中的3D投影，3個(gè)維度分別選取了分?jǐn)?shù)維、相關(guān)維數(shù)和最大Lyapunov常數(shù)。從樣本分布的情況可見，即使為特征矩陣的3D投影，樣本分布也呈現(xiàn)出較好的聚類特性，證明連續(xù)手勢動作可以近似為混沌動力學(xué)系統(tǒng)，并通過構(gòu)建相應(yīng)的特征矩陣進(jìn)行識別分類。

4 結(jié)束語

目前關(guān)于手勢識別的研究多集中在CNN，RNN等深度學(xué)習(xí)算法的應(yīng)用，然而基于圖像識別的逐幀分析不符合人腦正常對動作語義連續(xù)性的認(rèn)知。連續(xù)動作的語義識別通常從整體出發(fā)，綜合考慮時(shí)序信息和空間信息，混沌動力學(xué)方法正是一種兼具質(zhì)性思考和量化分析的方法，適用于模擬動態(tài)系統(tǒng)中無法用單一的數(shù)據(jù)關(guān)系、必須用整體和連續(xù)的數(shù)據(jù)關(guān)系才能解釋與預(yù)測的行為。實(shí)驗(yàn)旨在證明凌空手勢動作軌跡的離散觀測值可以通過特定類型的動態(tài)系統(tǒng)來估計(jì)，該非線性動力系統(tǒng)的表征將有助于建立手勢特征向量，進(jìn)而識別連續(xù)手勢。實(shí)驗(yàn)結(jié)果中3種分類器的識別率均達(dá)到平均92%的準(zhǔn)確率，隨機(jī)森林算法達(dá)到了96.6%的準(zhǔn)確率，基本證明了該模型的有效性。未來的研究工作如下：

(1)現(xiàn)在提出的混沌因子不足以完全表征運(yùn)動趨勢，分類器難以分辨出相似手勢運(yùn)動之間的差異，還需探索更多有效的混沌特征變量。

(2)為了初步證明混沌特征的有效性，實(shí)驗(yàn)應(yīng)用經(jīng)典的機(jī)器學(xué)習(xí)算法，而混沌模型在深度學(xué)習(xí)框架中的表現(xiàn)有待進(jìn)一步驗(yàn)證。

(3)在虛擬裝配等應(yīng)用中進(jìn)一步實(shí)踐驗(yàn)證混沌模式識別框架。