王 莉，馬 鐘，唐雪寒，王竹平，周革強，何雙亮

（1.西安微電子技術(shù)研究所，西安 710065；2.中國航天員科研訓(xùn)練中心，北京 100194）

一種面向艙外活動的視覺感知啟發(fā)的手勢識別方法

王 莉1，馬 鐘1，唐雪寒1，王竹平1，周革強2，何雙亮2

（1.西安微電子技術(shù)研究所，西安 710065；2.中國航天員科研訓(xùn)練中心，北京 100194）

針對航天員出艙作業(yè)（EVA）時的人機交互需求，結(jié)合著艙外服手套后手部動作的工效學(xué)分析，提出了一種結(jié)合眼動儀和手勢識別技術(shù)的航天員目標(biāo)選取方案，使航天員真正達(dá)到“解放雙手”的目的。該方案采用眼動儀獲取航天員“感興趣目標(biāo)區(qū)域”的位置信息，利用攝像頭捕獲航天員手勢動作，并基于稀疏濾波的特征提取方法和神經(jīng)網(wǎng)絡(luò)分類器對手勢進(jìn)行識別，根據(jù)預(yù)定義的目標(biāo)選取指令實現(xiàn)交互功能。試驗結(jié)果表明，手勢識別算法的識別率可達(dá)到95%以上，為后期將該交互系統(tǒng)集成到航天服中提供了原型依據(jù)。

艙外活動；手勢識別；神經(jīng)網(wǎng)絡(luò)；稀疏濾波

1 引言

按照我國載人航天的發(fā)展戰(zhàn)略，將建造大型長期有人照料的空間站，航天員必將開展操作更復(fù)雜、任務(wù)更精細(xì)、次數(shù)更頻繁的艙外作業(yè)，這對艙外航天服的信息管理與顯示、人機交互與控制能力提出了更高的要求。

手勢識別技術(shù)作為人機交互領(lǐng)域的研究熱點，目前的研究主要分為基于視覺［1-3］、基于傳感器［4-5］和基于數(shù)據(jù)手套［6］三大類的識別方法。Xu Bingyuan［7］提出了一種RGB-D（RGB image and Depth image）圖像的手勢識別方法，基于深度數(shù)據(jù)和膚色特征從背景中分離手，并采用SVM分類器識別手勢動作。Chiho Choi等［8］提出了基于深度手（deep hand）的方法，采用3D深度傳感器獲取的深度數(shù)據(jù)通過深度卷積神經(jīng)網(wǎng)絡(luò)來估計出3D手勢。Marin、Wang chong［9-11］等人多是采用Leap Motion和Kinect深度傳感器，通過獲取手勢的深度信息來識別手勢，而Kaur、Xie Renqiang、Strezoski［12-14］等人均采用了基于神經(jīng)網(wǎng)絡(luò)的方法來識別多種手勢類別?？到鹛m等［3］研究了基于Kinect的視覺手勢識別技術(shù)，主要應(yīng)用于航天虛擬組裝訓(xùn)練中，該團隊后來又研究了基于Leap Motion的虛擬手交互方法［15］。Richard J.Adams等［16］設(shè)計并測試了一種適用于人機交互的艙外航天服手套，可用作艙外作業(yè)中的數(shù)據(jù)輸入設(shè)備。這些研究中，有些是需要依賴于傳感裝置，易受環(huán)境限制。

考慮到航天員穿著艙外航天服后對手部操作能力將會產(chǎn)生影響，本文參考文獻(xiàn)［17］對EVA任務(wù)中航天員手部活動范圍（ROM）的研究結(jié)果，認(rèn)為航天員著艙外服手套后將很難實現(xiàn)復(fù)雜的手勢動作。航天員在執(zhí)行艙外任務(wù)時，不可避免地需要實時信息服務(wù)系統(tǒng)支持并與之進(jìn)行交互，目標(biāo)定位與選擇是其中關(guān)鍵的一環(huán)。為此，考慮借助視線和簡單的手勢動作，研究基于視覺感知啟發(fā)的交互技術(shù)，來提升可穿戴系統(tǒng)的穩(wěn)定性、可靠性和智能性，以及航天員出艙作業(yè)的工效。

在基于視覺的手勢識別技術(shù)研究中，引入基于大樣本的稀疏濾波提取特征的方法，并采用神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行手勢分類，擬設(shè)計智能化的人機交互方案，為航天員提供選取目標(biāo)時的“所感即所控”手段，使得航天員脫離傳統(tǒng)的觸摸、按鍵等操作方式，真正達(dá)到解放雙手的目的。

2 基于手勢識別的目標(biāo)選取方案設(shè)計

2.1 系統(tǒng)設(shè)計框架

針對快速的目標(biāo)定位與選取、為航天員提供有效便捷的信息推送等諸多需求，設(shè)計了如圖1所示的結(jié)合視線和手勢識別的人機交互系統(tǒng)原型。其中，眼動追蹤設(shè)備用來獲取航天員的注視點位置，手勢采集設(shè)備用來采集航天員的手勢動作，這兩類信息采集設(shè)備未來可集成到航天服頭盔中，頭盔顯示界面為航天員提供實時有效的信息支持，算法處理單元作為整個系統(tǒng)的核心處理單元，未來可集成到航天服中。

由于人的視線具有天然的目標(biāo)選擇屬性，且航天員穿著航天服后，視線活動不受任何限制，因此，可基于眼動追蹤獲取航天員的感興趣目標(biāo)；并且考慮到通過傳統(tǒng)的按鍵操作選取目標(biāo)的方式難以滿足實時信息系統(tǒng)的輸入需求，可建立基于視覺機制的手勢識別系統(tǒng)，實現(xiàn)方便快捷的人機交互控制。

2.2 基于視覺的手勢識別

手勢識別模塊中，采用基于稀疏濾波的特征提取方法獲取手勢圖像的一組特征圖，將特征圖排列成行向量，作為神經(jīng)網(wǎng)絡(luò)分類器的輸入，通過事先訓(xùn)練好的分類器輸出待識別手勢的分類結(jié)果，算法流程如圖2所示。

2.2.1 基于稀疏濾波的手勢特征提取

稀疏濾波［18］是一種簡單有效的無監(jiān)督特征學(xué)習(xí)算法，相比于其它算法，它只需要調(diào)節(jié)一個參數(shù)，即需要學(xué)習(xí)的特征數(shù)目。它的核心思想就是避免構(gòu)建輸入數(shù)據(jù)的分布模型，而是通過優(yōu)化特征分布的稀疏性得到好的特征表達(dá)。

假設(shè)采集到的手勢圖像為h×w大小的彩色圖像，采用稀疏濾波方法訓(xùn)練多幅無標(biāo)記的手勢圖像，得到M個n×n×3大小的稀疏濾波器組，記為F。將待分類圖像的每個通道分別與三個不同的n×n濾波器核進(jìn)行卷積運算，再將三個通道結(jié)果相加，即可得到M個h×w大小的手勢特征圖。其中單通道圖像的卷積運算過程如下：對于圖像的每一個像素點，計算它的鄰域像素和濾波器核的對應(yīng)元素的乘積，然后相加作為該像素的值，如圖3所示。

對單幅圖像進(jìn)行卷積運算，并基于soft absolute function對卷積結(jié)果進(jìn)行非線性處理，公式如式（1）所示：

其中，I表示原始圖像，F(xiàn)表示稀疏濾波器，IF為濾波后的圖像，ε為一個非常小的常數(shù)。則一幅手勢圖像經(jīng)過上述卷積運算后將得到一組M幅手勢的特征圖，如圖4所示。

可以看出，單幅圖像提取的特征數(shù)據(jù)量非常大，為此，在進(jìn)行分類之前，本文采用兩種方式進(jìn)行數(shù)據(jù)降維：

1）特征選擇

對獲得的M幅特征圖進(jìn)行冗余性分析，剔除相似性大的特征圖。所用方法是基于直方圖匹配的相似度測量。具體實現(xiàn)為：分別計算兩幅圖像的直方圖，然后計算兩個直方圖的歸一化相關(guān)系數(shù)，系數(shù)越接近于1，則兩幅特征圖相似度越大。

2）池化操作

具體實現(xiàn)為：將每個特征圖分為上下左右四塊大小相同的區(qū)域，計算每塊區(qū)域所有像素點的和，則可得到M個2×2的特征圖，特征維數(shù)大大降低。

2.2.2 神經(jīng)網(wǎng)絡(luò)分類器的實現(xiàn)

1）生成訓(xùn)練樣本集

獲得圖像的特征圖后，將其排列成行向量，作為訓(xùn)練分類器的一個樣本。采集K幅不同類的手勢圖像并按照上述過程處理，得到K個手勢樣本，則樣本數(shù)據(jù)集可表示為［K×（M×2×2）］的矩陣，其中K是樣本個數(shù)，M×2×2是單個樣本的數(shù)據(jù)長度。對每個樣本所屬的手勢類別作標(biāo)簽，若待識別手勢有三類，則訓(xùn)練樣本的標(biāo)簽可表示為［3×K］的矩陣。

2）數(shù)據(jù)預(yù)處理

在神經(jīng)網(wǎng)絡(luò)處理圖像的問題中，常用的數(shù)據(jù)預(yù)處理操作是去均值和歸一化，去均值即對訓(xùn)練的每幅圖像的特征，都減去全部訓(xùn)練樣本的特征均值，使得輸入樣本各個維度的數(shù)據(jù)都中心化到0。歸一化操作是保證所有維度上的數(shù)據(jù)都在一個變化幅度上，考慮到圖像像素值的變化范圍都在［0，255］之間，數(shù)據(jù)幅度本身就是一致的，因此可不做歸一化處理。

3）訓(xùn)練分類器模型參數(shù)

應(yīng)用神經(jīng)網(wǎng)絡(luò)算法對建立的手勢樣本集和樣本標(biāo)簽進(jìn)行訓(xùn)練，獲得分類器的模型參數(shù)，單隱藏層的訓(xùn)練模型如圖5所示，訓(xùn)練完成后，得到模型的權(quán)重W和偏移量b。

4）手勢分類識別

提取待分類手勢圖像的特征后，輸入上述訓(xùn)練好的模型中計算輸出，得出分類結(jié)果。隱藏層（Hidden Layer）輸出的計算公式如式（2）所示：

得到隱藏層結(jié)果后，依照式（4）計算輸出層（Output Layer）結(jié)果。

式中，W2∈和B2∈分別為輸出權(quán)重和偏移量，其中，t為輸出手勢類別個數(shù)，q（·）為輸出函數(shù)，這里采用softmax函數(shù)，其計算公式如式（5）所示，依據(jù)輸出向量y即可判斷手勢所屬類別。

3 試驗驗證

3.1 原理驗證硬件平臺搭建

搭建的演示系統(tǒng)硬件平臺如圖6所示，其中顯示器上載入一幅包含多個目標(biāo)的圖像，用來模擬航天員進(jìn)行目標(biāo)選取的真實場景；采用TobiieyeX眼動儀來獲取航天員注視點的位置信息，該眼動儀可以實時地獲取人眼的注視點信息，將眼動儀固定到顯示器下方后，按指示對其進(jìn)行校準(zhǔn)；選用USB高清攝像頭來采集實時手勢圖像；整個算法模塊在嵌入式硬件平臺上實現(xiàn)。

在硬件方案設(shè)計中，后期可考慮航天服頭盔結(jié)構(gòu)，將現(xiàn)有的眼動儀和攝像頭集成到頭盔中，來獲取注視點和手勢信息，并將嵌入式硬件處理平臺集成到航天服中，最終，將該交互系統(tǒng)應(yīng)用于航天員艙外活動中。

3.2 軟件實現(xiàn)

建立的基于手勢識別的人機交互系統(tǒng)實現(xiàn)流程如圖7所示。

首先，讀入一幅包含多個目標(biāo)的圖像來模擬航天員所看到的真實場景；接著，采用眼控儀獲取航天員注視點的信息來確定感興趣目標(biāo)區(qū)域的位置；其次，應(yīng)用基于稀疏濾波的特征提取方法和神經(jīng)網(wǎng)絡(luò)分類器對攝像頭采集到的手勢進(jìn)行識別；最后，根據(jù)預(yù)定義的目標(biāo)選取指令完成交互功能，提取并顯示航天員感興趣目標(biāo)區(qū)域。

手勢識別模塊中，需要事先訓(xùn)練好稀疏濾波器和神經(jīng)網(wǎng)絡(luò)分類器模型。

1）參數(shù)設(shè)置

試驗中，訓(xùn)練稀疏濾波器的基本參數(shù)為：手勢樣本選取2000個480×640大小的彩色圖像，其中三類手勢樣本和一類負(fù)樣本分別為500個，濾波器為27個3×3×3大小的模板，可通過相似性度量來剔除特征圖相似性較高的濾波器核，降低計算量。

采用2.2.1節(jié)特征提取方法提取2500幅圖像的特征并降維，作為訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器的輸入。其中，訓(xùn)練集樣本數(shù)為2000，驗證集樣本250個，測試集樣本250個，依照經(jīng)驗設(shè)定隱藏層神經(jīng)元個數(shù)為256，學(xué)習(xí)率為0.1。

2）神經(jīng)網(wǎng)絡(luò)分類器結(jié)果

評價一種分類器是否有效的一個重要指標(biāo)就是誤分率，是指錯誤分類的樣本數(shù)占總樣本數(shù)的比例，其計算公式如式（6）所示：

其中，F(xiàn)P是指被錯誤地標(biāo)記為正元組的負(fù)元組，即為假正例的個數(shù)；FN是指被錯誤地標(biāo)記為負(fù)元組的正元組，即為假負(fù)例的個數(shù)；P和N分別表示正負(fù)樣本數(shù)。

訓(xùn)練過程中，訓(xùn)練集和驗證集上的誤差和誤分率結(jié)果如圖8所示，可以看出，隨著訓(xùn)練次數(shù)的增加，誤差和誤分率均呈收斂趨勢。

3）功能驗證

試驗中，采用守門員手套來模擬艙外航天服手套，設(shè)定握拳的手勢動作為目標(biāo)選取操作，當(dāng)獲取到航天員注視點位置即感興趣目標(biāo)位置后，航天員完成該手勢動作，經(jīng)過手勢識別模塊輸出識別結(jié)果，最終將感興趣目標(biāo)區(qū)域顯示到窗口固定位置。該功能結(jié)果如圖9所示，其中左上角窗口顯示采集到的手勢圖像，右下角窗口顯示感興趣目標(biāo)區(qū)域（圖9（a）），若無手勢輸入或輸入其它類手勢，則輸出窗口不輸出任何內(nèi)容（圖9（b））。

用連續(xù)視頻幀測試手勢識別算法的識別率和識別速度，其中幀數(shù)為5000，手勢類別為表1中的兩類手勢和無手勢的背景圖像，可以看出，手勢識別算法的平均識別率可達(dá)到95.2%，且實時視頻測試中，處理單幀480×640彩色圖像的時間約為0.4 s?？紤]到無需每幀圖像都輸出一次識別結(jié)果，針對航天員進(jìn)行目標(biāo)選取這種實際的應(yīng)用場景，可處理多幀圖像后輸出一次識別結(jié)果，用于觸發(fā)交互指令，為此，對于使用手勢指令觸發(fā)完成交互功能的需求，該計算時間可滿足實時性的要求。

表1 手勢識別結(jié)果Table 1 Result of hand gesture recognition

4 結(jié)論

本文通過對艙外服的人機工效學(xué)分析，提出了一種基于視線和手勢的新型人機交互方法，以適應(yīng)未來航天員執(zhí)行復(fù)雜的出艙任務(wù)，并進(jìn)行了試驗驗證。結(jié)果表明手勢識別方法具有較高的識別率，原理可行，且能夠?qū)崟r在嵌入式計算平臺上運行。本文的研究成果為在新一代航天服中集成這種新型的人機交互方式提供了原型依據(jù)。

未來的工作：一方面是將眼動儀、攝像頭集成到航天服頭盔中；另一方面是將嵌入式處理單元集成到艙外航天服中，在航天服上實現(xiàn)該交互功能，用于輔助航天員完成艙外任務(wù)。

（References）

［1］ 江超，艾矯燕.基于OpenCV的攝像頭動態(tài)手勢軌跡識別及其應(yīng)用［J］.計算機應(yīng)用，2012，32（s1）：128-133.JIANG Chao，AI Jiaoyan.Dynamic gesture trajectory recognition andits application design for camera based on OpenCV［J］.Journal of Computer Applications，2012，32（s1）：128-133.（in Chinese）

［2］ 陳雅茜，歐長坤，郭瞾陽.基于單目視覺和簡單手勢的空間交互技術(shù)［J］.西南民族大學(xué)學(xué)報（自然科學(xué)版），2014，40（6）：871-876.CHEN Yaxi，OU Changkun，GUO Zhaoyang.Space interactions based on monocular vision and simple gestures［J］.Journal of Southwest University for Nationalities（Natural Science Edition）.2014，40（6）：871-876.（in Chinese）

［3］ 康金蘭，晁建剛，林萬洪，等.視覺手勢識別技術(shù)在航天虛擬訓(xùn)練中的應(yīng)用研究［J］.載人航天，2014（3）：219-222.KANG Jinlan，CHAO Jiangang，LIN Wanhong，et al.Research on application of visional gesture recognition technology in manned space virtual training［J］.Manned Spaceflight，2014（3）：219-222.（in Chinese）

［4］ 魯姍丹，周松斌，李昌.基于多光源紅外傳感技術(shù)的手勢識別系統(tǒng)［J］.自動化與信息工程，2015（2）：22-26.Lu Shandan，Zhou Songbin，Li Chang.Gesture recognition system based on multi-source ofinfrared sensing technology［J］.Automation and Information Engineering，2015（2）：22-26.（in Chinese）

［5］ 陳鵬展，羅漫，李杰.基于加速度傳感器的連續(xù)動態(tài)手勢識別［J］.傳感器與微系統(tǒng)，2016，35（1）：39-42.CHEN Peng-zhan，LUO Man，LI Jie.Continuous dynamic gesture recognition based on acceleration sensor［J］.Transducer and Microsystem Technologies，2016，35（1）：39-42.（in Chinese）

［6］ 周曉晶，趙正旭，樓江.基于數(shù)據(jù)手套的虛擬手勢交互系統(tǒng)［J］.儀表技術(shù)與傳感器，2007（10）：65-66.ZHOU Xiaojing，ZHAO Zhengxu，LOU Jiang.Interactive hand gesturing system based on data glove［J］.Instrument Technique and Sensor，2007（10）：65-66.（in Chinese）

［7］ Xu B，Zhou Z，Huang J，et al.Static hand gesture recognition based on RGB-D image and arm removal［J］.ISNN 2017，Lecture Notes in Computer Science，2017，10261：180-187.

［8］ Choi C.Deephand：Robust hand pose estimation by completing a matrix imputed with deep features［C］／／IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2016.

［9］ Marin G，Dominio F，Zanuttigh P.Hand gesture recognition with jointly calibrated Leap Motion and depth sensor［J］.Multimedia Tools and Applications，2016，75（22）：14991-15015.

［10］ Marin G，Dominio F，Zanuttigh P.Hand gesture recognition with leap motion and kinect devices［C］／／IEEE International Conference on Image Processing.IEEE，2015：1565-1569.

［11］ Wang C，Liu Z，Chan S C.Superpixel-based hand gesture recognition with Kinect depth camera［J］.IEEE Transactions on Multimedia，2015，17（1）：29-39.

［12］ Kaur G，Bathla G.Hand gesture recognition based on invariant features and artificial neural network［J］.Indian Journal of Science and Technology，2016，9（43）：1-6.

［13］ Xie R，Cao J.Accelerometer-based hand gesture recognition by neural network and similarity matching［J］.IEEE Sensors Journal，2016，16（11）：4537-4545.

［14］ Strezoski G，Stojanovski D，Dimitrovski I，et al.Hand gesture recognition using deep convolutional neural networks［C］／／ICT Innovations.2016.

［15］ 胡弘，晁建剛，林萬洪，等.基于虛擬手交互的航天員虛擬裝配訓(xùn)練仿真方法［J］.計算機應(yīng)用，2015（s2）：200-203.HU Hong，CHAO Jiangang，LIN Wanhong，et al.Astronaut virtual assembly training simulation based on virtual hand interaction［J］.Journal of Computer Applications，2015（s2）：200-203.（in Chinese）

［16］ Adams R J，Olowin A，Krepkovich E.Glove-Enabled Computer Operations（GECO）：Design and testing of an extra-vehicular activity glove adapted for human-computer interface［C］／／International Conference on Environmental Systems.2013.

［17］ Ohara J M，Briganti M，Cleland J，et al.Extravehicular activities limitations study.Volume 2：Establishment of physiological and performance criteria for EVA gloves［R］.NASACR-172099，NAS 1.26：172099，AS-EVALS-FR-8701-VOL-2，1988.

［18］ Ngiam J，Koh P，Chen Z，et al.Sparse filtering［J］.Advances in Neural Information Processing Systems，2011：1125-1133.

A Hand Gesture Recognition Method Inspired by Visual Perception for Extravehicular Activity

WANG Li1，MA Zhong1，TANG Xuehan1，WANG Zhuping1，ZHOU Geqiang2，HE Shuangliang2
（1.Xi’an Micro-Electronics Technique Institute，Xi’an 710065，China；2.China Astronaut Research and Training Center，Beijing 100194，China）

To satisfy the needs of the human-machine interaction during the astronaut extravehicular activity（EVA），a target selection scheme for astronauts was proposed based on the hand motion ergonomic analysis of the EVA spacesuit gloves.The scheme combined with the eye tracker and the hand gesture recognition technology could realize the“hands free”interaction during EVA tasks.An eye tracker was used to determine the target of interest and a camera was used to capture the astronaut’s hand gesture.Then，a gesture recognition algorithm was developed based on the sparse filtering feature extraction and the neural network classifier to realize the interaction function according to the predefined target selection command.The experimental results showed that recognition rate was more than 95%，which can provide a prototype basis for the future integration into the spacesuit.

extravehicular activity；gesture recognition；neural network；sparse filtering

R857.3

A

1674-5825（2017）06-0805-06

2017-01-16；

2017-09-08

載人航天預(yù)先研究項目（060601）

王莉，女，碩士，助理工程師，研究方向為目標(biāo)檢測與識別。E-mail：wangli009g＠163.com

（責(zé)任編輯：康金蘭）