任尚恩，邢樹軍，陳 碩，于迅博，顏玢玢，王葵如，桑新柱

（北京郵電大學 電子工程學院，北京 100876）

1 引言

人機交互一直是目前研究的熱門課題，它被應用于各種不同的顯示設備，如虛擬現(xiàn)實（VR）、裸眼3D 顯示等。其中，裸眼3D 顯示技術可以通過立體顯示設備將具有空間深度信息的三維立體圖像再現(xiàn)出來，觀看者可以在不佩戴任何輔助設備的前提下通過裸眼觀測到立體成像，大幅降低了三維立體顯示用戶端的觀測難度。因此，裸眼3D 顯示技術被認為是未來顯示領域的重要發(fā)展方向［1-11］。

在與裸眼3D 顯示器交互的過程中，鍵盤和鼠標等傳統(tǒng)交互方式難以滿足用戶進行信息交換和更加新穎的體驗需求。同時由于近年全球新冠疫情的反復，減少直接接觸可有效預防疫情的傳播。因此無需直接接觸的新型交互方式逐漸成為優(yōu)先選擇，如語音交互、眼動跟蹤、手勢交互等。

手勢作為人類自原始時期至今仍在使用的古老有效的溝通方式，具有簡單、表達直接、含義廣的優(yōu)點，在人類交流中起著重要作用。研究表明，一個人的手勢和他本人的記憶存在直接關系。與身體姿勢、頭部姿勢不同［12-13］，手勢作為一種肢體語言，一個簡單的手勢蘊涵著豐富的信息。人與人通過手勢能夠傳達大量的信息，實現(xiàn)高速通信。

手勢交互是一種基于人類手部運動的交互方式，它可以通過攝像機或光學傳感器捕捉人手部動作，解析出手勢特征，與計算機進行信息交換。手勢交互有利于提高用戶的操作效率，并且能夠帶來更加自然親和的交互體驗，因此，手勢交互可能成為3D 光場最佳的交互技術之一。利用手勢進行交互，核心問題是手勢識別與分類，推測手勢含義。手勢識別主要依賴3 種方法：可穿戴的數(shù)據(jù)手套［14］、手部關鍵點骨骼［15］的三維位置、圖像。

傳統(tǒng)手勢識別使用RGB-D 圖像序列分類手勢。本文提出一種基于手部關鍵點的深度學習手勢識別方法，不需要引入大量手部圖像。該方法提出使用Leap Motion 設備采集手部骨骼關鍵點數(shù)據(jù)，選擇多層感知器神經(jīng)網(wǎng)絡（Multilayer Perceptron，MLP）對手部關鍵點數(shù)據(jù)進行分類訓練，通過學習手部關鍵點的數(shù)據(jù)跳變關系提取手部特征。

本文提出的方法手勢識別速度達到毫秒級，并且可以準確判斷3D 光場交互中常用的簡單手勢和復雜手勢。最后，本文展示了一種將所提出的手勢識別方法應用于裸眼3D 光場交互的場景。

2 基于手部關鍵點的手勢識別網(wǎng)絡

2.1 手部關鍵點選取

手部骨骼關鍵點取點方式由圖1給出，共21個關鍵點。O點是手部掌心點坐標。由于人類手部骨骼的特性，在同一種手勢的前提下，手掌中心點與其他21 個關鍵點的相對位置恒定。pi是第i個手部關鍵點數(shù)據(jù)的三維坐標：

圖1 手部關鍵點Fig.1 Key point of the hand

其中：xi表示第i個點在三維坐標系中的x值；yi表示第i個點在三維坐標系中的y值；zi表示第i個點在三維坐標系中的z值。

手部骨骼關鍵點三維數(shù)據(jù)通過Leap Motion設備來捕捉。雖然Leap Motion 在實現(xiàn)手勢交互過程中可以通過人工定義骨骼點距離、方向等定義手勢，但這種方法存在一定的局限性。在復雜手勢的情況下，人工定義手勢的過程會面臨巨大的挑戰(zhàn)。因此，本文提出的方法旨在通過省略人工定義手勢的步驟提升手勢識別的速度和準確度。

由于手勢在空間中的高度、位置和姿態(tài)的多樣性，在空間中不同位置采集的同一種手勢的三維坐標數(shù)據(jù)會存在顯著差異。這導致神經(jīng)網(wǎng)絡更加關注三維坐標數(shù)據(jù)的差異性而不是關鍵點間的數(shù)據(jù)特征，因此神經(jīng)網(wǎng)絡難以學習到有效的手部特征。

2.2 手部關鍵點數(shù)據(jù)預處理

為了消除三維坐標差異對手勢識別的干擾，本文提出了一種手勢歸一化方法，旨在將不同位置的手部關鍵點調整到相同的位置和方向。該方法能夠有效地減弱從不同位置捕捉手勢所帶來的影響。圖2 是手部關鍵點數(shù)據(jù)預處理的方法圖示，其核心有兩點：一是將手勢載入同一右手笛卡爾坐標系，二是進行位姿變換。

圖2 手部關鍵點預處理方法Fig.2 Pre-treatment method for key hand points

首先對加載入同一右手笛卡爾坐標系中的手部關鍵點進行位移變換。選定掌心點O，如公式（2）所示：

在本文的設計中，掌心點O不參與神經(jīng)網(wǎng)絡訓練，而是通過將其位移至xyz坐標系原點來達到手部關鍵點位移變換的目的。由于手部關鍵點與掌心點O之間存在線性關系，掌心點O的位移會導致手部21 個關鍵點的三維坐標也發(fā)生相應的位移。通過這種方式可將所有手勢調整到xyz坐標系的原點位置。

然后針對位移變換后的手勢進行姿態(tài)調整。提出姿態(tài)調整的原因有二：一是在該空間內(nèi)，同一種手勢保留不同姿態(tài)，數(shù)據(jù)之間的顯著性差異仍然存在。二是平移后，21個手部關鍵點與掌心坐標的相對位置等價于關鍵點與坐標軸原點的相對位置，手勢姿態(tài)調整可簡化為向量旋轉問題。本文提出利用羅德里格斯公式進行姿態(tài)調整。羅德里格斯公式是描述向量三維旋轉的數(shù)學方程，它可以用來計算將一個向量繞某一旋轉軸旋轉給定角度后得到的新向量。該公式在空間解析幾何和計算機圖形學領域中應用廣泛，常用于填寫旋轉矩陣。旋轉矩陣由式（3）求出：

其中：k=(kx ky kz)T為旋轉軸單位向量，由原向量與旋轉后的向量叉乘求出，如圖2 所示；θ是旋轉角度；R為旋轉矩陣；E為單位矩陣。

本文在進行手勢姿態(tài)調整時，首先獲取掌心法向量v1，方向由手心指向手掌內(nèi)側向下。然后獲取手指方向向量v2，方向由手心指向手指尖端。未進行歸一化處理時，兩者在空間中保持垂直關系，均可被Leap Motion 設備直接采集得到，如圖2 所示。將向量v1、v2旋轉到與坐標軸平行的方向，本文選擇先旋轉v1至v1-rot，旋轉軸為k1。然后再旋轉v2至v2-rot，旋轉軸為k2。

由公式（3）計算出旋轉矩陣R1、R2，需要注意的是，向量v1旋轉后，向量v2并沒有跟隨旋轉。這是因為本文僅對采集得到的數(shù)據(jù)進行預處理而不是對設備本身采集算法的修改，針對向量v1的數(shù)據(jù)調整并不能影響實際采集。

各個關鍵點相對于掌心點O的旋轉等價于原點到各個關鍵點間向量的旋轉，由公式（4）算出旋轉后的三維坐標：

其中：Pi為原點到位移后各關鍵點的向量；Pi-rot的值為旋轉后的三維坐標，如P0-rot的值為大拇指根部關鍵點旋轉后的三維坐標值。經(jīng)過位姿變換的同一種手勢，可以有效抑制手部關鍵點數(shù)據(jù)在空間中的大幅度波動，消除三維坐標數(shù)據(jù)間的顯著性差異。為了提高神經(jīng)網(wǎng)絡的魯棒性，本文采用數(shù)據(jù)增強的方式。

數(shù)據(jù)增強是在不實質性的增加數(shù)據(jù)的情況下，從原始數(shù)據(jù)加工出更多的表示以接近于更多數(shù)據(jù)量產(chǎn)生的價值。其原理是通過對原始數(shù)據(jù)融入先驗知識，加工出更多數(shù)據(jù)的表示，有助于模型判別數(shù)據(jù)中統(tǒng)計噪聲，加強本體特征的學習，減少模型過擬合，提升泛化能力。本文通過添加高斯噪聲的方式增強數(shù)據(jù)。高斯噪聲是指它的概率密度函數(shù)服從高斯分布的一類噪聲，如式（5）所示：

其中：μ為期望，σ2為方差。

2.3 基于MLP 網(wǎng)絡的手勢識別

為得到手勢分類識別結果，本文使用MLP神經(jīng)網(wǎng)絡對預處理后的手部關鍵點進行深度學習提取手部特征。MLP 神經(jīng)網(wǎng)絡是一種人工模擬生物神經(jīng)元系統(tǒng)的模型，其最典型的架構包括3 層：輸入層、隱藏層和輸出層。

MLP 神經(jīng)網(wǎng)絡不同層之間是全連接的，即上一層的任何一個神經(jīng)元與下一層的所有神經(jīng)元都有連接。MLP 由多個節(jié)點層組成，每一層都完全連接到下一層。除了輸入節(jié)點，每個節(jié)點都是一個帶有非線性激活函數(shù)的神經(jīng)元。多層感知器與人類神經(jīng)元工作原理相似，可以模擬人類學習時神經(jīng)元的變化。多層感知器首先進行學習，然后使用權重存儲數(shù)據(jù)，使用算法來調整權重并減少訓練過程中的偏差，最后達到數(shù)據(jù)預測的效果。

如圖3 所示，Input layer 是網(wǎng)絡的輸入層，負責輸入數(shù)據(jù)。Hidden layer 是網(wǎng)絡的隱藏層，與輸入層全連接，模擬神經(jīng)元。Output layer 是網(wǎng)絡的輸出層，輸出分類結果。

圖3 MLP 訓練手勢分類Fig.3 MLP training gesture classification

對每個手勢關鍵點，將其展開成一組xyz值的集合，作為神經(jīng)網(wǎng)絡的輸入。共有21 個關鍵點，對應輸入層的63 個節(jié)點。輸出層節(jié)點數(shù)與需要進行分類識別的手勢種類數(shù)量相同。本文對14 種手勢進行分類識別，輸出層節(jié)點數(shù)為14。網(wǎng)絡設計包括3 個隱藏層，每層包含512 個神經(jīng)元。

3 手勢識別實驗

3.1 準備數(shù)據(jù)集

本文分別考慮了3D 光場交互系統(tǒng)中出現(xiàn)的兩類手勢：簡單手勢和復雜手勢。共采集14 種，分別對應0～13 的標簽。前8 種為3D 光場交互中的簡單手勢，后6 種為復雜手勢。采集15 000 組手部關鍵點數(shù)據(jù)，用以訓練網(wǎng)絡。

3.2 簡單手勢識別結果

為了檢驗所提出方法的準確性和魯棒性，本文對單一手勢數(shù)據(jù)集和混合數(shù)據(jù)集進行實驗。1 號測試集包括8 種手勢，并且在手部捕捉過程中出現(xiàn)較大幅度的活動。圖4 展示了本次實驗采集的簡單手勢。

圖4 簡單手勢（左：手勢0～3；右：手勢4～7）Fig.4 Simple gesture （Left： Gesture 0～3；Right： Gesture 4～7）

圖5 復雜手勢（左：手勢8～10；右：手勢11～13）Fig.5 Complex gestures （Left： Gesture 8～10；Right：Gesture 10～13）

對簡單手勢的實驗結果如表1 所示。單獨的8 種手勢識別均達到95%以上的準確率，說明本文提出的方法可以準確識別簡單手勢。通過分析1 號測試集可以得出，當手部運動速度較快或幅度較大時，識別準確率顯著下降。因此，在進行手勢捕捉時應注意保證手部運動幅度較小，避免快速移動。

表1 簡單手勢識別結果Tab.1 Simple gesture recognition results

3.3 復雜手勢識別結果

在復雜手勢捕捉過程中，應避免手部快速移動、運動幅度較大的情況。

對復雜手勢的實驗結果如表2 所示。6 種復雜手勢的識別正確率均在90%以上，說明本文提出的方法可以用于識別復雜手勢。

表2 復雜手勢識別結果Tab.2 Complex gesture recognition results

3.4 小樣本數(shù)據(jù)集識別準確率對比結果

為驗證本文提出的方法在小樣本數(shù)據(jù)集訓練下具有優(yōu)秀的性能，將手勢0、1、2、3、4、5、8、12采用不同的分類器進行驗證對比。分別使用本文提出的方法、Leap Motion 自有手勢識別和YOLO 目標檢測進行實驗。實驗中的小樣本數(shù)據(jù)集圖片數(shù)量不超過150 張。

實驗結果見圖6。通過對比分析可知，本文提出的方法在小樣本數(shù)據(jù)集下表現(xiàn)出優(yōu)秀的準確率和穩(wěn)定性，并且優(yōu)于另外兩種比較方法。其中，Leap Motion 自有手勢識別方法穩(wěn)定性較差，YOLO 目標檢測統(tǒng)計的是低置信閾值（0.1）的手勢識別準確率，即YOLO 標注出的物體與目標值在相似度較低的情況下，仍然無法高效準確識別手勢，因此YOLO 目標檢測并不適合小樣本數(shù)據(jù)集，更適用于數(shù)據(jù)集樣本多的情況。

圖6 小樣本數(shù)據(jù)集手勢識別結果Fig.6 Gesture recognition results for small sample dataset

3.5 歸一化對識別率的影響

本文提出的方法核心在于對采集得到的手勢數(shù)據(jù)做歸一化數(shù)據(jù)處理。對所有手勢分別進行歸一化數(shù)據(jù)處理和不進行歸一化數(shù)據(jù)處理。其中，不進行歸一化數(shù)據(jù)預處理的手勢從不同位置以細微差異姿態(tài)采集兩組數(shù)據(jù)。

實驗結果如圖7 所示。進行歸一化預處理后，手勢識別準確率遠高于未進行歸一化預處理的實驗樣本，且未歸一化的手勢數(shù)據(jù)隨采集姿態(tài)、位置的不同，手勢識別結果也不同。由該實驗可以得出結論，對采集的手勢數(shù)據(jù)歸一化預處理是本文提出方法的核心。

圖7 歸一化影響識別準確率對比結果Fig.7 Normalization affects the comparison results of recognition accuracy

4 基于3D 光場的人機交互與顯示

為驗證所提出的方法可被用于裸眼3D 光場交互，本文設計了一種手勢控制光場顯示內(nèi)容切換的交互場景作為評估。圖8 展示了所提出的方法在裸眼3D 人機交互場景中的應用。

圖8 3D 光場交互與顯示。（a）文物模型；（b）猴頭模型。Fig.8 3D light field human-computer interaction and display. （a） Artifact model；（b） Monkey head model.

圖8 （a）和圖8（b）依次展示了從最左側視點、正前方視點、最右側視點3 個角度下拍攝的文物模型和猴頭模型的3D 光場顯示照片。右上角的手勢對應進行光場人機交互時的手勢類型。切換測試共計20 次，全部正確觸發(fā)光場內(nèi)容切換，可見本文提出的方法可以成功應用于3D 光場的人機交互。

5 結論

本文提出了一種基于手部關鍵點的MLP 網(wǎng)絡提升3D 光場交互準確度的方法。該方法的核心是通過位移和羅德里格旋轉公式對簡化后的手勢模型進行姿態(tài)調整，將同一種手勢歸一化，以消除不同位置采集手部關鍵點三維數(shù)據(jù)間存在的顯著性差異。為了從關鍵點的跳變關系中提取手部特征，引入了多層感知器神經(jīng)網(wǎng)絡。實驗結果表明，該方法對3D 光場交互中簡單手勢的識別率可以達到為95%以上，對復雜手勢的識別率高于90%，識別速度達到毫秒級。另外，本文提出的方法在小樣本數(shù)據(jù)集訓練下表現(xiàn)出優(yōu)秀的性能，滿足精準、快速實現(xiàn)手勢分類識別的要求。最后，本文通過展示一種手勢交互控制光場內(nèi)容切換的場景，驗證了所提出的方法可以成功應用于裸眼3D 光場交互與顯示。