孔若思，姚壽文，王 瑀，蘭澤令

(北京理工大學(xué) 機(jī)械與車(chē)輛學(xué)院， 北京 100081)

隨著計(jì)算機(jī)設(shè)備和互聯(lián)網(wǎng)的快速發(fā)展，媒體、設(shè)備與人之間交互的方式不再受限于鼠標(biāo)、鍵盤(pán)和觸摸控件。常規(guī)的交互方式難以全方面地滿足人們不斷增長(zhǎng)的個(gè)人需求，因而出現(xiàn)了很多非接觸式的交互控制方式，如眼動(dòng)、手勢(shì)、語(yǔ)音和腦電等。而在眾多的非接觸式交互控制方式中，手勢(shì)動(dòng)作因其靈活多變的形式、信息豐富等特點(diǎn)，常常作為人體同外部世界溝通的工具用在人機(jī)交互上[1]。

與傳統(tǒng)的制造模式相比，現(xiàn)代制造業(yè)依靠各種先進(jìn)技術(shù)正不斷地朝著敏捷化、網(wǎng)絡(luò)化和虛擬化的方向發(fā)展[2]。虛擬裝配技術(shù)作為虛擬現(xiàn)實(shí)技術(shù)的一種典型而廣泛地應(yīng)用在制造業(yè)當(dāng)中。虛擬裝配技術(shù)以產(chǎn)品的裝配設(shè)計(jì)為出發(fā)點(diǎn)，通過(guò)虛擬現(xiàn)實(shí)技術(shù)創(chuàng)建了一個(gè)由觸覺(jué)、視覺(jué)和聽(tīng)覺(jué)構(gòu)成的多模式的虛擬交互環(huán)境，通過(guò)人機(jī)交互的模式進(jìn)行產(chǎn)品的拆卸和裝配，對(duì)裝配產(chǎn)品的功能進(jìn)行檢測(cè)和評(píng)價(jià)，從而制定出實(shí)用、經(jīng)濟(jì)和合理的裝配方案[3]。

為了在虛擬裝配環(huán)境中實(shí)現(xiàn)自然交互，要使用適當(dāng)?shù)膫鞲衅鱽?lái)跟蹤手部的運(yùn)動(dòng)，以消除手持設(shè)備或者可穿戴設(shè)備對(duì)身體運(yùn)動(dòng)的阻礙，提升手工裝配操作的仿真精度。Leap Motion(以下簡(jiǎn)稱(chēng)LM)作為一種基于雙目視覺(jué)原理的手部追蹤傳感器，具有便攜、輕巧、高幀頻和非接觸等特點(diǎn)，能夠更好的追蹤手部動(dòng)作，常用于手勢(shì)交互虛擬裝配[4]。

在虛擬裝配中，通常只在單個(gè)LM上收集手部數(shù)據(jù)并識(shí)別手勢(shì)，執(zhí)行手勢(shì)操作。但在單個(gè)LM中，手勢(shì)追蹤范圍小，且存在噪聲影響的問(wèn)題，最典型的便是手勢(shì)的遮擋和混淆問(wèn)題[5]，不能滿足大范圍虛擬裝配需求。為了克服使用單個(gè)LM的缺點(diǎn)和局限性，使用多個(gè)LM傳感器是一個(gè)很好的選擇。Tianjian等[6]為了擴(kuò)大人體運(yùn)動(dòng)傳感器的靈敏度空間，以模擬正常人工作空間范圍，將5個(gè)LM傳感器和5個(gè)平板電腦集成在一個(gè)可移動(dòng)的感知平臺(tái)上，執(zhí)行基于卡爾曼和粒子濾波的姿態(tài)估計(jì)，從5個(gè)單次估計(jì)的數(shù)據(jù)融合中獲得了一個(gè)最優(yōu)的手姿態(tài)估計(jì)。沈赫[7]用基于多LM的低成本3D傳感器來(lái)實(shí)現(xiàn)對(duì)現(xiàn)場(chǎng)工人裝配動(dòng)作的六維(位置+姿態(tài))運(yùn)動(dòng)軌跡跟蹤，并通過(guò)多傳感器數(shù)據(jù)融合以解決單一傳感器在運(yùn)動(dòng)軌跡跟蹤過(guò)程中的遮擋問(wèn)題，同時(shí)提高了對(duì)裝配動(dòng)作在目標(biāo)視野范圍內(nèi)的跟蹤精度。唐春曉等[8]開(kāi)發(fā)了使用多個(gè)LM對(duì)人手?jǐn)?shù)據(jù)采集的控制系統(tǒng)，首先執(zhí)行人手?jǐn)?shù)據(jù)的采集并轉(zhuǎn)換相應(yīng)的坐標(biāo)，然后基于數(shù)據(jù)融合技術(shù)得出完備的人手信息，最后利用SVM(support vector machine)分類(lèi)器識(shí)別手勢(shì)。王天行等[9]提出了一個(gè)通過(guò)多LM手勢(shì)識(shí)別工作空間的創(chuàng)新設(shè)計(jì)方法，基于規(guī)則和SVM的分類(lèi)完成對(duì)遙控手勢(shì)庫(kù)的設(shè)計(jì)。多LM系統(tǒng)解決了單LM因干擾或者不可避免的覆蓋致使手勢(shì)姿態(tài)信息數(shù)據(jù)模糊的問(wèn)題。范燁博[10]基于局域網(wǎng)協(xié)同技術(shù)，利用LM作為主要硬件設(shè)備，對(duì)采煤設(shè)備進(jìn)行多人協(xié)同手勢(shì)控制的虛擬裝配，實(shí)現(xiàn)了多人手勢(shì)協(xié)同控制。李澤玲[11]開(kāi)發(fā)了基于手勢(shì)的機(jī)器人自然人機(jī)交互系統(tǒng)，使用6臺(tái)LM傳感器，由6個(gè)獨(dú)立的客戶端程序根據(jù)服務(wù)器指示經(jīng)局域網(wǎng)發(fā)送手勢(shì)數(shù)據(jù)。實(shí)現(xiàn)了固定自然手勢(shì)動(dòng)作對(duì)機(jī)器人的遠(yuǎn)程控制，提高了人機(jī)交互效率。

在多LM系統(tǒng)中，數(shù)據(jù)均需要融合和局域網(wǎng)傳輸，局域網(wǎng)傳輸?shù)乃俣扰c數(shù)據(jù)量的大小直接相關(guān)。在面向?qū)嶒?yàn)室的多LM系統(tǒng)中，局域網(wǎng)傳輸速度對(duì)于性能影響較小，而在面向應(yīng)用的多LM系統(tǒng)中，隨著LM數(shù)量和對(duì)實(shí)時(shí)性要求的增加，局域網(wǎng)傳輸?shù)膲毫σ搽S之增加。多LM融合雖顯著擴(kuò)展手部運(yùn)動(dòng)追蹤區(qū)域，可滿足沉浸式虛擬環(huán)境中的手部交互要求，然而LM數(shù)據(jù)結(jié)構(gòu)復(fù)雜，既包含來(lái)自于傳感器的追蹤數(shù)據(jù)(簡(jiǎn)稱(chēng)追蹤數(shù)據(jù))，也包含基于追蹤數(shù)據(jù)的推測(cè)數(shù)據(jù)(簡(jiǎn)稱(chēng)推測(cè)數(shù)據(jù))，給基于局域網(wǎng)數(shù)據(jù)互傳的多LM數(shù)據(jù)融合架構(gòu)帶來(lái)極大的網(wǎng)絡(luò)帶寬負(fù)擔(dān)與數(shù)據(jù)解析壓力，影響了手勢(shì)精度和實(shí)時(shí)性。因此，提出一種面向大范圍手勢(shì)捕捉LM融合的手部運(yùn)動(dòng)數(shù)據(jù)結(jié)構(gòu)體優(yōu)化的總體方案。首先區(qū)分追蹤數(shù)據(jù)和推測(cè)數(shù)據(jù)，然后建立數(shù)據(jù)優(yōu)化模型，計(jì)算數(shù)據(jù)權(quán)重，并對(duì)權(quán)重低的推測(cè)數(shù)據(jù)進(jìn)行優(yōu)化，從而實(shí)現(xiàn)LM數(shù)據(jù)結(jié)構(gòu)體的簡(jiǎn)化，減輕數(shù)據(jù)冗雜帶來(lái)的傳輸壓力。優(yōu)化后的數(shù)據(jù)結(jié)構(gòu)體能夠完成交互需求，滿足實(shí)時(shí)、準(zhǔn)確獲得手部運(yùn)動(dòng)狀態(tài)，提升裝配效果，為復(fù)雜結(jié)構(gòu)的可裝配性設(shè)計(jì)提供關(guān)鍵的手勢(shì)模型。

1 手部運(yùn)動(dòng)數(shù)據(jù)采集平臺(tái)搭建

LM傳感器是一款基于雙目視覺(jué)的三維圖像識(shí)別技術(shù)的體感控制器。LM視場(chǎng)呈倒金字塔形，金字塔的塔尖是LM的中心，工作范圍在設(shè)備正前方的25～600 mm，視角大約為150°[12]，如圖1所示。根據(jù)傳感器工作的原理，人手應(yīng)盡量放置在一個(gè)固定的角度范圍內(nèi)。在這個(gè)區(qū)域之中，傳感器的跟蹤效果最佳，得到手的姿態(tài)更加清晰正確。若手掌向兩側(cè)旋轉(zhuǎn)，傳感器檢測(cè)效果會(huì)降低。若手掌超出了這個(gè)視角范圍，傳感器將因人手被遮擋而難以獲得手部信息。

圖1 單個(gè)LM捕捉范圍XY平面示意圖

1.1 LM數(shù)據(jù)結(jié)構(gòu)體

LM 捕捉的數(shù)據(jù)形式為幀(frame)，每一幀中包含了基本追蹤的數(shù)據(jù)列表，列表中包含的捕捉實(shí)體如表1所示。

表1 幀的追蹤數(shù)據(jù)

當(dāng)這些實(shí)體被檢測(cè)到時(shí)，LM的應(yīng)用程序軟件會(huì)為這個(gè)物體分配一個(gè)唯一的ID指示符。這個(gè)ID指示符保持不變的條件就是此實(shí)體一直存在于可視范圍當(dāng)中。如果追蹤實(shí)體離開(kāi)了LM可視范圍且再次出現(xiàn)時(shí)，LM會(huì)重新分配新的ID。

在LM的SDK(軟件開(kāi)發(fā)工具包)中，每幀包含Bone(骨骼)、Finger(手指)、Arm(手臂)和Hand(手)這4種數(shù)據(jù)結(jié)構(gòu)，具體如下：

骨骼數(shù)據(jù)結(jié)構(gòu)為：Bone(Vector prevJoint，Vector nextJoint，Vector center，Vector direction，float length，float width，Bone.BoneType type，LeapQuaternion rotation)。prevJoint、nextJoint、center分別表示骨骼的起點(diǎn)、終點(diǎn)和中點(diǎn)；direction表示骨骼從起點(diǎn)朝向終點(diǎn)的向量；length、width分別表示指節(jié)的長(zhǎng)度和寬度；type表示骨骼的類(lèi)型；rotation表示骨骼旋轉(zhuǎn)。

手指數(shù)據(jù)結(jié)構(gòu)為：Finger(long frameId，int handId，int fingerId，float timeVisible，Vector tipPosition，Vector direction，float width，float length，bool isExtended，F(xiàn)ingerType type，Bone metacarpal，Bone proximal，Bone intermediate，Bone distal)。前3項(xiàng)分別為分配的幀id、手id和手指id；當(dāng)前手指可見(jiàn)的時(shí)間長(zhǎng)短用timeVisible表示；指尖的位置用tipPosition表示；指尖所指的方向用direction表示；當(dāng)前手指的屈伸狀態(tài)用isExtended表示；最后4項(xiàng)為每一個(gè)手指都包含的4個(gè)骨骼名字。

手臂的數(shù)據(jù)結(jié)構(gòu)為：Arm(Vector elbow，Vector wrist，Vector center，Vector direction，float length，float width，LeapQuaternion rotation)。包含了手肘、手腕和手臂的屬性，含義與上述屬性類(lèi)似。

手的數(shù)據(jù)結(jié)構(gòu)為：Hand(long frameID，int id，float confidence，float grabStrength，float grabAngle，float pinchStrength，float pinchDistance，float palmWidth，bool isLeft，float timeVisible，Arm arm，Listfingers，Vector palmPosition，Vector stabilizedPalmPosition，Vector palmVelocity，Vector palmNormal，LeapQuaternion palmOrientation，Vector direction，Vector wristPosition)。包括了手握住的力度、角度，捏取的力度、距離，手掌寬度、法向量、旋轉(zhuǎn)角度和方向等屬性。

1.2 Unity3D中LM的數(shù)據(jù)采集

Unity3D是一個(gè)多領(lǐng)域、多平臺(tái)的3D游戲開(kāi)發(fā)工具，廣泛用于虛擬現(xiàn)實(shí)等領(lǐng)域的應(yīng)用開(kāi)發(fā)。LM可以直接和Unity3D聯(lián)合進(jìn)行開(kāi)發(fā)，當(dāng)LM捕捉到手后，Unity3D中會(huì)顯示出相應(yīng)的手部模型。由于Unity3D和LM的坐標(biāo)系不同，在腳本中還需要進(jìn)行坐標(biāo)轉(zhuǎn)換，才能進(jìn)行數(shù)據(jù)打包發(fā)送。在本文中，主機(jī)端與LM連接，可以識(shí)別人手的姿態(tài)和運(yùn)動(dòng)狀態(tài)。在交互過(guò)程中，只要手放置在交互空間內(nèi)，LM即可自動(dòng)識(shí)別手部并得到精確的手部位置和各參數(shù)數(shù)據(jù)。這部分?jǐn)?shù)據(jù)將通過(guò)局域網(wǎng)絡(luò)傳輸?shù)娇蛻舳?，客戶端接收?shù)據(jù)后，即在Unity3D環(huán)境下進(jìn)行手部模型重建。系統(tǒng)示意圖如圖2所示。

圖2 聯(lián)合開(kāi)發(fā)系統(tǒng)示意圖

2 數(shù)據(jù)結(jié)構(gòu)體優(yōu)化

2.1 手部數(shù)據(jù)的預(yù)處理

在1.2節(jié)介紹的數(shù)據(jù)傳輸過(guò)程中，LM把采集所得的數(shù)據(jù)直接傳輸給Unity3D。而這部分?jǐn)?shù)據(jù)結(jié)構(gòu)比較冗雜，既包含了采集所得的數(shù)據(jù)，也包含了一些通過(guò)基礎(chǔ)數(shù)據(jù)推算得到的數(shù)據(jù)，這些采集數(shù)據(jù)在Unity3D中仍以幀的形式存在。因此，首先要對(duì)幀數(shù)據(jù)進(jìn)行拆分，才能進(jìn)行數(shù)據(jù)結(jié)構(gòu)體的優(yōu)化。數(shù)據(jù)拆分之后，將數(shù)據(jù)重組并進(jìn)行坐標(biāo)轉(zhuǎn)換后，打包發(fā)送給Unity3D進(jìn)行手部模型的重構(gòu)。

1) 手部數(shù)據(jù)的拆分

數(shù)據(jù)拆分的含義是使幀中包含的數(shù)據(jù)結(jié)構(gòu)表現(xiàn)出來(lái)，從而方便我們對(duì)其進(jìn)行優(yōu)化處理。根據(jù)1.1節(jié)對(duì)各數(shù)據(jù)結(jié)構(gòu)的定義，可按骨骼、手指、手臂、手的順序?qū)瑪?shù)據(jù)一一拆分。圖3為手部數(shù)據(jù)拆分程序的流程示意圖。

圖3 手部數(shù)據(jù)拆分程序流程框圖

分析LM拆分后的數(shù)據(jù)結(jié)構(gòu)體，根據(jù)數(shù)據(jù)類(lèi)型，可以將其中的數(shù)據(jù)分為3類(lèi)：位姿類(lèi)，數(shù)據(jù)類(lèi)型為vector，表達(dá)了骨骼點(diǎn)的位姿信息；參數(shù)類(lèi)，數(shù)據(jù)類(lèi)型為float，表達(dá)了如骨骼的長(zhǎng)度、寬度等參數(shù)信息；其他類(lèi)，類(lèi)型有bool、type、LeapQuaternion等。

2) 手部數(shù)據(jù)組合

經(jīng)過(guò)拆分處理的手部數(shù)據(jù)按順序存放在數(shù)組里，遵循各數(shù)據(jù)結(jié)構(gòu)的要求，且按照順序?qū)?shù)據(jù)重組后進(jìn)行坐標(biāo)轉(zhuǎn)換，打包發(fā)送給Unity3D，則實(shí)現(xiàn)了經(jīng)過(guò)拆分和重組處理的數(shù)據(jù)對(duì)原有幀數(shù)據(jù)的替換。圖4為手部數(shù)據(jù)重構(gòu)程序的流程示意圖。

2.2 LM數(shù)據(jù)優(yōu)化模型

2.1節(jié)中對(duì)數(shù)據(jù)進(jìn)行了拆分，按照LM中定義的數(shù)據(jù)結(jié)構(gòu)，這些數(shù)據(jù)里有一部分表達(dá)的含義是重復(fù)的，對(duì)于構(gòu)造手模型沒(méi)有貢獻(xiàn)，反而使得數(shù)據(jù)變得冗雜；有的數(shù)據(jù)可以通過(guò)簡(jiǎn)單的代碼計(jì)算得到，在傳輸過(guò)程中不是必要的。對(duì)這部分拆分后的數(shù)據(jù)進(jìn)行優(yōu)化處理，可以實(shí)現(xiàn)對(duì)LM采集數(shù)據(jù)的優(yōu)化，減輕數(shù)據(jù)傳輸?shù)膲毫?，提高手?shì)捕捉的實(shí)時(shí)性。

圖4 手部數(shù)據(jù)重構(gòu)程序流程框圖

首先建立3類(lèi)數(shù)據(jù)集合，分別引入3類(lèi)權(quán)重，具體如下：

其中，j=bone，finger，arm，hand,分別表示不同的數(shù)據(jù)結(jié)構(gòu)體。當(dāng)j的值確定后，計(jì)算各類(lèi)數(shù)據(jù)量如下：

以骨骼數(shù)據(jù)結(jié)構(gòu)Bone數(shù)據(jù)為例：n1=4，n2=2，n3=2。位姿類(lèi)數(shù)據(jù)的優(yōu)序圖權(quán)重計(jì)算如表2所示，其余類(lèi)數(shù)據(jù)的計(jì)算同理。

表2 位姿類(lèi)數(shù)據(jù)優(yōu)序圖權(quán)重

2.3 LM數(shù)據(jù)優(yōu)化方案

通過(guò)2.2節(jié)的權(quán)重分析，可以得知每個(gè)數(shù)據(jù)在當(dāng)前類(lèi)的權(quán)重值，則可以據(jù)此設(shè)計(jì)優(yōu)化方案。數(shù)據(jù)結(jié)構(gòu)體中有骨骼數(shù)據(jù)、手指數(shù)據(jù)、手臂數(shù)據(jù)和手?jǐn)?shù)據(jù)，其中骨骼占的數(shù)據(jù)量遠(yuǎn)多于其他數(shù)據(jù)。骨骼數(shù)據(jù)結(jié)構(gòu)體為：Bone(Vector prevJoint，Vector nextJoint，Vector center，Vector direction，float length，float width，Bone.BoneType type，LeapQuaternion rotation)。根據(jù)模型，選擇優(yōu)化位姿類(lèi)和參數(shù)類(lèi)數(shù)據(jù)中權(quán)重較低的center，direction，length，而其他類(lèi)數(shù)據(jù)均表達(dá)了重要的信息，不能被優(yōu)化。同理，可以優(yōu)化手指結(jié)構(gòu)體中的tipposition，direction；手臂結(jié)構(gòu)體中的center，direction，length，width；手結(jié)構(gòu)體中的direction。在拆分后的數(shù)據(jù)里優(yōu)化以上數(shù)據(jù)后，將數(shù)據(jù)打包重組，為了交互功能的完整，必要時(shí)在重組數(shù)據(jù)里進(jìn)行一些計(jì)算，如Bone類(lèi)中的length可以通過(guò)骨骼的起點(diǎn)向量和終點(diǎn)向量計(jì)算得到。最終再通過(guò)實(shí)驗(yàn)驗(yàn)證是否滿足交互要求。

優(yōu)化后的數(shù)據(jù)結(jié)構(gòu)體為：骨骼數(shù)據(jù)結(jié)構(gòu)為Bone(Vector prevJoint，Vector nextJoint，float width，Bone.BoneType type，LeapQuaternion rotation)。手指數(shù)據(jù)結(jié)構(gòu)為Finger(long frameId，int handId，int fingerId，float timeVisible，float width，float length，bool isExtended，F(xiàn)ingerType type，Bone metacarpal，Bone proximal，Bone intermediate，Bone distal)。手臂的數(shù)據(jù)結(jié)構(gòu)為Arm(Vector elbow，Vector wrist，LeapQuaternion rotation)。手的數(shù)據(jù)結(jié)構(gòu)為Hand(long frameID，int id，float confidence，float grabStrength，float grabAngle，float pinchStrength，float pinchDistance，float palmWidth，bool isLeft，float timeVisible，Arm arm，Listfingers，Vector palmPosition，Vector stabilizedPalmPosition，Vector palmVelocity，Vector palmNormal，LeapQuaternion palmOrientation，Vector wristPosition)。

3 優(yōu)化后功能驗(yàn)證

3.1 功能驗(yàn)證方法

重組手功能驗(yàn)證主要分為2個(gè)部分：

其一是重組手是否能夠完整地表達(dá)手的運(yùn)動(dòng)狀態(tài)，并重現(xiàn)手的姿態(tài)，如一些手勢(shì)能否準(zhǔn)確地呈現(xiàn)出來(lái)。此外，還要驗(yàn)證優(yōu)化后得到的重組手與優(yōu)化前的手的手勢(shì)相比，是否提升了捕捉精度，是否提升了實(shí)時(shí)性。為了驗(yàn)證優(yōu)化后的重組手模型能否精確呈現(xiàn)出手勢(shì)動(dòng)作，選取了4個(gè)典型手勢(shì)，如圖5所示。為了進(jìn)一步對(duì)比優(yōu)化前后的模型手功能，將優(yōu)化的重組手和未優(yōu)化的重組手與同一個(gè)真實(shí)值對(duì)比，觀察運(yùn)動(dòng)過(guò)程中的實(shí)時(shí)性、跟隨性、捕捉精度等。搭建了一個(gè)系統(tǒng)：同時(shí)使用3個(gè)LM，一個(gè)與主機(jī)端相連，作為真實(shí)值，另2個(gè)與不同的客戶機(jī)相連，3個(gè)LM擺放的位置盡量接近，減少因擺放位置產(chǎn)生的誤差，系統(tǒng)布局示意圖如圖6所示。主機(jī)端不采取任何優(yōu)化方法，得到LM原始數(shù)據(jù)構(gòu)造的手模型，編號(hào)為①；在一個(gè)客戶機(jī)端采取優(yōu)化方法，另一個(gè)不采取任何優(yōu)化方法，得到的2個(gè)重組手都通過(guò)局域網(wǎng)傳輸?shù)街鳈C(jī)端上，分別為②③號(hào)手模型。主機(jī)端可以同時(shí)看到3個(gè)手模型，實(shí)驗(yàn)人員在捕捉范圍內(nèi)做手部運(yùn)動(dòng)，可以對(duì)比優(yōu)化前后的模型手。

圖5 選取的4個(gè)典型手勢(shì)

圖6 系統(tǒng)布局示意圖

其二是重組手的交互功能，是否能夠“懸?！痹谖矬w附近、是否能夠?qū)ξ矬w進(jìn)行觸碰，以及是否能夠?qū)崿F(xiàn)精確抓取。為驗(yàn)證這些功能，設(shè)計(jì)了2種場(chǎng)景。場(chǎng)景一設(shè)計(jì)了許多不同類(lèi)型的交互對(duì)象，如圖7所示。在這個(gè)場(chǎng)景的右側(cè)是一些浮動(dòng)的對(duì)象，當(dāng)手在附近時(shí)，它們會(huì)發(fā)光，但它們只會(huì)接收懸停信息，無(wú)法被抓取。場(chǎng)景中的其他對(duì)象則既能感受懸停也能被抓取。在這個(gè)場(chǎng)景中，對(duì)不同的物體進(jìn)行抓取、碰撞、懸停等動(dòng)作，就可以判斷重組手是否具有相應(yīng)的交互功能。場(chǎng)景二設(shè)計(jì)了許多按鈕和滑塊，如圖8所示，右側(cè)的按鈕只需要觸碰即可按下，而左邊和下方的滑塊都需要做出“捏取”姿勢(shì)才能進(jìn)行滑動(dòng)。通過(guò)對(duì)面板上按鈕的按動(dòng)和滑動(dòng)，可以檢測(cè)重組手的精度及抓取的準(zhǔn)確性。

圖7 場(chǎng)景1界面截圖

圖8 場(chǎng)景2界面截圖

3.2 功能驗(yàn)證實(shí)驗(yàn)

按2.3節(jié)中的優(yōu)化方案對(duì)數(shù)據(jù)結(jié)構(gòu)體優(yōu)化后，進(jìn)行重組手的功能驗(yàn)證。圖9為優(yōu)化后重組手的手勢(shì)功能驗(yàn)證，可以看到每一個(gè)手勢(shì)都準(zhǔn)確表示，能反映手部狀態(tài)和姿勢(shì)。圖10為3.1節(jié)所設(shè)計(jì)的方案中的3個(gè)LM系統(tǒng)得到的效果圖?？梢钥闯觯帜Ｐ廷趯?duì)于手模型①的跟隨效果較好，所呈現(xiàn)出的姿態(tài)也基本一致，而未經(jīng)優(yōu)化的手模型③由于有一定的延遲，所呈現(xiàn)出的手部姿態(tài)失真。這表明了優(yōu)化后的手模型更加能反映手部運(yùn)動(dòng)的真實(shí)情況，且傳輸速度更快，延遲低，能滿足大范圍手勢(shì)捕捉的應(yīng)用要求。圖11為利用場(chǎng)景一、場(chǎng)景二對(duì)優(yōu)化后重組手的交互功能進(jìn)行驗(yàn)證，可以看到重組手的交互功能完善，能夠滿足正常的交互需求。

圖9 重組手的手勢(shì)功能驗(yàn)證

圖11 重組手的交互功能驗(yàn)證

4 優(yōu)化結(jié)果分析及多LM系統(tǒng)測(cè)試

4.1 優(yōu)化結(jié)果分析

通過(guò)建立數(shù)學(xué)模型，設(shè)計(jì)了優(yōu)化方案，并經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，由此得到的重構(gòu)手模型功能完整，既可以完整反映手的運(yùn)動(dòng)狀態(tài)，迅速地呈現(xiàn)出相應(yīng)的手勢(shì)動(dòng)作，也可以進(jìn)行必需的交互。數(shù)據(jù)結(jié)構(gòu)中每一個(gè)數(shù)據(jù)所占字節(jié)大小基本相同，觀察優(yōu)化前后的拆分程序，可以得出：一只手中，Bone數(shù)據(jù)有20組，每組由19個(gè)數(shù)據(jù)優(yōu)化為12個(gè)數(shù)據(jù)；finger數(shù)據(jù)有5組，每組由14個(gè)數(shù)據(jù)優(yōu)化為8個(gè)數(shù)據(jù)；arm數(shù)據(jù)為1組，從15個(gè)數(shù)據(jù)優(yōu)化為7個(gè)數(shù)據(jù)，hand數(shù)據(jù)為1組，從32個(gè)數(shù)據(jù)優(yōu)化為29個(gè)數(shù)據(jù)。而在拆分后的一幀數(shù)據(jù)中，共有4組手的數(shù)據(jù)。用優(yōu)化后的數(shù)據(jù)量除以原有數(shù)據(jù)量，可以計(jì)算得到優(yōu)化后數(shù)據(jù)量減少了36%。數(shù)據(jù)對(duì)比圖如圖12所示。

圖12 優(yōu)化后數(shù)據(jù)量和總數(shù)據(jù)量

局域網(wǎng)內(nèi)信息傳輸?shù)膶?shí)體為數(shù)據(jù)[14]，數(shù)據(jù)傳輸時(shí)，經(jīng)過(guò)二次編碼，模擬數(shù)據(jù)產(chǎn)生模擬信號(hào)，數(shù)字?jǐn)?shù)據(jù)則產(chǎn)生數(shù)字信號(hào)。局域網(wǎng)內(nèi)數(shù)據(jù)交互的實(shí)質(zhì)是數(shù)據(jù)通信，可分為并行傳輸和串行傳輸2種方式。因此除去布線方式，硬件條件等外在因素，局域網(wǎng)傳輸?shù)乃俣扰c數(shù)據(jù)量有著密不可分的關(guān)系。當(dāng)數(shù)據(jù)量減少了36%時(shí)，網(wǎng)絡(luò)傳輸?shù)乃俣葘⒌玫酱蠓嵘?，網(wǎng)絡(luò)帶寬壓力將大大減輕。

4.2 多LM系統(tǒng)測(cè)試

在實(shí)際運(yùn)用中，為了擴(kuò)大手部追蹤范圍，常采用多LM系統(tǒng)，而多LM系統(tǒng)數(shù)據(jù)冗雜的問(wèn)題更為嚴(yán)重。將經(jīng)過(guò)驗(yàn)證的數(shù)據(jù)優(yōu)化方案運(yùn)用到一個(gè)多LM系統(tǒng)中進(jìn)行測(cè)試。這個(gè)系統(tǒng)由5個(gè)LM組成，系統(tǒng)的布局如圖13所示。

圖13 多LM系統(tǒng)布局

表3給出了這個(gè)系統(tǒng)的捕捉范圍與官方給出的單個(gè)LM捕捉范圍，水平跟蹤范圍擴(kuò)大到202.16°，增加了34%，垂直跟蹤范圍擴(kuò)大到164.43°，增加了37%。但是由于LM數(shù)量的增多，數(shù)據(jù)量也會(huì)成倍增加，數(shù)據(jù)量冗雜導(dǎo)致傳輸速度低的問(wèn)題更為突出。將優(yōu)化方法運(yùn)用到這個(gè)系統(tǒng)中，實(shí)驗(yàn)人員在可捕捉范圍內(nèi)做出手勢(shì)進(jìn)行測(cè)試，如圖14所示。出現(xiàn)的重疊的膠囊手由5個(gè)不同的LM捕捉得到，最終呈現(xiàn)融合后的手勢(shì)效果。

表3 多LMC和單LMC捕捉范圍

圖14 系統(tǒng)測(cè)試效果圖

使用優(yōu)化數(shù)據(jù)結(jié)構(gòu)的系統(tǒng)，由于每個(gè)LM的數(shù)據(jù)量減少了約36%，在帶寬不變的情況下，系統(tǒng)在局域網(wǎng)內(nèi)所需的傳輸時(shí)間更短，手勢(shì)捕捉功能得到了大幅提升。因此，手的融合也可以在更短時(shí)間內(nèi)完成，從圖中也可以看到所呈現(xiàn)的融合效果很好。在實(shí)際應(yīng)用中，傳輸時(shí)間更短，傳輸速度的提高可以滿足實(shí)時(shí)性要求。經(jīng)過(guò)測(cè)試，通過(guò)對(duì)數(shù)據(jù)結(jié)構(gòu)體的優(yōu)化，解決了多個(gè)LM數(shù)據(jù)冗雜的問(wèn)題，緩解了傳輸?shù)膲毫?，能夠更好地滿足實(shí)際運(yùn)用的需求。

5 結(jié)論

為了實(shí)現(xiàn)大范圍的手勢(shì)捕捉，提升裝配過(guò)程中操作人員的體驗(yàn)，多LM系統(tǒng)是必然的選擇。而LM本身的數(shù)據(jù)結(jié)構(gòu)體冗雜，在多LM系統(tǒng)中表現(xiàn)得更顯著，多LM系統(tǒng)運(yùn)用局域網(wǎng)進(jìn)行數(shù)據(jù)傳輸，數(shù)據(jù)冗雜問(wèn)題將影響系統(tǒng)的實(shí)時(shí)性、精度等。對(duì)于面向大范圍手勢(shì)捕捉的多LM系統(tǒng)手部運(yùn)動(dòng)數(shù)據(jù)結(jié)構(gòu)體冗雜的問(wèn)題進(jìn)行了研究，提出了一個(gè)數(shù)學(xué)模型，設(shè)計(jì)了數(shù)據(jù)結(jié)構(gòu)體的優(yōu)化方案，能夠滿足交互需求，實(shí)現(xiàn)了數(shù)據(jù)量?jī)?yōu)化，最終數(shù)據(jù)量減少了36%。將優(yōu)化的數(shù)據(jù)結(jié)構(gòu)體運(yùn)用到多LM系統(tǒng)中測(cè)試，顯著提高了系統(tǒng)手勢(shì)捕捉速度和精度，極大地緩解了網(wǎng)絡(luò)傳輸帶寬的壓力，實(shí)現(xiàn)了大范圍手勢(shì)實(shí)時(shí)捕捉，滿足了大范圍手工產(chǎn)品裝配的需求。