于存光 韓越興 張小凡 歐陽皓寰

（1.黑龍江科技大學(xué)理學(xué)院 哈爾濱 150022）（2.上海大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 上海 200444）（3.上海大學(xué)上海先進(jìn)通信與數(shù)據(jù)科學(xué)研究院 上海 200444）（4.廈門大學(xué)信息學(xué)院 廈門 361000）

1 引言

手也很容易受到外力的傷害和大腦損傷而造成功能喪失?，F(xiàn)階段大多數(shù)診療依然停留在醫(yī)生目測(cè)或借助測(cè)角器等原始手段評(píng)定手的病情和治療的療效，因此存在很多的主觀因素。隨著人工智能的快速發(fā)展，各種硬件的革新?lián)Q代，以及計(jì)算機(jī)算法的提出，使得利用計(jì)算機(jī)技術(shù)對(duì)手進(jìn)行科學(xué)的、自動(dòng)的評(píng)估成為了可能。標(biāo)準(zhǔn)化的評(píng)估手功能康復(fù)系統(tǒng)會(huì)幫助醫(yī)生進(jìn)行診斷。

獲取手勢(shì)數(shù)據(jù)信息的方式大體上分為兩種：基于手套的手勢(shì)數(shù)據(jù)獲取方法和基于視覺的數(shù)據(jù)獲取方法?；跀?shù)據(jù)手套的獲取方法就是利用數(shù)據(jù)手套測(cè)量手指關(guān)節(jié)的彎曲度，手指間的角度，手掌的傾斜度等信息。2004年，高文［1］等選用了兩個(gè)數(shù)據(jù)手套和3 個(gè)位置跟蹤器成功識(shí)別了5113 個(gè)中國(guó)手語符號(hào)。肖陽［2］等的研究基于5DT 數(shù)據(jù)手套實(shí)現(xiàn)了對(duì)患者手部數(shù)據(jù)的采集，并以此建立模型評(píng)估患者手功能康復(fù)程度。文獻(xiàn)［3］利用數(shù)據(jù)手套和觸覺傳感手套裝置開發(fā)了一套中風(fēng)后遺癥患者恢復(fù)性治療用的虛擬現(xiàn)實(shí)系統(tǒng)。數(shù)據(jù)手套的手勢(shì)識(shí)別方法具有受環(huán)境干擾小，識(shí)別率高，但是很多手部患者因?yàn)槭值膫o法穿戴數(shù)據(jù)手套，而且數(shù)據(jù)手套的高昂造價(jià)。

基于視覺的數(shù)據(jù)獲取方法是通過攝像設(shè)備采取手的各種視頻信息，從而實(shí)現(xiàn)手勢(shì)的識(shí)別和判斷。一般來說，最常見的視頻采集設(shè)備提取到的是手的二維信息，然后采用物體識(shí)別方法，如文獻(xiàn)［4～7］，來識(shí)別手勢(shì)。Priyal和Boral提出的HGR［14］系統(tǒng)來識(shí)別手勢(shì)。文獻(xiàn)［15］介紹了一種基于（GNG）算法構(gòu)建的圖形表示和識(shí)別手勢(shì)的方法。但是，這些基于二維空間的方法很難計(jì)算出手勢(shì)的三維信息，也就是說，用二維圖像匹配的方法來進(jìn)行三維手勢(shì)識(shí)別會(huì)丟失很多信息。因此，目前更多的是采用深度相機(jī)來采集手勢(shì)的三維信息。如2004 年，Mckenna［8］通過模版匹配的方法對(duì)60 種用戶定制的動(dòng)態(tài)手勢(shì)進(jìn)行識(shí)別。2008 年，Lichtenauer［9］等通過改進(jìn)的動(dòng)態(tài)時(shí)間規(guī)整算法對(duì)120 個(gè)荷蘭手語進(jìn)行識(shí)別。但這些方法難以保證快速準(zhǔn)確地估計(jì)人手姿態(tài)，同時(shí)它們無法實(shí)現(xiàn)近距離的高精度手勢(shì)識(shí)別［10］。

2012 年，Leap 公司推出了小型運(yùn)動(dòng)控制系統(tǒng)Leap Motion，可以追蹤多個(gè)手掌并識(shí)別手勢(shì)，其識(shí)別精度為0.01mm［11］。Leap Motion 的基礎(chǔ)技術(shù)是飛行時(shí)間（Time of Flight，TOF）技術(shù)［12］，是一種較專業(yè)的手勢(shì)采集設(shè)備［13］。Leap Motion傳感器不同于Kinect對(duì)視野范圍內(nèi)追蹤到物體的整體框架描述，其方法是通過對(duì)手部信息包括指尖、關(guān)節(jié)點(diǎn)、方向向量、法向量等的精細(xì)化描述，利用這些信息實(shí)現(xiàn)對(duì)手勢(shì)的特征提取和準(zhǔn)確識(shí)別。

本文中，我們?cè)O(shè)計(jì)一種基于Leap Motion 的非接觸式手功能評(píng)估系統(tǒng)，探測(cè)手各個(gè)部位在空間位置，比較兩手的手勢(shì)差異，完成對(duì)患側(cè)手的評(píng)價(jià)，從而幫助醫(yī)師評(píng)估其手功能康復(fù)情況，做出正確判斷，提出有效治療病患手的方案。

2 左右手勢(shì)差異的比較

對(duì)病患手的評(píng)估，需要考慮兩種情況。當(dāng)患者非病患手功能正常時(shí)，比較病側(cè)手和健側(cè)手的各種姿勢(shì)的差異程度；當(dāng)患者的雙手都存在病患或者一只手缺失的時(shí)候，就需要病患手和一只第三方的健康手進(jìn)行比較。為了對(duì)任意手都可以進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)評(píng)估，首先進(jìn)行坐標(biāo)標(biāo)準(zhǔn)化和尺寸標(biāo)準(zhǔn)化。然后，通過計(jì)算兩手的關(guān)節(jié)點(diǎn)間差異度，指尖到掌心的歐幾里得距離和指尖的向量點(diǎn)積差異度就能得出兩手間差異度。

2.1 手的標(biāo)準(zhǔn)化

Leap Motion 定義了名叫finger 的對(duì)象，包含五個(gè)變量，thumb，index，middle，ring，pinky，代表了拇指、食指、中指、無名指和小指，通過finger可以獲取多種數(shù)據(jù)信息。利用Leap Motion，首先應(yīng)獲取當(dāng)前幀手池中手的數(shù)量，一般應(yīng)當(dāng)為兩只手：一只是基準(zhǔn)手，一只待測(cè)手。在這里，基準(zhǔn)手是健側(cè)手，待測(cè)手是患側(cè)手。當(dāng)基準(zhǔn)手和待測(cè)手進(jìn)行比較的時(shí)候，根據(jù)雙手的左右不同，可以判斷是同側(cè)還是異側(cè)，即同側(cè)時(shí)，基準(zhǔn)手和待測(cè)手的方向相同，而異側(cè)時(shí)，基準(zhǔn)手和待測(cè)手的方向相反。兩只手變換重疊到一起才能比較，因此需要對(duì)手進(jìn)行坐標(biāo)變換。這里，我們假設(shè)測(cè)試的雙手都是異側(cè)的，因此，我們首先將一只異側(cè)手變化為同側(cè)手。

2.1.1 手的坐標(biāo)標(biāo)準(zhǔn)化

Leap Motion 的默認(rèn)坐標(biāo)系采用的是右手笛卡爾坐標(biāo)系，如圖1（a）所示，原點(diǎn)O在設(shè)備中心，X軸和Z 軸水平，Y 軸豎直。為實(shí)現(xiàn)手模型的坐標(biāo)標(biāo)準(zhǔn)化，我們需要構(gòu)建一個(gè)手的坐標(biāo)系，原點(diǎn)O'為手掌心，掌心到中指指尖的方向?yàn)閆 軸，掌平面法方向?yàn)閅 軸，Z 軸和Y 軸所在平面的法方向?yàn)閄 軸，如圖1（b）所示。

圖1 Leap Motion坐標(biāo)系和構(gòu)建的手坐標(biāo)系

通過Leap Motion 檢測(cè)出手各點(diǎn)的位置是Leap Motion 坐標(biāo)系的，需要把手的坐標(biāo)變換到新建的手坐標(biāo)系中，在數(shù)學(xué)表達(dá)上，兩個(gè)坐標(biāo)系的坐標(biāo)變換是通過一個(gè)矩陣實(shí)現(xiàn)的。首先考慮平移，即使Leap Motion 坐標(biāo)系的原點(diǎn)O與手坐標(biāo)系的原點(diǎn)O'重合。

通過平移矩陣T 和旋轉(zhuǎn)矩陣R 可將手上每個(gè)點(diǎn)P在Leap Motion 坐標(biāo)系中的坐標(biāo)變換成新建的手坐標(biāo)系的坐標(biāo)P'，設(shè)P在Leap Motion 坐標(biāo)系中的坐標(biāo)為（x，y，z），P' 在手坐標(biāo)系的坐標(biāo)為（x'，y'，z'），則坐標(biāo)變換公式可表示為

2.1.2 手的尺寸標(biāo)準(zhǔn)化

當(dāng)基準(zhǔn)手和待測(cè)手分別為兩個(gè)人的手時(shí)，由于不同人的手大小都有差異，要實(shí)現(xiàn)手差異比較必須對(duì)手進(jìn)行尺寸標(biāo)準(zhǔn)化。我們通過基準(zhǔn)手的中指長(zhǎng)度和被測(cè)手的中指長(zhǎng)度計(jì)算尺寸參數(shù)，用來對(duì)被測(cè)手進(jìn)行尺寸標(biāo)準(zhǔn)化。設(shè)基準(zhǔn)手的中指長(zhǎng)度為l0，被測(cè)手的中指長(zhǎng)度為l1，則尺寸標(biāo)準(zhǔn)化比例參數(shù)ρ可表示為

設(shè)被測(cè)手骨節(jié)點(diǎn)的坐標(biāo)為J，則尺寸標(biāo)準(zhǔn)化后的標(biāo)準(zhǔn)手骨節(jié)點(diǎn)J'的坐標(biāo)可用式（3）計(jì)算：

其中，Ji為被測(cè)手第i 個(gè)骨節(jié)點(diǎn)的坐標(biāo)，Ji'為進(jìn)行尺寸標(biāo)準(zhǔn)化后被測(cè)手第i個(gè)骨節(jié)點(diǎn)的坐標(biāo)。

2.2 兩手差異度比較

比較兩手差異度的方法有很多，不同的方法體現(xiàn)的手勢(shì)差異的程度不同，本文通過兩手的各個(gè)關(guān)節(jié)點(diǎn)間差異度，指尖到掌心的歐幾里得距離和指尖向量點(diǎn)積三種方法來綜合評(píng)價(jià)基準(zhǔn)手和患側(cè)手的差異程度。

2.2.1 基于關(guān)節(jié)點(diǎn)間差異度的兩手比較

每只手有五根手指，每根手指在Leap Motion手模型中由四塊骨頭組成，每塊骨頭由兩個(gè)關(guān)節(jié)點(diǎn)確定，骨頭的開始位置點(diǎn)為前關(guān)節(jié)，骨頭的結(jié)束位置點(diǎn)為后關(guān)節(jié)。

基準(zhǔn)手和待測(cè)手中每一塊骨頭前關(guān)節(jié)之間的距離為前關(guān)節(jié)距離。設(shè)mdij為兩手第i根手指的第j塊骨頭的前關(guān)節(jié)距離，可以用以下公式計(jì)算：

其中，m0ij為基準(zhǔn)手第i根手指的第j塊骨頭的前關(guān)節(jié)坐標(biāo)，m1ij為待測(cè)手第i根手指的第j塊骨頭的前關(guān)節(jié)坐標(biāo)，||*||是三維向量的歐幾里得距離（下同）。

基準(zhǔn)手和待測(cè)手一塊骨頭后關(guān)節(jié)之間的距離為后關(guān)節(jié)距離。設(shè)ndij為基準(zhǔn)手和待測(cè)手第i根手指的第j 塊骨頭的后關(guān)節(jié)距離，可以用以下公式計(jì)算：

其中，n0ij為基準(zhǔn)手第i根手指的第j塊骨頭的后關(guān)節(jié)坐標(biāo)，n1ij為待測(cè)手第i根手指的第j塊骨頭的后關(guān)節(jié)坐標(biāo)。

最后，通過下面公式就可以得出基準(zhǔn)手和待測(cè)手的關(guān)節(jié)點(diǎn)間差異度C：

其中，i是手的手指從1～5 變化，表示手的5 個(gè)手指；j從1～4變化，表示每個(gè)手指有4個(gè)骨頭。

2.2.2 基于指尖到掌心的歐幾里得距離差異度的兩手比較

由于指尖的位置會(huì)隨手勢(shì)變化而變化，因此我們也可以通過計(jì)算標(biāo)準(zhǔn)手和待測(cè)手每對(duì)手指的指尖到掌心的歐幾里得距離差的絕對(duì)值之和來表示手勢(shì)的差異度。手指指尖到掌心的距離s可以用圖2所示。

圖2 掌心到中指指尖的距離及方向

設(shè)掌心的坐標(biāo)為o，手指指尖的坐標(biāo)為vi，i=(1，…，5)，則每個(gè)指尖到掌心的歐幾里得距離s可表示為

設(shè)s1i，s2i，i=(1，…，5)，分別為標(biāo)準(zhǔn)手和待測(cè)手的指尖到掌心的歐幾里得距離，則歐幾里得差異度可用標(biāo)準(zhǔn)手和待測(cè)手指尖到掌心歐幾里得距離差的絕對(duì)值之和E可以用下式計(jì)算：

2.2.3 基于指尖向量點(diǎn)積差異度的兩手比較

歐幾里得差異度可表示指尖位置不同的兩手手勢(shì)之間的差異，但當(dāng)指尖位置相同手勢(shì)不同時(shí)，例如兩只手指彎曲狀態(tài)不同，歐幾里得差不能體現(xiàn)兩手之間的差異。因此我們可以進(jìn)一步通過對(duì)標(biāo)準(zhǔn)手和待測(cè)手對(duì)應(yīng)的指尖點(diǎn)求向量點(diǎn)積的方法表示兩手之間的差異度。設(shè)，i=(1，…，5)，為標(biāo)準(zhǔn)手指尖點(diǎn)的向量，，i=(1，…，5)，為待測(cè)手手指指尖點(diǎn)的向量，則向量點(diǎn)積差異度D可表示為式（9），其中，D越小，則表示兩手差異越小。

2.2.4 三種比較方法進(jìn)一步說明

本文采用的三種差異度比較方法體現(xiàn)了患側(cè)手和健側(cè)手的差異程度。關(guān)節(jié)點(diǎn)間差異度方法實(shí)現(xiàn)簡(jiǎn)單，但很多手勢(shì)的差異程度不能體現(xiàn)出來。指尖到掌心的歐幾里得距離差異度方法相較關(guān)節(jié)點(diǎn)間差異度方法做了很大改進(jìn)，但是當(dāng)兩手的彎曲狀態(tài)不同而指尖位置相同時(shí)，歐幾里得差異度視為手勢(shì)相同，因此也存在缺陷。本文最后采用的向量點(diǎn)積差異度方法改善了前兩種的缺點(diǎn)。

在現(xiàn)實(shí)應(yīng)用中，可以每種方法單獨(dú)使用，也可以結(jié)合使用，如下：

其中λ1，λ2，λ3是各種方法結(jié)果的比例因子。

3 實(shí)驗(yàn)與分析

我們的演示系統(tǒng)包括一臺(tái)計(jì)算機(jī)，一個(gè)放置雙手的鐵架，以及一個(gè)Leap Motion，如圖3所示。

圖3 實(shí)驗(yàn)裝置和實(shí)驗(yàn)過程

為了驗(yàn)證系統(tǒng)的可行性和運(yùn)行效果，本文模擬兩種情況進(jìn)行系統(tǒng)的手勢(shì)識(shí)別差異的分析。第一種情況是病患的一只手出現(xiàn)問題而另一只手正常，則將患者正常的手作為健側(cè)手，出現(xiàn)的問題的手作為患側(cè)手，進(jìn)行差異度檢測(cè)并對(duì)患側(cè)手進(jìn)行診斷。當(dāng)病患只有一只手且這只手出現(xiàn)問題時(shí)，則是本文模擬的第二種情況，此時(shí)病患出問題的手作為患側(cè)手，另一個(gè)人的正常手作為健側(cè)手，即將他人的手作為標(biāo)準(zhǔn)進(jìn)行差異度檢測(cè)并對(duì)病患的患側(cè)手進(jìn)行診斷。下面本文分別針對(duì)這兩種情況詳細(xì)介紹。

3.1 患側(cè)手和健側(cè)手為同一人的手

共10位受試者分別做出圖4的兩組手勢(shì)，第一組手勢(shì)旨在研究手指是否彎曲對(duì)手勢(shì)差異的影響，包括圖4 的（a）和（b），其中（a）請(qǐng)每位受勢(shì)者左手和右手都做OK 手勢(shì)，（b）請(qǐng)每位受試者左手做OK手勢(shì)，右手在OK手勢(shì)的基礎(chǔ)上使中指，無名指和小拇指彎曲。第二組手勢(shì)旨在研究手指的彎曲程度對(duì)手勢(shì)差異度的影響，包括圖4 的（c）和（d），其中（c）請(qǐng)每位受試者左手拇指伸直，食指微屈作為標(biāo)準(zhǔn)手，右手拇指伸直，食指伸直；（d）請(qǐng)每位受試者左手手勢(shì)不變，將右手拇指伸直，食指彎曲。待系統(tǒng)顯示結(jié)果穩(wěn)定后記錄數(shù)據(jù)，最后求平均值進(jìn)行分析。

圖4 實(shí)驗(yàn)手勢(shì)

圖5 是實(shí)驗(yàn)平臺(tái)顯示界面上手勢(shì)變化情況，其中帶有藍(lán)色背景的界面是Leap Motion 工作界面，三個(gè)參數(shù)C，E 和D 體現(xiàn)兩只手整體差異度。C 表示關(guān)節(jié)點(diǎn)間差異度，E 表示指尖到掌心的歐幾里得距離差異度，D 為向量點(diǎn)積差異度。從圖5 我們可以得知，當(dāng)兩手手勢(shì)相近時(shí)，每個(gè)參數(shù)的值都很小，如圖5（a）所示。反之當(dāng)兩手部分手指表現(xiàn)不同時(shí)，則相應(yīng)數(shù)據(jù)變大，如圖5（b）。

圖5 實(shí)驗(yàn)結(jié)果

表1 和表2 為10 位受試者做兩組手勢(shì)的實(shí)驗(yàn)數(shù)據(jù)，以每組結(jié)果的平均值為依據(jù)進(jìn)行分析。首先分析患者手指是否彎曲對(duì)手勢(shì)差異結(jié)果的影響，如表1（a）所示，當(dāng)受試者左手和右手都做OK 手勢(shì)時(shí)，受試者差異值的平均值都很小；而當(dāng)受試者將右手的中指，無名指和小拇指彎曲時(shí)，從（b）的五個(gè)手指差異的平均值可看差異值明顯上升說明待測(cè)手和標(biāo)準(zhǔn)手差異很明顯。

表1 手指是否彎曲對(duì)手勢(shì)差異結(jié)果的影響T=Thumb，I=Index，M=Middle，R=Ring，P=Pink（下同）（a）左手和右手做OK手勢(shì)（對(duì)應(yīng)圖4（a）））

當(dāng)受試者左手大拇指伸直食指微屈，右手大拇指伸直食指伸直時(shí)結(jié)果如表2（a）所示，Index 平均值明顯高于其它幾個(gè)手指說明系統(tǒng)檢測(cè)出待測(cè)手和標(biāo)準(zhǔn)手的食指之間的差異；當(dāng)受試者將右手的食指彎曲時(shí)，結(jié)果如（b）所示，可見Index值明顯上升，且D 的平均值遠(yuǎn)高于右手食指伸直的D 值，說明手指的彎曲程度更大時(shí)D值更高。

表2 患者手指的彎曲程度對(duì)手勢(shì)差異結(jié)果的影響（a）左手大拇指伸直食指微屈，右手大拇指伸直食指伸直（對(duì)應(yīng)圖4（c））

3.2 患側(cè)手和健側(cè)手為不同人的手

本文模擬的第二種情況是病患只有一個(gè)手且這只手是病患手，則需要將另一個(gè)人的正常手作為健側(cè)手。我們請(qǐng)10 位受試者兩兩為一組，每組中一個(gè)人的左手作為健側(cè)手，另一個(gè)人的右手為患側(cè)手。成員做圖4的（a）和（b）手勢(shì)，表3為實(shí)驗(yàn)結(jié)果，其顯示說明本系統(tǒng)進(jìn)行差異度比較時(shí)無論以自己的手作為健側(cè)手還是以別人的手作為健側(cè)手，檢測(cè)結(jié)果都基本相同。

表3 健側(cè)手和患側(cè)手分屬兩人對(duì)實(shí)驗(yàn)結(jié)果的影響（a）左手和右做OK手勢(shì)（對(duì)應(yīng)圖4（a））

實(shí)驗(yàn)結(jié)果表明，在患側(cè)手和健側(cè)手為同一個(gè)人的手的情況下，手指的差異度都能做出較準(zhǔn)確的判斷。

4 結(jié)語

本文是基于人體交互設(shè)備Leap Motion，構(gòu)建了一個(gè)病患手評(píng)估系統(tǒng)，該系統(tǒng)通過分析Leap Motion探測(cè)并建立的手部模型提取各個(gè)部位的特征信息，進(jìn)而可以判斷兩手的差異程度，可以提供給醫(yī)生或者專家作為量化數(shù)據(jù)的指標(biāo)以供參考。