王巖全，孫博文

(哈爾濱理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,黑龍江 哈爾濱 150080)

1 引言

在虛擬現(xiàn)實(shí)不斷發(fā)展的今天，手勢交互成為繼鼠標(biāo)、鍵盤、觸摸屏之后新的人機(jī)交互方式。目前手勢交互產(chǎn)品以Leap Motion、Kinect為主，尤其是Leap Motion的出現(xiàn)，使得一些需要借助于外部硬件設(shè)備(如數(shù)字手套)的手勢交互方式黯然失色。但是，無論是Leap Motion還是Kinect都沒有像鼠標(biāo)、鍵盤一樣普及，除了一些外部的環(huán)境因素，其自身的局限性是最大的原因。Leap Motion和Kinect主要針對游戲開發(fā)者與其公司發(fā)布的游戲交互產(chǎn)品，不適用于普通軟件，而且比起鼠標(biāo)、鍵盤等硬件交互設(shè)備，其價(jià)格十分昂貴。傳統(tǒng)的單目攝像頭已經(jīng)做到以圖像處理的方式在復(fù)雜環(huán)境中識別手勢[1]，但無法對手勢進(jìn)行深度識別，而且其研究成果停留在了二維空間，沒有做到像Leap Motion一樣實(shí)時(shí)地識別動作(如抓取物體)。由此，以普通單目攝像頭實(shí)現(xiàn)手勢交互具有十分重要的意義。

基于神經(jīng)網(wǎng)絡(luò)的手勢識別也是一種常用的手勢識別方法[2]。由于手勢具有尺度變換、旋轉(zhuǎn)、平移等復(fù)雜變化，所以每種手勢需要選取不同背景、不同旋轉(zhuǎn)角度的有效圖片各100張用于訓(xùn)練，因此基于神經(jīng)網(wǎng)絡(luò)的手勢識別本質(zhì)是對相同手勢姿態(tài)的歸類，并不是對手勢姿態(tài)變化參數(shù)的提取。由于在神經(jīng)網(wǎng)絡(luò)層數(shù)較深的情況下計(jì)算量較大，無法保證交互的實(shí)時(shí)性，基于神經(jīng)網(wǎng)絡(luò)的手勢識別適合運(yùn)用于識別，并不適合于交互。

Leap Motion裝有雙紅外攝像頭，利用視覺差技術(shù)獲取手關(guān)節(jié)的空間位置并實(shí)時(shí)追蹤[3,4]，而Kinect裝有RGB與CMOS紅外攝像頭、紅外發(fā)射器，二者都是基于雙目攝像頭的手勢交互。相比于此，單目攝像頭實(shí)現(xiàn)空間交互有兩大難點(diǎn)，手勢的深度識別與手勢的動作識別[5,6]。本文采用不同深度下手面積的變化確定深度值，以自創(chuàng)的匹配算法計(jì)算不同手勢圖像的匹配率，將不同手勢動作的運(yùn)動信息預(yù)存到程序中，以匹配率的高低選擇不同的運(yùn)動信息，達(dá)到動態(tài)手勢交互的效果。

2 3D手勢交互

2.1 匹配算法的選擇

本文的技術(shù)核心是以最優(yōu)的匹配率選擇相對應(yīng)的運(yùn)動信息，匹配算法的選擇不僅決定了原始圖像的預(yù)處理方式，而且匹配率的高低直接影響手勢運(yùn)動信息的選擇，決定著手勢交互的正確性。特征匹配是通過提取圖像的特征點(diǎn)來進(jìn)行匹配的一種匹配方式[7,8]。如下實(shí)驗(yàn)證明基于特征點(diǎn)匹配方式并不適用于手勢匹配。

實(shí)驗(yàn)以預(yù)制在3D場景中的手模型與攝像頭信息進(jìn)行實(shí)時(shí)匹配，實(shí)驗(yàn)效果圖1和圖2所示。

Figure 1 Matching effect when the hand is open圖1 手展開時(shí)匹配效果

Figure 2 Matching effect when the hand is clenched圖2 手握拳時(shí)匹配效果

如圖1和圖2所示，左邊圖像為攝像頭拍攝的實(shí)時(shí)圖像，而右邊為3D場景中預(yù)制的手模型，匹配結(jié)果雜亂無章且嚴(yán)重受到外部環(huán)境的影響，不僅匹配錯(cuò)誤頻發(fā)，無法獲取手的空間信息，手勢的變化更是無法識別。因此，必須對圖像進(jìn)行預(yù)處理并提出自己的匹配算法。

2.2 顏色空間轉(zhuǎn)換

一般圖像都是基于RGB顏色空間的[9]，而人體膚色容易受到光照等亮度因素的影響，為了剔除亮度的影響，將RGB空間轉(zhuǎn)換為YCrCb空間。通過剔除表示明亮度的Y通道，保留表示色度的Cr與Cb通道，就可以忽略亮度的影響，將三維RGB空間降到二維CrCb空間[10]，如圖3～圖5所示。轉(zhuǎn)換公式如下：

Y=0.257×R+0.564×G+0.098×B+16,

Cr=0.439×R-0.368×G-0.071×B+128,

Cb=-0.148×R-0.291×G+0.439×B+128

(1)

Figure 3 Result of Y color space圖3 Y顏色空間圖

Figure 4 Result of Cr color space圖4 Cr顏色空間圖

Figure 5 Result of Cb color space圖5 Cb顏色空間圖

2.3 圖像二值化

剔除Y通道，保留CrCb通道后，以Cr值在133～173、Cb值在77～127為依據(jù)，判定該點(diǎn)為膚色點(diǎn)，其他部分就為非膚色點(diǎn)。將0～255亮度等級的灰度圖像進(jìn)行閾值選取，對灰度圖像進(jìn)行閾值選取，將圖像轉(zhuǎn)化為二值圖[11,12]。轉(zhuǎn)換公式如下：

(2)

如圖6所示，圖像中膚色與膚色相近的成分轉(zhuǎn)換為白色，其余部分轉(zhuǎn)換為黑色。為了剔除非手勢部分，下面計(jì)算圖像輪廓面積。

Figure 6 Result of binary process圖6 二值化圖

2.4 計(jì)算圖像輪廓面積

在二值化后的單通道圖像中，像素值分為0與255?？梢愿鶕?jù)相鄰像素點(diǎn)像素值大小的變化繪制輪廓圖[13,14]。輪廓由像素點(diǎn)集合構(gòu)成，在程序中以序列的方式存儲于內(nèi)存中。

Figure 7 Contour of gesture圖7 手勢輪廓圖

圖7所示為白色輪廓的手勢輪廓圖。由于不規(guī)則輪廓的面積難以計(jì)算，且此處僅僅是利用面積的大小進(jìn)行比較來剔除其他的輪廓，因此采用輪廓所圍像素點(diǎn)的個(gè)數(shù)來近似取代輪廓面積進(jìn)行比較。根據(jù)輪廓像素點(diǎn)集合的位置信息，對像素在相同y軸下x軸的坐標(biāo)由小到大，方向由y軸方向從小到大進(jìn)行計(jì)數(shù)，統(tǒng)計(jì)像素值為255的像素點(diǎn)個(gè)數(shù)。

(3)

不同手勢面積的大小范圍可以根據(jù)實(shí)驗(yàn)獲得。在此處手勢交互中，手的輪廓面積比其他非手輪廓面積大，因此只需要設(shè)置最小值來剔除其他輪廓。

圖8為剔除非手勢區(qū)域后的圖像。在剔除非手勢區(qū)域之后就可以對手勢區(qū)域進(jìn)行截取。

Figure 8 Binary image after eliminating other contours圖8 剔除其他輪廓后的二值圖

2.5 手勢提取

剔除非手勢因素之后，為了更容易地進(jìn)行圖像匹配，需要截取圖像中的手勢。通過比較輪廓像素點(diǎn)中的x軸坐標(biāo)值與y軸坐標(biāo)值的大小，選出最大與最小x軸坐標(biāo)值y軸坐標(biāo)值的四個(gè)像素點(diǎn)，以四個(gè)像素點(diǎn)位置為基準(zhǔn)截取手勢。截取到的手勢區(qū)域如圖9所示。

Figure 9 Gesture圖9 手勢圖

由于截取的圖像大部分為長方形，不便于之后的圖像匹配，需將圖像轉(zhuǎn)換為正方形。如果將長方形圖像直接進(jìn)行尺寸縮放，手勢輪廓必然會發(fā)生變形，此處選取長和寬中較長的邊為基準(zhǔn)重新進(jìn)行截取，此時(shí)截取的圖像為正方形，再次進(jìn)行尺寸縮放時(shí)手勢不會發(fā)生變形。調(diào)整后的手勢圖如圖10所示。

Figure 10 Adjusted gesture圖10 調(diào)整后的手勢圖

2.6 圖像匹配

為了更好地實(shí)現(xiàn)手勢的匹配，本文的匹配算法不僅需要區(qū)分不同的手勢，而且還要計(jì)算出明確的匹配率。

為了方便匹配，將所有手勢進(jìn)行尺寸縮放，這里將其縮放為100×100像素大小。采用線性插值算法對圖像進(jìn)行縮放,如圖11所示?？s放圖像的像素值根據(jù)映射到源圖像附近的四個(gè)鄰近像素的線性加權(quán)計(jì)算得出，權(quán)重與四個(gè)像素點(diǎn)的距離成反比。這里以sx，sy表示源圖像像素點(diǎn)的橫坐標(biāo)值和縱坐標(biāo)值；sw，sh表示源圖像的寬度與高度；dx，dy表示目標(biāo)圖像像素點(diǎn)的橫坐標(biāo)值和縱坐標(biāo)值；dw，dh表示目標(biāo)圖像的寬度與高度；a1，a2,a3，a4表示源圖像中與目標(biāo)圖像相對應(yīng)像素點(diǎn)的鄰近的四個(gè)像素點(diǎn)的像素值；k1，k2，k3，k4表示四個(gè)點(diǎn)的權(quán)重；x表示目標(biāo)圖像的像素值。

Figure 11 Schematic of linear interpolation algorithm圖11 線性插值原理圖

x由a1，a2，a3，a4四個(gè)值加權(quán)平均求出。通過計(jì)算目標(biāo)像素點(diǎn)在整個(gè)圖像中的相對位置可以計(jì)算出與其相對應(yīng)的源圖像中像素點(diǎn)的坐標(biāo)值。計(jì)算出的坐標(biāo)值為小數(shù)，通過坐標(biāo)值的上取整和下取整與坐標(biāo)值之間的差值可以計(jì)算出各個(gè)權(quán)值。計(jì)算公式如下：

x=((a1×k1+a2×k2)+(a3×k1+a4×k2)+(a1×k3+a3×k4)+(a2×k3+a4×k4))/4

(4)

sx/sw=dx/dw，則sx=dx×sw/dw,

sy/sh=dy/dh，則sy=dy×sh/dh,

縮放后的手勢圖如圖12所示。

Figure 12 Scaled gesture圖12 縮放后的手勢圖

由此便可計(jì)算出目標(biāo)圖像每個(gè)像素點(diǎn)的像素值。在完成圖像縮放之后，接下來就是對圖像進(jìn)行匹配。在進(jìn)行手勢交互時(shí)，應(yīng)該預(yù)先將不同的手勢圖像預(yù)制到計(jì)算機(jī)中，這樣就可以實(shí)時(shí)將攝像頭讀取的圖像與預(yù)制的圖像進(jìn)行匹配。這里將目標(biāo)圖像的每個(gè)像素點(diǎn)與預(yù)制圖像每個(gè)像素點(diǎn)的像素值大小一一比較，統(tǒng)計(jì)出相同位置像素值相同的像素點(diǎn)個(gè)數(shù)count，用count除以總像素點(diǎn)數(shù)也就是10 000,便可求出不同目標(biāo)圖像與預(yù)制圖像的匹配率rate。由于圖像在縮放時(shí)進(jìn)行了插值算法運(yùn)算，輪廓邊緣點(diǎn)的像素值不一定會等于0或255，因此在對count進(jìn)行計(jì)數(shù)時(shí)，目標(biāo)圖像與預(yù)制圖像在相同位置像素點(diǎn)的像素值如果不同時(shí)等于0或255時(shí)也進(jìn)行計(jì)數(shù)。這里將這種匹配算法稱為完全重疊匹配。完全重疊匹配算法不僅可以計(jì)算出不同手勢(如握拳與展開)的匹配率，而且細(xì)微手勢動作變化(如繞空間某個(gè)方向旋轉(zhuǎn)1度)的匹配率也會產(chǎn)生變化。這樣就可以根據(jù)目標(biāo)圖像與不同預(yù)制圖像匹配率的高低選擇最合適的運(yùn)動信息。

計(jì)算匹配率，首先計(jì)算count，當(dāng)兩幅圖像所有相同位置的像素值同時(shí)為0,或者同時(shí)為255或者既不是0也不是255時(shí)，對count進(jìn)行計(jì)數(shù)，將計(jì)數(shù)完后的count除以圖像像素點(diǎn)的總個(gè)數(shù)得到匹配率。計(jì)算公式如下：

count=

rate=count/10000

(5)

Figure 13 Matching rate of different gestures圖13 不同手勢的匹配率

如圖13所示，不同手勢圖與預(yù)制手勢圖的匹配率各不相同。理論上，相同手勢的匹配率應(yīng)該為100%，但由于手在現(xiàn)實(shí)場景中的動作不可能與錄入時(shí)的動作完全一致，且攝像頭的擺放位置、角度也不一定完全相同，但是相較于其他不同的手勢，相同手勢間的匹配率最高，且與不同手勢間的匹配率相差較大，足以用來區(qū)分其他手勢，從而選擇正確的運(yùn)動信息。

2.7 提取目標(biāo)圖像的空間運(yùn)動信息

目標(biāo)圖像是由攝像頭獲取現(xiàn)實(shí)場景的手勢信息再加上前期的圖像處理實(shí)時(shí)生成的，在手勢發(fā)生變化時(shí)，目標(biāo)圖像也在實(shí)時(shí)地變化。手在二值圖中的坐標(biāo)也在同步變化，通過實(shí)時(shí)比較當(dāng)前手勢位置與前一時(shí)刻手勢位置的變化便可以獲取手勢在平面上移動的方向。如圖14所示，這里選取e點(diǎn)作為手勢坐標(biāo)的基準(zhǔn)點(diǎn)。在手勢位置沒有發(fā)生變化，但動作發(fā)生變化時(shí)(如握拳)，圖中五點(diǎn)a、b、c、d、e除了e點(diǎn)之外，其余四個(gè)點(diǎn)的坐標(biāo)都會發(fā)生變化。因此，選取e點(diǎn)作為手勢位置基準(zhǔn)點(diǎn)，這樣就避免了手勢位置沒有發(fā)生變化而動作發(fā)生變化帶來的對手勢移動信息的誤判。通過當(dāng)前時(shí)刻的手勢位置的坐標(biāo)值減去上一時(shí)刻手勢位置的坐標(biāo)值的正負(fù)和大小來判斷移動的方向與速率。

Δx=xt2-xt1,

Δy=yt2-yt1,

depth1=k×s1+g,

depth2=k×s2+g

(6)

其中，Δx與Δy表示e點(diǎn)在x軸方向與y軸方向的偏移量。xt1與xt2表示e點(diǎn)在t1時(shí)刻與t2時(shí)刻的橫坐標(biāo)，yt1與yt2表示e點(diǎn)在t1時(shí)刻與t2時(shí)刻的縱坐標(biāo)。depth1與depth2為不同時(shí)刻的手勢深度值，s1與s2為不同時(shí)刻的手勢面積。通過聯(lián)立方程組可以求出手勢面積與手勢深度之間的線性參數(shù)k與g。

Figure 14 Change of rectangular coordinate圖14 矩形框坐標(biāo)變化

接下是來獲取深度信息。這里采用手勢輪廓面積的大小來判斷深度值。由于同一深度下不同手勢面積不同，因此不同手勢應(yīng)運(yùn)用不同的判斷基準(zhǔn)。通過選取不同手勢在兩種深度下的輪廓面積，聯(lián)立方程組計(jì)算出不同手勢深度與手勢面積之間的線性參數(shù)k與g，就可以計(jì)算出不同手勢的深度值。

2.8 3D模型的空間移動與旋轉(zhuǎn)

在三維坐標(biāo)系中，各種手勢姿勢都可以經(jīng)由基本的手勢經(jīng)過平移與旋轉(zhuǎn)得到，而平移與旋轉(zhuǎn)屬于圖形幾何變換中的兩種基本變換，復(fù)雜的幾何變換可以通過基本的幾何變換復(fù)合實(shí)現(xiàn)。例如，手的3D模型的幾何變換，可以將其中一點(diǎn)的復(fù)雜幾何變換分解為基本的平移與旋轉(zhuǎn)變換，再根據(jù)原模型的拓?fù)潢P(guān)系連接新的頂點(diǎn)實(shí)現(xiàn)整個(gè)模型的幾何變換。而這些基本的變換是通過引入齊次坐標(biāo)技術(shù)實(shí)現(xiàn)的。通過將三維空間中的復(fù)雜問題擴(kuò)展到四維空間，可以將幾何變換轉(zhuǎn)換為矩陣相乘的數(shù)學(xué)表示，借助于計(jì)算機(jī)的高速處理，實(shí)現(xiàn)手模型的移動與旋轉(zhuǎn)。

由于攝像頭坐標(biāo)系與3D場景坐標(biāo)不同，手移動時(shí)要調(diào)整代表移動方向的數(shù)值正負(fù)。

由圖15可知，攝像頭坐標(biāo)系的x軸與3D場景坐標(biāo)系中的x軸同方向，所以現(xiàn)實(shí)中手勢在x軸變化的方向與3D場景中手勢模型的變化方向相同，攝像頭坐標(biāo)系的y軸方向與3D場景中的y軸坐標(biāo)系方向相反，所以在進(jìn)行矩陣變換時(shí)，y軸坐標(biāo)值前要加負(fù)號。

模型在3D場景坐標(biāo)系中的x軸與y軸方向的坐標(biāo)值是通過初值加變化值確定的，而在z軸方向的坐標(biāo)值是通過手勢面積的線性運(yùn)算直接得到的，不需要進(jìn)行平移變換。

[xyz1]=

(7)

Figure 15 Coordinate system of camera and 3D scene圖15 攝像頭坐標(biāo)系與3D場景坐標(biāo)系

通過不斷計(jì)算模型的空間坐標(biāo)值就可以實(shí)現(xiàn)模型的空間移動。在完成模型的空間移動之后，接下來要實(shí)現(xiàn)手的動作變化。任何手動作變化都可以通過手指關(guān)節(jié)的旋轉(zhuǎn)實(shí)現(xiàn)，而每個(gè)手指關(guān)節(jié)都是繞它的上一個(gè)關(guān)節(jié)進(jìn)行旋轉(zhuǎn)的。關(guān)節(jié)點(diǎn)的坐標(biāo)值可以通過繞前一個(gè)關(guān)節(jié)軸的三維旋轉(zhuǎn)變換得到。這里將繞關(guān)節(jié)點(diǎn)軸旋轉(zhuǎn)的三維旋轉(zhuǎn)問題轉(zhuǎn)化成平移、旋轉(zhuǎn)的復(fù)合變換，抽象為矩陣連乘的數(shù)學(xué)公式。定義要旋轉(zhuǎn)關(guān)節(jié)點(diǎn)的坐標(biāo)為(xa,ya,za)，關(guān)節(jié)點(diǎn)所要旋轉(zhuǎn)的角度為θ，其所繞關(guān)節(jié)點(diǎn)的坐標(biāo)為(xb,yb,zb)，所繞的軸為L、軸L經(jīng)過關(guān)節(jié)點(diǎn)(xb,yb,zb)，且軸L繞3D場景坐標(biāo)系中的x軸旋轉(zhuǎn)α角，繞y軸旋轉(zhuǎn)β角后會與z軸重合。α與β可以通過模型在3D場景中的歐拉角得出。

(8)

通過預(yù)先載入關(guān)節(jié)旋轉(zhuǎn)角度，計(jì)算機(jī)不斷計(jì)算關(guān)節(jié)點(diǎn)的位置就可以實(shí)現(xiàn)各種手勢動作交互。

2.9 交互實(shí)時(shí)性

交互不僅要保證正確性，還要保證實(shí)時(shí)性。本實(shí)驗(yàn)交互實(shí)時(shí)性體現(xiàn)在3D場景的流暢程度，這里用幀數(shù)作為實(shí)時(shí)性的判斷標(biāo)準(zhǔn)。交互達(dá)到24幀/秒便認(rèn)為交互流暢，滿足實(shí)時(shí)性要求。普通攝像頭的幀數(shù)在30幀/秒左右，也就是說攝像頭獲取一張現(xiàn)實(shí)場景圖像的時(shí)間在33.33 ms左右，將獲取圖像的時(shí)間加上圖像預(yù)處理、圖像匹配到最后得出手運(yùn)動信息的時(shí)間看做一個(gè)周期?？梢杂贸绦驕y出整個(gè)周期中獲取圖像后處理圖像的時(shí)間，大約為34 ms。也就是說交互處理一幀的時(shí)間為67.33 ms，換算成幀數(shù)約為13幀/秒。由此可以看出程序處理圖像的時(shí)間過長，會導(dǎo)致交互不流暢。而程序處理圖像的時(shí)間主要集中在圖像匹配部分。由于完全重疊匹配需要比較大小為100×100圖像的

每個(gè)像素點(diǎn)，每處理一幀圖像程序都要循環(huán)10 000次，因此必須調(diào)整圖像的大小以縮短圖像處理時(shí)間。

由表1可知，隨著圖像尺寸的縮小，程序運(yùn)行時(shí)間越來越快，幀數(shù)越來越高，但是匹配的正確率越來越低，這是由于圖像在運(yùn)用插值法縮放時(shí)，像素值為0與255的像素點(diǎn)個(gè)數(shù)越來越少，黑白成分越來越少，圖像變得模糊，匹配率下降。當(dāng)圖像尺寸為30×30時(shí)，交互界面的幀數(shù)達(dá)到26幀/秒，匹配正確率為98%，完全可以滿足實(shí)時(shí)性要求。

3 實(shí)驗(yàn)效果

為了展現(xiàn)交互的效果，這里預(yù)制手展開與抓取圖像，并將手展開與抓取的運(yùn)動信息預(yù)存到程序當(dāng)中，從而實(shí)現(xiàn)手抓取物體的交互。抓取場景物體，將其放到木箱上。實(shí)驗(yàn)效果如圖16所示。

Figure 16 Gesture interaction of grasping objects圖16 抓取手勢交互

只要預(yù)制不同的手勢圖像與運(yùn)動信息，就可以實(shí)現(xiàn)不同的手勢交互。實(shí)驗(yàn)效果如圖17所示。

Table 1 Real-time comparison among images of different sizes表1 不同大小圖像的實(shí)時(shí)性比較

Figure 17 Different hand gestures圖17 不同的手勢動作

4 結(jié)束語

在虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)不斷發(fā)展的今天，人們在追求視覺真實(shí)感的同時(shí)，也在追求交互的真實(shí)感。尤其在游戲領(lǐng)域，傳統(tǒng)的鼠標(biāo)鍵盤逐漸無法滿足人們的需求?，F(xiàn)今的交互設(shè)備由于價(jià)格等因素，并沒有普及到人們的日常生活中。本文基于普通的單目攝像頭通過獲取現(xiàn)實(shí)場景中手的圖像并對其進(jìn)行圖像處理，獲取其移動信息，再結(jié)合圖像匹配的方式選取不同手勢的動作信息來完成手勢交互。不僅保證了交互的正確性，而且通過實(shí)驗(yàn)選取合適的圖像尺寸，保證了交互的實(shí)時(shí)性。交互不需要借助專用的手勢交互產(chǎn)品，使得手勢交互更加便捷與普及。