黃玉銀 李志揚(yáng)

[摘要]采用手勢(shì)控制的智能搬運(yùn)小車可大幅度減輕快遞貨物分揀中的體力勞動(dòng)強(qiáng)度，提升工作效率，其中手指類型識(shí)別對(duì)手勢(shì)識(shí)別有重要輔助作用。通過(guò)車載攝像頭采集手勢(shì)，經(jīng)過(guò)圖像處理獲選取基于中心線的角度FBA和垂直長(zhǎng)度FPD兩個(gè)不受圖像旋轉(zhuǎn)和平移影響的特征向量，通過(guò)多元混合高斯統(tǒng)計(jì)模型實(shí)現(xiàn)手指類型識(shí)別，識(shí)別率可達(dá)93%。

[關(guān)鍵詞]手勢(shì)控制；手指類型識(shí)別；智能搬運(yùn)小車；快遞分揀

[中圖分類號(hào)]TP23 [文獻(xiàn)標(biāo)識(shí)碼]A [文章編號(hào)]1005-152X（2018）02-0105-03

1 引言

隨著電商爆炸時(shí)代的到來(lái)，物流業(yè)空前繁榮，特別是在節(jié)假日大促銷期間，時(shí)常出現(xiàn)快遞分揀人手不夠的情況。目前快遞分揀在自動(dòng)化方面還不夠成熟，如果引入智能搬運(yùn)小車可大幅度減輕勞動(dòng)強(qiáng)度，提升分揀速度。但是分揀車間環(huán)境較為復(fù)雜，布置固定路徑的搬運(yùn)小車很不方便，成本也很高。

本文采用基于手勢(shì)控制的智能搬運(yùn)小車實(shí)現(xiàn)分揀工作的半自動(dòng)化。分揀員通過(guò)五指的組合做出備種手勢(shì)命令，控制小車的前進(jìn)、后退、左右轉(zhuǎn)彎以及運(yùn)動(dòng)幅度等。其中手指識(shí)別是手勢(shì)控制的關(guān)鍵。本文通過(guò)車載攝像頭采集手勢(shì)，經(jīng)過(guò)圖像處理獲取特征向量，借助預(yù)先訓(xùn)練好的多元混合高斯統(tǒng)計(jì)模型實(shí)現(xiàn)手指分類識(shí)別。

2 原理

2.1 手勢(shì)識(shí)別流程

本文開(kāi)發(fā)的基于視覺(jué)的手勢(shì)識(shí)別系統(tǒng)，其T作流程如圖1所示，首先利用車載攝像頭采集手勢(shì)圖像，然后通過(guò)中值濾波進(jìn)行去噪，再通過(guò)膚色檢測(cè)進(jìn)行手勢(shì)圖像二值分割和腐蝕、膨脹和開(kāi)運(yùn)算等形態(tài)學(xué)運(yùn)算，進(jìn)一步提取所需要的特征點(diǎn)，如手腕中心，手掌中心，指根和指尖等特征點(diǎn)，最后利用高斯模型分類器進(jìn)行手勢(shì)手指識(shí)別，如圖l所示。

2.2 特征提取

2.2.1 手掌中心和手腕中心。對(duì)分割后的二值手勢(shì)圖像，運(yùn)用下面公式計(jì)算手掌掌心的位置：

其中，（xiyi）代表圖像處理后所有檢測(cè)到的邊緣點(diǎn)的二維像素坐標(biāo)。然后以掌心為原點(diǎn)以r為半徑，沿順時(shí)針?lè)较蚋櫴终浦行木W(wǎng)上的每個(gè)邊緣像素點(diǎn)，即圖2中小圓點(diǎn)點(diǎn)，如果半徑r過(guò)小，則邊緣點(diǎn)為零，當(dāng)r剛好大于手掌時(shí)邊緣點(diǎn)數(shù)目會(huì)出現(xiàn)一個(gè)跳變?cè)鲩L(zhǎng)。多次測(cè)試合適的半徑之后取得手腕黑白像素交界區(qū)域輪廓兩個(gè)邊緣點(diǎn)的坐標(biāo)WI和W2，手腕的中心就是W1和W2的中間值。

2.2.2 手指指尖和指根。確定手指指尖和指根需要確定手掌的凸包，如圖3所示。凸包（Convex Hull）是一個(gè)計(jì)算幾何的概念，在二維歐幾里得空間中，凸包可以想象成為一條剛好包著所有點(diǎn)的橡皮圈。簡(jiǎn)單的描述就是給定二維平面上的點(diǎn)集，凸包就是將最外層的點(diǎn)連接起來(lái)構(gòu)成的凸多邊形，進(jìn)一步需要借助凸包缺陷深度來(lái)篩選指尖的凸包位置。圖3給出了通過(guò)鄰域凸包缺陷深度最大原則確定的指尖和指根的位置。

2.2.3 特征向量FBA和FDA。借助上節(jié)提取的指尖和指根位置，本節(jié)進(jìn)一步提取對(duì)平移、旋轉(zhuǎn)和尺度縮放都不太敏感，且變化較小的角度特征FBA和長(zhǎng)度特征FPD作為最后手指識(shí)別特征。如圖4所示，F(xiàn)BA是指尖點(diǎn)與中心點(diǎn)的連線和中心線的夾角，F(xiàn)PD是指根到中心線的垂直線與中心線的交點(diǎn)到手掌中心的距離，而中心線為手掌中心中指指根和手腕中心的連線。

FBA可以運(yùn)用向量的夾角公式求出：，a為指根位置到手掌心點(diǎn)的連線所在的向量，b為中心線所在的向量；FPD距離可以根據(jù)指根點(diǎn)到手掌心點(diǎn)的歐式距離與指根點(diǎn)到中心線的垂直距離得到。

2.3 多元高斯混合模型分類

一元高斯分布是由均值μ和方差σ兩個(gè)參數(shù)所確定的，期望值決定了函數(shù)位置，標(biāo)準(zhǔn)差決定了分布的幅度，其概率密度函數(shù)：

多元高斯分布是由均值向量E（x）=μ，cov（x）=∑所確定，協(xié)方差矩陣對(duì)稱且正定，其概率密度函數(shù)為：

假設(shè)x=（x1，x2….xd）T在任意時(shí)刻觀察這個(gè)隨機(jī)過(guò)程，概率分布服從聯(lián)合高斯分布，高斯過(guò)程都是由均值函數(shù)和協(xié)方差矩陣組成。本文高斯分類的類別有5種，分別是拇指、食指、中指、無(wú)名指和小指。在訓(xùn)練階段，輸入訓(xùn)練樣本的圖像特征向量x=（ FBA，F(xiàn)PD），可確定多元高斯分布的均值向量μi=（μFBA，μFPD）和FBA與FPD的協(xié)方差矩陣∑。在識(shí)別階段，輸入實(shí)測(cè)手勢(shì)的圖像特征向量，可以用訓(xùn)練好的高斯模型計(jì)算分別屬于5種手指類型的概率，并將實(shí)測(cè)手勢(shì)中的手指類型識(shí)別為概率最大的手指。

3 特征訓(xùn)練和測(cè)試

圖5給出了我們對(duì)200個(gè)樣本的訓(xùn)練結(jié)果。在輸入特征向量FPD的時(shí)候，從圖5左邊圖中可以看到大拇指、食指、中指和無(wú)名指被正確劃分，只是無(wú)名指和小指的區(qū)域重合部分比較明顯，說(shuō)明輸入特征向量FPD對(duì)無(wú)名指和小指的測(cè)試識(shí)別不靈敏；從圖5右邊圖中可以看到輸入特征向量FBA時(shí)也比較正確的劃分了五個(gè)手指并且對(duì)食指和中指的靈敏度較高。實(shí)驗(yàn)表明進(jìn)一步聯(lián)合檢測(cè)FPD和FBA，手指類型識(shí)別率可達(dá)93%。

根據(jù)手指的伸展情況，可組合表達(dá)種不同手勢(shì)。進(jìn)一步結(jié)合手指的方向還可組合出更多的手勢(shì)，圖6給出了識(shí)別的幾種常見(jiàn)手勢(shì)。在實(shí)際應(yīng)用中選取那些簡(jiǎn)單易記，接近日常生活的自然手勢(shì)，可實(shí)現(xiàn)對(duì)智能搬運(yùn)小車的靈活控制。

4 結(jié)論

本文通過(guò)車載攝像頭采集手指的特征向量FBA和FPD，借助多元混合高斯統(tǒng)計(jì)模型實(shí)現(xiàn)手指類型識(shí)別，進(jìn)一步通過(guò)各種手指組合表達(dá)各種命令，通過(guò)手勢(shì)控制的智能搬運(yùn)小車，可大幅度減輕快遞貨物分揀中的體力勞動(dòng)強(qiáng)度，提升工作效率。