劉祚時 楊國煒

1(江西理工大學(xué)機(jī)電工程學(xué)院 江西 贛州 341000) 2(江西理工大學(xué)電氣工程與自動化學(xué)院 江西 贛州 341000)

0 引 言

基于傳感器的手勢識別，可分為接觸式和非接觸式[1]。接觸式的實現(xiàn)方案有基于數(shù)據(jù)手套的手勢識別[2]、基于慣性傳感器手的勢識別[3]等，非接觸式的實現(xiàn)方案有基于視覺的手勢識別[4-5]、基于紅外傳感器的手勢識別、基于超聲波的手勢識別和基于電磁信號的手勢識別。

傳統(tǒng)的識別方法主要有模板匹配、神經(jīng)網(wǎng)絡(luò)和馬爾科夫模型等。隨著ARM(Advanced RISC Machine)嵌入式處理器的崛起，高速的數(shù)據(jù)處理性能為一些復(fù)雜算法提供了載體，如深度神經(jīng)網(wǎng)絡(luò)。深度神經(jīng)網(wǎng)絡(luò)運(yùn)用在圖像領(lǐng)域也相當(dāng)廣泛，相關(guān)檢測算法如 Faster R-CNN[6]、YOLO、SSD[7],這些算法在目標(biāo)檢測領(lǐng)域具有舉足輕重的作用。王錕等[8]提出了一種基于SSD卷積神經(jīng)網(wǎng)絡(luò)的嵌入式手勢檢測算法，張金等[9]提出一種基于改進(jìn)的 Faster RCNN 的手勢識別算法，這些算法在獲得高精度檢測的同時，也要依賴于圖形處理器的強(qiáng)大計算能力，算法的復(fù)雜程度和圖像處理能力決定了目標(biāo)識別的實時性好壞。

這些算法應(yīng)用在一些智能玩具、智能家居等手勢種類不是很多且復(fù)雜的智能產(chǎn)品上時實時性較低。本文基于紅外傳感器PAJ7620，設(shè)計了手勢檢測算法。本文創(chuàng)新點(diǎn)在于擺脫了傳統(tǒng)穿戴式手勢檢測設(shè)備，增加了人機(jī)交互體感。同時與一些復(fù)雜的手勢檢測算法相比，誤檢率較低，實時性更好。

1 相關(guān)定義

1.1 數(shù)學(xué)模型定義

如圖1所示，在紅外傳感器圓周分布四個紅外發(fā)光二極管，分別為LED1、LED2、LED3、LED4(以下簡稱D1、D2、D3、D4)，紅外接收器位于正中心。采用這種排列方式避免了在手勢識別過程中存在死角的問題。

圖1 多光源紅外LED陣列分布圖

當(dāng)沒有手勢進(jìn)入陣列模型時，紅外接收器接收不到任何反射光，輸出電壓幅值為±0.002 V。當(dāng)有運(yùn)動手勢靠近紅外傳感器陣列時，發(fā)射出的紅外光被物體阻隔形成光強(qiáng)反差，經(jīng)ADC轉(zhuǎn)換將光強(qiáng)信號轉(zhuǎn)換為電信號后保存在相應(yīng)的寄存器中。如圖2所示，以單光源LED1為例，手勢越靠近光源輸出信號越大，遠(yuǎn)離光源輸出信號越來越小。

圖2 單光源LED輸出波形檢測

1.2 PAJ7620手勢模式識別

1.2.1手勢定義

本文定義了幾種能在黑暗或低光環(huán)境下易被識別的手勢，分別是“上”、“下”、“左”、“右”、“順時針旋轉(zhuǎn)”、“逆時針旋轉(zhuǎn)”、“接近”。其中八種手勢如表1所示。

表1 手勢定義

1.2.2實驗平臺

本實驗經(jīng)外設(shè)IIC接口實現(xiàn)PAJ7620與微處理器STM32F103的通信。運(yùn)動手勢經(jīng)手勢分類算法識別后觸發(fā)中斷實時在LCD屏幕上顯示手勢結(jié)果。微處理自帶的ADC采樣模塊采集紅外傳感器數(shù)據(jù)信息并通過串口自定義協(xié)議對采集的數(shù)據(jù)在上位機(jī)上進(jìn)行波形分析，實驗平臺架構(gòu)框圖如圖3所示。

圖3 實驗平臺架構(gòu)框圖

如圖4所示，PAJ7620工作時通過內(nèi)部LED驅(qū)動電路，驅(qū)動紅外LED向外發(fā)射紅外線信號，紅外接收器感知運(yùn)動手勢反射的光照強(qiáng)度，經(jīng)信號調(diào)理電路后輸出電信號并保存在相應(yīng)的寄存器組中，同時對特征數(shù)據(jù)進(jìn)行采樣分析，最后將手勢結(jié)果存到存儲單元中。

圖4 手勢識別系統(tǒng)硬件圖

1.2.3識別模式算法

在紅外LED陣列中，動態(tài)手勢識別過程中能夠提取到幾種手勢特征量包括手勢的亮度、手勢的位置及手勢的方向。該算法的流程框圖如圖5所示，通過對這三種手勢特征量的分析能夠快速、準(zhǔn)確地對手勢進(jìn)行識別和分類。

圖5 手勢識別模式算法框圖

1.2.4手勢數(shù)據(jù)預(yù)處理

為防止手勢誤動作對手勢的分類識別造成影響，增加了溫度傳感器來排除錯誤手勢。手勢的運(yùn)動檢測包括手勢開始和結(jié)束檢測以及手勢溫度檢測。經(jīng)實驗統(tǒng)計，正確手勢在采樣周期內(nèi)溫差變化大于ΔT(ΔT=0.5°)。當(dāng)手勢開始進(jìn)入紅外場時，不管從哪個方向進(jìn)入，所有紅外LED反射強(qiáng)度總和都會快速上升，當(dāng)手離開時，紅外反射強(qiáng)度下降并趨于穩(wěn)定。通過這個特性，可以設(shè)置門限閾值判斷手勢起點(diǎn)和終點(diǎn)。手勢起點(diǎn)終點(diǎn)檢測方法如下：

(1)

(1) 當(dāng)Sk(i-1)

(2) 當(dāng)Sk(j)>q>Sk(j+1)時，End=j。

式中：m表示紅外LED總數(shù)，Xk(i)表示第k個紅外LED反射信號的值，n代表采樣點(diǎn)個數(shù)，q是手勢起點(diǎn)和終點(diǎn)的檢測閾值。為保證采樣的正確性，保留5個采樣點(diǎn)，則手勢動作采樣區(qū)間為[i-5,j+5]，采樣長度length=j-i+10。

2 手勢識別

2.1 信號特征提取

2.1.1手勢信號的亮度

接近檢測下，當(dāng)手勢在PAJ7620的有效檢測距離內(nèi)，從最高高度到最低高度連續(xù)測試并將輸出信號保存在寄存器中，從低到高將每個采樣時刻對應(yīng)輸出信號進(jìn)行量化，得到量化后τ時刻的手勢亮度值Eτ在0～255之間。亮度值計算公式如下所示：

(2)

(3)

2.1.2手勢信號的位置

假定紅外LED發(fā)射的紅外線呈球形分散，且光強(qiáng)均勻分布。因手掌形狀不規(guī)則現(xiàn)只考慮將手當(dāng)作一個質(zhì)點(diǎn)。圖6和圖7分別為τ時刻手勢距離幾何中心O點(diǎn)的X軸向位置Xτ和Y軸向位置Yτ的原理示意，結(jié)合得到手勢在τ時刻數(shù)學(xué)模型中的相對位置Lτ=(Xτ，Yτ)。

圖6 X軸向位置計算原理示意圖

圖7 Y軸向位置計算原理示意圖

1) X、Y軸向位置Xτ、Yτ估算：

(4)

(5)

R1=C×t1R2=C×t2

(6)

R3=C×t1R4=C×t2

(7)

式中:d為D1和D2或D3和D4之間的距離；C為光在真空中傳播速度；t1、t3為τ時刻D1、D3從開始發(fā)射紅外光到接收反射光需要的時間的一半；t2、t4為τ時刻D2、D4從開始發(fā)射紅外光到接收反射光需要的時間的一半。

2) 手勢位置信息閾值計算:

本文對一個采樣周期[0,T]采集的數(shù)據(jù)作差分:

ΔXτ=|Xτ-Xτ-1|;ΔYτ=|Yτ-Yτ-1|

(8)

再以差分絕對值之和作為分離揮動類手勢和旋轉(zhuǎn)類手勢的特征量,為了避免擾動引入均值濾波的方法作為判斷依據(jù):

(9)

(10)

式中:HXθ、HYθ為閾值，n為采樣點(diǎn)數(shù)目。

2.1.3手勢信號的方向

當(dāng)手向右揮動時，D1發(fā)射的紅外光將首先被反射并被紅外傳感器PAJ7620接收并處理，如圖8所示，D1波形的波峰靠左，D2波形的波峰在最右邊，D3波形的波峰在中間，左揮方向判別和右揮類似。另外，手向上揮動的波形圖如圖9所示，手勢先經(jīng)過D1、D2，所以D1、D2波形的波峰靠左，其后為D3，下?lián)]方向判別和上揮類似?；谶@個原理通過計算它們波峰之間的時間差，即可判斷手在揮動時的方向。

圖8 右揮信號輸出波形圖

圖9 上揮信號輸出波形圖

2.2 分類器設(shè)計

基于手勢特征捕捉陣列提取的兩種特征量：手勢信號的亮度、手勢信號的位置，設(shè)計了兩層決策樹分類器，能夠有效地對運(yùn)動手勢快速分離、簡化算法。

第一層: 在自定義手勢中只有接近類在手勢亮度特征中的變化程度最大，經(jīng)接近類手勢訓(xùn)練得出一個亮度變化閾值，若手勢亮度變化程度大于這個閾值，分類為接近類。

第二層: 依據(jù)手勢閾值信息HXθ、HYθ進(jìn)行分類，揮動類手勢(以手向右揮為例)從手勢進(jìn)入到手勢結(jié)束，手勢位置信息Yτ在整個采樣時間區(qū)間內(nèi)變化很小。而旋轉(zhuǎn)類手勢(以順時針旋轉(zhuǎn)為例)從手勢進(jìn)入到手勢結(jié)束，手勢位置信息Yτ在整個采樣時間區(qū)間內(nèi)呈U型曲線變化，由此可區(qū)分揮動類和旋轉(zhuǎn)類。

依據(jù)這兩層信息進(jìn)行分類器的設(shè)計，流程圖如圖10所示。

圖10 分類器設(shè)計流程

2.3 手勢識別的實現(xiàn)

2.3.1接近類手勢識別

接近類手勢與其他類手勢的區(qū)別在于采樣期間內(nèi)紅外LED特征提取陣列提取的手勢亮度信息之間的差異。就揮動類和旋轉(zhuǎn)類而言，手勢在一個二維平面內(nèi)運(yùn)動，即使存在抖動因素，其提取的亮度特征值也是在小范圍內(nèi)變化。而接近類手勢是直上直下運(yùn)動，其手勢亮度變化值很大。經(jīng)三種手勢訓(xùn)練統(tǒng)計分析得到，揮動類、旋轉(zhuǎn)類的手勢亮度值在30范圍內(nèi)變化，由此可以將分離接近類手勢和其他手勢的閾值確定為30。

接近類手勢方向識別:在整個采樣周期區(qū)間[0,T]內(nèi)對手勢亮度值運(yùn)用數(shù)學(xué)歸納法對手勢方向進(jìn)行判斷，若E0

2.3.2揮動類手勢識別

揮動類手勢的識別基于手勢位置特征(Xτ，Yτ)來判斷，從整個采樣區(qū)間來看揮動類手勢Xτ或Yτ隨時間推移不斷增大至超出紅外傳感器檢測范圍，而Yτ或Xτ幾乎變化不大。如圖11所示，當(dāng)手勢為從左到右或者從右到左揮動時，其位置信息Yτ<25。當(dāng)手勢從上到下或者從下到上揮動時，其位置信息Xτ<20。經(jīng)大量訓(xùn)練統(tǒng)計左右揮動時HYθ閾值在5左右，上下?lián)]動時HXθ閾值在10左右。利用HXθ>10或HYθ>5可以分離左右揮動手勢和上下?lián)]動手勢。

圖11 揮動手勢位置特征信息輸出波形圖

揮動類手勢方向識別：在分離出左右揮動和上下?lián)]動手勢后，根據(jù)D1、D2、D3出現(xiàn)波峰位置的時間順序來判斷揮動手勢的方向，T(d1)、T(d2)、T(d3)分別為紅外LED陣列中D1、D2、D3出現(xiàn)波峰位置時的時間點(diǎn)，具體判斷如表2所示。

表2 揮動類手勢方向判斷表

2.3.3旋轉(zhuǎn)類手勢識別

旋轉(zhuǎn)類手勢手勢起始位置通常都是隨機(jī)變化的，所以基于單一的位置信息不容易判別。但是結(jié)合揮動類位置信息的閾值檢測與紅外LED陣列中D1、D2、D3依次出現(xiàn)波峰位置時間點(diǎn)的順序可以判別旋轉(zhuǎn)類手勢及方向。

若有連續(xù)的三次采樣時間點(diǎn)手勢的信息(ΔXτ>10|ΔYτ>5)&(ΔXτ+1>10|ΔYτ+1>5)&(ΔXτ+2>10|ΔYτ+2>5)，則可判斷為旋轉(zhuǎn)類手勢。

旋轉(zhuǎn)類手勢方向識別：同揮動類手勢方向判斷類似具體判斷如表3所示。

表3 旋轉(zhuǎn)類手勢方向判斷表

3 實驗結(jié)果

為了驗證本文設(shè)計的基于紅外LED陣列技術(shù)檢測動態(tài)手勢的有效性，分別對自定義的8種常見手勢：接近類(從上到下、從下到上)；揮動類(從左到右、從右到左、從前到后、從后到前)、旋轉(zhuǎn)類(順時針旋轉(zhuǎn)、逆時針旋轉(zhuǎn))進(jìn)行識別，實驗測試中對每類手勢重復(fù)識別 100次，共計800個實驗樣本，識別的最終結(jié)果如表4所示，平均識別率為 94.63% 。從識別效果來看，基于紅外LED陣列技術(shù)應(yīng)用在對常見手勢的識別中效率性和準(zhǔn)確性都很高。表中誤差最大的是旋轉(zhuǎn)類識別，由于手指連接著手掌以及手掌和手臂的連接處具有較大面積，在提取距離的特征量上比較模糊，進(jìn)而帶來手勢運(yùn)動時距離分析的錯誤。下一步應(yīng)該考慮如何提升算法的優(yōu)化問題。

表4 八種手勢動作的識別結(jié)果和識別精度表

4 結(jié) 語

在非接觸手勢識別的廣泛應(yīng)用和良好的人機(jī)交互體驗下，本文設(shè)計了一種基于紅外LED陣列手勢識別系統(tǒng)，該系統(tǒng)對常用手勢的識別準(zhǔn)確率高、抗干擾能力強(qiáng)、兼容性好?；谖恢眯畔⒌氖謩葑R別可以進(jìn)行復(fù)雜的二維手勢識別開發(fā)。此外，針對該系統(tǒng)有較高的手勢識別率和較好的環(huán)境光適應(yīng)能力可廣泛應(yīng)用在體感交互的智能設(shè)備上。