鄭小敏，李翔宇,2+

(1.清華大學 微電子學研究所，北京 100084； 2.深圳清華大學研究院 微電子與智能技術實驗室，廣州 深圳 518057)

0 引 言

以超聲或電磁波雷達[1-4]作為傳感器的手勢識別技術，可以不受光照條件影響、能耗低、便于小型化，因此在智能手機、可穿戴設備、物聯(lián)網(wǎng)和虛擬現(xiàn)實等應用場景具有獨特優(yōu)勢。為了降低計算復雜度，很多手勢識別算法采用以人工設計的特征為輸入的輕量級分類器去識別手勢，這類方案，特征的種類和數(shù)量極大影響識別率和系統(tǒng)開銷。特征集來源于RDM圖[5]、IQ正交信號之間的角度信息[6]、微多普勒頻譜[7,8]等。模式識別中，常常在原始特征集的基礎上運用特征篩選方法進行特征優(yōu)化，達到減少特征維度或提高識別精度的目標。主成分分析[9,10]是一種廣泛使用的降維方法，量子進化算法[5,11,12]也能優(yōu)化特征集。隨機森林(random forest，RF)作為一種分類器同時也能被應用于特征篩選[13-15]。以RF為基礎的特征選擇算法比量子進化算法運行速度更快。然而，RF篩選出的特征分布隨機，沒有規(guī)律性，通常導致需要提取的特征的計算種類繁多，特征提取模塊的運行時間長。

本文以嵌入式超聲手勢識別系統(tǒng)為平臺，進行微手勢特征優(yōu)化技術研究。一方面，我們基于原有的特征集，引入了多普勒輪廓特征和距離輪廓特征，提高了微手勢識別率；另一方面，我們基于RF提出了一套更能減少特征種類的特征篩選標準，最后應用在本文改進后的特征集上，從特征提取所需的時間和對手勢的識別率兩方面綜合評估，驗證了方法的有效性。

1 基于超聲波的手勢識別系統(tǒng)

本文手勢識別系統(tǒng)采用一發(fā)三收的機制，具體實驗裝置如圖1所示。發(fā)射信號為相干脈沖串，脈沖寬度Tp為0.1 ms，脈沖重復周期Tr為1.5 ms，取64個Tr為一幀。對應的距離分辨率和速度分辨率如下

圖1 超聲波手勢識別裝置[16]

(1)

(2)

其中，μ為聲速，λ為超聲波的波長，Nr為一幀數(shù)據(jù)包含的脈沖重復周期個數(shù)(此處取64)。當系統(tǒng)檢測到手勢時，F(xiàn)PGA會采樣1 s的回波信號，然后使用FPGA上實現(xiàn)的嵌入式系統(tǒng)完成數(shù)字信號處理，并把手勢數(shù)據(jù)傳入PC或嵌入式處理器開發(fā)板進行分類識別。一個手勢的原始數(shù)據(jù)被切分成19幀，3個接收器共3個通道有19×3個RDMs。

系統(tǒng)原有的特征也是從RDM圖提取的，我們提取了如下種類的特征[16]：①單通道特征：RDM圖能量最大值及其能量最大值對應的速度、距離、加速度，3個通道均提取以上4種特征，我們把來自不同通道的同種特征看作不同的特征種類，特征種類編號為γ0～γ11； 每幅RDM的速度均值、距離均值、速度標準差、距離標準差、RDM圖總能量、相鄰兩幀總能量的差值，特征種類編號為γ12～γ29； ②多通道交叉特征：3個通道RDM圖的均值、RDM圖均值之差、任意兩通道RDM之差，分別計算這些矩陣的均值、方差、均方根、特征種類編號為γ30～γ44(每個矩陣計算3個值，共15種)。這些特征種類被稱為序列特征。另外，計算序列特征的統(tǒng)計特征，即這些特征在19幀之間的最大值、最小值、均值、標準差、均方根(RMS)。最后，我們得到45×19+45×5=1080維特征。

系統(tǒng)要識別的手勢共有8種，如圖2所示，圖2(a)表示左滑手勢，圖2(b)表示右滑，圖2(c)表示遠離，圖2(d)表示靠近，圖2(e)表示五指張開，圖2(f)表示五指閉合，圖2(g)表示招手兩次，圖2(h)表示拇指平滑兩次，其中后4種為微手勢。對于分類器的設計，采用文獻[16]提到的“一對其余”隨機森林方法，8種手勢訓練了8個二分類隨機森林，組成多分類隨機森林模型。

圖2 8種手勢[16]

2 面向微手勢的特征優(yōu)化

多分類隨機森林分類器以上述1080維特征作為輸入，得到微手勢的識別率相對較低。主要因為這些特征并不能充分描述各個手指的相對運動，而微手勢正是由多個手指的復雜運動構成。因此，為了提高微手勢的識別率，需要引入一些新特征來更好地反映手指間的相對運動。我們把手的回波信號建模為離散的動態(tài)散射中心的響應的疊加?；赗DM圖，可以得到兩種低維描述：距離輪廓圖RP(range profile)定義如下

RP(r,T)=∑vRD(r,v,T)

(3)

其中，RD是RDM圖，r,v是對應的距離和速度，T是每一幀的序號。另外，多普勒輪廓圖DP(Doppler profile)的表達式如下

DP(v,T)=∑rRD(r,v,T)

(4)

距離輪廓和多普勒輪廓反映了目標散射中心的距離和速度的瞬時變化，更形象地展示了整個手勢的動態(tài)變化過程。

物體的多普勒頻移與速度成正相關，當手動作時，由于微多普勒效應[17]，各個散射中心產(chǎn)生不同的多普勒頻移，對應于多普勒輪廓的每一幀內出現(xiàn)一系列多普勒頻率，反映了整個手不同部位的移動。圖3是招手兩次手勢的多普勒輪廓圖，其包絡隨時間呈現(xiàn)動態(tài)變化。另外，散射中心在徑向距離上的分布體現(xiàn)在距離輪廓信息中。所以與多普勒輪廓和距離輪廓相關的特征被添加到初始特征集。

圖3 招手兩次的多普勒輪廓

新特征被劃分為3類：①多普勒輪廓和距離輪廓的包絡特征；②包絡的變化趨勢特征；③不同通道之間距離輪廓的交叉特征。每一類特征的詳細描述如下：

(1)多普勒輪廓和距離輪廓的包絡特征：多普勒輪廓的上包絡dopplermax、 下包絡dopplermin多普勒頻率的跨度dopplerbd(上下包絡之差)，多普勒頻率的均值dopplermean， 以能量加權的多普勒頻率均值dopplereneryg， 距離輪廓的上包絡rangemax、 下包絡rangemin。 特征種類編號為γ45～γ65。dopplermax和dopplermin反映了手在正反兩個方向移動的最大速度。dopplerbd反映了手各個部分出現(xiàn)的最大相對速度。dopplermean和dopplereneryg刻畫了整個手的運動。rangemax和rangemin給出了手沿徑向方向的伸展長度。

(2)包絡的變化趨勢特征：多普勒頻率的包絡隨著手靠近或遠離收發(fā)器而上升或下降。從圖3可以明顯看出，在整個手勢運動階段，多普勒包絡的變化趨勢改變了兩次，與招手兩次的動作相對應。然而，上述的包絡特征不能直接體現(xiàn)速度和距離的變化。因此，增加了dopplermax、dopplermin、rangemax和rangemin的差分(即相鄰兩幀的數(shù)值之差)作為特征，特征種類編號為γ66～γ77， 這些特征的符號反映了包絡的變化趨勢。

(3)不同通道之間距離輪廓的交叉特征：基于不同通道之間的信號差異，我們定義了不同通道距離輪廓間的關系的特征，它們與散射中心的方位角和仰角相關。首先計算多通道距離輪廓的差值(RPMD)，它同時反映了目標到通道i和通道j之間的距離——其定義如下

RPMDij(r,T)=RPi(r,T)-RPj(r,T)

(5)

再根據(jù)每一幀的數(shù)據(jù)，計算向量RPMD的均值、標準差、均方根。特征種類編號為γ78～γ86。

上述多普勒輪廓特征和距離輪廓特征的種類為42。這些特征相應的統(tǒng)計值同樣被計算。因此，特征向量增加了42×19+42×5=1008維。

3 基于隨機森林的特征篩選標準

過量的特征會增加計算復雜度，降低系統(tǒng)的響應速度，也有可能在樣本數(shù)不足的情況下，降低手勢的識別率。因此模式識別算法通常要通過一些手段來減少特征維數(shù)。由于隨機森林分類器在訓練的過程中可以對特征的重要性進行評分——RF對特征的評分是一個百分數(shù)，所有特征的分值之和為1，我們可以根據(jù)RF對特征的重要性評分舍棄得分低的部分特征，達到減少特征維度的效果。

但是隨機森林不是專門的時間序列分類器，它把所有特征都看作獨立的一個維度進行分析，不會考慮不同時間的相同種類特征之間的聯(lián)系，而且只考慮了不同特征對正確劃分類別的貢獻，沒有計算復雜度方面的考慮。但是對于計算來講，選中一個高維特征，背后需要計算相關的低維特征，不管這些特征在最終分類中是否使用；而選中一個低維特征，則只需要計算它本身和產(chǎn)生它的更低維特征。因此，同樣特征數(shù)量的前提下，低維特征的數(shù)量越多越好，特征間彼此存在計算依賴關系越密切對應的計算量越低。統(tǒng)計特征作為一種高維特征，它依賴于所有幀的時序特征，因此，我們希望減少統(tǒng)計特征所對應的時序特征種類，而且這些統(tǒng)計特征對應的低維特征也包含在最終特征集中，相應地，增加每種特征在不同通道和不同幀的特征數(shù)量。

在本文改進后的初始特征集中，一種時序特征在19幀中都會被計算，按照本文擴展后的特征集，總的時序特征維度是87×19。統(tǒng)計特征來源于時序特征，總的統(tǒng)計特征維度是87×5。我們采用標準的隨機森林分類評分方法，根據(jù)隨機森林對這些特征的重要性排序，選擇得分高的部分特征，篩選出的結果見表1(“1”表示特征被選中，“0”表示未被選中)，選中特征分散地分布在各種特征、各個幀、各個通道以及特征的統(tǒng)計值中，雖然減少了特征的數(shù)量，但是存在多個統(tǒng)計特征被選中，但是對應的時序特征只有少數(shù)入選的情況(表1中的后3列)，此時，就不得不先計算19幀的數(shù)值才可以得到統(tǒng)計特征值，把所有入選的低維和高維特征綜合之后幾乎要計算所有87種時序特征，計算量很大。根據(jù)上述分析，我們提出了一種考慮計算復雜度的特征篩選方法，即一套把存在關聯(lián)的各個低維特征(時序特征)作為一個個整體進行篩選的隨機森林特征篩選準則，此處的關聯(lián)性包括共同作為某個高維特征的計算的輸入數(shù)據(jù)和有共同中間變量的情況。具體到本文的初始化特征集，包括各個幀中的同種特征，同一中間量的各項統(tǒng)計特征、差分特征，如交叉通道特征中的同一幅中間RDM的均值、方差和均方根：

表1 基于傳統(tǒng)RF篩選算法的特征分布

(1)設定RF評分的閾值ω0， 保留重要性得分超過ω0的特征(數(shù)量少于N)；

(2)基于被保留的特征，統(tǒng)計87種特征各19幀對正確識別手勢的貢獻值。RF對特征γi的第j幀給出重要性評分，記為ωij， 由于ωij數(shù)值相差較大，對其作非線性映射處理，標記為g(ωij)， 其表達式如式(6)

(6)

其中，ωm為所有特征中最高的評分數(shù)值。根據(jù)ωij的大小，g(ωij) 量化為1到8，共8個數(shù)值。

(3)單通道的時序特征γi(例如dopplermax) 的最終評分計算如式(7)，其中19是幀數(shù)，對應每種單通道時序特征的個數(shù)

(7)

交叉特征γi(例如RPMD)的最終評分計算如式(8)

(8)

其中，s表示該關系特征的均值、方差、均方根這3種統(tǒng)計值，57為每種交叉通道特征的個數(shù)。

(4)最后h(γi) 降序排列，選擇排名靠前的m(m≤87) 種特征作為分類器的輸入。

當某種特征被選中后，該特征的所有幀都被作為入選特征保留。同時，這些時序特征對應的統(tǒng)計特征也一起作為分類器的輸入。

4 實驗結果與分析

4.1 數(shù)據(jù)集

本文中所有的實驗基于共同的數(shù)據(jù)集，采用的分類器已在前文中介紹。有7位志愿者參與到數(shù)據(jù)集的采集，每人每種手勢重復動作100次，手勢距離傳感器5 cm到25 cm。使用任意6個人的數(shù)據(jù)作為訓練集，余下一人作為測試集，實驗結果取7組交叉驗證的平均值。

4.2 識別率測試

使用文獻[6]中的特征集，測得的平均識別率為92.1%，具體結果見表2(手勢G1～G8依次代表圖2中的子圖2(a)～圖2(h))。當增加多普勒輪廓和距離輪廓特征(特征總數(shù)87×19+87×5=2088)時，平均識別率提高到93.3%，尤其是微手勢的識別得到了改善，所有手勢識別率的最低值從82.6%提高到了85.3%，平衡了系統(tǒng)對各個手勢的識別情況，說明新添加的特征可以更好地區(qū)分各個手勢的差異。

表2 不同測試集下的識別率/%

為了確定合理的特征維數(shù)，應用提出的RF篩選準則，選擇重要性評分高于0.03%的特征，并繪制識別率隨選中時序特征種類的關系曲線，如圖4所示。可以發(fā)現(xiàn)，當時序特征的種類超過45，隨著特征種類的增加，識別率上升變得緩慢，但增加了計算開銷。因此，我們設定時序特征的種類為45，與對應的統(tǒng)計特征一起作為分類器的輸入，得到識別率為93.4%——與篩選前識別率相近。作為對比，我們還利用傳統(tǒng)的隨機森林篩選算法，從添加了本文特征之后的特征集中選擇了重要性得分高的前1080個特征作為對比，該特征集包含了87種時序特征及其部分統(tǒng)計特征，識別率為93.1%，見表2中(3)所示。表2中(4)列出了采用本文所提的篩選準則從新初始特征集中篩選的特征集下每種手勢的識別精度，平均識別率為93.4%，前4種手勢的識別率均超過90%，其中系統(tǒng)對手勢6的識別率提高到了86%。實驗結果表明提出的篩選準則并沒有降低系統(tǒng)的識別率，而傳統(tǒng)的隨機森林篩選方法與本文方法得到的識別率雖然相近，但具有較大的計算量——具體數(shù)據(jù)見下一節(jié)。

圖4 識別率與時序特征種類的關系曲線

作為對比，我們也實現(xiàn)了量子進化算法[5]，用該方法進行特征選擇，保留45種特征的條件下，實現(xiàn)了93.7%的識別率，稍微高出本文的基于隨機森林篩選準則的結果，具體數(shù)據(jù)見表2中(5)。然而，實測得知量子進化算法消耗的運行時間約是本文算法的300倍。

4.3 特征提取的運行時間測試

我們編寫了不同特征集的提取C程序，在型號為STM32 L4R5ZI的開發(fā)板上進行測試，該開發(fā)板采用STM32L4低功耗處理器，該處理器采用ARM Cortex-M4內核，其主頻為120 MHz，帶有DSP指令集并提供了求最大值、最小值、均值、方差和均方根這些基礎運算函數(shù)。我們分別使用不啟用和啟用DSP指令集這兩種計算模式編程實現(xiàn)傳統(tǒng)RF篩選算法和本文算法篩選出的特征集合的提取過程，最后測試得到的運行時間見表3。實驗數(shù)據(jù)顯示采用本文篩選方法得到的特征集的運算時間比標準隨機森林篩選結果的運算時間大幅減少。DSP指令集支持向量運算，對特征提取這種向量運算為主的計算任務有明顯的加速效果。但是無論是否采用DSP指令集，本文方法與傳統(tǒng)RF方法相比，運行時間都縮短了44.1%左右。其中主要的原因是傳統(tǒng)RF篩選出的特征隨機分布在全特征集上，即使某個時序特征只有部分幀被選中，由于其統(tǒng)計特征的需要，該時序特征的19幀數(shù)據(jù)均需要被計算，明顯增加了計算量。

表3 不同特征集的運算時間

4.4 特征重要性分析

采用本文評分方法最終篩選出的特征集中本文提出的42種特征中，有25種被保留，h(γi) 數(shù)值高的前5種特征依次是平均速度、最大值點加速度、dopplermean、rangemax和RPMD12， 后3種均為本文增加的特征。說明此類描述手勢整體運動趨勢的特征對手勢的正確劃分起到了關鍵作用。此外，在所有被選中的特征中，多普勒輪廓和距離輪廓的包絡特征在所有類中占比最高，為35.6%，反映了此類特征包含最豐富的手運動細節(jié)信息。這些數(shù)據(jù)驗證了我們在特征集上進行優(yōu)化工作的合理性和有效性。

5 結束語

在原有RDM圖特征的基礎上，通過增加多普勒輪廓和距離輪廓的包絡特征，明顯提高了超聲波系統(tǒng)對微手勢的識別率。此外，本文提出了用于隨機森林的新的特征篩選標準，它把關聯(lián)特征作為整體進行篩選，可以壓縮特征集的同時減少特征提取的計算量，實驗結果表明在普通標量編程模式和采用DSP指令集下，均能縮短特征提取的計算時間。使用本文提出的特征篩選標準保留的特征集，與原始特征集在特征維數(shù)一致的前提下，整體識別率提高了1.3%，微手勢的識別率提高了3.4%，運行時間縮短了44.1%。