楊森喬，王一峰，趙 毅

(哈爾濱工業(yè)大學(xué)(深圳)理學(xué)院，廣東 深圳 518055)

伴隨著增強現(xiàn)實(Augmented Reality，AR)、虛擬現(xiàn)實(Virtual Reality，VR)以及元宇宙的興起與發(fā)展，通過手勢識別進行人機交互已經(jīng)成為智能終端產(chǎn)業(yè)的熱點和必備要素[1-4]。 由于慣性傳感器在數(shù)據(jù)采集過程不受光線、遮擋、噪音等外界環(huán)境的影響，因此基于慣性傳感器的手勢識別任務(wù)具有非常廣闊的應(yīng)用前景[5]。 其中低成本慣性傳感器具有體積小，功耗低，可穿戴性強的優(yōu)勢，可以廣泛應(yīng)用于各種生活場景[6-7]，但同時由于其成本低廉，其品質(zhì)和性能參差不齊，所采集的IMU 數(shù)據(jù)中往往包含有嚴(yán)重的誤差干擾，進而造成軌跡還原、運動追蹤、手勢識別等任務(wù)的效果較差[8-9]。 近年來，學(xué)者們對于慣性傳感器手勢識別任務(wù)的研究往往集中在對特定手勢進行分類等簡單功能上，且其識別方法無法適應(yīng)于不同的手勢運動習(xí)慣，擴展性較差[10-11]。因此，如何對低成本慣性傳感器進行信號增強，從其所包含的有限信息中提取有效特征，以進行高精度的手勢識別，成為了亟待解決的技術(shù)問題。

IMU 信號作為一種時間序列數(shù)據(jù)，早期人們主要通過統(tǒng)計學(xué)方法對其進行分析處理，即通過提取時間序列的偏度峰度，均值方差等時域特征，并對時間序列進行快速傅里葉變換(Fast Fourier Transform，F(xiàn)FT)提取其頻域特征[12]。 然而隨著數(shù)據(jù)量的增大，信號的非平穩(wěn)性越來越強，F(xiàn)FT 作為一種全局性的處理方法，無法對非平穩(wěn)信號進行處理，且處理結(jié)果無法反映出信號在局部區(qū)域的頻域信息。 為此，人們提出利用小波變換(Wavelet Transform，WT)對信號進行處理，以期實現(xiàn)對時間序列的局部化分析，并且可以對多頻率的信號進行多尺度、多分辨率的處理，使得特征處理更加細(xì)致[13]。 由于上述方法僅對時間序列單一范式進行時頻分析并提取特征，而忽略了數(shù)據(jù)之間的結(jié)構(gòu)信息，進而導(dǎo)致了在對金融數(shù)據(jù)[14]、生理信號[15]、多相流[16]等復(fù)雜系統(tǒng)的多元時間序列進行分析時，往往無法得到較好的結(jié)果。為此，學(xué)者們通過將時間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)的方式，提取復(fù)雜系統(tǒng)中的拓?fù)涮卣鳎⑵渑c時頻特征相結(jié)合，以實現(xiàn)對復(fù)雜系統(tǒng)更完備的分析。

為了將時間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)，Lacasa等[17-18]提出了可視圖、水平可視圖等時間序列-復(fù)雜網(wǎng)絡(luò)轉(zhuǎn)換策略。 然而，上述方法雖然較為簡單，但由于其只考慮節(jié)點間數(shù)值排序大小作為復(fù)雜網(wǎng)絡(luò)連接的標(biāo)準(zhǔn)，因此極易受到異常數(shù)據(jù)和隨機誤差的干擾。 為此，人們提出了將相空間的回歸矩陣對應(yīng)為鄰接矩陣的遞歸網(wǎng)絡(luò)策略[19]，通過將原始序列進行相空間重構(gòu)，并去除其偽近鄰點，有效避免了隨機誤差對復(fù)雜網(wǎng)絡(luò)轉(zhuǎn)換以及相應(yīng)網(wǎng)絡(luò)拓?fù)涮卣魈崛〉母蓴_。 同時，我們的前期工作也證明了基于回歸圖的轉(zhuǎn)換方法，時間序列可以等價地轉(zhuǎn)換到復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)，其中的原始距離信息保持不變[20]。

此外，低成本IMU 雖然便于規(guī)?；瘧?yīng)用，但不可避免地包含有嚴(yán)重的隨機誤差[21]。 為了從信息量有限的低成本IMU 數(shù)據(jù)中提取出有效特征，人們常通過傅里葉變換[22]，卡爾曼濾波[23]等方法對原始IMU 數(shù)據(jù)進行信號增強。 然而正如前文所述，傅里葉變換作為一種全局的積分變換，無法體現(xiàn)出信號的瞬時頻率隨時間的變化情況，且對非平穩(wěn)信號的處理效果也并不理想，而基于其改進的短時傅里葉變換[24]雖然可以反映局部信息，但其分辨率固定，無法對時間序列進行精細(xì)化處理。 而卡爾曼濾波主要適用于線性系統(tǒng)，在實際應(yīng)用中受到多方面的限制。 而近年來，基于經(jīng)驗?zāi)B(tài)分解(Empirical Mode Decomposition，EMD)的信號增強取得了較多成果[25]。 EMD 可以基于局部特征將時間序列分解為多個本征模態(tài)函數(shù)(Intrinsic Mode Function，IMF)，并對各個IMF 進行精細(xì)化處理，因此EMD 成為了一種常用的非線性、非平穩(wěn)信號的處理方法。張翀[26]將EMD 分解得到的各IMF 分量分別設(shè)置閾值函數(shù)以達到減少隨機誤差的目的，然而其處理方法會導(dǎo)致高階IMF 分量中有效信息的大量損失。而王亞娟等[27]通過樣本熵構(gòu)建閾值對IMF 進行處理，雖然能較準(zhǔn)確地區(qū)分語義信息與隨機誤差的界限，然而其方法僅在地質(zhì)信號上有較好的表現(xiàn)，在生理信號、IMU 信號等領(lǐng)域表現(xiàn)較差，其泛化能力較弱。

因此，針對低成本IMU 數(shù)據(jù)包含大量隨機誤差這一問題，本文提出了一種“經(jīng)驗?zāi)B(tài)分解-復(fù)雜網(wǎng)絡(luò)-小波變換”三階段信號增強策略。 該策略借助復(fù)雜網(wǎng)絡(luò)的確定性指標(biāo)對低成本IMU 數(shù)據(jù)通過經(jīng)驗?zāi)B(tài)分解得到的IMF 分量進行隨機性強弱的評估，然后利用小波變換對隨機誤差進行有效控制，以實現(xiàn)低成本IMU 的信號增強。 此外，由于復(fù)雜網(wǎng)絡(luò)的拓?fù)涮卣鞑灰资軙r頻域上隨機誤差的干擾，本文在IMU 運動識別任務(wù)中，將時間序列的時頻特征與反映運動過程動力學(xué)性質(zhì)的復(fù)雜網(wǎng)絡(luò)特征相結(jié)合，并構(gòu)建隨機森林進行分類。 在不同用戶運動習(xí)慣各異、IMU 型號多樣且成本低廉的條件下，本文實現(xiàn)了對62 種三維手勢動作的高精度識別。

最后，本文對比了機器學(xué)習(xí)模型與深度學(xué)習(xí)模型的手勢識別精度。 可以發(fā)現(xiàn)，相比于深度學(xué)習(xí)，機器學(xué)習(xí)不僅具有更強的解釋性，且在特征選擇合適的情況下，機器學(xué)習(xí)的識別精度可以超過深度學(xué)習(xí)模型。 進一步體現(xiàn)了復(fù)雜網(wǎng)絡(luò)拓?fù)涮卣髟谶\動狀態(tài)識別、時間序列分析領(lǐng)域的重要價值，為模式識別提供了新的參考。

1 低成本慣性傳感器的信號增強策略

本文首先對IMU 數(shù)據(jù)進行經(jīng)驗?zāi)B(tài)分解，并將得到的多分辨率IMF 分別轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)遞歸圖的形式，以借助復(fù)雜網(wǎng)絡(luò)的確定性指標(biāo)對各個IMF分量的隨機性進行評估。 進而根據(jù)隨機性強弱，對含較多隨機誤差的IMF，利用小波閾值降噪策略進行處理。 最終，將處理后的IMF 分量重構(gòu)回原始IMU 信號，以實現(xiàn)對低成本慣性傳感器的信號增強。 本文提出的“經(jīng)驗?zāi)B(tài)分解-復(fù)雜網(wǎng)絡(luò)-小波變換”(EMD-CN-WT)三階段信號增強策略的具體流程如圖1 所示。

圖1 三階段信號增強策略流程圖

1.1 經(jīng)驗?zāi)B(tài)分解

經(jīng)驗?zāi)B(tài)分解常用于處理非平穩(wěn)信號。 它將原始IMU 信號分解為一系列包含局部特征的本征模態(tài)函數(shù)，并通過對各本征模態(tài)函數(shù)設(shè)置濾波器、閾值函數(shù)等，以實現(xiàn)對原始數(shù)據(jù)信號增強的效果。

對于原始時間序列x(t)經(jīng)驗?zāi)B(tài)分解的具體步驟如下[28]:

①確定原始時間序列x(t)的局部極大值和極小值點，并通過插值法擬合得到時間序列的上包絡(luò)線xmax(t)和下包絡(luò)線xmin(t)。

②計算時間序列上下包絡(luò)線xmax(t)和xmin(t)的均值m1(t):

③原始時間序列x(t)減去均值m1(t)得到經(jīng)處理后的時間序列h1(t)

④檢驗h1(t)是否滿足成為IMF 的條件，若不滿足，將h1(t)作為原始時間序列，重復(fù)上述過程，直到其滿足條件；若滿足，將h1(t)視為新的IMF 分量，并利用原始時間序列減去該IMF 分量，計算出殘差r1(t)，即:

⑤再將殘差r1(t)作為原始時間序列重復(fù)上述過程，直到殘差僅為趨勢項(極值點個數(shù)小于兩個)時停止，并輸出全部的N個IMF 分量以及最后的殘差Res(t)。

通過上述分解即可得到:

式中:每個IMF 分量需要滿足兩個條件:①IMF 分量中極值點個數(shù)與過零點個數(shù)，相差不能超過1；②在任意點，通過極大值和極小值構(gòu)成的上下包絡(luò)線的均值必須為零。

對低成本IMU 數(shù)據(jù)進行經(jīng)驗?zāi)B(tài)分解后，由于慣性傳感器在數(shù)據(jù)采集過程包含有大量的隨機誤差，因此需要確定各IMF 分量中隨機誤差的大小，以對其進行精細(xì)化處理。 由于復(fù)雜網(wǎng)絡(luò)的拓?fù)鋵W(xué)特征，往往不易受時頻域上隨機誤差的干擾，且復(fù)雜網(wǎng)絡(luò)的相關(guān)統(tǒng)計指標(biāo)可以很好地對原始數(shù)據(jù)的隨機性進行評估，進而反映出各IMF 中包含隨機誤差的大小。 因此本文通過將時間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)，并借助其確定性指標(biāo)對各IMF 中隨機誤差大小進行評估。

1.2 遞歸圖確定性

遞歸圖是一種特殊的復(fù)雜網(wǎng)絡(luò)表示形式，可以通過觀察遞歸圖中遞歸點的分布情況，研究復(fù)雜系統(tǒng)中所隱含的隨機性和確定性等信息。 其中確定性是遞歸圖量化分析中的常用指標(biāo)，其定義為[29]:

式中:P(l)表示的是長度等于l的對角線結(jié)構(gòu)分布概率，lmin表示最小的對角線長度，故確定性的取值范圍為0 到1 之間。

如圖2(a)所示，在隨機時間序列轉(zhuǎn)換成的遞歸圖中，遞歸點的分布雜亂無章，呈現(xiàn)明顯的隨機特征。此時，我們可以計算得到它的DET 值是0.08。 而如圖2(b)所示，將正弦信號轉(zhuǎn)換為遞歸圖，可以發(fā)現(xiàn)該圖中遞歸點的分布有著明顯規(guī)律:遞歸點構(gòu)成了與主對角線平行的線段。 因此，由正弦信號轉(zhuǎn)換成的遞歸圖確定性更強，隨機性更弱，其DET 值為0.97。

圖2 隨機時間序列和周期時間序列轉(zhuǎn)換為遞歸圖

通過遞歸圖的確定性，可以很好地衡量各IMF分量中隨機誤差的大小。 在去除IMF 分量中隨機誤差時，為避免各IMF 中包含的語義信息受到損失，本文通過小波閾值降噪，在多分辨率多尺度上對含有較大隨機誤差的IMF 進行降噪處理。

1.3 小波閾值降噪

小波閾值降噪利用語義信息與隨機誤差在各尺度上的小波分解系數(shù)差異較大的特性，對小波系數(shù)進行閾值量化處理，以保證信號中的語義信息得到較好保存。 其中低頻系數(shù)往往幅值較大，數(shù)目較少，包含較多語義信息，而高頻系數(shù)則幅值較小，數(shù)目較多，往往包含大量隨機誤差。 小波閾值降噪主要分為如下三個步驟[30]:

①根據(jù)IMU 數(shù)據(jù)特點選擇合適的小波基以及分解層數(shù)，對隨機誤差較大的IMF 進行小波分解。

②選擇合適的閾值以及閾值函數(shù)，對各尺度的高頻系數(shù)進行閾值量化處理，不改變低頻系數(shù)，以去除各IMF 中的隨機誤差。

③對處理后的高頻小波系數(shù)和低頻小波系數(shù)進行小波逆變換，得到小波處理后的信號。

通過小波閾值降噪，可以對含有較大隨機誤差的高頻IMF 分量進行精細(xì)化處理，在減小隨機誤差的同時，避免了IMF 分量中語義信息的大量丟失。將經(jīng)過小波處理后的高頻IMF 分量與無需處理的低頻IMF 分量合并，通過經(jīng)驗?zāi)B(tài)分解逆變換得到經(jīng)過信號增強的IMU 數(shù)據(jù)。

綜上所述，完整的三階段信號增強策略計算流程如算法1 所示。

算法1 三階段信號增強策略

2 低成本慣性傳感器的手勢識別模型

傳統(tǒng)的手勢識別模型主要是基于時域頻域?qū)MU 數(shù)據(jù)提取特征，然而由于低成本IMU 數(shù)據(jù)具有非線性強、隨機誤差大的特點，因此在時域、頻域上對特征進行提取時，極易受到異常值、隨機誤差的影響。 而與時頻域特征相比，復(fù)雜網(wǎng)絡(luò)的統(tǒng)計指標(biāo)基于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)特征，受上述因素影響較小，同時能夠從新的視角反映復(fù)雜系統(tǒng)所隱藏的內(nèi)在規(guī)律。因此，本文將信號增強后的多元時間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)，以提取IMU 數(shù)據(jù)中內(nèi)在的結(jié)構(gòu)信息，并將復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)特征與時頻特征相結(jié)合，利用隨機森林模型進行分類，以實現(xiàn)低成本慣性傳感器的高精度手勢識別。 本文設(shè)計了多組實驗以驗證三階段信號增強策略的有效性和復(fù)雜網(wǎng)絡(luò)拓?fù)鋵W(xué)特征在處理IMU 數(shù)據(jù)的優(yōu)勢。 具體實施流程如圖3 所示。

圖3 低成本慣性傳感器手勢識別模型流程圖

2.1 多元時間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)

基于回歸圖方法將多元時間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)，我們需要對時間序列進行相空間重構(gòu)。 根據(jù)Fraser 和Swinney[31]提出的互信息法，并結(jié)合楊志安等[32]提出的等間距格子法，可以確定時間延遲τ，使用偽近鄰點改進方法[33]確定嵌入維數(shù)d。 然后，根據(jù)時間延遲和嵌入維數(shù)完成對原始時間序列的相空間重構(gòu)。

在進行完整的相空間重構(gòu)之后，本文可以將一維時間序列x(t)(t＝1，2，…，N)表示為如下向量:

對于一個給定的閾值ε，本文可以得到任意兩個空間向量之間的回歸矩陣R(i，j):

式中:Θ為Heaviside 函數(shù)。

通過上式，可以得到一維時間序列對應(yīng)的回歸矩陣，以實現(xiàn)時間序列-復(fù)雜網(wǎng)絡(luò)的轉(zhuǎn)換。

進一步，為了更好地研究六軸慣性傳感器數(shù)據(jù)之間的關(guān)系，本文將該方法擴展到多維，將多維時間序列XA，XB…XF轉(zhuǎn)換為一個復(fù)雜網(wǎng)絡(luò)。

對于來自同一個時間序列(以XA為例)的向量，本文定義(i，j)作為自回歸矩陣:

而對于來自不同時間序列(以XA，XB為例)的向量，本文定義(i，j)作為交叉回歸矩陣:

合并自回歸矩陣和交叉回歸矩陣，得到如下的多元時間序列的回歸矩陣:

與此同時，為了保證同一個時間序列之間的兩個向量相關(guān)性更強，本文需要保證同一時間序列之間的自遞歸率αauto高于和其他時間序列之間的交叉遞歸率αcross即:

因此，根據(jù)文獻[34]本文設(shè)置同一個時間序列的自遞歸率為0.03，不同時間序列之間的交叉遞歸率為0.02，并根據(jù)遞歸率計算各遞歸矩陣中的閾值ε，進而得到多元時間序列的遞歸矩陣RX，實現(xiàn)將多元時間序列-復(fù)雜網(wǎng)絡(luò)的轉(zhuǎn)換過程。

2.2 復(fù)雜網(wǎng)絡(luò)拓?fù)鋵W(xué)特征

本文提取反映運動過程動力學(xué)性質(zhì)的節(jié)點度、全局效率、平均路徑長度等42 個復(fù)雜網(wǎng)絡(luò)拓?fù)鋵W(xué)特征，以實現(xiàn)高精度手勢識別。 由于慣性傳感器數(shù)據(jù)為多元時間序列，且各軸時間序列轉(zhuǎn)換得到的多個復(fù)雜網(wǎng)絡(luò)子圖之間，具有較強的拓?fù)鋵W(xué)關(guān)系，因此為更好地提取各個時間序列本身，以及多元時間序列之間的拓?fù)鋵W(xué)特征，本文使用聚類系數(shù)的推廣——交叉聚類系數(shù)與自聚類系數(shù)，以對復(fù)雜網(wǎng)絡(luò)中各個子圖進行更詳細(xì)的分析。

局部交叉聚類系數(shù)是局部聚類系數(shù)在多元時間序列構(gòu)成的復(fù)雜網(wǎng)絡(luò)上的推廣，其主要用于提取不同子圖之間的聚類關(guān)系，其定義為:對于子圖A上的節(jié)點i，它與另一個時間序列構(gòu)成的子圖B之間的局部交叉聚類系數(shù)(i)為:

而局部自聚類系數(shù)的定義則與原始聚類系數(shù)的定義類似，主要用于提取各個子圖自身的聚類特征，故局部自聚類系數(shù)的定義[38]為:對于子圖A上的節(jié)點i，它與自身時間序列構(gòu)成的子圖A之間的局部自聚類系數(shù)(i)為:

3 實驗

3.1 數(shù)據(jù)采集和傳感器型號

為保證數(shù)據(jù)集的多樣性，以增強模型的泛化能力，我們邀請志愿者使用15 款不同型號的手機，進行26 個英文字母大小寫以及0～9 十個數(shù)字共計62個手勢動作的采集。 其中，慣性傳感器為華為、小米等手機中內(nèi)置的加速度計和陀螺儀，如ICM20690，LSM6DSM，LSM6DSO，其單價分別為0.28 元、0.40元、0.40 元。 本實驗中所用到的慣性傳感器的價格均未超過0.5 元。

志愿者使用不同型號的手機，每次對62 個手勢動作進行連續(xù)采集，共計采集了150 次，然后本文通過先前提出的智能運動分割算法[39-40]，將連續(xù)采集的慣性傳感器數(shù)據(jù)，分割為代表各個單獨手勢動作的數(shù)據(jù)，即將采集的150 次數(shù)據(jù)分割為9 300 組數(shù)據(jù)，其中每組數(shù)據(jù)均由3 軸加速度數(shù)據(jù)、3 軸角速度數(shù)據(jù)構(gòu)成，它們記錄了1 個語義字符在空中書寫的過程。 此外，我們用Nokov 光學(xué)運動捕捉系統(tǒng)與慣性傳感器同步采集運動數(shù)據(jù)，進而為后續(xù)機器模型的訓(xùn)練、測試提供所需標(biāo)簽，實驗場景如圖4 所示。最終，本文將9 300 組數(shù)據(jù)隨機劃分8 500 組數(shù)據(jù)作為訓(xùn)練集，800 組數(shù)據(jù)作為測試集。

圖4 借助光學(xué)傳感器對慣性傳感器進行標(biāo)注

3.2 “EMD-CN-WT”三階段信號增強策略

以手寫動作‘A’的x軸方向加速度為例，對其進行經(jīng)驗?zāi)B(tài)分解，如圖5 所示，原始時間序列被分解為從高頻到低頻的5 組IMF 分量。

圖5 慣性傳感器加速度信號x 軸分量的經(jīng)驗?zāi)B(tài)分解

為了更好地衡量各IMF 中隨機誤差的多少，本文通過將原始時間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)，以求得各IMF 分量確定性大小。 首先，本文要對各IMF 分量進行相空間重構(gòu)。 為了提高計算效率，本文使用等間距格子法對互信息進行求解以計算時間延遲τ。如圖6 所示，為了更細(xì)致地觀察互信息與時間延遲的關(guān)系，本文將τ＝30 處的局部放大，并選擇互信息的第一個極小值點作為時間延遲τ，將其應(yīng)用于相空間重構(gòu)當(dāng)中。

圖6 互信息法確定時間延遲

然后，本文使用偽近鄰點的改進方法，確定相空間的嵌入維數(shù)。 如圖7 所示，在相空間嵌入維數(shù)為5 的時候，用于衡量偽近鄰點數(shù)量的指標(biāo)達到0.991，且隨著維度的增加該值不再增大，即相空間已完全展開，因此本文選擇將相空間展開為5 維。

圖7 CAO 方法確定嵌入維數(shù)

在得到相空間重構(gòu)后，本文通過式(2)計算各IMF 分量對應(yīng)的鄰接矩陣，將時間序列轉(zhuǎn)換為遞歸圖形式的復(fù)雜網(wǎng)絡(luò)。 如圖8(a)～圖8(e)所示，可以發(fā)現(xiàn)隨著IMF 分量頻率逐漸降低，遞歸點分布的規(guī)律性逐漸增強，且遞歸點構(gòu)成的線段逐漸與對角線平行。根據(jù)復(fù)雜網(wǎng)絡(luò)“確定性”指標(biāo)的定義規(guī)則可知，IMF 的確定性逐漸增強，隨機性逐漸減弱。 在圖8(f)中可以發(fā)現(xiàn)，前兩個IMF 分量的確定性較弱隨機性較強，隨機誤差較大，后三個IMF 分量的確定性較強隨機性較弱，隨機誤差較小。 因此，選擇隨機誤差較大的前兩個IMF 分量，進行小波閾值降噪。

圖8 第1～5 個IMF 分量的遞歸圖(a)～(e)及其轉(zhuǎn)換到復(fù)雜網(wǎng)絡(luò)的確定性指標(biāo)變化趨勢(f)

由于手勢運動數(shù)據(jù)本身的非平穩(wěn)性較強，因此本文選擇具有正交性和時頻緊支撐性的Daubechies 4(db4)小波作為小波基函數(shù)，同時為避免閾值函數(shù)截斷數(shù)據(jù)造成大量語義信息的損失，本文選取軟閾值作為閾值函數(shù)并根據(jù)heursure 原則[35]選擇啟發(fā)式閾值，對隨機誤差較大的IMF 分量進行小波閾值降噪處理。 如圖9 所示，本文專門對比了低成本IMU 和工業(yè)級高成本IMU 在信號增強前后軌跡還原的效果，以及不同成本慣性傳感器的IMF 分量在小波處理前后的變化。 可以明顯地發(fā)現(xiàn)，經(jīng)小波處理后的IMF 確定性提高，隨機性減弱，隨機誤差得到抑制，同時，低成本IMU 在經(jīng)過信號增強后其軌跡還原效果與高成本IMU 軌跡還原效果相近，進一步體現(xiàn)了三階段信號增強策略在處理低成本IMU信號時具有較大優(yōu)勢。

圖9 不同成本IMU 在信號增強前后軌跡還原效果對比

3.3 結(jié)合復(fù)雜網(wǎng)絡(luò)與時頻特征的手勢識別模型

在對62 個手勢動作的低成本IMU 數(shù)據(jù)進行三階段信號增強后，將復(fù)雜網(wǎng)絡(luò)拓?fù)涮卣髋c時頻特征相結(jié)合。 首先，本文將六軸傳感器數(shù)據(jù)轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)。 然后，提取2.2 節(jié)中復(fù)雜網(wǎng)絡(luò)的聚類系數(shù)、平均路徑長度、節(jié)點度等共計42 個拓?fù)涮卣鳎⑻崛×SIMU 數(shù)據(jù)的方差、極差等時頻特征。 將這兩類特征相結(jié)合，并構(gòu)建隨機森林進行分類。 最終，在不同用戶運動習(xí)慣各異、IMU 型號多樣的條件下，結(jié)合復(fù)雜網(wǎng)絡(luò)與時頻特征的手勢識別模型對62 種三維手勢動作的識別精度達到了92.41%。

在低成本IMU 手勢識別任務(wù)中，由于不同用戶的運動習(xí)慣差異較大，部分字符本身具有多種書寫方式，以及部分用戶書寫不規(guī)范，導(dǎo)致在進行實際動作采集時，相同語義字符往往具有多種運動形式，如圖10 所示“5”“9”“j”三個字符具有多種書寫方式。而對于同一個字符而言，不同書寫方式所產(chǎn)生的IMU 信號，在時域、頻域中存在較大差異。 因此，傳統(tǒng)的手勢識別模型容易將其識別為兩個不同的動作，進而無法實現(xiàn)高精度的手勢識別。 針對這一問題，本文對比了“5”“9”“j”三個字符在僅使用時頻特征和將其與復(fù)雜網(wǎng)絡(luò)拓?fù)鋵W(xué)特征結(jié)合之后的手勢識別精度，如表1 所示，可以發(fā)現(xiàn)，復(fù)雜網(wǎng)絡(luò)因其可以提取數(shù)據(jù)間的結(jié)構(gòu)信息和運動本身的動力學(xué)性質(zhì)，使得手勢識別模型可以較好地識別多種習(xí)慣的手勢動作，增強了模型的泛化能力。

表1 具有多種書寫習(xí)慣動作的識別精度

圖10 具有多種書寫習(xí)慣的手勢動作

為了進一步呈現(xiàn)復(fù)雜網(wǎng)絡(luò)拓?fù)鋵W(xué)特征在手勢識別任務(wù)與特征工程中的價值，本文分別使用原始的低成本IMU 數(shù)據(jù)和經(jīng)過三階段信號增強策略處理后的數(shù)據(jù)，通過不同的特征提取方法，設(shè)計了8 種消融實驗。

實驗1:直接將原始六軸IMU 信號輸入BP 神經(jīng)網(wǎng)絡(luò)中進行分類。

實驗2:直接將原始六軸IMU 信號輸入長短期記憶網(wǎng)絡(luò)(LSTM)中進行分類。

實驗3:直接將原始六軸IMU 信號輸入一維卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)中進行分類。

實驗4:直接將原始六軸IMU 信號輸入DSCNN[36]模型中進行分類。

實驗5: 直接將原始六軸IMU 信號輸入ResBlock-BiLSTM[37]模型中進行分類。

實驗6:將時間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)，僅提取復(fù)雜網(wǎng)絡(luò)拓?fù)鋵W(xué)的42 個特征，并構(gòu)建隨機森林進行分類。

實驗7:提取時間序列的方差、極差等時頻特征，在不使用任何復(fù)雜網(wǎng)絡(luò)特征的情況下，構(gòu)建隨機森林進行分類。

實驗8:將時間序列轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)，提取復(fù)雜網(wǎng)絡(luò)42 個拓?fù)鋵W(xué)特征，并與IMU 數(shù)據(jù)的時頻特征相結(jié)合，共同構(gòu)建隨機森林進行分類。

基于以上八種不同IMU 特征提取方法的手勢識別精度如表2 所示。 可以發(fā)現(xiàn)，在八組實驗中基于三階段信號增強策略處理后的IMU 數(shù)據(jù)，其手勢識別精度均高于原始數(shù)據(jù)。 并且，在時頻特征的基礎(chǔ)上引入復(fù)雜網(wǎng)絡(luò)拓?fù)涮卣?，可顯著提升IMU 手勢識別的精度。

表2 不同特征提取方法下手勢識別精度對比

同時，本文選取了多個用于手勢動作識別的深度學(xué)習(xí)模型與本文提出的方法進行對比，可以發(fā)現(xiàn)在選取特征合適、充分的情況下，本文提出的方法不僅具有更強的解釋性，且該方法的手勢識別精度(92.41%) 可以超過深度學(xué)習(xí)模型識別精度(91.42%)。 該結(jié)果進一步體現(xiàn)了，在運動狀態(tài)識別、時間序列分析領(lǐng)域內(nèi)，復(fù)雜網(wǎng)絡(luò)拓?fù)涮卣髟谔卣鞴こ讨械闹匾獌r值，為模式識別提供了新的參考。

4 結(jié)束語

針對低成本慣性傳感器數(shù)據(jù)包含有大量隨機誤差這一問題，本文提出了一種“經(jīng)驗?zāi)B(tài)分解-復(fù)雜網(wǎng)絡(luò)-小波閾值降噪”三階段信號增強策略，該策略利用復(fù)雜網(wǎng)絡(luò)的“確定性”指標(biāo)對經(jīng)驗?zāi)B(tài)分解得到的各IMF 分量的隨機性進行評估，進而根據(jù)隨機性的大小利用小波變換對各IMF 分量中的隨機誤差進行控制，實現(xiàn)了低成本IMU 的信號增強。 此外，基于復(fù)雜網(wǎng)絡(luò)拓?fù)鋵W(xué)特征不易受時頻域上隨機誤差干擾的特點，本文在IMU 運動識別任務(wù)中將時間序列的時頻特征與反映運動過程動力學(xué)性質(zhì)的復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)特征相結(jié)合，并在不同用戶運動習(xí)慣各異、IMU 型號多樣且成本低廉的條件下，實現(xiàn)了62種三維手勢動作的高精度識別。 最后，本文對比了機器學(xué)習(xí)與深度學(xué)習(xí)模型在低成本IMU 手勢識別任務(wù)上的分類精度，可以發(fā)現(xiàn)在選取特征合適、充分的情況下，機器學(xué)習(xí)不僅具有更強的解釋性，且機器學(xué)習(xí)的手勢識別精度可以超過深度學(xué)習(xí)模型。

三階段信號增強策略中，不同的小波基函數(shù)會導(dǎo)致信號增強效果具有較大的不同，因此未來工作將考慮構(gòu)建深度學(xué)習(xí)模型對小波基函數(shù)進行自適應(yīng)選取，并評估不同小波基函數(shù)對低成本IMU 數(shù)據(jù)的信號增強效果，以進一步提高低成本IMU 的手勢識別準(zhǔn)確度。

值得注意的是，由于低成本慣性傳感器廣泛地應(yīng)用于智能手機、智能手表、游戲手柄等生活領(lǐng)域，因此本文提出的三階段信號增強策略和手勢識別模型具有廣闊的應(yīng)用場景和現(xiàn)實價值。