(華南師范大學(xué) 物理與電信工程學(xué)院，廣州 510006)

0 引言

2011年，世界衛(wèi)生組織(World Health Organi- zation)和世界銀行(The World Bank)在《世界殘疾報(bào)告》中指出，由于年齡增長(zhǎng)、道路交通意外等其他因素造成的肢體殘疾人數(shù)量在持續(xù)增長(zhǎng)[1]。由于基于單通道信號(hào)控制的智能輪椅存在指令識(shí)別率低、控制響應(yīng)時(shí)間較長(zhǎng)等問題[2],近年來不少研究人員融合多種控制信號(hào)，針對(duì)肢體殘疾人的自主控制，提出了多種智能輪椅的控制策略。2016年Geonhee Lee等提出了一種融合肌電和頭部姿態(tài)信號(hào)的輪椅控制系統(tǒng)，大幅提高識(shí)別的準(zhǔn)確率，使控制成功率提升至90%以上[3]。同年，來自日本的研究者們提出的一種適用于輪椅的融合控制方法，將多種生理信號(hào)如眼電、腦電、肌電和頭部姿態(tài)進(jìn)行組合控制測(cè)試，其中3種融合控制方法成功率在93%以上[2]。

目前，基于多信號(hào)融合控制的智能輪椅大大提高了控制指令的識(shí)別準(zhǔn)確率，但由于缺乏對(duì)實(shí)際使用時(shí)安全性和舒適性的考慮，大部分此類智能輪椅仍停留在實(shí)驗(yàn)階段，未能投入商用[4]。本文控制方法主要解決的問題，在于如何能在保證操控性的同時(shí)，不限制使用者對(duì)周圍環(huán)境的自由觀測(cè)，使得人機(jī)交互的過程更加自然與流暢，既保證舒適性又需要保證使用者的安全。因此，本文提出的一種基于眼電和頭部姿態(tài)融合操縱的輪椅控制方法，在保證指令判斷的準(zhǔn)確性同時(shí)，最大程度地滿足此類特殊群體對(duì)輪椅操縱性、安全性、舒適性的具體要求。

1 控制策略

1.1 眼電和頭部姿態(tài)的融合控制

以往傳統(tǒng)的眼電控制輪椅，在使用過程中，并不允許使用者對(duì)周圍環(huán)境進(jìn)行觀測(cè)，這會(huì)產(chǎn)生不適，同時(shí)也造成了一定安全隱患。利用眼球向上下左右各方向運(yùn)動(dòng)來控制輪椅，該方式可能會(huì)引起使用者眼睛的疲勞，且不符合人們?nèi)粘５膶?dǎo)向習(xí)慣。因此，在使用者能利用頭部姿態(tài)的前提下，應(yīng)當(dāng)避免使用眼動(dòng)信號(hào)作為輪椅的導(dǎo)向信號(hào)。

頭部姿態(tài)被認(rèn)為是人類表示方向最自然的一種方式[5]。因此，本文將頭部姿態(tài)角度的變化作為輪椅運(yùn)動(dòng)的導(dǎo)向信號(hào)。但使用者在操縱輪椅的同時(shí)，有觀察周邊環(huán)境的需要，如果操縱系統(tǒng)誤把使用者觀察環(huán)境的頭姿變化認(rèn)作轉(zhuǎn)向行為，將造成安全隱患。因此，使用頭部姿態(tài)作為導(dǎo)向，必須要有控制信號(hào)來決定該時(shí)刻下使用者是否意圖輪椅轉(zhuǎn)向。

故本文融合了眼電信號(hào)和頭部姿態(tài)導(dǎo)向信號(hào)的優(yōu)勢(shì)，彌補(bǔ)兩種控制信號(hào)各自的不足，提出了一種新式的輪椅控制方法。眨眼信號(hào)的優(yōu)勢(shì)在于完成起來十分快速且動(dòng)作輕微、不費(fèi)力，十分適合用于需頻繁使用的確認(rèn)信號(hào)[5]。頭部姿態(tài)作為導(dǎo)向信號(hào)有操縱性好、不易疲勞的優(yōu)勢(shì)，但必須限制使用者觀察周圍環(huán)境的需要。因此將眨眼信號(hào)作為頭部姿態(tài)導(dǎo)向信號(hào)的控制信號(hào)。上下方向的眼動(dòng)信號(hào)則有操作復(fù)雜、耗時(shí)久的缺點(diǎn)，但其有不容易發(fā)生誤操作的優(yōu)勢(shì)，適合將其作為不常用、功能相對(duì)復(fù)雜且不允許產(chǎn)生誤識(shí)別的操作信號(hào)，本文將其作為使用者向外界求助、求救的發(fā)送信號(hào)。

1.2 融合控制方法的具體流程

本文提出的新式融合控制方法的具體控制流程如圖1所示。操縱的模式分為“控制模式”和“自由控制模式”。連續(xù)兩次點(diǎn)頭動(dòng)作進(jìn)入“控制模式”，處在該模式下，頭部前傾，輪椅緩慢加速向前運(yùn)動(dòng)；頭部稍稍后傾便會(huì)剎車，且當(dāng)后傾時(shí)長(zhǎng)和角度超過某值時(shí)，開始倒車；左右各擺頭一次，便可以退出“控制模式”。使用者在該模式下的行進(jìn)過程中，允許左右轉(zhuǎn)動(dòng)頭部，自由觀察身邊的事物，達(dá)到保障特殊群體對(duì)舒適性、安全性需要的目的。

在意圖轉(zhuǎn)向時(shí)，進(jìn)行一次有意識(shí)的眨眼動(dòng)作，輪椅將接收命令、進(jìn)入“自由控制模式”，此時(shí)使用者的頭部將可以控制輪椅進(jìn)行轉(zhuǎn)向，使用者超過一段時(shí)間不轉(zhuǎn)向，將退出自由控制模式。在經(jīng)由眨眼確認(rèn)的自由控制模式下，輪椅做出相應(yīng)左、右轉(zhuǎn)動(dòng)作。

在任何情況之下，頭部后傾角度達(dá)10°以上，輪椅馬上制動(dòng)。如果使用者由于身體不適等原因需要發(fā)送求救信號(hào)，只需眼球向下運(yùn)動(dòng)并保持一定時(shí)長(zhǎng)，系統(tǒng)將通過GSM模塊向提前設(shè)定好的緊急聯(lián)系人名單發(fā)送若干條求助信息，從而確保使用者的安全。此外，系統(tǒng)還保留了一個(gè)功能，在使用者眼球向上運(yùn)動(dòng)時(shí)觸發(fā)，留待產(chǎn)品的實(shí)際需要使用。

圖1 控制流程圖

2 系統(tǒng)實(shí)現(xiàn)架構(gòu)

本文設(shè)計(jì)并實(shí)現(xiàn)了一套完整的輪椅控制軟硬件系統(tǒng)。具體架構(gòu)如圖2所示，分為頭戴護(hù)目鏡和輪椅控制單元兩大部分。

圖2 系統(tǒng)架構(gòu)設(shè)計(jì)

2.1 頭戴護(hù)目鏡

2.1.1 硬件設(shè)計(jì)

為采集位于眼睛上下部位的電信號(hào)，考慮實(shí)用性和美觀性的同時(shí)，提出了一種新式頭戴護(hù)目鏡裝置。

能將所述采集電極隱蔽、牢固地貼合在使用者面部，一方面可以省去采集電極用于粘貼在使用者面部的粘性物質(zhì)，改善了使用者的佩戴舒適度，讓采集電極本身更加適宜重復(fù)使用，另一方面減少了外界對(duì)采集電極的影響，提升了眼電采集過程的可靠性；再者，以護(hù)目鏡作為基礎(chǔ)框架，確保了控制器的結(jié)構(gòu)強(qiáng)度和耐用度。將3個(gè)導(dǎo)電海綿電極縫合到普通護(hù)目鏡上，如圖3所示，利用護(hù)目鏡的設(shè)計(jì)巧妙地采集到眼眶處豐富的眼電信號(hào)。

此外，護(hù)目鏡上還嵌入了帶數(shù)據(jù)采集功能及發(fā)送功能的電路模塊。使用TI公司推出的低功耗、高集成度的模擬前端芯片ADS1293采集眼電信號(hào)，ADS1293以其緊湊性、便攜性、低功耗性，常被用于生物電勢(shì)測(cè)量；采用BNO-055芯片收集頭部姿態(tài)變化數(shù)據(jù)，該芯片內(nèi)置姿態(tài)解算芯片和運(yùn)動(dòng)控制庫，可直接回送頭部三軸歐拉角數(shù)據(jù)，免去復(fù)雜的濾波算法等軟件處理流程。選取Nordic公司的無線處理器nRF52832作為頭戴部分的數(shù)據(jù)處理單元。這款芯片支持低功耗藍(lán)牙技術(shù)，并集成了32 位的ARM Cortex-M4F CPU和SPI、UART、ADC等多種外設(shè)接口[6]。nRF52832可以驅(qū)動(dòng)ADS1293及BNO-055采集前端數(shù)據(jù)，并將數(shù)據(jù)通過BLE協(xié)議棧無線傳輸至位于輪椅處的控制單元。

圖3 護(hù)目鏡示意圖及眼電采集的電極位置

2.1.2 電極選擇

目前，眼電信號(hào)采集幾乎都使用銀/氯化銀凝膠電極。導(dǎo)電凝膠在使用過程中會(huì)帶來諸多不便，使用前一般需要對(duì)皮膚進(jìn)行除毛和去角質(zhì)層等，費(fèi)時(shí)費(fèi)力，在長(zhǎng)時(shí)間使用過程中，隨著導(dǎo)電膠的脫水，眼電采集信號(hào)的質(zhì)量會(huì)出現(xiàn)失真，并且濕電極的觸感較差，一般僅在實(shí)驗(yàn)室或?qū)I(yè)監(jiān)測(cè)儀器上研究使用。

為了設(shè)計(jì)出便于穿戴且具有良好導(dǎo)電效果及觸感的采集裝置，本文選擇了一種高性能的導(dǎo)電海綿替代傳統(tǒng)電極。導(dǎo)電海綿的使用成本低廉、舒適性高且更加適合循環(huán)使用。經(jīng)過測(cè)試，這種材料具有非常柔軟的觸感，且電阻極低，約為10 kΩ。另外，導(dǎo)電海綿對(duì)護(hù)目鏡鏡框還能起到一定的緩沖作用，進(jìn)一步改善了使用者的使用舒適度，如圖3所示。

在基于眼電的人機(jī)交互研究中，為盡可能的消除共模信號(hào)干擾，一般對(duì)眼電采集使用雙導(dǎo)聯(lián)的采集方式。結(jié)合護(hù)目鏡邊框與眼部周圍的接觸位置，本文選擇了在右眼上下位置安放電極構(gòu)成雙導(dǎo)聯(lián)，并在右眼顴骨位置加入了右腿驅(qū)動(dòng)電極，電極位置如圖3所示。右腿驅(qū)動(dòng)電極在生物電測(cè)量電路中起著不可忽視的作用[6]。由于眼電信號(hào)及其微弱，并且人體可以被視為天線，在采集時(shí)會(huì)受到家用供電噪音的電磁干擾，這種干擾會(huì)覆蓋掉眼電信號(hào)，使有用的信號(hào)難以測(cè)量。右腿驅(qū)動(dòng)電路的原理是將各路輸入信號(hào)相加得到共模電壓，經(jīng)內(nèi)部放大器反相后，將輸出電壓導(dǎo)入人體形成深度負(fù)反饋，從而有效的削弱電磁干擾噪聲的影響。

2.2 輪椅處控制單元

采用樹莓派3B+型號(hào)作為位于輪椅處的主控單元。負(fù)責(zé)驅(qū)動(dòng)輪椅上的第二塊BNO-055芯片，采集輪椅的姿態(tài)角數(shù)據(jù)；藍(lán)牙接收前端采集的數(shù)據(jù)，實(shí)時(shí)處理并進(jìn)行指令判斷，驅(qū)動(dòng)輪椅電機(jī)完成相應(yīng)的操作，以及通過GSM模塊發(fā)送求救信息。

本文采用的GSM模塊為SIM800A。 SIM800A是雙頻GSM/GPRS、緊湊型、高可靠性的無線模塊，其性能穩(wěn)定，外觀小巧，性價(jià)比高，能滿足客戶的多種需求。該模塊工作頻率為GSM/GPRS 900/1 800 MHz，支持AT指令集接口, 支持文本和PDU模式。同時(shí)，SIM800A尺寸為24*24*3 mm，適用于緊湊型產(chǎn)品設(shè)計(jì)需求，因此十分滿足本文輪椅移動(dòng)裝置的設(shè)計(jì)要求。

3 軟件設(shè)計(jì)

3.1 眼電信號(hào)的識(shí)別分類

位于頭戴護(hù)目鏡的主控，負(fù)責(zé)將ADS1293采集的原始數(shù)據(jù)進(jìn)行預(yù)處理，利用小波分析初步提取特征。然后通過藍(lán)牙傳輸給位于輪椅處的樹莓派，依靠樹莓派優(yōu)秀的運(yùn)算能力和強(qiáng)大的Python工具箱，實(shí)現(xiàn)對(duì)眼電信號(hào)的識(shí)別和分類。

3.1.1 預(yù)處理及特征提取

本文中使用2016年專注于腦機(jī)接口研究(brain-computer interfaces)的BNCI Horizon 2020項(xiàng)目的開源數(shù)據(jù)集[6]。該數(shù)據(jù)集包含 257個(gè)眼電數(shù)據(jù)樣本，包括以 200Hz進(jìn)行采樣的眼電信號(hào)(EOG)。該數(shù)據(jù)集采用和本文一致的眼電雙導(dǎo)聯(lián)采集方法，收集被測(cè)人員在模擬駕駛情況下成功發(fā)送指令、成功剎車的過程，與本文實(shí)際應(yīng)用場(chǎng)景相類似。被測(cè)人員需要在極短的時(shí)間內(nèi)完成指令，識(shí)別過程也必須足夠迅速，以應(yīng)對(duì)駕駛中的緊急情況，因此該數(shù)據(jù)集與本文智能輪椅控制的實(shí)際使用情景相關(guān)度高。數(shù)據(jù)集包括3個(gè)模塊，每個(gè)模塊測(cè)試時(shí)長(zhǎng)為45分鐘，各模塊間休息時(shí)間為10到15分鐘。本文選用上述數(shù)據(jù)集的訓(xùn)練集中的257個(gè)眼電信號(hào)作為樣本，其中前205個(gè)樣本作為隨機(jī)森林算法的訓(xùn)練集，后52個(gè)作為測(cè)試集。數(shù)據(jù)集不同眼部動(dòng)作占比情況如表1所示。

表1 數(shù)據(jù)集眨眼及眼動(dòng)各狀態(tài)占比情況

3.1.2 預(yù)處理及特征提取

對(duì)原始信號(hào)進(jìn)行的預(yù)處理和初步特征提取包括：

1)分幀，將連續(xù)的時(shí)間序列數(shù)據(jù)切分為具有一定長(zhǎng)度的序列。

2)去除直流，歸一化。眼電數(shù)據(jù)的直流成分為攜帶的無用信息。

3)db4小波基的小波分解，進(jìn)行數(shù)據(jù)的降噪、濾波并初步提取特征。

與傳統(tǒng)的FIR濾波器不同，本系統(tǒng)采用了小波變換進(jìn)行去噪和初步特征提取。小波變換是一種時(shí)間-尺度(頻率)分析方法，具有時(shí)頻局部化和多分辨特性，特別適合于處理非平穩(wěn)信號(hào)[7]。本文選取了db4小波基對(duì)信號(hào)進(jìn)行了9層分解并對(duì)信號(hào)進(jìn)行重構(gòu)，抑制肌電噪聲的干擾，獲得0.097 7～6.25 Hz的眼電信號(hào)。

眼電信號(hào)的預(yù)處理過程如圖4所示。可以看到，處理后的信號(hào)毛刺少，特征明顯，十分有利于后續(xù)的信號(hào)分析。

圖4 眼電信號(hào)的預(yù)處理過程

3.1.3 識(shí)別與分類

隨機(jī)森林算法是基于決策樹的組合模型，它的優(yōu)勢(shì)在于訓(xùn)練速度快、精度高和抗噪性強(qiáng)等。本文選取功能十分強(qiáng)大的機(jī)器學(xué)習(xí)算法庫scikit-learn，將準(zhǔn)備好的數(shù)據(jù)按特征和標(biāo)簽區(qū)分，就可實(shí)現(xiàn)隨機(jī)森林多分類模型的構(gòu)建、預(yù)測(cè)和性能測(cè)試。

我們選取眼電數(shù)據(jù)的時(shí)域統(tǒng)計(jì)特征：均值、峰值、斜率峰值，對(duì)數(shù)據(jù)進(jìn)行處理。每個(gè)決策樹模型 都有一票投票權(quán)來選擇最終結(jié)果。分類決策公式為：

(1)

其中:I(·)為示性函數(shù)，hi(s)是單個(gè)決策樹歸類結(jié)果,H(s)表征組合歸類結(jié)果。導(dǎo)入sklearn的tree包，使用DecisionTreeClassifier對(duì)模型進(jìn)行訓(xùn)練，用graphviz輸出建立的決策樹，輸出結(jié)果如圖5所示。

圖5 決策樹可視化結(jié)果

3.2 頭部姿態(tài)的識(shí)別

頭部姿態(tài)控制作為一種人機(jī)交互方式，為老年人及肢體殘疾人士提供了更為靈活的操作方式。目前，頭部姿態(tài)識(shí)別技術(shù)可分為兩類：一類是基于攝像頭的姿態(tài)圖像識(shí)別[8]，另一類是基于可穿戴式傳感器的姿態(tài)識(shí)別。基于圖像識(shí)別的方法識(shí)別準(zhǔn)確率高，但該方法對(duì)于拍攝角度、燈光等環(huán)境因素要求較高，且需要經(jīng)過相應(yīng)的圖像識(shí)別算法處理，響應(yīng)速度較慢。因此本文采用了一種基于角度差的雙傳感器頭部姿態(tài)識(shí)別方法，利用內(nèi)置數(shù)據(jù)融合算法的傳感器實(shí)時(shí)采集頭部和輪椅的Yaw(偏航角)、Roll(翻滾角)、Pitch(俯仰角)三軸歐拉角數(shù)據(jù)[9]，根據(jù)兩者的角度差，可實(shí)時(shí)判斷頭部三維姿態(tài)變化。具體控制原理如圖6所示。

圖6 頭部姿態(tài)控制原理示意圖

在輪椅實(shí)際的左右轉(zhuǎn)動(dòng)過程中，傳感器輸出的Yaw(偏航角)只能從0～360°周期變化，當(dāng)頭部或輪椅經(jīng)過角度邊界時(shí)，角度會(huì)發(fā)生360°突變，如圖7所示。此時(shí)偏航角的差值將不再是輪椅和頭部間實(shí)際的角度差，需要人工進(jìn)行修正處理。突變修正公式為：

AngleYaw=Yaw±360°

(2)

其中:AngleYaw為修正后的數(shù)據(jù)，Yaw為原始數(shù)據(jù)。

當(dāng)角度從360°突變至0°時(shí)，需要進(jìn)行360°補(bǔ)償修正，從0°突變至360°時(shí)需要進(jìn)行-360°補(bǔ)償修正。通常當(dāng)角度發(fā)生突變時(shí)，實(shí)際檢測(cè)的突變值會(huì)小于360°，這是由突變時(shí)間過短及硬件采集的延時(shí)性造成的。經(jīng)過測(cè)試，設(shè)定角度突變檢測(cè)閾值為250°時(shí)，檢測(cè)效果最佳，檢測(cè)成功率高達(dá)97%。

圖7 偏航歐拉角度變化示意圖

4 測(cè)試與結(jié)果分析

4.1 總體識(shí)別準(zhǔn)確率

本文的操縱識(shí)別率測(cè)試方式通過統(tǒng)計(jì)20位被測(cè)人員發(fā)出指令得到執(zhí)行的正確次數(shù)占比。參與測(cè)試的人員隨機(jī)在室內(nèi)、室外等各種場(chǎng)合進(jìn)行5次自由操作測(cè)試，測(cè)試時(shí)長(zhǎng)為20分鐘。三類指令識(shí)別正確率統(tǒng)計(jì)結(jié)果如表2所示?？梢姳粶y(cè)人員成功利用眨眼進(jìn)入自由控制模式的識(shí)別率在8成以上。頭部姿態(tài)的識(shí)別率和眼動(dòng)信號(hào)的識(shí)別率均在99%以上，且由于頭部姿態(tài)導(dǎo)向使用了PID算法，操作者能明顯感覺到轉(zhuǎn)向過程的逐步平穩(wěn)，使用流暢、準(zhǔn)確度極高?？傮w識(shí)別率取3種指令識(shí)別的準(zhǔn)確率加權(quán)平均值，為92.25%。

表2 操作識(shí)別準(zhǔn)確率

4.2 舒適性分析

本文的輪椅舒適性測(cè)試方式是：被測(cè)人員在完成對(duì)輪椅的一系列操作后對(duì)其進(jìn)行體驗(yàn)問卷調(diào)查。調(diào)查內(nèi)容包括轉(zhuǎn)向流暢程度、操作延時(shí)情況、指令識(shí)別出錯(cuò)情況、操作的簡(jiǎn)單易用程度以及輪椅的安全性評(píng)價(jià)等。被測(cè)人員根據(jù)自己的主觀感受來確定本次實(shí)驗(yàn)實(shí)際舒適性，對(duì)其賦一個(gè)[0,1]的舒適性數(shù)值，并且該數(shù)值越大表明舒適性越高，高于0.85為“舒適”，低于0.6為“不舒適”，其他則認(rèn)為是“一般”。

與識(shí)別成功率測(cè)試類似，參與本方案輪椅人機(jī)交互功能測(cè)試的人員隨機(jī)在室內(nèi)、室外等各種場(chǎng)合進(jìn)行5次時(shí)長(zhǎng)為20分鐘的自由操作測(cè)試。測(cè)試結(jié)束后，對(duì)被測(cè)人員進(jìn)行調(diào)查問卷的派發(fā)填寫，隨后收集并整理有效的調(diào)查問卷。由于每個(gè)測(cè)試人員對(duì)舒適性的主觀感受標(biāo)準(zhǔn)不一樣，因此本文選擇了“最大，最小”法對(duì)數(shù)據(jù)進(jìn)行歸一化處理[10]。公式為：

fsij=(faij-fnj)/(fmj-fnj)

(3)

其中:j表示第j個(gè)測(cè)試人員，fsij和faij分別為第j個(gè)測(cè)試人員在第i次測(cè)試中的舒適度數(shù)值和歸一化數(shù)值，fmj和fnj是5次測(cè)試中舒適度的最大值和最小值。

取5次歸一化實(shí)驗(yàn)結(jié)果的平均值，作為每一項(xiàng)實(shí)驗(yàn)的舒適性測(cè)試結(jié)果。統(tǒng)計(jì)結(jié)果如圖7所示，參加測(cè)試人員認(rèn)為人機(jī)交互體驗(yàn)各個(gè)模塊操作“舒服”和“一般”所占比例遠(yuǎn)高于“不舒適”所占的比例，因此，本方案的控制方法舒適性測(cè)試合格。

圖8 測(cè)試結(jié)果圖

5 結(jié)語

本文提出了一種融合眼電信號(hào)以及頭部姿態(tài)變化進(jìn)行操縱的智能輪椅控制策略，并實(shí)現(xiàn)了一套完整的輪椅控制系統(tǒng)，重點(diǎn)提升輪椅使用的安全性和舒適性。該融合控制策略，為智能輪椅領(lǐng)域在實(shí)用性方面提出了一種新思路，同時(shí)也易于推廣到其他不同控制方式的融合。成功將兩種控制方式融合起來，提升用戶體驗(yàn)和操控的準(zhǔn)確程度。同時(shí)，也可以將該控制系統(tǒng)模塊化，使其能夠輕松改裝至現(xiàn)有的搖桿控制電動(dòng)輪椅，為手腳均不便的殘疾人士提供一種輪椅操作系統(tǒng)的升級(jí)方案。