王亞偉,薛建彬,任漢能

(1.南京航空航天大學(xué)機(jī)電學(xué)院,江蘇 南京 210016；2.中國(guó)航天科工集團(tuán)8511研究所,江蘇 南京 210007)

0 引言

我國(guó)已經(jīng)進(jìn)入老齡化社會(huì)，調(diào)查數(shù)據(jù)表明，大量老年人患有神經(jīng)系統(tǒng)、腦卒中和心血管疾病，這些疾病會(huì)導(dǎo)致偏癱或運(yùn)動(dòng)功能喪失，給患者的生活造成不便。研究表明，及時(shí)、科學(xué)的康復(fù)訓(xùn)練運(yùn)動(dòng)有助于恢復(fù)肢體功能。但是康復(fù)訓(xùn)練需要在專業(yè)人士的指導(dǎo)下進(jìn)行，否則由于訓(xùn)練方法不正確、訓(xùn)練量過(guò)少或過(guò)多，容易錯(cuò)過(guò)最佳的康復(fù)時(shí)機(jī)或者造成二次損傷[1]。目前的訓(xùn)練方式主要是醫(yī)生和患者面對(duì)面訓(xùn)練，但是老齡化比例和醫(yī)療設(shè)施出現(xiàn)城鄉(xiāng)倒置，因此大部分老年人需要異地康復(fù)訓(xùn)練?？祻?fù)訓(xùn)練是循序漸進(jìn)的過(guò)程，持續(xù)時(shí)間久，康復(fù)期間需要家人陪同，這些因素增加開(kāi)銷和時(shí)間，使得一部分人放棄康復(fù)訓(xùn)練?；诖爽F(xiàn)狀，提出遠(yuǎn)程康復(fù)訓(xùn)練系統(tǒng)，使患者在家中進(jìn)行康復(fù)訓(xùn)練，與醫(yī)生通過(guò)系統(tǒng)進(jìn)行線上交流。

2005年，芝加哥康復(fù)研究中心和斯坦福大學(xué)聯(lián)合研制了一套低成本便攜式的遠(yuǎn)程康復(fù)訓(xùn)練系統(tǒng)，患者通過(guò)患者端的康復(fù)設(shè)備做康復(fù)訓(xùn)練，治療師通過(guò)實(shí)物模型遠(yuǎn)程監(jiān)測(cè)康復(fù)運(yùn)動(dòng)[2]。2007年?yáng)|南大學(xué)研究基于Internet的遠(yuǎn)程控制康復(fù)訓(xùn)練系統(tǒng)[3]，病人端康復(fù)訓(xùn)練系統(tǒng)由康復(fù)訓(xùn)練機(jī)械臂、外部測(cè)控電路、控制計(jì)算機(jī)和攝像頭組成。攝像頭獲取病人訓(xùn)練的視頻信息，通過(guò)Internet發(fā)往醫(yī)生端的計(jì)算機(jī)。醫(yī)生根據(jù)病人端反饋的視頻圖像和力信號(hào)，判斷病人的康復(fù)情況。2013年，東南大學(xué)宋愛(ài)國(guó)等人研究遠(yuǎn)程康復(fù)系統(tǒng)[4]，同樣是將視頻通過(guò)Wi-Fi/3G通信技術(shù)傳到醫(yī)療中心的服務(wù)器中，醫(yī)療師遠(yuǎn)程監(jiān)測(cè)康復(fù)訓(xùn)練。

本文搭建遠(yuǎn)程康復(fù)平臺(tái)，通過(guò)STM32控制模塊采集傳感器數(shù)據(jù)，并將姿態(tài)、表面肌電信號(hào)EMG通過(guò)Wi-Fi模塊使用MQTT協(xié)議發(fā)送至云平臺(tái)，經(jīng)姿態(tài)解算、濾波、特征提取等數(shù)據(jù)處理后，將有用信息顯示在網(wǎng)頁(yè)端，為醫(yī)生的康復(fù)診斷提供參考。

1 基于物聯(lián)網(wǎng)的上肢遠(yuǎn)程康復(fù)訓(xùn)練指導(dǎo)系統(tǒng)的總體設(shè)計(jì)

本文的物聯(lián)網(wǎng)系統(tǒng)主要功能為數(shù)據(jù)采集、傳輸、存儲(chǔ)、分析和應(yīng)用，與物聯(lián)網(wǎng)[5]的三層結(jié)構(gòu)相映射?；趯?duì)系統(tǒng)終端控制模塊、通信技術(shù)、通用協(xié)議，以及與服務(wù)器的選擇，設(shè)計(jì)的系統(tǒng)整體架構(gòu)如圖1所示。

圖1 系統(tǒng)整體架構(gòu)

在所設(shè)計(jì)的系統(tǒng)中，各層的功能如下所述。

a.設(shè)備層。指患者或患者使用的康復(fù)設(shè)備。

b.采集層。利用姿態(tài)傳感器和表面肌電傳感器，采集患者康復(fù)運(yùn)動(dòng)時(shí)需要的關(guān)節(jié)數(shù)據(jù)和表面肌電信號(hào)。

c.傳輸層。采用Wi-Fi通信技術(shù)，通過(guò)ESP8266模組與云服務(wù)器通信，采集的數(shù)據(jù)通過(guò)MQTT協(xié)議傳輸，采集層和傳輸層的控制模塊為STM32。

d.應(yīng)用層。采集的數(shù)據(jù)存儲(chǔ)在云端數(shù)據(jù)庫(kù)中，經(jīng)數(shù)據(jù)分析后通過(guò)網(wǎng)頁(yè)查詢、顯示。

2 康復(fù)系統(tǒng)功能設(shè)計(jì)

本節(jié)主要介紹數(shù)據(jù)采集、上傳和網(wǎng)頁(yè)設(shè)計(jì)，屬于物聯(lián)網(wǎng)系統(tǒng)的采集、傳輸和應(yīng)用層。在康復(fù)系統(tǒng)中，首先根據(jù)功能需求選擇合適的傳感器，然后通過(guò)程序采集傳感器的AD數(shù)據(jù)，在STM32上進(jìn)行姿態(tài)傳感器的姿態(tài)解算和表面肌電傳感器的電壓模擬量的轉(zhuǎn)換，將轉(zhuǎn)換后的數(shù)據(jù)上傳至云平臺(tái)，進(jìn)行進(jìn)一步的處理和分析。

2.1 數(shù)據(jù)采集及預(yù)處理

上肢康復(fù)運(yùn)動(dòng)時(shí)需要采集姿態(tài)信息和運(yùn)動(dòng)時(shí)的肌電信息，姿態(tài)信息用于評(píng)價(jià)康復(fù)的關(guān)節(jié)活動(dòng)度，肌電信號(hào)用于評(píng)價(jià)肌力?；趯?shí)驗(yàn)需求，選擇MPU-9250模塊和MyoWare肌肉電傳感器。MPU-9250模塊是一個(gè)復(fù)合芯片，由2部分組成，其中一部分是三軸加速度計(jì)和三軸陀螺儀，另外一部分是三軸磁力計(jì)。九軸數(shù)據(jù)經(jīng)過(guò)融合可得到歐拉角，用歐拉角表示運(yùn)動(dòng)過(guò)程中的姿態(tài)信息，其中加速度計(jì)和陀螺儀會(huì)補(bǔ)償角度偏移，從而使測(cè)量的角度精確。MyoWare肌肉電傳感器是通過(guò)電位測(cè)量肌肉的活動(dòng)，傳感器由3部分組成，即肌肉中端電極、肌肉末梢電極和參考電極。在采集肌電信號(hào)時(shí)，中端電極放在要采集肌肉的中間，盡可能遠(yuǎn)離其他肌肉，肌肉末梢電極順勢(shì)放在下面，參考電極放在沒(méi)有肌肉的位置上。

采集MPU-9250模塊數(shù)據(jù)時(shí)采用IIC協(xié)議，將STM32作為IIC通信主機(jī)，MPU-9250作為IIC通信從機(jī)，并通過(guò)I/O口模擬IIC協(xié)議，使用PB6和PB7作為通信的時(shí)鐘線和數(shù)據(jù)線，讀取傳感器數(shù)據(jù)。姿態(tài)數(shù)據(jù)讀取流程如圖2a所示。MPU-9250初始化包括STM32的I/O口設(shè)置，MPU-9250傳感器的陀螺儀、加速度計(jì)、磁力計(jì)量程的設(shè)置，以及采樣頻率的設(shè)置等。初始化設(shè)置成功后可讀取傳感器的數(shù)據(jù)，原始數(shù)據(jù)是AD值，AD值會(huì)有跳動(dòng)，因此采用去極值平均滑動(dòng)窗口濾波，同時(shí)將初始狀態(tài)的傳感器讀數(shù)記錄下來(lái)，去零偏。然后根據(jù)設(shè)置的量程將AD值轉(zhuǎn)換為具有意義的物理值。姿態(tài)解算時(shí)，參數(shù)是轉(zhuǎn)換之后的值。姿態(tài)解算過(guò)程如圖2b所示。姿態(tài)求解用互補(bǔ)濾波算法[6]，互補(bǔ)濾波算法的原理就是將三軸角速度、三軸加速度、三軸磁力計(jì)數(shù)據(jù)融合成四元素，然后用四元素求歐拉角[7]，每一次解算完成后，用新的四元素的值代替上一次四元素的值。經(jīng)預(yù)處理和姿態(tài)解算的關(guān)節(jié)角度信號(hào)以曲線的形式顯示在網(wǎng)頁(yè)上，如圖3所示，可清楚地看到病人在康復(fù)時(shí)的關(guān)節(jié)活動(dòng)度。

圖2 傳感器數(shù)據(jù)采集和預(yù)處理

圖3 關(guān)節(jié)角度信號(hào)

表面肌電傳感器使用STM32的ADC采集，ADC是12位逐次逼近的模擬數(shù)字轉(zhuǎn)換器。肌電信號(hào)讀取流程如圖2c所示。ADC初始化包括設(shè)置STM32的I/O口、采樣頻率、ADC通道等；因?yàn)锳D值會(huì)有一定的波動(dòng)，因此使用去極值平均滑動(dòng)窗口濾波，同時(shí)去零偏；最后將得到的AD值根據(jù)基準(zhǔn)電壓轉(zhuǎn)換成肌電電位值。由于肌電信號(hào)的頻率主要分布在 10～500 Hz，并且采集的原始肌電信號(hào)含有工頻干擾等各種噪聲,所以通過(guò) 10～500 Hz 帶通濾波器和50 Hz 陷波濾波器，分別去除原始肌電信號(hào)的雜波信號(hào)和工頻干擾，并將肌電信號(hào)以曲線的形式在網(wǎng)頁(yè)上顯示。圖4是做4個(gè)曲肘動(dòng)作時(shí)肱二頭肌的原始肌電信號(hào)和濾波之后的信號(hào)曲線，從圖中看出，帶通濾波和陷波處理很好地濾除干擾噪聲，為進(jìn)一步求肌電信號(hào)的特征值做準(zhǔn)備。

圖4 肌電信號(hào)

2.2 數(shù)據(jù)封裝

數(shù)據(jù)采集和預(yù)處理之后，需要上傳到云平臺(tái)，本文采用Wi-Fi模塊ESP8266將數(shù)據(jù)通過(guò)MQTT協(xié)議發(fā)送至服務(wù)器。ESP8266通過(guò)AT指令與服務(wù)器建立TCP連接，并實(shí)現(xiàn)數(shù)據(jù)上傳，主要流程如圖5所示。首先是ESP8266模塊、串口3和相關(guān)定時(shí)器的初始化，這部分主要是初始化相關(guān)I/O口、ESP8266模塊復(fù)位、設(shè)置TCP客戶端模式等操作，定時(shí)器的作用是判斷接收信號(hào)是否完成，完成則產(chǎn)生中斷進(jìn)行處理；然后開(kāi)始發(fā)送AT指令，連接路由器并進(jìn)行相關(guān)設(shè)置；最后連接服務(wù)器。從模塊復(fù)位開(kāi)始，對(duì)發(fā)送指令后的返回值進(jìn)行判斷，只有返回值正確才會(huì)進(jìn)行下一步，否則返回到“模塊復(fù)位”那一步重新開(kāi)始。

圖5 ESP8266連接服務(wù)器流程

物聯(lián)網(wǎng)終端和服務(wù)器建立了TCP鏈接之后，通過(guò)搭建MQTT協(xié)議環(huán)境[8]，實(shí)現(xiàn)向服務(wù)器發(fā)送數(shù)據(jù)。首先在云服務(wù)器上搭建MQTT的服務(wù)器EMQ，EMQ是基于Erlang/OTP平臺(tái)開(kāi)發(fā)的開(kāi)源物聯(lián)網(wǎng)MQTT消息服務(wù)器。EMQ搭建好之后，在物聯(lián)網(wǎng)終端移植開(kāi)源的Paho-mqtt.c庫(kù)，并向EMQ發(fā)送請(qǐng)求連接消息，連接消息包括協(xié)議名稱、協(xié)議版本、心跳包發(fā)送時(shí)間間隔、?；顣r(shí)間、服務(wù)器用戶名、客戶端ID和密碼等信息。當(dāng)收到服務(wù)器返回的字符串“20020000”，表示物聯(lián)網(wǎng)終端與EMQ建立穩(wěn)定的連接，調(diào)用其封裝函數(shù)即可實(shí)現(xiàn)基于MQTT協(xié)議的發(fā)布和訂閱功能，此時(shí)物聯(lián)網(wǎng)終端可以訂閱服務(wù)器的主題、接收服務(wù)器發(fā)送的消息和發(fā)布數(shù)據(jù)。發(fā)送數(shù)據(jù)時(shí)，將傳感器數(shù)據(jù)編碼成JSON格式，然后封裝到MQTT的數(shù)據(jù)報(bào)文中，并發(fā)送到EMQ對(duì)應(yīng)的topic中，然后再由服務(wù)器進(jìn)行下一步處理。傳感器數(shù)據(jù)的JSON格式如下：

{

“ClientID”:xxxxxxx, //設(shè)備ID

“Pose”:xxxxxxx, //姿態(tài)數(shù)據(jù)

“Myo1”:xxxxxxx, //肌電信號(hào)

}

2.3 網(wǎng)頁(yè)功能實(shí)現(xiàn)

經(jīng)過(guò)預(yù)處理的傳感器數(shù)據(jù)上傳到云端后，通過(guò)emqx_auth_mysql 插件將數(shù)據(jù)保存到數(shù)據(jù)庫(kù)中，實(shí)現(xiàn)數(shù)據(jù)持久化，并通過(guò)云服務(wù)器對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步的處理，包括肌電信號(hào)的時(shí)域和頻域的特征提取等，處理之后將結(jié)果通過(guò)網(wǎng)頁(yè)顯示，醫(yī)生和患者可通過(guò)網(wǎng)頁(yè)查看康復(fù)數(shù)據(jù)。

網(wǎng)頁(yè)是為醫(yī)生和患者使用開(kāi)發(fā)的，主要實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)、查看和分析等功能，該網(wǎng)頁(yè)可以遠(yuǎn)程制定康復(fù)計(jì)劃、查看康復(fù)訓(xùn)練，并做出康復(fù)評(píng)價(jià)，還有醫(yī)生患者的個(gè)人信息管理和登錄注冊(cè)等輔助功能。網(wǎng)頁(yè)分為醫(yī)生端和患者端2個(gè)部分，其功能如圖6所示。醫(yī)生端的功能包括個(gè)人信息注冊(cè)、遠(yuǎn)程開(kāi)處方、查看病人信息、觀看病人康復(fù)訓(xùn)練和寫(xiě)評(píng)估報(bào)告等功能；患者端的功能包括填寫(xiě)病例、查看醫(yī)生信息及處方、訓(xùn)練計(jì)時(shí)和查看評(píng)估報(bào)告等功能。

圖6 網(wǎng)頁(yè)功能

網(wǎng)頁(yè)整體框架選用JavaEE的三層框架，包括View展示層、Service業(yè)務(wù)邏輯層和DAO數(shù)據(jù)訪問(wèn)層。展示層主要負(fù)責(zé)和用戶層交互的頁(yè)面顯示；業(yè)務(wù)邏輯層負(fù)責(zé)頁(yè)面中具體功能的實(shí)現(xiàn)；數(shù)據(jù)訪問(wèn)層負(fù)責(zé)與數(shù)據(jù)庫(kù)交互，實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)中數(shù)據(jù)的增刪改查操作。各層功能清晰，相互依賴，可以降低功能模塊之間的耦合度，便于閱讀和維護(hù)。網(wǎng)頁(yè)的三層架構(gòu)如圖7所示，展示層包括登錄、注冊(cè)等頁(yè)面；業(yè)務(wù)邏輯層實(shí)現(xiàn)頁(yè)面功能，包括登錄、注冊(cè)、病例填寫(xiě)、病例查看、查看康復(fù)訓(xùn)練等功能；數(shù)據(jù)訪問(wèn)層包括個(gè)人信息實(shí)體類、康復(fù)信息實(shí)體類等。

圖7 網(wǎng)頁(yè)架構(gòu)

3 平臺(tái)測(cè)試

物聯(lián)網(wǎng)終端實(shí)物如圖8所示，包括傳感器、觸摸屏、傳輸模塊和控制模塊STM32。傳感器包括姿態(tài)傳感器MPU-9250和MyoWare肌電傳感器，分別采集康復(fù)運(yùn)動(dòng)時(shí)的姿態(tài)信號(hào)和肌電信號(hào)，用于關(guān)節(jié)活動(dòng)度和肌力的評(píng)價(jià)；觸摸屏是TFT觸摸屏，可通過(guò)觸摸開(kāi)始或停止數(shù)據(jù)采集，記錄訓(xùn)練時(shí)間等功能。

圖8 物聯(lián)網(wǎng)終端實(shí)物

網(wǎng)頁(yè)能夠?qū)崿F(xiàn)醫(yī)生和患者的注冊(cè)和登錄。登錄成功后，進(jìn)入個(gè)人頁(yè)面，可通過(guò)頁(yè)面上的功能鏈接查看對(duì)應(yīng)的內(nèi)容，包括病例填寫(xiě)、病例查看、查看康復(fù)訓(xùn)練等功能。醫(yī)生、患者可通過(guò)網(wǎng)頁(yè)看到康復(fù)訓(xùn)練時(shí)的肌電信號(hào)圖和姿態(tài)曲線圖，查看康復(fù)過(guò)程中肌電信號(hào)的時(shí)域和頻域的特征，以及康復(fù)結(jié)束時(shí)的平均肌力和關(guān)節(jié)活動(dòng)度的數(shù)值；同時(shí)，頁(yè)面顯示是否處于肌肉疲勞狀態(tài)以及開(kāi)始肌肉疲勞的時(shí)間，并顯示上次康復(fù)訓(xùn)練、第1次康復(fù)訓(xùn)練時(shí)，患肢的平均肌肉和關(guān)節(jié)活動(dòng)度的值以及肌肉疲勞的情況，可對(duì)比數(shù)據(jù)評(píng)價(jià)康復(fù)訓(xùn)練效果。

4 結(jié)束語(yǔ)

本文提出上肢遠(yuǎn)程康復(fù)系統(tǒng)，以STM32為控制模塊，通過(guò)Wi-Fi通信技術(shù)，使用MQTT協(xié)議，將康復(fù)數(shù)據(jù)上傳云平臺(tái)，并保存到數(shù)據(jù)庫(kù)中對(duì)應(yīng)的表中，同時(shí)開(kāi)發(fā)醫(yī)生、患者端的網(wǎng)頁(yè)，包括開(kāi)處方、查看康復(fù)訓(xùn)練等主要功能和注冊(cè)、登錄等輔助功能，方便醫(yī)生和患者的使用。后續(xù)會(huì)設(shè)計(jì)實(shí)驗(yàn)，確定有效上肢康復(fù)運(yùn)動(dòng)，采集上肢康復(fù)運(yùn)動(dòng)過(guò)程中的各關(guān)節(jié)和相關(guān)肌肉的數(shù)據(jù)，驅(qū)動(dòng)Unity中的模型運(yùn)動(dòng)，并將處理數(shù)據(jù)的程序以插件的形式上傳至云平臺(tái)，對(duì)康復(fù)數(shù)據(jù)做出初步的評(píng)估，為醫(yī)生康復(fù)評(píng)價(jià)提供參考。