盧振利 王 紅 馬志鵬 沈玄霖 Marko Penˇc'ic 劉 燕單長考 葛 龍 李 斌 Marjan Mernik

(*常熟理工學(xué)院電氣與自動化工程學(xué)院 常熟 215500)(**中國礦業(yè)大學(xué)信息與控制工程學(xué)院 徐州 221116)(***常熟市第二人民醫(yī)院康復(fù)醫(yī)學(xué)科 常熟 215500)(****諾維薩德大學(xué)技術(shù)科學(xué)學(xué)院, 諾維薩德 21000，塞爾維亞)(*****常熟科創(chuàng)園管理服務(wù)中心 常熟 215500)(******中國科學(xué)院沈陽自動化研究所 機器人學(xué)國家重點實驗室 沈陽 110014)(*******馬里博爾大學(xué)電氣工程和計算機科學(xué)學(xué)院, 馬里博爾 462000，斯洛文尼亞)

0 引 言

小兒腦性癱瘓簡稱腦癱(cerebral palsy，CP) ，是小兒最常見和最為嚴(yán)重的疾病，會造成運動、姿勢、語言、聽覺、視覺、智力等多種障礙。由于腦癱成因不定，其癥狀也不定，無法治愈，只能通過康復(fù)訓(xùn)練使患兒的運動、語言、智力等達到正常人的水平。因此對于腦癱患兒來說，越早采取護理干預(yù)，康復(fù)效果越好。

人機交互(human robot interaction，HRI)技術(shù)是一項研究用戶和計算機之間交互關(guān)系的技術(shù)。使用人機交互中的語音識別技術(shù)設(shè)計機器人輔助康復(fù)訓(xùn)練系統(tǒng)，可以有效提高腦癱患兒對康復(fù)訓(xùn)練的興趣性和參與程度，從而提高康復(fù)訓(xùn)練效果。

馬英杰等人[1]基于語音識別設(shè)計了失語癥康復(fù)治療儀軟件，應(yīng)用于腦部疾病引起的失語癥病人的康復(fù)治療。鄭義東等人[2]針對言語溝通障礙兒童，在Android平臺上設(shè)計了輔助溝通及康復(fù)訓(xùn)練系統(tǒng)。鄧杏娟等人[3]基于語音識別技術(shù)的失語癥輔助診斷及康復(fù)治療系統(tǒng)的研究，為腦癱患兒的語音訓(xùn)練提供了新的方法。

本研究設(shè)計了面向痙攣型腦癱患者設(shè)計數(shù)字手勢訓(xùn)練系統(tǒng)，針對語音辨識模塊、人機交互模塊，與能夠產(chǎn)生手勢的機器人系統(tǒng)進行聯(lián)調(diào)，在達到語言訓(xùn)練效果的同時，提高患者自己握物、肢體協(xié)調(diào)的能力。

1 系統(tǒng)架構(gòu)設(shè)計

這一系統(tǒng)練習(xí)了腦癱患兒對于數(shù)字手勢的認識，以及強化其語言訓(xùn)練和手部精細操作訓(xùn)練的效果。在這一過程中有2個難點，一是如何將語音與每個對應(yīng)的訓(xùn)練動作聯(lián)系起來，二是如何將語音與對應(yīng)的仿生手動作聯(lián)系起來。

為了解決這2個難點，將語音與訓(xùn)練聯(lián)系起來，系統(tǒng)在語音識別說的數(shù)字時，發(fā)送對應(yīng)的標(biāo)識符給Labview和仿生手控制器，使它們完成對應(yīng)動作，更新顯示圖片以及控制仿生手表達所說的數(shù)字。如當(dāng)識別語音字符串“yi”時，會發(fā)送標(biāo)識符“1”給Labview和仿生手控制器，達到訓(xùn)練的效果。表1為對應(yīng)的標(biāo)識符列表。

表1 標(biāo)識符列表

2 語音訓(xùn)練系統(tǒng)設(shè)計

基于領(lǐng)域特定語言機制的語音訓(xùn)練系統(tǒng)選擇單片機Arduino MEGA 2560[4]作為主控制器；語音模塊選用 LD3320語音芯片[5,6]，對語音識別控制；顯示模塊選用LCD1602顯示屏，顯示識別語音的拼音；仿生手模塊選用Arduino Uno通過串口控制舵機控制板，使仿生手舵機做出相應(yīng)的數(shù)字手勢；人機交互系統(tǒng)通過Labview軟件實現(xiàn)機器人與語音芯片的通訊。系統(tǒng)架構(gòu)如圖1所示。

2.1 硬件系統(tǒng)

硬件系統(tǒng)包括主控制器Arduino MEGA 2560、語音芯片LD3320、仿生手控制器Arduino Uno和舵機控制板等。語音識別模塊(TXD/RXD)與主控制器的通訊為：TXD連接單片機數(shù)據(jù)通信RX0，RXD連接單片機數(shù)據(jù)通信TX0；舵機控制板(TX/RX)與主控制器的通訊為：TX連接單片機數(shù)據(jù)通信RX1，RX連接單片機數(shù)據(jù)通信TX1。部分硬件圖如圖2所示。

圖1 系統(tǒng)架構(gòu)圖

(a) Arduino MEGA 2560

(b) LD3320語音芯片

圖2 部分硬件圖

2.2 語音辨識系統(tǒng)

語音辨識功能是將采集到的聲音信號轉(zhuǎn)換成拼音，再跟預(yù)先編輯的關(guān)鍵字拼音進行匹配，選擇最佳匹配字作為輸出結(jié)果。本設(shè)計的關(guān)鍵字列表是1～9這9個數(shù)字的拼音，需要事先寫入這9個關(guān)鍵字[7-9]。表2為關(guān)鍵字列表。

表2 關(guān)鍵字列表

在進行語音識別調(diào)試中，由于單音節(jié)的識別誤差比較大，對這9個音節(jié)均進行10次實驗，結(jié)合表3選擇6～9這4個連續(xù)的音節(jié)作為識別關(guān)鍵字，檢測系統(tǒng)效果，為后面設(shè)計其他訓(xùn)練項目提供技術(shù)基礎(chǔ)。

表3 音節(jié)正確率對比

2.3 仿生機器手系統(tǒng)

結(jié)合人的手勢，采用仿生機械手模仿人的不同手勢，在本系統(tǒng)中選用仿生手來表示數(shù)字手勢。控制仿生手動作實際是控制內(nèi)部的舵機轉(zhuǎn)動，改變舵機的轉(zhuǎn)動角度可以使仿生手的手指呈現(xiàn)伸直到不同程度的彎曲狀態(tài)。設(shè)計轉(zhuǎn)動角度0 °和轉(zhuǎn)動角度160 °分別表示仿生手指的彎曲與直立，通過設(shè)置5個舵機的轉(zhuǎn)動角度來控制5個手指的狀態(tài)，從而顯示不同的手勢。仿生手的4個數(shù)字手勢動作如圖3所示。

圖3 仿生手的4個數(shù)字手勢動作

仿生手動作流程圖如圖4所示。

圖4 仿生手動作流程圖

3 人機交互系統(tǒng)設(shè)計

人機交互系統(tǒng)在Labview[10,11]環(huán)境下開發(fā)，在測試過程中輔助判斷測試者對數(shù)字手勢的辨別情況、反應(yīng)能力以及語言能力。當(dāng)開始測試時，在小窗口上顯示手勢圖片，測試者辨別手勢圖片所表示的數(shù)字，說出數(shù)字拼音，如果識別正確，綠色指示燈亮，系統(tǒng)更換圖片，否則系統(tǒng)一直停留在這一狀態(tài)。在測試過程中，實時記錄辨別時間和正確率，繪制辨別時間曲線。圖5是上位機交互界面。

圖5 上位機交互界面

3.1 數(shù)字手勢辨識與交互

在上位機中為了自動顯示并更新數(shù)字手勢圖片，設(shè)計一個可以根據(jù)不同輸入字符隨機顯示圖片的子程序，方便調(diào)用。通過拆分路徑和創(chuàng)建路徑形成數(shù)字手勢圖片的路徑，再通過讀取圖片文件返回圖像信息，再經(jīng)過繪制平像化像素圖在小窗口顯示數(shù)字手勢圖片。圖6為圖片顯示程序圖，圖7為4種數(shù)字手勢圖片。

圖6 圖片顯示程序圖

3.2 人機交互系統(tǒng)通訊模塊

為確保動作辨識與人機交互模塊的串口通信一致，使用VISA儀器的標(biāo)準(zhǔn)輸入/輸出接口。VISA不僅可以有效地控制串口、USB和其他設(shè)備，實現(xiàn)串口的相互通訊，還能夠根據(jù)使用的儀表類型調(diào)用相對應(yīng)的驅(qū)動程序、操作系統(tǒng)和其他編程環(huán)境。圖8為串口數(shù)據(jù)通訊圖。

圖7 顯示的4種數(shù)字手勢圖片

圖8 串口數(shù)據(jù)通訊圖

4 腦癱康復(fù)訓(xùn)練系統(tǒng)聯(lián)調(diào)

4.1 動作語音模塊聯(lián)調(diào)

當(dāng)動作辨識模塊相互連接等到上電之后，led燈亮，表示語音芯片與單片機連接已經(jīng)正常。此時若對著語音芯片說“1”，顯示屏能正確顯示相同文字信息“yi”，即表明語音芯片測試正常，如圖9所示。與此同時，仿生機械手同步動作手勢如圖10(a)所示，即說明仿生機械手測試運行正常。

圖9 語音芯片測試圖

4.3 人機交互模塊聯(lián)調(diào)

打開人機交互系統(tǒng)，開始測試。當(dāng)人機交互界面顯示手勢圖片“2”時，對著語音芯片說出“er”，若判斷正確后，指示燈亮，顯示屏顯示“er”，如圖11所示；機器人通過指令顯示手勢2，如圖10(b)所示。

圖10 機器人實現(xiàn)手勢測試圖

(a) 圖片顯示與指示燈測試圖

(b) 顯示屏測試圖

5 系統(tǒng)性能評估

5.1 訓(xùn)練方法設(shè)計

事物的手勢符號是掌握言語符合及文字符號的基礎(chǔ)，因此在對患兒進行言語符號訓(xùn)練的同時也要給于手勢符號作為刺激。對患兒進行數(shù)字手勢訓(xùn)練，除了訓(xùn)練患兒對于日常數(shù)字的語言表達能力外，還能刺激患兒模仿數(shù)字手勢動作，加快理解數(shù)字含義。

啟動人機交互系統(tǒng)，系統(tǒng)首先會彈出信息輸入框，用以幫助記錄不同腦癱患者的康復(fù)訓(xùn)練效果；隨后開啟訓(xùn)練，患者照著數(shù)字手勢圖片說出圖片中手勢所表示的數(shù)字，評價系統(tǒng)會根據(jù)語音識別后的信息作出判斷，若為正確則指示燈亮并記錄患兒的反應(yīng)時間，同時仿生機械手做出與圖片一致的手勢動作。在訓(xùn)練過程中若患兒識別的時間超過10 s，則判定為不正確。

5.2 案例分析

案例：患者A 為女性，6歲，臨床診斷的結(jié)果為痙攣型腦癱[12]。癥狀主要表現(xiàn)為手肢體運動有困難、握物能力差、交流能力較好、注意力集中時間比較長。語言診斷結(jié)果為語言發(fā)育基本正常。

測試結(jié)果評定：以數(shù)字手勢6～9為一組，共測試10次，每次的檢測結(jié)果如表4所示。

表4 數(shù)字手勢測試表

根據(jù)表4中患兒每次識別數(shù)字手勢的時間和正確率，可以畫出其在識別數(shù)字手勢6過程中每次識別所需時間的變化圖和識別正確與否的變化圖，如圖12所示。

圖12 手勢6的識別時間和正確率

根據(jù)上圖表，可以直觀地看出患兒在識別數(shù)字手勢6的10次測試中，隨著測試的進行，其所需的識別時間逐漸降低并趨于穩(wěn)定，識別正確率也越來越高，康復(fù)訓(xùn)練效果有所體現(xiàn)。

數(shù)字7、8、9的識別時間和正確率如圖13、圖14和圖15所示。

圖13 手勢7的識別時間和正確率

圖14 手勢8的識別時間和正確率

圖15 手勢9的識別時間和正確率

依據(jù)圖表信息可知：受測者在識別手勢7和識別手勢8圖片時，準(zhǔn)確率較高。隨著測試次數(shù)增加，正確率較高，識別時間也逐步縮短并穩(wěn)定。在識別手勢9時，雖然一開始測試結(jié)果不好，但該受測者基本具備說話交流能力，在后面測試時識別正確率較高，識別時間也趨于穩(wěn)定。

6 結(jié) 論

本文設(shè)計了基于語音識別的腦癱康復(fù)數(shù)字訓(xùn)練系統(tǒng)。該系統(tǒng)針對腦癱患兒的語音康復(fù)訓(xùn)練，采用了單片機和語音芯片的結(jié)合，與機器人做出數(shù)字手勢動作相匹配，以串口通信的方式實現(xiàn)動作辨識模塊與人機交互模塊的數(shù)據(jù)傳送，可實時記錄接受康復(fù)訓(xùn)練的腦癱患兒的各項數(shù)據(jù)，并進行相關(guān)的評價和分析。該系統(tǒng)提升了腦癱康復(fù)訓(xùn)練系統(tǒng)的趣味性和互動性。