王文春，王倩，龐日朝，江玥，王彧，羅緋，田恬，劉鵬遠(yuǎn)，楊孝光，張安仁

·康復(fù)工程·

基于虛擬現(xiàn)實(shí)技術(shù)的認(rèn)知功能康復(fù)訓(xùn)練系統(tǒng)的設(shè)計(jì)與構(gòu)建①

王文春1，王倩1，龐日朝1，江玥1，王彧1，羅緋3，田恬1，劉鵬遠(yuǎn)2，楊孝光3，張安仁1

目的 本文介紹基于虛擬現(xiàn)實(shí)技術(shù)的認(rèn)知功能康復(fù)訓(xùn)練系統(tǒng)的設(shè)計(jì)構(gòu)建，包括總體構(gòu)思，系統(tǒng)的組成和功能設(shè)計(jì)，系統(tǒng)實(shí)現(xiàn)所采用的訓(xùn)練數(shù)據(jù)形式化描述、人機(jī)交互控制、訓(xùn)練過程仿真控制和虛擬環(huán)境模塊開發(fā)等關(guān)鍵技術(shù)等。該系統(tǒng)適合我國國情和軍隊(duì)環(huán)境，將為認(rèn)知康復(fù)開辟新的治療途徑，有助于推動虛擬現(xiàn)實(shí)技術(shù)在康復(fù)醫(yī)學(xué)領(lǐng)域中的應(yīng)用。

認(rèn)知障礙；認(rèn)知康復(fù)；虛擬現(xiàn)實(shí)技術(shù)

[本文著錄格式]王文春，王倩，龐日朝，等.基于虛擬現(xiàn)實(shí)技術(shù)的認(rèn)知功能康復(fù)訓(xùn)練系統(tǒng)的設(shè)計(jì)與構(gòu)建[J].中國康復(fù)理論與實(shí)踐,2012,18(10):988-990.

認(rèn)知功能障礙是腦損傷患者的常見問題，不僅影響運(yùn)動功能、日常生活活動能力的全面康復(fù)，更直接影響社會適應(yīng)能力，給患者重返社會帶來困難。因此，腦損傷后的認(rèn)知康復(fù)已成為醫(yī)學(xué)界所面臨的重要課題之一。隨著計(jì)算機(jī)技術(shù)的發(fā)展，計(jì)算機(jī)與認(rèn)知障礙領(lǐng)域的結(jié)合已經(jīng)從理論研究進(jìn)入應(yīng)用產(chǎn)品開發(fā)階段。特別是虛擬現(xiàn)實(shí)(virtual reality,VR)技術(shù)的出現(xiàn)，促進(jìn)了計(jì)算機(jī)技術(shù)和認(rèn)知科學(xué)在更高層次的結(jié)合，在認(rèn)知障礙的康復(fù)評定和訓(xùn)練方面表現(xiàn)出傳統(tǒng)方法所無法比擬的優(yōu)勢[1-4]。將虛擬現(xiàn)實(shí)技術(shù)用于認(rèn)知障礙康復(fù)，國外已有眾多的報道[5-7]。國內(nèi)雖然可查到虛擬現(xiàn)實(shí)與認(rèn)知康復(fù)的相關(guān)文獻(xiàn)[8-10]，但均為綜述性文獻(xiàn)，尚未有虛擬現(xiàn)實(shí)技術(shù)用于認(rèn)知康復(fù)的臨床報道。本項(xiàng)目旨在為腦損傷后認(rèn)知功能障礙提供一整套適合我國國情的、具有獨(dú)立自主知識產(chǎn)權(quán)的虛擬現(xiàn)實(shí)康復(fù)訓(xùn)練系統(tǒng)。目前該系統(tǒng)已開發(fā)完成，正在進(jìn)行臨床應(yīng)用。本論文研究的重點(diǎn)是基于虛擬環(huán)境的認(rèn)知康復(fù)訓(xùn)練技術(shù)的研發(fā)。

1 總體設(shè)計(jì)思想

項(xiàng)目總體設(shè)計(jì)思想及目標(biāo)是：將認(rèn)知科學(xué)與康復(fù)醫(yī)學(xué)、虛擬現(xiàn)實(shí)技術(shù)進(jìn)行充分的學(xué)科交叉與融合，針對腦損傷后的認(rèn)知功能障礙，在虛擬現(xiàn)實(shí)建模的基礎(chǔ)上，實(shí)現(xiàn)人機(jī)交互的認(rèn)知康復(fù)評價和訓(xùn)練，克服傳統(tǒng)認(rèn)知康復(fù)治療中耗時、費(fèi)力、效果欠佳的缺點(diǎn)。

2 虛擬認(rèn)知康復(fù)訓(xùn)練系統(tǒng)的構(gòu)成及功能設(shè)計(jì)

虛擬認(rèn)知康復(fù)訓(xùn)練系統(tǒng)結(jié)構(gòu)包括定向能力訓(xùn)練、注意力訓(xùn)練、記憶力訓(xùn)練、視知覺能力訓(xùn)練、空間知覺能力訓(xùn)練、思維操作能力訓(xùn)練和動作運(yùn)用訓(xùn)練7大模塊，每一個模塊都安排低、中、高級3種類別的題目若干。一些題目以多媒體的形式提供給患者作答，訓(xùn)練方式主要有二維圖片、三維物品和借助虛擬場景實(shí)現(xiàn)的虛擬認(rèn)知訓(xùn)練。而在定向能力訓(xùn)練、空間知覺能力訓(xùn)練和動作運(yùn)用能力訓(xùn)練3個模塊中，則根據(jù)定向能力障礙、空間知覺障礙和動作運(yùn)用能力障礙的特點(diǎn)，廣泛使用虛擬現(xiàn)實(shí)技術(shù)。實(shí)施訓(xùn)練時，依據(jù)LOTCA量表評定結(jié)果發(fā)現(xiàn)患者認(rèn)知功能受損的領(lǐng)域，針對不同領(lǐng)域的障礙進(jìn)行相應(yīng)的康復(fù)訓(xùn)練計(jì)劃。以下主要針對這3個模塊中基于虛擬現(xiàn)實(shí)技術(shù)的題目進(jìn)行闡述。為了提高人機(jī)交互的友好性，系統(tǒng)中設(shè)計(jì)兩種交互模式：基于鍵盤、鼠標(biāo)、觸摸屏等普通外設(shè)的交互模式和基于空間球、位置跟蹤器、數(shù)據(jù)手套、立體眼鏡等虛擬外設(shè)的交互模式，分別簡稱普通交互模式和虛擬交互模式。在系統(tǒng)中采用Multigen Creator建立三維模型，使用Vega進(jìn)行虛擬環(huán)境驅(qū)動。

虛擬認(rèn)知康復(fù)訓(xùn)練系統(tǒng)本質(zhì)上是一個人在回路的過程仿真系統(tǒng)，患者按照系統(tǒng)的要求通過外設(shè)與虛擬環(huán)境進(jìn)行交互，驅(qū)動虛擬環(huán)境狀態(tài)發(fā)生變化。系統(tǒng)對整個交互過程進(jìn)行監(jiān)控，提取交互特征數(shù)據(jù)并與已經(jīng)形式化的訓(xùn)練數(shù)據(jù)(題目)進(jìn)行比對，從而確定患者是否達(dá)到題目的要求。

雖然虛擬認(rèn)知康復(fù)訓(xùn)練系統(tǒng)中采用虛擬現(xiàn)實(shí)技術(shù)的題目形式多樣，但由于都是人在回路的過程仿真系統(tǒng)，因此在結(jié)構(gòu)上是一致的，都包括人機(jī)交互、仿真控制、虛擬環(huán)境和訓(xùn)練成績評定等4個模塊，它們相互作用，形成認(rèn)知康復(fù)訓(xùn)練過程仿真模塊，如圖1所示。

圖1 基于虛擬現(xiàn)實(shí)訓(xùn)練題目過程仿真模型結(jié)構(gòu)圖

3 系統(tǒng)關(guān)鍵技術(shù)的實(shí)現(xiàn)

3.1 訓(xùn)練數(shù)據(jù)形式化描述 以空間定向能力中的一個題目為例。一個靶場包括半身靶、射擊位置和預(yù)備區(qū)域三個區(qū)域，一個虛擬戰(zhàn)士處于預(yù)備區(qū)域。題目要求是控制虛擬戰(zhàn)士由預(yù)備區(qū)域到射擊位置射擊后再到半身靶處數(shù)環(huán)數(shù)。在系統(tǒng)中采用Multigen Creator建立三維虛擬靶場。

3.2 人機(jī)交互控制 在普通交互模式下，主要解決用二維交互設(shè)備拾取和控制三維虛擬實(shí)體；在虛擬交互模式下，則要實(shí)現(xiàn)真實(shí)人動作向虛擬人動作的映射，需要解決虛擬外設(shè)安裝、驅(qū)動、映射算法等問題[11]。虛擬交互控制的對象是虛擬人，一是要實(shí)現(xiàn)虛擬人的人體動作，如行走、跑、立定等，人體動作基于DI-GUY實(shí)現(xiàn)，采用空間球進(jìn)行控制。二是控制虛擬人實(shí)施虛擬操作，這需要位置跟蹤器和數(shù)據(jù)手套等虛擬外部設(shè)備。

3.3 訓(xùn)練過程仿真控制 仍以3.1中的題目為例，說明仿真控制的過程，如圖2所示。對是否進(jìn)入某一區(qū)域的判斷方法是，獲得虛擬人的當(dāng)前坐標(biāo)位置P0(x0,y0,z0)，根據(jù)矩形區(qū)域的頂點(diǎn)坐標(biāo)計(jì)算xmin、ymin、xmax、ymax，如果xmin＜x0＜xmax，并且ymin＜y0＜ymax，則虛擬人已處于該區(qū)域[12]。

圖2 仿真控制流程

3.4 虛擬環(huán)境模塊開發(fā) 虛擬環(huán)境模塊負(fù)責(zé)實(shí)現(xiàn)虛擬環(huán)境中各類虛擬實(shí)體行為狀態(tài)的更新、碰撞檢測以及環(huán)境特效。虛擬實(shí)體有3種基本行為模式：平移、旋轉(zhuǎn)和縮放。在Vega中對應(yīng)這3種基本模式分別設(shè)計(jì)相應(yīng)的函數(shù)，通過這3種行為模式的組合，可以實(shí)現(xiàn)任何復(fù)雜的行為。為了保證虛擬環(huán)境的真實(shí)性，在虛擬環(huán)境中需要設(shè)置碰撞檢測，防止出現(xiàn)穿越等不真實(shí)現(xiàn)象。在Vega中提供BUMP、Z、VOLUME等多種成熟的碰撞檢測方法，能夠?qū)崿F(xiàn)與地形表面、與前方障礙物的碰撞檢測與響應(yīng)。Vega中還提供環(huán)境模塊，能夠模仿大氣、日月星辰、霧雨雪等效果。

4 臨床應(yīng)用情況

為比較虛擬認(rèn)知康復(fù)訓(xùn)練系統(tǒng)與人工作業(yè)認(rèn)知訓(xùn)練對顱腦損傷認(rèn)知功能障礙的療效差異，客觀評價該系統(tǒng)的臨床實(shí)用價值，我們進(jìn)行了一個小樣本的臨床觀察。將38例患者隨機(jī)分為兩組，對照組及治療組各19例，兩組均進(jìn)行常規(guī)針刺治療及藥物治療。治療組在此基礎(chǔ)上采用虛擬認(rèn)知康復(fù)訓(xùn)練系統(tǒng)，對照組采用臨床常用人工作業(yè)認(rèn)知訓(xùn)練。治療前后采用LOTCA量表進(jìn)行評價，比較兩種方法對顱腦損傷后認(rèn)知功能障礙的改善情況。試驗(yàn)結(jié)果：①治療前后組內(nèi)比較：對照組除圖片排序B(PS2)、邏輯問題(LQ)條目評分差異無統(tǒng)計(jì)學(xué)意義(P＞0.05)外，其余條目評分差異均有統(tǒng)計(jì)學(xué)意義(P＜0.05)；治療組除圖片排序B(PS2)、幾何圖形排序推理(GS)條目評分差異無統(tǒng)計(jì)學(xué)意義(P＞0.05)外，其余條目評分差異均有統(tǒng)計(jì)學(xué)意義(P＜0.05)。②治療后組間比較：7項(xiàng)認(rèn)知域評分在注意力、空間知覺有統(tǒng)計(jì)學(xué)意義(P＜0.05)，其余5項(xiàng)認(rèn)知域的差異均無統(tǒng)計(jì)學(xué)意義(P＞0.05)；總分比較差異無統(tǒng)計(jì)學(xué)意義(P＞0.05)。

通過臨床應(yīng)用，我們得出初步結(jié)論：虛擬認(rèn)知康復(fù)訓(xùn)練系統(tǒng)與人工作業(yè)認(rèn)知訓(xùn)練對顱腦損傷后認(rèn)知功能障礙均有一定的改善作用。在注意力、空間知覺的改善方面，虛擬認(rèn)知康復(fù)訓(xùn)練系統(tǒng)優(yōu)于人工作業(yè)認(rèn)知訓(xùn)練；在其他認(rèn)知域，兩種方法沒有顯著性差異。與人工作業(yè)認(rèn)知訓(xùn)練相比，虛擬認(rèn)知康復(fù)訓(xùn)練系統(tǒng)更具趣味性，訓(xùn)練效率更高，依從性更好，適用于臨床推廣應(yīng)用。

5 討論

認(rèn)知是人對外界事物的全面感知，包括感覺、知覺、思維、注意、記憶、智能、判斷、推理、學(xué)習(xí)、想象、概括和語言等心理過程[13]，任一過程損害均可導(dǎo)致認(rèn)知功能的障礙。在戰(zhàn)爭中，會造成戰(zhàn)斗員的大量戰(zhàn)傷，其中最嚴(yán)重的首推顱腦戰(zhàn)傷。同樣，在平戰(zhàn)時期的訓(xùn)練中，也會因?yàn)槎喾矫娴脑驅(qū)е嘛B腦損傷。顱腦損傷傷殘率高達(dá)40%[14]，其中認(rèn)知功能障礙是最為常見的顱腦損傷后遺癥之一。認(rèn)知、認(rèn)知科學(xué)(C)已經(jīng)和納米技術(shù)(N)、生物技術(shù)(B)、信息技術(shù)(I)一起，形成21世紀(jì)的NBIC前沿體系。更為嚴(yán)重的是，由于軍事醫(yī)學(xué)的特殊性，戰(zhàn)爭創(chuàng)傷后的認(rèn)知功能障礙不僅影響患者自身的生活質(zhì)量，而且對軍事任務(wù)、軍事機(jī)密等也會造成難以估量的影響。因此，提高戰(zhàn)爭創(chuàng)傷后認(rèn)知功能障礙的康復(fù)技術(shù)水平，不僅對目前平戰(zhàn)時期認(rèn)知功能障礙患者的康復(fù)治療具有重要意義，而且對于一旦發(fā)生戰(zhàn)爭所導(dǎo)致的潛在認(rèn)知功能障礙者也是一種保障。

虛擬現(xiàn)實(shí)技術(shù)是利用計(jì)算機(jī)生成一種模擬環(huán)境(如飛機(jī)駕駛艙、分子結(jié)構(gòu)世界等)，通過多種傳感設(shè)備使用戶“投入”到該環(huán)境中，實(shí)現(xiàn)用戶與該環(huán)境直接進(jìn)行自然交互的技術(shù)。虛擬現(xiàn)實(shí)系統(tǒng)具有“3I”的特征，即沉浸(immersion)、交互(interaction)和想象(imagination)。虛擬現(xiàn)實(shí)可以使人沉浸在計(jì)算機(jī)實(shí)時產(chǎn)生的三維環(huán)境中，并能夠與多種刺激下的虛擬環(huán)境進(jìn)行交互，這就能夠滿足為患者提供一種可控刺激的環(huán)境以進(jìn)行認(rèn)知障礙的康復(fù)治療，并在治療過程中對多種重要指標(biāo)進(jìn)行測量和監(jiān)控[15-17]。同時，對于患者來說，這也是一種有趣新穎的治療方法，整個治療在熟悉的安全環(huán)境中進(jìn)行。如果將治療過程設(shè)計(jì)得比較巧妙，治療過程將像游戲一樣引人入勝，患者也樂于參與，可消除傳統(tǒng)方法的弱點(diǎn)[18]。

在臨床應(yīng)用中，虛擬認(rèn)知康復(fù)訓(xùn)練系統(tǒng)對注意力、空間知覺的改善優(yōu)于人工作業(yè)認(rèn)知訓(xùn)練。推測其原因，可能與本系統(tǒng)在空間知覺能力訓(xùn)練模塊中廣泛使用虛擬現(xiàn)實(shí)技術(shù)有關(guān)。該系統(tǒng)人機(jī)交互的訓(xùn)練形式，豐富多彩的訓(xùn)練內(nèi)容，聲音影像的多重刺激，以及對多種環(huán)境的模擬，能夠吸引患者訓(xùn)練的興趣。同時，該訓(xùn)練系統(tǒng)根據(jù)患者障礙的種類和程度，提供具有針對性的、循序漸進(jìn)的方案，使患者不會因太難而產(chǎn)生挫折感，并感覺到訓(xùn)練挑戰(zhàn)性，從而提高患者訓(xùn)練積極性，使患者能夠有趣有效地進(jìn)行訓(xùn)練，提高訓(xùn)練專注力。故該訓(xùn)練系統(tǒng)在注意力及空間知覺的改善方面表現(xiàn)出較人工作業(yè)認(rèn)知訓(xùn)練更大優(yōu)勢。這與Weiss[19]、Cho[20]等的研究結(jié)果一致。

本課題針對腦損傷后的認(rèn)知功能障礙，在虛擬現(xiàn)實(shí)建模的基礎(chǔ)上，實(shí)現(xiàn)人機(jī)交互的認(rèn)知康復(fù)評定和訓(xùn)練，克服傳統(tǒng)認(rèn)知康復(fù)治療中耗時、費(fèi)力、效果欠佳的缺點(diǎn)，有助于提高腦損傷后認(rèn)知康復(fù)療效，讓患者盡快重返社會。此外，研發(fā)過程中開發(fā)的部分虛擬現(xiàn)實(shí)康復(fù)技術(shù)能為腦損傷后其他功能障礙的研究提供思路，某些核心技術(shù)可直接用于其他虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)產(chǎn)品的開發(fā)。

[1]Standen PJ,Brown DJ.Virtual reality in the rehabilitation of people w ith intellectual disabilities[J].Cyberpsychol Behav, 2005,8(3):72-82.

[2]Rose FD,Brooks BM,Rizzo AA.Virtual reality in brain damage rehabilitation[J].Cyberpsychol Behav,2005,8(3):41-62.

[3]Riva G,Mantovani F,GaggioliA.Presence and rehabilitation: toward second-generation virtual reality applications in neuropsychology[J].JNeuroengineering Rehabil,2004,1(1):9.

[4]Zhang L,Abreu BC,Seale GS,et al.A virtual reality environment for evaluation of a daily living skill in brain injury rehabilitation:reliability and validity[J].Arch Phys Med Rehabil, 2003,84(8):1118-1124.

[5]Lo Priore C,Castelnuovo G,Liccione D,etal.Experiencew ith V-STORE:considerations on presence in virtual environments for effective neuropsychological rehabilitation of executive functions[J].Cyberpsychol Behav,2003,6(3):281-287.

[6]Lannen T,Brown D,Powell H.Controlof virtualenvironments for young peoplew ith learning difficulties[J].Disabil Rehabil, 2002,24(11-12):578-586.

[7]Zhang L,Abreu BC,Masel B,etal.Virtual reality in the assessment of selected cognitive function after brain injury[J].Am J PhysMed Rehabil,2001,80(8):597-604.

[8]李科,堯德中.虛擬現(xiàn)實(shí)技術(shù)在認(rèn)知康復(fù)中的應(yīng)用[J].中華物理醫(yī)學(xué)與康復(fù)雜志,2005,27(4):245-247.

[9]竇祖林,文偉光,譚聲輝,等.認(rèn)知障礙的遠(yuǎn)程康復(fù)進(jìn)展[J].中華物理與康復(fù)醫(yī)學(xué)雜志,2003,25(9):568-571.

[10]張安仁,王文春.腦損傷后認(rèn)知功能障礙的虛擬現(xiàn)實(shí)康復(fù)技術(shù)研究進(jìn)展[J].西南國防醫(yī)藥,2006,16(2):227-229.

[11]劉鵬遠(yuǎn),李瑞華,張錫恩.虛擬操作訓(xùn)練系統(tǒng)中的人機(jī)交互技術(shù)研究[J].系統(tǒng)仿真學(xué)報,2005,17(5):1141-1144.

[12]劉鵬遠(yuǎn),張錫恩.虛擬操作訓(xùn)練系統(tǒng)中的過程仿真模型研究[J].計(jì)算機(jī)仿真,2004,21(3):161-163.

[13]李維.認(rèn)知心理學(xué)研究[M].杭州:浙江杭州人民出版社, 1998.

[14]黎鰲,盛志勇,王正國.現(xiàn)代戰(zhàn)傷外科學(xué)[M].北京:人民軍醫(yī)出版社,1998:608-665.

[15]Tarr MJ,Warren WH.Virtual reality in behavioral neuroscience and beyond[J].NatNeurosci,2002,5(5):1089-1092.

[16]Rizzo AA,Schulthesis MT,Kems KA,et al.Analysis of assets for virtual reality applications in neuropsychology[J].NeuropsycholRehabil,2004,(14):207-241.

[17]Schulthesis MT,Rizzo AA.The application of virtual reality technology for rehabilitation[J].Rehabil Psychol,2001,(46): 296-311.

[18]Emily AK.Virtual reality and physical rehabilitation a new toy or a new research and rehabilitation tool[J].JNeuroengineering Rehabil,2002,(17):378-394.

[19]Weiss PL,Naveh Y,Katz N.Design and testing of a virtualenvironment to train stroke patientsw ith unilateral spatial neglect to crossa streetsafely[J].Occup Ther Int,2003,10:39-55.

[20]Cho BH,Kim S,Shin DS,et al.Neurofeedback training w ith virtual reality for inattention and impulsiveness[J].Cyberpsychol Behav,2004,7:519-527.

Design and Building of Virtual Reality Technology-based Rehabilitation System for Patients w ith Cognitive Deficits

WANG Wen-chun,WANGQian,PANG Ri-zhao,etal.DepartmentofRehabilitation Medicine,Chengdu Military General Hospital ofPLA,Chengdu 610083,Sichuan,China

ObjectiveThe article described the design and building of a virtual reality technology-based rehabilitation system for patientsw ith cognitive deficits,including overall idea,design and structure of the system,the key technology,such as formal description of the training data,man-machine interactive control,controlling simulation of the training process and virtual environmentmodule development to achieve system implementation.The system is suitable for our country andmilitary.Itw ill create a new way for the cognitive rehabilitation and help to promote theapplication of virtual reality technology in rehabilitation.

cognitive deficits;cognitive rehabilitation;virtual reality technology

R493

A

1006-9771(2012)10-0988-03

2012-07-16

2012-08-07)

全軍“十一五”科技攻關(guān)計(jì)劃項(xiàng)目(No.06G050)。

1.中國人民解放軍成都軍區(qū)總醫(yī)院康復(fù)醫(yī)學(xué)科，四川成都市610083；2.石家莊軍械工程學(xué)院，河北石家莊市050003；3.成都軍區(qū)總醫(yī)院計(jì)算機(jī)網(wǎng)絡(luò)管理中心，四川成都市610083。作者簡介：王文春(1977-)，男，四川綿陽市人，碩士，主治醫(yī)師，主要研究方向：神經(jīng)系統(tǒng)疾病的康復(fù)。曾獲省部級科研成果獎4項(xiàng)。通訊作者：張安仁。

10.3969/j.issn.1006-9771.2012.10.029