王欣萍,王麗華,孫 堯
哈爾濱醫(yī)科大學(xué):1基礎(chǔ)醫(yī)學(xué)院計算機(jī)教研室;2附屬第二醫(yī)院神經(jīng)內(nèi)科,哈爾濱 150081;3黑龍江中醫(yī)藥大學(xué)信息中心計算機(jī)教研室,哈爾濱 150040
伴隨計算機(jī)仿真技術(shù)的快速發(fā)展,利用計算機(jī)虛擬現(xiàn)實,輔助各種工作和研究已經(jīng)在諸多行業(yè)中開展起來。在醫(yī)學(xué)領(lǐng)域,以虛擬現(xiàn)實技術(shù)為基礎(chǔ)設(shè)計的虛擬病人在臨床輔助治療、仿真訓(xùn)練、醫(yī)學(xué)教學(xué)等方面發(fā)揮著越來越重要的作用。虛擬病人(virtual patients,VP)是指利用先進(jìn)的計算機(jī)虛擬現(xiàn)實技術(shù)建立仿真人物模型,通過軟件編寫控制程序,對模擬人物實行智能化操作控制,以模擬實現(xiàn)臨床診斷過程,具有交互性、沉浸性、直觀性和構(gòu)想性等特點。虛擬病人的設(shè)計是基于醫(yī)學(xué)知識的設(shè)計,知識所具有的內(nèi)隱性及情景依賴性也為虛擬病人的設(shè)計提供了必要的情境脈絡(luò)。虛擬病人設(shè)計的一個本質(zhì)特征在于協(xié)調(diào)“人-物-環(huán)境”組成情境的動態(tài)關(guān)系,為參與者創(chuàng)建一個和諧結(jié)構(gòu)的診療方式。如何將知識與設(shè)計應(yīng)用相互結(jié)合,是實現(xiàn)智能化應(yīng)用設(shè)計的重要研究內(nèi)容。
知識驅(qū)動的設(shè)計是將虛擬病人的設(shè)計過程分為問題情境、求解情境和結(jié)果情境三個維度[1]。三個維度之間的關(guān)系如下:
其中,VSD表示虛擬病人設(shè)計情境,Q表示問題情境,S表示求解情境,R表示結(jié)果情境。qn1、sn2和rn3的變化會引發(fā)VSD的變化,即使是相同的VSD,qn1、sn2和 rn3也會有所差異。
知識在虛擬病人的設(shè)計情境中不斷轉(zhuǎn)化,表現(xiàn)為“獲取-表示-傳遞-利用-評價”的過程(如圖1所示)。
在虛擬病人的設(shè)計過程中,知識貫穿始終是為設(shè)計提供支持。同時,在虛擬病人設(shè)計過程中形成的顯性知識和隱性知識將充實到知識庫中,形成互相補(bǔ)充的過程。
圖1 知識驅(qū)動的虛擬病人情境框圖
知識驅(qū)動的虛擬病人首先由決策者選擇合適的病案,制定數(shù)據(jù)結(jié)構(gòu),形成知識數(shù)據(jù)庫的基本框架,并有效地組織數(shù)據(jù),這是提高效率和支持知識配置的重要環(huán)節(jié)。
虛擬病人系統(tǒng)采用模塊化的分布式結(jié)構(gòu),其通信方式是信息傳遞。模塊化的結(jié)構(gòu)允許設(shè)計者可以根據(jù)需要進(jìn)行添加、替換或者合并需要的組件,用戶的使用也更加靈活、方便、適應(yīng)性強(qiáng)(系統(tǒng)結(jié)構(gòu)圖及數(shù)據(jù)流如圖2所示)。
圖2 虛擬病人系統(tǒng)體系結(jié)構(gòu)及數(shù)據(jù)流圖
在系統(tǒng)結(jié)構(gòu)圖中,麥克風(fēng)和鍵盤是兩種常用的輸入方式。通過麥克風(fēng)可以輸入音頻信號,語音識別引擎處理音頻數(shù)據(jù),并產(chǎn)生文本將其發(fā)送到反應(yīng)選擇模塊。通過鍵盤輸入,可以直接產(chǎn)生文本并發(fā)送到對話管理模塊。
用于實現(xiàn)問題/回答的對話管理模塊在接收到文本之后,進(jìn)行具體分析,然后選擇最適當(dāng)?shù)姆磻?yīng)。通過一個預(yù)先定義的響應(yīng)行數(shù),反應(yīng)選擇模塊在獲得用戶的話語后會選擇其中一個答案。輸出響應(yīng)通過數(shù)據(jù)庫選擇,完成之后會被打包成一個功能標(biāo)記語言的消息結(jié)構(gòu)[2]。
消息被發(fā)送到非語言行為模塊。此時,適用一組規(guī)則來選擇虛擬病人的手勢、凝視角度、身體姿勢等動作。如坐下、手臂動作、搖頭或點頭等。一旦適當(dāng)?shù)妮斎胛淖值男袨檫x擇好后,打包成行為標(biāo)記語言結(jié)構(gòu)并將其發(fā)送到一個程序性動畫系統(tǒng)。
最后一部分是執(zhí)行和顯示虛擬病人的多種模式行為,通過智能體動畫系統(tǒng)來完成[3]。智能體在接收到消息后,立刻執(zhí)行其中包含的行為,如頭部、表情、眼神、肢體動作和語音等同步執(zhí)行的設(shè)置。通過服務(wù)器調(diào)用預(yù)先錄制的語音文件,虛擬病人對參與者提出問題進(jìn)行回應(yīng)。智能體掛接到一個可視化引擎,由其輸出圖像。智能體控制虛擬病人并指定人物講話時播放應(yīng)屬的聲音文件,從而實現(xiàn)與參與者之間的交流。
在定義虛擬人物的行為、態(tài)度和條件中,藝術(shù)工作起到重要的作用。通過虛擬環(huán)境和虛擬人物的行為,人們可以在最初的幾秒鐘對他進(jìn)行一個初步的判斷(如圖3所示),設(shè)計虛擬病人“李強(qiáng)”,基本情況由虛擬病人口述及文字兩種形式表達(dá)。具體情況為:男,34歲,三周前開始有鼻塞、流涕及發(fā)熱的癥狀,感覺四肢乏力,近四天癥狀加重,右上肢有麻木感。圖中為虛擬病人演示右上肢癥狀,同時伴有胸悶、吞咽困難、進(jìn)食咳嗆等癥狀。虛擬環(huán)境設(shè)計為較為舒適的辦公環(huán)境,使得患者感覺猶如在家里。
圖3 虛擬病人及虛擬環(huán)境設(shè)計圖
參與者對虛擬病人的診療過程分為3個階段:①問診階段。即對患者基本情況的了解,此階段的目的在于提高參與者的問診技巧和交流能力;②項目檢查階段。參與者根據(jù)所學(xué)醫(yī)學(xué)知識對虛擬病人進(jìn)行體格檢查和輔助檢查,此過程的參與者和虛擬病人交互完成。系統(tǒng)顯示相應(yīng)檢查項目,由參與者進(jìn)行選擇,得出“李強(qiáng)”的呼吸、聲音、雙眼閉合情況、腱反射、肌張力情況、EEG、EKG等結(jié)果;③診斷階段。參與者根據(jù)檢查結(jié)果進(jìn)行分析思考,得出相應(yīng)的結(jié)論,并提出治療方案。參與者的診斷依據(jù)、結(jié)果及治療方案既可以提交給指導(dǎo)教師,亦可通過網(wǎng)絡(luò)共享給其他參與者,協(xié)同討論,實現(xiàn)會診。診斷結(jié)論提交后,系統(tǒng)將顯示正確的診斷結(jié)果。如“李強(qiáng)”的正確診斷結(jié)果為格林-巴利綜合癥,同時顯示對應(yīng)的診斷依據(jù),對參與者的診斷進(jìn)行診斷過程評價及診斷結(jié)果評價。除此之外,系統(tǒng)以文字形式提供相應(yīng)的鑒別診斷,如急性脊髓灰質(zhì)炎等。治療過程以動畫形式循環(huán)演示。
在傳統(tǒng)的臨床教學(xué)中,技能訓(xùn)練需要聘請和培訓(xùn)標(biāo)準(zhǔn)化病人,醫(yī)學(xué)生的訓(xùn)練受到資源和人數(shù)的限制。利用虛擬病人代替標(biāo)準(zhǔn)化病人,實現(xiàn)臨床培訓(xùn),可以通過發(fā)揮虛擬病人交互性、直觀性等特點解決一系列問題。其優(yōu)點主要包括:可重復(fù)操作、無風(fēng)險、可糾錯、可控性等。在反饋階段,學(xué)生可以收到在訓(xùn)練階段中表現(xiàn)的反饋信息,也可以退出或返回到交互模擬的任何階段。通過虛擬信息培訓(xùn)系統(tǒng),學(xué)生猶如身臨其境,提高了學(xué)生的觀察能力。在針對虛擬病人應(yīng)用的網(wǎng)絡(luò)問卷調(diào)查中,隨機(jī)抽取100份問卷,統(tǒng)計結(jié)果顯示,94%的學(xué)生對運用虛擬病人進(jìn)行臨床知識學(xué)習(xí)有興趣;82%的學(xué)生進(jìn)行了病例的重復(fù)操作,并認(rèn)為通過重復(fù)的訓(xùn)練,可以更好地掌握醫(yī)學(xué)知識;76%的學(xué)生認(rèn)為運用虛擬病人的教學(xué)形式新穎,知識量大,學(xué)習(xí)形式多樣,能滿足學(xué)習(xí)需要。
該系統(tǒng)的優(yōu)勢在于系統(tǒng)設(shè)計基于知識驅(qū)動,顯性知識和隱性知識貫穿始終。虛擬病人系統(tǒng)通過文字、聲音、圖像及動畫等多種形式來展現(xiàn)不同的知識情境,依照問題情境、求解情境和結(jié)果情境三者的關(guān)系,在學(xué)生檢查及診斷過程中提供相應(yīng)的提示信息及相關(guān)知識,學(xué)生可以控制診斷的進(jìn)程,實現(xiàn)與虛擬病人的交互。研究顯示,85%的學(xué)生認(rèn)為通過對虛擬病人的診斷過程,能夠清晰地掌握診斷過程及技巧,熟悉相關(guān)的臨床知識,提高臨床診治技能。
虛擬病人系統(tǒng)支持通過網(wǎng)絡(luò)在線與指導(dǎo)教師溝通。學(xué)生與虛擬病人交互過程中可以通過網(wǎng)絡(luò)與其他參與人實現(xiàn)聯(lián)合會診。獨立會診與聯(lián)合會診為參與者提供了更多的選擇,問診記錄及診斷過程將被保存到數(shù)據(jù)庫中,學(xué)生可以隨時調(diào)用。此外,臨床虛擬標(biāo)準(zhǔn)化病人需要大量的病案數(shù)據(jù)支持,在設(shè)計虛擬病人系統(tǒng)時,必須建立常見病、疑難病例后臺數(shù)據(jù)庫,伴隨虛擬病人模型的豐富與完善,數(shù)據(jù)庫中的常見病、疑難病例數(shù)據(jù)量會越來越大[4-6]。開放的病案數(shù)據(jù)資源將給臨床診斷和臨床教學(xué)提供優(yōu)化的、高質(zhì)量的病案信息。利用網(wǎng)絡(luò)技術(shù)可以實現(xiàn)臨床病例資源共享,輔助解決疑難病癥。82%的學(xué)生認(rèn)為通過網(wǎng)絡(luò)實現(xiàn)師生互動,能夠提高臨床學(xué)習(xí)效果。
知識驅(qū)動設(shè)計的虛擬病人系統(tǒng)是計算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)、虛擬現(xiàn)實技術(shù)與現(xiàn)代醫(yī)學(xué)交叉、集成的產(chǎn)物,具有廣闊的應(yīng)用前景[7]。隨著醫(yī)學(xué)生人數(shù)的增加,醫(yī)學(xué)院校的臨床教學(xué)資源日趨緊張,使用虛擬病人進(jìn)行臨床教學(xué),不僅能夠緩解教學(xué)資源的問題,更能夠使學(xué)生產(chǎn)生身臨其境的教學(xué)效果,其交互性特點更使得學(xué)習(xí)變得積極主動。美國及歐洲的多所大學(xué)也在利用虛擬病人進(jìn)行虛擬仿真培訓(xùn)、心理輔導(dǎo)等研究[8-12]。在我國的臨床教學(xué)方面,虛擬病人的應(yīng)用尚處于起步階段,開發(fā)的病例較少,疾病種類不豐富,未來的研究方向?qū)⑦M(jìn)一步開發(fā)多種類型的病例,完善已有病例,為學(xué)生提供更多的選擇。相信自主開發(fā)或引用優(yōu)秀虛擬病人系統(tǒng)開展臨床教學(xué)及研究,將形成一種新的教學(xué)模式。伴隨虛擬現(xiàn)實技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展,虛擬病人的應(yīng)用將更加廣泛,亦將為臨床醫(yī)學(xué)帶來更多革命性的變化。
[1]羅仕鑒,朱上上,唐云.知識驅(qū)動的產(chǎn)品設(shè)計情境[J].浙江大學(xué)學(xué)報:工學(xué)版,2008,42(11):1849-1855
[2]Kopp S,Krenn B,Marsella S,et al.Towards a Common Framework for Multimodal Generation:The Behavior Markup Language[M].Lecture Notes in Comp Sci,2006:4133,205-217
[3]Kenny P,Parsons T D,Gratch J,et al.Virtual Patients for Clinical Therapist Skills Training[J].Lecture Notes in Comp Sci,2007,Volume 4722/2007:197-210
[4]Odd AM,Choudhury B.Virtual reality anatomy:Is it comparable with traditional methods in the teaching of human forearm musculoskeletal anatomy[J].Anatom Sci Edu,2011,4(3):119-125
[5]Krause A.The Virtual Patient:developing drugs using modeling and simulation[J].Chance,2010,23(1):50-52
[6]Laver K,George S,Ratcliffe J,et al.Virtual reality stroke rehabilitation-hype or hope? [J].Austra Occup Therapy J,2011,58(3):215-219
[7]Iorizzo D B,Riley M E,Hayhoe M,et al.Differential impact of partial cortical blindness on gaze strategies when sitting and walking-An immersive virtual reality study[J].Vision Res,2011,51(10):1173-1184
[8]Bertrand J,Babu S V,Polgreen P,et al.Virtual Agents Based Simulation for Training Healthcare Workers in Hand Hygiene Procedures[J].Lecture Notes in Comp Sci,2010,6356,125-131
[9]Gutiérrez-Maldonado J,Alsina-Jurnet I,María Virginia Rangel-Gómez,et al.Studies in Computational Intelligence[M].Springer Berlin/Heidel-berg,2008:497-505
[10]Triola M,F(xiàn)eldman H,Kalet A L,et al.A Randomized Trial of Teaching Clinical Skills Using Virtual and Live Standardized Patients[J].J of Gene Inter Med,2006,21(5):424-429
[11]Gregg L,Tarrier N.Virtual reality in mental health[J].Soc Psy and Psy Epidemiol,2007:42(5):343-354.
[12]Chad Lane H,Schneider M,Michael S W,et al.Virtual Humans with Secrets:Learning to Detect Verbal Cues to Deception[J].Lecture Notes in Comp Sci,2010,6095,144-154