劉斯燁
浙江工業(yè)大學(xué)教育科學(xué)與技術(shù)學(xué)院,杭州 310000
·數(shù)字醫(yī)學(xué)·
基于虛擬現(xiàn)實(shí)的雙眼視功能訓(xùn)練系統(tǒng)設(shè)計(jì)
劉斯燁
浙江工業(yè)大學(xué)教育科學(xué)與技術(shù)學(xué)院,杭州 310000
目前主流的弱視治療方式為遮蓋治療,每日遮蓋優(yōu)勢眼數(shù)小時,有時治療長達(dá)幾個月,患者的依從性較低,其次也在一定程度上影響其雙眼視功能。該研究提出一種新穎的針對雙眼的弱視治療方案:基于虛擬現(xiàn)實(shí)技術(shù),結(jié)合感知學(xué)習(xí)理論與視功能訓(xùn)練原理,設(shè)計(jì)并實(shí)現(xiàn)一個交互式雙眼視功能訓(xùn)練系統(tǒng),讓患者佩戴VR眼鏡,雙眼分離式訓(xùn)練并操作互動游戲來提高視力。通過使用該系統(tǒng),患者的懶惰眼不斷接收刺激,而優(yōu)勢眼也不會被完全抑制,鍛煉患者的融合視,提高立體視覺。該系統(tǒng)應(yīng)用于弱視臨床治療,具有易操作性、趣味性和先進(jìn)性,增加患者的治療依從性,提高治療效果。
虛擬現(xiàn)實(shí);感知學(xué)習(xí);雙眼視覺;VR眼鏡;交互式
弱視是一種較為常見的空間視覺發(fā)育混亂且進(jìn)行光學(xué)矯正后遠(yuǎn)視力仍≤0.8的眼科臨床疾病,是臨床上最常見的引起單眼失明的病因,其患病率國外平均為2.0%~2.5%,國內(nèi)平均為2.8%,我國的弱視兒童有1 000多萬,還有大量的成人弱視患者[1]。弱視患者的學(xué)習(xí)、工作以及生活都會受到不同程度的影響,嚴(yán)重者還會產(chǎn)生心理負(fù)面情緒。傳統(tǒng)的治療方式有遮蓋療法、抑制療法、屈光治療和針刺療法等,大多都是針對單眼進(jìn)行訓(xùn)練,患者依從性低,也會在一定程度上損害深度知覺。該研究提出了一種新的治療系統(tǒng),克服了許多上面所述的問題,與傳統(tǒng)的單眼修復(fù)治療有所不同,直接針對雙眼視功能進(jìn)行訓(xùn)練,不僅可以取得良好的治療效果,也有利于雙眼視功能提高與治療效果的保持。
1.1 治療原理
弱視患者的主要損傷在視皮層,由于各種因素的影響,降低了傳輸過程中的視覺信息,視覺皮層中用以響應(yīng)視覺信息的視覺細(xì)胞也會減少或被阻礙生長,削弱了視覺傳達(dá)的功能,使視功能發(fā)育延遲,最終導(dǎo)致弱視[2]。臨床上最早記錄的弱視病例在1700年,自1740年以來,對弱視的治療方法就以“遮蓋”治療為主[3],其次還有抑制療法(服用阿托品或使用光學(xué)鏡片抑制)、屈光治療、藥物治療、針刺療法以及綜合治療等方法[4]。弱視的治療具有兩個主要目的:①使懶惰眼恢復(fù)并達(dá)到正常的視力水平;②保持視覺提升并避免倒退[5]。
1.2 傳統(tǒng)治療方式
傳統(tǒng)的治療方式大多是針對單眼進(jìn)行訓(xùn)練,但對于具備雙眼視覺的人類來說,只使用單眼(弱視眼)來感受視覺環(huán)境,雖有治療效果,同時也造成很多問題,如患者容易產(chǎn)生心理負(fù)面情緒、依從性低等。其中,最明顯受損的即為深度知覺,對于雙眼視功能的提升幾乎無效,有些服用藥品治療也出現(xiàn)了副作用。根據(jù)臨床上的相關(guān)記錄,有些患者使用阿托品治療后,優(yōu)勢眼反而變成了弱視眼[6-7]。兒童眼病調(diào)查組(The pediatric eye disease investigator group,PEDIG)在1998招募患者就遮蓋時間長短的不同進(jìn)行分組治療,其研究結(jié)果表明,每日遮蓋超過6 h與遮蓋時間2~6 h的治療效果相近[8-10]。其次,傳統(tǒng)遮蓋過程中,患者的依從性相對較低,不少研究小組都對干預(yù)材料進(jìn)行研發(fā),Tjiam等[11]在遮蓋治療時讓患者觀看卡通漫畫,能顯著提高患者的依從性;Pradeep等[12]的分組研究中發(fā)現(xiàn),增加干涉組中途退出的患者數(shù)量與不合格的患者數(shù)量都少于對照組。再次,弱視治療中另一個備受關(guān)注的則為停止治療后的復(fù)發(fā)。有數(shù)據(jù)表明,13%~24%的患者治療完成后一年其矯正視力都會下降標(biāo)準(zhǔn)視力表兩行或更多,引起復(fù)發(fā)的原因與治療時的視野、斜視、有無屈光參差,以及異常雙眼視功能等有關(guān)[13-15]。
1.3 基于虛擬現(xiàn)實(shí)的視功能訓(xùn)練系統(tǒng)設(shè)計(jì)原理
虛擬現(xiàn)實(shí)(virtual reality)技術(shù),即以計(jì)算機(jī)技術(shù)為核心,結(jié)合其他相關(guān)學(xué)科技術(shù),模擬真實(shí)的現(xiàn)實(shí)環(huán)境生成高近似度的數(shù)字化環(huán)境,用戶在該環(huán)境下借助特定的裝備進(jìn)行互動操作[16]。隨著計(jì)算機(jī)技術(shù)的興起,虛擬現(xiàn)實(shí)技術(shù)也開始應(yīng)用于各個領(lǐng)域,在醫(yī)療方面也有其獨(dú)特的應(yīng)用。例如:楊素紅等[17]利用視覺虛擬現(xiàn)實(shí)訓(xùn)練軟件增視能,將虛擬場景與弱視治療相結(jié)合,獲得了很好的治療效果。其次,根據(jù)近年來的有關(guān)弱視治療的文獻(xiàn)研究發(fā)現(xiàn),在弱視訓(xùn)練中加入感知學(xué)習(xí)(perceptual learning),也被相關(guān)實(shí)驗(yàn)證實(shí)可提升視覺敏感期后患者懶惰眼的視力。感知學(xué)習(xí)最早由Eleanor Gibson(1963)定義,其原理是利用大腦神經(jīng)系統(tǒng)的可塑性,通過特定的視覺刺激和視覺學(xué)習(xí),激活視覺神經(jīng)的信號通路,矯治和改善大腦神經(jīng)系統(tǒng)的信號加工處理能力,從而達(dá)到治療目的[18]。近年來,隨著感知學(xué)習(xí)重獲重視,許多游戲性的訓(xùn)練內(nèi)容被加入到弱視的治療環(huán)節(jié)中。Hess等[19-20]利用感知學(xué)習(xí)原理,配合光學(xué)透鏡將弱視患者的雙眼在同一屏幕進(jìn)行分離式訓(xùn)練。實(shí)驗(yàn)結(jié)果表明,通過這種專門的行為訓(xùn)練,成人弱視患者的視覺和立體視覺都有所提升。但該設(shè)備需要患者雙眼跟屏幕保持一定的距離和角度,對操作和實(shí)施都造成了一些困難。
該研究設(shè)計(jì)開發(fā)了一個基于虛擬現(xiàn)實(shí)的感知覺雙眼視功能訓(xùn)練系統(tǒng),該系統(tǒng)將虛擬現(xiàn)實(shí)技術(shù)與感知學(xué)習(xí)相結(jié)合,重新設(shè)計(jì)視功能訓(xùn)練模塊,同一屏幕內(nèi)有兩個不同圖像,有別于傳統(tǒng)的單眼遮蓋治療,可同時使用雙眼進(jìn)行分離式訓(xùn)練?;颊吲宕鱒R眼鏡后,過濾掉外界環(huán)境中的視覺干擾,擴(kuò)展了視野,透過鏡片,兩幅不同的圖像經(jīng)過復(fù)雜的視覺通路傳遞給大腦最終形成一幅圖像,原理如圖1所示?;颊呷绻肟刂坪谏珗A點(diǎn)移動到灰色圓點(diǎn)的位置,就需要雙眼進(jìn)行配合操作,訓(xùn)練時將動態(tài)的圖像呈現(xiàn)給懶惰眼,靜態(tài)輔助圖像呈現(xiàn)給優(yōu)勢眼,懶惰眼最先獲得動態(tài)視覺信息,得到良好的視覺刺激,在提高視力的同時也鍛煉了雙眼融合視功能。
圖1 訓(xùn)練原理圖
在最初進(jìn)行系統(tǒng)設(shè)計(jì)時,我們對臨床醫(yī)師與患者或患者父母進(jìn)行訪談?wù){(diào)研,結(jié)合他們的意見,獲得更好、更方便的治療且要優(yōu)于單眼治療法,采取家庭可配備的裝置是最受支持的。因此,我們的平臺使用移動版實(shí)現(xiàn)方式,配合便攜VR眼鏡,以及無線藍(lán)牙手柄進(jìn)行互動操作,用戶可攜帶并在方便的時候使用它。圖2、圖3為系統(tǒng)硬件結(jié)構(gòu)圖與硬件實(shí)物圖,該系統(tǒng)在Android平臺運(yùn)行,要求手機(jī)設(shè)備主頻1.5GHz以上,內(nèi)存1G以上,軟件系統(tǒng)為Android 4.0及以上,且支持藍(lán)牙4.0及以上。
圖2 硬件結(jié)構(gòu)圖
圖3 硬件實(shí)物圖
通過VR眼鏡將雙眼所視圖像分開呈現(xiàn),將需要互動操作的動態(tài)圖像呈現(xiàn)給懶惰眼,靜態(tài)輔助圖像呈現(xiàn)給優(yōu)勢眼,雙眼協(xié)同操作,完成訓(xùn)練任務(wù),達(dá)到治療效果。由于傳統(tǒng)訓(xùn)練設(shè)備多數(shù)較大不好攜帶,該系統(tǒng)采用移動方式搭載,更加便攜且易于訓(xùn)練。佩戴輕量級的VR眼鏡,治療過程中擴(kuò)展視野,排除干擾的同時也不會有強(qiáng)烈的壓迫感;用藍(lán)牙手柄連接手機(jī)進(jìn)行互動操作,此訓(xùn)練系統(tǒng)的新穎治療方式也顯著增加患者的訓(xùn)練依從性,能夠使治療方案完整有效地進(jìn)行下去,提高治愈率,相對縮短了療程。
3.1 軟件技術(shù)支持
該系統(tǒng)基于Unity 3D游戲引擎,使用C#編程語言進(jìn)行編寫開發(fā),Unity 3D內(nèi)置的游戲元素、類庫以及物理引擎等都非常便于編寫二維、三維視頻游戲、交互式動畫等內(nèi)容,并支持多平臺運(yùn)行。在數(shù)據(jù)處理方面,采用JSON數(shù)據(jù)格式與服務(wù)器進(jìn)行數(shù)據(jù)交互。具體軟件結(jié)構(gòu)如圖4所示,該系統(tǒng)分為移動客戶端與服務(wù)器端兩部分,移動客戶端包括用戶的注冊、信息填寫、懶惰眼與優(yōu)勢眼的左右選擇、訓(xùn)練模塊選擇及交互操作組成;服務(wù)器搭建在PC機(jī)上,用戶在使用時將移動端設(shè)備連接到PC機(jī)發(fā)射的Wi-fi,實(shí)現(xiàn)移動端與服務(wù)器端用戶信息與訓(xùn)練數(shù)據(jù)的傳輸。
圖4 軟件結(jié)構(gòu)圖
3.2 功能設(shè)計(jì)
①用戶注冊及登錄:首次使用時需要患者進(jìn)行個人信息的填寫,設(shè)備離線時用戶數(shù)據(jù)會保存到本地文件中,連接網(wǎng)絡(luò)后可選擇上傳到服務(wù)器。注冊成功后可直接使用個人賬號密碼登錄系統(tǒng),再次使用登錄后可記錄曾經(jīng)訓(xùn)練的內(nèi)容及訓(xùn)練時間。未登錄也可以在注冊前進(jìn)行試訓(xùn)練。
②訓(xùn)練選擇:患者可根據(jù)自己的喜好對訓(xùn)練內(nèi)容進(jìn)行選擇。
③訓(xùn)練過程:單次訓(xùn)練時間不超過15 min,患者需要佩戴VR眼鏡配合使用無線藍(lán)牙手柄進(jìn)行訓(xùn)練。
④數(shù)據(jù)保存與上傳:訓(xùn)練結(jié)束后,患者可將該次訓(xùn)練數(shù)據(jù)保存并上傳至服務(wù)器端,支持離線本地保存。
圖5 訓(xùn)練模塊示意圖
3.3 訓(xùn)練過程設(shè)計(jì)
訓(xùn)練過程以PacMan游戲?yàn)槔M(jìn)行詳細(xì)介紹,該游戲簡單、流行,很容易上手。它需要玩家控制豆豆人在迷宮中上、下、左、右移動,吃豆豆獲得積分;其次還要注意躲避怪物,不要被吃掉。訓(xùn)練開始,首先患者根據(jù)自己的實(shí)際情況進(jìn)行左、右眼選擇。選擇后佩戴VR眼鏡進(jìn)入訓(xùn)練主場景,圖5分別展示了兩個選項(xiàng)的訓(xùn)練場景。該部分將場景中攝像機(jī)增加為兩個,即Left-Camera和RightCamera,并通過設(shè)置左右兩個相機(jī)的Viewpoint屬性,實(shí)現(xiàn)場景的分屏顯示。圖5中的左圖,靠左邊的圖像為優(yōu)勢眼所視屏幕,右邊則為懶惰眼所視屏幕,我們讓懶惰眼觀看有豆豆人及小怪物的屏幕,優(yōu)勢眼觀看靜止的豆豆,這兩個屏幕的迷宮地圖是完全一致的,患者佩戴VR眼鏡后,兩個屏幕會融合,但是要吃掉豆豆則必須努力使用懶惰眼觀察,并用藍(lán)牙手柄控制豆豆人的移動,還要注意躲避有固定移動軌跡的怪物來完成訓(xùn)練任務(wù)。訓(xùn)練過程中記錄患者的訓(xùn)練時間及相關(guān)數(shù)據(jù),在隨后的訓(xùn)練中可根據(jù)患者的表現(xiàn)調(diào)整訓(xùn)練內(nèi)容的難度。
相關(guān)核心代碼如下:
在訓(xùn)練的過程中,懶惰眼收到了動態(tài)、有趣的視覺信號,患者更加努力地使用懶惰眼,持續(xù)性刺激懶惰眼視覺神經(jīng)的同時也沒有完全停止對優(yōu)勢眼的使用。通過雙眼分離式訓(xùn)練,提高視力的同時也鍛煉了融合視覺功能,從而達(dá)到更好地治療效果。當(dāng)然,該設(shè)想可以將多種游戲進(jìn)行重新設(shè)計(jì),多模塊、多難度等級的設(shè)計(jì),不會使訓(xùn)練療程變得枯燥乏味,在隨后的研究中,該研究將致力于完善整個系統(tǒng)。
在系統(tǒng)測試試用階段,招募了5名患者進(jìn)行為期一個月的跟蹤訓(xùn)練,期間這5名患者并未使用過其他訓(xùn)練或治療方式進(jìn)行治療,該系統(tǒng)訓(xùn)練內(nèi)容有趣且新穎,5名患者基本都能堅(jiān)持進(jìn)行訓(xùn)練。具體訓(xùn)練過程為:第一天對患者進(jìn)行系統(tǒng)及操作方面的講解,并進(jìn)行試操作;第二天開始正式訓(xùn)練,每天訓(xùn)練30 min,分兩個階段完成,中間休息5~10 min。訓(xùn)練開始前與結(jié)束后對患者視力情況進(jìn)行記錄,具體情況如表1所示。
表1 患者訓(xùn)練記錄表
訓(xùn)練前使用標(biāo)準(zhǔn)對數(shù)視力表對5名患者視力進(jìn)行前測,訓(xùn)練結(jié)束后再次測試,患者視力前后對比如圖6所示,使用SPSS對該組數(shù)據(jù)進(jìn)行配對樣本t檢驗(yàn),t=-6.532,sig=0.003(即P<0.005),有顯著性差異。表明該訓(xùn)練結(jié)果可以有效提高患者的視力。
圖6 患者視力訓(xùn)練前后對比柱狀圖
目前,臨床上治療弱視的方法不一,最廣泛且有效的遮蓋療法以及抑制療法大多是針對單眼進(jìn)行訓(xùn)練治療,這樣或多或少都有一些缺陷。人類的雙眼視功能分為三個階段,即同時視、融合視和立體視覺,弱視治療的最終目的是建立立體視覺。我們在文中提出了治療弱視的雙眼視功能訓(xùn)練系統(tǒng)便攜式設(shè)備的工作原型;該裝置結(jié)合虛擬現(xiàn)實(shí)技術(shù),利用雙眼分任務(wù)進(jìn)行精細(xì)操作,刺激視覺神經(jīng);基于感知學(xué)習(xí)理論,結(jié)合視功能訓(xùn)練原理,設(shè)計(jì)訓(xùn)練模塊等內(nèi)容;游戲的交互式操作使訓(xùn)練不再枯燥乏味,提高患者的依從性,可以取得更好的治療效果;在現(xiàn)場測試中獲得了患者的支持與喜愛,在隨后的研究中我們會持續(xù)改進(jìn)該設(shè)備的可用性,提高治療效果。
[1]牛蘭俊.規(guī)范治療方法是提高弱視療效的關(guān)鍵[J].中華眼科雜志,2003(12):4-7
[2]Holmes JM,Clarke M P.Amblyopia[J].Lancet,2006,367(9519):1343
[3]Maconachie GDE,Gottlob I.The challenges of amblyopia tre-atment[J].Biomed J,2015,38(6):510-516
[4]Fateh S,Speeg C.Rebalancing the Visual System of People with Amblyopia"Lazy Eye"by Using HMD and Image Enhancement[C].International Conference on Virtual and Mixed Reality:Held As.Springer-Verlag,2009:560-565
[5]Suttlec CM.Active treatments for amblyopia:a review of the methods and evidence base[J].Clin&Exp Opt,2010,93(5):287-299
[6]Morrison DG,Palmer NJ,Sinatra RB,etal.Severe amblyopia of the sound eye resulting from atropine therapy combined with optical penalization[J].JPedia Ophthalmol&Strab,2005,42(1):52-53
[7]Baker DH,Meese TS,Mansouri B,et al.Binocular summation of contrast remains intact in strabismic amblyopia[J].Inves Ophthalmol&Visual Sci,2007,48(11):5332-5338
[8]Beck RW.The pediatric eye disease investigator group[J].J Am Assoc for Pedia Ophthalmol&Strab,1998,2(5):255-256
[9]Repka MX,Cotter SA,Beck RW,et al.Pediatric Eye Disease Investigator Group.A randomized trial of atropine regimens for treatmentofmoderate amblyopia in children[J].Arch Ophthalmol,2005,121(5):603-611
[10]Beck RW.The pediatric eye disease investigator group[J].J of Am Assoc for Pedia Ophthalmol&Strab,1998,2(5):255-256
[11]Tjiam AM,Holtslag G,Van Minderhout HM,et al.Randomised comparison of three tools for improving compliancewith occlusion therapy:an educational cartoon story,a reward calendar,and an information leaflet for parents[J].Graefe's Arch for Clin and Expe Ophthalmol,2013,251(1):321
[12]Pradeep A,Proudlock FA,Awan M,etal.An educational intervention to improve adherence,to high-dosage patching regimen for amblyopia:a randomised controlled trial[J].Bri J Ophthalmol,2014,98(7):865-870
[13]Holmes JM,Beck RW,Kraker RT,et al.Risk of amblyopia recurrence after cessation of treatment[J].JAm Assoc for Pedia Ophthalmol&Strab,2004,8(5):420-428
[14]Bhola R,Keech RV,Kutschke P,et al.Recurrence of Amblyopia after Occlusion Therapy[J].Ophthalmology,2007,113(11):2097-2100
[15]Walsh LA,Hahn EK,Laroche GR.Themethod of treatment cessation and recurrence rate of amblyopia[J].Strabismus,2009,17(3):107-116
[16]趙沁平.虛擬現(xiàn)實(shí)綜述[J].中國科學(xué):F輯:信息科學(xué),2009(1):2-46
[17]楊素紅,甘曉玲,龐琳,等.利用視覺虛擬現(xiàn)實(shí)訓(xùn)練軟件治療弱視的療效分析[J].中國斜視與小兒眼科雜志,2004(1):9-13
[18]閻麗,胡丹丹,閻春元,等.基于感知覺學(xué)習(xí)的兒童視覺及智能虛擬現(xiàn)實(shí)數(shù)據(jù)庫系統(tǒng)對弱視治療效果的研究[J].醫(yī)療保健器具,2006(2):32-33,28
[19]Long T,Thompson B,Blum JR,et al.A Game Platform for Treatment of Amblyopia[J].IEEE Trans on Neural Sys&Rehabil Engi A Pub of the IEEE Engi in Med&Biology Soci,2011,19(3):280-289
[20]Hess RF,Thompson B,Black JM,et al.An iPod treatment of amblyopia:an updated binocular approach[J].Opt J the Am Opt Assoc,2012,83(2):87-94
Design of binocular visual function training system based on virtual reality
Liu Siye
Collage of Educational Science&Technology,Zhejiang University of Technology,Hangzhou 310000,China
Themost popular current approach to the treatment of amblyopia is occlusion.Daily coverage of the dominant eye lasts for hours,sometimes for up to severalmonths.The compliance of patients is low and this approach rarely results in establishment of binocular function.We propose a novel interactive binocular amblyopia therapy approach based on virtual reality technology aswell as perceptual learning theory and visual function training principle.Patients play interactive games with virtual reality glasses thatmake the two eyes trained separately to improve their vision.By using this system,the lazy eye can be constantly stimulated with the dominant eye not being completely controlled.This system can enhance the patient's fusion vision and stereo vision.The system is applied to clinical treatment of amblyopia,with advantages such as easy operation,fun and being advanced;it can increase patient compliance and improve therapeutic effect.
virtual reality;perceptual learning;binocular vision;virtual reality glasses;interactive
G434
:A
:1004-5287(2017)04-0455-05
:10.13566/j.cnki.cmet.cn61-1317/g4.201704026
2017-02-24
劉斯燁(1991-),女,河北唐山人,碩士,主要研究方向:視覺與感知學(xué)習(xí)。