張里程 雷明星 張浩 魯通 尹鵬濱 劉建恒 陳華

隨著人工智能技術(shù)日新月異，混合現(xiàn)實技術(shù)（mixed reality，MR）備受關(guān)注。混合現(xiàn)實技術(shù)是一種全新數(shù)字全息影像學(xué)技術(shù)，是在虛擬現(xiàn)實技術(shù)（virtual reality， VR）和增強現(xiàn)實技術(shù)（augmented reality，AR）的基礎(chǔ)上進一步發(fā)展而來，可視為虛擬現(xiàn)實技術(shù)和增強現(xiàn)實技術(shù)的增強版[1]?；旌犀F(xiàn)實技術(shù)在國內(nèi)外醫(yī)學(xué)上的應(yīng)用才剛起步，但運用前景令人矚目[2]，有可能將在臨床醫(yī)療、醫(yī)學(xué)教育、醫(yī)學(xué)科研以及醫(yī)患溝通等諸多領(lǐng)域帶來突破性革新[3-6]。目前，骨科教學(xué)培訓(xùn)面臨諸多難題，教學(xué)環(huán)境不容樂觀，教學(xué)成本常年居高不下，教學(xué)成效也頗受影響?；旌犀F(xiàn)實技術(shù)以其自身優(yōu)勢和特點有望改善傳統(tǒng)骨科醫(yī)學(xué)教育中存在的缺陷，使骨科教學(xué)更加高效、精準(zhǔn)和直觀。文章就混合現(xiàn)實技術(shù)在骨科教學(xué)培訓(xùn)中的應(yīng)用進行探討。

1 教學(xué)設(shè)計

1.1 教學(xué)病例的選擇

教學(xué)病例的選擇應(yīng)達到以下標(biāo)準(zhǔn)：（1）為本專業(yè)的臨床常見病和/或多發(fā)病，可引出本專業(yè)的基本理論、基本知識或者基本操作技能；（2）教學(xué)病例必須兼?zhèn)湔鎸嵑屯暾?，同時具有一定的趣味性，能夠吸引學(xué)生的注意力；（3）病例中所涉及的問題具有進階性，基礎(chǔ)問題學(xué)生可通過老師演示和講解獲得理解和掌握；高級問題學(xué)生必須通過知識延伸、拓展、查閱輔助資料以圓滿解決。以此引導(dǎo)學(xué)生查閱英文原版教材和資料，了解本專業(yè)的新醫(yī)療、新技術(shù)，拓寬學(xué)生視野，提高學(xué)生醫(yī)學(xué)英語水平，激勵學(xué)生的前瞻性意識。（4）不同類別受教育者應(yīng)個體化對待：本科生教學(xué)以基礎(chǔ)解剖教學(xué)為主，包括骨的形態(tài)、大體解剖以及運動系統(tǒng)的組成；研究生教學(xué)以骨科基本操作和一般手術(shù)教學(xué)為主，包括局部解剖形態(tài)以及骨科常規(guī)操作。規(guī)培生的教學(xué)則再進一步，以骨科力學(xué)穩(wěn)定性分析、臨床分型以及復(fù)雜解剖關(guān)系為主。骨科專業(yè)以脊柱及四肢關(guān)節(jié)為主，同時涉及運動醫(yī)學(xué)和生物力學(xué)。根據(jù)上述原則，對于本科生教學(xué)推薦選擇簡單骨折進行教學(xué)，研究生教學(xué)推薦選擇脊柱畸形，關(guān)節(jié)周圍骨折進行教學(xué)，規(guī)培生則以復(fù)雜骨折脊柱畸形以及骨腫瘤病例進行教學(xué)。

1.2 混合現(xiàn)實教學(xué)模型的設(shè)計與制作

將CT/MRI設(shè)備采集到患者的DI-COM原始數(shù)據(jù)，導(dǎo)入Visual Volume三維重構(gòu)軟件系統(tǒng)，制作出骨折、畸形及周邊解剖的三維病例模型（見圖1），并將STL格式的模型發(fā)布至混合現(xiàn)實影響系統(tǒng)星云MR云端協(xié)作平臺。利用Microsoft公司的HoloLens混合現(xiàn)實眼鏡，在MR技術(shù)星圖平臺支持下，老師與學(xué)生通過佩戴MR眼鏡針對病例的解剖，影像以及手術(shù)路徑的選擇等展開研究和討論（見圖2）。

圖1 構(gòu)建脊柱混合現(xiàn)實解剖模型

圖2 髖臼骨折分型的混合現(xiàn)實教學(xué)

1.3 混合現(xiàn)實技術(shù)在骨科臨床教學(xué)中的應(yīng)用方法

（1）課程頻率與學(xué)時：課程頻率：1次/周；學(xué)時：3～4個學(xué)時/次。

（2）課前準(zhǔn)備：授課教師課前制定相關(guān)教學(xué)計劃，編寫2～3例經(jīng)典教學(xué)病例，應(yīng)包含患者影像學(xué)資料，設(shè)計與制作混合現(xiàn)實教學(xué)模型。此外，授課老師針對病例編寫中一些臨床實用性問題，引導(dǎo)學(xué)生進入診療情景，發(fā)散學(xué)生思維，了解他們對該疾病的多種診斷假設(shè)。學(xué)生們課前對對應(yīng)患者進行病史咨詢，全面體格檢查，尤其是?？撇轶w。自行整理病例，并對該疾病的治療進行最新科學(xué)英文文獻查詢。

（3）教學(xué)實施模式：①混合現(xiàn)實全息影像觀察：骨科模型以全息影像的方式進行呈現(xiàn)，可立體、空間、直觀或全角度觀察，也可進行放大、縮小、移動、旋轉(zhuǎn)以及改變各結(jié)構(gòu)顏色、透明度進行觀察。②二維與三維疊加影像觀察：將原始CT/MRI影像與三維全息影像原位疊加觀察，可加深對二維影像平面結(jié)構(gòu)的空間理解，冠狀面、矢狀面以及橫斷面任意切換。③混合現(xiàn)實技術(shù)與模擬人進行復(fù)合教學(xué)，按照虛擬模型與模擬人等比例復(fù)制，提高學(xué)習(xí)效率。④多人教學(xué)模式：多人處于同一網(wǎng)絡(luò)環(huán)境中時可在同一個虛擬空間下進行交互，通過第三視角錄制，大班課時可同時觀察示教者與全息模型。

（4）教學(xué)實施流程：首先，讓學(xué)生對患者的病史，體格檢查以及輔助檢查進行簡單匯報，老師進行補充與點評。而后，授課老師讓學(xué)生針對患者的臨床表現(xiàn)和影像學(xué)資料展開課間討論，對疾病做出診斷和鑒別診斷，并進一步提出下一步的檢查及治療方案。老師在這個過程中起引導(dǎo)作用，并不實質(zhì)參與討論與點評。再后，學(xué)生討論獲得一致意見后，授課教師再取出事先準(zhǔn)備的混合現(xiàn)實模型讓每個學(xué)生對其進行全方位的觀察，反思并修正之前所做出的診斷。通過對混合現(xiàn)實模型直觀地觀察，可了解病變的形態(tài)和位置，了解患者骨折、脊柱畸形的全貌。通過測量，選擇合適的手術(shù)入路，特別是選擇合適的內(nèi)固定植入位置、角度和深度，以及內(nèi)固定的尺寸。最后，通過混合現(xiàn)實模型讓學(xué)生在術(shù)前進行模擬預(yù)手術(shù)操作，制定出詳盡及個體化的手術(shù)方案，模擬手術(shù)操作過程，熟練關(guān)鍵手術(shù)步驟。

（5）課后總結(jié)：學(xué)生總結(jié)病例的重點與難點，授課教師進行補充修正，輔以介紹疾病相關(guān)最新診療技術(shù)進展。授課老師對授課效果進行評估，明確授課形式的優(yōu)缺點。針對優(yōu)點，繼續(xù)發(fā)揚光大；針對不足，是否可以采取相應(yīng)措施進行補救與改進。學(xué)生們對課程進行溫習(xí)回顧，繼續(xù)深入挖掘問題，自行展開小組討論，不能解決的問題再次詢問老師的建議和解答。

2 結(jié)果

學(xué)生首先進行病史詢問、患者查體，結(jié)合影像學(xué)資料做出初步診斷和鑒別診斷，并給出治療方案。而后，再用學(xué)生運用病例的混合現(xiàn)實模型進行對比與反思，進一步明確或者校正之前的診斷。教學(xué)過程中，采用開放性思維，引導(dǎo)學(xué)生對患者的影像學(xué)資料有一個較深刻的了解，能基本掌握閱讀X線、CT和MRI等影像學(xué)資料。并且，通過能夠初步通過影像學(xué)資料判斷疾病的分型及嚴(yán)重程度。學(xué)生既往學(xué)習(xí)的是正常解剖結(jié)構(gòu)，缺乏對病變骨骼結(jié)構(gòu)的感性認(rèn)識。通過混合現(xiàn)實模型的具體觀察，可以很清楚地了解病變結(jié)構(gòu)的特點，還可以結(jié)合病變情況，對學(xué)生講解疾病發(fā)生的病因與原理。進一步，授課教師再對學(xué)生進行手術(shù)方法的講解與演示，學(xué)生可以在虛擬模型上進行手術(shù)模擬操作。混合現(xiàn)實技術(shù)使授課老師和學(xué)生穿梭在虛擬和現(xiàn)實環(huán)境，他們可對同一模型的進行學(xué)習(xí)和實時討論，彌補了解剖標(biāo)本不足，場地限制等傳統(tǒng)的教學(xué)短板。此外，還能直觀地模擬各項臨床操作，最大程度減少對人體有害、有創(chuàng)和費用昂貴的操作，更加立體地進行信息交換，使學(xué)生理解解剖基礎(chǔ)知識顯得更為簡單而有效。通過運用混合現(xiàn)實技術(shù)進行骨科臨床教學(xué)實踐，學(xué)生普遍反映能直觀了解四肢、關(guān)節(jié)以及脊柱的解剖結(jié)構(gòu)，以往難以掌握的關(guān)節(jié)周圍復(fù)雜骨折、脊柱腫瘤和脊柱畸形等知識點，通過該教學(xué)方法很快能熟識并加以應(yīng)用。這讓醫(yī)學(xué)教育能擺脫場地的限制、大大提高了教學(xué)效果和學(xué)習(xí)效率。

3 討論

目前，骨科教學(xué)培訓(xùn)面臨諸多難題，教學(xué)環(huán)境不容樂觀：（1）骨科專業(yè)本身解剖結(jié)構(gòu)空間復(fù)雜，需要受教育者有良好的空間想象力；（2）人體實體標(biāo)本短缺，成本高昂，尸體解剖并不能滿足教學(xué)要求；（3）理論教學(xué)與實踐操作脫節(jié)，缺乏以臨床診療為中心的理論融合手段。因而，教學(xué)成本常年居高不下，教學(xué)成效也頗受影響?；旌犀F(xiàn)實技術(shù)以其自身優(yōu)勢和特點有望改善傳統(tǒng)骨科醫(yī)學(xué)教育中存在的缺陷，使骨科教學(xué)更加高效、精準(zhǔn)和直觀。

3.1 混合現(xiàn)實技術(shù)在骨科臨床教學(xué)應(yīng)用中的優(yōu)點

混合現(xiàn)實技術(shù)有三個主要的特征：（1）現(xiàn)實世界與虛擬世界結(jié)合：混合現(xiàn)實技術(shù)將現(xiàn)實世界的物理空間與虛擬空間放置于同一空間，兼?zhèn)涮摂M世界和物理世界的優(yōu)勢，能夠營造出一種身臨其境的感覺，具有仿真性[7-8]。這種真實性在虛擬現(xiàn)實的基礎(chǔ)上又前進了一步：虛擬現(xiàn)實憑借電腦營造出一個虛擬空間環(huán)境，但是混合現(xiàn)實的空間是由虛擬空間和真實環(huán)境空間共同組成。因此，從感官上來講，混合空間更加具有真實感，能夠高緯度直觀立體觀察模型。醫(yī)學(xué)生們可以先在虛擬空間進行操作與培訓(xùn)，避免在人體上直接進行有創(chuàng)嘗試。操作或培訓(xùn)技術(shù)成熟后，再在人體上進行實時操作；（2）實時互動性：醫(yī)學(xué)生們使用混合現(xiàn)實技術(shù)并不是端坐一旁，靜靜地觀看設(shè)計者為他們提供的醫(yī)學(xué)模型。相反，醫(yī)學(xué)生們完全可以自由的在展示空間中活動，從任何一個角度觀看研究模型，并針對模型進行實時地模擬操作，操作的同時模型實時性地回應(yīng)給操作者，增加了學(xué)習(xí)的趣味性?；旌犀F(xiàn)實的互動性是建立在其真實性和實時性的基礎(chǔ)之上的?；旌犀F(xiàn)實在既有的虛擬現(xiàn)實基礎(chǔ)上，還將感受延伸到具體可感的現(xiàn)實空間，成功地搭建起了虛擬世界與現(xiàn)實世界的橋梁。成功地實現(xiàn)了多人之間針對物理空間的虛擬模型進行實現(xiàn)交互交流[9-10]；（3）精確性：數(shù)字虛擬世界與物理真實世界融合的場景，真實物理空間與模擬空間精準(zhǔn)匹配，學(xué)生們通過學(xué)習(xí)精準(zhǔn)的醫(yī)學(xué)模型獲取醫(yī)學(xué)信息模擬空間實時精準(zhǔn)與物理空間1∶1匹配，以獲取最直觀效果[11]。病變精確的定位及對暴露過程的引導(dǎo)至關(guān)重要，已有不少研究將混合現(xiàn)實技術(shù)運用于骨科的手術(shù)導(dǎo)航，均收獲了良好的效果；（4）廣泛性：每一個臨床經(jīng)典案例都可以通過三維建模的方式制作成混合現(xiàn)實教學(xué)案例，省卻了實體模型制作的繁瑣流程，教學(xué)更加方便、經(jīng)濟。

3.2 混合現(xiàn)實技術(shù)在骨科臨床教學(xué)應(yīng)用中的不足

混合現(xiàn)實技術(shù)在骨科臨床教學(xué)的應(yīng)用仍存在不足：（1）價格較昂貴：目前混合現(xiàn)實技術(shù)的輔助裝備價格不菲[7]，并沒有完全普及開來，因此不太可能讓每個學(xué)生都去具體操作演練。多由指導(dǎo)教師根據(jù)混合現(xiàn)實模型具體講述手術(shù)的方法，這在一定程度上可能會對教學(xué)效果產(chǎn)生影響，學(xué)生本質(zhì)上獲得的動手機會并沒有增加；（2）沒有觸覺感知：目前的混合現(xiàn)實還是只限于視覺模擬，對于觸覺等其他感覺的強化還沒有相關(guān)報道。也就是說，在模擬手術(shù)操作的時候，并沒有觸感，這導(dǎo)致模擬的手術(shù)與真實手術(shù)過程的體驗仍存在不少差距；（3）軟組織的模擬還很欠缺：混合現(xiàn)實技術(shù)的數(shù)據(jù)來源主要基于CT或者MRI數(shù)據(jù)，生成的三維模型雖然可以進行著色與優(yōu)化，然而對于軟組織的模擬還需要進一步改善。此外，混合現(xiàn)實技術(shù)需長時間佩戴眼鏡，導(dǎo)航過程中，繁雜的裝備容易遮擋術(shù)野，數(shù)據(jù)傳輸延遲，光照對導(dǎo)航影響大也是當(dāng)前存在的問題。

4 小結(jié)

混合現(xiàn)實技術(shù)是在VR和AR基礎(chǔ)上進一步發(fā)展起來的一種新型全息數(shù)字影像技術(shù)。該項技術(shù)將虛擬物體與真實世界相互融合，為用戶展現(xiàn)出虛實一體的畫面，使物理的真實世界與數(shù)字的模擬世界之間的界限變得模糊?；旌犀F(xiàn)實技術(shù)不僅可以有效彌補傳統(tǒng)教學(xué)模式的弊端，使醫(yī)學(xué)教學(xué)顯得更加高效、精準(zhǔn)、直觀，還能逐步推動醫(yī)學(xué)教育培訓(xùn)模式的革新[12]，也為骨科的規(guī)范化教學(xué)培訓(xùn)提供強有力的技術(shù)支持?；旌犀F(xiàn)實技術(shù)可作為一種創(chuàng)新型教學(xué)方法，在骨科教學(xué)培訓(xùn)中的應(yīng)用值得進一步探索和推廣。