戴 莎，司偉鑫，錢銀玲，鄭 睿，王 瓊，徐東亮，彭延軍，王平安3,

虛擬顯微白內(nèi)障手術(shù)系統(tǒng)人機交互接口設(shè)計

戴 莎1,2，司偉鑫2,3，錢銀玲2，鄭 睿2，王 瓊2，徐東亮1，彭延軍4，王平安3,2

(1. 武漢理工大學(xué)機電工程學(xué)院，湖北 武漢 430070；2.中國科學(xué)院深圳先進技術(shù)研究院深圳市虛擬現(xiàn)實與人機交互技術(shù)重點實驗室，廣東 深圳 518055；3. 香港中文大學(xué)計算機科學(xué)與工程系，香港 999077；4. 山東科技大學(xué)信息科學(xué)與工程學(xué)院，山東 青島 266590)

基于虛擬現(xiàn)實技術(shù)的顯微白內(nèi)障手術(shù)仿真訓(xùn)練系統(tǒng)對顯微環(huán)境下眼科手術(shù)操作培訓(xùn)具有重要的意義。為此，設(shè)計并搭建了一套具有高度沉浸感的虛擬顯微白內(nèi)障手術(shù)訓(xùn)練系統(tǒng)的軟硬件環(huán)境。硬件部分系統(tǒng)以HTC Vive，Geomagic Touch X為硬件基礎(chǔ)，設(shè)計手術(shù)器械轉(zhuǎn)換接口以搭建高保真手術(shù)操作環(huán)境；軟件部分采用基于位置動力學(xué)方法(position-based dynamics)模擬手術(shù)過程中眼角膜軟組織的變形、穿刺及縫合操作，并采用GPU并行計算對手術(shù)仿真過程進行加速。最后，實驗結(jié)果表明該系統(tǒng)可以實現(xiàn)自然的顯微眼科手術(shù)人機交互環(huán)境，使年輕醫(yī)師獲得高沉浸感的真實手術(shù)訓(xùn)練體驗，從而達(dá)到一定的培訓(xùn)效果。

顯微白內(nèi)障手術(shù)；虛擬訓(xùn)練系統(tǒng)；交互式仿真；人機交互接口

白內(nèi)障是我國首要致盲眼病，約占盲人總數(shù)的一半。據(jù)統(tǒng)計，目前我國至少有400萬因白內(nèi)障致盲的患者，而且因白內(nèi)障致盲的人數(shù)還在以40萬例/年的速度逐年增長。隨著老齡化人口的不斷增加，更是促進了白內(nèi)障發(fā)病率的升高。目前，通過顯微眼科手術(shù)摘除渾濁晶狀體再植入人工晶狀體是治療白內(nèi)障最有效的方法[1-2]。但與白內(nèi)障發(fā)病率不斷增加相對應(yīng)的卻是我國眼科醫(yī)師短缺和教育培訓(xùn)方法的滯后，2013年全國白內(nèi)障手術(shù)160萬例只有印度的四分之一，與發(fā)達(dá)國家的白內(nèi)障手術(shù)率相比更是相差甚遠(yuǎn)[3]。造成這種狀況的原因，除了眼部結(jié)構(gòu)的復(fù)雜、精細(xì)，大多處結(jié)構(gòu)不可修復(fù)外，還因為手術(shù)過程需要在顯微鏡下操作，視野較小操作空間局限性大，需要醫(yī)生手眼協(xié)調(diào)才能較為精準(zhǔn)的實施手術(shù)。所以眼科手術(shù)往往面臨操作難度大，手術(shù)培訓(xùn)周期長以及培訓(xùn)成本較高等問題。而且實習(xí)醫(yī)生在培訓(xùn)期間手術(shù)操作機會較少，像白內(nèi)障摘除術(shù)和青光眼小梁切除術(shù)等內(nèi)眼手術(shù)的操作機會幾乎為零，缺乏經(jīng)驗。所以如何高效、快速、精準(zhǔn)的培訓(xùn)醫(yī)生熟練掌握顯微白內(nèi)障摘除術(shù)等內(nèi)眼手術(shù)成為解決我國眼科醫(yī)師短缺問題的一個關(guān)鍵。

傳統(tǒng)的眼科手術(shù)培訓(xùn)一般是在上級醫(yī)師的指導(dǎo)下在臨床實踐中學(xué)習(xí)，利用動物眼和人造眼球進行手術(shù)訓(xùn)練[4]。該方法除了顯微環(huán)境的局限性限制了手術(shù)的指導(dǎo)外，更由于動物和人造眼球與人眼材質(zhì)的差異性大大降低了手術(shù)培訓(xùn)的有效性，還需耗費大量的成本和培訓(xùn)周期。而基于虛擬現(xiàn)實與計算機仿真技術(shù)的虛擬手術(shù)培訓(xùn)系統(tǒng)的不斷發(fā)展對顯微眼科手術(shù)的培訓(xùn)帶來了新的機遇[5]。有學(xué)者對基于虛擬手術(shù)模擬器培訓(xùn)顯微白內(nèi)障手術(shù)的效果進行了研究，通過手術(shù)模擬器對醫(yī)生群體進行培訓(xùn)，實驗表明了手術(shù)模擬器在醫(yī)生培訓(xùn)中的有效性[6]。而且基于虛擬現(xiàn)實技術(shù)的手術(shù)培訓(xùn)系統(tǒng)還可以有效的降低醫(yī)生訓(xùn)練成本和節(jié)省訓(xùn)練周期，實現(xiàn)了最大限度的醫(yī)生培訓(xùn)，加上其逼真的虛擬場景和真實的手術(shù)體驗成為培訓(xùn)醫(yī)生手術(shù)操作的有利訓(xùn)練工具。

本文設(shè)計了一套具有高度沉浸感的顯微眼科手術(shù)訓(xùn)練系統(tǒng)，包括軟硬件環(huán)境2個部分，硬件部分以HTC Vive，Geomagic Touch X為硬件基礎(chǔ)，配合相應(yīng)的硬件裝置搭建了一套低成本、實用性強的人機交互接口裝置；軟件部分環(huán)境采用基于位置動力學(xué)方法(position-based dynamics)實現(xiàn)了統(tǒng)一的物理仿真框架，模擬手術(shù)過程中的軟組織變形、穿刺及縫合操作，較好的整合了3個模塊的仿真。并采用層次包圍盒(bounding volume hierarchies, BVH)來實現(xiàn)操作過程中的碰撞檢測，采用GPU并行計算對手術(shù)仿真過程進行快速計算。不僅提高了手術(shù)培訓(xùn)系統(tǒng)的逼真度，還可以獲得如現(xiàn)實手術(shù)一般的沉浸感和自然、真實的手術(shù)體驗，對我國顯微環(huán)境下眼科手術(shù)操作培訓(xùn)系統(tǒng)具有重要的意義。

1 相關(guān)工作

國外對虛擬現(xiàn)實技術(shù)研究較早，基于眼科手術(shù)訓(xùn)練系統(tǒng)方面的研究相對成熟，目前已實現(xiàn)較多白內(nèi)障手術(shù)訓(xùn)練模塊并可以成功用于醫(yī)學(xué)培訓(xùn)的主要是以下3款系統(tǒng)。德國VR magic公司研發(fā)的Eyesi眼科手術(shù)訓(xùn)練系統(tǒng)，該系統(tǒng)可以應(yīng)用于玻璃體視網(wǎng)膜和白內(nèi)障手術(shù)的訓(xùn)練，包括的模塊有：夾持、撕囊、超聲乳化和人工晶體植入等。而且研究表明可以對白內(nèi)障手術(shù)過程中的關(guān)鍵步驟進行有效訓(xùn)練，是目前市面上唯一通過同行評議可以用來練習(xí)玻璃體視網(wǎng)膜和白內(nèi)障眼科手術(shù)的仿真系統(tǒng)[7]。國際非營利組織開發(fā)的HelpMeSee白內(nèi)障手術(shù)訓(xùn)練平臺是一套專門用于小切口白內(nèi)障手術(shù)(manual small incision cataract surgery，MSICS)的訓(xùn)練平臺，該系統(tǒng)模擬了上百種難易程度不同的手術(shù)場景來幫助醫(yī)生針對不同的病情診斷和手術(shù)方案的制定工作。MicroVisTouch系統(tǒng)是唯一一款支持觸覺感應(yīng)回饋的眼科手術(shù)仿真模擬器，該系統(tǒng)實現(xiàn)了全面視覺體驗的仿真機，包括了手術(shù)設(shè)備、頭部和眼睛，相比前2個系統(tǒng)具有更高的逼真度。在仿真功能上與Eyesi類似，主要用于白內(nèi)障手術(shù)和玻璃體視網(wǎng)膜手術(shù)的訓(xùn)練。

國內(nèi)，目前還沒有一套市面上公認(rèn)可用于實際眼科手術(shù)訓(xùn)練的系統(tǒng)，因為手術(shù)過程的復(fù)雜性和部分技術(shù)的難度較高等原因，進行此方向的研究還較少。浙江大學(xué)現(xiàn)代教育中心[3]研發(fā)的基于自然交互的白內(nèi)障訓(xùn)練平臺，利用Leap motion等算法實現(xiàn)了系統(tǒng)的人機交互功能，并模擬了手術(shù)過程中的撕囊、超聲乳化玻璃體和晶狀體植入的模擬功能。

此外部分研究人員對眼科手術(shù)仿真平臺的部分模塊進行了專項研究。LAM等[8]提出白內(nèi)障手術(shù)中眼球和眼外肌的肌肉變形模型。COURTECUISSE等[9]提出一種用于白內(nèi)障手術(shù)的碰撞檢測方法。史雙瑤等[10]提出了一種用于角膜模型軟組織變形仿真的支撐球彈簧模型。

總之，目前國內(nèi)外關(guān)于用于顯微眼科手術(shù)訓(xùn)練系統(tǒng)的研究還尚有不足，主要是因為：①關(guān)于顯微眼科手術(shù)訓(xùn)練系統(tǒng)的研究技術(shù)還不夠成熟，真正可以投入市面用于實際顯微手術(shù)訓(xùn)練的系統(tǒng)少之又少，尤其對于國內(nèi)而言幾乎沒有，關(guān)于此方向的研究較少；②考慮到整套手術(shù)的復(fù)雜性，目前的研究雖然在部分模塊上已見成效，比如針對碰撞檢測、肌肉變形等，但是卻不能將這些模塊整合在一起；③針對交互方面的研究還有待提高，現(xiàn)有的例如通過Leap motion手勢體感控制器來追蹤虛擬手勢器械的操作等，手術(shù)體驗較差。

2 白內(nèi)障手術(shù)訓(xùn)練系統(tǒng)

本系統(tǒng)旨在提供高保真的白內(nèi)障手術(shù)訓(xùn)練系統(tǒng)，以虛擬現(xiàn)實技術(shù)為基礎(chǔ)，模擬真實手術(shù)環(huán)境中眼科醫(yī)生通過光學(xué)顯微器械觀察手術(shù)對象，使用多種手術(shù)器械，如開瞼器、穿刺刀、縫線結(jié)扎鑷等，完成白內(nèi)障手術(shù)中的穿刺、縫合手術(shù)步驟。真實的交互方式和逼真實時的視覺反饋是保證訓(xùn)練系統(tǒng)有效性的關(guān)鍵要素。本系統(tǒng)可以分為軟硬件2個模塊，軟件模塊包括角膜變形模擬、角膜穿刺模擬和角膜縫合模擬，通過基于PBD的統(tǒng)一仿真框架實現(xiàn)白內(nèi)障手術(shù)中眼角膜和手術(shù)器械的交互仿真，保證了仿真過程的真實感和實時性；硬件模塊包括顯微顯示裝置、顯微控制裝置和手術(shù)器械跟蹤定位裝置，以HTC Vive，Geomagic Touch X為硬件基礎(chǔ)，從逼真的視覺反饋和交互方式2個方面保證了系統(tǒng)的體驗感和真實度，具體的系統(tǒng)框圖如圖1所示。

圖1 系統(tǒng)框圖

2.1 基于PBD的統(tǒng)一物理仿真

本文采用基于位置動力學(xué)方法(position based dynamics，PBD)實現(xiàn)了統(tǒng)一的物理仿真模塊。PBD提供了一種基于位置的動力學(xué)仿真框架[11]，其基于統(tǒng)一粒子的方法，通過約束連接的粒子作為整個系統(tǒng)的基本構(gòu)建塊，可以實現(xiàn)所有模塊的數(shù)據(jù)統(tǒng)一。系統(tǒng)能夠以統(tǒng)一的方式處理各模塊間的接觸和碰撞，自然地實現(xiàn)各模塊和手術(shù)器械的交互仿真。相比其他仿真框架采用不同的方法實現(xiàn)各個模塊的仿真，雖然單個模塊的仿真效果較好，但是卻不能避免模塊間同步帶來的各種問題，所以基于PBD的統(tǒng)一模塊具有更高的穩(wěn)定性和效率。

同時基于位置動力學(xué)方法可以忽略內(nèi)力直接計算點的位置，通過粒子和粒子間的約束(如距離，角度等)對仿真對象的運動進行建模，在迭代求解過程中，不斷通過約束糾正粒子位置，形變過程的可控性更強。而且算法較為簡單，求解快，并行性好，適用于仿真過程交互性較強的環(huán)境[12-14]。此外為了支持高精度模型仿真過程中精確高效的碰撞檢測，系統(tǒng)使用模型的層次包圍盒(bounding volume hierarchies, BVH) [15-16]對碰撞檢測進行加速。

2.1.1 角膜形變模擬

本系統(tǒng)中眼角膜使用三角網(wǎng)格進行表達(dá)，因此仿真算法直接以三角網(wǎng)格的頂點作為PBD的粒子集，并在此基礎(chǔ)上設(shè)置粒子間的約束[17]。由于眼角膜自身具有一定的彈性和硬度，為模擬此屬性，算法分別添加相鄰頂點的距離約束和相鄰三角面片非公用頂點的彎曲約束。

本文基于基本的PBD表達(dá)，可以實現(xiàn)與鑷子的交互，例如按壓和夾取等動作。在仿真過程中，當(dāng)系統(tǒng)檢測到碰撞事件，可以計算出鑷子與眼角膜網(wǎng)格的相交點，當(dāng)鑷子繼續(xù)向軟體內(nèi)移動時，軟體表面局部范圍內(nèi)的PBD粒子會跟隨鑷子向內(nèi)移動，產(chǎn)生按壓的效果。同樣進行夾取操作時，局部范圍內(nèi)的PBD粒子會跟隨鑷子向外移動，進行夾取。圖2為軟體按壓和夾取時的變形效果，可以看到2種不同操作下，軟體的變形均能展現(xiàn)逼真的角膜軟體特性，網(wǎng)格變形穩(wěn)定。

(a) 按壓 (b) 夾取

2.1.2 角膜穿刺模擬

在穿刺過程中，穿刺刀會改變角膜表面網(wǎng)格的結(jié)構(gòu)，而系統(tǒng)的物理模擬是建立在表面三角網(wǎng)格的基礎(chǔ)上。因此為了實現(xiàn)穿刺仿真，首先需要根據(jù)穿刺操作更新表面網(wǎng)格，然后根據(jù)新生成的角膜表面網(wǎng)格更新PBD模擬的約束，以保持物理模擬的一致性。

在穿刺時系統(tǒng)通過碰撞檢測記錄手術(shù)刀開始穿刺時的位置。手術(shù)刀在穿刺時可以看做是一條線段，通過記錄上一幀以及這一幀的2條線段構(gòu)建出一個平面，判斷模型哪些線段與此平面相交以及相交所產(chǎn)生的點，通過相交點重新生成三角面使平面兩端分離，產(chǎn)生切口[18-19]。切口處會發(fā)生碰撞檢測，通過BVH檢測到表面網(wǎng)格與刀面相交的三角面及其交點，如圖3(a)所示。然后對表面每一個相交的三角形進行重構(gòu)，同時對交點做一次復(fù)制，以適應(yīng)切面兩端的三角化，如圖3(b)所示。最后根據(jù)表面的拓?fù)浣Y(jié)構(gòu)，修改粒子與粒子之間的約束關(guān)系，使其與表面網(wǎng)格保持一致。

(a) 網(wǎng)格斷裂 (b) 三角形重構(gòu)

為了使系統(tǒng)的模擬更加真實，切口形成后需要重新構(gòu)建PBD的約束。通過三角網(wǎng)格模型的更新，PBD約束會根據(jù)三角面更新而不斷修改來維持粒子的拓?fù)浣Y(jié)構(gòu)，保持穿刺過程中的軟體形變。具體穿刺仿真圖如圖4所示。

圖4 穿刺過程

2.1.3 角膜縫合模擬

本文采用基于PBD框架實現(xiàn)統(tǒng)一的仿真模塊，同樣采用基于PBD表達(dá)的縫合線，并設(shè)計相應(yīng)的約束模擬縫合線的運動。在縫合過程中，縫合線會影響穿孔周邊的角膜PBD粒子位置，從而導(dǎo)致角膜的變形。在縫合結(jié)束時，縫合線縮短會導(dǎo)致起切口的相互靠近，完成縫合。

縫線結(jié)扎鑷通過碰撞檢測判定夾持縫合針，縫合針是剛性模型，當(dāng)縫合針開始向軟體移動進行縫合操作時，其與軟體接觸觸發(fā)碰撞檢測。針尖的第一個檢測點的位置生成一個穿刺點并儲存交點信息，附近一定范圍內(nèi)的PBD點與其綁定，當(dāng)縫合針繼續(xù)穿入時，綁定的PBD點會跟隨穿刺點進行移動使軟體表面產(chǎn)生一定幅度的變形效果。縫合針模型上均勻排列著無數(shù)檢測點，當(dāng)1號檢測點的移動超出穿刺點一定范圍時，穿刺點會滑向2號檢測點。穿刺點記錄的信息不斷更新為之后檢測點的交點信息，并依次向后面的檢測點滑動直到完全穿過軟體，如圖5所示。圖6是縫合過程示意圖，縫合線由無數(shù)檢測點以一定的間隔連接構(gòu)成。相鄰的粒子之間存在角度約束以及距離約束，縫合線的頭部與縫合針的尾部相連。當(dāng)縫合針完全穿過軟體表面時，穿刺點開始滑向縫合線上的檢測點，并隨著拉線過程依次向后面的檢測點移動。

圖6 縫合過程

在具體的縫合過程中，通過縫線結(jié)扎鑷夾持縫合針進行操作，針尖與角膜軟體表面網(wǎng)格之間發(fā)生碰撞檢測時出現(xiàn)如圖7所示的紅色小球標(biāo)記點，以此來記錄碰撞點的位置。當(dāng)縫合完畢，用打夾器固定縫線一端，便于拉緊縫線如圖7(d)所示，可以看到拉緊縫線后的軟體出現(xiàn)重疊逐漸合攏切口，直到軟體間的碰撞檢測作用而停止運動。最后用剪線鉗剪斷縫線完成縫合，具體仿真畫面如圖7所示。在縫合過程中角膜軟組織保持高逼真的變形，為高沉浸感的手術(shù)環(huán)境提供了良好的基礎(chǔ)。

(a) 縫針進入端檢測點 (b) 縫合第1針