程強(qiáng)強(qiáng) 劉小平 徐少平
1(南昌大學(xué)信息工程學(xué)院,南昌 330031)2(加拿大卡爾頓大學(xué)系統(tǒng)與計(jì)算機(jī)工程系,Ottawa K1S 5B6, 加拿大)3(南昌航空大學(xué)測(cè)試與光電工程學(xué)院,南昌 330063)
虛擬手術(shù)訓(xùn)練系統(tǒng)中軟組織切割模型的研究進(jìn)展
程強(qiáng)強(qiáng)1,3劉小平1,2徐少平1*
1(南昌大學(xué)信息工程學(xué)院,南昌 330031)2(加拿大卡爾頓大學(xué)系統(tǒng)與計(jì)算機(jī)工程系,Ottawa K1S 5B6, 加拿大)3(南昌航空大學(xué)測(cè)試與光電工程學(xué)院,南昌 330063)
虛擬手術(shù)仿真訓(xùn)練系統(tǒng)(VSSTS)較好地解決了傳統(tǒng)臨床醫(yī)生培訓(xùn)方法中存在的培訓(xùn)周期長(zhǎng)、成本高和訓(xùn)練對(duì)象匱乏等方面的問(wèn)題,是一種經(jīng)濟(jì)有效的替代訓(xùn)練方式。人體軟組織切割作為各類實(shí)際手術(shù)中最為常見(jiàn)和核心的手術(shù)操作類型,對(duì)其進(jìn)行逼真的模擬一直是虛擬手術(shù)仿真系統(tǒng)研究中的難點(diǎn)和熱點(diǎn)問(wèn)題。在簡(jiǎn)要介紹軟組織切割模型發(fā)展歷程后,分別從基于網(wǎng)格和無(wú)網(wǎng)格兩大建模體系對(duì)目前已提出的多種軟組織切割模型進(jìn)行介紹,分析并總結(jié)各種建模方法的優(yōu)缺點(diǎn)及其在各類虛擬手術(shù)仿真系統(tǒng)中的具體應(yīng)用實(shí)例。除此之外,針對(duì)近年來(lái)新提出的混合模型進(jìn)行分析,并從仿真效果與計(jì)算速度角度對(duì)未來(lái)的發(fā)展方向進(jìn)行展望。
虛擬手術(shù); 軟組織; 切割模型; 無(wú)網(wǎng)格; 混合模型
傳統(tǒng)的醫(yī)生訓(xùn)練模式周期長(zhǎng)、效率低、成本高[1],而且在培訓(xùn)過(guò)程中醫(yī)生主刀的機(jī)會(huì)很少,真正進(jìn)行實(shí)際手術(shù)時(shí)很容易導(dǎo)致醫(yī)療事故的發(fā)生。基于虛擬現(xiàn)實(shí)技術(shù)構(gòu)建的虛擬手術(shù)仿真訓(xùn)練系統(tǒng)(virtual surgery simulation training system,VSSTS)可模擬手術(shù)中各種復(fù)雜情景,具有成本低、效率高、無(wú)損反復(fù)使用等特點(diǎn),在醫(yī)療教學(xué)中正逐步占據(jù)主要地位。軟組織切割作為手術(shù)中最常見(jiàn)、使用頻率最高的操作,對(duì)其進(jìn)行“無(wú)失真”模擬具有重要的意義,是虛擬手術(shù)仿真中最為核心的研究?jī)?nèi)容。然而,軟組織是一種極為特殊的復(fù)合彈性材料,具有各向異性、非均勻黏彈性、近似不可壓縮性。如何在虛擬手術(shù)仿真系統(tǒng)中建立準(zhǔn)確、逼真的軟組織切割模型一直是該領(lǐng)域的熱點(diǎn)和難題[2],主要體現(xiàn)在:軟組織在切割后,由于幾何和拓?fù)浣Y(jié)構(gòu)發(fā)生了劇烈的變化,特別是在有網(wǎng)格方法中需要重新建立網(wǎng)格關(guān)系,將給模型的建立帶來(lái)很大的問(wèn)題[3-5];模型執(zhí)行速度與仿真精度之間存在矛盾;此外,快速有效的實(shí)時(shí)碰撞檢測(cè)技術(shù)對(duì)于模型也非常關(guān)鍵[6]。
經(jīng)過(guò)近10年的發(fā)展,研究者已經(jīng)提出許多軟組織切割模型[2]。按照在建模過(guò)程中是否需要對(duì)虛擬器官對(duì)象進(jìn)行剖分預(yù)處理,軟組織切割模型可以簡(jiǎn)單分為基于網(wǎng)格的和基于無(wú)網(wǎng)格的兩大建模體系架構(gòu)。一是基于網(wǎng)格的模型,二是基于無(wú)網(wǎng)格的模型。
1997年,Nielsen等提出的基于網(wǎng)格的單元去除法[7]是最早的切割模擬方法。為改善切口仿真效果,Nielsen及其他學(xué)者相繼提出了邊折疊法[8]、頂點(diǎn)分裂法[9]、頂點(diǎn)復(fù)制拆分法[10]、表面約束法[11]、切口獨(dú)立繪制[12]等改進(jìn)模型。上述切割模型其實(shí)僅僅對(duì)虛擬對(duì)象的表面網(wǎng)格進(jìn)行了處理,用較少的點(diǎn)和面片元素表示出物體的表面輪廓,計(jì)算時(shí)間短、效率高。但是,該模型無(wú)法表達(dá)出物體的內(nèi)部信息,發(fā)生形變時(shí)無(wú)法真實(shí)模擬實(shí)體的各項(xiàng)物理性能。為了更好地模擬和表現(xiàn)物體被切割后內(nèi)部發(fā)生的各種變化,Bielser等提出了基于體模型的體元剖分法[13]。為了解決基于體模型方法中計(jì)算速度和仿真精度的矛盾,相繼出現(xiàn)了虛擬節(jié)點(diǎn)法[14-16]、部分剖分法[17]、狀態(tài)機(jī)法[18]、最小分裂單元法[19]、立方體體元剖分法[20-24]等改進(jìn)模型。擴(kuò)展有限元方法(extended finite element method,XFEM)是目前基于網(wǎng)格方法中一個(gè)新的研究熱點(diǎn),該方法將不連續(xù)場(chǎng)與網(wǎng)格邊界分開(kāi)描述[25-29],計(jì)算網(wǎng)格和結(jié)構(gòu)內(nèi)部的幾何或者物理界面相互獨(dú)立,特別適合分析像切割這樣會(huì)造成不連續(xù)的問(wèn)題。上述這些模型均需進(jìn)行網(wǎng)格剖分預(yù)處理,在切割過(guò)程中對(duì)網(wǎng)格進(jìn)行更新、重組,計(jì)算代價(jià)非常高。
1995年,Desbrun等將無(wú)網(wǎng)格方法引入計(jì)算機(jī)圖形學(xué)[30]。2004年,瑞士蘇黎世聯(lián)邦理工學(xué)院(ETH)的Muller等提出了基于位移矢量場(chǎng)梯度的無(wú)網(wǎng)格方法來(lái)模擬彈性、塑性、融溶性物體[31]。隨后,Mark等在該算法的基礎(chǔ)上,利用透明性準(zhǔn)則處理由切割、斷裂產(chǎn)生的不連續(xù)性,實(shí)現(xiàn)了對(duì)脆性固體、高塑性軟體切割、斷裂的動(dòng)畫模擬[32]。這些無(wú)網(wǎng)格方法都是基于點(diǎn)圖元的,離散和計(jì)算過(guò)程中都沒(méi)有形函數(shù)的參與,不是真正意義上的無(wú)網(wǎng)格方法。2010年,Horton等首次提出了基于全局拉格朗日自適應(yīng)動(dòng)態(tài)松弛的無(wú)網(wǎng)格(meshless total Lagrangian adaptive dynamic relaxation, MTLADR)方法[33]。2012年,Jin等在此基礎(chǔ)上利用水平集(level set)方法提出了基于MTLADR的切割算法[34],實(shí)現(xiàn)了對(duì)2D物體的切割模擬。2013年,該研究小組成功將該算法擴(kuò)展到3D物體上[35]。
下面將按照基于網(wǎng)格的和基于無(wú)網(wǎng)格的兩大建模體系架構(gòu),對(duì)當(dāng)前已公開(kāi)發(fā)表的各種模型進(jìn)行介紹,并對(duì)比總結(jié)各種方法的優(yōu)缺點(diǎn)。隨后,從仿真效果與計(jì)算速度角度,對(duì)新出現(xiàn)的基于網(wǎng)格和無(wú)網(wǎng)格的混合模型進(jìn)行重點(diǎn)闡述。最后,對(duì)軟組織切割模型建模方法進(jìn)行總結(jié),并對(duì)未來(lái)發(fā)展方向進(jìn)行展望。
1.1 基于表面網(wǎng)格的切割模型
基于表面網(wǎng)格的切割模型相對(duì)比較簡(jiǎn)單,大致可分為3類:?jiǎn)卧コ?、頂點(diǎn)復(fù)制拆分法、表面約束法。
單元去除法的基本思想是直接刪除碰撞檢測(cè)到與手術(shù)器械相交的單元網(wǎng)格形成切割缺口。這類方法最大的優(yōu)點(diǎn)是數(shù)據(jù)計(jì)算處理速度快,編程實(shí)現(xiàn)簡(jiǎn)單,可實(shí)現(xiàn)實(shí)時(shí)處理;缺點(diǎn)是刪除數(shù)據(jù)后模型不再滿足基本的質(zhì)量守恒定律,會(huì)形成鋸齒狀邊界,仿真效果不佳。
頂點(diǎn)分裂方法是在幾何上對(duì)切割路徑上頂點(diǎn)運(yùn)動(dòng)的方向和速度進(jìn)行分析,將每個(gè)頂點(diǎn)分裂為對(duì)稱的兩個(gè)新頂點(diǎn)[36]。這類方法適合處理幾何結(jié)構(gòu)規(guī)則、簡(jiǎn)單的對(duì)象,切割后可以保證其他網(wǎng)格的拓?fù)浣Y(jié)構(gòu)完整不受影響,數(shù)據(jù)結(jié)構(gòu)也相對(duì)簡(jiǎn)單。
表面約束法是2010年由日本學(xué)者M(jìn)egumi提出的,這類方法通過(guò)對(duì)切割路徑上的頂點(diǎn)、添加不同的約束條件來(lái)模擬仿真切割的過(guò)程。
不論哪種基于表面網(wǎng)格的軟組織切割模型,都只能模擬物體發(fā)生切割后組織表面發(fā)生的變化,無(wú)法表達(dá)出組織內(nèi)部的各種形態(tài),特別是在需要進(jìn)行交互時(shí),由于內(nèi)部未建立模型,組織被切開(kāi)后手術(shù)刀若再深入便沒(méi)有意義,只能繼續(xù)沿著表面進(jìn)行切割,這與實(shí)際的切割相去甚遠(yuǎn),不能模擬出真正手術(shù)時(shí)的切割“手感”。
1.2 基于體元的切割模型
根據(jù)對(duì)重構(gòu)組織內(nèi)部剖分時(shí)所采用的體元類型,基于體元的切割模型,可以分為基于四面體、六面體、多面體體元等的類型。
1.2.1 基于四面體體元的切割模型
最早Cotin等將單元去除方法運(yùn)用于模擬肝臟切除的手術(shù)中,實(shí)現(xiàn)了肝臟的虛擬實(shí)時(shí)切割[37]。為了改進(jìn)直接去除法的切口效果,F(xiàn)orset等考慮了切割位置周圍四面體的影響并做了適當(dāng)移除,以使模型具有一定的流體特征,但是效果仍然不夠理想[38]。隨后,Bielser提出體元剖分重組法,這是相對(duì)比較成熟、完備的基于網(wǎng)格的切割算法。該算法的基本思路是:將手術(shù)刀面與虛擬軟組織四面體體元的點(diǎn)、邊、面的交互情況分為五大類拓?fù)浣Y(jié)構(gòu),其中兩類是將體元部分切割,其余3類為完全切開(kāi)。根據(jù)切割時(shí)的位置不同,通過(guò)頂點(diǎn)復(fù)制,網(wǎng)格重組后這5類結(jié)構(gòu)的四面體體元又可細(xì)分為17個(gè)小的四面體體元,預(yù)先將這5種拓?fù)浣Y(jié)構(gòu)映射到17種體元細(xì)分類型中制成鏈表,切割模擬時(shí)直接查表即可。該方法最大的缺陷在于數(shù)據(jù)量大,數(shù)據(jù)機(jī)構(gòu)復(fù)雜。同時(shí),在對(duì)體元進(jìn)行剖分、重組的過(guò)程中,會(huì)產(chǎn)生許多狹長(zhǎng)、扁平的四面體體元。在運(yùn)用有限元方法進(jìn)行數(shù)值求解的過(guò)程中,容易產(chǎn)生病態(tài)矩陣,導(dǎo)致整個(gè)系統(tǒng)穩(wěn)定性差,甚至無(wú)法求解。針對(duì)數(shù)據(jù)量大的問(wèn)題,研究人員提出了基于最少單元?jiǎng)?chuàng)建的方法[39-40],盡可能減少剖分出新的四面體體元。而對(duì)于容易產(chǎn)生病態(tài)體元的問(wèn)題,Molino等提出了虛擬節(jié)點(diǎn)的概念。該算法的基本思想是:復(fù)制發(fā)生了切割的節(jié)點(diǎn),并將原來(lái)組成物體的節(jié)點(diǎn)(真實(shí)節(jié)點(diǎn))與新復(fù)制產(chǎn)生的節(jié)點(diǎn)(虛擬節(jié)點(diǎn))進(jìn)行統(tǒng)一,這樣切割形變的計(jì)算就在良好的網(wǎng)格結(jié)構(gòu)下進(jìn)行,避免了病態(tài)體元。在最初的虛擬頂點(diǎn)算法中,要求必須有一個(gè)真實(shí)節(jié)點(diǎn)。2007年,Sifakis等對(duì)該算法進(jìn)行了改進(jìn),可對(duì)純粹的虛擬節(jié)點(diǎn)進(jìn)行復(fù)制,這樣就允許對(duì)任意四面體體元進(jìn)行切割,但沒(méi)有提及如何更新切割后每個(gè)單元體的質(zhì)量及如何加載切割力。2010年,針對(duì)體元剖分?jǐn)?shù)據(jù)量大、無(wú)法實(shí)現(xiàn)實(shí)時(shí)的問(wèn)題,法國(guó)的INRIA小組將切割過(guò)程分為3個(gè)步驟[41]。首先,移除當(dāng)前網(wǎng)格中與手術(shù)器械相交的體元;然后,對(duì)移除的體元進(jìn)行剖分;最后,將剖分后的單元添加到原位置。其中,剖分過(guò)程會(huì)影響系統(tǒng)的剛度、質(zhì)量、阻尼矩陣及最后的線性系統(tǒng)控制矩陣,在對(duì)這些量進(jìn)行更新時(shí)產(chǎn)生了延遲,而延遲會(huì)導(dǎo)致系統(tǒng)不穩(wěn)定和不準(zhǔn)確。為了消除延遲,該小組又提出了一種在低頻率下基于異步更新的預(yù)處理技術(shù)[42]。通過(guò)異步預(yù)處理器,在下一步更新前,預(yù)先將切割影響的各個(gè)矩陣計(jì)算好并存儲(chǔ),以便在切割過(guò)程中直接調(diào)用,盡量減少延遲,從而消除因?yàn)檠舆t所帶來(lái)的各種不利影響。該組研究人員結(jié)合GPU并行運(yùn)算技術(shù),將該算法運(yùn)用于白內(nèi)障切除、腹腔內(nèi)窺鏡肝切除、腦瘤移除3個(gè)極具挑戰(zhàn)的手術(shù)模擬中,取得了不錯(cuò)的效果,圖1為模擬腦瘤切除手術(shù)。
圖1 腦瘤切除手術(shù)模擬[42]。 (a)開(kāi)顱;(b)開(kāi)始切割;(c)切割行進(jìn)中;(d)切割完成Fig.1 Simulation of brain tumor resection[42].(a) Craniotomy; (b) Beginning of cutting; (c) The process of cutting; (d) Completing cutting
1.2.2 基于六面體體元的切割模型
2009年,意大利的Pietroni運(yùn)用體素化技術(shù)建立了基于六面體體元的軟組織模型,并提出基于此模型的分裂立方體切割算法。該算法的主要思想是:用一個(gè)規(guī)則的立方體網(wǎng)格包圍可變形的軟組織模型,然后根據(jù)建立的虛擬物體模型表面和切口邊界與立方體網(wǎng)格相交的不同情況建立查詢表,切割發(fā)生時(shí)快速查表做出相應(yīng)響應(yīng)。這種方法的優(yōu)點(diǎn)在于不用擔(dān)心會(huì)產(chǎn)生病態(tài)體元,不會(huì)因?yàn)殄e(cuò)誤而導(dǎo)致終止,具有良好的魯棒性,切割響應(yīng)速度很快,因?yàn)轫憫?yīng)表是預(yù)先處理好的。由于僅僅是對(duì)分裂后的規(guī)則立方體網(wǎng)格邊進(jìn)行處理,不會(huì)出現(xiàn)網(wǎng)格法中的病態(tài)網(wǎng)格。與頂點(diǎn)拆分和復(fù)制方法不同,該方法可以實(shí)現(xiàn)對(duì)邊、體單元的分割,德國(guó)慕尼黑工業(yè)大學(xué)的Dick 等在該領(lǐng)域做了許多工作。在實(shí)際模擬中,固定的網(wǎng)格結(jié)構(gòu)不僅需要很多的內(nèi)存空間,而且處理時(shí)間過(guò)長(zhǎng)。對(duì)此,2011年Dick等提出了基于自適應(yīng)八叉樹(shù)網(wǎng)格結(jié)構(gòu)的切割方法。該方法根據(jù)切割軌跡,自適應(yīng)地將網(wǎng)格結(jié)構(gòu)調(diào)整至某個(gè)最佳水平。在這種情況下,體元之間的關(guān)聯(lián)仍然與在固定網(wǎng)格中的一致。但是,實(shí)際上僅僅需要保存在最佳水平下的體元。這樣,可以大大減少內(nèi)存的存儲(chǔ)空間,同時(shí)提高處理速度。對(duì)于切割表面的渲染,Wu 等提出了雙等值線法(dual contouring)。相對(duì)于前面提到的立方體分裂法,該方法不但可以提高所生成的網(wǎng)格質(zhì)量,同時(shí)可以減少三角形的總數(shù)量。如圖2所示,將該方法應(yīng)用于由17萬(wàn)個(gè)體元組成的肝臟模型切割試驗(yàn)中,圖像刷新率可達(dá)到15幀/s,基本滿足實(shí)時(shí)性要求。
圖2 基于六面體體元的切割算法試驗(yàn)效果圖[22]。(a)裝置; (b)網(wǎng)格化; (c)切割渲染Fig.2 Cutting based on hexahedron vexel[22]. (a) Equipment; (b) Meshing; (c) Cutting rendering
1.2.3 基于多面體體元的切割模型
對(duì)基于四面體或者六面體體元的軟組織模型而言,切割后進(jìn)行網(wǎng)格重組的體元仍然必須為四面體或者六面體。為了打破這種限制,Wicke等提出了基于多面體體元的切割模型[43]。在該模型下,允許切割后產(chǎn)生的體元為其他類型,雖然這類方法給網(wǎng)格重組帶來(lái)了很大的方便,但是在重組過(guò)程中仍然很容易產(chǎn)生病態(tài)體元,造成系統(tǒng)不穩(wěn)定,所以需要進(jìn)一步研究改進(jìn)。
1.3 擴(kuò)展的有限元方法
軟組織被切割后必然會(huì)產(chǎn)生新的邊界,造成不連續(xù)性。傳統(tǒng)的有限元方法采用連續(xù)函數(shù)作為形函數(shù),要求在單元內(nèi)部形函數(shù)連續(xù)且材料性能不能跳躍,因而對(duì)于像切割這樣會(huì)產(chǎn)生移動(dòng)邊界的手術(shù)操作很難分析。基于此,研究者提出了XFEM,該方法最早是由美國(guó)西北大學(xué)一直從事計(jì)算力學(xué)研究的著名學(xué)者Belytschko提出,主要用于金屬等剛性物質(zhì)裂紋擴(kuò)展的模擬仿真,后來(lái)應(yīng)用到2D和3D彈塑性物體形變、流體力學(xué)等領(lǐng)域。2004年,Vigneron等將XFEM方法運(yùn)用于外科手術(shù)的切割模擬中,利用具有不連續(xù)性質(zhì)的擴(kuò)展形函數(shù)來(lái)表示間斷,將不連續(xù)場(chǎng)與網(wǎng)格邊界分開(kāi)描述。2009年Luis等提出了一種用于軟組織切割的XFEM框架,運(yùn)用一種FEM-XFEM的映射方法,當(dāng)體元進(jìn)行分裂時(shí)插入一個(gè)備選的網(wǎng)格(alternative tetrahedral mesh, ATM)。由于這種映射方法儲(chǔ)存了頂點(diǎn)和體元的關(guān)系結(jié)構(gòu),切割進(jìn)行時(shí)可以快速地建立起點(diǎn)和體元的聯(lián)系,如圖3所示。在人臉和人手上的試驗(yàn)結(jié)果表明,該算法計(jì)算速度快、穩(wěn)定,可滿足實(shí)時(shí)性要求。最近,德國(guó)Heidelberg 大學(xué)的Nicolai 等將共旋坐標(biāo)法(corotational formulation)和隱式Newmark積分方法引入到X-FEM的框架中,前者在實(shí)時(shí)模擬時(shí)可以對(duì)復(fù)雜的形函數(shù)梯度的計(jì)算進(jìn)行預(yù)處理,后者可以增強(qiáng)仿真過(guò)程的穩(wěn)定性。圖4所示為應(yīng)用該方法對(duì)虛擬肝臟任意切割的模擬結(jié)果。
圖3 X-FEM切割算法2D切割試驗(yàn)效果[28]。(a)裝置;(b)人臉試驗(yàn);(c)人手試驗(yàn)Fig.3 2D cutting based on X-FEM[28]. (a) Equipment; (b) Cutting on man’s face; (c) Cutting on the hand
圖4 X-FEM切割算法3D切割試驗(yàn)效果[29]。(a)四面體分裂; (b)切割開(kāi)始; (c)切開(kāi)后Fig.4 3D cutting based on X-FEM[29].(a) Tetrahedron splitting; (b) Beginning of cutting; (c) Results of cutting
目前在軟組織模擬仿真問(wèn)題上,絕大多數(shù)基于網(wǎng)格的數(shù)值求解方法為有限元法(finite element method, FEM)。有限元方法需要首先對(duì)物體進(jìn)行網(wǎng)格剖分,對(duì)于復(fù)雜物體這一過(guò)程容易形成病態(tài)網(wǎng)格,而且非常耗時(shí)。同時(shí),切割過(guò)程會(huì)破壞原有的網(wǎng)格結(jié)構(gòu),須對(duì)原始網(wǎng)格進(jìn)行重組,這往往是非常困難的事情。在這種背景下,基于無(wú)網(wǎng)格的切割模型應(yīng)運(yùn)而生[44]。
2.1 基于位移場(chǎng)矢量梯度的無(wú)網(wǎng)格方法
Desbrun等最早將無(wú)網(wǎng)格方法引入計(jì)算機(jī)圖形學(xué)中,并運(yùn)用于可變形物體的模擬。2004年,瑞士ETH實(shí)驗(yàn)室的Muller等運(yùn)用移動(dòng)最小二乘法(moving least squares, MLS)計(jì)算每一個(gè)節(jié)點(diǎn)的位移向量場(chǎng)梯度,在此基礎(chǔ)上計(jì)算得到任意點(diǎn)的應(yīng)力、應(yīng)變和彈性力,從而實(shí)現(xiàn)了基于點(diǎn)的彈性、塑性、融溶性物體的模擬仿真。當(dāng)在外力作用下任意點(diǎn)的位移發(fā)生變化后將產(chǎn)生位移場(chǎng)變量,通過(guò)求導(dǎo)可求出位移場(chǎng)對(duì)應(yīng)3個(gè)坐標(biāo)的位移場(chǎng)矢量的梯度;接著利用該梯度,可計(jì)算出應(yīng)力和應(yīng)變;然后根據(jù)應(yīng)變能梯度的負(fù)數(shù)與位移場(chǎng)矢量的乘積,得到任一點(diǎn)所受體力;最后運(yùn)用蛙跳法(leap-forg),計(jì)算出任一點(diǎn)新的位移。由于組成物體的物理點(diǎn)元(physical elements, Phyxels)相互影響,因此僅可對(duì)物體形變進(jìn)行模擬,無(wú)法模擬切割或斷裂。2005年,斯坦福大學(xué)的Mark等在該算法基礎(chǔ)上,利用透明性準(zhǔn)則處理由切割、斷裂產(chǎn)生的不連續(xù)性,實(shí)現(xiàn)了對(duì)脆性固體、高塑性軟體的切割、斷裂的動(dòng)畫模擬。與傳統(tǒng)的FEM方法中網(wǎng)格始終保持一致不同,該方法動(dòng)態(tài)地調(diào)整節(jié)點(diǎn)的形函數(shù),同時(shí)運(yùn)用插值方法不斷對(duì)離散后的空間進(jìn)行修正,這樣使得模擬出來(lái)的切口效果非常好。但是,該方法很難權(quán)衡內(nèi)存和動(dòng)態(tài)重算的關(guān)系,而且不適合對(duì)薄殼類物體進(jìn)行模擬。針對(duì)這些問(wèn)題,2006年Guo等提出了基于全局共形參數(shù)化的薄殼無(wú)網(wǎng)格模擬[45]。2012年,韓國(guó)Jung等利用一種拓?fù)浣Y(jié)構(gòu)快速細(xì)分方法,對(duì)組成物體的無(wú)網(wǎng)格節(jié)點(diǎn)進(jìn)行分裂[46]。該方法首先基于可見(jiàn)性準(zhǔn)則,建立起節(jié)點(diǎn)間拓?fù)潢P(guān)系-無(wú)向圖(undirected graph);接著,運(yùn)用層次包圍盒方法(bounding volume hierarchy, BVH),快速測(cè)試手術(shù)器械與軟組織碰撞情況;然后,根據(jù)碰撞結(jié)果,刪除無(wú)向圖中受切割影響的邊;最后,運(yùn)用BVH法,對(duì)無(wú)向圖不斷地進(jìn)行更新重構(gòu),從而實(shí)現(xiàn)切割的實(shí)時(shí)模擬。該算法最大亮點(diǎn)在于BVH算法相對(duì)其他碰撞方法(如空間散列法)效率更高,很適合運(yùn)用于可形變體的自適應(yīng)調(diào)整。如圖5所示,Jung等在普通PC機(jī)上對(duì)由7 629個(gè)節(jié)點(diǎn)重構(gòu)的虛擬肝臟組織上進(jìn)行試驗(yàn),實(shí)時(shí)切割模擬速度可達(dá)20 Hz。該方法不算真正意義上的無(wú)網(wǎng)格方法,因?yàn)槊總€(gè)節(jié)點(diǎn)之間還是通過(guò)無(wú)向圖建立了聯(lián)系,切割過(guò)程中也需不斷根據(jù)碰撞檢測(cè)結(jié)果對(duì)無(wú)向圖進(jìn)行更新。
圖5 基于BVH的無(wú)網(wǎng)格切割算法試驗(yàn)效果[46]。 (a)開(kāi)始切割;(b)切割進(jìn)行中;(c)部分切開(kāi);(d)完全切開(kāi)Fig.5 Meshless cutting method based on of BVH[46]. (a)Beginning of cutting;(b)In the process of cutting;(c)Partial cutting;(d)Completing of cutting
2.2 EFG無(wú)網(wǎng)格方法
EFG方法是無(wú)網(wǎng)格方法中一種成熟并廣泛使用的方法。在本文上一節(jié)的介紹中,ETH的Muller等提出基于位移場(chǎng)矢量梯度的無(wú)網(wǎng)格方法以及在此基礎(chǔ)上發(fā)展的切割算法并不是真正意義上的無(wú)網(wǎng)格方法,因?yàn)檫@類方法中沒(méi)有形函數(shù)的概念,應(yīng)力、應(yīng)變以及后面計(jì)算的體力都是基于位移場(chǎng)矢量的梯度[47]。2010年,Horton等首次提出了基于全局拉格朗日自適應(yīng)動(dòng)態(tài)松弛的無(wú)網(wǎng)格(MTLADR)方法[48]。在一個(gè)重構(gòu)的圓柱體上進(jìn)行了壓縮、拉伸等形變?cè)囼?yàn),通過(guò)與FEM的結(jié)果對(duì)比,該算法計(jì)算出的體力和位移與FEM的誤差小于5%。2012年,Jin等在此基礎(chǔ)上提出了基于MTLADR的軟組織切割算法[49]。MTLADR屬于EFG方法的一種,特別適用于像切割這樣會(huì)造成邊界移動(dòng)的情況。首先,在點(diǎn)云模型基礎(chǔ)上,構(gòu)建背景網(wǎng)格,并計(jì)算形函數(shù)及其導(dǎo)數(shù);其次,運(yùn)用水平集方法對(duì)點(diǎn)進(jìn)行分類;再次,利用可見(jiàn)性準(zhǔn)則調(diào)整點(diǎn)的形函數(shù),將一些由于切割而造成“不可見(jiàn)”的點(diǎn)從影響域中刪除,并更新形函數(shù);然后,計(jì)算并組裝體力;最后,將所求得的體力帶入物體運(yùn)動(dòng)控制方程,并求解得到各點(diǎn)的新位移。為了驗(yàn)證基于MTLADR的切割算法的可行性與準(zhǔn)確性,在一個(gè)重構(gòu)的0.1 m×0.1 m正方形點(diǎn)云樣本上進(jìn)行了切割試驗(yàn),并將該算法的計(jì)算結(jié)果與有限元軟件Abaqus的計(jì)算結(jié)果進(jìn)行對(duì)比,發(fā)現(xiàn)兩者具有很好的一致性。2013年,Jin等將MTLADR算法擴(kuò)展到3D軟組織切割模擬,如圖6所示。在2D空間中,切割路徑用一系列線段進(jìn)行表示;擴(kuò)展到3D后,切割路徑則用一系列切割平面來(lái)表示。筆者同樣將MTLADR算法計(jì)算結(jié)果與Abaqus計(jì)算結(jié)果進(jìn)行對(duì)比,結(jié)果表明:兩者最大絕對(duì)誤差為0.78 mm,平均誤差為0.039 mm, 95.76%的節(jié)點(diǎn)絕對(duì)誤差小于0.1 mm。
圖6 基于MTLADR算法的切割試驗(yàn)效果[35]。(a)2D切割;(b)3D切割Fig.6 Cutting based on MTLADR[35].(a)Result of 2D cutting; (b)Result of 3D cutting
從目前公開(kāi)發(fā)表的文獻(xiàn)看,運(yùn)用該算法進(jìn)行模擬的對(duì)象均是具各種材料性質(zhì)的彈性正方體,后期沒(méi)有貼紋理或其他渲染處理,所得到的渲染結(jié)果比較生硬,無(wú)法獲得令人滿意的虛擬現(xiàn)實(shí)效果。為了將該方法真正運(yùn)用于虛擬手術(shù)仿真中,筆者首先在規(guī)則正方體上進(jìn)行了試驗(yàn),圖7中(a)和(b)是隨著切割的進(jìn)行切口不斷張開(kāi)的過(guò)程,試驗(yàn)結(jié)果表明了這種算法的可行性。接著,將該算法應(yīng)用于腦外科虛擬手術(shù)訓(xùn)練仿真系統(tǒng)中對(duì)腦瘤組織切割模擬,并對(duì)切口進(jìn)行紋理貼圖和渲染,從圖(c)中可以看出切割后形成的切口很平滑,取得了不錯(cuò)的視覺(jué)效果。目前,該算法存在的主要問(wèn)題是計(jì)算速度很慢,無(wú)法滿足實(shí)時(shí)性要求。產(chǎn)生這個(gè)問(wèn)題的根源在于該算法屬于EFG方法的一種,由于EFG的計(jì)算過(guò)程中需要借助背景網(wǎng)格進(jìn)行高斯積分,導(dǎo)致運(yùn)算量非常大,這個(gè)問(wèn)題有待進(jìn)一步解決。
圖7 虛擬腦外科手術(shù)腦瘤切割試驗(yàn)效果。 (a)較淺的切口;(b)較深的切口;(c)切口渲染Fig.7 Brain tumor resection for brain surgery. (a)Shallow incision;(b)Deep incision;(c)Incision rendering
基于網(wǎng)格的軟組織切割模型算法相對(duì)成熟,通用性好。但是,在進(jìn)行單元網(wǎng)格剖分等預(yù)處理時(shí)工作量大,特別是對(duì)于復(fù)雜形狀的三維物體需要耗費(fèi)大量的時(shí)間建立網(wǎng)格關(guān)系,而且往往無(wú)法建立良好的網(wǎng)格結(jié)構(gòu),在切割過(guò)程中為維護(hù)這種網(wǎng)格關(guān)系也需要耗費(fèi)大量的計(jì)算代價(jià);基于無(wú)網(wǎng)格的軟組織切割模型使用大量無(wú)關(guān)聯(lián)的節(jié)點(diǎn)重構(gòu)物體,無(wú)需建立網(wǎng)格也不必描述節(jié)點(diǎn)之間的關(guān)系,這樣就大大減少了預(yù)處理的工作量和時(shí)間,并且在切割過(guò)程中無(wú)需特別維護(hù)節(jié)點(diǎn)之間的拓?fù)潢P(guān)系。然而,該方法在處理邊界時(shí)往往比較困難,邊界條件難以施加。因此,許多學(xué)者嘗試將兩種方法結(jié)合起來(lái),建立起基于網(wǎng)格和無(wú)網(wǎng)格方法的混合切割模型。
3.1 現(xiàn)有工作
2009年,ETH的Denis等將基于無(wú)網(wǎng)格的物體空間離散方法與基于網(wǎng)格的表面重建技術(shù)結(jié)合起來(lái),已成功運(yùn)用于子宮鏡檢查和切割模擬中[50]。但是,該方法數(shù)據(jù)結(jié)構(gòu)復(fù)雜,算法復(fù)雜度高,計(jì)算效率低。隨后,Shao等將軟組織劃分為手術(shù)區(qū)域和非手術(shù)區(qū)域,綜合運(yùn)用無(wú)網(wǎng)格方法中的快速格子形狀匹配算法(fast lattice shape matching, FLSM)和基于網(wǎng)格的有限元方法,建立了可形變體虛擬切割混合模型[51]。研究人員設(shè)計(jì)了兩個(gè)實(shí)時(shí)虛擬切割實(shí)例,分別用重構(gòu)的虛擬手術(shù)器械對(duì)可形變的虛擬肝臟和斯坦福兔子(Stanford bunny)進(jìn)行切割,如圖8所示。結(jié)果表明,該方法形成的切口平滑、逼真,圖像刷新率可達(dá)20幀/s,可滿足實(shí)時(shí)性的要求。針對(duì)網(wǎng)格方法切割破壞原始的網(wǎng)格結(jié)構(gòu)后在重組過(guò)程中產(chǎn)生病態(tài)網(wǎng)格和分裂帶來(lái)的結(jié)構(gòu)不一致,以及無(wú)網(wǎng)格方法重建切割表面復(fù)雜且低效的問(wèn)題,2012年上海交通大學(xué)周喆等人提出了分別用一組表面面片表示物體輪廓和一個(gè)描述模型內(nèi)部結(jié)構(gòu)的點(diǎn)集來(lái)建立切割模型[52]。在該模型中,隨著切割的進(jìn)行,對(duì)切割路徑上的表面網(wǎng)格進(jìn)行分裂,而內(nèi)部點(diǎn)集則根據(jù)無(wú)網(wǎng)格法中的分裂原則,將切割路徑上的頂點(diǎn)記錄并重建切割表面。這樣,表面重建只需針對(duì)由于切割而產(chǎn)生的新表面,加快了表面重建的速度,且僅僅對(duì)切割路徑上的表面網(wǎng)格進(jìn)行分裂,內(nèi)部都是由點(diǎn)集構(gòu)成,回避了傳統(tǒng)網(wǎng)格方法中網(wǎng)格重建時(shí)復(fù)雜的拓?fù)湫螒B(tài)變化。圖9給出了該算法的具體步驟,圖10是在一個(gè)虛擬肝臟模型上進(jìn)行的切割試驗(yàn)。實(shí)驗(yàn)結(jié)果表明,該方法可以獲得沿著切割方向較為平滑的切口表面,但是由于內(nèi)部插入的頂點(diǎn)紋理坐標(biāo)無(wú)法計(jì)算,造成新形成的切割表面沒(méi)有紋理。2013年,澳大利亞Curtin大學(xué)Jie等將基于表面網(wǎng)格的頂點(diǎn)復(fù)制分裂法與基于無(wú)網(wǎng)格的體單元傳遞鏈形變模型相結(jié)合,很好地模擬了軟組織切割過(guò)程[53]。表面網(wǎng)格模型用于產(chǎn)生切割后的切口表面,在表面網(wǎng)格下體元形變模型則模擬切割過(guò)程中軟組織的形變。為了使切割表現(xiàn)得更加真實(shí),筆者采用簡(jiǎn)單的衰減函數(shù)來(lái)表達(dá)軟組織因切割造成的“起皺”現(xiàn)象。將該算法運(yùn)用于脊椎手術(shù)的模擬中,結(jié)果如圖11所示。圖11中的(a)~(d)是計(jì)算機(jī)模擬的效果,(e)是實(shí)際手術(shù)情況。從圖11(a)~(d)中可以看出,該方法不需要插入新的節(jié)點(diǎn)或體單元,因此不會(huì)出現(xiàn)切割后切口沒(méi)有紋理的問(wèn)題。對(duì)比(d)和(e)可知,(d)中切割區(qū)域周圍的“起皺”現(xiàn)象與實(shí)際手術(shù)(e)中的一致,從而增強(qiáng)了手術(shù)仿真的現(xiàn)實(shí)感。該方法存在的主要問(wèn)題在于切割表面與組織內(nèi)部體模型沒(méi)有很好融合,切割表面如同貼在體模型上面。
圖8 基于快速格子形狀匹配和有限元法混合模型[51]。 (a)肝臟模型切割;(b)兔子模型形變及切割Fig.8 Hybrid model based on FLSM and FEM[51].(a)Cutting of liver;(b)Deformation and cutting of bunny
圖9 基于三角面片和點(diǎn)集的混合模型切割算法流程[52] Fig.9 Algorithm flow of hybrid model based on triangular faces and nodes[52]
圖10 基于三角面片和點(diǎn)集的混合模型切割試驗(yàn)[52]。(a)開(kāi)始切割;(b)切割進(jìn)行中;(c)網(wǎng)格結(jié)構(gòu);(d)切開(kāi)后效果Fig.10 Cutting hybrid model based on triangular faces and nodes[52]. (a)Beginning of cutting; (b)In the process of cutting; (c)Mesh; (d)Results of cutting
圖11 基于頂點(diǎn)復(fù)制拆分法與體單元傳遞鏈形變模型的混合模型切割試驗(yàn)效果[53]. (a)~(d)模擬切割過(guò)程;(e)真實(shí)切割效果Fig.11 Cutting hybrid model based on nodes snapping and Divod Chainmail[53].(a)~(d)Simulation of the cutting process;(e)Real cutting process
3.2 優(yōu)缺點(diǎn)分析
采用混合模型模擬切割,一般采取將軟組織表面與內(nèi)部分開(kāi)描述的方式來(lái)進(jìn)行。對(duì)于表面的建模一般都是基于有網(wǎng)格的方法,而對(duì)于內(nèi)部體模型則采用無(wú)網(wǎng)格的方法。這樣做的好處在于:一是基于網(wǎng)格的面模型數(shù)據(jù)量少,在形成切割表面及切割過(guò)程中對(duì)網(wǎng)格進(jìn)行控制比較方便,計(jì)算速度很快;二是網(wǎng)格模型經(jīng)過(guò)這么多年的發(fā)展有許多非常成熟的切割算法,容易得到光滑、真實(shí)的切口效果;三是無(wú)網(wǎng)格模型在模擬體模型形變方面具有很多優(yōu)勢(shì),建模時(shí)僅僅需要保存每個(gè)節(jié)點(diǎn)的相關(guān)信息,數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)單,發(fā)生形變時(shí)只需計(jì)算單個(gè)節(jié)點(diǎn)的位移矢量;四是軟組織在產(chǎn)生形變的過(guò)程中一般不容易出現(xiàn)如切割那樣造成的新邊界,僅僅是節(jié)點(diǎn)的位移移動(dòng),無(wú)網(wǎng)格方法的一個(gè)很大難點(diǎn)就在于本質(zhì)邊界條件(位移邊界條件)的施加,這樣就很好地避開(kāi)了這個(gè)問(wèn)題。
混合模型目前最大的難點(diǎn)是如何很好地管理好兩種不同的建模體系。首先,對(duì)兩種不同數(shù)據(jù)結(jié)構(gòu)進(jìn)行管理和維護(hù),使兩種不同的模型在切割過(guò)程中很好地協(xié)調(diào)、統(tǒng)一;其次,對(duì)視覺(jué)效果進(jìn)行融合,因?yàn)閺哪壳暗奈墨I(xiàn)看,基于網(wǎng)格方法產(chǎn)生的切割表面和基于無(wú)網(wǎng)格的體模型像被割裂開(kāi),還不能很好地融合在一起,無(wú)法形成統(tǒng)一的整體,影響視覺(jué)效果。
在虛擬手術(shù)仿真系統(tǒng)中,目前所建立的用于仿真軟組織切割等操作的虛擬器官模型大體上都是基于網(wǎng)格的和基于無(wú)網(wǎng)格的體系架構(gòu)。其中,根據(jù)是否處理內(nèi)部信息,基于網(wǎng)格的切割模型可分為面模型和體模型兩大類。面模型的優(yōu)點(diǎn)是用較少的點(diǎn)和面片元素可表示出物體的表面輪廓,計(jì)算時(shí)間短、效率高。但是,該模型無(wú)法表達(dá)出物體的內(nèi)部信息,發(fā)生形變時(shí)無(wú)法真實(shí)地模擬實(shí)體的物理性能;體模型采用可充滿整個(gè)模型空間的體元(常用的有四面體、六面體等),可同時(shí)表達(dá)出物體的內(nèi)、外部信息,因?yàn)橛萌S單元來(lái)重構(gòu)器官模型,仿真的物理效果較好。然而,體模型數(shù)據(jù)量大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜、計(jì)算時(shí)間長(zhǎng),運(yùn)用這些基元進(jìn)行模擬時(shí),要求沿著一定的方向切割,以保持模型一致性。由于手術(shù)時(shí)切割具有隨機(jī)性,因此該方法在實(shí)際應(yīng)用中受到一定限制。
基于無(wú)網(wǎng)格的切割模擬方法,可從根本上消除基于網(wǎng)格方法的許多弊端,不需要維持網(wǎng)格結(jié)構(gòu)的一致性,特別是切割后無(wú)需進(jìn)行網(wǎng)格重組,在計(jì)算效率和算法的復(fù)雜度上具有很大的優(yōu)勢(shì)?;谖灰剖噶刻荻鹊臒o(wú)網(wǎng)格方法,計(jì)算應(yīng)力、應(yīng)變都是只針對(duì)重構(gòu)物體的獨(dú)立點(diǎn)元,理論基礎(chǔ)清晰,程序編程實(shí)現(xiàn)容易,非常適合對(duì)軟組織形變的模擬仿真。但是,該方法沒(méi)有形函數(shù)的概念,對(duì)于像切割這樣會(huì)造成不連續(xù)性的模擬,位移(本質(zhì))邊界條件難以施加。EFG方法通過(guò)可見(jiàn)性準(zhǔn)則等處理不連續(xù)邊界的手段,調(diào)整形函數(shù),可以很好地對(duì)切割操作進(jìn)行模擬。該方法最大的不足是:在進(jìn)行高斯積分時(shí)需要利用背景網(wǎng)格,導(dǎo)致運(yùn)算速度很慢,難以滿足實(shí)時(shí)性的要求。
基于網(wǎng)格和無(wú)網(wǎng)格方法的混合模型,可以很好地發(fā)揮兩個(gè)方法各自的優(yōu)點(diǎn),避免了各自的缺點(diǎn),因此成為軟組織切割建模的熱點(diǎn)前沿課題。無(wú)論是將軟組織模型按照手術(shù)區(qū)域和非手術(shù)區(qū)域劃分,還是分成基于網(wǎng)格的表面模型和無(wú)網(wǎng)格的內(nèi)部體模型,都需要建立兩套完全不同的數(shù)據(jù)結(jié)構(gòu)。在切割過(guò)程中,如何更高效地進(jìn)行切換,更高效地進(jìn)行組織,是未來(lái)該領(lǐng)域的發(fā)展方向之一。在視覺(jué)方面,由于兩種模型的存在造成了面模型和體模型或者手術(shù)區(qū)域和非手術(shù)區(qū)域的割裂,不能很好地融為一體。因此,筆者認(rèn)為,可以借鑒圖像處理領(lǐng)域的邊緣融合技術(shù),實(shí)現(xiàn)這兩者的無(wú)縫“對(duì)接”。同時(shí),兩個(gè)模型混合在一起以后,會(huì)造成數(shù)據(jù)結(jié)構(gòu)復(fù)雜的問(wèn)題,應(yīng)該通過(guò)設(shè)計(jì)更為合理的數(shù)據(jù)結(jié)構(gòu)加以解決。另外,為了達(dá)到滿意的計(jì)算效率與仿真精度,采用基于GPU的各種并行計(jì)算[54-55]方法是一種選擇。
[1] Xu Shaoping, Liu Xiaoping, Zhang Hua. Simulation of soft tissue using mass-spring model with simulated annealing optimization [C] //Liu Xiaoping, eds. IEEE International Conference on Automation and Logistics. Shenyang:IEEE, 2009: 1543-1547.
[2] Wu Jun, Westermann R, Dick C. Physically-based simulation of cuts in deformable bodies a survey[C] //Lefebvre S, Spagnuolo M, eds. Eurographics 2014. Strasbourg: Eurographics Association, 2014: 1-18.
[3] 徐少平,劉小平,張華,等. 虛擬手術(shù)中軟組織實(shí)時(shí)形變模型的研究進(jìn)展 [J].生物醫(yī)學(xué)工程學(xué)雜志, 2010, 27(2): 435-439.
[4] Xu Shaoping, Liu Xiaoping, Zhang Hua,etal. A nonlinear viscoelastic tensor-mass visual model for surgery simulation [J]. IEEE Transactions on Instrumentation & Measurement, 2011, 60(1): 14-20.
[5] Liu Xiaoping, Xu Shaoping, Zhang Hua,etal. A new hybrid soft tissue model for visio-haptic simulation [J]. IEEE Transactions on Instrumentation & Measurement, 2011, 60(11): 3570-3581.
[6] Wu Jun, Dick C, Westermann R. Efficient collision detection for composite finite element simulation of cuts in deformable bodies [J]. Visual Computer, 2013, 29(6): 739-749.
[7] Bro-Nielsen M. Finite element modeling in surgery simulation [J]. Proceedings of the IEEE, 1998, 86(3): 489-503.
[8] Ganovelli F, O’Sullivan C. Animating cuts with On-The-Fly remeshing [C] //Roberts JC, eds. Eurographics 2001. Manchester: Eurographics Association, 2001: 110-113.
[9] Lim YJ, John Hu, Chang Chunyin,etal. Soft tissue deformation and cutting simulation for the multimodal surgery training [C] //Lee DJ, Nutter B, Antani S,etal, eds. Proceedings of the 19th IEEE Symposium on Computer-Based Medical Systems (CBMS’06). Salt Lake City: IEEE, 2006: 635-640.
[10] 郁松,樊曉平,廖志芳. 虛擬手術(shù)中頂點(diǎn)復(fù)制切割算法的設(shè)計(jì)研究[J]. 小型微型計(jì)算機(jī)系統(tǒng), 2010, 31(5): 959-963.
[11] Megumi N, Kotaro M. Physics-based interactive volume manipulation for sharing surgical process [J]. IEEE Transactions on Information Technology in Biomedicine, 2010, 14(3): 809-816.
[12] 朱玲,葉秀芬,希吉爾,等.基于貝塞爾曲線的虛擬手術(shù)切割新算法 [J]. 計(jì)算機(jī)應(yīng)用研究, 2013, 30(10): 3195-3200.
[13] Bielser D, Maiwald AV, Gross MH. Interactive cuts through 3-Dimensional soft tissue [J]. Computer Graphics Forum, 1999, 18(3): 31-38.
[14] Molino N, Bao Zhu, Fedkiw R. Virtual node algorithm for changing mesh topology during simulation [J]. ACM Transactions on Graphic, 2004, 23(3): 385-392.
[15] Sifakis E, Der KG, Fedkiw R. Arbitrary Cutting of Deformable Tetrahedralized Objects [C] //Metaxas D, Popovic J, eds. ACM SIGGRAPH Symposium on Computer Animation (2007). San Diego: Eurographics Association, 2007: 73-80.
[16] Sifakis E, Shinar T, Irving G,etal. Hybrid Simulation of Deformable Solids [C] //Metaxas D, Popovic J, eds. ACM SIGGRAPH Symposium on Computer Animation (2007). San Diego: Eurographics Association, 2007:81-90.
[17] Bielser D, Gross M. Interactive simulation of surgical cuts [C] //Barsky BA, Shinagawa Y, Wang Wenping, eds. Proceeding the Eighth Pacific Conference on Computer Graphics and Applications. Hong Kong: IEEE, 2000: 116-442.
[18] Bielser D, Glardon P, Teschner M,etal. A state machine for real-time cutting of tetrahedral meshes [J]. Graphical Models, 2004, 66(6): 398-417.
[19] Mor AB, Kanade T. Modifying soft tissue models: Progressive cutting with minimal new element creation [C] //Scott LD, Anthony MD, Branislav J, eds. In Proceedings of the Third International Conference on Medical Image Computing and Computer-Assisted Intervention. Pittsburgh: Springer, 2000: 598-607.
[20] Pietroni N, Ganovelli F, Cignoni P,etal. Splitting cubes: a fast and robust technique for virtual cutting [J]. The Visual Computer, 2009, 25(3): 227-239.
[21] Dick C, Georgii J, Westermann R. A hexahedral multigrid approach for simulating cuts in deformable objects [J]. IEEE Transactions on Visualization and Computer Graphics, 2011, 17(11): 1663-1675.
[22] Wu Jun, Dick C, Westermann R. Interactive high-resolution boundary surfaces for deformable bodies with changing topology [C] //Bender J, Erleben K, Galin E, eds. The 8thWorkshop on Virtual Reality Interaction and Physical Simulation. Lyon: Eurographics Association, 2011:29-38.
[23] Wu Jun, Dick C, Westermann R. Efficient collision detection for composite finite element simulation of cuts in deformable bodies [J]. The Visual Computer, 2013, 29(6-8): 739-749.
[24] Wu Jun, Westermann R, Dick C. Real-time haptic cutting of high-resolution soft tissues [J]. Studies in Health Technology and Informatics, 2014, 196: 469-475.
[25] Belytschko T, Chen Hao, Xu Jingxiao,etal. Dynamic crack propagation based on loss of hyperbolicity and a new discontinuous enrichment [J]. International Journal for Numerical Methods in Engineering, 2003, 58(12): 1873-1905.
[26] Belytschko T, Song JH, and Wang Hongwu,etal. On applications of XFEM to dynamic fracture and dislocations [C] //Combescure A, Borst RD, Belytschko T, eds. IUTAM Symposium on Discretization Methods for Evolving Discontinuities. Lyon: Springer, 2007(5): 155-170.
[27] Vigneron LM, Verly JG, Warfield SK. Modeling surgical cuts, retractions, and resections via extended finite element method [C] //Brillot C, Haynor DR, Hellier P, eds. Proceedings of Medical Image Computing & Computer Assisted Intervention. Berlin: Spring-Verlag, 2004(7): 311-318.
[28] Vigneron LM, Verly JG, Warfield SK. X-FEM framework for cutting soft tissue: including topological changes in a surgery simulation [C] //Richard P, Braz J, Hilton A, eds. International Conference on Computer Graphics Theory and Application. Angers: GRAPP, 2010: 285-302.
[29] Nicolai S, Stefan S, Rudiger D. Simulation of surgical cutting of soft tissue using the Extended Finite Element Method [EB/OL]. http://dx.doi.org/10.11588/emclpp.2013.04.11825,2013-04/2015-03
[30] Desbrun M, Cani M P. Animating soft substances with implicit surfaces [C] //Susan GM, eds. SIGGRAPH’95 Proceedings of the 22nd Annual Conference on Computer Graphics and Interactive Techniques. Los Angeles: ACM, 1995: 287-290.
[31] Müller M, Keiser R, Nealen A,etal. Point-based animation of elastic, plastic and melting objects [C] //Badler N, Desbrun M, Boulic R, Pai D, eds. Proceedings of the 2004 ACM SIGGRAPH/Eurographics symposium on Computer Animation. Los Angeles: Eurographics Association, 2004: 1-11.
[32] Pauly M, Keiser R, Adams B,etal. Meshless animation of fracturing solids [C] //Gross M, eds. ACM Transactions on Graphics(2005). Los Angeles: ACM, 2005: 957-964.
[33] Xia Jin, Grand RJ, Karol M,etal. Meshless algorithm for soft tissue cutting in surgical simulation [J]. Computer Methods in Biomedical Engineering, 2014, 17(7): 800-811.
[34] Grand RJ, Adam W, Karol M. An adaptive dynamic relaxation method for solving nonlinear finite element problems: Application to brain shift estimation [J]. International Journal for Numerical Methods in Biomedical Engineering, 2011, 27(2): 173-185.
[35] Xia Jin, Grand RJ, Karol M,etal. 3D algorithm for simulation of soft tissue cutting [M]//Models, Algorithms and Implementation. Computational Biomechanics for medicine. New York: Springer, 2013: 49-62.
[36] Seokyeol K, Jihwan P, Jinah P. Progressive mesh cutting for real-time haptic incision simulator [C] //Cani MP, Sheffer A, eds. International Conference on Computer Graphics and Interactive Techniques(2010). Seoul: ACM, 2010: 61-70.
[37] Delingette H, Cotin S, Ayaehe N. A hybrid elastic model allowing real-time cutting, deformations and force-feedback for surgery training and simulation [J]. The Visual Computer, 2000, 10(21): 437-452.
[38] Forest C, Delingette H, Ayache N. Removing tetrahedral from manifold tetrahedralisation: application to real-time surgical simulation [J]. Medical Image Analysis, 2005, 14(9):113-122.
[39] 賈世宇,潘振寬.虛擬手術(shù)中基于最少單元分裂的切割仿真技術(shù) [J]. 系統(tǒng)仿真學(xué)報(bào), 2008, 20(6): 1488-1492.
[40] Steinemann D, Otaduy MA, Gross M. Fast arbitrary splitting of deforming objects [C] //Cani MP, Brien JO, eds. Proceedings of ACM SIGGRAPH symposium on Computer Animation. Dublin: Eurographics Association, 2006: 63-72.
[41] Courtecuisse H,Jung H, Allard J,etal. GPU-based real-time soft tissue deformation with cutting and haptic feedback [J]. Progress in Biophysics and Molecular Biology, 2010, 103(2-3): 159-168.
[42] Courtecuisse H, Allard J, Kerfriden P,etal. Real-time simulation of contact and cutting of heterogeneous soft-tissues [J]. Medical Image Analysis, 2014, 18(2): 394-410.
[43] Wicke M, Botsch M, Gross M. A finite element method on convex polyhedral [J]. Computer Graphics Forum, 2007, 26(3): 355-364.
[44] Liu GR, Gu YT, 著. 王建明,周學(xué)軍,譯.無(wú)網(wǎng)格法理論及程序設(shè)計(jì)[M].山東:山東大學(xué)出版社, 2007.
[45] Guo Xiaohu, Li Xin, Bao Yunfan,etal. Meshless thin-shell simulation based on global conformal parameterization [J]. IEEE Transactions on Visualization and Computer Graphics, 2006, 12(3): 375-385.
[46] Jung H, Lee DY. Real-time cutting simulation of meshless deformable object using dynamic bounding volume hierarchy [J]. Computer Animation and Virtual Worlds, 2012, 23(5): 489-501.
[47] 朱玲. 虛擬手術(shù)中軟組織形變與切割技術(shù)研究[D]. 哈爾濱:哈爾濱工程大學(xué), 2012.
[48] Ashley H, Adam W, Grand RJ,etal. A meshless Total Lagrangian explicit dynamics algorithm for surgical simulation [J]. International Journal for Numerical Methods in Biomedical Engineering, 2010, 26(8): 977-998.
[49] Grand RJ, Adam W, Karol M. Stable time step estimates for mesh-free particle methods [J]. International Journal for Numerical Methods in Biomedical Engineering, 2012, 91(4): 450-456.
[50] Denis S, Miguel AO, Markus G. Splitting meshless deforming objects with explicit surface tracking [J]. Graphical Models, 2009, 71(1): 209-220.
[51] Shao Xuqiang, Zhou Zhong, Wu Wei. A hybrid deformation model for virtual cutting [C] //Bulterman D, Lee CH, Tsai WH, Liao Mark, eds. 2010 IEEE International Symposium on Multimedia. Taipei: IEEE, 2011: 234-241.
[52] 周喆. 虛擬手術(shù)系統(tǒng)中基于混合模型的切割仿真研究 [D]. 上海:上海交通大學(xué), 2012.
[53] Peng Jie, Li Ling, Andrew S. Hybrid surgery cutting using snapping algorithm, volume deformation and haptic Interaction [J]. Journal of Man, Machine and Technology, 2013, 2(1): 35-46.
[54] 賈世宇,潘振寬. 綜合使用CPU和GPU的實(shí)時(shí)手術(shù)仿真系統(tǒng)并行框架[J]. 系統(tǒng)仿真學(xué)報(bào), 2014, 26(2): 332-338.
[55] Etheredge CE, Kunst EE, Sanders AJB. Harnessing the GPU for real-time haptic tissue simulation [J]. Journal of Computer Graphics Techniques, 2013, 2(2): 28-54.
Research Progress on Soft Tissue Cutting Model for Virtual Surgery Simulation Training System
Cheng Qiangqiang1,3Liu Xiaoping1,2Xu Shaoping1*
1(SchoolofInformationEngineering,NanchangUniversity,Nanchang330031,China)2(SchoolofSystem&ComputerEngineering,CarletonUniversity,OttawaK1S 5B6,Canada)3(SchoolofMeasuring&OpticalEngineering,NanchangHangkongUniversity,Nanchang330063,China)
Virtual surgery simulation training system (VSSTS) solves the problems that exist in the traditional clinician training methods, such as long training period, high cost and lack of training objects. It is a cost-effective alternative training method. As the most common and core type of surgical operations in all kinds of practical surgery, realistically simulating the cutting of soft tissue in real time has always been the difficult and hot issues on studying the virtual surgery simulation system. In this paper, we introduced all kinds of cutting models that have been proposed within the framework of mesh and meshless after giving a brief introduction of the development history of soft tissue cutting model. Then, we analyzed and summarized the advantages and disadvantages of the various modeling method and its applications in the real world virtual surgery simulation systems. In addition, we analyzed the hybrid mode that has been proposed in recent years and gave an outlook for the future of cutting simulation in terms of simulation effect and computing speed.
virtual surgery; soft tissue; cutting model; meshless; hybrid model
10.3969/j.issn.0258-8021. 2015. 04.011
2015-02-09, 錄用日期:2015-03-31
國(guó)家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃) (2013AA013804);國(guó)家自然科學(xué)基金(61163023, 51165033)
R318
A
0258-8021(2015) 04-0464-011
*通信作者(Corresponding author), E-mail: xushaoping@ncu.edu.cn