方威揚,林東鑫,寇萬福,黃文華,4,陳超敏
1.南方醫(yī)科大學生物醫(yī)學工程學院,廣東 廣州 510515;2.南方醫(yī)科大學基礎(chǔ)醫(yī)學院人體解剖學國家重點學科/廣東省醫(yī)學生物力學重點實驗室/廣東省醫(yī)學3D打印應(yīng)用轉(zhuǎn)化工程技術(shù)研究中心,廣東 廣州 510515;3.常州集碩醫(yī)療器械有限公司,江蘇 常州 213100;4.南方醫(yī)科大學第三附屬醫(yī)院/廣東省醫(yī)學3D打印應(yīng)用轉(zhuǎn)化創(chuàng)新平臺,廣東 廣州 510630
目前,臨床醫(yī)生利用CT、MRI、超聲等成像設(shè)備獲取患者人體組織結(jié)構(gòu)的二維斷層圖像,觀察并提取相關(guān)信息,然后針對病情給出合理的診療方案。然而,由于二維圖像中人體器官組織的形狀大小、空間相對位置及毗鄰關(guān)系比較模糊,醫(yī)生難以獲得清晰的三維空間立體感,只能通過觀察多幅二維斷層圖像以及自身積累的臨床經(jīng)驗來推斷患者病灶的形狀大小以及周圍組織器官的相對位置等,并由此做出相應(yīng)的診斷[1-2]。因此,將二維斷層圖像轉(zhuǎn)化為三維圖像已成為當代臨床診療的迫切要求。通過基于醫(yī)學三維重建技術(shù)研發(fā)的醫(yī)學圖像三維重建軟件,臨床醫(yī)生可以在計算機上重建人體不同組織結(jié)構(gòu)的三維模型,從而更直觀和全面地了解醫(yī)學圖像數(shù)據(jù),并得出合理的診療方案[3]。本研究將介紹醫(yī)學圖像三維重建軟件,分析目前主要的醫(yī)學圖像三維重建軟件的優(yōu)勢與不足,并對醫(yī)學圖像三維重建軟件應(yīng)用于臨床診療提出展望。
醫(yī)學圖像三維重建軟件是以醫(yī)學圖像三維重建技術(shù)為基礎(chǔ),在計算機上通過二維圖像數(shù)據(jù)重建人體三維模型并進行定性定量分析等操作的軟件。醫(yī)學圖像三維重建是指利用人類的視覺特性,對CT、MRI等數(shù)字成像技術(shù)的二維數(shù)字斷層圖像序列形成的三維體數(shù)據(jù)進行處理,將其變換為具有直觀立體效果的三維圖像,以更好地展示人體的三維狀態(tài)[4];其涵蓋了數(shù)字圖像處理、計算機圖形學、生物醫(yī)學工程等技術(shù),已廣泛應(yīng)用于醫(yī)學教學、醫(yī)學診斷、生物力學分析、模擬外科手術(shù)、放射治療等領(lǐng)域,是當前的一個研究熱點[5]。
相較于傳統(tǒng)二維影像需要醫(yī)生在腦中重構(gòu)人體三維關(guān)系的條件,醫(yī)學圖像三維重建軟件可以將二維圖像重建為三維模型,為臨床醫(yī)生提供人體組織器官的三維信息,進一步確保了臨床診療的準確性與科學性。利用傳統(tǒng)的CT、MRI等設(shè)備建立的人體組織結(jié)構(gòu)的三維重建模型只能在特定設(shè)備下使用,具有一定的局限性,而醫(yī)學圖像三維重建軟件可在計算機上實時完成對人體圖像數(shù)據(jù)的三維模型重建,為臨床工作提供了一定的便利,提高了臨床工作的效率。與傳統(tǒng)的建模軟件或掃描測試儀獲取三維模型相比,醫(yī)學圖像三維重建軟件具有真實感強、成本低、圖像逼真、市場需求廣等特點[6];而且利用醫(yī)學圖像三維重建軟件建立的三維人體模型還可用于教學研究、輔助解剖訓練與手術(shù)模擬評估等。
目前用于醫(yī)學圖像三維重建的主要軟件有Mimics、3D Slicer、Simpleware以及Amira等。
Mimics 軟件是Materialise 公司發(fā)明的一種醫(yī)學影像控制系統(tǒng),具有高度整合且易用的3D 圖像生成與編輯處理功能。Mimics 已廣泛應(yīng)用于醫(yī)學診斷、外科手術(shù)模擬、假體定制以及臨床教學等。Comaneanu 等[7]利用Mimics 軟件進行肱骨骨折復(fù)位術(shù)的輔助設(shè)計與模擬、肝硬化的診斷以及顳下頜關(guān)節(jié)假體的定位和定制;Mohammed 等[8]利用Mimics軟件完成下頜骨種植體的個體化定制;Shin等[9]使用Mimics 軟件對尸體心臟進行三維重建用于解剖教學。
Mimics 軟件擁有圖像導入、圖像分割、圖像可視化、圖像配準及圖像測量等基礎(chǔ)模塊。Mimics 支持DICOM 格式的圖像數(shù)據(jù)以及BMP、JPEG、TIFF 等格式文件的導入,其圖像分割模塊能調(diào)整圖像的灰度閾值,并對感興趣區(qū)域進行閾值分割、區(qū)域生長、形態(tài)學操作、布爾操作、空腔填充、蒙版編輯等多項操作[10]。蒙版編輯完成后,Mimics 的圖像可視化模塊可以對蒙版進行三維重建,計算三維模型并優(yōu)化,同時將相應(yīng)的人體結(jié)構(gòu)三維可視化。通過圖像配準模塊,用戶可以對畸變圖像進行校準,或者對CT、MR圖像進行比對配準。圖像測量模塊則提供了距離、角度、密度等信息的測量工具及標注工具。
除此之外,Mimics 軟件還擁有MedCAD、Simulation、FEA、RP Slice(快速成型切片)以及STL+等可選模塊。MedCAD 模塊允許用戶以二維斷層圖像為參考,通過繪制及輪廓線擬合創(chuàng)建基本的CAD對象,并以IGES 格式輸出;Simulation 模塊可用人體測量分析模版進行細部的幾何數(shù)據(jù)分析,還可對三維模型進行坐標變換及切割、合并、分離等編輯修改,常用于手術(shù)模擬評估;FEA 模塊用于模型的有限元分析及生物力學分析,其功能主要有非流形網(wǎng)格劃分、有限元體網(wǎng)格創(chuàng)建、網(wǎng)格優(yōu)化以及賦材質(zhì);RP Slice 模塊能從分割蒙版生成優(yōu)化的格式文件,并自動生成RP Slice 模型所需的支撐結(jié)構(gòu),可以同時輸出多個解剖結(jié)構(gòu);通過STL+模塊輸出的多種格式文件可與任何RP機器進行交互[10]。
Mimics軟件的優(yōu)點主要有:(1)Mimics擁有豐富便利的圖像分割工具箱,可以對心臟、肺組織、血管及骨骼等組織器官進行半自動識別分割,并且在對圖像進行分割后可通過顏色區(qū)分的蒙版快速搜索有缺陷的輪廓部位進行編輯[9];(2)Mimics 在建模時無需手動確定節(jié)點坐標,可直接自動生成三維模型,大大節(jié)省建模時間;(3)Mimics 的手術(shù)仿真模塊可用于手術(shù)模擬評估、個體化假體或模板設(shè)計等,方便醫(yī)生模擬操練手術(shù)過程、評估術(shù)前術(shù)后解剖機構(gòu)的改變并調(diào)整手術(shù)規(guī)劃。
Mimics軟件存在的不足有:(1)Mimics是商業(yè)軟件,無法做到像開源軟件那樣面向大多數(shù)使用人群,適用性受到一定的限制;(2)雖然Mimics軟件具備強大的圖像分割功能,但這些功能均為通用型。曹桂平等[11]開展的肝臟模型三維重建的研究表明,Mimics 在針對特殊組織器官如肝臟進行分割時,仍需要較多的人為操作,耗時較長,且建模時間也大大增加。
3D Slicer 軟件是美國國立衛(wèi)生研究院支持的開放源代碼平臺,用于醫(yī)學圖像的分析、三維重建可視化以及圖像引導治療研究等方面,適合Linux、MacOSX 和Windows 操作系統(tǒng)[12]。3D Slicer 多應(yīng)用于醫(yī)學診斷、三維打印、手術(shù)規(guī)劃及預(yù)演等。Velazquez等[13]通過3D Slicer模型對肺部非小細胞肺癌部位進行分割與重建,并進行圖像分析與病情診斷;Domínguez等[14]對腦室系統(tǒng)進行三維重建及容積測量,用于臨床教學;夏學巍[15]總結(jié)了3D Slicer 對于高血壓腦出血手術(shù)的術(shù)前評估、術(shù)中輔助及術(shù)后預(yù)后以及神經(jīng)導航方面的應(yīng)用。
3D Slicer的核心功能為圖像分割、圖像配準及三維體渲染,核心模塊主要有Volumes、Segment Editor、Models、Markups、Transforms 以及Volume Rendering等。Volumes 模塊可以顯示圖像的容積信息,并在Display 版塊調(diào)整圖像的窗口類型、窗寬窗位及灰度范圍;Segment Editor模塊擁有閾值識別分割、手動繪制、擦除、區(qū)域生長、平滑、重建模型等多個操作選項,一般用于圖像三維建模;在Models 模塊,用戶可以對重建的模型在三維及切片顯示上進行調(diào)整;Markups 模塊提供了基準點、直線、角度、曲線、閉合曲線、平面以及感興趣區(qū)域的標注與測量工具;Transforms 模塊允許手動配準的空間變換以及多種方式的變換交互,可以對導入時畸變或歪斜的圖像進行角度旋轉(zhuǎn)、平移等校正,多用于圖像配準;Volume Rendering 模塊則可以對體積進行光線投射體渲染,允許對感興趣區(qū)域進行裁剪用于可視化,也支持將體渲染與其他可視化元素(如橫截面和三角化曲面模型)合成[16]。
3D Slicer 軟件的優(yōu)勢主要有:(1)3D Slicer 軟件是開源軟件,完全不受限制的使用(特別是圖像分析方面),可以在多個平臺上、面向大多數(shù)群體使用;(2)3D Slicer允許不屬于開發(fā)團隊的用戶和開發(fā)人員根據(jù)自己的喜好修改程序,擴展應(yīng)用程序的適用范圍并引入新的功能,有助于新功能的開發(fā)以及軟件的更新發(fā)展[16];(3)3D Slicer 擁有100 多個自帶模塊與100多個擴展模塊,可供用戶根據(jù)具體需求選擇相應(yīng)模塊對體數(shù)據(jù)進行處理分析等操作;(4)3D Slicer擁有閾值、邊緣檢測、快速行進法等多種圖像分割方法,支持用戶根據(jù)具體需求選擇合適方法分割圖像[17];(5)3D Slicer 可以三維重建腦溝、腦回、腦室、顱內(nèi)血管等解剖結(jié)構(gòu),已被普遍應(yīng)用于腦部疾病特別是腦出血的定位與輔助治療,同時還可以對神經(jīng)纖維進行三維重建,用以觀察、跟蹤、測量和分析腦部發(fā)育以及腦白質(zhì)傳導束認知功能的發(fā)展[12]。
3D Slicer 的不足主要體現(xiàn)在:(1)雖然3D Slicer定位更為精準,但是由于病變的大小和深度的不同會導致其體表投影產(chǎn)生誤差,重建的精度相較于Mimics 等軟件尚有欠缺;(2)雖然3D Slicer擁有多種分割功能,但是其在手動分割時對于細節(jié)的編輯修改比較粗糙,導致部分區(qū)域的分割效果較差,這也間接影響模型的重建效果;(3)3D Slicer 對于除了大腦外的如肺部、肝臟、心臟等其他身體組織器官的后處理而優(yōu)化的圖像采集分辨率仍不夠理想,對于大腦部位以外的骨骼、血管、軟組織等的應(yīng)用模塊或受病理影響的內(nèi)臟等器官的圖像分析,強大的后處理工具包太少,有必要研究和開發(fā)新的方法和工具[18]。
Simpleware 軟件是Simpleware Ltd 公司推出的一套數(shù)字圖像三維重建與有限元分析專業(yè)軟件,已廣泛應(yīng)用于生命科學、生物力學、材料科學及三維打印等方面。Simpleware 在醫(yī)學上的應(yīng)用主要集中于生物力學分析、骨科模型重建以及植入物的設(shè)計定制等,如胡曉暉等[19]利用Simpleware 軟件重建了全頸椎模型并進行有限元分析,探索頸椎的力學特性;Ma 等[20]將Simpleware 軟件用于骨肉瘤切除術(shù)的骨肉瘤模型的重建與引導模板的設(shè)計。
Simpleware軟件擁有核心圖像處理平臺ScanIP,其中包括用于圖像處理、圖像可視化及圖像分割的工具,可完成圖像濾波、圖像分割、形態(tài)學變換等操作,其主要功能是將二維平面序列圖像轉(zhuǎn)換為三維重建圖像。Simpleware的可選擇模塊有用于生成FE/CFD網(wǎng)格、進行網(wǎng)格劃分優(yōu)化以及賦材質(zhì)的+FE有限元網(wǎng)格生成模塊,用于集成CAD 模型、可結(jié)合ScanIP將CAD 模型與三維圖像配準的+CAD 模塊,用于IGES 格式模型生成及導出的+NURBS 曲面建模模塊,以及通過均質(zhì)化技術(shù)計算模型等效材料屬性的+PHYSICS物理模塊。
Simpleware 軟件的主要優(yōu)點有:(1)Simpleware為用戶提供了從圖像數(shù)據(jù)導入到模型重建再到有限元分析等一系列完整的圖像三維建模技術(shù)路線,其前處理信息可以直接導入到分析求解軟件中打開,使得用戶的工作流程大幅簡化;(2)Simpleware 軟件具有針對復(fù)雜數(shù)據(jù)集的可視化功能,能快速自動生成精確的模型,可生成封閉的STL 模型及高質(zhì)量的表面網(wǎng)格。與此同時,Simpleware 軟件獨特的CAD與圖像數(shù)據(jù)融合方法確保了圖像的形態(tài)及保真度,能較好地解決醫(yī)學三維仿真問題[21]。
然而,Simpleware軟件的ScanIP模塊構(gòu)建的實體模型曲面是不均勻的,當圖像本身擁有噪聲時,可能需要在建立三維實體模型后形成有限元之前進行預(yù)處理,這在一定程度上加大了工作量[22]。不僅如此,Simpleware 軟件占用內(nèi)存過大、操作較為復(fù)雜繁瑣,且較多應(yīng)用于石油勘探、地質(zhì)等工業(yè)領(lǐng)域,在醫(yī)學領(lǐng)域的應(yīng)用存在一定的局限性[11]。
Amira 軟件是Visage Imaging 公司用于對數(shù)據(jù)進行可視化及操縱控制的工具軟件,能識別包括CT、MRI等圖像在內(nèi)的生命科學和生物醫(yī)學數(shù)據(jù),可利用自動與交互式的分割及建模工具創(chuàng)建人體的三維表面及有限元模型。張曉陽等[23]利用Amira 軟件對小腦核團進行三維重建并測量其體積;季渝軍[24]通過Amira軟件重建肝臟模型,用于肝切除手術(shù)的術(shù)前評估。
Amira 軟件的主要功能可以分為處理重構(gòu)、可視化探索、分析量化這3 部分。Amira 可以通過數(shù)字過濾器及交互式編輯器對圖像進行濾波、自動或手動配準、體數(shù)據(jù)裁剪編輯等操作,并對圖像體內(nèi)的組織和區(qū)域進行重構(gòu)??梢暬剿骷蠢每焖俳换ナ郊案哔|(zhì)量的可視化技術(shù),通過手動或半自動分割技術(shù)對圖像進行裁剪和配色等操作來探索所需的體數(shù)據(jù)。Amira 還可以對體數(shù)據(jù)進行面和網(wǎng)格分析,交互式地測量距離、角度等幾何數(shù)據(jù),并擁有組織材料分析統(tǒng)計、二維或三維線性測量及標注、聯(lián)合定位分析等功能[25]。Amira軟件還擁有虛擬現(xiàn)實模塊、分子模塊、網(wǎng)格模塊等擴展模塊可供選擇使用。
Amira軟件包含以下幾個優(yōu)勢:(1)Amira直接體繪制所需的具有不同特征的傳遞函數(shù)可以自動生成,也可以使用直觀的colormap 編輯器進行交互編輯,這在一定程度上擴大了體繪制的應(yīng)用范圍與靈活性,可以滿足更多用戶的特殊需求;(2)Amira 可以對多個數(shù)據(jù)集同時進行可視化及體積渲染[26];(3)Amira 實現(xiàn)的曲面重建方法完全自動,速度快且確保了生成的多邊形表示的拓撲正確解,確保高質(zhì)量有限元網(wǎng)格的劃分與優(yōu)化[27]。
與Simpleware 軟件相似,Amira 軟件并不是完全應(yīng)用于醫(yī)學圖像領(lǐng)域的三維重建軟件,在醫(yī)學領(lǐng)域的應(yīng)用存在一定的局限性。
隨著數(shù)字醫(yī)學的不斷推廣與計算機技術(shù)的快速發(fā)展,醫(yī)學圖像三維重建軟件相較于傳統(tǒng)的二維圖像及特定設(shè)備的三維重建,在一定程度上更契合醫(yī)療領(lǐng)域的診療需求,為臨床診療提供新的輔助工具,進一步提高臨床診療的效率。雖然醫(yī)學圖像三維重建軟件目前在醫(yī)療領(lǐng)域具有一定的優(yōu)勢和益處,但醫(yī)療領(lǐng)域中的問題復(fù)雜且多變,三維重建軟件在該方面的應(yīng)用與發(fā)展也有待深入研究。
在圖像配準方面,醫(yī)學圖像三維重建軟件可應(yīng)用于通過不同模態(tài)檢索的圖像,并進行多模態(tài)圖像配準,但其測量應(yīng)用僅限于單模態(tài)配準,醫(yī)生無法觀察多模態(tài)下解剖結(jié)構(gòu)位置差異[28]。在圖像分割方面,醫(yī)學圖像三維重建軟件對于灰度值與周圍對比明顯易分辨的組織器官,如骨骼、心臟、肺部以及數(shù)字減影造影的血管等擁有自動分割的方法,但對于其他組織器官尚未形成有效乃至高效的自動分割方法。在手術(shù)模擬及解剖教學方面,部分軟件的功能有待完善。
除了軟件功能問題,軟件的更新速度能否跟上時代步伐也需考慮在內(nèi)。在當今的醫(yī)療體系下,傳統(tǒng)模式培養(yǎng)出來的醫(yī)生在一定程度上缺乏使用三維重建軟件的能力,而通過工程人員使用軟件對醫(yī)學圖像進行分割重建以及測量分析得出的結(jié)果又不夠理想,醫(yī)學圖像三維重建軟件的規(guī)范使用也面臨一定的挑戰(zhàn)[10]。
針對以上提及的醫(yī)學圖像三維重建軟件應(yīng)用于臨床診療所存在的不足,可以從以下幾個方面進行改善:(1)增加或完善醫(yī)學圖像三維重建軟件在多模態(tài)配準上的測量分析功能,以滿足醫(yī)生對于多模態(tài)解剖位置的觀測需求。(2)借鑒新晉的三維重建平臺Nextmed[29](可以自動分割不同的解剖結(jié)構(gòu)并生成三維模型),傳統(tǒng)的醫(yī)學圖像三維重建軟件可以結(jié)合人工智能方法進行改進,在自身已有的圖像分割方法的基礎(chǔ)上,嘗試更多地開發(fā)面向人體多種組織器官的半自動或自動分割方法,以創(chuàng)建劃分區(qū)域的蒙版或者進行自動分割重建等操作,在提高圖像分割的簡便性的同時,提高圖像分割的效率,確保三維重建模型的精準度。(3)醫(yī)學圖像三維重建軟件也需要在手術(shù)模擬評估、解剖教學等功能上加以擴展完善,以適應(yīng)更廣泛的醫(yī)療需求。(4)除了對于商業(yè)軟件的完善與開發(fā),未來的醫(yī)學圖像三維重建軟件開發(fā)也應(yīng)更多面向于如3D Slicer 的開源軟件,允許并鼓勵更多用戶及開發(fā)人員擴展應(yīng)用程序的適用范圍并加以創(chuàng)新,這將大大提高新功能的開發(fā)程度,加速未來醫(yī)學圖像三維重建軟件的更新發(fā)展。(5)加大醫(yī)學與工學相結(jié)合的推廣力度,鼓勵臨床工作人員學習與使用醫(yī)學圖像三維重建軟件,做到快速且確切地了解臨床工作所需的人體結(jié)構(gòu)信息,從而才能真正地解決相應(yīng)的臨床問題。
醫(yī)學圖像三維重建軟件應(yīng)用于臨床診療是當今醫(yī)療領(lǐng)域精準醫(yī)療模式下的有效實踐,其針對醫(yī)學圖像的模型重建及測量分析等功能與臨床診療及科研需求高度契合。隨著計算機技術(shù)與醫(yī)學圖像三維重建技術(shù)的發(fā)展,醫(yī)學圖像三維重建軟件必將更多被應(yīng)用于臨床診療,在未來具有廣闊的發(fā)展前景。