關鍵詞:數(shù)字孿生;影像分割;醫(yī)療系統(tǒng);頸椎;三維可視化
0 引言
隨著全球數(shù)字化浪潮的推動,數(shù)字孿生技術在智慧醫(yī)療領域受到廣泛關注,該技術通過數(shù)學建模和仿真方法,將現(xiàn)實世界中的物理實體或系統(tǒng)進行虛擬復制,其原理是基于數(shù)據(jù)采集、建模、仿真和分析等手段將物理實體與數(shù)字孿生體實時動態(tài)關聯(lián),實現(xiàn)物理世界與數(shù)字世界的交互融合[1]。同時,頸椎病是頸椎椎間盤組織退化性改變及其周圍組織結構(脊髓、神經(jīng)根、椎動脈、交感神經(jīng)等)出現(xiàn)相應臨床表現(xiàn)的一種疾病,是當前最常見的骨科疾病之一,患者多為中老年群體[2]。然而,近年來高科技電子產(chǎn)品的普及和生活學習壓力的增加,導致青少年久坐時間顯著延長,與此同時,不良的睡眠體位和各種先天或發(fā)育性因素也損害了青少年的頸椎,致使頸椎病的發(fā)病年齡趨于年輕化,越來越多的青年患有頸椎病。因此,預防頸椎病的關鍵在于從源頭降低其發(fā)病概率?;诖?,本文依據(jù)下文提及的數(shù)字孿生技術研發(fā)了一款頸椎病預防可視化系統(tǒng),旨在能有效緩解日趨嚴重的青年頸椎病問題。
1 系統(tǒng)設計
1.1 設計思路
醫(yī)生與患者之間由于醫(yī)學知識差距較大,溝通存在障礙。為消除這一障礙,本文開發(fā)該系統(tǒng),通過專業(yè)化知識庫、3D模型和動態(tài)視頻等多種形式,直觀演示病癥形成過程、治療手段以及潛在風險等醫(yī)患溝通關心的問題,輔助醫(yī)生更好地向患者講解病情,幫助患者更好地理解醫(yī)生所表達的內(nèi)容。如圖1所示為基于數(shù)字孿生技術的頸椎病預防可視化系統(tǒng)的技術路線圖。
1.2 系統(tǒng)功能設計
系統(tǒng)功能結構圖如圖2所示。
1.2.1 病種知識庫模塊設計
病種知識庫模塊中包括不同科室和不同病種的疾病介紹、治療方案、風險危害、康復建議、用藥指導和知識圖譜等板塊。其增刪改查的方法包括通過內(nèi)部和外部來源收集知識,將知識進行整理和分類,采用分類體系、標簽和關鍵詞等方式進行知識的歸類和組織;將知識存入知識庫,并定期更新和維護知識庫。醫(yī)生可以查看、增添、刪除、修改知識庫的病種信息,以便于分析各種病癥并對癥治療。通過知識庫模塊,可實現(xiàn)病患資料的整合,提供全面豐富的病例參考,便于醫(yī)生做出快速準確的診斷。該知識庫模塊具有自我完善功能,隨著經(jīng)驗積累,其提供的參考價值將會越來越大。
1.2.2 病種視頻模塊設計
首先,用戶進入系統(tǒng)主界面后,將看到一個名為“病種知識庫”的選項。用戶點擊該選項后,系統(tǒng)彈出輸入框,要求輸入疾病名稱。用戶在輸入框中輸入疾病名稱后,點擊確定按鈕。系統(tǒng)接收到輸入后,在后臺病種基礎庫中進行查詢。查詢結果包括疾病的介紹、治療方案、風險危害、康復建議等相關內(nèi)容。這些信息將被系統(tǒng)展示給用戶。用戶還可以點擊“動畫演示”選項查看該疾病的動畫演示。點擊后,系統(tǒng)將播放與該疾病相關的視頻。醫(yī)生是這個系統(tǒng)的主要使用者,他們可以通過這個系統(tǒng)查詢到疾病相關的信息。醫(yī)生需要在系統(tǒng)中輸入他們想要查詢的疾病名稱,系統(tǒng)會根據(jù)醫(yī)生輸入的疾病名稱,從后臺的病種基礎庫中查詢到疾病相關的信息,并將這些信息展示給醫(yī)生。
1.2.3 3D 工具臺模塊設計
系統(tǒng)支持按病種查看動態(tài)視頻和3D演示模型。用戶可以對模型進行放大、縮小操作,實現(xiàn)單獨或合并展示,并計算模型的長、寬、高、體積等數(shù)據(jù),同時提供畫筆工具進行標記。3D工作臺支持醫(yī)生全面、形象地展示醫(yī)療內(nèi)容,有助于患者理解并提高對自身病癥的認識。
2 數(shù)字孿生體的實現(xiàn)
數(shù)字孿生技術在醫(yī)療領域已占據(jù)重要地位,尤其與醫(yī)學圖像建模的結合發(fā)展迅速。醫(yī)學數(shù)字孿生將實際患者的特征和行為數(shù)字化[3],并與真實世界同步更新,為醫(yī)學影像分析、疾病診斷和治療規(guī)劃[4]提供重要支持,這正是預防頸椎病所需的技術。以下將介紹頸椎數(shù)字孿生體模型的構建過程。
基于數(shù)字孿生技術,通過結合病種知識庫中數(shù)據(jù)所表達的癥狀,將病種及其相關情況在模型中進行展示,可以更直觀地幫助患者理解并對自身病癥有更加充分的認識。
在構建過程中,首先收集真實臨床病例的醫(yī)學數(shù)據(jù),包括圖像數(shù)據(jù)、患者病史和臨床報告。這些數(shù)據(jù)涵蓋影像學檢查結果(如MRI、CT掃描)、組織樣本分析以及關于疾病的詳細信息。隨后,基于收集的數(shù)據(jù)和醫(yī)學知識,運用三維建模軟件及相關技術來創(chuàng)建疾病模型。
根據(jù)田競團隊的研究,數(shù)字孿生技術大致分為以下幾類:可視化人體模型、物理人體模型、軍事虛擬人、臨床虛擬患者[5]。這些分類雖基于其前驅性技術,但都殊途同歸,均期望在可視化人體模型基礎上形成3D實體幾何模型,在保障幾何精度的同時,兼顧物理模型的泛化能力和數(shù)據(jù)模型的快速求解,從而實現(xiàn)實時預測。
為實現(xiàn)對特定頸椎疾病的個性化預防,本研究采用頸椎CT影像數(shù)據(jù),構建了三維虛擬模型。該模型旨在對患者的頸椎進行個性化的精確數(shù)字復制,以期達到疾病預防的目的。
2.1 采用U-Net++技術分割圖像
基于臨床數(shù)字CT影像,采用U-Net++模型對影像進行分割。首先準備大量標注好的頸椎CT影像數(shù)據(jù)作為訓練集,并將其輸入U-Net++網(wǎng)絡進行訓練。在訓練過程中,網(wǎng)絡通過反向傳播算法調整參數(shù),逐步學習頸椎和背景特征[6]。訓練完成后,將新的未標注頸椎CT影像測試集輸入已訓練好的U-Net++網(wǎng)絡,該網(wǎng)絡根據(jù)所學習到的特征對圖像進行分割,從而區(qū)分頸椎和背景區(qū)域[7]。
由表1所示,在Dice系數(shù)、精確度和召回率性能指標上,U-Net++表現(xiàn)出明顯的優(yōu)勢,顯示出多尺度特征融合模塊的優(yōu)越性。在平均絕對誤差和dorff距離上,U-Net++也展現(xiàn)出較好的性能,9表5%明H其au在s?細節(jié)處理和邊界定位方面具有較高的準確性。U- Net++引入了多尺度特征融合模塊[8],增強了跳躍連接路徑和上采樣卷積塊,以提高分割性能。在U-Net++ 中,編碼器由卷積層和池化層組成,用于提取和壓縮圖像特征;解碼器則逐步恢復這些特征,并最終輸出分割結果。多尺度特征融合模塊是U-Net++的關鍵,它融合不同層級的特征圖,從而提高分割性能。
由于U-Net++網(wǎng)絡在多尺度特征融合方面具有優(yōu)勢,其能夠更好地捕捉頸椎CT影像的上下文信息,提高分割的準確性和魯棒性。
2.2 利用VTK 體繪制技術構建頸椎虛擬模型
首先讀取醫(yī)學影像數(shù)據(jù)并將其轉換為vtkImage? Data格式,利用vtkMarchingCubes算法提取等值面生成表面網(wǎng)格,使用vtkSmoothPolyDataFilter進行平滑處理,創(chuàng)建vtkRenderer、vtkRenderWindow和vtkRender? WindowInteractor對象,實現(xiàn)圖像顯示和用戶交互,最后調用vtkRenderWindow 的Render()方法進行渲染。在VTK的體繪制(Volume Rendering) 中,數(shù)據(jù)插值在光線傳遞(Ray Casting) 過程中發(fā)揮著關鍵作用[9]。
體繪制采用DICOM數(shù)據(jù)集,通過灰度或顏色映射,將不同密度或強度的組織分配不同顏色或透明度,從而保留三維模型細節(jié)信息并清晰展示內(nèi)部結構。
由于數(shù)據(jù)集來源于不同患者,采用多模態(tài)數(shù)據(jù)融合方法,集中整合CT圖像數(shù)據(jù)及患者生理數(shù)據(jù),以全面了解頸椎的結構和組織信息。CT圖像能夠清晰呈現(xiàn)頸椎的骨骼結構,包括椎體、椎弓等詳細信息。通過進一步進行生理數(shù)據(jù)與頸椎結構特征的關聯(lián)分析,可揭示患者生理狀況與頸椎形態(tài)之間的潛在關系。這種多模態(tài)數(shù)據(jù)融合的綜合方法能夠更好地反映真實患者的頸椎部位解剖和生理狀態(tài),為數(shù)字化映射和計算模型的精確性提供了更為全面的基礎。同時,根據(jù)頸椎涉及的生物力學材料屬性對模型進行修改。圖4為采用VTK體繪制技術進行的初步建模模型。
2.3 利用Mimics 軟件進行模型細節(jié)優(yōu)化
Mimics軟件是一款用于處理醫(yī)學影像數(shù)據(jù)和進行三維重建的先進軟件,其廣泛應用于醫(yī)學、生物力學以及工程領域,特別是在創(chuàng)建精確的三維模型方面具有顯著優(yōu)勢。使用Mimics軟件重構頸椎3D模型的過程如下:首先需要導入CT或MRI掃描獲得的頸椎影像數(shù)據(jù)(通常為DICOM格式);其次對導入的影像進行必要的預處理,如調整對比度、亮度等,以便于更好地識別頸椎結構;預處理完成后,通過閾值工具、區(qū)域增長或手動分割工具來分割頸椎的感興趣區(qū)域,這可能包括椎體、椎間盤和其他結構;隨后創(chuàng)建蒙版,在分割過程中,將生成一個或多個代表所分割結構的蒙版,并對其進行編輯和優(yōu)化,以確保準確覆蓋所需結構。當蒙版的準確性達到要求后,即可使用“Calcu? late 3D”功能生成頸椎的三維模型。
2.4 結合3D 可視化系統(tǒng)
將數(shù)字孿生體頸椎模型通過Unity導入系統(tǒng)中,利用基于數(shù)字孿生技術的3D演示系統(tǒng),醫(yī)生可以將預防頸椎病的動作、技巧和建議以視覺形式傳達給患者。患者可通過遠程視頻會議或專門開發(fā)的預防應用程序觀看這些模型演示,并根據(jù)指導進行預防訓練。這種方法使醫(yī)生能夠更準確地指導患者的預防過程,患者也能夠更清楚地理解和執(zhí)行預防方案。
3D演示系統(tǒng)在醫(yī)患溝通中發(fā)揮著橋梁作用。醫(yī)生可利用3D頸椎模型向患者直觀地展示其頸椎狀況,包括病變的位置、大小和形態(tài)。這種可視化的溝通方式有助于患者更好地理解自身病情,減少對疾病和治療的恐懼與誤解,同時也能避免患者因對自身病情認識不足而導致關注度不夠,進而引發(fā)病情惡化的情況。3D演示系統(tǒng)有助于建立互信的醫(yī)患關系,提高患者滿意度。
3 系統(tǒng)效果
基于數(shù)字孿生技術的頸椎病預防可視化系統(tǒng)結合了目前較為成熟的3D建模技術,以3D演示系統(tǒng)為平臺賦能,旨在擴大用戶使用群體,使盡可能多的人了解頸椎病發(fā)病機理及風險危害,達到有效預防頸椎病的目的。同時實現(xiàn)醫(yī)學診療服務的場景化、數(shù)字化,構建具有普遍意義的醫(yī)療應用平臺,從患者和醫(yī)生兩個不同視角出發(fā),實現(xiàn)頸椎病的有效預防。
系統(tǒng)具備病種知識庫和3D視頻講解模塊,旨在為患者提供新穎、翔實、直觀的頸椎病相關醫(yī)療信息,幫助患者更好地了解自身頸椎狀況,從而更加積極有效地參與疾病預防過程,提高患者滿意度。此外,隨著系統(tǒng)的進一步優(yōu)化,還可制定更加精準的個性化預防方案,使疾病預防效果達到前所未有的水平。
系統(tǒng)具備3D工具臺(左側為多種交互工具,右側為數(shù)字孿生模型),旨在直觀清晰地展示患者頸椎的病變情況,使醫(yī)生能夠有效跟蹤患者病情,及時分析情況并采取相應預防措施。與此同時,醫(yī)生可使用測量、旋轉、放大縮小、組件拼接或隱藏等多種交互工具對模型進行標記處理,這極大地方便了醫(yī)生的操作,使醫(yī)生在整個疾病預防過程中得心應手。
系統(tǒng)旨在向患者普及頸椎病相關知識、輔助醫(yī)生診斷決策的同時,極大地降低醫(yī)療成本、提高醫(yī)療效率、改善醫(yī)療服務質量,使預防頸椎病這一宗旨得以順利推行實施。此外,該系統(tǒng)融合多種功能,滿足多類群體需求,基于數(shù)字孿生技術將患者頸椎數(shù)字化、可視化,為頸椎病的預防提供了技術上的依據(jù)和支持,使整個預防過程得以有效推進。
4 結論
本系統(tǒng)結合多項先進技術,實現(xiàn)頸椎數(shù)字孿生體的構建與可視化。首先采用U-Net++影像分割技術對頸椎CT影像進行分割,再使用VTK體繪制技術對模型進行初步的建模,然后使用Mimics軟件對模型進行細節(jié)優(yōu)化處理,最后將模型導入系統(tǒng)進行模型的可視化以及交互。系統(tǒng)的可視化功能及其他輔助功能,不僅幫助醫(yī)生更準確地診斷頸椎病,還為患者提供直觀、深入的病變認識,有效預防和減輕頸椎病影響?;跀?shù)字孿生技術的頸椎病預防可視化系統(tǒng)的設計和應用,旨在為廣大患者提供更加直觀、深入的頸椎病變認識,從而幫助他們有效預防和減輕頸椎病的影響。同時,期待這一技術在未來的醫(yī)學領域中發(fā)揮更大作用,為人類的健康事業(yè)作出更大的貢獻。