陳珊珊, 王紫薇, 夏 天, 冷 靜, 汪紅志, 李真林
(1.上海健康醫(yī)學(xué)院醫(yī)學(xué)影像學(xué)院,上海 201318;2.四川大學(xué)華西臨床醫(yī)學(xué)院,成都610041;3.上海培云教育科技有限公司,上海 200433;4.華東師范大學(xué)a.教育信息技術(shù)系;b.物理與電子科學(xué)學(xué)院,上海 200062)
建立精準(zhǔn)醫(yī)療診斷體系,醫(yī)學(xué)影像亟須先行。隨著精準(zhǔn)醫(yī)療逐漸成為全球醫(yī)學(xué)發(fā)展的方向,影像醫(yī)學(xué)也迎來(lái)前所未有的發(fā)展機(jī)遇[1]。高素質(zhì)的醫(yī)學(xué)影像設(shè)備操作、裝調(diào)和研發(fā)人才儲(chǔ)備是影像醫(yī)學(xué)發(fā)展的重要支撐。磁共振成像(Magnetic Resonance Imaging,MRI)是原理與技術(shù)相對(duì)復(fù)雜的設(shè)備,聚焦傳統(tǒng)的MRI課程實(shí)驗(yàn)教學(xué)模式,存在學(xué)習(xí)時(shí)空有限、依賴有操作風(fēng)險(xiǎn)的設(shè)備、成像過(guò)程封閉不可見(jiàn)等問(wèn)題,難以適應(yīng)全球醫(yī)療發(fā)展新趨勢(shì)對(duì)創(chuàng)新型人才培養(yǎng)的要求。
當(dāng)前,元宇宙正成為下一代互聯(lián)網(wǎng)的新形態(tài),教育元宇宙是在元宇宙虛實(shí)融合一體化理念基礎(chǔ)上,為學(xué)習(xí)者所營(yíng)造的多技術(shù)集成的學(xué)習(xí)環(huán)境,蘊(yùn)含著豐富的教和學(xué)活動(dòng)之可能性與伸展性[2]。元宇宙通過(guò)數(shù)字孿生(Digital Twin,DT)技術(shù)生成現(xiàn)實(shí)世界的鏡像,DT技術(shù)是元宇宙的重要底層技術(shù)之一[3]。DT 技術(shù)在智能制造領(lǐng)域的應(yīng)用有所落地,在教育領(lǐng)域的應(yīng)用仍然處于探索階段[4],林潤(rùn)澤等[5]基于智能工廠流水線實(shí)驗(yàn)裝置,構(gòu)建了智能裝配機(jī)械臂DT 系統(tǒng)用于實(shí)驗(yàn)教學(xué)。陶飛等[6]提出了DT的5 維模型,DT驅(qū)動(dòng)的6 條應(yīng)用準(zhǔn)則和14 類應(yīng)用設(shè)想,推動(dòng)了DT技術(shù)的進(jìn)一步落地應(yīng)用。借助DT技術(shù)構(gòu)建MRI 原理與技術(shù)DT 實(shí)驗(yàn)平臺(tái),將促使實(shí)踐教育模式和評(píng)價(jià)方式變革,滿足學(xué)習(xí)者時(shí)時(shí)能學(xué),處處能學(xué)的現(xiàn)實(shí)需求。
對(duì)現(xiàn)實(shí)世界的分析是構(gòu)建元宇宙的首要任務(wù)??臻g場(chǎng)景結(jié)構(gòu)和時(shí)間上的事件流程用以描述現(xiàn)實(shí)世界,現(xiàn)實(shí)世界還涵蓋人的屬性、物的屬性、人和物兩兩互動(dòng)關(guān)系。虛擬世界與現(xiàn)實(shí)世界直接交界的是孿生基座[7],分為“數(shù)據(jù)交互”和“模型構(gòu)建”,其中數(shù)據(jù)交互是通過(guò)傳感器和控制器完成數(shù)據(jù)采集和反饋控制,模型構(gòu)建則包含自然規(guī)律仿真、社會(huì)規(guī)則仿真、數(shù)字人和物構(gòu)建等。
自然規(guī)律的仿真可分為基于數(shù)據(jù)驅(qū)動(dòng)的仿真和基于機(jī)理驅(qū)動(dòng)的仿真。前者利用數(shù)據(jù)擬合解決弱機(jī)理模型的應(yīng)用問(wèn)題,復(fù)雜數(shù)據(jù)處理能力強(qiáng),例如智能對(duì)話助手等。后者利用數(shù)值計(jì)算解決強(qiáng)機(jī)理模型的應(yīng)用問(wèn)題,高效、準(zhǔn)確、逼真、實(shí)時(shí),例如工業(yè)設(shè)計(jì)軟件等。MRI設(shè)備DT 體的成像功能屬于機(jī)理驅(qū)動(dòng)模式的仿真。國(guó)內(nèi)外關(guān)于MRI虛擬仿真平臺(tái)的研究中,多數(shù)以解決臨床問(wèn)題為目的,Cao 等[8]設(shè)計(jì)了多功能MRI 仿真系統(tǒng),實(shí)現(xiàn)任意樣品、序列和電磁場(chǎng)條件下的磁共振信號(hào)、噪聲和特定吸收率仿真。Zijlstra 等[9]提出利用快速傅里葉變換實(shí)現(xiàn)磁敏感偽影的仿真,并證明了在金屬物體定位中的適用性。Liu等[10]在配備(Graphics Processing Unit,GPU)的計(jì)算機(jī)上搭建虛擬平臺(tái),實(shí)現(xiàn)了MRI新方法的評(píng)估。此外,各種用于MRI設(shè)備及檢查技術(shù)實(shí)驗(yàn)教學(xué)的平臺(tái),盡管實(shí)現(xiàn)了在虛擬環(huán)境中完成MRI實(shí)驗(yàn)教學(xué)[11-14],但這些平臺(tái)缺乏自然規(guī)律仿真技術(shù)的運(yùn)用。
本文設(shè)計(jì)了基于DT技術(shù)的MRI原理與技術(shù)實(shí)驗(yàn)平臺(tái)系統(tǒng)框架,結(jié)合具體實(shí)驗(yàn)案例,梳理其數(shù)據(jù)獲取、虛擬采集、迭代優(yōu)化和應(yīng)用服務(wù)思路,提出一種基于機(jī)理模型的建模仿真方法,用于構(gòu)建MRI 原理與技術(shù)DT實(shí)驗(yàn)平臺(tái)。
MRI原理與技術(shù)DT 實(shí)驗(yàn)平臺(tái)由物理設(shè)備、虛擬設(shè)備、孿生數(shù)據(jù)、應(yīng)用服務(wù)和各部分之間的連接組成,實(shí)現(xiàn)在線實(shí)驗(yàn)教學(xué)和MRI 設(shè)備關(guān)鍵部件的輔助優(yōu)化設(shè)計(jì),平臺(tái)框架如圖1 所示。
圖1 MRI原理與技術(shù)DT實(shí)驗(yàn)平臺(tái)框架
MRI設(shè)備物理實(shí)體包含了磁體、射頻、梯度、譜儀和計(jì)算機(jī)等單元,分別負(fù)責(zé)產(chǎn)生靜磁場(chǎng)、發(fā)射射頻電磁場(chǎng)和接收磁共振信號(hào)、產(chǎn)生梯度磁場(chǎng)、控制各個(gè)部件協(xié)調(diào)和人機(jī)交互。MRI 設(shè)備通過(guò)射頻電磁場(chǎng)激勵(lì)處于靜磁場(chǎng)中的氫質(zhì)子發(fā)生核磁共振現(xiàn)象,利用梯度磁場(chǎng)實(shí)現(xiàn)信號(hào)空間定位,通過(guò)射頻接收線圈接收弛豫過(guò)程中的磁共振信號(hào),重建得到圖像,圖像反映的參數(shù)是人體組織的氫質(zhì)子密度(Pd)、自旋-晶格弛豫時(shí)間(T1)、自旋-自旋弛豫時(shí)間(T2)、化學(xué)位移(CS)和擴(kuò)散系數(shù)(D)等。
在DT虛擬空間中,平臺(tái)包括數(shù)字環(huán)境模型、數(shù)字人模型和數(shù)字設(shè)備模型。采用WebGL 和Unity 工具完成DT虛擬實(shí)體的開發(fā),其中數(shù)字環(huán)境分為虛擬場(chǎng)景和虛擬流程,虛擬場(chǎng)景依據(jù)醫(yī)院環(huán)境進(jìn)行3D 建模實(shí)現(xiàn),虛擬流程依據(jù)臨床檢查規(guī)范制定。數(shù)字人模型外形依據(jù)性別、年齡和體型構(gòu)建,運(yùn)動(dòng)信息依據(jù)骨關(guān)節(jié)數(shù)目、關(guān)節(jié)類型和關(guān)節(jié)自由度構(gòu)建,以實(shí)現(xiàn)全身部位的高自由度任意擺位,以滿足實(shí)驗(yàn)教學(xué)需求。
MRI設(shè)備和MRI設(shè)備DT體之間存在雙向的交互反饋,MRI 設(shè)備運(yùn)行后得到的感知數(shù)據(jù)如Pd、T1、T2、CS和D,同步到MRI設(shè)備DT體,DT體基于機(jī)理建模和算法求解后,將計(jì)算結(jié)果反饋給物理實(shí)體,支持對(duì)物理實(shí)體狀態(tài)進(jìn)行同步仿真,以計(jì)算實(shí)際設(shè)備運(yùn)行過(guò)程中產(chǎn)生的圖像質(zhì)量控制參數(shù)異常,實(shí)現(xiàn)虛擬設(shè)備和實(shí)體設(shè)備的聯(lián)動(dòng)和以虛控實(shí)。
利用Matlab 實(shí)現(xiàn)自然規(guī)律仿真,關(guān)鍵點(diǎn)是基于機(jī)理模型進(jìn)行數(shù)字環(huán)境、數(shù)字人和數(shù)字設(shè)備之間的內(nèi)在機(jī)理關(guān)系仿真,包括物理數(shù)據(jù)獲取、虛擬信號(hào)采集和虛擬圖像重建,得到虛擬的磁共振圖像,包括磁共振T1加權(quán)像(T1-Weighted Image,T1WI)、T2加權(quán)像(T2-Weighted Image,T2WI)和質(zhì)子密度加權(quán)像(Pd-Weighted Image,PdWI)、短TI反轉(zhuǎn)恢復(fù)序列(Short TI Inversion Recovery,STIR)圖像和液體衰減反轉(zhuǎn)恢復(fù)序列(Fluid Attenuated Inversion Recovery,F(xiàn)LAIR)序列圖像等。
在實(shí)驗(yàn)平臺(tái)構(gòu)建中,搭建數(shù)字環(huán)境、數(shù)字人和數(shù)字設(shè)備模型,用于表征MRI設(shè)備物理實(shí)體在虛擬空間中的運(yùn)行信息;在虛擬空間中構(gòu)建DT仿真模型,實(shí)現(xiàn)虛擬實(shí)體和物理實(shí)體之間的交互反饋;在虛實(shí)融合的DT實(shí)驗(yàn)平臺(tái)上設(shè)計(jì)應(yīng)用服務(wù)資源庫(kù)??砷_展的教學(xué)內(nèi)容如圖1 所示,含磁共振信號(hào)的檢測(cè)、射頻中心頻率的確定、磁場(chǎng)均勻性評(píng)價(jià)與電子勻場(chǎng)等。
在MRI設(shè)備DT機(jī)理建模過(guò)程中,由MRI 設(shè)備獲取多維物理數(shù)據(jù),進(jìn)行數(shù)字人建模,完成虛擬采集和圖像重建,生成虛擬MRI圖像,利用DT融合數(shù)據(jù)進(jìn)行迭代優(yōu)化,達(dá)到計(jì)算力、實(shí)時(shí)性、逼真度、沉浸性、互動(dòng)性和用戶自主性的全面提升。
虛擬設(shè)備掃描的對(duì)象是數(shù)字人,數(shù)字人的準(zhǔn)確性決定了輸出的虛擬圖像逼真度,MRI 數(shù)字人構(gòu)建需要確定多維度信息,含人體組織的三維空間信息(坐標(biāo)X、Y、Z,分辨率1 mm ×1 mm ×1 mm)、磁共振信號(hào)所反映的人體組織屬性信息,如Pd、T1、T2、CS 和D。對(duì)MRI設(shè)備產(chǎn)生的MRI圖像,進(jìn)行非均勻性校正和剛性配準(zhǔn)預(yù)處理,利用區(qū)域增長(zhǎng)法進(jìn)行結(jié)構(gòu)初步分割,利用K鄰近算法實(shí)現(xiàn)邊界精細(xì)分割,對(duì)組織參數(shù)Pd、T1、T2、CS和D進(jìn)行賦值。
數(shù)字人構(gòu)建之后,依據(jù)MRI 設(shè)備的工作過(guò)程,對(duì)數(shù)字人的物理數(shù)據(jù)進(jìn)行虛擬采集,即依次進(jìn)行選層、相位編碼、頻率編碼、信號(hào)采集和信號(hào)處理,單個(gè)層面的K空間數(shù)據(jù):
式中:A為信號(hào)放大倍數(shù);M0為原始信號(hào)幅值;ρ(k,l)為層面質(zhì)子密度分布;ej(2π/N)kn為頻率編碼;ej(2π/M)lm為相位編碼;e-n/T*2為信號(hào)衰減;n為采樣時(shí)間;m為相位編碼時(shí)間;k為頻率編碼方向上的空間位置;l 為相位編碼方向上空間位置。生成K 空間數(shù)據(jù)之后,再通過(guò)二維傅里葉變換,得到MRI圖像。
為使DT體成像結(jié)果逼近物體實(shí)體的成像結(jié)果,運(yùn)用DT數(shù)據(jù)對(duì)設(shè)計(jì)進(jìn)行評(píng)估,與教學(xué)需求與意見(jiàn)結(jié)合后,判斷是否需要改進(jìn)設(shè)計(jì),如若需要改進(jìn),則將DT體的數(shù)據(jù)采集模型解構(gòu)為人體模塊、設(shè)備模塊和環(huán)境模塊,分別進(jìn)行修正,如圖2 所示。
圖2 基于DT數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化方法
人體模塊考慮圖像分割和組織參數(shù)的賦值的誤差。設(shè)備模塊考慮磁體單元、射頻單元和梯度單元的變動(dòng),如放大器頻率響應(yīng)函數(shù)、重復(fù)時(shí)間、回波時(shí)間、弛豫時(shí)間、射頻脈沖的幅值、脈寬、射頻場(chǎng)非均勻性、靜磁場(chǎng)非均勻性和靜磁場(chǎng)漂移等。環(huán)境模塊考慮添加射頻干擾、鐵磁性物質(zhì)干擾、自主和非自主運(yùn)動(dòng)干擾等因素,修正完成后再重構(gòu)模型,實(shí)現(xiàn)虛擬成像。
模型設(shè)計(jì)盡可能考慮到所有的相關(guān)因素,從實(shí)驗(yàn)結(jié)果的反饋科學(xué)性、實(shí)驗(yàn)操作的實(shí)時(shí)性、實(shí)驗(yàn)操作的沉浸性等方面,與物理設(shè)備進(jìn)行對(duì)照,找出差距并不斷迭代優(yōu)化和持續(xù)改進(jìn),修正的越精細(xì),MRI設(shè)備DT體的輸出和物理實(shí)體的輸出越逼近。
MRI原理與技術(shù)DT實(shí)驗(yàn)平臺(tái)除了滿足醫(yī)學(xué)影像領(lǐng)域院校批量實(shí)驗(yàn)教學(xué)、影像技師培訓(xùn)、醫(yī)療器械工程師培訓(xùn)之外,還能為MRI設(shè)備的輔助研發(fā)提供分析平臺(tái):低場(chǎng)磁共振弛豫譜反演算法研究[15];高階有源勻場(chǎng)技術(shù)開發(fā)[16];MRI偽影仿真分析[17];樣本增廣和批量標(biāo)注模型構(gòu)建與數(shù)字圖譜研發(fā)[18]和MRI 設(shè)備性能智能檢測(cè)等。
根據(jù)MRI設(shè)備DT機(jī)理建模過(guò)程中所運(yùn)用的關(guān)鍵技術(shù),可開展相應(yīng)的教學(xué)內(nèi)容,建模過(guò)程完成系統(tǒng)預(yù)掃描、定位掃描、正常成像、異常成像、圖像信噪比、圖像均勻性、層厚、縱橫比、空間分辨力、低對(duì)比度分辨力、幾何畸變等質(zhì)控參數(shù)評(píng)價(jià)。每個(gè)環(huán)節(jié)對(duì)應(yīng)的教學(xué)內(nèi)容和技術(shù)應(yīng)用價(jià)值見(jiàn)表1。
表1 基于DT機(jī)理建模的MRI成像原理與技術(shù)的實(shí)驗(yàn)教學(xué)內(nèi)容
MRI原理與技術(shù)DT實(shí)驗(yàn)平臺(tái)圍繞醫(yī)院MRI檢查場(chǎng)景和檢查流程設(shè)計(jì),仿真結(jié)果如圖3(a)所示。該仿真結(jié)果與臨床檢查真實(shí)情景相對(duì)應(yīng),進(jìn)入實(shí)驗(yàn)平臺(tái),進(jìn)行系統(tǒng)登錄,信息查驗(yàn),查前更衣,操作擺位,成像掃描和結(jié)束檢查,具體內(nèi)容見(jiàn)表2。
表2 MRI檢查DT實(shí)訓(xùn)流程
DT實(shí)驗(yàn)平臺(tái)對(duì)物理實(shí)體狀態(tài)進(jìn)行同步仿真,利用DT融合數(shù)據(jù)實(shí)時(shí)重建MRI 圖像,虛擬空間中MRI 軟件操作界面如圖3(b)所示。平臺(tái)有機(jī)融合了軟件操作界面數(shù)據(jù)和數(shù)值計(jì)算圖像數(shù)據(jù),在DT 虛擬空間中擺位、視野參數(shù)設(shè)置等操作,聯(lián)動(dòng)表現(xiàn)于虛擬MRI 圖像的仿真結(jié)果。與物理實(shí)體設(shè)備的運(yùn)行結(jié)果對(duì)應(yīng),實(shí)現(xiàn)序列參數(shù)對(duì)圖像的影響、識(shí)別和分析偽影、診斷故障等實(shí)驗(yàn)內(nèi)容。
圖3 MRI成像原理與技術(shù)的DT實(shí)驗(yàn)平臺(tái)仿真結(jié)果
在實(shí)驗(yàn)平臺(tái),選擇成像序列,如自旋回波成像序列、梯度回波成像序列、反轉(zhuǎn)恢復(fù)成像序列和平面回波成像序列,設(shè)置和調(diào)節(jié)序列參數(shù)、完成二維數(shù)據(jù)采集、K空間填充和圖像重建,可獲取T1WI 像、T2WI 像、PdWI像、脂肪抑制像、黑水像等。
選擇自旋回波成像序列,設(shè)置序列其他參數(shù)為默認(rèn)參數(shù),調(diào)節(jié)參數(shù)脈沖重復(fù)時(shí)間TR 和回波時(shí)間TE,運(yùn)行仿真模型,完成二維數(shù)據(jù)采集和圖像重建,得到K空間和圖像仿真結(jié)果,TR和TE參數(shù)對(duì)圖像權(quán)重的影響結(jié)果如圖4 所示。保持回波時(shí)間TE=20 ms,逐漸將重復(fù)時(shí)間TR由2 500、1 200、500、300 縮短至100 ms,組織的縱向磁化矢量恢復(fù)快慢差異逐漸顯現(xiàn),T1權(quán)重逐漸增加,圖像由PdWI像向T1WI像過(guò)渡。保持重復(fù)時(shí)間TR=2 500 ms,逐漸將回波時(shí)間TE 由20、50、100、150 延長(zhǎng)至200 ms,組織的橫向磁化矢量衰減快慢差異逐漸顯現(xiàn),T2權(quán)重逐漸增加,圖像由PdWI像向T2WI像過(guò)渡。該仿真結(jié)果與實(shí)體MRI設(shè)備的運(yùn)行結(jié)果相一致。
圖4 不同TR、TE 參數(shù)下的MRI圖像
磁共振圖像上出現(xiàn)的一些成像對(duì)象本身不存在的圖像信息,使得圖像質(zhì)量下降,稱作偽影或鬼影。其產(chǎn)生因素主要包括成像環(huán)境、成像對(duì)象、成像設(shè)備和成像序列參數(shù)等。在MRI 原理與技術(shù)DT 實(shí)驗(yàn)平臺(tái)上,設(shè)置和調(diào)節(jié)不同的參數(shù),運(yùn)行仿真模型,實(shí)現(xiàn)偽影模擬,包括與成像環(huán)境和成像對(duì)象有關(guān)的條紋偽影、運(yùn)動(dòng)偽影、偏離中心偽影;和設(shè)備有關(guān)的鏡像偽影、中心斑偽影、射頻串?dāng)_偽影;和成像序列參數(shù)有關(guān)的化學(xué)位移偽影、截?cái)鄠斡啊⒕眈迋斡?、射頻拉鏈偽影等。
靜電放電等引起K空間的信號(hào)幅值異常點(diǎn),即數(shù)據(jù)尖峰點(diǎn),使得圖像上出現(xiàn)不同間距且背景均勻的明暗相間的條紋偽影。尖峰數(shù)據(jù)出現(xiàn)在K 空間中的位置不同,條紋方向和間距具有差異。設(shè)置尖峰數(shù)據(jù)點(diǎn)的橫坐標(biāo)和縱坐標(biāo)位置,運(yùn)行仿真模型。圖5 給出不同位置處的條紋偽影實(shí)驗(yàn)結(jié)果??梢?jiàn),仿真結(jié)果和理論相符。成像環(huán)境中存在頻率接近射頻頻率的信號(hào)進(jìn)入接收鏈路,圖像上會(huì)出現(xiàn)平行于相位編碼方向的干擾條帶,射頻串?dāng)_偽影仿真結(jié)果如圖6(a)所示。射頻脈沖翻轉(zhuǎn)角的設(shè)置存在誤差,引起激勵(lì)回波進(jìn)入接收鏈路,圖像上會(huì)出現(xiàn)平行于頻率編碼方面的中央條帶上的離散的亮點(diǎn)和黑點(diǎn),射頻拉鏈偽影仿真結(jié)果如圖6(b)所示。仿真結(jié)果與設(shè)備運(yùn)行結(jié)果相對(duì)應(yīng)。
圖5 與成像環(huán)境和成像對(duì)象相關(guān)的偽影
圖6 與成像設(shè)備和成像序列參數(shù)相關(guān)的偽影
本文從教育元宇宙和DT 技術(shù)的概念出發(fā),探討了教育元宇宙趨勢(shì)下MRI成像原理與技術(shù)DT實(shí)驗(yàn)平臺(tái)的框架和機(jī)理建模思路,分析了一種可行的機(jī)理建模方法,實(shí)現(xiàn)了MRI設(shè)備的DT仿真,并設(shè)計(jì)了應(yīng)用服務(wù)資源庫(kù)以滿足實(shí)驗(yàn)教學(xué)需求。
本文的理論研究和實(shí)驗(yàn)案例為MRI設(shè)備DT建模提供理論依據(jù)和仿真實(shí)例,對(duì)數(shù)字孿生教學(xué)應(yīng)用具有一定的參考價(jià)值?,F(xiàn)階段的研究側(cè)重于機(jī)理建模的應(yīng)用效果評(píng)估,后續(xù)將考慮結(jié)合虛擬現(xiàn)實(shí)技術(shù)提升平臺(tái)的沉浸性,力圖為學(xué)習(xí)者創(chuàng)設(shè)幾近真實(shí)的實(shí)驗(yàn)環(huán)境。同時(shí),將完善智能化考核反饋功能,將教師從繁重的實(shí)驗(yàn)評(píng)價(jià)中解放出來(lái),有更多的精力關(guān)注于教學(xué)方法的改進(jìn)和學(xué)生學(xué)習(xí)效果的提升。