尤慧明 姚靈君 沈偉芬 朱大榮

影像學(xué)中組織成分的改變既可以反映人體發(fā)育狀況，也與代謝性及內(nèi)分泌性疾病相關(guān)。準(zhǔn)確分離出各組織成分是定量評(píng)估組織成分改變的基礎(chǔ)，對(duì)疾病的診斷、治療、病理研究、手術(shù)導(dǎo)航、放療計(jì)劃制定等都具有重要意義[1-3]。CT常作為組織分割的基準(zhǔn)圖像，CT值的大小可以反映各種不同的組織成分[4]。然而，腦實(shí)質(zhì)（白質(zhì)、灰質(zhì)）、肌肉等成分的CT值存在交叉重疊，難以區(qū)分。MR成像具有無(wú)輻射、軟組織成像空間分辨率高等特點(diǎn)，但其骨性組織成像精確度較低，常需額外進(jìn)行CT掃描。因此，能否單純使用MR成像一次性獲得各個(gè)組織成分的信息具有重要臨床的意義。筆者基于Transformer深度學(xué)習(xí)網(wǎng)絡(luò)的最輕量網(wǎng)絡(luò)（Segformer）在頭部三點(diǎn)非對(duì)稱回波水脂分離成像（iterative decomposition of water and fat with echo asymmetric and least squares estimation,IDEAL）圖像上實(shí)現(xiàn)組織成分（腦實(shí)質(zhì)、腦脊液、顱骨、空氣、軟組織）的分割，探索其在臨床應(yīng)用的可行性，現(xiàn)將結(jié)果報(bào)道如下。

1 對(duì)象和方法

1.1 對(duì)象 收集2019年9月至2021年8月杭州市臨平區(qū)第一人民醫(yī)院志愿者40名，男15名，女25名，年齡27～58（42.6±15.7）歲。納入標(biāo)準(zhǔn)：（1）無(wú)先天性顱骨畸形；（2）無(wú)既往頭顱外傷病史；（3）無(wú)顱內(nèi)腫瘤或腦積水。排除標(biāo)準(zhǔn)：（1）具有MR成像禁忌證（例如幽閉恐懼癥、體內(nèi)金屬、嚴(yán)重的視覺(jué)或聽(tīng)覺(jué)障礙）；（2）存在累及頭部疾病者。本研究經(jīng)杭州市臨平區(qū)第一人民醫(yī)院醫(yī)學(xué)倫理委員會(huì)批準(zhǔn)，所有志愿者均簽署知情同意書。

1.2 影像學(xué)檢查 頭部MR成像使用同一臺(tái)1.5 T掃描儀（美國(guó)GE公司，型號(hào)：Signa HDxt），16通道頭頸聯(lián)合線圈，三維小角度梯度回波水脂分離序列（3D GRE IDEAL）掃描。成像視野（field of vision,FOV）288 mm×288 mm，像素0.83×0.83 mm2，層厚2.5 mm，無(wú)間隔，重復(fù)時(shí)間6.2 ms，兩個(gè)回波時(shí)間為分別2.1 ms、4.2 ms，激勵(lì)翻轉(zhuǎn)角20°。分別重建出水相、脂相、同相位、反相位圖像，掃描層數(shù)均為70。見(jiàn)圖1。

圖1 原始磁共振IDEAL水脂分離圖像

CT成像使用64排CT掃描儀（德國(guó)西門子公司，型號(hào)：Definition），頭先進(jìn)仰臥位，掃描范圍從顱頂?shù)缴项M骨。像素0.49×0.49 mm2，層厚1.25 mm，管電壓120 kV，管電流270～400 mA。圖像大小512×512。見(jiàn)圖2。

圖2 原始CT圖

1.3 方法 在進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練前，先將MR和CT圖像配準(zhǔn)至相同的圖像大小和位置，隨后利用CT和IDEAL水圖實(shí)現(xiàn)5種組織成分的標(biāo)注，最后采用Segformer網(wǎng)絡(luò)進(jìn)行訓(xùn)練，實(shí)現(xiàn)IDEAL圖像上5種組織成分的分割。

1.3.1 圖像配準(zhǔn) 將CT圖像調(diào)整至與MR相同分辨率后，采取形態(tài)學(xué)操作在CT圖像上去除CT床。然后利用Elastix軟件[6]對(duì)去床后的CT圖像和IDEAL水圖實(shí)現(xiàn)剛性配準(zhǔn)，以消除不同模態(tài)圖像間的掃描位置差異。將同樣的配準(zhǔn)參數(shù)作用于脂通道和同相通道。配準(zhǔn)后的圖像統(tǒng)一裁剪至256×256，并將MR圖像的像素值利用最大、最小化歸一處理至[0，255]。同時(shí)利用形態(tài)學(xué)操作和閾值分割方法對(duì)MR圖像制作頭部區(qū)域掩膜。將CT圖像上頭部以外區(qū)域的CT值設(shè)置為-1 000 Hu，將MR圖像頭部以外區(qū)域的像素值設(shè)置為0。

1.3.2 組織成分標(biāo)注 首先根據(jù)CT值與組織對(duì)應(yīng)關(guān)系對(duì)空氣和骨骼進(jìn)行標(biāo)注，直接將其閾值分割結(jié)果作為空氣（CT＜-100 Hu）、骨骼（CT＞120 Hu）的標(biāo)記區(qū)域。隨后，使用SPM12工具箱（http://www.fil.ion.ucl.ac.uk/spm/software/spm12/）在水圖上進(jìn)行白質(zhì)、灰質(zhì)和腦脊液的標(biāo)注，將白質(zhì)和灰質(zhì)分割結(jié)果合并，作為腦實(shí)質(zhì)標(biāo)注。其余未標(biāo)注區(qū)域?yàn)檐浗M織。流程見(jiàn)圖3。組織成分的標(biāo)注結(jié)果即為網(wǎng)絡(luò)訓(xùn)練的金標(biāo)準(zhǔn)。

圖3 基于CT和MR圖像的組織成分標(biāo)注流程

1.3.3 網(wǎng)絡(luò)訓(xùn)練及預(yù)測(cè) 神經(jīng)網(wǎng)絡(luò)采用Segformer框架，網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖4。該網(wǎng)絡(luò)采用編解碼結(jié)構(gòu)，編碼器（Encoder）中包含自注意力機(jī)制（Self-Attention）和混合前饋神經(jīng)網(wǎng)絡(luò)（mixfeed forward network,Mix-FFN），同時(shí)結(jié)合了輕量級(jí)多層感知器（multi-layer perceptron,MLP），可以更好提取特征。解碼器（Decoder）采用MLP從不同的層聚集信息，結(jié)合全局注意和局部注意的同時(shí)避免復(fù)雜解碼。

圖4 Segformer網(wǎng)絡(luò)結(jié)構(gòu)圖

在所有樣本中隨機(jī)選取30名作為訓(xùn)練集，共包含1 784張圖像，剩余10名（包含618張圖像）作為測(cè)試集。將IDEAL的水圖、脂圖、同相圖組成三通道作為網(wǎng)絡(luò)輸入，先采用ImageNet 1K數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重對(duì)網(wǎng)絡(luò)進(jìn)行初始化，使用mmsegmentation代碼庫(kù)進(jìn)行訓(xùn)練。在訓(xùn)練過(guò)程中，采用數(shù)據(jù)擴(kuò)增來(lái)增加網(wǎng)絡(luò)的泛化性能，具體包括0.5～2.0倍的隨機(jī)縮放、隨機(jī)水平翻轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)（-30°～30°）。使用AdamW優(yōu)化器對(duì)模型在數(shù)據(jù)集上進(jìn)行16萬(wàn)次迭代，批大小為16。初始學(xué)習(xí)速率設(shè)為0.000 06，使用因子為1.0的指數(shù)策略動(dòng)態(tài)調(diào)整學(xué)習(xí)率。

操作系統(tǒng)采用Ubuntu 20.04 LTS，CPU為Intel Core i7-9700F，GPU為NVIDIA GeForce RTX 2070 SUPER，使用pytorch框架構(gòu)建網(wǎng)絡(luò)。

1.4 性能評(píng)估 采用Dice相似性系數(shù)（Dice similaritycoefficient,DSC）、像素準(zhǔn)確度（pixel accuracy,PA）、均交并比（intersection over union,IoU）等指標(biāo)評(píng)價(jià)每種組織成分的分割性能，DSC、PA、IoU值越大表示該成分的分割效果越好。計(jì)算方法分別如公式1-3所示。

其中X代表分割金標(biāo)，Y代表預(yù)測(cè)的分割圖像，|X∩Y|是X和Y之間的交集，|X|和|Y|分別表示X和Y的元素的個(gè)數(shù)。FP為假陽(yáng)性，表示背景預(yù)測(cè)錯(cuò)誤；FN為假陰性，表示目標(biāo)預(yù)測(cè)錯(cuò)誤；TP為真陽(yáng)性，表示目標(biāo)預(yù)測(cè)正確；TN為真陰性，表示背景預(yù)測(cè)正確。

根據(jù)金標(biāo)準(zhǔn)中5種組織成分的像素?cái)?shù)，統(tǒng)計(jì)每名志愿者的各組織成分在頭部所有成分中所占的比例。如公式4所示，將各組織成分的占比與其評(píng)價(jià)指標(biāo)做加權(quán)求和得到平均指標(biāo)，Index1～I(xiàn)ndex5分別表示5種成分的評(píng)價(jià)指標(biāo)，p1～p5分別表示5種組織成分的占比。

2 結(jié)果

2.1 組織成分占比 統(tǒng)計(jì)測(cè)試集10名志愿者的各組織成分占比，結(jié)果顯示空氣、骨骼、腦實(shí)質(zhì)、腦脊液、軟組織的占比分別為0.125±0.016、0.184±0.015、0.375±0.019、0.085±0.011、0.231±0.020。

2.2 網(wǎng)絡(luò)分割性能評(píng)估 測(cè)試集加權(quán)平均的DSC為0.822±0.039，PA為0.931±0.015，表明網(wǎng)絡(luò)能有效實(shí)現(xiàn)組織成分分割。在5種組織中，腦實(shí)質(zhì)的分割效果最好DSC為0.953±0.006，顱內(nèi)空氣的最低DSC為0.720±0.071。各組織成分的分割結(jié)果及其加權(quán)平均指標(biāo)見(jiàn)表1。

表1 Segformer對(duì)頭部5種組織成分的分割結(jié)果

Segformer MIT-B0分割結(jié)果示例見(jiàn)圖5（插頁(yè)），頭部IDEAL圖像的5種組織（腦實(shí)質(zhì)、腦脊液、軟組織、骨骼、空氣）都能清晰分割出來(lái)，在區(qū)域連通性上也有較好的表現(xiàn)。

圖5 Segformer在不同層面上的組織分割結(jié)果例圖

3 討論

精確地分割各組織成分的區(qū)域?qū)膊≡\斷、放療計(jì)劃制定、解剖結(jié)構(gòu)研究和病理生理學(xué)研究等都具有重要意義。MR和CT檢查對(duì)不同組織成分的顯示各有優(yōu)勢(shì)，如何在單一模態(tài)上進(jìn)行多種組織成分的分割仍具挑戰(zhàn)。本文采用基于注意力機(jī)制的Segformer網(wǎng)絡(luò)在MR IDEAL圖像上進(jìn)行頭部組織成分分割，展現(xiàn)了較好的性能。其中腦實(shí)質(zhì)區(qū)域分割效果最好，DSC、PA、IoU值均在0.91以上，這也進(jìn)一步證實(shí)了MR軟組織對(duì)比的優(yōu)勢(shì)。與CT值標(biāo)記的頭骨區(qū)域相比，網(wǎng)絡(luò)分割頭骨的DSC為0.748±0.069，該結(jié)果與Gong等[6]結(jié)合mDixon和ZTE圖像進(jìn)行頭骨分割效果相近。在各組織成分中，空氣分割的DSC值最低，這可能與其在頭部的占比最小有關(guān)，小目標(biāo)區(qū)域的分割效果一般較差，這在其他研究中已經(jīng)得到證實(shí)。

本研究采用臨床常規(guī)采集的IDEAL圖像作為組織成分分割的基礎(chǔ)圖像。該技術(shù)利用了物質(zhì)的化學(xué)位移效應(yīng)實(shí)現(xiàn)水脂分離，在一次采集中可以快速生成水相、脂相、同相位和反相位等多個(gè)對(duì)比圖像，有研究者將其用于合成CT的研究[7]。本文將IDEAL多種對(duì)比圖像結(jié)合組成多通道進(jìn)行成分分割，除了對(duì)脂肪識(shí)別的天然優(yōu)勢(shì)外，同時(shí)對(duì)白質(zhì)、灰質(zhì)、腦脊液等可以提供良好的對(duì)比。本研究結(jié)果表明，在側(cè)腦室及顱頂層面，腦脊液、腦實(shí)質(zhì)、顱骨等成分分割與標(biāo)注結(jié)果均具有良好的重疊度；而在靠近顱底層面，由于結(jié)構(gòu)的復(fù)雜性，空氣與骨皮質(zhì)交界處、篩竇等區(qū)域難以實(shí)現(xiàn)精細(xì)分割，同時(shí)這些區(qū)域也容易受到個(gè)體差異性的影響。

深度學(xué)習(xí)技術(shù)已廣泛應(yīng)用于醫(yī)學(xué)圖像領(lǐng)域[3,8-10]，近年來(lái)研究者們也不斷提出了新的網(wǎng)絡(luò)框架。與傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)相比，注意力機(jī)制對(duì)提取的特征進(jìn)一步加工，通過(guò)賦予不同的權(quán)重表示其重要程度，將關(guān)注主要集中于目標(biāo)區(qū)域從而提高結(jié)果準(zhǔn)確度，同時(shí)，利用注意力的方式捕獲全局的上下文信息對(duì)目標(biāo)建立遠(yuǎn)距離依賴，解決了長(zhǎng)距離信息丟失的問(wèn)題。目前基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)如Transformer等已經(jīng)在醫(yī)學(xué)圖像處理的多個(gè)領(lǐng)域中取得了突出的效果。本研究采用的Segformer網(wǎng)絡(luò)，將基于注意力機(jī)制的Transformer網(wǎng)絡(luò)與MLP相結(jié)合，在進(jìn)行高效分割的同時(shí)避免了復(fù)雜的解碼器，實(shí)現(xiàn)模型效果與效率的平衡。

本研究中在采用Segformer網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行組織成分分割中體現(xiàn)出了良好的性能，但由于本研究使用的數(shù)據(jù)均來(lái)自同一個(gè)中心的同一臺(tái)掃描設(shè)備，訓(xùn)練模型對(duì)其他設(shè)備、掃描參數(shù)及存在病變等情況下的泛化能力還有待進(jìn)一步驗(yàn)證。

綜上所述，本研究驗(yàn)證了通過(guò)MR單一序列IDEAL圖像進(jìn)行頭部組織成分分割的可行性，通過(guò)基于注意力機(jī)制的Segformer神經(jīng)網(wǎng)絡(luò)可有效實(shí)現(xiàn)腦實(shí)質(zhì)、腦脊液、顱骨、空氣、軟組織等5種組織成分的分割。