曹加旺,田維維,劉學(xué)玲,李郁欣,馮 瑞
(1.復(fù)旦大學(xué) 工程與應(yīng)用技術(shù)研究院,上海 200433;2.復(fù)旦大學(xué)附屬華山醫(yī)院 放射科,上海 200433)
帕金森病是一種神經(jīng)變性疾病,多發(fā)于中老年人。隨著核磁共振成像(Magnetic Resonance Imaging,MRI)技術(shù)以及相關(guān)設(shè)備的發(fā)展,人們能夠更進(jìn)一步地觀察患者的腦部結(jié)構(gòu),從而探究帕金森病的病因和診斷標(biāo)準(zhǔn)。近年來,對(duì)帕金森病的各項(xiàng)研究結(jié)果表明,腦黑質(zhì)(Substantia Nigra,SN)的大小、形態(tài)、體積等特征可用于輔助診斷帕金森病,尤其是黑質(zhì)致密部(Substantia Nigra pars compacta,SNpc)的體積與帕金森病存在一定關(guān)聯(lián)[1-3]。因此,對(duì)人腦SNpc 進(jìn)行精準(zhǔn)分割,有利于準(zhǔn)確觀察腦黑質(zhì)的結(jié)構(gòu)變化,對(duì)帕金森病的早期篩查及計(jì)算機(jī)輔助診斷具有重要意義。
早期的SNpc 分割多采用傳統(tǒng)算法,如基于梯度算子和能量函數(shù)的黑質(zhì)神經(jīng)核團(tuán)分割算法等。近年來,一些學(xué)者開始使用基于全連接神經(jīng)網(wǎng)絡(luò)(Fully Connect Neural Network,F(xiàn)CN)[4]的模型,以及基于FCN 的變體神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),如U 形神經(jīng)網(wǎng)絡(luò)(U-Shape Neural Network,U-Net)[5-7]模型。相較傳統(tǒng)方法,基于神經(jīng)網(wǎng)絡(luò)的分割方法在多數(shù)醫(yī)學(xué)影像分割任務(wù)中取得了顯著的效果提升,但是在對(duì)SNpc進(jìn)行分割時(shí)準(zhǔn)確率提升仍然有限[8]。分析原因主要有兩點(diǎn):對(duì)醫(yī)學(xué)影像分割算法的研究往往集中在對(duì)低維語義信息的特征提取上,當(dāng)?shù)途S語義信息足夠分辨目標(biāo)對(duì)象時(shí),U-Net 模型的“跨連接”結(jié)構(gòu)能夠在訓(xùn)練階段自動(dòng)調(diào)整相應(yīng)采樣模塊的權(quán)重參數(shù),但是當(dāng)?shù)途S語義信息不足以分辨目標(biāo)時(shí),如當(dāng)圖像中出現(xiàn)色彩線條相似的組織和結(jié)構(gòu)時(shí),其底部結(jié)構(gòu)不能充分利用多次下采樣后的高維語義特征,因此,在模型結(jié)構(gòu)以及學(xué)習(xí)機(jī)制上還需改進(jìn);黑質(zhì)致密部的分割任務(wù)本身還存在若干難點(diǎn),腦黑質(zhì)致密部占比小,對(duì)算法感知能力要求高,腦黑質(zhì)邊緣不夠清晰且形變較大,在數(shù)據(jù)量有限的情況下難以提升算法準(zhǔn)確性,此外,基于神經(jīng)網(wǎng)絡(luò)的分割模型由于需要多次下采樣,造成上下文特征丟失,導(dǎo)致分割出了不連續(xù)的目標(biāo)片段等,因此,還需要利用一些后處理手段(如平滑算子等),但這又會(huì)引入其他超參數(shù)。
為了解決上述問題,提升帕金森病關(guān)鍵黑質(zhì)神經(jīng)核團(tuán)的分割精度,改善計(jì)算機(jī)輔助診斷系統(tǒng)對(duì)帕金森病關(guān)鍵核團(tuán)的顯示效果,本文提出一種基于改進(jìn)U-Net 的帕金森病關(guān)鍵神經(jīng)核團(tuán)分割算法。設(shè)計(jì)基于Transformer 的高維語義特征提取模塊,提高U-Net 的高維語義信息提取能力。針對(duì)黑質(zhì)致密部的分布特點(diǎn),提出一種基于局部地區(qū)權(quán)重掩膜的分布損失函數(shù),以改善模型分割效果。
近年來,基于全連接神經(jīng)網(wǎng)絡(luò)的分割算法被廣泛應(yīng)用于醫(yī)學(xué)影像分割任務(wù)。相比傳統(tǒng)的手工特征提取算法,基于FCN 的模型能夠端到端訓(xùn)練,內(nèi)部參數(shù)都可在訓(xùn)練中通過梯度下降方法求解。基于FCN的分割模型采用卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network,CNN)同時(shí)作為編碼器和解碼器,相較傳統(tǒng)的手工特征,CNN 對(duì)圖像特征提取能力更強(qiáng),誤差更低。具有代表性的FCN 有U-Net 模型,其將編碼器模塊的淺層語義特征以跨連接的方式輸入解碼器模塊,形成對(duì)稱的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu),從而提高模型對(duì)不同感受野、不同層次語義特征的捕獲能力。近期的醫(yī)學(xué)影像分割算法一般使用改進(jìn)的U-Net 結(jié)構(gòu)(如R2U-Net[9]),在U-Net 的編碼器模塊加入殘差卷積 層,Attention U-Net[10]在U-Net 的跨連接部分加入注意力機(jī)制,提高了模型對(duì)小目標(biāo)的敏感度。
當(dāng)上述方法被應(yīng)用在一些小目標(biāo)器官或病灶分割任務(wù)中時(shí),各項(xiàng)指標(biāo)仍未達(dá)到臨床應(yīng)用水平。因此,一些學(xué)者提出針對(duì)小目標(biāo)分割的改進(jìn)方法,主要包括兩類:
1)第一類方法通過改進(jìn)小目標(biāo)分割流程來提高精度。文獻(xiàn)[11]將小目標(biāo)分割分解為雙階段任務(wù),第一步采用檢測(cè)模型在大范圍內(nèi)找到感興趣區(qū)域,第二步利用分割模型在感興趣區(qū)域內(nèi)進(jìn)行分割,從而降低背景噪聲的影響。文獻(xiàn)[12]通過融合分水嶺算法分支的后處理,提高模型在目標(biāo)邊緣部分的分割精度。這類方法存在的普遍問題是模型結(jié)構(gòu)較為復(fù)雜,且需要調(diào)整更多的超參數(shù),不利于實(shí)際應(yīng)用。
2)第二類方法通過改進(jìn)注意力模型來提高對(duì)小目標(biāo)的感受能力。文獻(xiàn)[13]將門控式的邊緣檢測(cè)作為注意力圖,提高了模型對(duì)小目標(biāo)邊緣部分的感知能力。文獻(xiàn)[14]將密集連接網(wǎng)絡(luò)與注意力機(jī)制相結(jié)合,使模型主動(dòng)學(xué)習(xí)重點(diǎn)目標(biāo)區(qū)域。文獻(xiàn)[15]將殘差網(wǎng)絡(luò)與注意力機(jī)制相結(jié)合,采用多尺度輸入在提高感受野的同時(shí)降低噪聲影響。文獻(xiàn)[16]結(jié)合多尺度卷積與雙通道注意力模塊,進(jìn)一步提高了模型的全局感受野。但是,上述注意力模塊的引入仍是在跨連接模塊中加強(qiáng)對(duì)低維語義信息的感知能力。HANet[17]在U-Net 結(jié)構(gòu)的基礎(chǔ)上改進(jìn)底部的注意力模塊,利用圖網(wǎng)絡(luò)模型以及傳遞閉包算法增加注意力模塊的感受野,從而提升模型對(duì)包括高維語義信息在內(nèi)的全局信息的捕捉能力。
在實(shí)踐中發(fā)現(xiàn),上述醫(yī)學(xué)分割方法在腦黑質(zhì)致密部分割中依然存在一定的局限性。由于U 型神經(jīng)網(wǎng)絡(luò)多次下采樣的結(jié)構(gòu)特點(diǎn),導(dǎo)致其容易丟失上下文信息,在高維語義信息識(shí)別方面能力不足。如圖1所示,人腦黑質(zhì)致密部分布并不均勻,因此,有可能在圖像分割結(jié)果中出現(xiàn)不連續(xù)的分割片段。
圖1 人腦SNpc 分割結(jié)果Fig.1 Brain SNpc segmentation results
注意力機(jī)制[18]在長(zhǎng)序列分析任務(wù)中具有顯著優(yōu)勢(shì),在神經(jīng)網(wǎng)絡(luò)模型中添加注意力模塊,有利于模型更加關(guān)注那些對(duì)分類置信度影響較大的特征。近年來,對(duì)計(jì)算機(jī)視覺中注意力機(jī)制的研究結(jié)果表明,基于序列模型的多頭注意力機(jī)制不僅可用于自然語言處理問題,也適用于圖像識(shí)別問題。文獻(xiàn)[19]指出一幅圖像可以被表示為一個(gè)16×16 的切片圖像序列,因此,融合多頭注意力機(jī)制的Transformer 編碼器可以被應(yīng)用于計(jì)算機(jī)視覺任務(wù),如圖像識(shí)別[19-20]、目標(biāo)檢測(cè)[21-22]、語義分割[23-24]等。由于卷積神經(jīng)網(wǎng)絡(luò)可以更加高效地提取淺層視覺特征,多頭注意力機(jī)制則常用于高維語義特征提取,上述計(jì)算機(jī)視覺任務(wù)中的Transformer 模型設(shè)計(jì)需要結(jié)合兩者共同的優(yōu)點(diǎn)。另外,基于Transformer 的分割算法模型結(jié)構(gòu)復(fù)雜,模型訓(xùn)練容易過擬合,需要大量的標(biāo)注數(shù)據(jù)集,因此,將Transformer 應(yīng)用在醫(yī)學(xué)影像分割任務(wù)中的相關(guān)研究仍處于起步階段。
多任務(wù)學(xué)習(xí)指的是在機(jī)器學(xué)習(xí)中通過設(shè)計(jì)另一個(gè)輔助任務(wù)來幫助模型進(jìn)一步理解主要任務(wù)。在神經(jīng)網(wǎng)絡(luò)模型中,通過改進(jìn)損失函數(shù)可以學(xué)習(xí)多個(gè)任務(wù),如在醫(yī)學(xué)影像多疾病分類學(xué)習(xí)過程中同時(shí)學(xué)習(xí)圖像中有無病灶[25],有利于模型充分理解病灶,防止學(xué)習(xí)潛在偏差。通過多任務(wù)學(xué)習(xí)策略可以在一定程度上緩解過擬合問題[26]。觀察發(fā)現(xiàn),人腦黑質(zhì)致密部的分布大致呈中心對(duì)稱的兩塊區(qū)域,因此,可以構(gòu)建區(qū)域?qū)W習(xí)任務(wù),使模型更加關(guān)注目標(biāo)位置。
本文提出的改進(jìn)U-Net 結(jié)構(gòu)在高維語義提取部分結(jié)合Transformer 編碼器,提升模型對(duì)高維語義特征的理解能力。為了解決下采樣環(huán)節(jié)中上下文丟失的問題,提出基于二維高斯核權(quán)重掩膜的損失函數(shù),通過多任務(wù)學(xué)習(xí)使神經(jīng)網(wǎng)絡(luò)模型更加關(guān)注對(duì)稱中心區(qū)域的像素識(shí)別損失。
本文提出的基于改進(jìn)U-Net 的人腦SNpc 分割神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2 所示。
圖2 基于改進(jìn)U-Net 的人腦SNpc 分割模型Fig.2 Brain SNpc segmentation model based on improved U-Net
被分割的核磁共振影像切片為單通道圖像,堆疊到三通道后輸入到神經(jīng)網(wǎng)絡(luò)模型中。設(shè)輸入圖像Iin∈RM×N×C,經(jīng)過神經(jīng)網(wǎng)絡(luò)(NN)后,端到端地輸出分割結(jié)果圖像Iout∈RM×N×C,如式(1)所示:
其中:M和N分別是輸入圖像的長(zhǎng)和寬;C為通道數(shù)。
如圖3 所示,編碼器部分包含4 個(gè)下采樣卷積塊,每個(gè)下采樣卷積塊包括2 個(gè)3×3 卷積層、2 個(gè)歸一化層(Batch Normalization,BN)和1 個(gè)池化層。
圖3 下采樣卷積塊Fig.3 Down-sampled convolution block
將圖像Iin輸入到下采樣卷積塊中(4 次),通過下采樣過程分別得到4 個(gè)特征圖,其中,i∈{1,2,3,4},分別代表經(jīng)過4 次下采樣后的順序。特征圖如式(2)所示:
每次經(jīng)過下采樣塊后,特征圖的維度都會(huì)降低一半,在改進(jìn)U-Net 網(wǎng)絡(luò)的底部,將高維語義特征reshape 輸入到基于Transformer 的高維語義特征編碼模塊。高維特征的感受野更大,含有更豐富的語義信息。將特征圖進(jìn)行重組得到高維語義特征,經(jīng)過基于Transformer 的高維語義編碼模塊得到修正特征,同樣經(jīng)過重組后得到,再輸入到4 個(gè)上采樣卷積塊中。如圖4 所示,每個(gè)上采樣卷積塊包括2 個(gè)卷積層、2 個(gè)BN 層和1 個(gè)最大池化層。
圖4 上采樣卷積塊Fig.4 Up-sampled convolution block
其中:⊕表示按通道組合操作。最終經(jīng)過類激活層輸出分割結(jié)果,如式(4)所示,其中卷積層的卷積核大小為1×1。
Transformer 是一種基于序列的模型,因此,在經(jīng)過4 次下采樣后,需要將高維語義特征重組得到。輸入Ft到基于Transformer的高維語義特征編碼模塊,其結(jié)構(gòu)如圖5 所示。
圖5 基于Transformer 的高維語義特征編碼模塊結(jié)構(gòu)Fig.5 High-level semantic feature encode module structure based on Transformer
基于Transformer 的高維語義特征編碼模塊包含若干個(gè)子模塊。在本文中,特征序列按通道數(shù)切分,由于卷積和注意力計(jì)算沒有位置信息,為了保留圖像序列的位置信息,需要對(duì)特征進(jìn)行位置編碼,位置編碼函數(shù)如式(5)、式(6)所示:
其中:l為索 引;d為總維度;為通道數(shù)切分后的特征序列編號(hào),當(dāng)編號(hào)為偶數(shù)時(shí)采用式(5)編碼,當(dāng)編號(hào)為奇數(shù)時(shí)采用式(6)編碼。
在本文中,位置編碼與輸入序列直接相加,如式(7)所示:
其中:X為單層神經(jīng)網(wǎng)絡(luò)中一個(gè)神經(jīng)元的數(shù)值;E[X]為所有神經(jīng)元的均值;Var[X]為方差;ε為極小值;γ、β為超參數(shù),一般取γ=1,β=0。
MSA(·)表示多頭注意力計(jì)算,如式(11)所示:
其中:WO為輸出層的權(quán)重為Concatenation操作,表示直接聚合h個(gè)輸出結(jié)果。SA(·)表示單頭注意力計(jì)算,如式(12)所示:
本文將Transformer 模塊作為編碼器融合到U-Net 網(wǎng)絡(luò)中,從而提升模型對(duì)高維語義信息的理解能力。取Transformer 編碼器最后一層的輸出結(jié)果作為修正特征,重組后輸入上采樣模塊。
一般分割網(wǎng)絡(luò)常用的損失函數(shù)為戴斯相關(guān)損失,用于評(píng)價(jià)2 個(gè)樣本分布之間的相似性。戴斯相關(guān)損失越小,代表2 個(gè)樣本分布越接近,其計(jì)算方法如式(14)所示:
其中:X和Y分別表示真值樣本和預(yù)測(cè)值樣本;ε為極小值,用來防止分子或分母為0;X∩Y表示取兩者的交集。為了便于計(jì)算,X∩Y一般取預(yù)測(cè)為真陽的樣本,計(jì)算方法如式(15)所示:
其中:ti表示第i個(gè)樣本的真值;yi表示第i個(gè)樣本的預(yù)測(cè)值。針對(duì)本文的分割任務(wù),真值和預(yù)測(cè)值的取值范圍均為[0,1]。
對(duì)于人腦黑質(zhì)致密部分割而言,其邊緣部位往往更難判斷,中心位置判別相對(duì)容易,然而實(shí)驗(yàn)結(jié)果卻是中心部位往往會(huì)分割出不連續(xù)的片段,這是因?yàn)楹谫|(zhì)致密部像素占比過小,模型多次下采樣后容易丟失形態(tài)信息。為了進(jìn)一步加強(qiáng)模型對(duì)特定區(qū)域的學(xué)習(xí)能力,避免分割出不連續(xù)的片段,本文設(shè)計(jì)一種基于二維高斯核權(quán)重掩膜的損失函數(shù)。
考慮到待分割目標(biāo)位置分布的特殊性,對(duì)于真值標(biāo)簽圖像,首先利用搜索連通圖分離出兩小塊人腦黑質(zhì)致密部標(biāo)簽,分別利用一階中心矩計(jì)算樣本的2 個(gè)區(qū)域中心,如式(16)、式(17)所示:
其中:P(x,y) ∈{0,1}表示圖像坐標(biāo)為(x,y)的像素值;表示重心的坐標(biāo)位置。
利用二維高斯核函數(shù)映射得到權(quán)重掩膜Wmask(x,y)∈RM×N×1,計(jì)算方法如式(18)所示:
基于二維高斯核函數(shù)的權(quán)重掩膜可以使模型更加關(guān)注特定位置的預(yù)測(cè)損失,有利于模型學(xué)習(xí)到更重要的信息。本文計(jì)算得出二維高斯核函數(shù)權(quán)重掩膜結(jié)果如圖6 所示,圖6(a)~圖6(c)分別是人腦核磁共振成像圖、真值標(biāo)簽以及基于標(biāo)簽生成的高斯核權(quán)重掩膜。
圖6 二維高斯核權(quán)重掩膜Fig.6 2D Gaussian kernel weight mask
為了加強(qiáng)模型對(duì)中心部位的識(shí)別能力,對(duì)這一部分的識(shí)別損失函數(shù)進(jìn)行線性加權(quán)增強(qiáng)。改進(jìn)均方誤差(Mean-Square Error,MSE)損失,進(jìn)行特定位置的加權(quán),得到的損失函數(shù)如式(19)所示:
最終得到損失函數(shù)如式(20)所示,λ∈[0,1]為超參數(shù),代表二維高斯核函數(shù)掩膜損失的權(quán)重,本文取λ=1,并在3.3.2 節(jié)的消融實(shí)驗(yàn)中測(cè)試模型結(jié)果對(duì)多任務(wù)損失函數(shù)權(quán)重λ變化的敏感程度。
為了驗(yàn)證基于改進(jìn)U-Net 的人腦黑質(zhì)致密部識(shí)別模型的分割效果,收集并處理人腦MRI 標(biāo)準(zhǔn)數(shù)據(jù)集,以戴斯相關(guān)系數(shù)作為評(píng)價(jià)標(biāo)準(zhǔn),分析分割算法的性能,同時(shí)驗(yàn)證本文基于Transformer 的編碼器以及基于二維高斯核權(quán)重掩膜的損失函數(shù)的性能表現(xiàn)。
本次實(shí)驗(yàn)共收集188 個(gè)志愿者(140 個(gè)帕金森病患者和48 個(gè)健康對(duì)照者)的腦核磁共振成像,其中每個(gè)成像數(shù)據(jù)含有100~300 張不等的橫截面切片,數(shù)據(jù)采集基于復(fù)旦大學(xué)附屬華山醫(yī)院放射科平臺(tái),所有磁共振檢查圖像均使用配備8 通道頭部基質(zhì)線圈的3.0-T 掃描儀(型號(hào)為discoveryery TM MR750,GE Healthcare)獲得,采用3D 多梯度回波(GRE)成像,利用前3 組幅值圖像重建出可以對(duì)黑質(zhì)致密部清晰顯示的setMag 圖像[27],并由一名具有8 年神經(jīng)放射學(xué)經(jīng)驗(yàn)的放射科醫(yī)生標(biāo)注相應(yīng)的黑質(zhì)致密部標(biāo)簽。在本文中,全量數(shù)據(jù)集被隨機(jī)分為訓(xùn)練集(152 位,隨機(jī)訓(xùn)練集與隨機(jī)驗(yàn)證集比例為4∶1)和測(cè)試集(36 位)。
對(duì)本文實(shí)驗(yàn)結(jié)果分別采用戴斯相關(guān)系數(shù)(Dice similarity coefficient,Dsc)、準(zhǔn)確率(Accuracy,Acc)、特異度(Specificity,Spe)、靈敏度(Sensitivity,Sen)以及ROC 曲線下面積(Area Under the Curve,AUC)作為評(píng)價(jià)標(biāo)準(zhǔn),前4 個(gè)評(píng)價(jià)指標(biāo)的計(jì)算方法如式(21)~式(24)所示,所有評(píng)價(jià)指標(biāo)均采用平均值。
其中:X和Y分別表示真值樣本和預(yù)測(cè)值樣本;X∩Y表示取兩者的交集;TTP表示被正確識(shí)別為黑質(zhì)致密部的像素;TTN表示被正確識(shí)別為人腦背景的像素;FFP表示被錯(cuò)誤識(shí)別為黑質(zhì)致密部的像素;FFN表示被錯(cuò)誤識(shí)別為人腦背景的像素。
本文實(shí)驗(yàn)環(huán)境設(shè)置如表1 所示,實(shí)驗(yàn)超參數(shù)配置如表2 所示。
表1 實(shí)驗(yàn)環(huán)境設(shè)置Table 1 Experimental environment settings
表2 實(shí)驗(yàn)超參數(shù)配置Table 2 Experiment super parameters configuration
實(shí)驗(yàn)過程如下:對(duì)所有核磁共振圖像切片的中心位置進(jìn)行圖像裁剪,獲得采樣大小為1×128×128 像素的圖像塊,使用重復(fù)拼接的方法將一幅圖像擴(kuò)展為3 通道,即大小為3×128×128 像素的圖片塊,不使用任何數(shù)據(jù)增強(qiáng)手段,采用極大極小歸一化將像素值映射到[0,1]之間。在3.3.1 節(jié)實(shí)驗(yàn)中,多任務(wù)損失函數(shù)權(quán)重λ均設(shè)置為1。
3.3.1 與其他方法的對(duì)比
表3 所示為華山醫(yī)院帕金森數(shù)據(jù)集上的分割結(jié)果,最優(yōu)結(jié)果加粗表示,對(duì)比方法包括U-Net[7]、R2UNet[9]、Attention U-Net[10]、HANet[17]。從表3 可以看出,本文分割方法在多個(gè)評(píng)價(jià)指標(biāo)上均取得了最優(yōu)的分割結(jié)果,其中,戴斯相關(guān)系數(shù)Dsc 達(dá)到0.869 1,準(zhǔn)確率Acc 達(dá)到0.999 2。由于分割目標(biāo)較小,在圖片中的像素點(diǎn)占比較小,因此多個(gè)方法的準(zhǔn)確率Acc 均在較高水平。本文方法所得結(jié)果的特異度最高,達(dá)到0.888 3,說明本文方法能夠避免外圍噪聲的影響,防止識(shí)別出假陰樣本。綜合來看,本文方法的AUC 達(dá)到0.943 9,為最高水平。
表3 不同方法的人腦SNpc 分割性能對(duì)比Table 3 Comparison of brain SNpc segmentation performance of different methods
從表4 可以看出,在模型參數(shù)量方面,本文方法相比U-Net 方法并未增加太多參數(shù),說明本文方法在模型參數(shù)量更小的情況下各項(xiàng)性能指標(biāo)表現(xiàn)良好,有利于計(jì)算機(jī)輔助診斷系統(tǒng)的實(shí)際應(yīng)用。
表4 模型參數(shù)量大小比較Table 4 Model parameter size comparison
3.3.2 消融實(shí)驗(yàn)
表5 所示為本文模型在華山醫(yī)院帕金森數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果,包括“U-Net”分割結(jié)果、“U-Net+改進(jìn)損失”分割結(jié)果、“U-Net+改進(jìn)編碼器”分割結(jié)果以及“U-Net+改進(jìn)損失+改進(jìn)編碼器”分割結(jié)果。
表5 消融實(shí)驗(yàn)結(jié)果Table 5 Results of ablation experiment
從表5 可以看出,本文改進(jìn)編碼器和改進(jìn)損失能夠有效提升分割精度,其中,改進(jìn)損失函數(shù)的提升效果最大,戴斯相關(guān)系數(shù)達(dá)到0.869 1,AUC 達(dá)到0.943 9,說明通過多任務(wù)學(xué)習(xí),模型可以在一定程度上消除背景噪聲的影響。單獨(dú)改進(jìn)編碼器的結(jié)果提升不明顯,但是在結(jié)合改進(jìn)損失后達(dá)到了最優(yōu),這是因?yàn)橛?xùn)練集數(shù)量有限,基于Transformer 的編碼器雖然提高了對(duì)高維語義特征的理解能力,但是同時(shí)增加了模型參數(shù),容易導(dǎo)致模型過擬合,在訓(xùn)練中結(jié)合改進(jìn)損失函數(shù)可以緩解模型過擬合,使模型更加關(guān)注目標(biāo)區(qū)域的損失。綜合來看,“U-Net+改進(jìn)損失+改進(jìn)編碼器”的分割效果最好。
表6 所示為本文模型在華山醫(yī)院帕金森數(shù)據(jù)集上的多任務(wù)損失函數(shù)權(quán)重λ超參數(shù)實(shí)驗(yàn)結(jié)果,目的是測(cè)試改進(jìn)后的多任務(wù)損失函數(shù)權(quán)重λ對(duì)模型分割精度的影響,λ分別取0.1、0.2、0.5、0.8、1.0。實(shí)驗(yàn)結(jié)果表明,適當(dāng)?shù)妮o助任務(wù)權(quán)重有利于提高分割精度,當(dāng)λ取1.0 時(shí)在驗(yàn)證集上的分割精度更高,同時(shí)實(shí)驗(yàn)也表明,模型對(duì)輔助任務(wù)權(quán)重超參數(shù)的魯棒性較好,并沒有因?yàn)棣巳≈档淖兓瘜?dǎo)致結(jié)果大幅波動(dòng)。
表6 超參數(shù)λ 敏感性測(cè)試結(jié)果Table 6 Hyperparametric λ sensitivity test results
3.3.3 可視化效果
圖7 展示部分人腦黑質(zhì)致密部的分割結(jié)果,相比于常用的醫(yī)學(xué)影像分割方法,本文方法取得了更優(yōu)的分割效果。在解決分割中出現(xiàn)不連續(xù)片段的問題方面,本文方法能夠捕捉到邊緣和整體結(jié)構(gòu)的相關(guān)性,識(shí)別出疑似區(qū)域內(nèi)的更多目標(biāo),降低假陰性,從而提升分割精度。此外,各個(gè)模型對(duì)人腦黑質(zhì)致密部的邊緣部分分割仍不夠精確,原因是目標(biāo)邊緣與背景的類間差異較小,且這一部分的人腦組織結(jié)構(gòu)更加復(fù)雜,分割難度較大。后續(xù)可通過擴(kuò)充樣本數(shù)據(jù)集、加入數(shù)據(jù)增強(qiáng)方法、改進(jìn)預(yù)處理手段、融合邊緣檢測(cè)后處理等多種方式進(jìn)行改進(jìn)。
圖7 SNpc 分割結(jié)果Fig.7 Segmentation results of SNpc
人腦黑質(zhì)致密部的大小對(duì)帕金森疾病診斷具有一定的指導(dǎo)意義,針對(duì)人腦黑質(zhì)致密部分割,本文提出一種基于改進(jìn)U-Net 的分割方法。優(yōu)化傳統(tǒng)全卷積模塊U-Net 的結(jié)構(gòu),在保留U-Net 對(duì)低維圖像信息提取能力的基礎(chǔ)上,融合基于Transformer 的編碼器模塊,用于處理高維語義特征。針對(duì)分割結(jié)果中出現(xiàn)的不連續(xù)片段,設(shè)計(jì)一種基于二維高斯核權(quán)重掩膜的損失函數(shù),利用其對(duì)特定區(qū)域的信息增強(qiáng)能力使得模型在訓(xùn)練過程中更加關(guān)注黑質(zhì)區(qū)域的損失變化。實(shí)驗(yàn)結(jié)果表明,該方法能夠提高人腦黑質(zhì)致密部的分割精度,有效緩解模型過擬合問題,同時(shí)降低假陰性,減少人腦致密部分割結(jié)果中出現(xiàn)的不連續(xù)片段。下一步將面向臨床應(yīng)用,通過融合分割所得的人腦致密部語義信息,結(jié)合人腦核磁共振圖像及患者臨床信息進(jìn)行帕金森疾病分級(jí)診斷,設(shè)計(jì)計(jì)算機(jī)輔助診斷算法,最終形成可供醫(yī)生臨床使用的軟件系統(tǒng),為帕金森疾病的早期精準(zhǔn)篩查及診斷提供便利。