高瑞婷，林 強(qiáng)，滿(mǎn)正行，曹永春，王海軍，陳 軍，鄧 濤

(1.西北民族大學(xué) 中國(guó)民族語(yǔ)言文字信息技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，甘肅 蘭州 730030;2.西北民族大學(xué) 動(dòng)態(tài)流數(shù)據(jù)計(jì)算與應(yīng)用實(shí)驗(yàn)室，甘肅 蘭州 730030;3.甘肅省人民醫(yī)院 核醫(yī)學(xué)科，甘肅 蘭州 730020)

0 引言

關(guān)節(jié)炎是人體關(guān)節(jié)的炎性病變，主要由微生物感染、機(jī)體創(chuàng)傷、免疫力下降、遺傳及關(guān)節(jié)退行性變等因素引發(fā).臨床上，關(guān)節(jié)炎具有病癥隱匿、病情進(jìn)展緩慢、可反復(fù)發(fā)作等特征，當(dāng)然也不排除部分急性發(fā)作的病例.這種情況若不及時(shí)治療則易引起關(guān)節(jié)功能障礙，嚴(yán)重者可致終身殘疾.對(duì)于老年患者，關(guān)節(jié)炎與骨轉(zhuǎn)移的早期癥狀有著類(lèi)似的成像特征.在臨床診斷中，準(zhǔn)確診斷并精確分割關(guān)節(jié)炎病灶具有重要的臨床診療價(jià)值，已經(jīng)成為放射醫(yī)學(xué)中圖像自動(dòng)分割的重要研究分支[1-3].

在醫(yī)學(xué)成像中，單光子發(fā)射計(jì)算機(jī)斷層成像(Single-Photon Emission Computed Tomography,SPECT)是主要的核醫(yī)學(xué)功能成像技術(shù)，可同時(shí)捕獲器官、組織的功能狀態(tài)和結(jié)構(gòu)形態(tài).與傳統(tǒng)的結(jié)構(gòu)成像，如計(jì)算機(jī)斷層攝影(Computed Tomography,CT)和磁共振成像(Magnetic Resonance Imaging,MRI)相比，核醫(yī)學(xué)SPECT成像通過(guò)檢測(cè)骨代謝的變化實(shí)現(xiàn)病變的識(shí)別，具有較高的靈敏度[4-5].

SPECT是低質(zhì)量醫(yī)學(xué)成像模態(tài)，一幅全身骨掃描SPECT圖像的分辨率僅為256×1024.同時(shí)，SPECT圖像容易受噪聲干擾，還經(jīng)常包含注射點(diǎn)、膀胱等部位的高濃度殘留.盡管傳統(tǒng)的機(jī)器學(xué)習(xí)方法已經(jīng)部分應(yīng)用于SPECT圖像的病灶分割，但受限于SPECT骨成像的低分辨率和低對(duì)比度，目前面向全身SPECT骨成像的病灶分割研究很少，幾乎為空白.

深度學(xué)習(xí)是近年來(lái)快速發(fā)展和廣泛應(yīng)用的機(jī)器學(xué)習(xí)技術(shù)，具有可從圖像中自動(dòng)提取特征的獨(dú)特功能.在圖像分割研究范疇，學(xué)術(shù)界提出了系列深度分割網(wǎng)絡(luò)，包括面向語(yǔ)義分割的全卷積網(wǎng)絡(luò)(Fully Convolutional Networks,FCN)[6]和面向?qū)嵗指畹腗ask R-CNN[7].專(zhuān)注于醫(yī)學(xué)圖像的分割，Ronneberger等[8]基于FCN構(gòu)建了U-Net網(wǎng)絡(luò).當(dāng)前，基于深度學(xué)習(xí)的圖像分割已經(jīng)成為醫(yī)學(xué)圖像分析的重要研究分支，產(chǎn)生了一系列代表性的研究成果，涉及的成像模態(tài)主要包括磁共振圖像[9-13]、CT圖像[14-16]、超聲圖像[17-19]分割.

應(yīng)用傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，朱春媚等[20]于2007年構(gòu)建了基于BP神經(jīng)網(wǎng)絡(luò)的全身骨SPECT圖像的骨骼結(jié)構(gòu)分割方法.該方法首先利用神經(jīng)網(wǎng)絡(luò)進(jìn)行粗分類(lèi)，然后用模板匹配和去對(duì)稱(chēng)機(jī)制排除誤識(shí)別的區(qū)域，獲得的分割準(zhǔn)確率為75.5%；Chen等[21]于2020年提出深度網(wǎng)絡(luò)與主動(dòng)輪廓技術(shù)結(jié)合的骨SPECT成像骨骼結(jié)構(gòu)分割模型，獲得的DSC(Dice similarity coefficient)值為0.732；Shimizu等[22]于2020年在U-Net網(wǎng)絡(luò)的基礎(chǔ)上構(gòu)建了所謂的蝴蝶型網(wǎng)絡(luò)(BtrflyNet)，實(shí)現(xiàn)全身骨SPECT圖像中13個(gè)骨骼部位分割，獲得的DSC值在0.7～0.96之間.

現(xiàn)有研究主要關(guān)注的是骨骼結(jié)構(gòu)的分割，尚未涉及疾病病灶的分割.由于骨骼具有比較規(guī)則的形狀，并且有可參考的構(gòu)造常識(shí)，因而相對(duì)容易分割.相比而言，病灶的形態(tài)各異，結(jié)構(gòu)復(fù)雜，特別是關(guān)節(jié)炎病灶單體面積較小、分布密度較大，病灶可靠分割難度較大.借助于深度學(xué)習(xí)技術(shù)的圖像特征自動(dòng)提取功能，可精確分割SPECT骨成像中的關(guān)節(jié)炎病灶.本文首先利用歸一化技術(shù)將骨SPECT成像數(shù)據(jù)文件轉(zhuǎn)換成元素值在特定范圍的圖像，在關(guān)節(jié)部位圖像裁減的基礎(chǔ)上做標(biāo)準(zhǔn)的圖像鏡像、平移和旋轉(zhuǎn)處理，實(shí)現(xiàn)數(shù)據(jù)集的適度擴(kuò)展.然后利用經(jīng)典的U-Net和Mask R-CNN網(wǎng)絡(luò)以及提出基于U-Net網(wǎng)絡(luò)的改進(jìn)模型R_U-Net構(gòu)建分割模型，實(shí)現(xiàn)關(guān)節(jié)炎病灶的自動(dòng)分割.最后，使用一組真實(shí)的SPECT骨成像數(shù)據(jù)，驗(yàn)證本文構(gòu)建的深度分割模型.實(shí)驗(yàn)結(jié)果表明，本文提出的方法可用于SPECT骨成像中關(guān)節(jié)炎病灶的識(shí)別和檢測(cè)，獲得的上肢關(guān)節(jié)炎CPA和IoU分別為0.688和0.648，下肢關(guān)節(jié)炎CPA和IoU分別為0.640和0.590，MPA、MIoU的值分別為0.776、0.754.

1 SPECT骨成像數(shù)據(jù)集及預(yù)處理

1.1 核醫(yī)學(xué)SPECT圖像數(shù)據(jù)集

本文實(shí)驗(yàn)所用數(shù)據(jù)收集于2017年1月至12月甘肅省人民醫(yī)院放射科疾病診斷過(guò)程中采集的數(shù)據(jù).所有患者均采用西門(mén)子多光譜伽瑪照相機(jī)，配有兩個(gè)探測(cè)器，靜脈注射Tc-99m亞甲基二磷酸鹽(MDP)放射性藥物2～3 h后的骨顯像.SPECT數(shù)據(jù)存儲(chǔ)遵循醫(yī)學(xué)數(shù)字成像與通信協(xié)議(Digital Imaging and Communications in Medicine,DICOM).DICOM文件中的每個(gè)元素都是輻射劑量(16位無(wú)符號(hào)整數(shù))的數(shù)字記錄，而不是預(yù)先注射到患者體內(nèi)的放射性核素或同位素的像素值，矩陣大小為1024×256，可顯示患者大部分身體情況.正常人的SPECT成像均勻、清晰，全身骨放射性分布均勻且對(duì)稱(chēng)，而發(fā)生病變的區(qū)域會(huì)出現(xiàn)放射性核素濃聚，成像表現(xiàn)為團(tuán)點(diǎn)狀的亮點(diǎn).

1.2 數(shù)據(jù)集預(yù)處理

本文擬構(gòu)建基于深度學(xué)習(xí)模型的SPECT圖像關(guān)節(jié)炎病灶分割方法，而深度模型對(duì)訓(xùn)練數(shù)據(jù)量以及數(shù)據(jù)輸入格式有較高的要求.SPECT圖像是在疾病診治過(guò)程中收集的核醫(yī)學(xué)影像記錄，患有關(guān)節(jié)炎的SPECT數(shù)據(jù)較少，而且原始數(shù)據(jù)為DICOM文件，無(wú)法直接輸入模型訓(xùn)練.為此，本文采用歸一化方法處理SPECT數(shù)據(jù)，通過(guò)平移、旋轉(zhuǎn)、鏡像、裁剪等方法來(lái)擴(kuò)展數(shù)據(jù)，然后將數(shù)據(jù)集轉(zhuǎn)換成實(shí)驗(yàn)?zāi)Ｐ退蟮妮斎敫袷讲⑺腿肽Ｐ陀?xùn)練.

1.2.1 DICOM矩陣到圖像的轉(zhuǎn)換

SPECT關(guān)節(jié)炎病灶數(shù)據(jù)是以DICOM文件格式存儲(chǔ)，而每個(gè)文件都是核素放射量矩陣，如圖1是獲取的2017年所有DICOM文件的數(shù)量及其放射量.由圖1看出，放射量大約處于0～11 000之間，范圍變化較大.為了適應(yīng)模型將其做歸一化處理，轉(zhuǎn)化為像素值在0～255的普通圖像.運(yùn)用Min-Max標(biāo)準(zhǔn)對(duì)原始數(shù)據(jù)歸一化線(xiàn)性變換，如公式(1).

(1)

其中，xi表示圖像像素點(diǎn)值，max(x)和min(x)分別表示圖像像素的最大值與最小值.

圖1 2017年DICOM文件放射量圖

1.2.2 數(shù)據(jù)擴(kuò)展

為了解決標(biāo)注樣本數(shù)量較少的問(wèn)題，需要進(jìn)行數(shù)據(jù)擴(kuò)展.數(shù)據(jù)擴(kuò)展能夠有效緩解過(guò)擬合問(wèn)題，從而提高分割精度.

1) 圖像裁剪.SPECT圖像基本包含人體全身部位.為了降低圖像背景對(duì)病灶部位的影響，本文通過(guò)裁剪方式擴(kuò)展數(shù)據(jù).原始數(shù)據(jù)大小為1024×256，設(shè)置步長(zhǎng)為128，以肩、肘、腕、膝、踝關(guān)節(jié)為目標(biāo)點(diǎn)依次進(jìn)行裁剪，確保裁剪后的每張圖像都有一個(gè)或者多個(gè)病灶點(diǎn)，最終得到尺寸為256×256的圖像.

2) 水平鏡像.SPECT核醫(yī)學(xué)檢測(cè)每次產(chǎn)生兩幅圖像，分別代表前位圖像和后位圖像.檢查過(guò)程和數(shù)據(jù)傳輸、存儲(chǔ)過(guò)程均有可能出現(xiàn)圖像丟失現(xiàn)象.為了避免圖像丟失可能帶來(lái)的影響，本文對(duì)SPECT圖像做鏡像處理.常見(jiàn)的圖像鏡像有水平鏡像和垂直鏡像，但由于人體的垂直對(duì)稱(chēng)性，本文僅選用水平鏡像的處理方法.

設(shè)原圖像的高度為h，寬度為w，(xi,yi)為輸入圖像中的點(diǎn)，式(2)給出了經(jīng)過(guò)水平鏡像變換后的點(diǎn)(x0,y0).

(2)

3) 圖像旋轉(zhuǎn).疾病檢查過(guò)程中，患者的睡姿可能不完全標(biāo)準(zhǔn)，所收集的SPECT圖像中難免會(huì)包含傾斜現(xiàn)象.為了彌補(bǔ)這種缺陷，對(duì)SPECT圖像做適度旋轉(zhuǎn)處理.其旋轉(zhuǎn)幅度需要控制在合理的范圍內(nèi).

假設(shè)(xi,yi)為輸入圖像中的點(diǎn)，給定旋轉(zhuǎn)角度θ∈[θ1,θ2]，其中θ1和θ2分別代表旋轉(zhuǎn)角度的下限和上限，取值通過(guò)實(shí)驗(yàn)方式確定.式(3)給出了經(jīng)旋轉(zhuǎn)處理后的點(diǎn)(x0,y0).

(3)

4) 圖像平移.因患者睡姿的不標(biāo)準(zhǔn)，所收集的SPECT圖像中會(huì)產(chǎn)生偏離中心的現(xiàn)象.為消除這一影響，需要對(duì)SPECT做平移處理.但醫(yī)學(xué)圖像不同于自然圖像，平移幅度應(yīng)該控制在合理的范圍之內(nèi).

假設(shè)(xi,yi)為輸入圖像中的點(diǎn)，給定平移量Δx∈[Δx1,Δx2]，其中Δx1和Δx2分別代表平移量的下限和上限，其取值通過(guò)實(shí)驗(yàn)方式確定.式(4)給出了經(jīng)平移處理后的點(diǎn)(x0,y0).

(4)

2 基于深度學(xué)習(xí)的SPECT圖像病灶分割模型

2.1 Mask R-CNN網(wǎng)絡(luò)

Mask R-CNN[7]是一個(gè)具有多任務(wù)學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)，在Faster R-CNN[23]網(wǎng)絡(luò)分類(lèi)與目標(biāo)檢測(cè)分支的基礎(chǔ)上并行增加了一個(gè)分割的分支，可以同時(shí)實(shí)現(xiàn)檢測(cè)、分類(lèi)和分割任務(wù).

Faster R-CNN主要是對(duì)圖像做檢測(cè)與定位，通過(guò)區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network,RPN)找出圖像中的候選區(qū)域(Region of Interest,RoI)，再利用卷積層提取這幅圖片的整體特征，從而得到特征圖.

Mask分支是使用FCN對(duì)每個(gè)RoI預(yù)測(cè)掩模.FCN主要包括卷積和去卷積模塊，即先對(duì)圖像進(jìn)行卷積和池化操作，使其特征圖的大小不斷減小，然后進(jìn)行反卷積操作，經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)最后的Softmax分類(lèi)器，預(yù)測(cè)某像素屬于某類(lèi)別的概率.在上采樣的特征圖上進(jìn)行逐像素的預(yù)測(cè)分類(lèi)，從而實(shí)現(xiàn)對(duì)圖像的準(zhǔn)確分割.

RoI Align是使用雙線(xiàn)性插值進(jìn)行池化操作，使得特征圖中目標(biāo)區(qū)域的精確信息被獲取，并進(jìn)行分類(lèi)回歸，從而提高準(zhǔn)確性.

在訓(xùn)練階段，每個(gè)樣本的RoI均有一個(gè)損失函數(shù)(Loss，L)，L定義為公式(5).

L=Lcls+Lbox+Lmask

(5)

其中，Lcls為分類(lèi)損失，Lbox為回歸損失，Lmask為分割損失.Lcls和Lbox是利用全連接預(yù)測(cè)出每個(gè)ROI的所屬類(lèi)別及其矩形框坐標(biāo)值.mask分支采用FCN對(duì)每個(gè)ROI的分割輸出維數(shù)為K×m×m的掩膜，對(duì)每一個(gè)像素應(yīng)用sigmod函數(shù)求相對(duì)熵，得到平均相對(duì)熵誤差Lmask.

本實(shí)驗(yàn)?zāi)Ｐ偷木W(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.骨干網(wǎng)絡(luò)使用ResNet50，基于ResNet50構(gòu)建特征金字塔網(wǎng)絡(luò)(Feature Pyramid Networks,FPN)做自下而上特征提取.SPECT骨顯像原始圖像大小為256×256，在進(jìn)入主干網(wǎng)絡(luò)前先放大為512×512.ResNet50網(wǎng)絡(luò)中劃分為5個(gè)模塊，每個(gè)模塊的特征圖對(duì)應(yīng)Stride為[4,8,16,32,64].經(jīng)滑動(dòng)窗口卷積后再經(jīng)RPN網(wǎng)絡(luò)中3×3的主干卷積神經(jīng)網(wǎng)絡(luò)過(guò)濾重疊特征，然后經(jīng)過(guò)兩個(gè)1×1的卷積神經(jīng)網(wǎng)絡(luò)生成錨框坐標(biāo)和前景背景.在病灶位置檢測(cè)選取錨點(diǎn)框(anchor)時(shí)，將anchor大小分別設(shè)置為[24,48,96,192,384]五種尺度，以實(shí)現(xiàn)多尺度圖像檢測(cè)，以適應(yīng)大小不同病灶的位置檢測(cè).分類(lèi)與檢測(cè)的結(jié)果對(duì)Proposals優(yōu)化更新，RoI Align再作用于Mask分支，將輸出的特征圖分別送入分類(lèi)和分割兩個(gè)分支.在檢測(cè)任務(wù)分支中分類(lèi)任務(wù)完成后，再進(jìn)行分割.Mask形成與原圖等大的二值圖，用彩色區(qū)域代表不同類(lèi)別的病灶區(qū)域，黑色部分為背景區(qū)域.

圖2 Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

2.2 R_U-Net網(wǎng)絡(luò)

2.2.1 U-Net網(wǎng)絡(luò)

U-Net網(wǎng)絡(luò)[8]是一種編碼器—解碼器的結(jié)構(gòu)，由收縮路徑和擴(kuò)張路徑呈對(duì)稱(chēng)狀.收縮路徑進(jìn)行下采樣操作，用于獲取豐富的上下文信息對(duì)骨顯像病灶和背景進(jìn)行分類(lèi)，擴(kuò)張路徑進(jìn)行上采樣操作，用于實(shí)現(xiàn)病灶的精確定位.通過(guò)跳躍拼接(skip connection)將淺層特征與深層特征進(jìn)行融合，以獲得更精確的上下文信息，得到更多的病灶細(xì)節(jié)信息.

U-Net網(wǎng)絡(luò)共有23個(gè)卷積層，收縮路徑每一步下采樣包括兩個(gè)3×3的卷積.每次卷積后都經(jīng)過(guò)修正線(xiàn)性單元(Rectified Linear Unit,ReLU)函數(shù)作用，之后使用一個(gè)2×2的最大池化操作實(shí)現(xiàn)下采樣，其步長(zhǎng)為2.所有下采樣操作使得特征通道翻倍，圖像尺寸減半.共進(jìn)行四次這樣的下采樣操作.擴(kuò)張路徑每一步上采樣包括兩個(gè)3×3的卷積操作，通過(guò)ReLU作激活函數(shù)，輸出通道變?yōu)樵瓉?lái)的一半，圖像尺寸變?yōu)樵瓉?lái)的2倍.最后，通過(guò)1×1的卷積操作將特征映射到所屬類(lèi)別中.

2.2.2 殘差塊

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)隨著訓(xùn)練的迭代次數(shù)增加，產(chǎn)生的錯(cuò)誤也會(huì)增多，容易產(chǎn)生梯度消失或爆炸問(wèn)題.為此，He等[24]提出了殘差學(xué)習(xí)來(lái)解決網(wǎng)絡(luò)退化問(wèn)題.對(duì)于一個(gè)堆疊層結(jié)構(gòu)，當(dāng)輸入x時(shí)學(xué)習(xí)到的特征記為H(x)=F(x).當(dāng)直接將一個(gè)輸入添加到函數(shù)的輸出時(shí)，得到的殘差映射為F(x)=H(x)-x.每一個(gè)殘差單元計(jì)算公式如式(6)、式(7).

yi=F(xi,wi)+h(xi)

(6)

xi+1=f(yi)

(7)

其中，xi和xi+1表示第i個(gè)殘差單元的輸入和輸出，F(xiàn)表示學(xué)習(xí)到的殘差，wi為第i層參數(shù)，f表示ReLU激活函數(shù)，h(xi)=xi表示恒等映射.殘差單元的結(jié)構(gòu)如圖3所示.

圖3 殘差塊結(jié)構(gòu)

與其他網(wǎng)絡(luò)相比，殘差網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單，該網(wǎng)絡(luò)將多個(gè)卷積操作得到殘差映射與輸入通過(guò)Add操作進(jìn)行特征融合，減少了訓(xùn)練參數(shù)與訓(xùn)練時(shí)間，在加深網(wǎng)絡(luò)深度的同時(shí)，有利于提升SPECT圖像關(guān)節(jié)炎病灶分割的精度.

為了從SPECT數(shù)據(jù)集中獲取到更多深層特征信息，引入了殘差塊來(lái)代替普通的卷積層，殘差塊在加深U-Net網(wǎng)絡(luò)的深度，同時(shí)可有效解決隨著網(wǎng)絡(luò)層數(shù)加深出現(xiàn)的梯度消失問(wèn)題.改進(jìn)后的R_U-Net網(wǎng)絡(luò)如圖4所示.

圖4 R_U-Net網(wǎng)絡(luò)結(jié)構(gòu)

R_U-Net網(wǎng)絡(luò)結(jié)構(gòu)采用了U-Net網(wǎng)絡(luò)的U型結(jié)構(gòu)，由收縮路徑和擴(kuò)展路徑兩部分組成.收縮路徑的四次下采樣和擴(kuò)展路徑的四次上采樣都包括兩個(gè)3×3的卷積，一個(gè)1×1的殘差單元和一個(gè)2×2的最大池化層.在下采樣操作中，特征通道變?yōu)樵瓉?lái)的2倍，依次為[1,64,128,256,512,1024]，圖像尺寸變?yōu)樵瓉?lái)的一半，依次為[256,128,64,32,16].在上采樣操作中，將每一次的輸出特征與相映射的收縮網(wǎng)絡(luò)的特征合并在一起，補(bǔ)全卷積邊界像素的丟失.最后，通過(guò)1×1的卷積操作，將64通道的特征圖轉(zhuǎn)為類(lèi)別數(shù)為2的特征圖，并經(jīng)過(guò)sigmoid函數(shù)輸出一個(gè)概率值.該值反映了預(yù)測(cè)結(jié)果為關(guān)節(jié)炎的可能性.概率值越大，說(shuō)明關(guān)節(jié)炎可能性越大.每次卷積后都通過(guò)ReLU函數(shù)激活.為了保持輸出圖像與輸出圖像尺寸一致，每個(gè)卷積層均采用零填充方式進(jìn)行填充.

訓(xùn)練階段采用Dice損失函數(shù)作為分割部分的損失函數(shù).Dice系數(shù)被定義為公式(8).

(8)

其中，A為預(yù)測(cè)結(jié)果，B為人工標(biāo)記結(jié)果.當(dāng)預(yù)測(cè)結(jié)果與人工標(biāo)注結(jié)果完全相同時(shí)，其Dice系數(shù)為1.反之，當(dāng)預(yù)測(cè)結(jié)果與人工標(biāo)注結(jié)果沒(méi)有任何重疊時(shí)，其Dice系數(shù)為0.Dice損失函數(shù)為公式(9).

LDice=1-Dice(A,B)

(9)

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

3.1.1 實(shí)驗(yàn)數(shù)據(jù)與環(huán)境

本文將患者被診斷為關(guān)節(jié)炎的325幅SPECT數(shù)據(jù)作為實(shí)驗(yàn)樣本，主要以患者雙側(cè)肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、膝關(guān)節(jié)和踝關(guān)節(jié)進(jìn)行病灶分割.根據(jù)部位不同，將雙側(cè)肩關(guān)節(jié)、肘關(guān)節(jié)和腕關(guān)節(jié)部位病灶歸為上肢關(guān)節(jié)炎(D1)類(lèi)，雙側(cè)膝關(guān)節(jié)和踝關(guān)節(jié)部位病灶歸為下肢關(guān)節(jié)炎(D)類(lèi).由該醫(yī)院三名放射科醫(yī)生使用標(biāo)注工具LabelMe人工勾勒患者五處部位的病灶輪廓，由一名放射科主任醫(yī)生負(fù)責(zé)檢查標(biāo)記結(jié)果來(lái)確保標(biāo)記的正確性.如果三位醫(yī)生標(biāo)記一致，則認(rèn)為該張圖像標(biāo)記成功.如果三位醫(yī)生中有一位與其他兩位不同，則執(zhí)行“少數(shù)服從多數(shù)”原則.三位醫(yī)生根據(jù)病例報(bào)告中對(duì)每個(gè)病例的描述，結(jié)合患者的SPECT骨顯像情況，對(duì)該張圖像重新標(biāo)記，確保每張圖像標(biāo)記部位準(zhǔn)確無(wú)誤.標(biāo)注完成后生成json格式的注釋文件，其中包含每幅圖像中目標(biāo)區(qū)域?qū)?yīng)的坐標(biāo)信息.在數(shù)據(jù)處理階段，json格式文件被轉(zhuǎn)換為對(duì)應(yīng)于每個(gè)分割區(qū)域的掩碼圖像，然后送入模型進(jìn)行訓(xùn)練.

原始數(shù)據(jù)集通過(guò)裁剪、鏡像、旋轉(zhuǎn)和平移等方式得到5 300張.數(shù)據(jù)集輸入尺寸大小為256×256.實(shí)驗(yàn)中將數(shù)據(jù)集劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集，其中訓(xùn)練集4 500張，驗(yàn)證集500和測(cè)試集300張.

實(shí)驗(yàn)將Mask R-CNN網(wǎng)絡(luò)學(xué)習(xí)率設(shè)置為0.001，學(xué)習(xí)率的初始動(dòng)量系數(shù)為0.9，batch size設(shè)置為8，網(wǎng)絡(luò)設(shè)置的epoch為200.每個(gè)epoch的迭代次數(shù)為130，訓(xùn)練最大迭代次數(shù)設(shè)置為26 000.將U-Net網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為0.000 1，batch size設(shè)置為4，網(wǎng)絡(luò)設(shè)置的epoch為200，每個(gè)epoch的迭代次數(shù)為200，訓(xùn)練最大迭代次數(shù)設(shè)置為40 000.為了對(duì)比本文改進(jìn)模型的性能，將R_U-Net網(wǎng)絡(luò)與原U-Net網(wǎng)絡(luò)作同樣的參數(shù)設(shè)置.

實(shí)驗(yàn)在Windows 1064位操作系統(tǒng)，有Intel i5-9300X和1塊NVIDIA Ge Force GTX 1050T顯卡的計(jì)算機(jī)上進(jìn)行.采用Python 3.6編寫(xiě)代碼.神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試均以PyTorch框架完成.

3.1.2 評(píng)價(jià)指標(biāo)

本實(shí)驗(yàn)使用醫(yī)學(xué)圖像分割中常用的度量指標(biāo)來(lái)定量評(píng)價(jià)模型的分割結(jié)果，度量指標(biāo)分別為類(lèi)別像素精確率(Category Precision Accuracy,CPA)、平均像素準(zhǔn)確率(Mean Pixel Accuracy,MPA)、交并比(Intersection over Union,IoU)和平均交并比(Mean Intersection over Union,MIoU).其中，pij表示屬于類(lèi)i但被預(yù)測(cè)為類(lèi)j的像素?cái)?shù)量；pii表示屬于類(lèi)i且被預(yù)測(cè)為類(lèi)i的像素?cái)?shù)量；pji表示屬于類(lèi)j但被預(yù)測(cè)為類(lèi)i的像素?cái)?shù)量，k代表圖像分割類(lèi)別個(gè)數(shù)，k+1為包括背景在內(nèi)的類(lèi)別總個(gè)數(shù).具體公式見(jiàn)式(10)～式(13).

(10)

(11)

(12)

(13)

3.2 實(shí)驗(yàn)結(jié)果與分析

將預(yù)處理好的訓(xùn)練集在Mask R-CNN網(wǎng)絡(luò)、U-Net網(wǎng)絡(luò)和R_U-Net網(wǎng)絡(luò)上分別訓(xùn)練.當(dāng)設(shè)置網(wǎng)絡(luò)的epoch從1開(kāi)始增加時(shí)，三種網(wǎng)絡(luò)的目標(biāo)函數(shù)值一直處于減少狀態(tài)，損失值也開(kāi)始逐漸減小.三種網(wǎng)絡(luò)訓(xùn)練過(guò)程曲線(xiàn)圖如圖5所示，橫坐標(biāo)表示網(wǎng)絡(luò)訓(xùn)練的迭代次數(shù)，縱坐標(biāo)表示訓(xùn)練損失值.

由圖5看出，三種網(wǎng)絡(luò)隨著迭代次數(shù)的增加損失值不斷減小，表示網(wǎng)絡(luò)在迭代過(guò)程中充分學(xué)習(xí)數(shù)據(jù)集的特征，Mask R-CNN網(wǎng)絡(luò)大約在26 000次迭代后損失值達(dá)到最小.U-Net網(wǎng)絡(luò)大約在迭代39 000次后達(dá)到收斂狀態(tài)，R_U-Net網(wǎng)絡(luò)大約在迭代40 000次后達(dá)到收斂狀態(tài).

(a)Mask R-CNN模型Loss曲線(xiàn) (b)U-Net模型Loss曲線(xiàn) (c)R_U-Net模型Loss曲線(xiàn)

為綜合評(píng)價(jià)分割效果，本實(shí)驗(yàn)以上肢關(guān)節(jié)炎和下肢關(guān)節(jié)炎病灶的人工標(biāo)注結(jié)果作為參考，根據(jù)300張測(cè)試圖像的分割結(jié)果計(jì)算兩類(lèi)病灶的CPA和IoU值.表1展示了Mask R-CNN、U-Net和R_U-Net三種網(wǎng)絡(luò)模型對(duì)不同病灶類(lèi)別的度量指標(biāo)結(jié)果.

表1 三種模型對(duì)不同類(lèi)別的指標(biāo)結(jié)果

由表1看出，三種網(wǎng)絡(luò)模型對(duì)于上肢關(guān)節(jié)炎(D1)的分割結(jié)果優(yōu)于下肢關(guān)節(jié)炎(D).在SPECT關(guān)節(jié)炎數(shù)據(jù)集中，部分?jǐn)?shù)據(jù)的D1病灶點(diǎn)比D病灶點(diǎn)更加濃聚，利于網(wǎng)絡(luò)學(xué)習(xí)特征，從而可獲得相對(duì)較好的分割結(jié)果.但是三種網(wǎng)絡(luò)整體分割效果一般，是因?yàn)镈1病灶和D病灶具有較高的相似性，且SPECT數(shù)據(jù)較少，使得三種網(wǎng)絡(luò)模型不能很好地識(shí)別兩種病灶，導(dǎo)致部分D1病灶和D病灶數(shù)據(jù)出現(xiàn)類(lèi)別預(yù)測(cè)錯(cuò)誤的情況.

為了更好地評(píng)價(jià)Mask R-CNN、U-Net和R_U-Net三種網(wǎng)絡(luò)模型對(duì)SPECT圖像關(guān)節(jié)炎病灶的分割性能，實(shí)驗(yàn)計(jì)算了MPA和MIoU的值，結(jié)果如表2所示.

由表2可以看出，U-Net網(wǎng)絡(luò)分割效果高于Mask R-CNN網(wǎng)絡(luò)，是因?yàn)镸ask R-CNN網(wǎng)絡(luò)層數(shù)較深且復(fù)雜.而SPECT關(guān)節(jié)炎病灶數(shù)據(jù)集較少，模型學(xué)習(xí)特征的能力不足，使得關(guān)節(jié)炎病灶分割效果較差.R_U-Net網(wǎng)絡(luò)的分割指標(biāo)MPA和MIoU比原U-Net網(wǎng)絡(luò)分別提高了7.4%和6.8%，是因?yàn)樵璘-Net網(wǎng)絡(luò)深度略有不足，模型學(xué)習(xí)到的深度特征較少，而R_U-Net網(wǎng)絡(luò)里增加了多個(gè)殘差塊，加深了原U-Net網(wǎng)絡(luò)的深度，能夠從SPECT數(shù)據(jù)集中獲取更多深層特征信息，殘差塊還將多個(gè)卷積操作得到殘差映射與輸入通過(guò)Add操作進(jìn)行特征融合，從而獲取多個(gè)層次的特征，提高了分割精度.

為了更直觀地看到三種網(wǎng)絡(luò)的模型分割效果，圖6列出2組上肢關(guān)節(jié)(D1)和下肢關(guān)節(jié)(D)在測(cè)試集上的分割病灶結(jié)果.(a)為原始圖像，(b)為人工標(biāo)記病灶圖，(c)為Mask R-CNN網(wǎng)絡(luò)模型分割病灶結(jié)果圖，(d)為U-Net網(wǎng)絡(luò)模型分割病灶結(jié)果圖，(e)為R_U-Net網(wǎng)絡(luò)模型分割病灶結(jié)果圖.

由圖6可看出，三種模型都可以分割出上肢關(guān)節(jié)病灶部位和下肢關(guān)節(jié)病灶部位：1)組中R_U-Net網(wǎng)絡(luò)模型分割結(jié)果與人工標(biāo)記的重疊區(qū)域比Mask R-CNN模型和U-Net模型更大，更接近人工標(biāo)注區(qū)域；2)組中R_U-Net網(wǎng)絡(luò)模型分割結(jié)果曲線(xiàn)要比其他兩種模型更圓滑.實(shí)驗(yàn)結(jié)果表明，將殘差塊與原U-Net網(wǎng)絡(luò)相結(jié)合的改進(jìn)R_U-Net網(wǎng)絡(luò)模型能提升SPECT圖像的關(guān)節(jié)炎病灶分割精度，能夠進(jìn)一步為診斷疾病及后續(xù)治療提供更多輔助信息.

圖6 關(guān)節(jié)炎病灶分割結(jié)果

4 總結(jié)

以SPECT成像關(guān)節(jié)炎病灶的自動(dòng)分割為目標(biāo)，本文研究并構(gòu)建基于Mask R-CNN網(wǎng)絡(luò)和U-Net網(wǎng)絡(luò)的分割模型，提出在U-Net網(wǎng)絡(luò)中加入殘差塊的R_U-Net網(wǎng)絡(luò).首先，對(duì)SPECT圖像的預(yù)處理和數(shù)據(jù)擴(kuò)展過(guò)程給予了交代.然后詳細(xì)說(shuō)明了構(gòu)建的深度分割模型.最后，基于真實(shí)的SPECT檢查數(shù)據(jù)，對(duì)構(gòu)建的分類(lèi)模型進(jìn)行了實(shí)驗(yàn)驗(yàn)證.實(shí)驗(yàn)結(jié)果表明,本文提出的改進(jìn)方法在關(guān)節(jié)炎病灶圖像分割中具有可行性.未來(lái)將從如下幾個(gè)方面對(duì)本文工作予以擴(kuò)展：

1)進(jìn)一步優(yōu)化模型，提升模型的分割性能.

2)收集更多真實(shí)數(shù)據(jù)，驗(yàn)證模型的有效性和可用性.

3)拓展研究領(lǐng)域，構(gòu)建面向多疾病多病灶的深度分割模型，進(jìn)而研發(fā)可實(shí)際部署的SPECT關(guān)節(jié)炎CAD系統(tǒng).