宋宇宸，彭昭，吳昊天，周解平，皮一飛，陳志，裴曦

1.中國科學技術大學放射醫(yī)學物理中心，安徽合肥230027；2.安徽慧軟科技有限公司，安徽合肥230000；3.中國科學技術大學附屬第一醫(yī)院放療科，安徽合肥230001；4.鄭州大學第一附屬醫(yī)院放療科，河南鄭州450052

前言

近年來，胸部惡性腫瘤（乳腺癌等）發(fā)病率逐年增加，放療已被廣泛應用于胸部惡性腫瘤的治療。其中，心臟作為最重要的胸部危及器官，其照射劑量必須受到嚴格限制。因此，心臟分割是胸部惡性腫瘤放療的關鍵環(huán)節(jié)。然而，由于心臟周圍解剖結構復雜，心臟分割仍具有很大挑戰(zhàn)。目前，臨床使用的主要分割方法是醫(yī)生手動分割，可獲得精確的結果，但十分耗時。手動分割的局限性促使研究人員繼續(xù)開發(fā)用于心臟分割的輔助分割方法。目前的器官輔助分割方法主要有基于統(tǒng)計模型的方法［1-2］、基于圖譜的方法［3-5］以及基于深度學習的方法，包括基于U-net的方法［6］、基于FCN的方法［7-9］、基于CNN的方法［10-12］及基于其他網(wǎng)絡的方法［13-14］等。其中，基于深度學習的方法因其準確率高、效率高而被廣泛應用。U-net［7］最初在MICCAI 2015被提出，并成為器官分割任務的主要基礎網(wǎng)絡，該網(wǎng)絡改進了全卷積網(wǎng)絡［15］，完善了擴展路徑，將多通道卷積與特征金字塔網(wǎng)絡的結構相結合，大大提高了器官分割的準確率；3D U-net在U-net基礎上增加醫(yī)學影像的三維信息，在小體積器官的分割任務中表現(xiàn)出色［16］。深度學習為醫(yī)學圖像處理做出很大貢獻，在圖像分割任務中表現(xiàn)最優(yōu)。但是這些方法對心臟的下邊緣部分的分割精度不夠高。目前已有不少研究者進行基于U-net的心臟自動分割［17-18］，但2D U-net和3D U-net在心臟的不同位置表現(xiàn)不同：在深度方向靠近腹部的CT圖像上，3D U-net表現(xiàn)更優(yōu)；在其余心臟CT圖像上，2D U-net表現(xiàn)更優(yōu)。因此，本研究提出將同一患者不同位置心臟CT圖像輸入不同網(wǎng)絡進行訓練的方法，利用改進后的AlexNet［19］（命名為modified-AlexNet）對胸部CT圖像進行分類，準確挑選出含有心臟的CT圖像；對2D U-net/3D U-net網(wǎng)絡結構進行改進，改進后的網(wǎng)絡命名為2D/3D U-plus-net，將心臟不同位置的圖像分別用2D U-plusnet和3D U-plus-net分割。此方法可充分利用2D/3D Unet的優(yōu)點并避免其缺點。

1 材料與方法

1.1 數(shù)據(jù)

收集鄭州大學第一附屬醫(yī)院60 例接受放療的乳腺癌患者的胸部掃描CT圖像，記為數(shù)據(jù)A；中國科學技術大學附屬第一醫(yī)院的45例接受放療的乳腺癌患者的胸部掃描CT圖像，記為數(shù)據(jù)B。CT層厚為5 mm，分辨率為0.977 mm×0.977 mm，傳輸?shù)絇innacle 規(guī)劃系統(tǒng)（Philips Radiation Oncology Systems, Fitchburg,WI,USA）。

危及器官由臨床經(jīng)驗豐富的放療科醫(yī)生進行手動分割。由于不同醫(yī)院分割習慣不同，在滿足危及器官分割標準的條件下，臨床分割的器官輪廓有緊貼器官邊緣和器官外擴兩種，本研究中，數(shù)據(jù)A 采用緊貼器官邊緣的分割方法，數(shù)據(jù)B采用器官外擴的分割方法。為了避免因醫(yī)生分割習慣不同而造成神經(jīng)網(wǎng)絡預測結果與醫(yī)生分割結果的偏差，并證明本文方法在不同醫(yī)院數(shù)據(jù)集上的通用性，本研究在兩個不同醫(yī)院的數(shù)據(jù)集上分別進行分割。

1.2 心臟分割方法

1.2.1 分割前工作對數(shù)據(jù)A 和數(shù)據(jù)B 的CT 圖像進行預處理。去除所有患者CT 圖像的金屬偽影；選取窗寬、窗位，提高圖像對比度；以身體中心為裁剪中心，將圖像裁剪至［256,256］；將含有心臟的CT 圖像標記為1（記為心臟CT），不含心臟的CT 圖像標記為0（記為無心臟CT），用于圖像分類；利用RS文件提取每張心臟CT對應心臟掩膜，用于圖像分割。

由于心臟在靠近腹部處體積較小，且與其他危及器官（如肝臟）距離近，2D 網(wǎng)絡難以分割，而3D 網(wǎng)絡可以利用層間三維信息確保輪廓連續(xù)性，因而3D網(wǎng)絡表現(xiàn)更優(yōu)；心臟在靠近頭部處體積較大，且與其他危及器官距離遠，2D 網(wǎng)絡足以區(qū)分，而3D 網(wǎng)絡會造成信息冗余，并占用更大內(nèi)存，因而2D網(wǎng)絡表現(xiàn)更優(yōu)。因此，本研究提出一種將心臟不同位置CT 圖像輸入不同神經(jīng)網(wǎng)絡進行分割的方法（圖1）。

圖1 基于2D/3D U-plus-net的心臟自動分割方法Fig.1 Flowchart of automatic heart segmentation based on 2D/3D U-plus-net

為確定m的值，使得最終分割結果最優(yōu)，在數(shù)據(jù)A 和數(shù)據(jù)B 上分別進行預實驗：搭建2D U-net 模型［7］，并將其網(wǎng)絡層改寫為3D 層，形成與其拓撲結構相同的3D U-net 模型，基于這兩個模型做心臟分割對照實驗。在數(shù)據(jù)A 中隨機選取48 例作為訓練集，其余12 例作為測試集；在數(shù)據(jù)B 中隨機選取36 例作為訓練集，其余9例作為測試集。將兩個訓練集患者的心臟CT 圖像分別輸入2D U-net 和3D U-net 進行訓練，并用測試集患者作測試。將2D U-net和3D U-net在所有心臟CT 圖像上的分割Dice 系數(shù)作成折線圖，兩條折線的交點即為m值。

1.2.2 胸部CT 圖像分類對AlexNet 進行改進，改進后網(wǎng)絡結構（modified-AlexNet）如圖2 所示。網(wǎng)絡包括4 個卷積模塊和1 個Dense 模塊；每個卷積模塊包括2 個Convolution 層和1 個Max-pooling 層，激活函數(shù) 采 用Relu；Dense模塊包括1 個Flatten 層、3 個Dense層和2個Dropout層；激活函數(shù)采用Sigmoid，損失函數(shù)采用Binary_crossentropy，優(yōu)化器采用RMSprop。

圖2 改進后的AlexNet網(wǎng)絡結構Fig.2 Modified-AlexNet architecture

將訓練集患者CT 圖像及標簽經(jīng)預處理后隨機打亂，輸入modified-AlexNet 進行訓練，并用驗證集驗證。將測試集患者CT 圖像及標簽經(jīng)預處理后輸入訓練好的modified-AlexNet，輸出標簽。標簽為1表示心臟CT圖像，標簽為0表示無心臟CT圖像。

1.2.3 心臟自動分割對U-net的拓撲結構進行改進，主要包括以下3 點。（1）減小網(wǎng)絡深度。編碼器和解碼器是U-net 網(wǎng)絡的核心，其作用分別是特征提取與圖像重建。編碼器和解碼器中模塊個數(shù)決定網(wǎng)絡深度，深度越大，特征提取越精細，但同時也會造成信息冗余。因此，針對不同的圖像處理任務，需選擇不同的網(wǎng)絡深度。本研究發(fā)現(xiàn)當編碼器中特征提取模塊和解碼器中圖像重建模塊的個數(shù)為3個時，網(wǎng)絡模型訓練效果最好。（2）傳統(tǒng)U-net 網(wǎng)絡特征提取模塊和圖像重建模塊的網(wǎng)絡層數(shù)相同，而本研究在每個圖像重建模塊中添加一個Convolution 層，使其相比對應的特征提取模塊多做一次卷積，從而提高網(wǎng)絡的局部感知能力。（3）傳統(tǒng)U-net 網(wǎng)絡中，第一層編碼器和解碼器由一個長連接相連，本研究在此長連接中增加兩個神經(jīng)節(jié)點，綜合長連接和短連接，充分利用不同深度的圖像特征。

改進后的網(wǎng)絡命名為U-plus-net，其結構如圖3所示（輸入圖像以適用于2D U-plus-net 的CT 圖像為例）?；诖送負浣Y構分別添加2D 與3D 網(wǎng)絡層，即構成2D U-plus-net 和3D U-plus-net。編碼器包含3個重復的特征提取模塊，每個特征提取模塊由2 個Convolution 層和1 個Max-pooling 層組成；解碼器包含3 個重復的圖像重建模塊，每個圖像重建模塊由3個Convolution 層和1 個Up-sampling 層組成；在最后一個圖像重建模塊中添加1 個Convolution 層；采用Concatenate 層連接特征圖大小相同的特征提取模塊與圖像重建模塊。激活函數(shù)采用Relu 和Sigmoid，損失函數(shù)采用Dice 系數(shù)計算方法，優(yōu)化器采用Adam。網(wǎng)絡在Keras框架上搭建，以TensorFlow為后端。

圖3 U-plus-net網(wǎng)絡結構（輸入圖像以適用于2D U-plus-net的CT圖像為例）Fig.3 U-plus-net architecture(The input image takes CT images that apply to 2D U-plus-net as an example)

應用本研究的胸部CT 圖像分類方法挑選出心臟CT 圖像，按UID 降序進行排序。將排序后的前m張心臟CT 圖像及對應掩膜輸入3D U-plus-net，其余心臟CT 圖像及對應掩膜輸入2D U-plus-net。采用5倍交叉驗證法對網(wǎng)絡進行訓練及測試。將數(shù)據(jù)A 和數(shù)據(jù)B 各均分為5 組，每次取其中1 組作為測試集，1組作為驗證集，其余4 組作為訓練集，進行5 次訓練；取5次測試結果的平均值作為最終結果。

1.3 評估方法

本研究采用Dice系數(shù)，平均表面距離（Mean Surface Distance,MSD）和HD95（Hausdorff 距離）來評估自動分割結果［20］。

Dice系數(shù)計算公式為：

其中，X和Y分別為輪廓的真值與預測值。

有向平均Hausdorff 測度定義為輪廓X中的所有點到輪廓Y的距離的平均值：

MSD 定義為兩次有向平均Hausdorff 測度的平均值：

95%有向百分比Hausdorff 測度定義為輪廓X中的所有點到輪廓Y的距離按升序排列后95%位置處的值：

95%Hausdorff 距離（HD95）定義為兩個95%有向百分比Hausdorff測度的平均值：

分別計算數(shù)據(jù)A 和數(shù)據(jù)B 中測試集患者心臟自動分割的Dice系數(shù)、HD95和MSD。

2 結果與分析

2.1 預實驗結果

將2D U-net與3D U-net在測試集患者心臟CT圖像上自動分割的Dice系數(shù)作成折線圖。結果發(fā)現(xiàn)在兩個醫(yī)院的數(shù)據(jù)集上均呈現(xiàn)如下規(guī)律：心臟CT圖像編號沿人體軸向從下至上，在靠近腹部的第7或8張CT圖像位置上，兩條折線相交；對于前8張CT圖像，3D U-net表現(xiàn)遠優(yōu)于2D U-net；對于其余CT圖像，2D U-net表現(xiàn)略優(yōu)于3D U-net。因此，本研究中m取8，即將靠近腹部的8張心臟CT圖像輸入3D U-plus-net進行自動分割，其余心臟CT圖像輸入2D U-plus-net進行自動分割。

為了直觀顯示2D 和3D 網(wǎng)絡在心臟不同位置分割性能的差異性，在數(shù)據(jù)A和數(shù)據(jù)B中各選取一名測試集患者Dice系數(shù)折線圖展示見圖4；為了說明此規(guī)律在所有患者上的普遍適用性，本研究將所有測試集患者的平均Dice系數(shù)展示見表1、表2。

由圖4 以及表1、表2 可見，基于2D U-net 在心臟靠近頭頸部的CT 圖像上分割的平均Dice 系數(shù)很高，但在靠近腹部的8 張CT 圖像上表現(xiàn)呈斷崖式下跌，大大拉低心臟整體分割的平均Dice系數(shù)；基于3D Unet的心臟分割Dice系數(shù)沿人體軸向從下到上穩(wěn)步提高。Dice 系數(shù)的變化幅度體現(xiàn)出兩種網(wǎng)絡各自的優(yōu)缺點：3D網(wǎng)絡可將連續(xù)兩張CT圖像的分割結果偏差控制在一定范圍內(nèi)，但整體性能不高；2D網(wǎng)絡在心臟特征明顯的CT 圖像上表現(xiàn)良好，但難以在特征不明顯的CT圖像上進行分割。

表1 基于2D U-net/3D U-net在數(shù)據(jù)A中進行心臟自動分割的Dice系數(shù)Tab.1 Dice coefficient of 2D U-net/3D U-net based automatic heart segmentation on Data A

表2 基于2D U-net/3D U-net在數(shù)據(jù)B中進行心臟自動分割的Dice系數(shù)Tab.2 Dice coefficient of 2D U-net/3D U-net based automatic heart segmentation on Data B

圖4 基于2D U-net/3D U-net對測試集中一名患者進行心臟自動分割的Dice系數(shù)Fig.4 Dice coefficient of 2D U-net/3D U-net based automatic heart segmentation for a patient from the testing set

2.2 心臟自動分割結果

圖5 為基于2D/3D U-plus-net 在數(shù)據(jù)A 和數(shù)據(jù)B中的4 張心臟分割結果。其中，綠色輪廓為預測結果，紅色輪廓為醫(yī)生分割結果。從圖中可見，無論是采用緊貼器官還是器官外擴的分割方法，2D/3D Uplus-net 預測結果與醫(yī)生分割結果都非常接近，即該網(wǎng)絡模型在不同數(shù)據(jù)集中魯棒性較好。

圖5 基于2D/3D U-plus-net的心臟分割結果Fig.5 Results of automatic heart segmentation based on 2D/3D U-plus-net

基于原始U-net 的訓練模型大小約200 M，而本研究所使用的2D U-plus-net模型大小約33 M，3D Uplus-net 模型大小約45 M，大大降低神經(jīng)網(wǎng)絡訓練所占的內(nèi)存空間。其原因主要是2D/3D U-plus-net 減小了網(wǎng)絡深度。

基于2D/3D U-plus-net對數(shù)據(jù)A 和數(shù)據(jù)B中的測試集患者進行心臟自動分割的Dice 系數(shù)、MSD 及HD95 見表3?；诓煌W(wǎng)絡模型的心臟自動分割平均Dice 系數(shù)如表4 所示。其中，2D/3D U-net 列的數(shù)據(jù)為取預實驗中基于3D U-net 在靠近腹部的8 張心臟CT 圖像上的分割Dice 系數(shù)與基于2D U-net 在其余心臟CT 圖像上分割的Dice 系數(shù)作加權平均得到。從2D/3D U-net 列與2D U-net 列及3D U-net 列對比可見，將2D U-net 與3D U-net 相結合的方法與單獨使用2D U-net 或3D U-net 相比，在心臟整體上分割的Dice 系數(shù)均有所提高。一方面，此方法充分利用2D 和3D 網(wǎng)絡在不同位置圖像上分割的優(yōu)勢；另一方面，將心臟CT 圖像分為兩類，使得每個網(wǎng)絡接受訓練的圖像形狀大小更相近，特征更集中，有利于神經(jīng)網(wǎng)絡的學習。從2D/3D U-plus-net 列與2D/3D U-net列對比可見，本研究所提出的2D/3D U-plus-net 與原始2D/3D U-net 網(wǎng)絡相比，對網(wǎng)絡結構的改進使得網(wǎng)絡性能大幅提升，進一步提高心臟自動分割的準確率。

表3 基于2D/3D U-plus-net的心臟自動分割Dice系數(shù)、MSD和HD95Tab.3 Dice coefficient,mean surface distance and HD95 of automatic heart segmentation based on 2D/3D U-plus-net

表4 基于不同網(wǎng)絡模型的心臟自動分割Dice系數(shù)Tab.4 Dice coefficient of automatic heart segmentation based on different networks

3 討論

近年來，用于圖像分類識別的神經(jīng)網(wǎng)絡發(fā)展迅速，vgg16［21］、Googlenet［22］等網(wǎng)絡在大數(shù)據(jù)量圖像分類任務中表現(xiàn)出色，然而在小批量圖像處理時產(chǎn)生了過擬合現(xiàn)象；相反，結構簡單的AlexNet 能夠很好地適應小批量患者的CT 圖像心臟識別。因此，本研究經(jīng)過實驗對比，最終選定對AlexNet 進行改進，并基于modified-AlexNet 將胸部CT 圖像分為心臟CT圖像和無心臟CT圖像。

由預實驗結果可見，在鄭州大學第一附屬醫(yī)院和中國科學技術大學附屬第一醫(yī)院的兩個不同數(shù)據(jù)集中，在CT 層厚5 mm 的情況下，2D 和3D 網(wǎng)絡的性能差異都在心臟CT圖像靠近腹部的第8張左右的位置發(fā)生改變；對于其他醫(yī)院的臨床數(shù)據(jù)，由于CT 掃描及重建技術不同，2D 和3D 網(wǎng)絡性能差異發(fā)生改變的位置也可能不同，可根據(jù)預實驗結果決定m的取值。

由表4 中基于不同網(wǎng)絡模型的心臟自動分割Dice 系數(shù)的對比可見，本研究對網(wǎng)絡結構的改進使得網(wǎng)絡性能有不小的提升。其中，最重要的改進為在長連接中增加網(wǎng)絡節(jié)點，同時利用網(wǎng)絡深層和淺層特征，提高了圖像特征利用率。同時，本研究提出的思想方法可以應用到其他的神經(jīng)網(wǎng)絡，即對網(wǎng)絡結構作出其他改進時，也可將2D 和3D 網(wǎng)絡相結合，將心臟不同位置CT 圖像輸入不同網(wǎng)絡，從而提高心臟分割準確率。

本研究所采用的方法在大面積與小面積器官分割上均表現(xiàn)良好，理論上適用于所有單連通的大體積器官。因此，下一步會將此方法集成到智能化靶區(qū)和器官自動分割系統(tǒng)DeepViewer 中，并應用到肝臟、胃等器官的自動分割。

本研究基于modified-AlexNet將胸部CT圖像準確分類為心臟CT圖像和無心臟CT圖像；基于2D U-plusnet分割靠近腹部的心臟CT圖像，基于3D U-plus-net分割其余心臟CT圖像，最終提高心臟整體的自動分割準確率。