賀寶春 賈富倉

1(中國科學院深圳先進技術(shù)研究院 深圳 518055)

2(中國科學院大學深圳先進技術(shù)學院 深圳 518055)

1 引 言

放療是癌癥治療的重要手段之一，術(shù)前針對腫瘤及普通器官放射劑量計劃是手術(shù)的關(guān)鍵步驟。放療計劃的目的在于確保腫瘤接受足夠劑量的輻射，并防止放療時高危及器官正常細胞受到過多損傷[1-2]。危及器官對輻射非常敏感，如視神經(jīng)和視交叉不能接受太多放療，否則病人容易失明。而放療計劃的關(guān)鍵一步就是高危及器官的邊界識別。因此，高危及器官的自動分割有助于減少醫(yī)生放療計劃的工作量，無論是從時間還是經(jīng)濟角度都能夠減少放療的整體代價。此外，CT 頭頸高危及器官的分割存在對比度低、器官邊界不清、圖像掃描間距過大導致的冠狀面和矢狀面分辨率模糊等問題，其中最主要的是過小的器官視交叉和腦垂體帶來的類不平衡問題。

頭頸分割方法主要包括傳統(tǒng)的多圖譜方法[3]、基于形狀模型的方法[4]及近些年基于深度學習的方法[5-10]。其中，傳統(tǒng)基于配準的多圖譜方法對于微小器官分割精度很低?；谛螤钅Ｐ头椒ǖ娜秉c是局部結(jié)構(gòu)對比度低導致模型難以收斂到結(jié)構(gòu)邊界。深度學習方法能夠非線性刻畫多個器官的局部和全局特征，分割精度更高，但針對頭頸 CT 圖像的分割，深度學習方法主要的挑戰(zhàn)是極小器官帶來的類不平衡問題。Gao 等[7]和 Zhu 等[11]提出使用焦點損失代價函數(shù)解決類不平衡問題，并在網(wǎng)絡中減少池化次數(shù)，降低下采樣對微小器官分割的副作用。Gao 等[7]提出的 FocusNet 使用額外的網(wǎng)絡去單獨訓練微小器官，以解決類不平衡問題。

目前，絕大多數(shù)醫(yī)學圖像深度學習分割方法都是基于全卷積網(wǎng)絡(Fully Convolutional Network，F(xiàn)CN)[12]或 U-Net 網(wǎng)絡結(jié)構(gòu)[13]，根據(jù)分割圖像模態(tài)、器官或腫瘤以及圖像維度等特點，在網(wǎng)絡的寬度、深度、損失函數(shù)、預處理方法以及注意力機制等方面進行個性化設(shè)計，以獲得最優(yōu)分割效果。對于尺寸較大的三維圖像分割來說，內(nèi)存是制約分割精度的關(guān)鍵因素。在輸入到三維網(wǎng)絡前，需要對三維圖像進行裁剪或下采樣，這導致輸入信息必然有所損失。為解決上述問題，已有的方法通過并行或串行方式提取上下文信息和高分辨率信息。如 Kamnitsas 等[14]提出一種兩路并行 FCN 方法解決腦腫瘤分割問題，其中一路使用下采樣但具有較多的上下文信息，另一路則使用原始分辨率的局部感興趣區(qū)域作為輸入，兩路特征最后通過裁剪形式進行信息融合共同決策。Zhou 等[15]提出一種串行的固定點胰腺分割模型，即以一個固定點提取感興趣區(qū)域(Region of Interest，ROI)進行分割，得到的分割結(jié)果再進行更精確的 ROI 提取，如此迭代直到收斂。Han[16]和 Li 等[17]則都使用了粗分割結(jié)果提取肝臟的感興趣區(qū)域。Isensee 等[18]提出的 nnU-Net (no-new U-Net)方法包含 3 種模型:2D U-Net 模型、3D U-Net 模型和級聯(lián)的 3D U-Net 模型。其中，級聯(lián)的 3D U-Net 模型使用了下采樣圖像的粗分割結(jié)果作為高分辨率輸入網(wǎng)絡的一個通道輸入，以此實現(xiàn)上下文信息與高分辨率信息的兼顧。該方法最終在 MICCAI 2018 Medical Decathlon Segmentation 競賽的 13 項任務中取得了最佳分割精度，表明得到良好訓練的 U-Net 結(jié)構(gòu)即可獲得有競爭力的結(jié)果。

本文方法的提出建立在上述已有方法的研究成果之上，主要基于 nnU-Net 網(wǎng)絡的訓練策略，針對頭頸 CT 圖像的特點，提出新的圖像裁剪和預處理方法，并使用獨立的網(wǎng)絡訓練最小的兩個器官以解決類不平衡問題。

2 方 法

本文提出一種組合 U-Net 模型，具體如圖 1 所示。其中，2D U-Net 模型以原始橫斷面切片作為輸入，3D U-Net 模型則將圖像裁剪作為初始圖像，3D-small U-Net 模型則通過 2D U-Net 模型分割結(jié)果計算最小器官的中心點，并以此提取最小器官的 ROI。在預測階段，根據(jù)器官在模型中的表現(xiàn)對比，確定最終的組合策略。最終分割結(jié)果的不同器官來自于不同的分割模型，如圖 1 所示，標簽值為 4、5、6、15、16、19 的器官來自于 2D 模型，標簽值為 8 和 11 的器官的分割結(jié)果來自于 3D-small 模型，其他器官的分割結(jié)果則來自于 3D 模型。選取該組合策略的具體原因參見結(jié)果部分中對不同模型、不同器官的分割結(jié)果的分析。

2.1 圖像預處理

圖 1 本文提出的組合 U-Net 模型算法流程Fig. 1 Illustration of the proposed combined U-Net model

圖 2 3D 模型的感興趣區(qū)域(綠色部分)Fig. 2 The region of interest in 3D-model (Green)

3D-small 模型主要針對最小的兩個器官:視神經(jīng)交叉及腦垂體，主要原因是這兩個器官的整體體積非常小，很容易出現(xiàn)類不平衡問題。此外，這兩個神經(jīng)在空間上彼此距離最近，因此將兩者同時訓練。本文在裁剪時，首先計算二者在二維模型上的分割結(jié)果，接著計算分割結(jié)果的中心位置，并以此中心位置裁剪大小為(64, 64, 16)的區(qū)域。該尺寸是二者器官大小的 3 倍，這樣包括一定的背景信息有助于二者的定位識別(見圖 3)，同時不容易因分割結(jié)果導致裁剪出的區(qū)域只含部分器官。

圖 3 3D-small 模型的裁剪圖示Fig. 3 The illustration of cropping ROI in 3D-small model

2.2 網(wǎng)絡結(jié)構(gòu)

本文采用的 3 種模型皆為 U-Net 架構(gòu)，圖 1 所示的架構(gòu)給出了網(wǎng)絡的初始輸入尺寸，根據(jù)最小特征圖的尺寸可以推斷出網(wǎng)絡深度及池化次數(shù)。根據(jù)內(nèi)存實際情況，3 個網(wǎng)絡的初始特征圖設(shè)置為 30，最大三維網(wǎng)絡的特征圖個數(shù)為 320，二維網(wǎng)絡的最大特征圖個數(shù)為 480，每個卷積層后面加入 dropout 和 batch norm 操作，激活函數(shù)采用 LRelu，池化采用最大值采樣，上采樣采用線性插值法。整體結(jié)構(gòu)及參數(shù)參考于 Isensee 等[18]提出的 nnU-Net。

2.3 網(wǎng)絡訓練

本文網(wǎng)絡采用 pytorch 實現(xiàn)。訓練時，2D、3D-small、3D 模型分別采用的 batch size 為 11、2、2，優(yōu)化器為 adam，初始學習率設(shè)為 3×10－4，采用 pytorch 中的平均滑動指數(shù)更新學習率(學習率低于 10－6時模型訓練自動停止)，訓練迭代次數(shù)約 150 000 次，訓練消耗顯存約為 12 Gb。訓練 2D、3D-small、3D 模型分別需要 30 h、4 h、60 h。訓練的損失函數(shù)為 Dice 與交叉熵之和，具體訓練方法參見 Isensee 等[18]提出的 nnU-Net 中 2.3 小節(jié)。

3 實 驗

數(shù)據(jù)來源自 MICCAI2019 StructSeg 2019(https://structseg2019.grand-challenge.org / ) 分割競賽， 數(shù)據(jù)的尺寸為 51 2×512×(315～456)，掃描層間距為(0.977～1.184)mm×(0.977～1.184)mm×3 mm。其中，訓練數(shù)據(jù)為 50 套，測試數(shù)據(jù)集為 10 套。此外，所有參賽者均不可訪問測試數(shù)據(jù)集，而是通過將訓練好的分割模型以 docker 鏡像方式提交給競賽舉辦方，由舉辦方測試并給出分割結(jié)果，且分割每套圖像的時間不超過 2 min，因此測試結(jié)果具有公平性和說服力。

本文算法數(shù)據(jù)增強采用 nnU-Net 數(shù)據(jù)增強方式，包括彈性形變、任意旋轉(zhuǎn)、鏡像翻轉(zhuǎn)、Gamma 變換、比例變換。從圖 4 可以看出，大部分器官相對于矢狀面是對稱的，因此本文在訓練 2D 和 3D 模型時，不使用 x 軸的鏡像翻轉(zhuǎn)。

圖 4 待分割器官關(guān)于矢狀面對稱圖示Fig. 4 The organs are sagittal plane symmetrical

本文給出兩個結(jié)果，一個結(jié)果是訓練集上的五輪交叉驗證結(jié)果，一個結(jié)果是將所有訓練數(shù)據(jù)進行訓練后的模型以參賽形式提交給競賽組織者的結(jié)果，具體見第 4 小節(jié)。評價標準采用典型的 DSC 系數(shù)及 95% 豪斯道夫(HD)距離，具體定義見官網(wǎng) https://structseg2019.grand-challenge.org/Evaluation/。

4 結(jié) 果

表 1 給出了不同模型的分割結(jié)果比較，并與目前常用的多圖譜方法及最前沿的 FocusNet 方法進行了比較。從表 1 可以明顯看出，基于深度學習方法在分割精度上優(yōu)于傳統(tǒng)的多圖譜方法，尤其是對如腦垂體(標簽 11)、中耳(標簽 16 和 17)、晶狀體(標簽 4 和 5)等微小器官。大多數(shù)器官在 3D 模型的表現(xiàn)優(yōu)于 2D 模型，少數(shù)器官主要依賴橫斷面切片進行識別分割，這些器官在 2D 模型中表現(xiàn)更好。同時，本文針對兩個最小器官訓練的 3D-small 模型相比于和所有器官同時訓練精度提升很多。2D 與原始 2D-nnU-Net 之間的區(qū)別是 2D 模型根據(jù)器官對稱特點在 x 軸不適用鏡像翻轉(zhuǎn)數(shù)據(jù)增強，而原始的 2D-nnU-Net 模型則使用了鏡像翻轉(zhuǎn)。本文也根據(jù)器官在不同模型表現(xiàn)的不同，依據(jù)此表制定了最后的模型組合策略，具體如圖 1 所示。這些對比結(jié)果可以從圖 5 的定性分割具體看出來。圖 5(a)中使用了 x 軸上的鏡像翻轉(zhuǎn)后，其中左側(cè)顳葉(標簽為 9)和右側(cè)顳葉(標簽為 10)容易被混淆。圖 5(c)中第一行紅色區(qū)域表示左側(cè)顳葉在 2D 模型中產(chǎn)生的過分割。從圖 5(d) 2D 模型與 3D 模型對比結(jié)果可以看出，2D 模型分割的左側(cè)下頜骨(標簽為 21)和右側(cè)下頜骨(標簽為 22)在冠狀面上難以分清。圖 5(b)則指出了一些器官在 2D 模型中的分割效果優(yōu)于 3D。

表 1 不同模型在 22 個頭頸器官上的分割 DSC 值對比結(jié)果(加粗為分割較好)Table 1 Results of different models on 22 HaN organs measured by DSC (the bold fonts indicate best)

表 2 為不同參賽隊伍在看不見的測試集上的結(jié)果比較。從表 2 可以看出，本文方法無論在 DSC 還是在 95% HD 上都取得了第 2 名的成績，同時在 DSC 系數(shù)上比 nnU-Net 的器官分割平均提高了 0.78%，表明本文方法的優(yōu)越性。此外，競賽規(guī)定每套數(shù)據(jù)的分割時間不超過 2 min，本文提出的算法分割一套數(shù)據(jù)只需要 60 s，達到競賽要求。

5 討 論

圖 5 定性分割結(jié)果比較Fig. 5 Qualitative results from model

表 2 不同參賽者在 SturctSeg 2019 競賽測試集結(jié)果比較Table 2 Comparison results from different teams on testing set in StructSeg 2019

本文提出一種全自動的頭頸 CT 放療高危及器官分割算法，且獲得了較好的分割精度。首先，與傳統(tǒng)的多圖譜方法相比，本文提出的方法精度有了很大的提升，尤其在微小器官的分割方面。如表 1 所示，腦垂體(標簽 11)、左右中耳(標簽 16 和 17)、左右晶狀體(標簽 4 和 5)微小器官在本文方法上的分割 DSC 值為 0.776、0.855、0.840、0.770、0806，遠遠超過多圖譜方法[19]的 0.446、0.564、0.562、0.240 和 0.269，而和其他基于深度學習的 Focus-net[7]、nnU-Net[18]方法的結(jié)果相差不大，這說明了深度學習方法的優(yōu)越性。其次，從不同參賽者在測試集上的結(jié)果比較來看，本文方法基于 nnU-Net 方法且使用了與 nnU-Net 方法同樣的訓練方法，但結(jié)果比原始的 nnU-Net 方法 DSC 值提高了 0.78%(表 2 所示)。這得益于本文方法根據(jù)分割圖像的特點，設(shè)計出了實用且有效的數(shù)據(jù)預處理方法及數(shù)據(jù)增強的方法。通過圖 5 的定性對比結(jié)果可以看出，不使用翻轉(zhuǎn)數(shù)據(jù)增強能夠防止左右器官的混淆。因此，本文重新設(shè)計了 3 個 U-net 網(wǎng)絡組合型的網(wǎng)絡結(jié)構(gòu)。從表 1 中 3 個網(wǎng)絡的分割結(jié)果可以看出，不同模型有著各自擅長的分割器官，如右晶狀體和左側(cè)視神經(jīng)在 2D 模型上的分割 DSC 值分別為 0.806 和 0.708，而在 3D 模型上的分割結(jié)果僅為 0.796 和 0.674；左眼、左側(cè)腮腺、右側(cè)腮腺、左顳下頜關(guān)節(jié)、脊椎在 3D 模型上的分割 DSC 值分別為 0.895、0.861、0.851、0.759、0.832，遠遠超過了 2D 模型上 0.886、0.841、0.813、0.741、0.811，驗證了本文所提出組合模型方法的實用性，證明了本文算法思路的可行性。

但本文算法比第 1 名的算法的平均 DSC 值低 0.43%。表 2 中第 1 名算法使用了 2D 和 3D 模型的組合特征融合提取，而本文算法僅是 2D 與 3D 模型的結(jié)果組合，相比之下第 1 名的方法特征提取更有效。未來本文將在端到端的 2D 與 3D 特征同時融合提取方面進行改進。

6 結(jié) 論

本文提出一種全自動頭頸風險器官三組合 U-Net 模型分割方法。具體是在 nnU-Net 模型架構(gòu)基礎(chǔ)上，根據(jù)圖像特點設(shè)計合適的圖像預處理、裁剪方法、數(shù)據(jù)增強方法及網(wǎng)絡參數(shù)，最終算法取得了前沿精度，在 22 個頭頸風險器官上分割的平均 DSC 系數(shù)為 80.66%，95% 豪斯道夫(HD)距離為 2.96 mm。本文方法結(jié)果表明，得出組合 U-Net 網(wǎng)絡就可取得有競爭力的結(jié)果，這將為其他醫(yī)學圖像分割提供一種實用有效的解決方案。