劉文，亓文霞，仲國強，王佳佳，王大寒

（1.中國海洋大學(xué) 信息科學(xué)與工程學(xué)部，山東 青島 266100；2.德州市人民醫(yī)院 腫瘤科，山東 德州 253000；3.廈門理工學(xué)院 計算機與信息工程學(xué)院，福建 廈門 361024）

0 概述

我國是世界上食管癌病死率較高的國家，其發(fā)病率在各類腫瘤中居第3位，病死率居第4位［1-2］。食管癌在我國不同地區(qū)的發(fā)病率有明顯差異，受某些誘導(dǎo)因素的影響，有高發(fā)病率地區(qū)和低發(fā)病率地區(qū)。因此，對高發(fā)病區(qū)域進行食管癌腫瘤的篩查診斷是非常有效的防控手段［3］。

食管癌的診治是醫(yī)生借助電子計算機斷層掃描（CT）、核磁共振成像（MRI）等技術(shù)對生成的醫(yī)學(xué)影像進行分析。由于人工閱片的工作量非常龐大，因此醫(yī)生可能會因長時間閱片產(chǎn)生疲勞感，影響對病灶的判斷，增大漏診、誤診的風(fēng)險。此外，疾病的檢出率很大程度上依賴于影像科醫(yī)生的主觀經(jīng)驗，易受本人生理、心理等狀態(tài)的影響，存在一定的診斷偏差，從而影響診斷結(jié)果的準確性［4-6］。因此，根據(jù)食管癌醫(yī)學(xué)影像進行腫瘤檢測和準確分割，是進行病灶切除手術(shù)的前提，同時深度學(xué)習(xí)自動化處理方式也對輔助醫(yī)生診斷治療有重要意義。

近年來，基于深度學(xué)習(xí)的醫(yī)學(xué)影像分析在醫(yī)療領(lǐng)域取得了一定的成果，在自動識別可疑病灶、對病灶進行量化診斷等方面取得新進展［6］。但是，受數(shù)據(jù)集大小以及數(shù)據(jù)標注準確性等因素的影響，現(xiàn)有研究往往將肺癌、乳腺癌等常見癌癥作為檢測目標。然而，采用深度學(xué)習(xí)診斷腫瘤的方式并不具有跨病種的泛化能力，即對某一疾病診斷效果好的深度學(xué)習(xí)網(wǎng)絡(luò)通常不適用于其他疾病。因此，研究人員嘗試對傳統(tǒng)腫瘤檢測網(wǎng)絡(luò)進行改進，以適用于診斷新的疾病。

本文設(shè)計基于U-Net 的圖像分割網(wǎng)絡(luò)，以精準分割食管癌腫瘤。通過構(gòu)建Conv_concat 模塊，并引入2 個跳躍連接，增強圖像特征信息的傳遞性，在Conv_concat 模塊的每一個卷積層后都增加批量歸一化（Batch Normalization，BN）層［7］，提升網(wǎng)絡(luò)訓(xùn)練穩(wěn)定性。在此基礎(chǔ)上，結(jié)合BCEWithLogits 和Dice損失函數(shù)的優(yōu)點，改進網(wǎng)絡(luò)的損失函數(shù)，從而提高訓(xùn)練效率和分割準確率。

1 相關(guān)工作

1.1 圖像分割網(wǎng)絡(luò)

圖像分割技術(shù)是能夠精確地把腫瘤從影像中分割出。早期，醫(yī)學(xué)圖像分割方法主要有基于邊緣的圖像分割［8］、基于區(qū)域的圖像分割等［9］。之后，研究人員提出基于圖論的圖像分割方法，將目標圖像映射為帶權(quán)的無向圖，進而把圖像分割問題轉(zhuǎn)換為圖的最小割（MIN-CUT）問題，因此只需保證子圖間的相似度最小，而內(nèi)部的相似度最大即可［10-12］。

為了對存在不確定性或模糊性的圖像進行準確分割，研究人員將機器學(xué)習(xí)中的聚類方法應(yīng)用于圖像分割問題，產(chǎn)生了一系列基于像素聚類的分割算法，例如，k 均值聚類算法［13］、譜聚類［14］、均值漂移［15］以及用于超像素聚類的簡單線性迭代聚類算法［16］等。這種特征空間聚類法在一定程度上滿足了研究人員對圖像分割的需求。文獻［17］提出一種基于k均值聚類的圖像分割算法，并進行腦部核磁共振圖像的分割，能較準確地分割出腦部核磁共振成像中的灰質(zhì)和白質(zhì)，噪聲和灰度不均勻的圖像上也能在較短的時間內(nèi)得到更準確的結(jié)果。文獻［18］提出使用核函數(shù)將原始數(shù)據(jù)從低維空間映射到高維空間，并在高維空間中利用圖割理論對CT 圖像的肝區(qū)腫瘤進行分割，提取疑似腫瘤區(qū)域，以解決傳統(tǒng)圖割模型依賴人機交互且對復(fù)雜區(qū)域建模困難等問題。但是，對于圖像內(nèi)部結(jié)構(gòu)復(fù)雜的物體，僅通過圖像像素點的顏色、亮度、紋理等低層次的視覺特征進行圖像分割，實際效果往往與預(yù)期相差較大。

為了解決這個問題，研究人員結(jié)合圖像中的高層語義信息，使用語義分割來輔助圖像分割。為實現(xiàn)圖像像素級別的分割，研究人員對圖像的每個像素進行分類，使得每個像素都具有高階的語義信息，從而提高分割的準確率。LONG［19］等提出全卷積網(wǎng)絡(luò)（FCN），將目標識別網(wǎng)絡(luò)中的全連接層替換成卷積層和池化層，從而把分類網(wǎng)絡(luò)轉(zhuǎn)換成能夠進行圖像分割的全卷積網(wǎng)絡(luò)，不僅實現(xiàn)了像素級的稠密估計目的，而且能夠進行端到端的網(wǎng)絡(luò)訓(xùn)練。TONG［20］提出一種新的分割模型，將形狀表示模型集成到FCN 中以提升CT 圖像器官分割的精度，但是FCN 本身具有一定的局限性，例如感受野太小，無法獲取全局信息，導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)性能受到限制。

針對這些問題，研究人員在FCN 編碼解碼結(jié)構(gòu)的基礎(chǔ)上，對其局限性做了相應(yīng)的改進。RONNEBERGER［21］等提出U-Net 網(wǎng)絡(luò)架構(gòu)對醫(yī)學(xué)圖像進行分割，該網(wǎng)絡(luò)把編碼解碼2 個過程設(shè)計為1 個對稱的U 型結(jié)構(gòu)，并在不同層之間增加跳躍連接［22］操作，實現(xiàn)了高維特征與低維特征的融合，使得像素定位更加準確，分割精度更高。BROSCH［23］等在U-Net 網(wǎng)絡(luò)下采樣的第一層和上采樣的最后一層之間加入跳躍連接操作，在一定程度上提高了分割精度，在分割腦部MRI 中的腦白質(zhì)病灶中取得了較優(yōu)的效果。文獻［24］使用內(nèi)卷U-Net 對肺部CT 數(shù)據(jù)進行分割。內(nèi)卷U-Net 使用內(nèi)卷積代替?zhèn)鹘y(tǒng)的卷積操作，同時該方法使用注意力機制學(xué)習(xí)圖像長范圍的依賴關(guān)系，以提高圖像分割精度。文獻［25］針對食管癌的X 射線，通過U-Net 結(jié)合圖像插值算法處理U-Net 分割輪廓圖小部分不連續(xù)的問題。

深度圖像分割網(wǎng)絡(luò)一般都是在FCN 的編碼解碼結(jié)構(gòu)基礎(chǔ)上構(gòu)建的。針對在FCN 的池化和上采樣過程中信息丟失的問題，CHEN 等在DeepLab 系列［26-28］網(wǎng)絡(luò)中使用空洞卷積，并提出ASPP（Atrous Spatial Pyramid Pooling）模塊，使其在不增加參數(shù)量的前提下擴大特征圖的視野，增強對感受野和分辨率的控制，有利于提取全局信息，提高分割準確率。LIU等［29］基于池化的全局特征，利用ParseNet實現(xiàn)全局特征與局部特征融合的圖像分割，從而提高分割精度。BADRINARAYANAN等［30］提出SegNet 網(wǎng)絡(luò)，通過引入池化層索引來提高分割精度。SegNet 和FCN 的原理相似，不同之處在于解碼器使用從編碼器傳輸?shù)膶?yīng)位置最大池化層，對其輸入進行非線性上采樣，從而使得上采樣不需要學(xué)習(xí)即可生成稀疏特征映射，通過可訓(xùn)練的卷積核進行卷積操作，以生成密集的特征圖，最后使用Softmax 進行像素級別分類。ROMER等［31］提出輕量級的語義分割網(wǎng)絡(luò)ERFNet，ERFNet 一方面使用了1×1 的卷積核減少網(wǎng)絡(luò)計算參數(shù)量，從而加快網(wǎng)絡(luò)速度，另一方面采用與ResNet［32］主干網(wǎng)絡(luò)相同的殘差連接方式提升模型精度。

1.2 U-Net 網(wǎng)絡(luò)

在醫(yī)學(xué)圖像分割領(lǐng)域中，U-Net 網(wǎng)絡(luò)具有較高的訓(xùn)練效率以及能夠適用少量訓(xùn)練樣本的特征，備受研究人員的關(guān)注。U-Net 的設(shè)計主要針對醫(yī)學(xué)影像的分割，其網(wǎng)絡(luò)結(jié)構(gòu)與FCN 類似。在FCN 編碼解碼結(jié)構(gòu)的基礎(chǔ)上，U-Net 網(wǎng)絡(luò)將原來的直線型網(wǎng)絡(luò)結(jié)構(gòu)變成了一個對稱的U 型結(jié)構(gòu)，只需要較小的數(shù)據(jù)集就可以完成精準的圖像分割。在U-Net 網(wǎng)絡(luò)中還增加跳躍連接結(jié)構(gòu)，實現(xiàn)了圖像的低層信息與高層信息在特征提取過程中的融合，從而提高分割精度。U-Net 包括編碼結(jié)構(gòu)、解碼結(jié)構(gòu)和跳躍連接結(jié)構(gòu)。

U-Net 的編碼結(jié)構(gòu)實現(xiàn)了圖像特征的提取，該結(jié)構(gòu)由2 種操作重復(fù)疊加組成：1）卷積操作，由2 個連續(xù)的卷積塊構(gòu)成，每個卷積層的后面都要經(jīng)過修正線性單元ReLU［33］激活層，用于提高網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性；2）最大池化操作，能夠降低空間分辨率，提取抽象的高維特征，以提升網(wǎng)絡(luò)的魯棒性。U-Net 的解碼結(jié)構(gòu)與編碼結(jié)構(gòu)相對應(yīng)，也包含卷積操作和上采樣操作，采用ConvTranspose［23］方法進行上采樣，通過2×2 的反卷積逐步恢復(fù)圖像的分辨率，最終輸出分割結(jié)果的熱力圖。

U-Net 通過在編碼與解碼之間增加跳躍連接，對FCN 進行改進，將編碼結(jié)構(gòu)每一層產(chǎn)生的特征圖融合到解碼結(jié)構(gòu)對應(yīng)層的上采樣過程中，實現(xiàn)低層信息與高層信息的融合。在融合過程中，編碼結(jié)構(gòu)的卷積操作會導(dǎo)致邊界像素丟失。因此，U-Net 融合2 個特征圖的大小并不相同，對編碼結(jié)構(gòu)的特征圖進行裁剪，再進行拼接。由于每次融合前都要先進行裁剪，因此最后輸出圖像的大小比原圖小很多。但是由于增加了跳躍連接操作，因此圖像的分割精度得到顯著提高。

2 本文方法

本文以U-Net 網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，通過改進卷積塊、損失函數(shù)，加入早停機制等方法構(gòu)建適用于食管癌腫瘤分割的Concat-UNet 網(wǎng)絡(luò)。

與U-Net 網(wǎng)絡(luò)類似，Concat-UNet 網(wǎng)絡(luò)也包含編碼、解碼和跳躍連接3 種主要結(jié)構(gòu)。Concat-UNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。編碼結(jié)構(gòu)包含Conv_concat 模塊和最大池化層，Conv_concat 可以有效融合特征，最大池化層通過保留有效特征，丟棄不明顯的特征來實現(xiàn)下采樣。解碼結(jié)構(gòu)包含Conv_concat 模塊和上采樣，使用與U-Net 相同的上采樣方法恢復(fù)圖片的分辨率，彌補在池化過程中丟失的細節(jié)信息，1×1卷積會根據(jù)分類需求對圖片中的像素進行分類，以得到最終的結(jié)果。

圖1 Concat-UNet 的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of Concat-UNet network

2.1 Conv_concat 模塊

Concat-UNet 通過改進U-Net 的卷積塊，構(gòu)建新的Conv_concat 模塊。改進后的卷積Conv_concat 模塊結(jié)構(gòu)如圖2 所示。U-Net 網(wǎng)絡(luò)中的卷積塊結(jié)構(gòu)如圖3 所示。

圖2 改進的Conv_concat 模塊結(jié)構(gòu)Fig.2 Structure of improved Conv_concat module

圖3 U-Net 網(wǎng)絡(luò)中的卷積塊結(jié)構(gòu)Fig.3 Structure of convolution block in U-Net network

從圖2 和圖3 可以看出，相較于原始U-Net 網(wǎng)絡(luò)的卷積塊，Conv_concat 模塊做了2 個方面的改進：1）將每次卷積產(chǎn)生的特征圖與最初輸入Conv_concat模塊的特征圖進行融合，并將融合結(jié)果作為下一次卷積的輸入，這種改進方法增強了特征的傳遞性，在訓(xùn)練過程減少圖像特征損失，從而提高分割精度，但是卷積操作會損失圖像邊緣信息，導(dǎo)致卷積前后圖像大小不一致，因此為了使Conv_concat 模塊中卷積前后的特征圖相融合，在卷積前先對特征圖進行邊緣填充，以保證卷積前后特征圖分辨率的一致性，從而解決U-Net 最終輸出圖片比原圖片小的問題；2）Conv_concat 模塊在每一個卷積層后面都增加了一個批量歸一化層，BN 的主要作用是把每批次中的數(shù)據(jù)正態(tài)化，從而減少網(wǎng)絡(luò)對初始化參數(shù)的依賴。對于任意輸入的X=[x1，x2，…，xn]，經(jīng)過BN 層后會得到歸一化的XBN=[y1，y2，…，yn]，其中，xi為X中的原始數(shù)據(jù)，yi為X中經(jīng)過BN 層歸一化后的數(shù)據(jù)，n為訓(xùn)練X中的圖像數(shù)量。

為了避免網(wǎng)絡(luò)優(yōu)化受特征分布的影響，網(wǎng)絡(luò)還需要對正態(tài)化后的數(shù)據(jù)x*進行反變換，即通過偏移以及尺度縮放將其變回原始的分布狀態(tài)。反變換如式（1）所示：

其中：γi為方差；βi為均值。γi和βi都是可學(xué)習(xí)的參數(shù)。

為提高網(wǎng)絡(luò)的泛化能力，本文引入早停機制，通過找出并保存訓(xùn)練過程中最優(yōu)的網(wǎng)絡(luò)參數(shù)，無需反復(fù)訓(xùn)練，從而避免網(wǎng)絡(luò)訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象。

早停機制的示意圖如圖4 所示，當Concat-UNet網(wǎng)絡(luò)在訓(xùn)練集上的得分逐漸增大時，在驗證集上的得分反而降低，說明該網(wǎng)絡(luò)有發(fā)生過擬合的趨勢。當Concat-UNet 網(wǎng)絡(luò)連續(xù)P次（P為耐心值，即已經(jīng)等待的次數(shù)）出現(xiàn)此種情況，則應(yīng)引發(fā)早停機制。若當前的得分S>(Smax+d)，S為當前得分，Smax為驗證集上的最高得分，d為變化的閾值。在圖4 中第40 輪迭代前面的部分，則更新Smax和Vmin（驗證集上的最小損失），將P清零并保存該網(wǎng)絡(luò)參數(shù)，繼續(xù)訓(xùn)練下一輪。否則，如圖4 中第40 輪迭代，其他參數(shù)保持不變，P值增大，繼續(xù)訓(xùn)練下一輪。若在P內(nèi)出現(xiàn)更高的得分時，如圖4 中第65 輪迭代，則更新相關(guān)參數(shù)并保存網(wǎng)絡(luò)，將P值清零，繼續(xù)訓(xùn)練。若在P內(nèi)得分沒有提高，如圖4 的第80 輪迭代，則引發(fā)早停機制，Concat-UNet網(wǎng)絡(luò)訓(xùn)練結(jié)束。最終保存的結(jié)果是第80 輪迭代的最優(yōu)網(wǎng)絡(luò)參數(shù)。

圖4 早停機制示意圖Fig.4 Schematic diagram of early stopping mechanism

2.2 損失函數(shù)

在醫(yī)學(xué)圖像分割領(lǐng)域中，常用的損失函數(shù)有二值交叉熵（Binary Cross Entropy，BCE）、BCEWithLogits、Dice 等，這些損失函數(shù)都各有優(yōu)點和局限性。本文結(jié)合BCEWithLogits 和Dice 損失函數(shù)的優(yōu)點，設(shè)計新的的損失函數(shù)。

2.2.1 BCEWithLogits 損失函數(shù)

傳統(tǒng)方法使用BCE 損失函數(shù)來計算二分類交叉熵，要求樣本必須在［0，1］之間，若使用Sigmoid 函數(shù)來實現(xiàn)，易導(dǎo)致計算結(jié)果不穩(wěn)定，并且存在梯度消失的問題。針對該問題，本文使用BCEWithLogits 損失函數(shù)，將Sigmoid 函數(shù)和BCE 損失函數(shù)集合到一個類中，使計算結(jié)果更加穩(wěn)定，有利于梯度的穩(wěn)定回傳，避免出現(xiàn)梯度消失的問題。BCEWithLogits 損失函數(shù)如式（2）所示：

其中：xi為訓(xùn)練樣本；yi為對應(yīng)的樣本標簽，yi∈{0，1}，正樣本取值為1，負樣本取值為0；n為樣本數(shù)量；σ(xi)為Sigmoid 函數(shù)，將x映射到（0，1）的區(qū)間。

該損失函數(shù)會對每個類別進行平等的評估，不利于類別不平衡分割網(wǎng)絡(luò)的優(yōu)化。前景像素（腫瘤區(qū)域）遠小于背景像素（非腫瘤區(qū)域），因此背景像素會在損失函數(shù)中占主導(dǎo)地位，使該網(wǎng)絡(luò)偏向優(yōu)化背景。

2.2.2 Dice 損失函數(shù)

Dice 系數(shù)表征了2 個樣本重疊部分的情況，取值范圍為［0，1］，取值為1 表示完全重疊。Dice 系數(shù)如式（3）所示：

其中：GGT為標簽圖真值；PPR為預(yù)測圖精確度；|GGT|和|PPR|分別為2 個樣本各自的元素總數(shù)，相對于分割任務(wù)就是統(tǒng)計每個像素（pixels）。

根據(jù)Dice 系數(shù)，可求得Dice 損失函數(shù)，如式（4）所示：

Dice 損失函數(shù)通過加大前景區(qū)域的權(quán)重來避免網(wǎng)絡(luò)陷入損失函數(shù)的局部最小值，即避免發(fā)生過擬合現(xiàn)象。因此，Dice 損失函數(shù)較適用于樣本極度不平衡的情況。

根據(jù)式（4）可求得Dice 損失函數(shù)關(guān)于PPR的梯度形式為：

當GGT和PPR的加和較小時，梯度值會發(fā)生劇烈變化，導(dǎo)致訓(xùn)練非常不穩(wěn)定，不利于網(wǎng)絡(luò)的優(yōu)化。盡管Dice 損失函數(shù)解決了類別不平衡對網(wǎng)絡(luò)訓(xùn)練產(chǎn)生干擾的問題，但是它有時會變得不可信，不利于反向傳播。

基于以上分析可知，BCEWithLogits 和Dice 損失函數(shù)都有優(yōu)點和局限性，因此，BCEWithLogits 和Dice 相結(jié)合的損失函數(shù)如式（6）所示：

其中：λ為0～1 之間的浮點數(shù)。

3 實驗及結(jié)果分析

為驗證Concat-UNet 網(wǎng)絡(luò)對食管癌腫瘤進行快速精準分割的有效性，本文在真實CT 影像數(shù)據(jù)集上進行實驗，并與U-Net、SegNet、U-Net_LI、ERFNet 網(wǎng)絡(luò)在同樣的實驗環(huán)境下進行對比。

3.1 數(shù)據(jù)集預(yù)處理

數(shù)據(jù)集是從醫(yī)院獲取的真實CT 影像，包含原始數(shù)據(jù)以及醫(yī)生已標注的數(shù)據(jù)，數(shù)據(jù)格式為DICOM，切片大小為512×512 像素。為了便于數(shù)據(jù)讀取及網(wǎng)絡(luò)訓(xùn)練，本文需對數(shù)據(jù)集進行預(yù)處理。

食管癌腫瘤大致位于胸部CT 影像的中間部分且所占比例很小，如果直接使用原始大小的CT 影像進行訓(xùn)練，網(wǎng)絡(luò)易受類別不平衡的干擾，影響模型的訓(xùn)練和最終的分割效果。因此，本文根據(jù)食管癌腫瘤的位置統(tǒng)一將圖片裁剪為256×256 像素，制作標準的數(shù)據(jù)標簽，數(shù)據(jù)標簽同樣為256×256 像素的二值化png 格式的圖片，處理后的圖片只包含食管癌腫瘤區(qū)域和背景區(qū)域，其中，腫瘤區(qū)域的值為1，背景區(qū)域的值為0。最后，將數(shù)據(jù)集劃分為兩部分，一部分用于網(wǎng)絡(luò)的訓(xùn)練，另一部分用于網(wǎng)絡(luò)的測試，在訓(xùn)練時按照7∶3 的比例隨機分為訓(xùn)練集和驗證集。

3.2 實驗環(huán)境

本文實驗使用深度學(xué)習(xí)框架PyTorch在云環(huán)境中進行訓(xùn)練，云環(huán)境使用Google 提供的Colaboratory。在訓(xùn)練過程中為了能夠在模型收斂的情況下得到最優(yōu)的模型，同時在數(shù)據(jù)量較少的情況下降低過擬合現(xiàn)象的發(fā)生。在實驗過程中引入早停機制，最終的迭代次數(shù)不是人為設(shè)定的而是由驗證集上的損失值決定，最大迭代次數(shù)設(shè)置為400。受數(shù)據(jù)集以及實驗環(huán)境的限制，訓(xùn)練過程中的batch size 大小設(shè)定為6。本文選擇自適應(yīng)參數(shù)的優(yōu)化算法RMSProp，學(xué)習(xí)率初始化為0.05，早停機制中的耐心值為40。

3.3 評價指標

醫(yī)學(xué)圖像分割領(lǐng)域有很多評價指標，它們能夠從不同的角度對網(wǎng)絡(luò)的預(yù)測結(jié)果進行評估。針對食管癌腫瘤的分割，本文將腫瘤區(qū)域視為正樣本，將非腫瘤區(qū)域視為負樣本，根據(jù)樣例真實類別與預(yù)測類別的組合劃分為真正例（True Positive，TP）、假正例（False Positive，F(xiàn)P）、真反例（True Negative，TN）、假反例（False Negative，F(xiàn)N）。

本文采用精確率（P）、召回率（R）、F1-Score、Dice 系數(shù)（Dice）作為評價指標。

1）精確率（P），計算所有預(yù)測結(jié)果為正（正樣本被預(yù)測為正TTP、負樣本被預(yù)測為正FFP）的樣本中預(yù)測正確的概率（正樣本被預(yù)測為正TTP），如式（7）所示：

在腫瘤分割問題中，精確率表征預(yù)測的腫瘤區(qū)域中真正腫瘤所占的比例。

2）召回率（R），計算所有預(yù)測結(jié)果正確（正樣本被預(yù)測為正TTP、負樣本被預(yù)測為負FFN）的樣本中預(yù)測為正樣本（正樣本被預(yù)測為正TTP）的概率，如式（8）所示：

在腫瘤分割問題中，召回率表征所有腫瘤區(qū)域中預(yù)測成功的樣本所占比例。

3）F1-Score，是精確率和召回率的調(diào)和平均數(shù)，如式（9）所示：

精確率主要是預(yù)測腫瘤區(qū)域中預(yù)測正確的概率，它是基于預(yù)測的腫瘤區(qū)域進行評估，而忽略了真正的腫瘤區(qū)域。召回率只關(guān)注真正腫瘤區(qū)域中有多少樣本被正確預(yù)測出來，它是基于真正的腫瘤區(qū)域進行評估，忽略了預(yù)測區(qū)域中預(yù)測錯誤的樣本。因此，精確率和召回率的評估都不夠全面。在對腫瘤圖像預(yù)測時，精確率和召回率同等重要，F(xiàn)1-Score 既考慮了預(yù)測的腫瘤區(qū)域，又考慮了真正的腫瘤區(qū)域，評估結(jié)果比較全面。

4）Dice 系數(shù)，將精確率和召回率相結(jié)合的評估指標。根據(jù)式（3）可知，Dice 系數(shù)既考慮了預(yù)測的腫瘤區(qū)域，又考慮了真正的腫瘤區(qū)域，評估結(jié)果比較全面，在實驗過程中將Dice 系數(shù)作為網(wǎng)絡(luò)評估指標。

3.4 結(jié)果分析

食管癌腫瘤定位的關(guān)鍵是能夠?qū)δ[瘤區(qū)域進行精確的分割。為驗證Concat-UNet 網(wǎng)絡(luò)的分割效果及腫瘤區(qū)域的定位情況，本文與SegNet、ERFNet、U-Net 以及文獻［25］提出的U-Net_LI 網(wǎng)絡(luò)進行對比，評估基準網(wǎng)絡(luò)U-Net 和Concat-UNet 的網(wǎng)絡(luò)性能以及其他網(wǎng)絡(luò)的Dice 系數(shù)、精確率、召回率以及F1-Score。

3.4.1 網(wǎng)絡(luò)性能對比

為了更直觀地對比U-Net 網(wǎng)絡(luò)與Concat-UNet網(wǎng)絡(luò)訓(xùn)練時的性能，本文分別記錄這2 個網(wǎng)絡(luò)在訓(xùn)練過程中訓(xùn)練集上的損失值和驗證集上的得分情況。隨著訓(xùn)練迭代次數(shù)的增大，U-Net 和Concat-UNet 網(wǎng)絡(luò)訓(xùn)練過程中損失值的對比如圖5和圖6 所示。

圖5 U-Net 網(wǎng)絡(luò)的損失值Fig.5 Loss values of the U-Net network

圖6 Concat-UNet 網(wǎng)絡(luò)的損失值Fig.6 Loss values of the Concat-UNet network

從圖5 和圖6 可以看出，相比U-Net，Concat-UNet網(wǎng)絡(luò)在訓(xùn)練過程中曲線下降趨勢更加平穩(wěn)，說明Concat-UNet 更加穩(wěn)定，模型更容易收斂，具有較優(yōu)的數(shù)據(jù)泛化性能。

隨著測試迭代次數(shù)的增大，U-Net 和Concat-UNet網(wǎng)絡(luò)訓(xùn)練過程中Dice 系數(shù)的對比如圖7 和圖8 所示。從圖7和圖8 可以看出，Concat-UNet 的Dice 系數(shù)曲線較U-Net 的Dice 系數(shù)曲線更平穩(wěn)。此外，在訓(xùn)練趨于穩(wěn)定時對應(yīng)驗證集上的得分較U-Net也有明顯的提高，即網(wǎng)絡(luò)的分割效果有所提升。Concat-UNet 通過在Conv_concat 模塊中引入2 個跳躍連接，使數(shù)據(jù)在經(jīng)過網(wǎng)絡(luò)卷積模塊后丟失更少的有用信息，有利于圖像特征的提取，在一定程度上提高了分割精度，同時在卷積模塊后引入的BN 層也使網(wǎng)絡(luò)訓(xùn)練更加穩(wěn)定。

圖7 U-Net 網(wǎng)絡(luò)的Dice 系數(shù)變化曲線Fig.7 Dice coefficient change curve of the U-Net network

圖8 Concat-UNet 網(wǎng)絡(luò)的Dice 系數(shù)變化曲線Fig.8 Dice coefficient change curve of the Concat-UNet network

3.4.2 腫瘤分割結(jié)果對比

從測試集中選取5 張不同的CT 影像，SegNet、ERFNet、U-Net、U-Net_LI、Concat-UNet網(wǎng)絡(luò)對影像中的腫瘤特征進行提取，提取結(jié)果如圖9 所示。圖9（a）是原始的CT 影像經(jīng)過處理后得到的訓(xùn)練圖像，圖9（b）中的白色位置為腫瘤。從圖9 可以看出，SegNet 對腫瘤特征的識別效果較差，這是由于SegNet 在解碼器上采樣過程中的輸入直接使用了編碼器對應(yīng)位置的最大池化層輸出，沒有為網(wǎng)絡(luò)學(xué)習(xí)一個新的參數(shù)層，而對于食管癌的CT 圖像，腫瘤區(qū)域與周圍區(qū)域的邊界并不明顯，這是造成SegNet分割效果較差的原因。ERFNet 提取效果相對原始的腫瘤區(qū)域形狀不太貼合，檢測的腫瘤區(qū)域邊緣不平滑且出現(xiàn)少許鋸齒狀邊緣，并且對腫瘤的邊緣噪聲更加敏感。U-Net 提取的腫瘤區(qū)域邊緣較為平滑，相對于原始腫瘤區(qū)域更大，在第3 列的示例中還出現(xiàn)了誤檢的情況，表示U-Net 對數(shù)據(jù)的泛化性較差。U-Net_LI 網(wǎng)絡(luò)主要解決圖像分割中的輪廓圖小部分不連續(xù)問題，能更好地處理腫瘤區(qū)域的邊緣，使得分割的腫瘤邊緣更平滑，但也會損失細節(jié)信息。Concat-UNet 網(wǎng)絡(luò)提取的腫瘤區(qū)域與原始腫瘤區(qū)域在形狀和大小上更為貼合，并且在第3 列的示例中相對于U-Net 不會出現(xiàn)誤檢的情況。因此，Concat-UNet 在檢測精確度和準確度方面要優(yōu)于其他網(wǎng)絡(luò)。

圖9 不同網(wǎng)絡(luò)的腫瘤分割結(jié)果對比Fig.9 Segmentation results comparison among different networks

3.4.3 評估結(jié)果對比

本文在220 個樣例的數(shù)據(jù)集上對5 種網(wǎng)絡(luò)均重復(fù)訓(xùn)練5 次，根據(jù)同一測試集上的測試結(jié)果保存最優(yōu)的網(wǎng)絡(luò)參數(shù)，然后分別用最優(yōu)的SegNet、ERFNet、U-Net、U-Net_LI、Concat-UNet 網(wǎng)絡(luò)對同一個測試集進行腫瘤分割，并計算5 種網(wǎng)絡(luò)在評價指標Dice、P、R以及F1-Score 上的均值，評估結(jié)果如表1 所示。從表1 可以看出，SegNet 召回率最低，表示所有腫瘤區(qū)域中預(yù)測成功的樣本比例較低。ERFNet 相較于SegNet 具有較優(yōu)的結(jié)果，能較好地權(quán)衡精確率與召回率，但是各項指標都低于Concat-UNet。U-Net 網(wǎng)絡(luò)的召回率與精確率相差很大，召回率很高，但精確率很低，這表明U-Net 網(wǎng)絡(luò)的腫瘤提取不夠準確。U-Net_LI 在精確率上較U-Net 有明顯提升，但效果仍不及Concat-UNet。Concat-UNet網(wǎng)絡(luò)在保證召回率適中的情況下相比U-Net 網(wǎng)絡(luò)精確度提升了11.64 個百分點，實現(xiàn)了精確率與召回率的平衡。因此，Concat-UNet 網(wǎng)絡(luò)在綜合評估指標Dice 和F1-Score上也有明顯的提升。綜合4 種評估結(jié)果，Concat-UNet 網(wǎng)絡(luò)的整體表現(xiàn)優(yōu)于其他網(wǎng)絡(luò)。

表1 不同網(wǎng)絡(luò)的評估指標對比Table 1 Evaluation indexs comparison among different networks %

3.4.4 腫瘤區(qū)域的精準分割

為了更直觀地看出食管癌腫瘤在CT 影像上的位置，本文對Concat-UNet 網(wǎng)絡(luò)預(yù)測后的二值化圖片進行處理，通過輪廓提取與標注完成CT 影像上食管癌腫瘤的分割任務(wù)。Concat-UNet網(wǎng)絡(luò)的腫瘤分割可視化結(jié)果如圖10所示。從圖10可以看出，Concat-UNet網(wǎng)絡(luò)能夠?qū)崿F(xiàn)對腫瘤區(qū)域的精準分割。

圖10 Concat-UNet 腫瘤分割的可視化結(jié)果Fig.10 Visualization results of Concat-UNet tumor segmentation

3.4.5 不同損失函數(shù)的影響

本文采用的損失函數(shù)L=λ×LBCEWithLogits+(1-λ)×LDice（λ=0.6）。在BCE 的基礎(chǔ)上，增加了一定比例的Dice 損失函數(shù)，緩解了樣本不均衡對網(wǎng)絡(luò)訓(xùn)練的影響，但是Dice 損失函數(shù)容易使訓(xùn)練不穩(wěn)定。因此，本文探究Dice 損失函數(shù)的比例對評估結(jié)果的影響。

在Concat-UNet網(wǎng)絡(luò)上分別進行4 組實驗，將每組實驗中Dice 損失函數(shù)所占的比例逐漸增大，在同一個數(shù)據(jù)集上進行訓(xùn)練，再對同一個測試集進行評估，評估結(jié)果如表2所示。當λ取0.6時，Concat-UNet網(wǎng)絡(luò)的Dice、P和F1-Score 的值最大，腫瘤分割效果最好。

表2 不同比例的Dice 損失函數(shù)對Concat-UNet 網(wǎng)絡(luò)評估結(jié)果的影響Table 2 Influence of different proportions of Dice loss function on evaluation results of Concat-UNet network %

4 結(jié)束語

本文提出圖像分割網(wǎng)絡(luò)Concat-UNet。在卷積塊中引入跳躍連接和批量歸一化層，并改進損失函數(shù)，以提高特征學(xué)習(xí)的效率和網(wǎng)絡(luò)的優(yōu)化效果。實驗結(jié)果表明，相比傳統(tǒng)U-Net 網(wǎng)絡(luò)，Concat-UNet 能夠精準地對影像中的食管癌腫瘤進行分割標注，為今后食管癌腫瘤的診斷工作提供一種新的解決方法。下一步將CT 影像切片的2D 圖像改進為3D 影像，結(jié)合CT 影像中的3D 空間信息識別并提取腫瘤區(qū)域。此外，將本文工作應(yīng)用到實際的醫(yī)學(xué)影像系統(tǒng)中，構(gòu)建CT 影像拍片、標注、診斷一體式智能醫(yī)學(xué)影像系統(tǒng)也是下一步的重點研究方向。