李富豪，趙希梅，2

（1.青島大學計算機科學技術學院，山東青島 266071；2.山東省數字醫(yī)學與計算機輔助手術重點實驗室，山東青島 266071）

0 概述

鼻腔鼻竇腫瘤是臨床上的一種多發(fā)性疾病［1］，幾乎各類組織的腫瘤都可以發(fā)生在鼻腔鼻竇中，具有惡性高、轉移灶等特點［2］，使患者的生命安全受到極大的威脅。鼻腔鼻竇腫瘤較隱蔽，常與鼻竇炎并存，癥狀含混，導致易被忽略而延誤就診［3］。因此，實現早診斷、早治療對延長患者的生命具有十分重要的臨床意義［4］。臨床常采用影像學技術進行掃描檢查，其中CT 掃描的目的是判斷腫瘤的侵犯范圍，以便制定治療方案及治療后及時診斷是否復發(fā)［3］。一般情況下，由于腫瘤形狀不規(guī)則，很難進行測量，且測量準確性也有限，因此臨床醫(yī)生須花費大量時間手動追蹤病變輪廓。但僅憑醫(yī)生的肉眼判斷，產生的診斷結果往往帶有主觀性，難以實現精準診斷。

隨著數字醫(yī)療設備和計算機圖像處理［5］的快速發(fā)展和深度學習領域中算法和理論的涌現，用于醫(yī)學圖像分割領域的計算機輔助診斷（Computer Aided Diagnosis，CAD）［6］技術為鼻腔鼻竇腫瘤的診斷帶來了新的生機，為實現該腫瘤的早期診斷和精準治療奠定基礎。

目前，應用于圖像分割的算法主要分為傳統(tǒng)機器學習［7］和深度學習［8］2 大方面。在機器學習方面，PASSERA［9］提出并驗證了一種用于鼻竇和鼻腔腫瘤體積分析的分割算法，該算法基于半監(jiān)督模糊CMeans 聚類方法，具有較高的腫瘤面積量化精度，可用于腫瘤治療反應的評估。在深度學習方面，PASSERA 等［10］提出一種用于腸型腺癌（ITAC）體積評估的半自動分割方法，該方法基于高斯隱馬爾可夫隨機場（GHMRF）模型，在量化腫瘤面積方面具有較高的準確率。

鼻腔鼻竇腫瘤的CT 影像具有形態(tài)不規(guī)則、分界不均勻、密度不均的軟組織腫塊影等特征，影響神經網絡對腫瘤特征信息的學習和讀取，導致學習效率和分割準確度降低。本文對U-Net［11］算法結構進行改進，提出一種鼻腔鼻竇腫瘤的可變形神經網絡分割框架（D-Unet），以實現對腫瘤CT 圖像的自動精準分割。將可變形卷積網絡（Deformable Convolution Network，DCN）［12］融入D-Unet 網絡，使網絡具有自適應的感受野，以便應對不同形狀和尺寸的腫瘤并進行特征學習。在此基礎上，采用Tversky 損失函數［13］，并關注較小的目標，以解決樣本失衡問題。此外，為驗證所提算法的效果，將其與U-Net、Res-Unet［14］及Attention U-Net［15］算法進行對比實驗。

1 相關理論

1.1 U-Net 網絡

U-Net 是一種新的全卷積網絡（Fully Convolutional Network，FCN）［16］結構，多用于醫(yī)學圖像的分割。相比于傳統(tǒng)圖像，醫(yī)學圖像的表現更復雜，具有目標邊界模糊、對比度差等特點。而且，在生物醫(yī)學研究方面，通常無法獲得足夠的訓練樣本以完成深度學習，存在數據樣本量不足和樣本差異性較大等問題。U-Net 為解決這些問題提供了新的思路。

通常卷積神經網絡做圖像分割任務時，會在卷積后接上若干個全連接層，并將卷積層產生的特征圖（feature map）映射成為一個固定長度的特征向量，期望得到輸入圖像的分類概率。這主要適用于圖像級別的分類和回歸任務，但其存在存儲開銷大、重復計算、感受野較小等缺點。FCN 作為語義分割網絡的一種，可以將不同尺度的圖片作為輸入，利用反卷積將特征圖上采樣恢復到原圖大小，并將分類問題精確到目標圖片的每一個像素點，避免了冗余計算。但該網絡對圖片中的細節(jié)不敏感，而且割裂了局部和整體的一致性。

為解決以上問題，文獻［11］使用了U-Net 網絡，算法采用跳躍連接對醫(yī)學圖像進行分割，將擴張路徑中上采樣結果與收縮路徑中具有相同分辨率的子模塊的輸出進行連接，作為擴張路徑中下一個子模塊的輸入。通過學習目標的深層特征，并與后續(xù)層特征結合，從而保留高分辨率特征［17-18］。該算法由編碼器-解碼器組成，編碼器進行特征提取過程中，將逐漸減少池化層的空間維度。采用解碼器以精確定位，逐步修復物體的細節(jié)和空間維度。其結構如圖1 所示，左側可視為一個編碼器，右側可視為一個解碼器。編碼器有4 個子模塊組成，每個子模塊包含2 個卷積層，且每個子模塊后有1 個通過最大池化實現的下采樣層。輸入圖像的分辨率是572×572，第1～5 個模塊的分辨率分別是572×572、284×284、140×140、68×68 和32×32。解碼器也包含4 個子模塊，分辨率通過上采樣操作依次上升，并將低層特征和高層特征進行融合，直到與輸入圖像的分辨率一致。

圖1 U-Net 網絡結構Fig.1 Structure of U-Net network

綜上所述，U-Net 采用對稱結構，將高低層特征融合，從而能更好地恢復圖像細節(jié)，且支持少量數據樣本訓練，擁有更高的分割準確率。但該網絡依然對低層特征信息利用率不足，尤其對于鼻腔鼻竇腫瘤來說，其小目標物體存在較多，語義信息稀少，低層特征頗多，分割準確度會受到數據集影響。

1.2 可變形卷積

一般卷積神經網絡由于構建模塊中固定的幾何結構，同一層特征點的感受野大小不變，且局限于模型幾何變換，故均只對輸入圖片的固定位置進行特征學習。2017 年微軟亞洲研究院DAI 等［12］提出可變形卷積網絡，通過將額外的偏移量加入到常規(guī)卷積操作的每個采樣點上，使卷積操作中采樣點的位置根據目標形狀自由改變，擁有自適應的感受野，更好地解決了學習目標具有空間形變的問題，提升了特征提取的能力。

圖2 所示為常規(guī)卷積和3 種可變形卷積的采樣點位置，圖2（a）中的黑點表示常規(guī)卷積采樣位置，圖2（b）代表可變形卷積中具有增大偏移量的變形采樣點，圖2（c）和圖2（d）是圖2（b）的特殊情況，表示可變形卷積可以進行縮放、旋轉和不同長寬比變化的各種變換，其感受野的大小也根據采樣點位置的變化而變化，進一步展示了可變形卷積適應目標空間形變的能力。

圖2 3×3 常規(guī)卷積和變形卷積采樣點位置對比示意圖Fig.2 Schematic diagram of 3×3 conventional convolution and deformation convolution sampling point position comparison

如圖3 所示，可變形卷積通過在輸入特征圖上使用一個平行卷積層學習得到偏移量。其卷積核具有與當前卷積層相同的空間分辨率，輸出偏移量與輸入特征圖具有相同的空間分辨率，通道尺寸2N對應于N個2D 偏移。在訓練期間，采用雙線性插值方法同時學習用于生成輸出特征和偏移的卷積核。

圖3 3×3 可變形卷積結構Fig.3 Structure of 3×3 deformable convolution

在通常情況下，常規(guī)卷積操作由2 部分組成：1）在輸入的特征圖上使用規(guī)則網絡G進行采樣；2）計算采樣點的加權采樣值之和。G代表感受野的大小和擴張，例如：

定義一個擴張率為1的3×3大小的卷積核，對于輸出特征圖y上的每個位置m0，通過式（2）得到輸出值y（m0）：

其中：mn代表特征圖G中的每個位置。

在可變形卷積操作中，需要規(guī)則網絡G加上一個偏移量Δmn|n=1，2，…，N，N=|G|。

1.3 Tversky 損失函數

數據不平衡是醫(yī)學圖像分割中常見的問題，表現為病變像素的數量遠低于非病變像素的數量，雖然卷積神經網絡在快速和精確的圖像分割方面具有很好的潛力，但使用不平衡的數據進行訓練可能會導致預測精度過高而召回率過低。SALEHI 等［15］提出一種基于Tversky 指數的廣義損失函數，對假陽性（FPs）和假陰性（FNs）進行同等加權，以解決數據不平衡的問題，在精度和召回率之間找到更好的平衡。Tiversky 指數定義為：

其中：p和G分別為預測值和真實值二進制標簽的集合；α和β為控制FPs 和FNs 的加權大小。

使用式（5）定義Tiversky 損失函數：

其中：在最后層的輸出中，p0i為像素i是病變的概率；p1i為像素i是非病變的概率。同樣，g0i為1 時代表病變像素，為0 時代表非病變像素，g1i則相反。式（5）中關于p0i和p1i的損失梯度計算式如式（6）和式（7）所示：

Tversky 損失函數通過調整超參數α和β控制假陽性和假陰性之間的平衡，以可接受范圍內的精度下降為代價來訓練網絡獲得更高靈敏度，擁有更高的泛化能力。此外，提高訓練不平衡數據的網絡性能，這在許多醫(yī)學圖像分割任務中至關重要。

2 本文算法

2.1 D-Unet 網絡

本文網絡充分考慮了鼻腔鼻竇腫瘤數據集特性，一方面保留了原U-Net 網絡對稱的結構，另一方面針對原網絡無法充分學習目標形變信息和樣本失衡的問題，加入可變形卷積和使用Tversky 損失函數，提升網絡學習物體空間變化的能力，使每一層網絡能夠根據物體大小和形狀調整得到自適應的感受野，充分利用低層特征。D-Unet 網絡結構如圖4 所示，特征圖的大小在兩旁列出。

圖4 D-Unet 網絡結構Fig.4 Structure of D-Unet network

D-Unet 網絡將原U-Net 網絡收縮路徑中的常規(guī)卷積升級為可變形卷積，使用3×3 變形卷積核提取特征，為網絡提供一個穩(wěn)定且靈活的接受域，對學習鼻腔鼻竇腫瘤空間形變非常有利。通過加快訓練過程的處理速度，并在可變形卷積模塊中插入了一批歸一化層，從而解決內部協變移位問題。圖5 展示了可變形卷積模塊的具體結構。當圖片輸入到本文網絡時，首先將其尺寸調整為512×512，并通過3 通道的模型輸入，然后進入收縮路徑中進行特征提取。D-Unet 繼承了U-Net 在空間結構中采用增加特征圖個數而降低特征圖尺度的策略，并在可變形卷積模塊學習后，使用最大池化將圖像分辨率依次縮小了2 倍、4 倍、8 倍和16 倍。在最后一次常規(guī)卷積操作后進入網絡的擴張路徑，對特征圖進行3 種操作：上采樣，側邊合并和卷積。在擴張路徑中，一方面恢復圖像分辨率，另一方面結合可變形卷積模塊強化學習到的低層特征（位置、紋理），從而修復物體的細節(jié)和空間維度。

圖5 可變形卷積模塊結構Fig.5 Structure of deformable convolution module

2.2 評價指標

為評估本文算法的分割性能，使用3 個指標進行定量評價：Dice 系數，查準率PPV 和查全率TPR［19］。Dice 系數是一個度量預測集合和標簽集合相似性的指標；PPV 也稱為精度，表示真實陽性樣本占所有預測陽性樣本的比例；TPR 也稱為靈敏度，測量正確率。

其中：TTP為真正樣本數；FFP為假陽性樣本數；FFN表示假陰性樣本的個數；A為標簽真實值；B為預測分割結果；DDice系數的取值范圍是［0，1］，其值越大代表該算法的分割效果越準確；PPPV指標過低，代表分割結果不夠精準；TTPR太低說明較多鼻腔鼻竇腫瘤區(qū)域未被預測分割出來。

3 實驗結果及分析

3.1 實驗環(huán)境

本文實驗使用的設備環(huán)境是Windows 10（64 位）操作系統(tǒng)，內存為32 GB，GPU為NVIDIA GeForce GTX 1080Ti。使用的軟件環(huán)境是Anaconda3下的Spyder3.4，采用深度學習框架Tensorflow［20］進行實驗。實驗結果的可視化由tensorboard 和matplotlib 實現。

3.2 鼻腔鼻竇腫瘤分割數據集

本文所用到的醫(yī)學圖像數據均來自青島大學附屬醫(yī)院影像科，在臨床醫(yī)師的指導下認識鼻腔鼻竇腫瘤圖像的有效區(qū)域。經過對比，本文選取了一種最有利于鼻腔鼻竇腫瘤分割的標注形式，由一名專業(yè)醫(yī)師手動標注，使用開源標注工具labelme 按照COCO 公開數據集的標準制作了鼻腔鼻竇腫瘤檢分割數據集，本數據集共包含725 張圖像以及對應的725 個標簽文件，數據集中典型的CT 圖像如圖6所示。

圖6 鼻腔鼻竇腫瘤示例Fig.6 Examples of nasal cavity and paranasal sinuses tumor

數據集中的樣本被隨機分配為訓練集（480）、驗證集（120）和測試集（125），訓練集用于訓練并調整模型權重，驗證集用來選擇最優(yōu)權重，測試集用于性能評價。

3.3 實驗結果

本文系統(tǒng)地比較了D-Unet 與U-Net、Res-Unet和Attention U-Net 在鼻腔鼻竇腫瘤數據集上分割的差異，并給出了測試集上的鼻腔鼻竇腫瘤分割結果。

實驗參數設置：epoch 訓練輪數為100，每次迭代的batchsize 為4，采用Adam 優(yōu)化器［21］，使用Tversky作為損失函數。本文首先設置了3 組實驗來評估D-Unet 網絡在鼻腔鼻竇腫瘤分割任務中的性能，分別對可變形卷積和Tversky 損失函數進行了實驗測試。表1 所示為各個算法的對比結果，其中，實驗1為原U-Net 網絡，實驗2 代表未使用Tversky 作為損失函數的D-Unet 網絡，實驗3 代表本文算法D-Unet，加粗數字表示該組數據的最大值。

表1 不同算法的實驗結果對比Table 1 Comparison of experimental results of different algorithms %

從各項評價指標來看，本文算法與原U-Net 網絡相比，在一定程度上提升了鼻腔鼻竇腫瘤分割精度，錯誤分割區(qū)域占比變小。這是因為數據集中小目標圖片較多，使用Tversky 損失函數關注小腫瘤，能夠進一步提升測試集的分割精度。

將本文算法分別與U-Net、Res-Unet 和Attention U-Net 進行測試對比，結果如表2 所示。由表2 可知，D-Unet 各項指標均有一定提升，進一步驗證了本文算法的性能。為進一步觀察3 種模型的分割結果，對比了3 種模型對鼻腔鼻竇腫瘤的分割效果，如圖7所示。通過對比不同算法分割結果的細節(jié)發(fā)現，相比于其他3 種算法，本文網絡D-Unet 分割得到的鼻腔鼻竇腫瘤區(qū)域形狀與標簽更加接近。

表2 不同算法在測試集上的定量對比Table 2 Quantitative comparison of different algorithms on test set %

圖7 不同算法的分割結果Fig.7 Segmentation results of different algorithms

細小的腫瘤突出所占像素較少、特征不明顯。但由圖7 可知，D-Unet 對模糊的邊界具有更精確的分割細節(jié)，而其他算法受到背景特征的干擾，且忽略了鼻腔鼻竇腫瘤細微特征，因此分割效果不佳。此外，本文算法可以利用可變形卷積充分學習低層特征，為最終的分割結果提供位置、形狀等信息。

本文還對算法的訓練時間進行了對比，如表3所示，D-Unet 框架因為添加了可變形卷積，網絡計算量變大，模型訓練時間有所增加，每一輪次的平均時間為52 s。但在醫(yī)學圖像領域，精度更為重要，而本文算法相比于其他算法具有更高的分割準確率。

表3 不同算法每輪的訓練時間Table 3 Training time of each round of different algorithms s

4 結束語

為提高U-Net 網絡分割精度，本文提出一種基于D-Unet 神經網絡的新算法。針對鼻腔鼻竇腫瘤空間形變特點，在U-Net 網絡中加入可變形卷積，并利用可變形卷積能夠依據目標形態(tài)改變感受野的特點，充分學習低層特征，提升特征提取的能力。為解決數據集數據不平衡的問題，使用Tversky 作為損失函數，從而提升網絡的分割效果。實驗結果表明，所提算法與U-Net、Res-Unet 等常見算法相比，能有效提高鼻腔鼻竇腫瘤分割精度。下一步將在保證算法準確率的前提下，通過優(yōu)化網絡架構提升訓練速度，并將D-Unet 架構擴展到三維，以便在醫(yī)學圖像分析任務中獲得更精確的結果。