程照雪，李 陽，周 妍，魯慧民

長春工業(yè)大學(xué) 計算機科學(xué)與工程學(xué)院，長春 130102

肺癌是世界上最致命的癌癥之一，患者在五年內(nèi)生存率僅為19%[1]。肺癌生存率與首次確診時的疾病階段密切相關(guān)，由于早期肺癌通常無癥狀，多數(shù)患者到中晚期才被診斷，只有21%的患者在早期能夠被確診[2]。如能做到早期篩查，則患者五年內(nèi)生存率可以達到70%～90%，因此患者的早診早治至關(guān)重要[3]。目前，臨床上以非侵入式的計算機斷層掃描（computed tomography，CT）作為篩查肺癌的常規(guī)手段[4]。

肺癌在CT 上的早期表現(xiàn)通常為肺結(jié)節(jié)，是圓形或者類圓形的致密影。肺結(jié)節(jié)分割是肺癌早期診斷的關(guān)鍵步驟，能夠輔助放射科醫(yī)生評估結(jié)節(jié)直徑和形態(tài)。然而肺結(jié)節(jié)通常結(jié)構(gòu)邊界模糊、大小形狀各異、紋理不均勻以及與肺實質(zhì)中血管截面等組織相似，會對醫(yī)生的判斷產(chǎn)生干擾[5]。因此，開發(fā)肺結(jié)節(jié)自動分割技術(shù)，可以提高肺癌臨床診斷過程的效率，對后續(xù)診療具有重要意義。

1 相關(guān)工作

近年來，許多深度學(xué)習(xí)方法被提出，并被應(yīng)用于肺結(jié)節(jié)分割。深度學(xué)習(xí)模型利用結(jié)節(jié)切片進行訓(xùn)練，對于輸入圖像數(shù)據(jù)能夠自動地學(xué)習(xí)并提取其特征，完成肺結(jié)節(jié)的分割任務(wù)[6]。Long等人[7]提出全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional networks，F(xiàn)CN），成功解決了語義級別的圖像分割問題。然而FCN的性能依賴于大量標注數(shù)據(jù)集，分割結(jié)果不夠精細。Ronneberger等人[8]在FCN基礎(chǔ)上提出具有完全對稱結(jié)構(gòu)的U-Net 模型，與FCN 不同，U-Net在進行跳躍連接時使用拼接操作進行特征融合，而非逐點相加，分割效果更好。

U-Net具有靈活、簡單的優(yōu)點，并且在少量樣本下依舊能獲得良好的分割效果，使得很多學(xué)者對其結(jié)構(gòu)進行進一步研究。

鐘思華等人[9]提出一種改進的U-Net 分割算法，通過引入密集連接來加強網(wǎng)絡(luò)對特征的傳遞和利用，并提出混合損失函數(shù)來緩解圖像類不平衡問題，提高了肺結(jié)節(jié)分割的準確率。Keetha等人[10]在U-Net之間集成雙向增強特征金字塔網(wǎng)絡(luò)，提出了U-Det網(wǎng)絡(luò)。此外，利用Mish激活函數(shù)和掩膜類別權(quán)重來提高分割效率。Oktay等人[11]在U-Net 的基礎(chǔ)上加入一個集成注意力門（attention gate，AG），提出Attention U-Net，通過AG 消除跳躍連接過程中的無關(guān)信息及噪聲，降低模型計算消耗。張淑軍等人[12]提出一種新的深度分割網(wǎng)絡(luò)SAU-Net，使用自注意力模塊增加全局信息，將U-Net中的級聯(lián)結(jié)構(gòu)改為逐像素相加，減小維度，降低計算量。Zhou 等人[13]針對U-Net 中的跳躍連接進行改進提出U-Net++，設(shè)計密集跳躍路徑將高分辨率圖像從編碼器逐漸地和解碼器中相應(yīng)圖像優(yōu)先進行融合，獲得多層次的特征，極大地縮減了參數(shù)量。黃鴻等人[14]基于融合自適應(yīng)加權(quán)聚合策略提出一種改進的U-Net++網(wǎng)絡(luò)。首先在卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）中提取出不同深度特征語義級別的信息，再結(jié)合權(quán)重聚合模塊，將學(xué)習(xí)得到的權(quán)重加載到各個特征層上采樣得到的分割圖上以得到最終的分割結(jié)果。Huang等人[15]針對U-Net和U-Net++中跳躍連接中所存在的特征提取的不足，提出U-Net3+網(wǎng)絡(luò)。通過全尺度跳躍連接進行多尺度圖像融合，獲得更準確的位置感知以及邊界連貫的分割圖。

盡管上述模型在肺結(jié)節(jié)整體分割方面均取得了較好的效果，但在一定程度上忽略了結(jié)節(jié)模糊邊緣特征對分割結(jié)果的影響。Gabor濾波器以非監(jiān)督的方式提取圖像的邊緣和紋理等內(nèi)部結(jié)構(gòu)信息，對紋理特征的表述能力更強，能夠減輕CNN 模型對訓(xùn)練樣本的依賴度及特征提取的壓力[16]。Luan等人[17]通過將Gabor濾波器引入深度學(xué)習(xí)，使用Gabor濾波器來調(diào)制可學(xué)習(xí)的卷積濾波器，設(shè)計了Gabor 卷積網(wǎng)絡(luò)，用以增強圖像深層特征表示，在減少網(wǎng)絡(luò)參數(shù)量的同時，增強了網(wǎng)絡(luò)對圖像方向和尺度變化的魯棒性。與傳統(tǒng)卷積濾波器相比，Gabor卷積網(wǎng)絡(luò)具有更強的捕獲特征圖中紋理特征的能力，在圖像分類任務(wù)中表現(xiàn)良好，但很少用于分割任務(wù)的研究中。

綜上，結(jié)合Gabor 卷積對紋理特征的提取能力和U-Net網(wǎng)絡(luò)的完全對稱結(jié)構(gòu)與跳躍連接，提出一種對稱雙分支結(jié)構(gòu)分割模型GEU-Net（Gabor edge U-Net）。本文的貢獻有以下三方面：

（1）網(wǎng)絡(luò)結(jié)構(gòu)：模型主干分支通過利用U-Net 來提取結(jié)節(jié)全局信息。設(shè)計Gabor 卷積模塊作用于邊緣分支來彌補U-Net處理邊緣紋理能力有限的缺點，以突出結(jié)節(jié)分割任務(wù)中的顯著邊緣特征。通過跳躍連接對主干分支與邊緣分支編碼器提取到的特征進行融合，使得網(wǎng)絡(luò)可以更好地分割目標，構(gòu)造出GEU-Net網(wǎng)絡(luò)模型。

（2）損失函數(shù)與激活函數(shù)：使用Focal Loss 函數(shù)解決由于邊緣樣本在整個圖像中所占比例過小，導(dǎo)致的正負類樣本失衡的問題，通過交叉熵損失函數(shù)作用于主干分支以及Focal Loss作用于邊緣分支，將二者進行加權(quán)融合作為整個網(wǎng)絡(luò)的損失來充分訓(xùn)練，進一步優(yōu)化模型。使用Swish激活函數(shù)替代ReLU函數(shù)緩解深層網(wǎng)絡(luò)中存在的梯度消失問題。

（3）數(shù)據(jù)預(yù)處理：分析并制作了邊緣標簽。為充分訓(xùn)練邊緣分支，利用LIDC-IDRI數(shù)據(jù)集和LNDb數(shù)據(jù)集中的分割標簽制作了肺結(jié)節(jié)邊緣輪廓標簽，并將其向兩端擴充了一個單位像素，作為邊緣分支訓(xùn)練標簽。

2 GEU-Net模型結(jié)構(gòu)

2.1 GEU-Net模型

設(shè)計的GEU-Net分割網(wǎng)絡(luò)如圖1所示，由主干分支與邊緣分支兩個部分組成。

圖1 GEU-Net 模型結(jié)構(gòu)Fig.1 Model structure of GEU-Net

主干分支為U型網(wǎng)絡(luò)，整個過程分為編碼階段和解碼階段。編碼階段由兩個連續(xù)的3×3 卷積來提取結(jié)節(jié)特征，由于Swish激活函數(shù)在深層網(wǎng)絡(luò)中緩解梯度消失能力優(yōu)于ReLU激活函數(shù)，并且具有非單調(diào)且平滑的特性[18]，因此將ReLU 激活函數(shù)替換為Swish 函數(shù)。將一個步長為2的2×2最大池化層用于下采樣，共重復(fù)四次來降低圖像的尺寸獲得結(jié)節(jié)淺層特征。解碼階段由一個2×2的反卷積和兩個連續(xù)的3×3卷積組成，共經(jīng)歷四次上采樣來恢復(fù)圖像尺寸并獲取結(jié)節(jié)深層特征。在最后階段，應(yīng)用1×1 卷積將圖像的特征映射減少到所需通道數(shù)，生成分割圖像。為避免解碼時丟失大量空間信息，采用跳躍連接的方法，將編碼器中提取到的結(jié)節(jié)特征拼接到解碼器中對應(yīng)的層結(jié)合獲取更多結(jié)節(jié)信息。

由于結(jié)節(jié)邊緣中的像素特征含有較少的上下文信息，因此在網(wǎng)絡(luò)進行跳躍連接時并不能將結(jié)節(jié)邊緣特征信息進行充分的利用。為此，設(shè)計了具有編碼-解碼結(jié)構(gòu)的邊緣分支。編碼部分使用Gabor 卷積模塊（Gabor convolutional module，GCM），對結(jié)節(jié)紋理特征進行有效提取，以充分訓(xùn)練模型對結(jié)節(jié)邊緣的提取能力。經(jīng)GCM 構(gòu)成的編碼器后，生成的特征圖尺寸將減半。解碼部分經(jīng)歷四次上采樣將GCM提取到的特征還原至輸入尺寸。為實現(xiàn)網(wǎng)絡(luò)對邊緣特征的有效利用，在邊緣分支進行編碼過程中采用跳躍連接的方式將提取到的紋理信息拼接到主干分支中進行整合，將網(wǎng)絡(luò)提取到的淺層特征與深層特征進行融合，以獲得更加精確的病變邊界定位信息，得到更為精細的分割結(jié)果。

2.2 Gabor卷積模塊

Gabor 卷積模塊結(jié)構(gòu)如圖2 所示。Gabor 卷積模塊由兩個卷積層（一個3×3 卷積和一個Gabor 卷積）、一個激活層、一個池化層以及一個通道注意力機制（channel attention，CA）組成。GCM通過一個3×3的卷積進行結(jié)節(jié)特征提取獲得信息，隨后使用一個Gabor卷積層增強網(wǎng)絡(luò)對結(jié)節(jié)邊緣特征的提取能力。利用最大池化層來降低圖像分辨率，從而減少參數(shù)，防止過擬合，提高網(wǎng)絡(luò)的泛化能力。經(jīng)過Gabor 卷積層提取到的結(jié)節(jié)特征重要性不同，因此需要進一步使用CA來增強邊緣紋理特征的響應(yīng)，以提高邊緣紋理特征的提取能力。

圖2 Gabor卷積模塊結(jié)構(gòu)Fig.2 Gabor convolutional module structure

Gabor濾波器能夠增強結(jié)節(jié)邊緣的尺度和方向分解能力，對結(jié)節(jié)的邊緣信息較為敏感，在提取結(jié)節(jié)局部特征的同時，對結(jié)節(jié)的不同尺度、不同方向上的特征能夠進行充分提取。然而，在目前流行的基于深度學(xué)習(xí)的肺結(jié)節(jié)分割算法中，多數(shù)忽略了對于結(jié)節(jié)紋理特征的提取，使得分割效果不夠理想。因此選擇將Gabor 濾波器引入CNN，設(shè)計出Gabor卷積層（Gabor convolutional layer，GCL），在每個卷積層中，卷積濾波器被具有不同方向和不同尺度的Gabor 濾波器調(diào)制，形成了Gabor 方向濾波器（Gabor orientation filters，GoFs），相應(yīng)地，卷積得到的結(jié)節(jié)特征被增強。GoFs在肺結(jié)節(jié)圖像上的具體生成過程如圖3所示。

圖3 Gabor卷積層過程Fig.3 Gabor convolutional layer process

在卷積濾波器經(jīng)過Gabor濾波器調(diào)制之前，通過反向傳播算法進行學(xué)習(xí)，被稱為學(xué)習(xí)濾波器。在CNN中，標準的卷積濾波器大小為C×W×W,C為輸入特征圖的通道數(shù)，W×W為卷積核大小。在給定尺度為v的學(xué)習(xí)濾波器上使用U個方向(U=4)、大小為W×W的Gabor濾波器調(diào)制成GoFs。GoFs的公式如式（1）所示：

其中，Ci,o代表學(xué)習(xí)濾波器，大小為C×W×W，°代表矩陣的逐像素乘積操作，u∈[1,U],G(u,v)表示在v尺度下u方向上的大小為W×W的Gabor 濾波器。由于G(u,v)是已知的，因此網(wǎng)絡(luò)只需要保存C×W×W個可學(xué)習(xí)的參數(shù)，這樣在不增加額外參數(shù)的情況下就能增強網(wǎng)絡(luò)對結(jié)節(jié)方向和尺度的分解能力，同時能夠捕獲結(jié)節(jié)邊緣特征。

Gabor方向濾波器計算如式（2）所示：

在GCL 中，GoFs 用于增強特征圖深層特征中的尺度和方向信息。GoFs與輸入特征圖進行卷積之后得到輸出特征圖。的定義如式（3）所示：

其中，F(xiàn)為輸入特征圖，表示第i個尺度為v的GoFs，輸出特征圖含有C個通道，則第k個特征圖的計算方式如式（4）所示：

其中，c代表輸入特征圖F和Ci,u的通道，?代表卷積操作，k代表濾波器的方向數(shù)，取值范圍為[1,U]。

GoFs與輸入結(jié)節(jié)特征圖的卷積過程如圖3所示，將一組大小為C×H×W的輸入結(jié)節(jié)特征圖與一組大小為4×C×W×W的4 個GoFs 分別按照式（3）進行卷積操作，輸出4 個大小為C×H×W的結(jié)節(jié)特征圖。與標準的卷積層的輸出結(jié)節(jié)特征圖不同，經(jīng)過GCL 的輸出特征圖方向和尺度信息得到增強，使得網(wǎng)絡(luò)學(xué)習(xí)到的特征對于圖像尺度和方向變化具有更強的魯棒性，有利于網(wǎng)絡(luò)對結(jié)節(jié)邊緣特征進行學(xué)習(xí)。在進行反向傳播的過程時，網(wǎng)絡(luò)僅需更新Ci,o就能實現(xiàn)反向傳播。

2.3 損失函數(shù)

2.3.1 交叉熵損失函數(shù)

二進制交叉熵損失函數(shù)（binary cross entropy，BCE）被單獨用于評估每個像素的類預(yù)測，隨后對得到的所有像素求均值，使得圖像中的所有像素能夠被平等學(xué)習(xí)。BCE損失函數(shù)的定義如式（5）：

其中，N代表樣本像素點個數(shù)，yi代表像素點i的類別，正樣本為1，負樣本為0，pi代表像素點預(yù)測為正的概率。

2.3.2 Focal Loss函數(shù)

由于在肺結(jié)節(jié)的分割過程中，結(jié)節(jié)邊緣的像素數(shù)量遠小于背景區(qū)域像素數(shù)量，導(dǎo)致訓(xùn)練過程中很難學(xué)習(xí)到結(jié)節(jié)目標區(qū)域的邊緣特征，降低了分割網(wǎng)絡(luò)的性能。Focal Loss[19]是一種用于解決正負類樣本不均衡問題的損失函數(shù)，為提升模型的泛化能力，其引入動態(tài)縮放系數(shù)γ，來增強學(xué)習(xí)難例樣本的特征，減小易分樣本的貢獻。為提高網(wǎng)絡(luò)的分割性能，需要加強肺結(jié)節(jié)圖像邊緣特征的利用，為此引入Focal Loss。Focal Loss 的定義如式（6）所示：

其中，N代表樣本像素點個數(shù)，β代表平衡正負樣本重要性的參數(shù)權(quán)重因子，取值范圍為[0,1]。yi代表像素點i的類別，正樣本為1，負樣本為0，pi則代表像素點i預(yù)測為正的概率。

2.3.3 混合損失函數(shù)

單一的損失函數(shù)往往無法解決樣本不均衡所造成的模型性能下降問題?；旌蠐p失函數(shù)能夠聯(lián)合不同損失函數(shù)間的優(yōu)點，緩解單一損失函數(shù)缺陷，提高模型泛化能力。使用BCE損失函數(shù)的模型預(yù)測結(jié)果會嚴重偏向數(shù)量較高的類別，導(dǎo)致對邊緣區(qū)域中較為模糊的像素進行分類時性能會急劇下降。為進一步增強結(jié)節(jié)區(qū)域的邊緣輪廓特征來提升網(wǎng)絡(luò)分割性能，提出一種混合損失函數(shù)用于提高模型對肺結(jié)節(jié)區(qū)域的分割能力。

GEU-Net是一個雙分支結(jié)構(gòu)，包括一條主干分支網(wǎng)絡(luò)，其使用BCE損失函數(shù)來學(xué)習(xí)肺結(jié)節(jié)整體區(qū)域，同時將Focal Loss 作用于邊緣分支以緩解樣本極不均衡的情況。保證主干網(wǎng)絡(luò)在學(xué)習(xí)到所有結(jié)節(jié)像素的同時，利用邊緣分支抑制主干網(wǎng)絡(luò)因使用BCE損失函數(shù)所造成的預(yù)測偏向樣本數(shù)量較多的背景像素的現(xiàn)象，同時使用Focal Loss的邊緣分支還可以有效補充邊緣信息，最后將二者進行加權(quán)融合作為整個網(wǎng)絡(luò)的損失函數(shù)L。具體如式（7）所示：

其中，α為權(quán)重因子，用于平衡結(jié)節(jié)區(qū)域損失與邊緣區(qū)域損失對肺結(jié)節(jié)最終分割結(jié)果的影響。

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)

為驗證GEU-Net 的分割效果，設(shè)計了大量對比實驗，實驗數(shù)據(jù)分別來自公開的肺部影像數(shù)據(jù)庫LIDCIDRI 和LNDb。其中LIDC-IDRI 數(shù)據(jù)集包括來源于美國國家癌癥研究所所收集的1 010 個患者的1 018 套全肺CT 掃描圖像[20]。數(shù)據(jù)集中的每個實例圖像均由4 位醫(yī)師分別獨立診斷，標注了病患的位置及類別。共包含3 種類別信息：（1）≥3 mm 的結(jié)節(jié)；（2）<3 mm 的結(jié)節(jié)；（3）≥3mm的非結(jié)節(jié)。數(shù)據(jù)集的每個病例都有一個存儲結(jié)節(jié)信息的XML 文件，其中對于≥3 mm 的結(jié)節(jié)根據(jù)精細度、內(nèi)部結(jié)構(gòu)、鈣化、球形度、邊緣、分葉征、毛刺征、紋理和良惡性等進行結(jié)節(jié)特征描述，對于<3 mm 的結(jié)節(jié)，其信息簡單地由結(jié)節(jié)所在圖像標識以及結(jié)節(jié)中心點坐標組成，每張圖像的像素為512×512，實驗共獲得4 115張圖像。LNDb 數(shù)據(jù)集來源于葡萄牙波爾圖的中央醫(yī)院在2016年至2018年所收集的294次CT掃描圖像，每張圖像的像素為512×512，LNDb中的CT圖像手動注釋方法與LIDC-IDRI數(shù)據(jù)集相同，注釋過程因不同類別而異[21]。為完整得到結(jié)節(jié)標簽，選取了結(jié)節(jié)≥3 mm 的圖像，共得到2 664 張CT 圖像，圖4 給出了實驗數(shù)據(jù)預(yù)處理的過程，包含（1）主干網(wǎng)絡(luò)數(shù)據(jù)預(yù)處理過程和（2）邊緣分支標簽預(yù)處理。

圖4 實驗數(shù)據(jù)預(yù)處理Fig.4 Experimental data pre-processing

3.1.1 主干分支數(shù)據(jù)預(yù)處理

選取的圖像首先根據(jù)病例文件夾中的標注文件標注出圖像中的肺結(jié)節(jié)位置。由于肺結(jié)節(jié)在原始CT圖像中占比很小，會產(chǎn)生類不平衡的問題，從而影響網(wǎng)絡(luò)的訓(xùn)練過程。因此對得到的原始圖像進行裁剪以減少肺部其他組織對實驗結(jié)果造成的影響。根據(jù)標注文件中提供的結(jié)節(jié)位置中心點將原始圖像與標簽圖像尺寸裁剪為96×96像素大小，完整保留結(jié)節(jié)信息。預(yù)處理實驗結(jié)果如圖4（1）過程所示。

3.1.2 邊緣分支數(shù)據(jù)預(yù)處理

為增強模型對結(jié)節(jié)邊緣特征的學(xué)習(xí)能力，通過制作肺結(jié)節(jié)邊緣標簽，使得網(wǎng)絡(luò)能夠充分學(xué)習(xí)結(jié)節(jié)的邊緣標簽，所以將裁剪得到的結(jié)節(jié)標簽使用Canny算法提取結(jié)節(jié)邊緣，并將其向兩端分別延展一個單位像素作為結(jié)節(jié)邊緣標簽，如圖4（2）所示，具體步驟如下：

（1）將結(jié)節(jié)標簽記為F(x,y)，使用Sobel 算子[22]獲取圖像梯度信息記為G(x,y)，如式（8）所示：

（2）對提取到的梯度值進行非極大值抑制。

（3）用雙閾值算法檢測和連接邊緣，得到完整的邊緣圖像記作G′(x,y)。

（4）遍歷G′(x,y)得到邊緣坐標信息，分別對檢測到的每個邊緣點擴展至三個像素點，即每個邊緣點向左右兩端延展一個單位像素，得到更加清晰的結(jié)節(jié)邊緣標簽圖像Gedge_label。

3.2 實驗細節(jié)

實驗基于PyTorch1.8深度學(xué)習(xí)框架，使用Python3.8編程語言，計算機使用內(nèi)存為16 GB，顯存為6 GB 的NVIDIA GeForce RTX3060。

根據(jù)3.1 節(jié)中實驗數(shù)據(jù)處理的過程，分別將LIDCIDRI 得到的4 115 張肺結(jié)節(jié)圖像和LNDb 得到的2 664張肺結(jié)節(jié)圖像按照8∶1∶1的比例分別劃分訓(xùn)練集、驗證集和測試集。由于肺結(jié)節(jié)圖像分割數(shù)據(jù)的標記量較少，從而導(dǎo)致模型容易出現(xiàn)過擬合現(xiàn)象。將得到的數(shù)據(jù)通過隨機裁剪、隨機水平翻轉(zhuǎn)、隨機旋轉(zhuǎn)進行數(shù)據(jù)擴充來提升網(wǎng)絡(luò)的泛化能力。

參數(shù)訓(xùn)練使用Adam優(yōu)化算法，批量大小設(shè)置為16，訓(xùn)練迭代100 次，動量因子為0.9，初始學(xué)習(xí)率均設(shè)置為0.05，學(xué)習(xí)率使用步長衰減策略，周期為10，即每10輪學(xué)習(xí)率減少50%。

3.3 實驗評價標準

實驗采用準確率（Accuracy）和召回率（Recall）作為評價指標，具體公式如式（9）、（10）所示：

Accuracy 表示預(yù)測的正樣本占所有樣本的比例，Recall代表預(yù)測的正樣本占所有真實正樣本的比例。由于肺結(jié)節(jié)圖像中正負類樣本極度不均衡，Accuracy 和Recall并不能很好地衡量分割效果。因此實驗還選取了醫(yī)學(xué)圖像分割領(lǐng)域中常用的評價指標：平均交并比（mean intersection over union，MIoU）、Dice 系數(shù)來評估分割模型的性能[23]。MIoU代表模型對每一類預(yù)測的結(jié)果與真實值的交集和并集的比值，再求和平均的結(jié)果。Dice系數(shù)則是用來衡量預(yù)測結(jié)果與真實結(jié)果的相似程度，值越大代表模型越好。具體公式如式（11）、（12）所示：

其中，TP 表示正確預(yù)測為結(jié)節(jié)區(qū)域的像素數(shù)量、TN 表示預(yù)測為其他區(qū)域的像素數(shù)量、FP 表示將其他區(qū)域預(yù)測為結(jié)節(jié)區(qū)域的像素數(shù)量、FN 則表示錯誤將結(jié)節(jié)區(qū)域預(yù)測為其他區(qū)域的像素數(shù)量，k代表類別。

3.4 實驗結(jié)果與分析

3.4.1 激活函數(shù)對比

神經(jīng)網(wǎng)絡(luò)的本質(zhì)是函數(shù)擬合，于是通過使用激活函數(shù)為模型引入非線性，更好地逼近任意函數(shù)。合適的激活函數(shù)可以提高模型的性能，實驗分別對比了ReLU、Mish[10]和Swish 激活函數(shù)[18]對GEU-Net 模型性能的影響，實驗對比結(jié)果如表1所示。

表1 不同激活函數(shù)對GEU-Net性能的影響Table 1 Effect of different activation functions on performance of GEU-Net 單位：%

由表1 可以看出，模型采用Swish 激活函數(shù)之后分割指標均優(yōu)于使用ReLU或Mish激活函數(shù)。Swish激活函數(shù)提高了模型的非線性，對模型的泛化能力有一定提升。

3.4.2 損失函數(shù)對比

為探究不同損失函數(shù)對模型分割性能的影響以及驗證所提出的混合損失函數(shù)的效果，對比了不同損失函數(shù)作用于GEU-Net 模型。包括BCE 損失函數(shù)和Focal Loss，由于Dice 系數(shù)是醫(yī)學(xué)圖像分割中的重要衡量標準，可以通過預(yù)測結(jié)果與真實標簽之間的重疊區(qū)域大小來計算分割精度，因此也將Dice損失納入對比實驗中。對比結(jié)果如表2所示。

表2 不同損失函數(shù)在網(wǎng)絡(luò)中的表現(xiàn)Table 2 Performance of different loss functions in network 單位：%

觀察表2可知，當(dāng)網(wǎng)絡(luò)分別使用單一的BCE與Focal loss損失時，模型取得了較優(yōu)的性能。但Dice損失表現(xiàn)并不理想，這是由于肺結(jié)節(jié)通常體積較小，使用Dice損失的模型訓(xùn)練往往不穩(wěn)定。但是當(dāng)Dice損失與其他函數(shù)混合使用時，性能往往可以得到提升，使得混合損失函數(shù)的使用更為廣泛。由實驗結(jié)果可以看出，使用混合損失函數(shù)的模型效果高于單一損失函數(shù)的結(jié)果。使用單一損失函數(shù)的網(wǎng)絡(luò)模型分割效果存在缺陷，這是因為深度學(xué)習(xí)網(wǎng)絡(luò)在進行訓(xùn)練時網(wǎng)絡(luò)參數(shù)量較大，單一的損失函數(shù)難以遍歷所有像素所致。考慮到三種損失函數(shù)的優(yōu)缺點，并結(jié)合對比實驗的實驗結(jié)果來看，實驗最終選擇以主干分支選用BCE損失函數(shù)以及邊緣分支使用Focal Loss 損失函數(shù)來彌補非混合損失函數(shù)模型分割結(jié)果的不足，更好地解決正負類樣本不均衡的情況，加強網(wǎng)絡(luò)對難例樣本的學(xué)習(xí)，使得網(wǎng)絡(luò)的分割性能更優(yōu)。

為尋求最優(yōu)混合損失函數(shù)的效果，通過使用不同的權(quán)重因子來訓(xùn)練模型。表3 列出了不同權(quán)重因子對GEU-Net 性能的影響。由表3 可以看出當(dāng)α設(shè)置為0.5時，Dice 系數(shù)達到了92.79%，模型的性能表現(xiàn)最佳，此時的α=0.5 即為最佳權(quán)重因子。

表3 不同權(quán)重因子對GEU-Net性能的影響Table 3 Effects of different weighting factors on GEU-Net performance 單位：%

3.4.3 Gabor卷積模塊消融實驗

為驗證Gabor卷積模塊的特征提取能力，設(shè)計消融實驗對其進行驗證。所有實驗訓(xùn)練配置均相同。以U-Net網(wǎng)絡(luò)為基線模型，對比沒有加入Gabor卷積模塊的邊緣分支網(wǎng)絡(luò)記作EU-Net，GEU-Net 網(wǎng)絡(luò)邊緣分支中的編碼器部分一共有五層，將編碼器中不同的卷積層從第一層至第五層分別替換為Gabor 卷積模塊記作GE1～GE5來進行消融實驗。具體結(jié)果如表4所示。

表4 消融實驗性能對比Table 4 Ablation experiment performance comparison 單位：%

對比原始U-Net模型，加入邊緣分支后的模型對結(jié)節(jié)像素的判別能力得到了有效提升。隨著將Gabor 卷積模塊逐步替換原始卷積，GEU-Net對結(jié)節(jié)邊緣輪廓特征的捕獲能力逐漸得到提升，當(dāng)將全部編碼層替換為Gabor卷積模塊后網(wǎng)絡(luò)性能達到最優(yōu)。同時為了更加直觀地展現(xiàn)GEU-Net的分割性能，繪制了消融實驗訓(xùn)練曲線圖，包括了消融實驗訓(xùn)練過程中的損失曲線，如圖5（a）所示。為驗證邊緣分支充分學(xué)習(xí)到了肺結(jié)節(jié)區(qū)域的邊緣特征，繪制了Dice、MIoU、Recall 和Accuracy 曲線，如圖5（b）～（e）所示。具體曲線如圖5所示。

圖5 消融實驗曲線對比Fig.5 Ablation experiment curve comparison

從訓(xùn)練曲線來看，GEU-Net在各項指標上均領(lǐng)先于U-Net模型。并且邊緣分支的提出改善了模型對肺結(jié)節(jié)區(qū)域分割的效果，Dice 系數(shù)達到了90.94%，與U-Net 模型相比提升了5.30 個百分點，MIoU 提高了6.69 個百分點，分割性能也有所提升。當(dāng)將Gabor卷積模塊逐步應(yīng)用于邊緣分支網(wǎng)絡(luò)之后，模型的性能也得到了相應(yīng)提升，將全部編碼層替換為Gabor卷積模塊后網(wǎng)絡(luò)性能達到最優(yōu)，Dice系數(shù)達到了92.79%，與EU-Net相比提升了1.85個百分點，MIoU與EU-Net相比提升了2.91個百分點。相比U-Net，使用邊緣分支的網(wǎng)絡(luò)收斂速度更快，并且迭代訓(xùn)練次數(shù)達到50 輪以后，模型的損失便逐漸趨于穩(wěn)定，其在訓(xùn)練集的損失低于1%，可以充分提取到結(jié)節(jié)區(qū)域的邊緣特征，提高了模型的分割性能。

3.4.4 對比實驗

為驗證提出的GEU-Net 模型分割效果，在同樣的訓(xùn)練數(shù)據(jù)下使用相同的訓(xùn)練參數(shù)，分別訓(xùn)練了FCN[7]、SegNet[24]、U-Net[8]、Attention U-Net[11]、U-Net++[13]以 及U-Net3+[15]六種模型作為對比實驗。對比實驗結(jié)果見表5和表6。

表5 LIDC-IDRI對比實驗結(jié)果Table 5 LIDC-IDRI comparative experiment results 單位：%

表6 LNDb對比實驗結(jié)果Table 6 LNDb comparative experiment results 單位：%

從表5和表6可以看出，F(xiàn)CN網(wǎng)絡(luò)的分割性能最低，這是因為FCN 對結(jié)節(jié)區(qū)域中的細節(jié)信息不敏感，忽略了像素與像素之間的關(guān)系，無法學(xué)習(xí)全局上下文信息。SegNet 由于沒有使用跳躍連接從而無法將淺層的特征信息發(fā)送到更深層，全局上下文信息依然不能被利用。U-Net網(wǎng)絡(luò)雖然使用了跳躍連接但結(jié)節(jié)特征的表達性不高，分割結(jié)果不夠精細。三種模型的Dice、MIoU 以及Recall 的數(shù)值都較低。引入軟注意力機制的Attention U-Net模型，使得小結(jié)節(jié)區(qū)域的目標特征值增大，各項指標均有所提升。U-Net++和U-Net3+模型則是對U-Net網(wǎng)絡(luò)更進一步改進，均是利用了多尺度融合策略，通過多層次的特征融合來增加模型的學(xué)習(xí)能力，在融合了不同層次特征之后模型的各項指標也均有所提升。但是以上模型都沒有重點關(guān)注結(jié)節(jié)圖像的邊緣輪廓，忽略了結(jié)節(jié)圖像所存在的邊緣模糊特性，出現(xiàn)圖像欠分割現(xiàn)象，網(wǎng)絡(luò)訓(xùn)練不充分。而GEU-Net所有指標幾乎均高于其他模型，在LIDC-IDRI和LNDb測試集上的Dice系數(shù)分別達到92.79%和86.78%，MIoU達到87.53%和79.09%，Recall 達到94.35%和87.43%，Accuracy 達到99.68%和99.76%。與傳統(tǒng)U-Net相比，四個指標分別提升7.15和3.21個百分點、9.83和4.33個百分點、8.06和3.47個百分點、1.44和1.21個百分點，說明邊緣分支中Gabor卷積模塊以及混合損失函數(shù)的提出具有一定優(yōu)勢，GEU-Net可以將肺結(jié)節(jié)邊緣特征進行利用，使得分割結(jié)果更加精細，網(wǎng)絡(luò)性能得到優(yōu)化。

為進一步直觀地顯示出對比實驗的實驗效果，實驗繪制了對比實驗訓(xùn)練曲線圖，包括LIDC-IDRI數(shù)據(jù)集和LNDb數(shù)據(jù)集在對比實驗訓(xùn)練過程中的損失曲線，如圖6（a）和圖7（a）所示。為直觀顯示出GEU-Net 的訓(xùn)練效果，繪制了LIDC-IDRI 數(shù)據(jù)集和LNDb 數(shù)據(jù)集的Dice、MIoU、Recall和Accuracy曲線，分別如圖6（b）～（e）和圖7（b）～（e）所示。具體訓(xùn)練曲線如圖6和圖7所示。GEU-Net網(wǎng)絡(luò)的穩(wěn)定性均優(yōu)于其他網(wǎng)絡(luò)，各項指標隨著訓(xùn)練次數(shù)的增加而增加，在50輪迭代左右趨于收斂，為保證訓(xùn)練結(jié)果絕對精準，各項實驗均迭代100輪。

圖6 LIDC-IDRI數(shù)據(jù)集對比實驗曲線對比Fig.6 LIDC-IDRI dataset comparative experiment curve comparison

圖7 LNDb數(shù)據(jù)集對比實驗曲線對比Fig.7 LNDb dataset comparative experiment curve comparison

表7展示了對比實驗中模型的參數(shù)量、平均分割時間以及GFLOPs。

表7 網(wǎng)絡(luò)參數(shù)對比Table 7 Network parameter comparison

由于提出的GEU-Net模型具有雙分支網(wǎng)絡(luò)結(jié)構(gòu)，所以模型參數(shù)量與其他網(wǎng)絡(luò)相比有一定增加。相應(yīng)地，平均分割時間消耗也有一定增加。

3.4.5 實驗分割效果

結(jié)合對比實驗，肺結(jié)節(jié)圖像病灶可視化結(jié)果如圖8所示。圖8（a）至圖8（i）分別為原始圖像、專業(yè)醫(yī)師標注的肺結(jié)節(jié)金標準，以及FCN、SegNet、U-Net、Attention U-Net、U-Net++、U-Net3+和GEU-Net 模型對肺結(jié)節(jié)區(qū)域的分割結(jié)果。紅框框出的部分可以顯著突出所提出的GEU-Net對比其他模型分割更精細的地方，分割結(jié)果更為直觀。由于FCN 模型結(jié)構(gòu)較為單一，所以對圖像中的細節(jié)并不敏感，觀察圖8（c）可以發(fā)現(xiàn)，F(xiàn)CN的分割效果十分粗糙，包含大量的假陽性區(qū)域。SegNet模型通過引入反池化結(jié)構(gòu)可以實現(xiàn)更為精確的上采樣，對比FCN模型SegNet減少了假陽性區(qū)域，見圖8（d）所示，分割效果得到了改善。U-Net使用了跳躍連接，充分利用底層特征，同樣改善了分割效果，如圖8（e）所示。但結(jié)節(jié)分辨率較低、邊緣模糊等問題會導(dǎo)致這些模型將部分非結(jié)節(jié)組織劃分為前景區(qū)域，存在明顯的假陽性現(xiàn)象，分割效果并不理想。Attention U-Net 模型通過引入軟注意力機制增強結(jié)節(jié)區(qū)域的響應(yīng)緩解此類現(xiàn)象，改善了分割效果，如圖8（f）所示。U-Net++將不同層上采樣的分割圖進行平均作為最終分割結(jié)果，進一步提高了肺結(jié)節(jié)區(qū)域分割的精確度，但并未考慮不同層間的重要程度，這樣使得模型仍存在部分假陽性像素，如圖8（g）所示。U-Net3+通過全尺度的跳躍連接把來自不同尺度特征圖中的高級語義與低級語義結(jié)合，進一步細化了分割效果，如圖8（h）所示。上述U-Net的相關(guān)模型都提出將淺層特征與深層語義特征進行融合，以實現(xiàn)模型分割任務(wù)性能的提升，但并未明確學(xué)習(xí)淺層特征的辨別能力。提出的GEU-Net模型，明確指出需要學(xué)習(xí)結(jié)節(jié)的底層邊緣特征，同時利用Gabor 卷積模塊來強化提取邊緣特征。如圖8（i）所示，GEU-Net模型在模型邊緣的處理上要優(yōu)于其他模型，可以看出肺結(jié)節(jié)邊緣輪廓更加清晰，結(jié)合實驗可以證明GEU-Net 模型能判別出更為精細的邊緣，分割結(jié)果更加接近金標準。

圖8 對比實驗可視化效果Fig.8 Contrast experimental visualization effect

4 結(jié)束語

針對肺結(jié)節(jié)圖像的邊緣像素點模糊問題，提出了一種雙分支結(jié)構(gòu)的GEU-Net 模型來加強對肺結(jié)節(jié)邊緣特征的利用。構(gòu)建出一種編碼器-解碼器結(jié)構(gòu)作為邊緣分支來緩解正負類樣本不均衡的問題，提出了Gabor卷積模塊作用于邊緣分支，以充分捕獲結(jié)節(jié)圖像的邊緣紋理特征。設(shè)計了一種混合損失函數(shù)增強模型對結(jié)節(jié)邊緣特征的提取能力。在肺結(jié)節(jié)公開數(shù)據(jù)集LIDC-IDRI 和LNDb上的實驗結(jié)果表明，所提出的GEU-Net能夠提取肺結(jié)節(jié)區(qū)域的邊緣特征，使得分割效果有所提升。在后續(xù)工作中，將研究針對小結(jié)節(jié)的分割算法，以及研究主干分支與邊緣分支特征提取層共享參數(shù)，解決雙分支參數(shù)量變多的問題，來實現(xiàn)模型的更優(yōu)性能。