楊 兵，劉曉芳，張 糾

（1.中國計量大學(xué)計算機(jī)應(yīng)用與技術(shù)研究所，杭州 310018；2.中國計量大學(xué)電子信息與通信研究所，杭州 310018；3.浙江省電磁波信息技術(shù)與計量檢測重點實驗室，杭州 310018）

0 概述

醫(yī)學(xué)圖像分割對于研究人體解剖結(jié)構(gòu)和制定診療計劃起到重要作用［1］，其目的是分割出醫(yī)學(xué)圖像中感興趣的部分并提取相關(guān)特征，為臨床診斷以及病理學(xué)研究提供可靠信息基礎(chǔ)。傳統(tǒng)的圖像分割方法通過人工設(shè)計或抽取一系列的圖像特征，并將這些特征用于一些分類器，從而完成分割任務(wù)。然而此類分割方法具有一定局限性，其有時只能處理一些簡單的分類（分割）問題，難以解決復(fù)雜問題，此外，人工設(shè)計的特征是個人的主觀結(jié)果，是否能表征數(shù)據(jù)的內(nèi)在特征也沒有明確的界限和定義。

近年來，以卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）為代表的深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)影像自動分析中得到廣泛應(yīng)用。針對多模態(tài)腦部分割問題研究者提出了多種方法。文獻(xiàn)［2］提出一種全卷積神經(jīng)網(wǎng)絡(luò)用于嬰兒腦部區(qū)域分割，通過單獨訓(xùn)練每個模態(tài)的圖像數(shù)據(jù)，將高層特征融合用于最后的分割，從而利用編碼-解碼網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)了對嬰兒腦部的準(zhǔn)確分割。文獻(xiàn)［3］提出一種深度卷積神經(jīng)網(wǎng)絡(luò)用于3 種主要腦組織的分割，通過提取腦部圖像塊訓(xùn)練CNN，將多種模態(tài)的圖像數(shù)據(jù)作為輸入，網(wǎng)絡(luò)輸出同時具有多種模態(tài)圖像的底層特征。針對網(wǎng)絡(luò)上采樣所帶來的信息丟失導(dǎo)致分割效果欠佳的問題，文獻(xiàn)［4］提出一種半密集網(wǎng)絡(luò)同時對兩種模態(tài)的腦部數(shù)據(jù)進(jìn)行分割，采用早期融合策略融合兩種模態(tài)的腦部圖像特征，在此基礎(chǔ)上通過全連接層對特征信息進(jìn)行聚合。針對眼底圖像分割問題，研究者也做了相關(guān)研究。文獻(xiàn)［5］提出一種全新的分割策略，針對輸入眼底圖像塊，該方法輸出給定圖像塊的所有像素的預(yù)測概率圖，而不是一次輸出中心像素的單個預(yù)測概率。文獻(xiàn)［6］將可分離卷積與全卷積神經(jīng)網(wǎng)絡(luò)結(jié)合用于眼底血管分割，在進(jìn)行增強(qiáng)對比度等預(yù)處理技術(shù)的基礎(chǔ)上，以可分離卷積替代傳統(tǒng)卷積方式來增加整個網(wǎng)絡(luò)的寬度，此外還引入通道加權(quán)機(jī)制對特征重要性進(jìn)行顯示建模。

上述方法針對腦部圖像和眼底圖像分割問題構(gòu)建不同的分割框架，能夠?qū)崿F(xiàn)準(zhǔn)確有效的分割，但存在以下問題：下采樣雖然可以減小特征尺寸和增加計算效率，但也會不可避免地帶來特征信息損失的問題，對分割精度有一定影響；上采樣通常使用插值或反卷積運(yùn)算實現(xiàn)，在擴(kuò)大特征分辨率的同時也會引入一些非特征噪聲，對圖像的特征提取不友好；雖然采用跳躍連接方式進(jìn)行簡單的通道拼接能夠在一定程度上保證分割結(jié)果的精細(xì)化，但特征聚合程度較低，不能充分利用深層特征豐富、抽象化的信息對淺層特征進(jìn)行調(diào)整。

本文基于深度特征聚合策略提出深度特征聚合網(wǎng)絡(luò)DFA-Net。通過三級特征表示并對特征做精細(xì)化調(diào)整，解決上采樣與下采樣所帶來的信息損失問題。同時利用特征聚合層對中間層和基礎(chǔ)層進(jìn)行特征優(yōu)化，使網(wǎng)絡(luò)能夠更好地學(xué)習(xí)特征。此外，在特征聚合模塊（Feature Aggregation Module，F(xiàn)AM）中結(jié)合深層特征與淺層特征的互補(bǔ)信息對兩者進(jìn)行加權(quán)調(diào)整，使調(diào)整后的特征具有更強(qiáng)的表達(dá)能力。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種全監(jiān)督學(xué)習(xí)方式［7-8］。與傳統(tǒng)分割方法不同，CNN 可以通過自主學(xué)習(xí)數(shù)據(jù)特征完成學(xué)習(xí)任務(wù)而無需人工干預(yù)，因此其被廣泛應(yīng)用于計算機(jī)視覺［9］、文本翻譯［10］、語音識別［11］等領(lǐng)域。由于CNN 能夠同時學(xué)習(xí)圖像的局部特征和全局特征，并且隨著網(wǎng)絡(luò)層數(shù)加深還可學(xué)習(xí)深層特征，其比人工設(shè)計圖像特征更高效，因此基于CNN 的分割方法能夠得到比傳統(tǒng)分割方法更好的效果。

在醫(yī)學(xué)圖像分割領(lǐng)域，U-net［12］在分割生物細(xì)胞方面取得了較好的效果，其主要由特征編碼、特征解碼和特征融合三部分組成。首先通過卷積、池化以及一定次數(shù)的下采樣運(yùn)算完成對原始輸入圖像的特征編碼，編碼后的特征通常具有較低維度，然后通過上采樣（插值、反卷積）、卷積等運(yùn)算對編碼后的特征進(jìn)行解碼，這一過程又稱為分辨率放大。跳躍連接作為U-net 的特征融合策略，其主要通過同級特征通道疊加的方式進(jìn)行特征聚合，這對于分割結(jié)果的精細(xì)化較為重要。U-net 在醫(yī)學(xué)圖像分割領(lǐng)域的成功應(yīng)用引起了學(xué)者的廣泛關(guān)注，在U-net 基礎(chǔ)上改進(jìn)的3D-Unet［13］、Unet++［14］、H-DenseUNet［15］相繼被提出，但基本網(wǎng)絡(luò)結(jié)構(gòu)依然延續(xù)U-net，整體框架沒有改變。此外，在醫(yī)學(xué)圖像分割領(lǐng)域，全卷積神經(jīng)網(wǎng)絡(luò)（Full CNN，F(xiàn)CN）［16］也是常用的CNN 框架，其主要以卷積層代替全連接層，使網(wǎng)絡(luò)可以接受任意尺寸大小的圖像輸入，同時還增加了反卷積層，使上采樣也能夠通過反向傳播學(xué)習(xí)網(wǎng)絡(luò)參數(shù)，如文獻(xiàn)［17］提出的基于3D FCN 的多尺度損失網(wǎng)絡(luò)，其通過卷積和反卷積學(xué)習(xí)分割參數(shù)優(yōu)化了網(wǎng)絡(luò)模型。

2 深度特征聚合網(wǎng)絡(luò)

2.1 整體網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的深度特征聚合網(wǎng)絡(luò)DFA-Net結(jié)構(gòu)如圖1所示。DFA-Net 主要分為4 個部分，分別為基礎(chǔ)特征表示層（簡稱基礎(chǔ)層）、中間特征聚合層（簡稱中間層）、深度特征聚合層（簡稱聚合層）以及FAM。首先，基礎(chǔ)層通過卷積、池化等操作得到具有不同分辨率大小的特征圖，然后通過上采樣增大特征圖分辨率，這一過程也稱為特征解碼。如圖1 所示，基礎(chǔ)層經(jīng)過3 次下采樣和3 次上采樣，在下采樣的過程中，基礎(chǔ)層特征不僅傳遞到下一個卷積層，而且還傳遞到中間層。中間層對來自基礎(chǔ)層的特征做進(jìn)一步特征聚合，這一過程也通過聚合層和FAM 來實現(xiàn)。聚合層將中間層的特征進(jìn)行通道拼接，目的是聚合兩者特征，形成更豐富的底層特征。中間層和聚合層之間通過FAM模塊傳遞聚合特征（Aggregated Feature，AF），同時，中間層也將聚合特征通過裁剪（crip）和通道拼接（concat）的方式傳遞給基礎(chǔ)層，由此形成基礎(chǔ)層、中間層、聚合層的特征傳遞方式。本節(jié)將詳細(xì)介紹3 個特征表示層以及FAM 模塊。

圖1 DFA-Net 整體結(jié)構(gòu)Fig.1 Overall structure of DFA-Net

2.2 基礎(chǔ)層

DFA-Net 中的基礎(chǔ)層以卷積神經(jīng)網(wǎng)絡(luò)為框架，如圖2 所示，其中，B1～B7表示基礎(chǔ)層特征。與U-net 結(jié)構(gòu)不同的是，基礎(chǔ)層去掉了跳躍連接結(jié)構(gòu)。U-net 中跳躍連接的目的是實現(xiàn)不同特征層之間的信息融合，然而此融合方式只是簡單地將上層特征拼接到下層特征，沒有考慮到上下層特征之間的特征差異以及特征不匹配的問題。為此，本文設(shè)計的DFA-Net 以中間層、聚合層和特征聚合模塊代替跳躍連接結(jié)構(gòu)。此外，基礎(chǔ)層中還增加了批歸一化（Batch Normalization，BN）操作，目的是減小因反向傳播而導(dǎo)致網(wǎng)絡(luò)參數(shù)出現(xiàn)偏移的影響。

圖2 基礎(chǔ)層網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of basic layer

DFA-Net 基礎(chǔ)層可表示為：

其中，Ox表示輸入x的輸出結(jié)果，f表示卷積、池化、BN 等運(yùn)算，F(xiàn)x表示特征圖，θ表示f學(xué)習(xí)到的網(wǎng)絡(luò)參數(shù)。

2.3 中間層與聚合層

作為特征聚合單元，DFA-Net 中間層和聚合層的設(shè)計主要是為了增強(qiáng)基礎(chǔ)層的特征表示并減少基礎(chǔ)層的特征信息損失，這兩層的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，其中，conv1～conv5表示卷積運(yùn)算，f1～f6表示中間層特征，J1～J4表示聚合層特征。

中間層負(fù)責(zé)抽取基礎(chǔ)層的中間特征，其在傳遞中間特征給聚合層的同時也對中間特征做進(jìn)一步特征聚合。此層具有5 個卷積操作，對于從基礎(chǔ)層抽取的中間特征，其通過卷積運(yùn)算進(jìn)一步提取深層特征。由圖2 可知，基礎(chǔ)層包含3 次下采樣和3 次上采樣操作，對于每次上采樣或下采樣得到的特征，中間層都會抽取基礎(chǔ)層特征進(jìn)行后續(xù)的卷積運(yùn)算來進(jìn)一步提取深層特征。因此，中間層5 個卷積操作覆蓋了基礎(chǔ)層中所有的上采樣以及最后一級下采樣過程。此外，中間層在進(jìn)行第2 次卷積操作后，以裁剪和通道疊加的方式對基礎(chǔ)層最后一級下采樣操作得到的底層特征進(jìn)行信息補(bǔ)充，增強(qiáng)了其特征表達(dá)能力。

圖3 中間層與聚合層網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of intermediate layer and aggregation layer

中間層第1 級特征f1可表示為：

其中，f表示基礎(chǔ)層第1 級卷積、BN 等運(yùn)算，x表示輸入圖像，θ表示f的網(wǎng)絡(luò)參數(shù)。從第3 級特征f3開始，中間層加入了聚合特征，第2 級～第6 級特征f2～f6分別表示為：

其中，⊙表示逐元素相乘，M1～M5分別表示中間層中的5 次卷積運(yùn)算，參數(shù)θ1～θ5分別表示5 次卷積運(yùn)算的卷積核參數(shù)，F(xiàn)1～F4表示聚合特征AF-1、AF-2、AF-3、AF-4。

中間層的功能可歸結(jié)如下：1）抽取基礎(chǔ)層中間特征；2）進(jìn)一步提取深層特征；3）作為中間網(wǎng)絡(luò)接收聚合特征AF 的輸入，對中間特征做精細(xì)化調(diào)整。

為減少下采樣和上采樣帶來的信息損失，中間層將聚合后的特征f3～f6分別傳遞給位于基礎(chǔ)層最后一級下采樣特征B4、第1 級上采樣特征B5、第2 級上采樣特征B6和第3 級上采樣特征B7，特征傳遞方式為裁剪和通道疊加。由圖3 可見，聚合層位于網(wǎng)絡(luò)底部，其目的是為了進(jìn)一步聚合中間層特征。為增加聚合特征的信息，采用通道拼接的方式對中間層特征進(jìn)行聚合。聚合層進(jìn)行了4次聚合運(yùn)算，除第1次聚合運(yùn)算外，其余3 次聚合運(yùn)算都會輸出聚合特征AF。雖然聚合運(yùn)算采用通道疊加的方式，如第1 次聚合運(yùn)算，但并不是簡單地將原始特征進(jìn)行通道水平上的疊加。在圖3 中，中間特征f2經(jīng)過一次中間卷積運(yùn)算后再與中間特征f1進(jìn)行疊加，這樣可以避免直接進(jìn)行通道拼接所帶來的特征不匹配問題。此外，進(jìn)行一次卷積運(yùn)算又能夠進(jìn)一步提取深層特征。聚合層特征J1～J4可表示為：

其中，⊕表示通道疊加。

聚合層具有的功能可歸結(jié)為：接收中間特征輸入并聚合深層特征，同時作為特征聚合模塊FAM 的輸入，輸出深度聚合特征。

2.4 特征聚合模塊

如圖4 所示，特征聚合模塊以中間層特征f和聚合層特征J作為輸入，各通過一次卷積運(yùn)算后得到fc和Jc。為進(jìn)一步補(bǔ)充特征維度和豐富信息量，通過通道疊加以及對應(yīng)元素相加的方式得到聚合特征A1，后續(xù)又分別經(jīng)過一次卷積和SoftMax 函數(shù)激活聚合特征得到A3。特征A3具有中間層特征f以及聚合層特征J的共同信息。此外，經(jīng)過幾次卷積后，A3還具有各自深層次信息。

圖4 特征聚合模塊結(jié)構(gòu)Fig.4 Structure of feature aggregation module

特征A3由特征A1經(jīng)過一次卷積和SoftMax 函數(shù)得到，特征A1在中間層特征和聚合層特征的基礎(chǔ)上做了特征聚合操作（對應(yīng)元素相加以及通道疊加），使得特征A1的特征信息相比于原始中間層特征和聚合層特征更為豐富。此外，特征A1還具有中間層特征與聚合層特征的共同特征信息。此后，分別經(jīng)過一次卷積控制特征通道數(shù)以及經(jīng)過SoftMax 函數(shù)后得到特征A3，在特征A1的基礎(chǔ)上，特征A3對特征A1做進(jìn)一步特征提取，得到更為抽象的權(quán)值特征。利用特征A3所含有的特征信息量，F(xiàn)AM 通過對應(yīng)元素相乘的方式分別對特征fc和Jc進(jìn)行賦權(quán)，利用聚合特征對中間層特征和聚合層特征進(jìn)行信息補(bǔ)充。最后通過元素相加以及1×1 卷積操作充分融合兩者的特征信息，得到聚合特征AF。FAM 中聚合特征A1以及激活特征A3分別表示如下：

其中，⊕表示特征通道疊加，θ1和θ2分別表示fc和Jc的卷積參數(shù)，θ3表示A2的卷積參數(shù)。得到特征A3后，先分別對特征fc、特征Jc進(jìn)行賦權(quán)，再對賦權(quán)后的特征進(jìn)行對應(yīng)元素相加，最后通過一次卷積操作調(diào)整通道數(shù)，使聚合特征AF 的特征通道數(shù)與中間層特征的通道數(shù)相同。一方面，特征A1來自于中間層特征f以及聚合層特征J，特征A1在聚合兩者特征信息的同時也加入了兩者獨有的特征信息；另一方面，特征A2是由特征A1經(jīng)過一次卷積操作而來，保證了特征A2在特征A1的基礎(chǔ)上做進(jìn)一步特征抽取和特征通道數(shù)調(diào)整，為此后的特征加權(quán)過程奠定基礎(chǔ)。最后，特征A3在特征A2的基礎(chǔ)上，使用SoftMax 函數(shù)激活特征A2，保證了特征A3具有一定程度的突出特征識別能力。此后，對于中間層特征以及聚合層特征的加權(quán)過程充分融合了兩者的特征信息，使得最終得到的聚合特征具有以下特點：1）具有融合中間層特征與聚合層特征的特征表達(dá)能力；2）深度挖掘了中間層特征與聚合層特征的共有信息，使用注意力機(jī)制，加強(qiáng)了特征聚合模塊FAM 的特征表達(dá)能力；3）提供了中間層與聚合層的特征信息傳遞通道，進(jìn)一步增加了中間層特征的信息聚合能力。特征A3對基礎(chǔ)特征以及聚合層特征的加權(quán)過程可表示為：

其中，⊙表示對應(yīng)元素相乘，fA4表示特征A4與特征A5之間的卷積操作，θA4表示fA4中的卷積核參數(shù)。

FAM 具有的功能可歸結(jié)如下：1）再次融合中間層特征和聚合層特征，激活聚合特征；2）分別對中間層特征和聚合層特征做加權(quán)調(diào)整，豐富特征信息。

2.5 網(wǎng)絡(luò)參數(shù)規(guī)模

基礎(chǔ)層中，每個階段的卷積核數(shù)量分別為128、256、512、1 024，卷積核大小為3×3，同時，設(shè)置基礎(chǔ)層上采樣的方式為轉(zhuǎn)置卷積。由于偏置項和轉(zhuǎn)置卷積參數(shù)較少，因此略去其參數(shù)計算。DFA-Net 網(wǎng)絡(luò)參數(shù)規(guī)模如表1 所示。

表1 DFA-Net 網(wǎng)絡(luò)參數(shù)規(guī)模Table 1 Network parameter scale of DFA-Net

2.6 特征互補(bǔ)性分析

本文提出的深度特征聚合網(wǎng)絡(luò)由基礎(chǔ)層、中間層、聚合層和特征聚合模塊組成。在基礎(chǔ)層特征提取的基礎(chǔ)上，中間層以及聚合層通過卷積、通道疊加以及對應(yīng)元素相加等方式對基礎(chǔ)層特征信息進(jìn)行補(bǔ)充。此外，特征聚合模塊運(yùn)用注意力機(jī)制進(jìn)一步加強(qiáng)中間層特征的信息表達(dá)能力和特征聚合能力。深度特征聚合網(wǎng)絡(luò)利用深層特征與淺層特征的互補(bǔ)信息，運(yùn)用三級特征表示層逐步完成特征聚合過程，聚合層通過對中間層特征和聚合層特征的信息聚合，與特征聚合模塊FAM 共同完成對中間層特征的特征信息補(bǔ)充和特征聚合過程。中間層接收特征聚合模塊FAM 輸出的聚合特征，對中間層特征進(jìn)行特征加權(quán)，最后通過裁剪和通道疊加的方式完成對基礎(chǔ)層特征的信息補(bǔ)充，從而增強(qiáng)基礎(chǔ)層網(wǎng)絡(luò)的特征表達(dá)能力，減少基礎(chǔ)層因下采樣和上采樣引起的特征信息損失。

本文提出的深度特征聚合網(wǎng)絡(luò)將基礎(chǔ)層作為基礎(chǔ)特征提取網(wǎng)絡(luò)?？紤]到下采樣過程中存在特征信息丟失以及特征聚合能力不足等問題，通過中間層與聚合層的協(xié)同作用，分層、逐步完成對基礎(chǔ)層的信息補(bǔ)充過程。此外，由中間層提供的深層聚合特征解決基礎(chǔ)層特征聚合能力不足的問題，從而提高基礎(chǔ)層的特征提取能力。

3 實驗與結(jié)果分析

3.1 數(shù)據(jù)集與實驗參數(shù)

分別在腦圖像和眼底圖像的公開數(shù)據(jù)集上進(jìn)行分割實驗，本文實驗所用腦部數(shù)據(jù)集為brainweb20［18］。brainweb20 是一個公共數(shù)據(jù)集，其包含了20 個解剖結(jié)構(gòu)的大腦3D 圖像，如圖5 所示，其中，每個圖像的大小為181×256 像素×256 像素，181 表示切片數(shù)目，所有數(shù)據(jù)都包含人工分割的結(jié)果作為算法評估的金標(biāo)準(zhǔn)。

圖5 部分腦部實驗圖像Fig.5 Some brain experiment images

從所有3D 圖像中篩選總計3 000個切片作為實驗數(shù)據(jù)，其中2 300個切片用于模型的訓(xùn)練，200個切片用于模型驗證，500個切片用于模型測試評估。實驗所用眼底圖像數(shù)據(jù)集為DRIVE［19］和CHASE-DB1［20］，2個數(shù)據(jù)集均提供了標(biāo)準(zhǔn)圖像用于模型測試。DRIVE數(shù)據(jù)集包含40張彩色眼底圖像，其中20張圖像用于模型訓(xùn)練，8張圖像用于模型驗證，12張圖像用于模型測試，每張圖像的大小為580像素×580像素。CHASE-DB1數(shù)據(jù)集包含28張彩色圖像，其中20張圖像用于模型訓(xùn)練，3張用于模型驗證，5張用于模型測試，每張圖像的大小也均縮小為580像素×580像素。為增加訓(xùn)練數(shù)據(jù)集的數(shù)量，對原始輸入圖像進(jìn)行以下預(yù)處理。

1）統(tǒng)一對輸入圖像進(jìn)行旋轉(zhuǎn)、角度變換、裁剪等操作。

2）非腦組織剝離（針對腦圖像）。

3）偏移場校正（針對腦圖像）。

本文實驗基于深度學(xué)習(xí)框架pytorch實現(xiàn)，模型訓(xùn)練使用兩個顯存大小為12 GB的Nvidia GeForce GT1080ti顯卡。在訓(xùn)練DFA-Net模型之前，使用遷移學(xué)習(xí)策略用預(yù)訓(xùn)練模型對基礎(chǔ)層網(wǎng)絡(luò)進(jìn)行權(quán)重初始化，之后在此基礎(chǔ)上進(jìn)行微調(diào)，加速DFA-Net網(wǎng)絡(luò)的收斂。DFA-Net網(wǎng)絡(luò)的初始學(xué)習(xí)率設(shè)為0.000 01，參數(shù)更新迭代數(shù)設(shè)為50 000次，并采用隨機(jī)梯度下降（SGD）更新網(wǎng)絡(luò)權(quán)重等參數(shù)。

3.2 評估指標(biāo)與損失函數(shù)

對于腦部圖像分割，采用的評價指標(biāo)為Dice 系數(shù)、Hausdorff 距離和絕對體積差（Absolute Volume Difference，AVD），分別表示為：

其中，GT 表示人工手動分割的圖像，PR 表示模型預(yù)測的結(jié)果。VGT表示手動分割圖像的體積，VPR表示模型預(yù)測圖像的體積。在式（15）中，h(PR，GT)和h(GT，PR)分別表示為：

對于眼底血管分割，采用的評價指標(biāo)為敏感度（sensitivity）、特異度（specificity）、F1值、準(zhǔn)確率（accuracy）和受試者工作曲線下面積（AUC），分別表示如下：

其中，TP 表示真陽性樣本數(shù)量，F(xiàn)P 表示假陽性樣本數(shù)量，TN 表示真陰性樣本數(shù)量，F(xiàn)N 表示假陰性樣本數(shù)量。

本文使用Dice 損失作為DFA-Net 的優(yōu)化目標(biāo)：

其中，ti、tj為網(wǎng)絡(luò)預(yù)測結(jié)果中像素點i、j的值，pi、pj為真實標(biāo)簽中像素點i、j的值。

3.3 腦圖像分割實驗

對DFA-Net 方法、U-net 方法［12］、Unet++方法［14］、SegNet［21］和模糊C 均值（Fuzzy C Means，F(xiàn)CM）方法［22］進(jìn)行對比，以驗證本文方法在腦圖像分割上的有效性與準(zhǔn)確性，部分測試圖像的分割結(jié)果如圖6所示，從圖6可以看出：

1）FCM 方法只能大致分割出3 種腦組織的輪廓，不能很好地捕捉腦組織的細(xì)節(jié)，因此不能對3 種腦組織進(jìn)行準(zhǔn)確分割。此外，該方法的分割結(jié)果中存在很多分離像素點，表明其不能很好地處理腦圖像灰度不均勻且邊緣邊界不清晰的情況。

2）U-net 方法和Unet++方法都采用了類似的特征融合策略，對比于FCM 方法，這兩種方法可以較好地分割腦組織細(xì)節(jié)，但是整體而言，有一些像素點不能很好被識別并分類。同時，從分割結(jié)果看，U-net 分割結(jié)果中存在一些孤立的像素點，這也表明U-net方法在處理分割細(xì)節(jié)時不能很好地聚合深層特征，不利于精細(xì)化分割腦部細(xì)節(jié)。

3）與其他4 種方法的分割結(jié)果相比，DFA-Net能夠很好處理分割細(xì)節(jié)，同時孤立像素點也較少，其所采用的特征聚合策略能夠充分利用深層特征與淺層特征的信息互補(bǔ)性來處理分割結(jié)果中孤立像素點，解決上采樣與下采樣引起的信息損失問題。

4）U-net 系列方法雖然使用了跳躍連接這一特征聚合方式，但是其在網(wǎng)絡(luò)設(shè)計層面，沒有充分利用深層特征帶給分割結(jié)果的增益。圖6 結(jié)果表明，本文方法在保證分割結(jié)果準(zhǔn)確性的同時，較好地解決了U-net 系列方法不能很好處理孤立像素點的問題，提高了分割結(jié)果的連續(xù)性。本文方法在處理腦部圖像灰度不均勻且邊界之間存在界限不清晰的情況下，能夠較好地分割3 種腦組織。

圖6 5 種方法的分割結(jié)果比較Fig.6 Comparison of segmentation results of five methods

不同方法的腦部分割結(jié)果評價指標(biāo)如表2 所示，其中，WM 表示腦白質(zhì)，GM 表示腦灰質(zhì)，CSF表示腦脊液，加粗?jǐn)?shù)據(jù)為最優(yōu)值。從表2可以看出，F(xiàn)CM方法對于3種腦組織的分割準(zhǔn)確性最低，其3種評價指標(biāo)都相對較低，Unet++和本文方法的3種評價指標(biāo)比較接近，但本文方法相比于Unet++方法有所提升。以腦灰質(zhì)（GM）的分割為例，本文方法相較Unet++方法Dice系數(shù)提升了2.2%，從其他指標(biāo)也可以看出，本文方法比U-net 方法以及SegNet方法均有較大提升，以腦脊液（CSF）為例，本文方法相較于U-net 方法Dice 系數(shù)提升了2.7%，相較于SegNet方法Dice系數(shù)提升了1.9%。總體而言，本文方法相較其他4種方法能夠?qū)δX部圖像做出更準(zhǔn)確的分割。

表2 5 種方法的腦部分割結(jié)果評價Table 2 Evaluation of brain segmentation results by five methods

不同網(wǎng)絡(luò)的參數(shù)規(guī)模以及推理性能如表3 所示，其中SegNet、Unet++網(wǎng)絡(luò)每個階段的卷積核數(shù)量與Unet 相同，測試設(shè)備為兩個顯存大小為12 GB 的Nvidia GeForce GT1080ti 顯卡。

表3 5 種方法的網(wǎng)絡(luò)參數(shù)規(guī)模及推理性能Table 3 Network parameter scale and inference performance of five methods

為說明中間層卷積數(shù)量對網(wǎng)絡(luò)性能的影響，在增加中間層卷積數(shù)量的同時，也相應(yīng)增加聚合層特征以及特征聚合模塊FAM的數(shù)量。隨著中間層卷積數(shù)量的增加，網(wǎng)絡(luò)參數(shù)規(guī)模也隨之增加，由于相應(yīng)的聚合層特征以及特征聚合模塊FAM的增加，使得整個網(wǎng)絡(luò)的特征聚合能力以及基礎(chǔ)層的特征信息得到補(bǔ)充，減少了上采樣與下采樣帶來的特征損失。

表4 中間層卷積數(shù)量對網(wǎng)絡(luò)性能的影響Table 4 Influence of the number of intermediate layer convolutions on network performance

從表4可以看出，在中間層卷積數(shù)量增加的同時，各項評價指標(biāo)都呈上升趨勢，當(dāng)中間層卷積數(shù)量達(dá)到5個時，各項評價指標(biāo)也最高。

從所有測試圖像中選取20個測試圖像繪制箱線圖。圖7～圖9分別為20個測試圖像的灰質(zhì)、白質(zhì)、腦脊液箱線圖，可以看出：DFA-Net與Unet++方法性能較為接近；FCM方法對3種主要腦組織的分割效果都存在較小的異常值；DFA-Net在20個測試圖像的Dice系數(shù)分布較為集中，但不如Unet++方法。從平均Dice系數(shù)來看，DFA-Net較Unet++方法略高，U-net和SegNet方法與本文方法稍有差距，雖然兩者的Dice系數(shù)分布集中且均勻，但其上分位指標(biāo)和下分位指標(biāo)均較低，這也表明U-net和SegNet方法具有一定局限性，不能作為通用網(wǎng)絡(luò)用于分割任務(wù)。

圖7 20 個測試圖像的腦灰質(zhì)箱線圖Fig.7 Box plot of twenty test images for gray matter

圖8 20 個測試圖像的腦白質(zhì)箱線圖Fig.8 Box plot of twenty test images for white matter

圖9 20 個測試圖像的腦脊液箱線圖Fig.9 Box plot of twenty test images for Cerebrospinal fluid

為進(jìn)一步說明各方法的性能，從所有測試圖像中選取10 個測試圖像繪制平均AVD 指標(biāo)折線圖，如圖10所示?？梢钥闯?，本文方法與Unet++方法AVD 指標(biāo)最為相近，但是在個別測試圖像上如img-3、img-4，本文方法優(yōu)于Unet++方法，表明了本文方法較Unet++方法有一定優(yōu)勢。

圖10 10 個腦部測試圖像的平均AVD 指標(biāo)Fig.10 Average AVD index of ten brain test images

為評價5 種方法對于不同比例噪聲的魯棒性，對原始輸入圖像施加7 種不同比例的高斯噪聲，由于FCM 方法在分割結(jié)果上表現(xiàn)較差，因此略去噪聲對FCM 方法的評價。圖11 結(jié)果表明，在噪聲比例較低（低于10%）的情況下，SegNet 方法隨著噪聲比例的增加，平均Dice 系數(shù)下降趨勢明顯，而本文方法和Unet++方法則下降較少，表明本文方法對低噪聲圖像具有較好適應(yīng)性。在噪聲比例由7%增加到9%的情況下，Unet++方法平均Dice 系數(shù)下降很明顯，而本文方法則下降得比較緩慢?？傮w而言，在噪聲較多的情況下（高于10%），本文方法能夠在適應(yīng)噪聲的同時對腦圖像做出準(zhǔn)確分割。

圖11 不同噪聲比例對腦部分割結(jié)果的影響Fig.11 Effects of different noise ratios on brain segmentation results

3.4 眼底血管分割實驗

為驗證本文方法的有效性與準(zhǔn)確性，針對眼底血管圖像進(jìn)行分割實驗。部分測試圖像的分割結(jié)果如圖12所示?？梢钥闯?，DFA-Net 能較好處理分割細(xì)節(jié)，對于部分微小血管能實現(xiàn)準(zhǔn)確有效的分割。

圖12 部分眼底血管測試圖像的分割結(jié)果Fig.12 Segmentation results of some fundus blood vessel test images

表5、表6 分別為本文方法與U-net 等方法在兩個測試數(shù)據(jù)集上的測試結(jié)果，其中加粗?jǐn)?shù)據(jù)為最優(yōu)值。由表5 可知：本文方法分別在F1 值、特異度、準(zhǔn)確率上處于領(lǐng)先，部分指標(biāo)如敏感度和AUC 與領(lǐng)先的Unet++以及LadderNet 相差不大。在DVIRE 數(shù)據(jù)集上，DFA-Net 較U-net 與Unet++有較大提升，總的來說，DFA-Net 在核心指標(biāo)上也領(lǐng)先于LadderNet。由表6 可知：在數(shù)據(jù)集CHASE-DB1 上，本文方法在5 個評價指標(biāo)上均處于領(lǐng)先，LadderNet 與本文方法在評價指標(biāo)AUC 上一致，其他方法如U-net 等與本文方法稍有差距。

表5 DVIRE 數(shù)據(jù)集測試結(jié)果Table 5 Test results on DVIRE dataset

表6 CHASE-DB1數(shù)據(jù)集測試結(jié)果Table 6 Test results on CHASE-DB1 dataset

4 結(jié)束語

針對CNN 上采樣與下采樣所帶來的信息損失問題，本文通過使用特征聚合策略設(shè)計深度特征聚合網(wǎng)絡(luò)DFA-Net。利用三級特征表示層（基礎(chǔ)層、中間層、聚合層）對特征進(jìn)行加強(qiáng)，聚合層通過聚合中間層特征和傳遞特征給特征聚合模塊，達(dá)到特征聚合的目的。實驗結(jié)果表明，DFA-Net 能夠?qū)? 種主要腦組織以及眼底血管實現(xiàn)有效且準(zhǔn)確的分割，較U-net、Unet++等方法具有更高的分割精度。DFA-Net 在特征聚合時不可避免地引入了一些可訓(xùn)練參數(shù)，增加了計算量，下一步將探索更簡單有效的特征聚合策略應(yīng)用于CNN框架。