摘" 要： 醫(yī)學(xué)圖像分割是保障發(fā)展智慧醫(yī)療系統(tǒng)的先決條件之一。由于原U2?Net+網(wǎng)絡(luò)的跳躍連接只關(guān)注同分辨率所提取的特征，所以在設(shè)計(jì)時(shí)借鑒FR?UNet網(wǎng)絡(luò)加入中間層，接收深層的上下文信息與淺層提取的高分辨率特征進(jìn)行整合；并在中間層的下采樣使用非對(duì)稱(chēng)空洞空間卷積金字塔代替，增加網(wǎng)絡(luò)模型訓(xùn)練時(shí)對(duì)邊緣信息的關(guān)注，并在結(jié)構(gòu)最后加入閾值增強(qiáng)模塊，加強(qiáng)對(duì)細(xì)小特征邊緣的識(shí)別與分割；同時(shí)加入到上采樣中，幫助網(wǎng)絡(luò)更好地提取多尺度特征，增加上下文語(yǔ)義關(guān)聯(lián)。根據(jù)正負(fù)樣本不均衡和難易不同的問(wèn)題設(shè)計(jì)了組合的損失函數(shù)來(lái)監(jiān)督網(wǎng)絡(luò)優(yōu)化。實(shí)驗(yàn)結(jié)果表明，所提算法在DRIVE、STARE+CHASE_DB1數(shù)據(jù)集上的[F1]分?jǐn)?shù)分別提高了1.8%與4.2%，在ISIC2018數(shù)據(jù)集上的DSC分?jǐn)?shù)提高了2.3%。對(duì)分割結(jié)果進(jìn)行可視化后表明，該網(wǎng)絡(luò)在樣本較小的情況下可以充分提取到更加精確的邊緣信息和細(xì)小的特征信息，提高語(yǔ)義分割的效果，所提算法在醫(yī)學(xué)圖像語(yǔ)義分割任務(wù)上有更好的表現(xiàn)。

關(guān)鍵詞： 醫(yī)學(xué)圖像； 語(yǔ)義分割； 跳躍連接； 非對(duì)稱(chēng)空洞空間卷積金字塔； 智慧醫(yī)療； FR?UNet網(wǎng)絡(luò)

中圖分類(lèi)號(hào)： TN911.73?34； TP391.7" " " " " " " " " " 文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " "文章編號(hào)： 1004?373X（2024）23?0029?07

U2?Net+ medical image semantic segmentation based on short?range jump connection

WANG Qinghua1， SUN Shuifa2， WU Yirong3

（1. College of Electrical Engineering and New Energy， China Three Gorges University， Yichang 443002， China;

2. School of Information Science and Technology， Hangzhou Normal University， Hangzhou 310036， China;

3. Institute of Advanced Studies in Humanities and Social Sciences， Beijing Normal University， Zhuhai 519087， China）

Abstract： Medical image segmentation is one of the necessary prerequisites to guarantee the development of an intelligent medical system. Because the jump connection of the original U2?Net+ network only focuses on the features extracted at the same resolution， an intermediate layer is added in the design by taking the FR?UNet network as reference. The contextual information from the deeper layer is received by the intermediate layer to integrate with the high?resolution features extracted from the shallower layer. In the down?sampling of the intermediate layer， a convolutional pyramid with asymmetric atrous space is used to increase the attention to edge information during network model training. A threshold value enhancement module is added at the end of the structure to strengthen the identification and segmentation of the edges with fine features. It is also added to the up?sampling to help the network extract multi?scale features better and increase contextual semantic associations. A combined loss function is designed to supervise network optimization according to the imbalance between the positive and negative samples and the different levels of difficulties. The experimental results show that the proposed algorithm improves the [F1]?score by 1.8% and 4.2% on the datasets of DRIVE and STARE+CHASE_DB1， respectively， and improves the DSC score by 2.3% on the dataset ISIC2018. Visualization of the segmentation results shows that the present network can fully extract more accurate edge information and fine feature information to improve the semantic segmentation in the case of smaller samples， so the proposed algorithm has a better performance on the task of semantic segmentation of medical images.

Keywords： medical image; semantic segmentation; jump connection; convolutional pyramid with asymmetric dilated space; intelligent medical care; FR?UNet network

0" 引" 言

近些年來(lái)，人們對(duì)醫(yī)學(xué)檢測(cè)準(zhǔn)確度的關(guān)注度越來(lái)越高。通常醫(yī)生對(duì)于醫(yī)學(xué)圖像的分析和判斷來(lái)自于醫(yī)生的經(jīng)驗(yàn)與直覺(jué)，而醫(yī)學(xué)圖像語(yǔ)義分割的目的是使圖像中的解剖或病理結(jié)構(gòu)的邊緣結(jié)構(gòu)與細(xì)小特征更加清晰。醫(yī)學(xué)圖像語(yǔ)義分割在計(jì)算機(jī)輔助診斷和智慧醫(yī)療中發(fā)揮著至關(guān)重要的作用，極大地提高了診斷的效率和準(zhǔn)確率。為了幫助臨床醫(yī)生做出準(zhǔn)確的診斷，有必要對(duì)醫(yī)學(xué)圖像中的一些關(guān)鍵目標(biāo)進(jìn)行分割，并從分割區(qū)域中提取特征[1]。醫(yī)學(xué)圖像分割的早期方法通常依賴(lài)于邊緣檢測(cè)、模板匹配技術(shù)、統(tǒng)計(jì)形狀模型、活動(dòng)輪廓和傳統(tǒng)機(jī)器學(xué)習(xí)技術(shù)。這些方法在一定程度上取得了不錯(cuò)的效果，但由于特征表示困難，特別是醫(yī)學(xué)圖像的特征提取比普通RGB圖像更難，所以前者往往存在模糊、噪聲、對(duì)比度低等問(wèn)題。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，醫(yī)學(xué)圖像語(yǔ)義分割將不再需要手工制作的特征，卷積神經(jīng)網(wǎng)絡(luò)（CNN）成功實(shí)現(xiàn)了圖像的層次特征表示。由于特征學(xué)習(xí)的CNN對(duì)圖像噪聲、模糊、對(duì)比度等不敏感，給醫(yī)學(xué)圖像提供了很好的分割結(jié)果[2]。且由于醫(yī)學(xué)圖像數(shù)據(jù)集相比于其他數(shù)據(jù)集有著數(shù)據(jù)集體量小、數(shù)據(jù)集中特征不清晰的特點(diǎn)，現(xiàn)如今關(guān)于醫(yī)學(xué)圖像語(yǔ)義分割采用由編碼器?解碼器構(gòu)成的U?Net網(wǎng)絡(luò)進(jìn)行訓(xùn)練。U?Net網(wǎng)絡(luò)的編碼器?解碼器以及跳躍連接結(jié)構(gòu)具有關(guān)聯(lián)上下文信息、訓(xùn)練速度快和使用數(shù)據(jù)量小的優(yōu)點(diǎn)，滿(mǎn)足醫(yī)學(xué)圖像分割的訴求，而在醫(yī)學(xué)圖像語(yǔ)義分割中廣泛應(yīng)用[3]。但是由于病灶形狀的多樣性和不同器官結(jié)構(gòu)的差異性，僅使用簡(jiǎn)單結(jié)構(gòu)構(gòu)成的U?Net網(wǎng)絡(luò)無(wú)法滿(mǎn)足醫(yī)學(xué)中對(duì)于精準(zhǔn)度、速度的需求，產(chǎn)生了許多基于U?Net網(wǎng)絡(luò)的編碼器?解碼器?跳躍連接改進(jìn)的網(wǎng)絡(luò)。

文獻(xiàn)[4]提出的U?Net++改變了傳統(tǒng)的U?Net跳躍連接方式，加入中間層使得原本U?Net長(zhǎng)距離跳躍連接改為可調(diào)節(jié)的多尺度特征提取模塊，改進(jìn)了原本U?Net網(wǎng)絡(luò)因無(wú)法融合多尺度特征導(dǎo)致的上下文信息斷層。文獻(xiàn)[5]提出了FR?UNet網(wǎng)絡(luò)，使用類(lèi)似于U?Net++的跳躍連接方式，采用簡(jiǎn)單上采樣、下采樣和卷積進(jìn)行水平與垂直方向的擴(kuò)展，刪除每個(gè)階段的密集連接方式，利用淺層階段的高分辨率提供更加精細(xì)的特征信息，利用深層階段提供上下文信息并增加特征圖的局部感受野。

基于深度學(xué)習(xí)的醫(yī)學(xué)圖像語(yǔ)義分割相比于傳統(tǒng)的機(jī)器學(xué)習(xí)有著很大的進(jìn)步，但是還存在著邊緣不清晰和細(xì)小特征無(wú)法準(zhǔn)確分割等問(wèn)題。本文根據(jù)上述問(wèn)題提出一個(gè)基于U2?Net+網(wǎng)絡(luò)[6]改進(jìn)的醫(yī)學(xué)語(yǔ)義分割網(wǎng)絡(luò)。具體貢獻(xiàn)如下。

1） 基于邊緣不清晰問(wèn)題。在跳躍連接中將下采樣替換為非對(duì)稱(chēng)空洞空間卷積金字塔，增加邊緣在整體語(yǔ)義分割中的權(quán)重。

2） 基于細(xì)小特征無(wú)法識(shí)別的問(wèn)題。在跳躍連接中加入中間層連接淺層信息與深層信息進(jìn)行信息整合，使得在編碼與解碼過(guò)程中不會(huì)丟失細(xì)小特征，并且在非對(duì)稱(chēng)空洞空間卷積金字塔的最后一層加入閾值增強(qiáng)模塊，減少細(xì)小特征邊緣的丟失情況。

3） 由于醫(yī)學(xué)圖像的正負(fù)樣本不均衡以及數(shù)據(jù)量小的特征，設(shè)計(jì)混合損失函數(shù)提高訓(xùn)練過(guò)程中網(wǎng)絡(luò)的學(xué)習(xí)能力。

與目前最新的模型相比，本文方法在DRIVE、STARE+CHASE_DB1、ISIC2018這3個(gè)數(shù)據(jù)集上取得了更優(yōu)的性能。

1" 基于短距離跳躍連接的U2?Net+網(wǎng)絡(luò)

本文提出一個(gè)基于U2?Net+的醫(yī)學(xué)圖像語(yǔ)義分割網(wǎng)絡(luò)，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

對(duì)于醫(yī)學(xué)圖像分割的邊緣不清晰與細(xì)小特征分割較難的問(wèn)題，本文受FR?UNet網(wǎng)絡(luò)啟發(fā)設(shè)計(jì)了一個(gè)跳躍連接結(jié)構(gòu)，將長(zhǎng)距離連接改為短距離稠密連接，為了增加邊緣分割權(quán)重，本文在跳躍連接的下采樣中加入非對(duì)稱(chēng)空洞空間卷積金字塔結(jié)構(gòu)，使得網(wǎng)絡(luò)在分割邊緣上有著較強(qiáng)的關(guān)注度。針對(duì)醫(yī)學(xué)圖像正負(fù)樣本不均衡的特征，本文采用混合損失函數(shù)彌補(bǔ)因正負(fù)樣本不均衡導(dǎo)致的模型魯棒性變差的問(wèn)題。

1.1" 網(wǎng)絡(luò)結(jié)構(gòu)

由圖1可知，本文提出的網(wǎng)絡(luò)是基于U2?Net+網(wǎng)絡(luò)改進(jìn)而成，使用了原U2?Net+網(wǎng)絡(luò)相似的編碼器?解碼器結(jié)構(gòu)。由于醫(yī)學(xué)圖像的數(shù)據(jù)集數(shù)量較少，使用原U2?Net+網(wǎng)絡(luò)會(huì)導(dǎo)致網(wǎng)絡(luò)訓(xùn)練時(shí)產(chǎn)生過(guò)擬合現(xiàn)象以及淡化細(xì)小特征現(xiàn)象，故將原本U2?Net+網(wǎng)絡(luò)的5層結(jié)構(gòu)改為4層網(wǎng)絡(luò)結(jié)構(gòu)。原U2?Net+使用長(zhǎng)距離跳躍連接，但是針對(duì)于醫(yī)學(xué)圖像中數(shù)據(jù)集數(shù)量較少以及細(xì)小特征較多的情況，長(zhǎng)距離跳躍連接只能在同一深度中獲取特征信息，這樣會(huì)導(dǎo)致在上采樣的過(guò)程中淡化淺層網(wǎng)絡(luò)所識(shí)別的細(xì)小特征。

受到FR?UNet網(wǎng)絡(luò)結(jié)構(gòu)的啟發(fā)，本文采用短距離跳躍連接，使得淺層網(wǎng)絡(luò)分割的特征信息與深層網(wǎng)絡(luò)的上下文信息交互，在醫(yī)學(xué)圖像的少量數(shù)據(jù)集中得到較好的分割結(jié)果。對(duì)于醫(yī)學(xué)圖像語(yǔ)義分割中常見(jiàn)的邊緣分割不清晰的問(wèn)題，本文采用非對(duì)稱(chēng)空洞空間卷積金字塔作為跳躍連接中的下采樣，此模塊可以最大程度保留淺層高分辨率分割的邊緣信息特征，與深層的上下文信息相結(jié)合，改善醫(yī)學(xué)圖像中邊緣不清晰的問(wèn)題。

1.2" 跳躍連接

如圖1所示，本文的跳躍連接模塊是基于醫(yī)學(xué)圖像數(shù)據(jù)集較少以及細(xì)小特征較多的問(wèn)題所設(shè)計(jì)的，由于淺層網(wǎng)絡(luò)的圖像分辨率大，可以關(guān)注的細(xì)小特征較多，又由于網(wǎng)絡(luò)在進(jìn)行下采樣與上采樣過(guò)程中會(huì)丟失一定量細(xì)節(jié)特征，所以設(shè)計(jì)跳躍連接模塊來(lái)彌補(bǔ)網(wǎng)絡(luò)在下采樣與上采樣過(guò)程中丟失的信息。為了防止過(guò)多的信息造成訓(xùn)練的過(guò)擬合效果，本文在設(shè)計(jì)跳躍連接時(shí)，令跳躍連接中每一層的最后一個(gè)模塊放棄下采樣，這樣可以最大程度地減少因?yàn)闇\層細(xì)小特征過(guò)度下采樣導(dǎo)致重復(fù)特征較多，使得網(wǎng)絡(luò)會(huì)在訓(xùn)練時(shí)過(guò)擬合，從而在整體網(wǎng)絡(luò)訓(xùn)練時(shí)的訓(xùn)練效果變差。

1.3" 非對(duì)稱(chēng)空洞空間卷積金字塔

非對(duì)稱(chēng)空洞空間卷積金字塔結(jié)構(gòu)如圖2所示。本文在跳躍連接中的所有下采樣采用類(lèi)似空洞空間卷積池化金字塔（ASPP）結(jié)構(gòu)[7]，由于跳躍連接中間層下采樣過(guò)多，如果全部替換為類(lèi)似ASPP模塊會(huì)導(dǎo)致模型過(guò)大，使得每一次的訓(xùn)練樣本數(shù)（Batch_size）過(guò)小，而訓(xùn)練中Batch_size數(shù)過(guò)小會(huì)導(dǎo)致訓(xùn)練速度下降，也會(huì)導(dǎo)致梯度下降方向不準(zhǔn)確，使得梯度變化波動(dòng)較大，網(wǎng)絡(luò)不容易收斂，所以本文采用非對(duì)稱(chēng)卷積的方式替換傳統(tǒng)的大卷積塊，可以在減少網(wǎng)絡(luò)參數(shù)量的同時(shí)不降低分割效果。

與原ASPP結(jié)構(gòu)不同的是，本網(wǎng)絡(luò)僅采用其中3個(gè)空洞卷積以及1個(gè)1×1卷積組成第一部分，空洞卷積的膨脹系數(shù)分別為6、12和18，并且填充大小等于膨脹系數(shù)，由于在下采樣中想保留足夠多的上層細(xì)小特征，所以去除原ASPP的池化結(jié)構(gòu)并行，再將得到的結(jié)構(gòu)進(jìn)行連接（Concat）操作后，進(jìn)行1×1的卷積操作恢復(fù)到原通道數(shù)。由于網(wǎng)絡(luò)預(yù)測(cè)的像素點(diǎn)屬于概率，通常二分類(lèi)分割問(wèn)題的分割結(jié)構(gòu)概率結(jié)果為（0，1）的閾值通常為0.5。在網(wǎng)絡(luò)分割中，總有一些細(xì)小特征以及邊緣分割概率略低于0.5，為了保留更全面的細(xì)小特征，本文在非對(duì)稱(chēng)空洞空間卷積后加入一個(gè)閾值增強(qiáng)模塊，將那些小于0.5的像素點(diǎn)增加0.2的概率后，判斷是否大于0.5，若大于0.5則保留結(jié)果，若小于0.5則強(qiáng)制改為0，防止計(jì)算損失時(shí)會(huì)影響分割效果。

1.4" 損失函數(shù)

由于輸出的預(yù)測(cè)圖為二值化圖片，對(duì)于二值化圖片的分類(lèi)問(wèn)題，運(yùn)用二分類(lèi)交叉熵?fù)p失函數(shù)（BCE Loss）可以降低簡(jiǎn)單樣本對(duì)Loss的貢獻(xiàn)，更多關(guān)注困難樣本可以避免在訓(xùn)練過(guò)程中大量簡(jiǎn)單負(fù)樣本占據(jù)Loss主導(dǎo)地位[8]的問(wèn)題，計(jì)算公式如下：

[LossBCE=-1Ni=1N[yilog（pi）+（1-yi）log（1-pi）]] （1）

式中：[N]表示總樣本數(shù)；[yi]是第[i]個(gè)樣本的所屬類(lèi)別；[pi]是第[i]個(gè)樣本的預(yù)測(cè)值。

雖然BCE Loss解決了正負(fù)樣本不均衡的問(wèn)題，但并沒(méi)有區(qū)分簡(jiǎn)單樣本和復(fù)雜樣本。由于醫(yī)學(xué)圖像中存在大量的簡(jiǎn)單負(fù)樣本，所以單獨(dú)使用BCE Loss容易稀釋正樣本，造成大損失，因此本文采用Focal損失函數(shù)對(duì)復(fù)雜樣本進(jìn)行聚焦[9]，計(jì)算公式如下：

[LossFocal=-（1-pt）γlog（pt）] （2）

式中[（1-pt）γ]可以降低簡(jiǎn)單樣本的損失貢獻(xiàn)，從而增加復(fù)雜樣本的損失比例，本文采用參數(shù)[γ]=0.6作為實(shí)驗(yàn)參數(shù)。

由Bas?Net[10]和F3?Net[11]中的研究表明，將多個(gè)損失函數(shù)與不同級(jí)別自適應(yīng)權(quán)值相結(jié)合，可以獲得更快的收斂速度和提高網(wǎng)絡(luò)性能。因此，本文使用二值交叉熵?fù)p失（BCE Loss）和Focal損失（Focal Loss）進(jìn)行監(jiān)督，使網(wǎng)絡(luò)獲得更快的收斂速度，并提高網(wǎng)絡(luò)性能。計(jì)算公式如下：

[Losstotal=φ1LossBCE+φ2LossFocal] （3）

式中：[φ1]、[φ2]為各損失的權(quán)重，[φ1]+[φ2]=1，令[φ1]=0.3、[φ2]=0.7。

2" 實(shí)驗(yàn)結(jié)果

2.1" 實(shí)驗(yàn)參數(shù)設(shè)計(jì)

實(shí)驗(yàn)中使用的深度學(xué)習(xí)框架為PyTorch 1.12.0、Python 3.9、CUDA 11.4版本，所有實(shí)驗(yàn)均在Intel Xeon CPU E5?2680 v3和RTX 2080Ti顯卡上進(jìn)行訓(xùn)練，訓(xùn)練時(shí)對(duì)輸入圖像分辨率大小進(jìn)行統(tǒng)一設(shè)置，重設(shè)為256×256，設(shè)置批次大小（Batch_size）為10，訓(xùn)練迭代輪次為200個(gè)epoch。初始學(xué)習(xí)率為1×10-3，使用AdamW優(yōu)化器[12][β]區(qū)間為0.9～0.999，權(quán)重衰退（Weight Decay）為0.01，學(xué)習(xí)率隨訓(xùn)練輪次的增加在80個(gè)epoch后下降90%。

2.2" 評(píng)估指標(biāo)

本文采用準(zhǔn)確率（Accuracy）、ROC曲線下面積（AUC）、[F1]分?jǐn)?shù)、骰子系數(shù)（Dice）和平均交并比（MIoU）作為評(píng)價(jià)指標(biāo)來(lái)衡量方法的性能。

ACC是常見(jiàn)的圖像分割評(píng)價(jià)指標(biāo)，也稱(chēng)精度，表示分類(lèi)準(zhǔn)確的樣本數(shù)占該類(lèi)樣本總數(shù)的比例。計(jì)算公式如下：

[ACC=TP+TNTP+TN+FP+FN] （4）

式中：TP表示檢測(cè)正確的正樣本像素?cái)?shù)量；TN表示檢測(cè)正確的負(fù)樣本像素?cái)?shù)量；FP表示檢測(cè)錯(cuò)誤的負(fù)樣本像素?cái)?shù)量；FN表示檢測(cè)錯(cuò)誤的正樣本數(shù)量。

ROC曲線分別以假陽(yáng)性率和真陽(yáng)性率作為橫軸和縱軸，綜合反映了兩者之間的關(guān)系，ROC曲線下面積（AUC）是評(píng)價(jià)模型優(yōu)劣性的重要指標(biāo)。計(jì)算公式如下：

[AUC=insi∈positiverankinsi-M（M+1）2MN] （5）

式中：[rankinsi]表示第[i]個(gè)樣本的序號(hào)（概率得分從小到大排序，排至第rank個(gè)的位置）；[M]、[N]分別表示正樣本與負(fù)樣本的個(gè)數(shù)。

[F1]分?jǐn)?shù)取像素級(jí)評(píng)價(jià)指標(biāo)，使用模型輸出的預(yù)測(cè)圖像[P]和實(shí)際分割標(biāo)簽[G]（Ground Truth）進(jìn)行計(jì)算。計(jì)算公式如下：

[F1=2×TPTP+FP×TPTP+FNTPTP+FP+TPTP+FN] （6）

骰子系數(shù)（Dice）是醫(yī)學(xué)圖像中使用頻率最高的評(píng)價(jià)指標(biāo)，是一種集合相似度度量指標(biāo)，通常用于計(jì)算兩個(gè)樣本的相似度。計(jì)算公式如下：

[Dice=2×TPFP+2×TP+FN] （7）

平均交并比（MIoU）是語(yǔ)義分割中常見(jiàn)的評(píng)價(jià)指標(biāo)，是真實(shí)值與預(yù)測(cè)值兩個(gè)集合的交集和并集之比。計(jì)算公式如下：

[MIoU=1k+1i=0kpiij=0kpij+j=0kpji-pii] （8）

式中：[i]表示真實(shí)值；[j]表示預(yù)測(cè)值；[pij]表示將[i]預(yù)測(cè)為[j]的像素個(gè)數(shù)。

2.3" 數(shù)據(jù)集

本文采用DRIVE[13]、STARE[14]、CHASE_DB1[14?15]、ISIC2018[16]四個(gè)數(shù)據(jù)集檢驗(yàn)本文方法，并與其他方法進(jìn)行了實(shí)驗(yàn)比較。其中，DRIVE、STARE、CHASE_DB1數(shù)據(jù)集為視網(wǎng)膜血管分割，這三個(gè)數(shù)據(jù)集中量較少，最少的STARE數(shù)據(jù)集僅有20張，最多的DRIVE數(shù)據(jù)集也僅有40張，且數(shù)據(jù)集中細(xì)小特征較多，由于STARE與CHASE_DB1數(shù)據(jù)集較少，本文將兩個(gè)數(shù)據(jù)集合并為一個(gè)數(shù)據(jù)集使用。將三個(gè)數(shù)據(jù)集分別按照訓(xùn)練集、驗(yàn)證集和測(cè)試集為8∶1∶1的比例隨機(jī)抽取，并加入隨機(jī)翻轉(zhuǎn)和裁剪作為圖像增強(qiáng)。

2.4" 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文模型的有效性，將本文模型與其他文章的模型進(jìn)行比較，實(shí)驗(yàn)對(duì)比結(jié)果見(jiàn)表1。

U?Net[3]網(wǎng)絡(luò)使用編碼器?解碼器?跳躍連接結(jié)構(gòu)進(jìn)行圖像語(yǔ)義分割，因其網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，針對(duì)于醫(yī)學(xué)圖像數(shù)據(jù)集較少的情況有著較好的分割表現(xiàn)而廣泛應(yīng)用，其獨(dú)特的跳躍連接結(jié)構(gòu)幫助網(wǎng)絡(luò)對(duì)不同尺度特征進(jìn)行融合。

U?Net++[4]網(wǎng)絡(luò)使用U?Net網(wǎng)絡(luò)編碼器?解碼器結(jié)構(gòu)，在跳躍連接中加入中間層，摒棄原U?Net網(wǎng)絡(luò)的長(zhǎng)連接而使用短連接和深監(jiān)督，可以使網(wǎng)絡(luò)中間層也得到訓(xùn)練，并且使用長(zhǎng)連接獲取更多特征信息。

U?Net 3+[17]網(wǎng)絡(luò)使用全尺度連接代替原U?Net網(wǎng)絡(luò)的長(zhǎng)距離連接，該連接方式整合淺層網(wǎng)絡(luò)的高分辨率特征與深層網(wǎng)絡(luò)的上下文信息，并且該網(wǎng)絡(luò)相比于U?Net++網(wǎng)絡(luò)的參數(shù)量更少。

U2?Net+[6]網(wǎng)絡(luò)使用類(lèi)似于U?Net網(wǎng)絡(luò)結(jié)構(gòu)，在每層中嵌套類(lèi)U?Net結(jié)構(gòu)而組成的網(wǎng)絡(luò)，其較深的網(wǎng)絡(luò)結(jié)構(gòu)可以使得分割時(shí)邊緣更加清晰。

FR?UNet[7]網(wǎng)絡(luò)將原U?Net網(wǎng)絡(luò)的長(zhǎng)距離連接全部替換為上下層之間的短距離連接，從同一層網(wǎng)絡(luò)連接轉(zhuǎn)為多尺度特征信息連接方式，可以更好地學(xué)習(xí)上下文信息以及細(xì)節(jié)特征，從而進(jìn)行圖像的語(yǔ)義分割。

TransUNet[18]網(wǎng)絡(luò)通過(guò)對(duì)原U?Net網(wǎng)絡(luò)的下采樣中加入Transformer結(jié)構(gòu)作為編碼器組合而成，使用Transformer對(duì)來(lái)自卷積神經(jīng)網(wǎng)絡(luò)（CNN）特征圖的標(biāo)記化圖像塊編碼來(lái)提取全局上下文信息，從而實(shí)現(xiàn)圖像語(yǔ)義分割。

DCSAUNet[19]網(wǎng)絡(luò)使用緊湊分裂注意模塊（CSA）代替原U?Net網(wǎng)絡(luò)的編碼器與解碼器，為了避免梯度隨層數(shù)增加而消失，擴(kuò)大接受域，加入PFC策略改進(jìn)了深度可分離卷積（DC），實(shí)現(xiàn)圖像語(yǔ)義分割。

本文算法與上述7種算法在DRIVE、STARE+CHASE_DB1數(shù)據(jù)集上的ACC、AUC、[F1]比較見(jiàn)表1。在DRIVE數(shù)據(jù)集上，本文算法的[F1]相比于U?Net網(wǎng)絡(luò)、U?Net++網(wǎng)絡(luò)、U?Net 3+網(wǎng)絡(luò)以及U2?Net+網(wǎng)絡(luò)分別提高7.8%、5.7%、6.3%以及4%，由于DRIVE數(shù)據(jù)集為視網(wǎng)膜血管圖像分割，其中圖像中的細(xì)小特征較多，這些簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)并不能很好地針對(duì)于細(xì)小血管的識(shí)別與分割，網(wǎng)絡(luò)在下采樣與上采樣之間丟失了許多的細(xì)小特征。與其相比，F(xiàn)R?UNet網(wǎng)絡(luò)、TransUNet網(wǎng)絡(luò)以及DCSAUNet網(wǎng)絡(luò)采用了不同的針對(duì)于醫(yī)學(xué)圖像中細(xì)小特征的模塊后，雖對(duì)圖像中的細(xì)小血管有著不錯(cuò)的識(shí)別效果，但是對(duì)于血管邊緣的清晰程度，相比本文結(jié)果仍是稍弱一點(diǎn)。本文算法相比三種方法[F1]分別提高2.5%、2.5%以及2.2%。由于ISIC2018數(shù)據(jù)集數(shù)量相對(duì)較多且分割結(jié)構(gòu)較為簡(jiǎn)單，U?Net網(wǎng)絡(luò)、U?Net++網(wǎng)絡(luò)、U?Net 3+網(wǎng)絡(luò)以及U2?Net+網(wǎng)絡(luò)均有著不錯(cuò)的分割表現(xiàn)，但是由于圖像中邊緣細(xì)節(jié)較多，所以分割結(jié)果可視化后邊緣表現(xiàn)并不理想。本文方法與其他四種方法相比，DSC分別提高13.3%、12.3%、10%以及7.6%，而本文網(wǎng)絡(luò)相比于FR?UNet網(wǎng)絡(luò)、TransUNet網(wǎng)絡(luò)以及DCSAUNet網(wǎng)絡(luò)的DSC分別提高4.5%、2.9%以及2.6%。

將本文模型與U2?Net+網(wǎng)絡(luò)、FR?UNet網(wǎng)絡(luò)、TransUNet網(wǎng)絡(luò)以及DCSAUNet網(wǎng)絡(luò)進(jìn)行了分割可視化對(duì)比，可視化結(jié)果如圖3所示。由圖3可知，本文模型效果優(yōu)于其他模型，對(duì)于圖像的邊緣清晰度和細(xì)小特征都有著很好的表現(xiàn)，說(shuō)明本文方法是有效且準(zhǔn)確的。

2.5" 消融實(shí)驗(yàn)

本文模型相比于其他網(wǎng)絡(luò)的優(yōu)點(diǎn)在于獨(dú)特的跳躍連接機(jī)制、非對(duì)稱(chēng)空洞空間卷積金字塔以及針對(duì)于醫(yī)學(xué)圖像的混合損失函數(shù)機(jī)制。為了驗(yàn)證本文各個(gè)部分的有效性，通過(guò)消融實(shí)驗(yàn)對(duì)比不同模塊的ACC、AUC、[F1]值，用來(lái)展示各個(gè)模塊的結(jié)果，見(jiàn)表2。

本文對(duì)以下四種情況進(jìn)行消融實(shí)驗(yàn)：U2?Net+：采用U2?Net+網(wǎng)絡(luò)對(duì)視網(wǎng)膜血管圖像進(jìn)行語(yǔ)義分割；U2?Net+S：在U2?Net+網(wǎng)絡(luò)中加入本文的跳躍連接機(jī)制對(duì)視網(wǎng)膜血管圖像進(jìn)行語(yǔ)義分割；U2?Net+SA：在U2?Net+S網(wǎng)絡(luò)中加入非對(duì)稱(chēng)空洞空間卷積金字塔對(duì)視網(wǎng)膜血管圖像進(jìn)行語(yǔ)義分割；U2?Net+SA?Loss：在U2?Net+SA網(wǎng)絡(luò)中加入混合損失函數(shù)對(duì)視網(wǎng)膜血管圖像進(jìn)行語(yǔ)義分割。

3" 結(jié)" 論

本文提出了一個(gè)基于U2?Net+網(wǎng)絡(luò)的醫(yī)學(xué)圖像語(yǔ)義分割模型。本文采用上下層短連接將淺層細(xì)節(jié)特征與深層上下文信息融合，在減少丟失淺層高分辨率特征的前提下，加深特征圖之間的上下文信息；在中間層加入空洞空間卷積金字塔使得網(wǎng)絡(luò)在下采樣中加深對(duì)邊緣信息的保留與采集；在金字塔中加入非對(duì)稱(chēng)卷積減少網(wǎng)絡(luò)模型的參數(shù)量，在金字塔結(jié)尾加入閾值增強(qiáng)模塊，使得網(wǎng)絡(luò)對(duì)于已識(shí)別的細(xì)小特征但概率不高的情況進(jìn)行改善。

實(shí)驗(yàn)結(jié)果表明，本文提出的模型在DRIVE、STARE+CHASE_DB1以及ISIC2018數(shù)據(jù)集上取得了優(yōu)異的結(jié)果。另外，消融實(shí)驗(yàn)DRIVE數(shù)據(jù)集的效果說(shuō)明其中每個(gè)模塊對(duì)于網(wǎng)絡(luò)都有正向積極作用。本文研究希望通過(guò)這類(lèi)語(yǔ)義分割可以更好地為醫(yī)學(xué)領(lǐng)域的臨床診斷與治療做出更加杰出的輔助作用，從而減少醫(yī)學(xué)領(lǐng)域的診斷錯(cuò)誤率。

注：本文通訊作者為孫水發(fā)。

參考文獻(xiàn)

[1] QURESHI I， YAN J H， ABBAS Q， et al. Medical image segmentation using deep semantic?based methods： A review of techniques， applications and emerging trends [J]. Information fusion， 2023， 90： 316?352.

[2] KATTENBORN T， LEITLOFF J， SCHIEFER F， et al. Review on convolutional neural networks （CNN） in vegetation remote sensing [J]. ISPRS journal of photogrammetry and remote sensing， 2021， 173： 24?49.

[3] RONNEBERGER O， FISCHER P， BROX T. U?Net： Convolutional networks for biomedical image segmentation [C]// Proceedings of 18th International Conference on Medical Image Computing and Computer?assisted Intervention. Heidelberg， Germany： Springer， 2015： 234?241.

[4] ZHOU Z W， SIDDIQUEE M M R， TAJBAKHSH N， et al. UNet++： A nested U?Net architecture for medical image segmentation [C]// Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support： 4th International Workshop and 8th International Workshop. Heidelberg， Germany： Springer， 2018： 3?11.

[5] LIU W T， YANG H H， TIAN T， et al. Full?resolution network and dual?threshold iteration for retinal vessel and coronary angiograph segmentation [J]. IEEE journal of biomedical and health informatics， 2022， 26（9）： 4623?4634.

[6] QIN X B， ZHANG Z C， HUANG C Y， et al. U2?Net： Going deeper with nested U?structure for salient object detection [J]. Pattern recognition， 2020， 106： 107404?107414.

[7] LI Y Z， CHENG Z Y， WANG C J， et al. RCCT?ASPPNet： Dual?encoder remote image segmentation based on transformer and ASPP [J]. Remote sensing， 2023， 15（2）： 379?389.

[8] BAI Z X， WANG J Y， ZHANG X L， et al. End?to?end speaker verification via curriculum bipartite ranking weighted binary cross?entropy [J]. IEEE/ACM transactions on audio， speech， and language processing， 2022， 30： 1330?1344.

[9] LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection [J]. IEEE transactions on pattern analysis and machine intelligence， 2020， 42（2）： 2980?2988.

[10] LEE P， UH Y， BYUN H. Background suppression network for weakly?supervised temporal action localization [C]// Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.]： AAAI， 2020： 11320?11327.

[11] YE X H， XIONG F C， LU J F， et al. ?3?Net： Feature fusion and filtration network for object detection in optical remote sensing images [J]. Remote sensing， 2020， 12（24）： 4027.

[12] WU H， SONG H N， HUANG J H， et al. Flood detection in dual?polarization SAR images based on multi?scale deeplab model [J]. Remote sensing， 2022， 14（20）： 5181.

[13] STAAL J， ABRàMOFF M D， NIEMEIJER M， et al. Ridge?based vessel segmentation in color images of the retina [J]. IEEE transactions on medical imaging， 2004， 23（4）： 501?509.

[14] HOOVER A D， KOUZNETSOVA V， GOLDBAUM M. Locating blood vessels in retinal images by piecewise threshold probing of a matched filter response [J]. IEEE transactions on medical imaging， 2000， 19（3）： 203?210.

[15] FRAZ M M， REMAGNINO P， HOPPE A， et al. An ensemble classification?based approach applied to retinal blood vessel segmentation [J]. IEEE transactions on biomedical engineering， 2012， 59（9）： 2538?2548.

[16] LI Y X， SHEN L L. Skin lesion analysis towards melanoma detection using deep learning network [J]. Sensors， 2018， 18（2）： 556?566.

[17] HUANG H M， LIN L F， TONG R F， et al. UNet 3+： A full?scale connected UNet for medical image segmentation [C]// 2020 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. New York： IEEE， 2020： 1055?1059.

[18] NURIN F V. Improved segmentation of overlapping red blood cells on malaria blood smear images with TransUNet architecture [J]. International journal of imaging systems and technology， 2022， 32（5）： 1673?1680.

[19] ISLAM SUMON R， BHATTACHARJEE S， HWANG Y B， et al. Densely convolutional spatial attention network for nuclei segmentation of histological images for computational pathology [J]. Frontiers in oncology， 2023， 13： 1009681?1009691.

作者簡(jiǎn)介：王清華（1998—），男，湖北武漢人，碩士研究生，主要研究領(lǐng)域?yàn)獒t(yī)學(xué)圖像語(yǔ)義分割。

孫水發(fā)（1977—），男，江西黎川人，教授，博士生導(dǎo)師，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)視覺(jué)、圖像處理、自然語(yǔ)言處理、人工智能、大數(shù)據(jù)分析、信息安全等。

吳義熔（1970—），男，湖北荊州人，教授，博士生導(dǎo)師，主要研究領(lǐng)域?yàn)樾畔①Y源管理及分析、社會(huì)治安管理、醫(yī)學(xué)大數(shù)據(jù)和精確醫(yī)學(xué)。