秦志遠(yuǎn) 朱峻瀧 張 琛 丁思琪 叢 瑞 宋 威

隨著科技的不斷發(fā)展，基于深度學(xué)習(xí)的圖像分割技術(shù)在醫(yī)學(xué)圖像處理中得到全面應(yīng)用。自2015年國(guó)際醫(yī)學(xué)圖像計(jì)算和計(jì)算機(jī)輔助干預(yù)會(huì)議上首次提出U-Net模型［1］，該模型及其變體（Nested U-Net、V-Net、循環(huán)殘差U-Net等）在生物醫(yī)學(xué)影像分割中取得了理想的結(jié)果。2015年，IEEE國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議提出的全卷積神經(jīng)網(wǎng)絡(luò)（FCN）模型是第一個(gè)成功應(yīng)用到圖像分割的神經(jīng)網(wǎng)絡(luò)。通過(guò)杠桿組標(biāo)準(zhǔn)化與leaky ReLU函數(shù)，研究者重新設(shè)計(jì)了U-Net的結(jié)構(gòu)，便于分割3D圖像［2］。2018年，李娜［3］在U-Net的基礎(chǔ)上提出了一個(gè)新網(wǎng)絡(luò)AUNet，滿足全景分割醫(yī)學(xué)圖像的需求。使用梯度矢量流（GVF）圖像分割技術(shù)對(duì)醫(yī)學(xué)影像進(jìn)行處理分析，分割過(guò)程簡(jiǎn)單準(zhǔn)確，較傳統(tǒng)處理方法效率更高、效果更好。神經(jīng)網(wǎng)絡(luò)模型提取能力很強(qiáng)，能夠追蹤特定區(qū)域內(nèi)任意想要到達(dá)的目標(biāo)，因而適用于醫(yī)學(xué)影像分割，如CT、MRI和超聲圖像的處理。醫(yī)學(xué)影像分割按照醫(yī)學(xué)方面既定的規(guī)則把醫(yī)學(xué)圖像劃分成多個(gè)不相交區(qū)域，精準(zhǔn)分割目標(biāo)體積、形狀、紋理等特征，便于后續(xù)處理。作為目前在醫(yī)學(xué)領(lǐng)域研究?jī)r(jià)值較高的圖像分割網(wǎng)絡(luò)，其基礎(chǔ)是FCN，但又不同于FCN［4］。U-Net較淺的高分辨率層用來(lái)解決像素定位的問(wèn)題，較深層用來(lái)解決像素分類的問(wèn)題，通過(guò)將淺層特征圖與深層特征圖結(jié)合，并利用特征拼接、多尺度融合的手段充分關(guān)注分割細(xì)節(jié)，使其在圖像分割及邊緣檢測(cè)領(lǐng)域表現(xiàn)優(yōu)秀。ResNet網(wǎng)絡(luò)可以加速網(wǎng)絡(luò)收斂、有效解決梯度消失和因網(wǎng)絡(luò)結(jié)構(gòu)深導(dǎo)致的網(wǎng)絡(luò)退化問(wèn)題［5］。在重大疫情或野外救災(zāi)等特殊環(huán)境下，自動(dòng)穿刺裝置有著重要作用，而靜脈的識(shí)別與跟蹤對(duì)自動(dòng)穿刺設(shè)備的研發(fā)具有重要的意義。靜脈超聲圖像噪點(diǎn)多，傳統(tǒng)閾值分割效果差，但其局部語(yǔ)義相對(duì)明確?；诖?，本研究以ResNet34作為特征提取前端，并使用U-Net作為后端網(wǎng)絡(luò)，提出了基于ResNet34-UNet網(wǎng)絡(luò)的靜脈分割方法，取得了較為優(yōu)秀的分割效果。

一、數(shù)據(jù)采集與預(yù)處理

本研究的數(shù)據(jù)集來(lái)自項(xiàng)目合作醫(yī)院和互聯(lián)網(wǎng)，所使用的靜脈超聲圖像均為淺層皮下靜脈超聲圖像。原始數(shù)據(jù)集共500張靜脈超聲圖像，在項(xiàng)目合作醫(yī)院醫(yī)技科的醫(yī)師指導(dǎo)協(xié)助下，使用Labelme人工打標(biāo)，制作掩膜標(biāo)簽（圖1）?；赗esNet34-UNet網(wǎng)絡(luò)框架的輸入要求，對(duì)靜脈超聲原始圖像進(jìn)行批量剪裁，將圖像尺寸統(tǒng)一為512 px×512 px；將靜脈超聲原始圖像進(jìn)行24位轉(zhuǎn)8位的灰度化，并通過(guò)旋轉(zhuǎn)、翻轉(zhuǎn)等方法對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充；將總數(shù)據(jù)集的60%（300張）作為訓(xùn)練集，40%（200張）作為測(cè)試集。本實(shí)驗(yàn)使用Python 3.7編程語(yǔ)言，TensorFlow 2.1.0人工智能框架，配合使用Keras模塊進(jìn)行開(kāi)發(fā)。

圖1 靜脈超聲原始圖像（A）和掩膜圖像（B）

二、網(wǎng)絡(luò)算法框架

1.U-Net

基于編碼與解碼的設(shè)計(jì)思路，U-Net使用一種完全對(duì)稱的U型網(wǎng)絡(luò)結(jié)構(gòu)來(lái)獲取上下文的特征信息和位置信息。與大多數(shù)神經(jīng)網(wǎng)絡(luò)模型類似，U-Net使用卷積操作來(lái)提取圖像特征，從而實(shí)現(xiàn)圖像分割。依據(jù)U-Net結(jié)構(gòu)的設(shè)計(jì)，將原始圖像輸入U(xiǎn)-Net后，通過(guò)尺寸為3×3卷積核，先進(jìn)行2次卷積操作；之后經(jīng)過(guò)1次最大池化操作，池化窗口的size為2×2，stride為2。在網(wǎng)絡(luò)左側(cè)，上述下采樣過(guò)程進(jìn)行4次，每次池化的過(guò)程卷積核的數(shù)目均會(huì)加倍［6］。經(jīng)過(guò)網(wǎng)絡(luò)左側(cè)的特征提取后，加上原始圖像輸入的尺度，共有5種尺度的特征圖。在編碼區(qū)域最后1次卷積后，得到的特征圖會(huì)連接右側(cè)解碼部分。與編碼部分相似，在網(wǎng)絡(luò)右側(cè)進(jìn)行上采樣的過(guò)程中，反卷積過(guò)程和2次卷積過(guò)程會(huì)進(jìn)行4次，每次上采樣過(guò)程卷積核的數(shù)目均會(huì)減半。最后經(jīng)過(guò)1次1×1的卷積操作得到最終的網(wǎng)絡(luò)預(yù)測(cè)結(jié)果。

U-Net的最大特點(diǎn)是引入長(zhǎng)連接，實(shí)現(xiàn)了通道維度上的融合學(xué)習(xí)（疊操作）。下采樣和上采樣過(guò)程分別得到通道數(shù)相同的特征圖，將網(wǎng)絡(luò)左側(cè)得到的特征圖剪裁，使其與網(wǎng)絡(luò)右側(cè)的特征圖尺度相同，之后并聯(lián)至相同通道數(shù)的網(wǎng)絡(luò)右側(cè)部分。通過(guò)這種方式融合靜脈超聲圖像的淺層特征和深層特征（低分辨率信息和高分辨率信息），實(shí)現(xiàn)了更佳的信息利用效果?？紤]到淺層靜脈超聲圖像的分割目標(biāo)分布較為規(guī)律，語(yǔ)義簡(jiǎn)單明確，低分辨率信息能夠提供其類別識(shí)別依據(jù)；又因?yàn)槠溥吔巛^為模糊，梯度復(fù)雜，故需要高分辨率的信息提供精準(zhǔn)分割的依據(jù)。本研究提出的ResNet34-UNet充分利用了U-Net能有效結(jié)合低分辨率和高分辨率特征的特點(diǎn)，在自制靜脈超聲數(shù)據(jù)集上取得了優(yōu)秀的分割效果。

2.ResNet網(wǎng)絡(luò)

基于以往對(duì)CNN的研究可知，通過(guò)增加網(wǎng)絡(luò)深度可以學(xué)習(xí)到更多的特征信息。目前已有研究［7］證實(shí)隨著網(wǎng)絡(luò)的加深，傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)會(huì)出現(xiàn)梯度爆炸或梯度消失現(xiàn)象，導(dǎo)致深層次的網(wǎng)絡(luò)無(wú)法學(xué)習(xí)到更多特征信息，甚至產(chǎn)生網(wǎng)絡(luò)退化的現(xiàn)象。為解決這一問(wèn)題，本研究采用ResNet作為整個(gè)網(wǎng)絡(luò)的主干網(wǎng)絡(luò)。ResNet本質(zhì)是一個(gè)不斷擬合殘差的過(guò)程，其通過(guò)間接學(xué)習(xí)若干個(gè)輸入層和輸出層之間的殘差，使網(wǎng)絡(luò)收斂地更快（損失Loss更快地下降），模型的精度更高［6］。

基于一個(gè)網(wǎng)絡(luò)堆疊結(jié)構(gòu)，ResNet選擇學(xué)習(xí)每一層輸入與輸出之間的殘差F（x），其中F（x）=H（x）-x，最終實(shí)際學(xué)習(xí)的結(jié)果為F（x）+x。ResNet使用類似電路結(jié)構(gòu)中的“短路”設(shè)計(jì)，F(xiàn)（x）模塊進(jìn)行殘差學(xué)習(xí)，x為直接映射，各層之間使用Relu作為激活函數(shù)，由此構(gòu)成了ResNet基本的殘差學(xué)習(xí)單元［8］。這樣的設(shè)計(jì)不僅減少了每一層的學(xué)習(xí)量，且每一層的訓(xùn)練結(jié)果都是當(dāng)下最優(yōu)狀況，由此解決了網(wǎng)絡(luò)加深時(shí)的退化問(wèn)題。

3.ResNet34-UNet網(wǎng)絡(luò)

綜合考慮醫(yī)療嵌入式設(shè)備的運(yùn)算能力與隨著網(wǎng)絡(luò)加深的實(shí)際分割效果，本研究使用較為輕量的ResNet34作為最終的主干網(wǎng)絡(luò)。如圖2左側(cè)部分所示，ResNet34相比普通網(wǎng)絡(luò)每?jī)蓪娱g增加了短路機(jī)制，在特征提取的過(guò)程中進(jìn)行兩層間的殘差學(xué)習(xí)，圖2左側(cè)虛線表示特征圖的維度（通道數(shù)）發(fā)生了變化。

圖2 ResNet34-UNet網(wǎng)絡(luò)結(jié)構(gòu)圖

針對(duì)一個(gè)兩層的殘差單元，假設(shè)al為該殘差單元第一層的輸入，al+2為第二層的輸出，F(xiàn)（xl）為xl經(jīng)過(guò)一個(gè)完整殘差單元后的輸出，Relu（x）=max（x，0）為激活函數(shù)，則有：

針對(duì)多個(gè)殘差單元的組合，設(shè)xl為第L層殘差單元的輸出，則有：

在誤差反向傳播過(guò)程中，由于identity=x，損失值在某一層的梯度為：

式（3）中括號(hào)內(nèi)的1體現(xiàn)出殘差結(jié)構(gòu)可以將上一層的輸入無(wú)損失地繼承下來(lái)；加號(hào)后面的殘差梯度則體現(xiàn)出網(wǎng)絡(luò)各層權(quán)重對(duì)輸出的影響。之所以是identity恒等映射而沒(méi)有乘權(quán)重矩陣，是因?yàn)槿鬷dentity=λx，則有：

從式（4）可以看出，當(dāng)λ>1，隨著網(wǎng)絡(luò)的加深，網(wǎng)絡(luò)有出現(xiàn)梯度爆炸的危險(xiǎn)；當(dāng)λ<1，則會(huì)導(dǎo)致梯度消失。由此可見(jiàn)，直接傳遞identity=x的必要性。

結(jié)合靜脈超聲圖像的特征及其分割需求，本文使用ResNet34-UNet網(wǎng)絡(luò)進(jìn)行靜脈圖像分割任務(wù)，整個(gè)網(wǎng)絡(luò)以ResNet34作為特征提取的前端網(wǎng)絡(luò)，以U-Net作為特征融合的后端網(wǎng)絡(luò)。整個(gè)網(wǎng)絡(luò)框架如圖2所示。本研究將ResNet34作為Encode-Decode結(jié)構(gòu)中的編碼器。在前饋計(jì)算過(guò)程中，ResNet34一共進(jìn)行了5次降采樣，由一次7×7的卷積操作和4次卷積block組成。在ResNet34-Unet網(wǎng)絡(luò)的解碼器部分，保留了原U-Net的4次上采樣過(guò)程。其中灰色箭頭表示U-Net特有的長(zhǎng)連接操作，實(shí)現(xiàn)了通道層面的特征融合。最后還進(jìn)行1次上采樣，以恢復(fù)原圖尺寸，最終獲取網(wǎng)絡(luò)的輸出。

三、圖像分割算法評(píng)價(jià)指標(biāo)

使用準(zhǔn)確度（ACC）和平均交并比（mIoU）作為本文語(yǔ)義分割的評(píng)價(jià)指標(biāo)。ACC計(jì)算公式為：ACC=（真陽(yáng)性+真陰性）/（真陽(yáng)性+假陰性+假陽(yáng)性+真陰性）。其中真陽(yáng)性表示模型分割出來(lái)的靜脈區(qū)域像素點(diǎn)實(shí)際為人工分割出來(lái)的靜脈區(qū)域像素點(diǎn)的總數(shù)；真陰性表示模型分割出來(lái)的背景區(qū)域像素點(diǎn)實(shí)際為人工分割出來(lái)的背景區(qū)域像素點(diǎn)的總數(shù)；假陰性表示模型分割出來(lái)的背景區(qū)域像素點(diǎn)實(shí)際為人工分割出來(lái)的靜脈區(qū)域像素點(diǎn)的總數(shù)；假陽(yáng)性表示模型分割出來(lái)的靜脈區(qū)域像素點(diǎn)實(shí)際為人工分割出來(lái)的背景區(qū)域像素點(diǎn)的總數(shù)。

在式（5）中，k為目標(biāo)類總數(shù)，pij為本該屬于i類的像素點(diǎn)被預(yù)測(cè)為j類的像素點(diǎn)的總數(shù)，具體可以說(shuō)：當(dāng)i類為正類時(shí)，pii表示為真陽(yáng)性；pjj表示為真陰性；pij表示為假陰性；pji表示為假陽(yáng)性。

mIoU是圖像分割領(lǐng)域常用的效果評(píng)價(jià)指標(biāo)，計(jì)算方法為：

在本研究中，分割目標(biāo)只有靜脈一個(gè)類別，故k值為1。

四、靜脈圖像分割結(jié)果與分析

將經(jīng)過(guò)預(yù)處理的數(shù)據(jù)集輸入ResNet34-UNet網(wǎng)絡(luò)，200張訓(xùn)練圖片在正式輸入網(wǎng)絡(luò)前，由生成器對(duì)其進(jìn)行旋轉(zhuǎn)、偏移等操作，以保證最終模型的魯棒性。實(shí)驗(yàn)過(guò)程中，網(wǎng)絡(luò)優(yōu)化器為AdamOptimizer，損失函數(shù)為binary_crossentropy。經(jīng)過(guò)10輪訓(xùn)練后保存最優(yōu)模型，得到的分割效果的ACC為0.963，mIoU為0.873。

如圖3所示，在10輪訓(xùn)練過(guò)程中，隨著迭代次數(shù)增加，模型的損失（Loss）迅速下降，ACC和mIoU逐步提高，最終達(dá)到較理想的結(jié)果。

圖3 ResNet34-UNet訓(xùn)練過(guò)程中各評(píng)價(jià)指標(biāo)

醫(yī)學(xué)圖像領(lǐng)域的分割網(wǎng)絡(luò)眾多，為了更好地體現(xiàn)本文所提出的分割網(wǎng)絡(luò)在靜脈超聲圖像上的進(jìn)步性，本研究使用相同的靜脈超聲圖像和相同的實(shí)驗(yàn)環(huán)境，在FCN和DeepLab v3+網(wǎng)絡(luò)中再次進(jìn)行實(shí)驗(yàn)，結(jié)果見(jiàn)圖4。

圖4 FCN訓(xùn)練過(guò)程中各評(píng)價(jià)指標(biāo)

通過(guò)對(duì)比可以看出，與ResNet34-UNet比較，F(xiàn)CN的測(cè)試集損失（val_loss）在訓(xùn)練后期已經(jīng)難以有效下降，其mIoU的上升效果也不明顯。

不同網(wǎng)絡(luò)靜脈超聲圖像分割實(shí)例見(jiàn)圖5，自A~E的5列圖像分別為：靜脈超聲原始圖像、標(biāo)簽圖像、ResNet34-UNet分割結(jié)果、DeepLab v3+分割結(jié)果、FCN分割結(jié)果。其中ResNet34-UNet的分割結(jié)果未出現(xiàn)明顯的異常間斷，且靜脈邊緣的分割效果較為平滑，而DeepLab v3+和FCN的分割結(jié)果則出現(xiàn)了像素間斷、大量像素分類錯(cuò)誤等現(xiàn)象。

圖5 不同網(wǎng)絡(luò)靜脈超聲圖像分割實(shí)例

由此可見(jiàn)，針對(duì)靜脈超聲圖像，ResNet34-UNet能夠較好地將目標(biāo)靜脈從其背景中分離出來(lái)，且靜脈邊緣絕大部分均較為平滑。分割效果的具體指標(biāo)見(jiàn)表1。結(jié)果顯示，在自制靜脈超聲數(shù)據(jù)集上，ResNet34-UNet分割的ACC分別較FCN和DeepLab v3+高5.9%和5.2%；mIoU分別較FCN和DeepLab v3+高15.7%和0.6%。表明無(wú)論是從分割準(zhǔn)確性還是邊緣平滑度來(lái)看，ResNet34-UNet網(wǎng)絡(luò)模型均能較好地滿足靜脈超聲圖像的分割要求。

表1 不同網(wǎng)絡(luò)分割算法對(duì)靜脈超聲圖像的分割結(jié)果

五、結(jié)論

ResNet34-UNet利用ResNet34作為特征提取的前端主干網(wǎng)絡(luò)，避免了因網(wǎng)絡(luò)層數(shù)加深導(dǎo)致的梯度發(fā)散、準(zhǔn)確度下降的現(xiàn)象，解決了網(wǎng)絡(luò)退化問(wèn)題；利用U-Net作為后端網(wǎng)絡(luò)，充分融合原始圖像的低分辨率信息和高分辨率信息（深層特征和淺層特征）。應(yīng)用ResNet34-UNet分割靜脈超聲圖像的ACC達(dá)96.3%，較FCN和DeepLab v3+實(shí)現(xiàn)了較大幅度的提升，能夠有效滿足靜脈超聲圖像的分割要求，且在保證分割準(zhǔn)確性的前提下，分割掩膜邊緣平滑度也能達(dá)到比較好的效果。但ResNet34-UNet的參數(shù)規(guī)模依舊較大，在靜脈自動(dòng)識(shí)別與跟蹤的實(shí)際應(yīng)用中，分割結(jié)果的實(shí)時(shí)性難以保證，未來(lái)會(huì)在算法實(shí)時(shí)性方面進(jìn)行進(jìn)一步研究。