劉羽，吳蓉蓉，唐璐，宋寧寧

1.合肥工業(yè)大學(xué)生物醫(yī)學(xué)工程系，合肥 230009；2.徐州醫(yī)科大學(xué)醫(yī)學(xué)影像學(xué)院，徐州 221004；3.南京市第一醫(yī)院，南京 210006

0 引 言

超聲彈性成像技術(shù)(ultrasound elastography，UE)又稱實(shí)時(shí)應(yīng)變成像技術(shù)(real-time elastography imaging)，基本原理為：由于不同靶組織(正常和病變)的彈性系數(shù)不同，加外力后其應(yīng)變會(huì)存在差異，通過收集靶組織在某時(shí)間段內(nèi)的各片段信號(hào)，以黑白、偽彩或者彩色編碼的方式將差異顯示在原圖像上，實(shí)現(xiàn)超聲彈性成像。在肺癌的診斷和治療中，準(zhǔn)確的肺癌縱膈淋巴結(jié)診斷至關(guān)重要(何海艷 等，2016)。超聲彈性成像技術(shù)聯(lián)合經(jīng)支氣管針吸活檢術(shù)已逐步用于肺癌縱膈淋巴結(jié)的診斷，該技術(shù)稱為超聲內(nèi)鏡引導(dǎo)下的經(jīng)支氣管針吸活檢術(shù)(endobronchial ultrasound-guided transbron-chial needle aspiration，EBUS-TBNA)，通過在支氣管鏡前搭載超聲探頭，并應(yīng)用電子凸陣掃描彩色能量多普勒超聲系統(tǒng)，能更生動(dòng)地顯示及定位病變(李靈芝 等，2018)。圖1展示了常規(guī)超聲圖像和疊加彩色編碼的彈性圖像。一般來說，病變的淋巴結(jié)硬度較大，受到擠壓后變形程度小，在彈性圖像中表現(xiàn)為藍(lán)色；與之相反，正常的淋巴結(jié)表現(xiàn)為紅色或綠色。超聲彈性成像技術(shù)在肺癌淋巴結(jié)病變?cè)\斷上的作用吸引了很多學(xué)者的關(guān)注(Huang等，2017b；王虹 等，2018)，然而當(dāng)前關(guān)于支氣管超聲彈性圖像的研究中，淋巴結(jié)通常需要專業(yè)醫(yī)師手動(dòng)分割，費(fèi)時(shí)費(fèi)力，極大限制了相關(guān)研究的開展。因此，研究彈性圖像淋巴結(jié)自動(dòng)分割方法具有重要意義。

圖1 常規(guī)超聲圖像和彈性圖像

醫(yī)學(xué)圖像分割的目的是將醫(yī)學(xué)圖像中感興趣的目標(biāo)區(qū)域分割出來，為疾病診斷與治療提供更可靠的依據(jù)。近年來，依靠深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征學(xué)習(xí)能力，深度學(xué)習(xí)在多種醫(yī)學(xué)圖像分割問題中進(jìn)行了成功的應(yīng)用。例如，肝臟腫瘤分割(劉云鵬 等，2020)、肺腫瘤分割(郝曉宇 等，2020)、腦腫瘤分割(江宗康 等，2020)、眼底血管分割(高穎琪 等，2020)等。在基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分割研究中，U-Net(Ronneberger等，2015)是一種最為常用的網(wǎng)絡(luò)模型，具有編碼器—解碼器結(jié)構(gòu)。其中，編碼器旨在捕獲更高級(jí)的語義特征并逐漸減少特征圖的空間維度，解碼器則用于恢復(fù)對(duì)象細(xì)節(jié)和空間維度。為了進(jìn)一步提高U-Net的性能，許多學(xué)者將學(xué)習(xí)能力更強(qiáng)的VGGNet(Visual Geometry Group network)(Simonyan和Zisserman，2014)、ResNet(residual neural network)(He等，2016)和DenseNet(dense network)(Huang等，2017a)等網(wǎng)絡(luò)結(jié)構(gòu)融入U(xiǎn)-Net框架。例如，Guo等人(2019)將VGG作為U-Net的編碼器，在息肉分割任務(wù)中獲得了較高的分割精度；Abedalla等人(2020)將在ImageNet上預(yù)訓(xùn)練過的ResNet作為編碼器部分，在胸部X射線圖像氣胸分割問題中取得了很好效果；Li等人(2018)基于DenseNet模型設(shè)計(jì)編碼器，提高了肝臟和肝腫瘤分割的精度。此外，很多學(xué)者將注意力機(jī)制引入U(xiǎn)-Net網(wǎng)絡(luò)，旨在選擇出對(duì)當(dāng)前任務(wù)更關(guān)鍵的特征。例如，Oktay等人(2018)在U-Net框架下添加通道注意力模塊，在腹部CT(computed tomography)多標(biāo)簽分割問題中得到了很好的應(yīng)用；Woo等人(2018)將空間注意力機(jī)制與通道注意力機(jī)制相結(jié)合，相比于只關(guān)注通道注意力機(jī)制取得了更好的分割效果。

然而，目前對(duì)于支氣管超聲彈性圖像縱膈淋巴結(jié)分割問題的研究還較少，特別是尚未發(fā)現(xiàn)深度學(xué)習(xí)用于淋巴結(jié)分割問題的相關(guān)工作報(bào)道。在此背景下，本文開展基于深度學(xué)習(xí)的支氣管超聲彈性圖像縱膈淋巴結(jié)分割方法研究，主要貢獻(xiàn)包括：1)收集了一個(gè)用于支氣管超聲彈性圖像分割問題研究的數(shù)據(jù)集，包括205幅支氣管超聲彈性圖像及其相應(yīng)的淋巴結(jié)分割標(biāo)簽；2)在此數(shù)據(jù)集上測(cè)試了 6種典型的U-Net結(jié)構(gòu)深度網(wǎng)絡(luò)模型的分割性能，并結(jié)合上下文提取器和注意力機(jī)制設(shè)計(jì)了一種超聲彈性圖像淋巴結(jié)分割新方法，取得了較好的分割結(jié)果。

1 數(shù)據(jù)集

表1 穿刺淋巴結(jié)信息

數(shù)據(jù)集包含205幅彈性圖像及其相應(yīng)標(biāo)簽，彈性圖像的分割標(biāo)簽均由經(jīng)驗(yàn)豐富的資深醫(yī)師手動(dòng)標(biāo)記出淋巴結(jié)區(qū)域。圖2展示了3組彈性圖像和相應(yīng)的分割標(biāo)簽。

圖2 彈性圖像和分割標(biāo)簽

2 方 法

本文在收集的數(shù)據(jù)集上測(cè)試6種典型的U-Net結(jié)構(gòu)深度網(wǎng)絡(luò)模型的分割性能，包括基礎(chǔ)U-Net(Ronneberger等，2015)、VGG U-Net(Guo等，2019)、Res U-Net(Abedalla等，2020)、Dense U-Net(Li等，2018)、CE-Net(Gu等，2019)和Attention U-Net(Oktay等，2018)，并結(jié)合上下文提取器和注意力機(jī)制設(shè)計(jì)了一種新的淋巴結(jié)分割網(wǎng)絡(luò)ACE-Net(attention context encoder network)。表2列舉了上述7種U-Net模型編碼器和解碼器的結(jié)構(gòu)特點(diǎn)。在分割任務(wù)中，網(wǎng)絡(luò)輸入均為支氣管超聲彈性圖像，輸出均為預(yù)測(cè)的淋巴結(jié)分割圖像。

表2 7種U-Net模型編碼器和解碼器的結(jié)構(gòu)特點(diǎn)

2.1 基礎(chǔ)U-Net

圖3為基礎(chǔ)U-Net的網(wǎng)絡(luò)結(jié)構(gòu)，包括特征提取和上采樣兩部分(編碼器和解碼器)。特征提取部分下采樣4次，每經(jīng)過一個(gè)池化層尺度縮減2倍，共縮減16倍。上采樣部分相應(yīng)上采樣4次，并在每個(gè)上采樣階段使用跳躍連接，即將上采樣階段通道與特征提取對(duì)應(yīng)階段通道進(jìn)行融合。U-Net采用與全卷積網(wǎng)絡(luò)(fully convolutional network，F(xiàn)CN)(Shelhamer等，2017)完全不同的特征融合方法，通過“拼接”將特征在通道維度拼接在一起，形成更厚的特征，從而確保最后恢復(fù)的特征圖包含更多的低維特征，也使不同尺度的特征得到融合。

圖3 基礎(chǔ)U-Net網(wǎng)絡(luò)結(jié)構(gòu)

2.2 VGG U-Net

VGG U-Net將VGGNet作為U-Net的編碼器部分，可以提取更深層的特征，圖4為VGG U-Net的網(wǎng)絡(luò)結(jié)構(gòu)。在VGG網(wǎng)絡(luò)中，使用2個(gè)連續(xù)的3×3卷積核代替1個(gè)5×5卷積核，使用3個(gè)連續(xù)的3×3卷積核代替1個(gè)7×7卷積核。使用連續(xù)的小卷積核代替大卷積核的主要目的是在保證具有相同感知野的條件下提升網(wǎng)絡(luò)的深度，并填充邊緣信息，在一定程度上提升神經(jīng)網(wǎng)絡(luò)的效果。

圖4 VGG U-Net網(wǎng)絡(luò)結(jié)構(gòu)

2.3 Res U-Net

Res U-Net進(jìn)一步將特征提取能力更強(qiáng)的ResNet作為U-Net的編碼器部分，圖5為Res U-Net的網(wǎng)絡(luò)結(jié)構(gòu)。ResNet模型的核心是建立前面層與后面層之間的“短路連接”，即殘差塊。圖5 中的殘差塊(residual-block)在輸入與輸出之間建立了直接的關(guān)聯(lián)通道，使網(wǎng)絡(luò)專注于學(xué)習(xí)輸入輸出之間的殘差，使梯度的反向傳播更有效，避免梯度爆炸和消失。

圖5 Res U-Net網(wǎng)絡(luò)結(jié)構(gòu)

2.4 Dense U-Net

Dense U-Net將DenseNet作為U-Net的編碼器部分，圖6為Dense U-Net的網(wǎng)絡(luò)結(jié)構(gòu)。DenseNet的基本思路與ResNet相同，但是它建立的是前面所有層與后面層的密集連接，通過特征在通道上的拼接實(shí)現(xiàn)特征重用。在密集塊(dense-block)中，每個(gè)密集層(dense layer，DL)都會(huì)與前面所有層在通道維度上拼接在一起作為下一層的輸入。這種連接方式相當(dāng)于每一層都直接連接輸入，使特征和梯度的傳遞更加有效。

圖6 Dense U-Net網(wǎng)絡(luò)結(jié)構(gòu)

2.5 CE-Net

基于U-Net的分割方法通常會(huì)存在連續(xù)的卷積和池化導(dǎo)致部分空間信息丟失問題。對(duì)此，CE-Net(context encoder network)應(yīng)用上下文提取器來解決此問題。上下文提取器可以保留更多的空間信息并捕獲更高級(jí)的語義特征(Gu等，2019)，圖7為CE-Net的網(wǎng)絡(luò)結(jié)構(gòu)。上下文提取器主要包括密集空洞卷積模塊(dense atrous convolution，DAC)和殘差多核池化模塊(residual multi-kernel pooling，RMP)。

圖7 CE-Net網(wǎng)絡(luò)結(jié)構(gòu)

DAC模塊的內(nèi)部結(jié)構(gòu)如圖8所示。在DAC模塊中，空洞卷積以級(jí)聯(lián)方式堆疊，共5個(gè)級(jí)聯(lián)分支，其中1個(gè)分支參考ResNet結(jié)構(gòu)，其他4個(gè)分支參考Inception結(jié)構(gòu)(Szegedy等,2015)。每個(gè)分支空洞卷積比率從1到1、3、5逐漸增加，每個(gè)分支的感受野(從左到右)分別是3、7、9、19。不同的感受野適用于不同尺寸的對(duì)象。在每個(gè)分支中用1 × 1的卷積進(jìn)行線性激活。通常，大感受野的卷積可以比較完整地提取大對(duì)象的抽象特征，而小感受野的卷積對(duì)于小對(duì)象則更好。通過組合不同比率的空洞卷積，DAC模塊能夠提取不同尺寸對(duì)象的特征。

圖8 DAC模塊內(nèi)部結(jié)構(gòu)

殘差多核池化主要依靠多個(gè)有效的感受野來檢測(cè)不同大小的目標(biāo)。RMP模塊內(nèi)部結(jié)構(gòu)如圖9所示。RMP用4個(gè)不同大小的感受野(2×2、3×3、5×5和6×6)進(jìn)行下采樣，4個(gè)分支輸出4個(gè)不同尺寸的特征圖。在每個(gè)池化分支后，經(jīng)過1×1卷積將通道數(shù)變?yōu)?，然后對(duì)低維特征圖進(jìn)行上采樣，使它與原始特征圖具有相同尺寸。最后，將原始特征圖與上采樣的特征圖進(jìn)行拼接。

圖9 RMP模塊內(nèi)部結(jié)構(gòu)

2.6 Attention U-Net

Attention U-Net(Oktay等，2018)使用一種用于醫(yī)學(xué)成像的門控注意力(attention gate，AG)模型接在每個(gè)跳躍連接上，AG各變量見原文獻(xiàn)網(wǎng)絡(luò)結(jié)構(gòu),如圖10所示。使用注意力模塊對(duì)下采樣同層和上采樣層上一層的特征圖處理后，再與上采樣后的特征圖進(jìn)行拼接。將下采樣同層和上采樣層上一層的特征先經(jīng)過卷積層轉(zhuǎn)化為相同尺寸，兩個(gè)特征相加后可以融合下采樣層的結(jié)構(gòu)化信息和當(dāng)前層的紋理信息，再經(jīng)過線性整流ReLU(rectified linear unit)函數(shù)和sigmoid函數(shù)，得到注意系數(shù)后，再與原始下采樣同層的特征相乘，從而強(qiáng)調(diào)本層的顯著性區(qū)域特征。

圖10 Attention U-Net網(wǎng)絡(luò)結(jié)構(gòu)

2.7 注意力上下文編碼器網(wǎng)絡(luò)

在上述模型基礎(chǔ)上，本文設(shè)計(jì)了一種注意力上下文編碼器網(wǎng)絡(luò)(attention context encoder network，ACE-Net)，主要包含基于殘差網(wǎng)絡(luò)的編碼器、上下文提取器和基于AG的解碼器3部分，如圖11所示。使用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練且去掉平均池化層和全連接層的34層殘差網(wǎng)絡(luò)ResNet-34作為編碼器提取特征，可以避免梯度爆炸和消失。上下文提取器的作用是提取不同形狀和大小的對(duì)象特征，從編碼器的輸出中進(jìn)一步提取深層信息，同時(shí)保留盡可能多的空間信息?；贏G的解碼器可以抑制輸入圖像中的不相關(guān)區(qū)域，同時(shí)突出對(duì)當(dāng)前任務(wù)更關(guān)鍵的特征。

圖11 本文設(shè)計(jì)的ACE-Net網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

分割網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果為像素分類的概率值，即像素是否為淋巴結(jié)的概率值，故進(jìn)行一個(gè)二值化操作。設(shè)置閾值0.5，令概率值大于等于0.5的像素取值1，否則取為0，得到分割的二值圖像。

3.2 評(píng)價(jià)指標(biāo)

評(píng)價(jià)指標(biāo)使用Dice系數(shù)(Dice coefficient，DC)、敏感度(sensitivity，SE)和特異度(specificity，SP)。Dice系數(shù)是醫(yī)學(xué)圖像分割最為常用的一種評(píng)價(jià)指標(biāo)，用于計(jì)算兩個(gè)樣本的相似度，取值范圍是[0,1]，計(jì)算為

(1)

式中，P和G分別為模型預(yù)測(cè)的淋巴結(jié)區(qū)域和真實(shí)標(biāo)注區(qū)域的像素集，∩為兩個(gè)像素集對(duì)應(yīng)點(diǎn)的與運(yùn)算，|·|為像素?cái)?shù)量的代數(shù)求和運(yùn)算。

敏感度和特異度的計(jì)算式為

(2)

(3)

式中，TP表示預(yù)測(cè)為淋巴結(jié)實(shí)際為淋巴結(jié)的像素個(gè)數(shù)；TN表示預(yù)測(cè)為背景實(shí)際為背景的像素個(gè)數(shù)；FP表示預(yù)測(cè)為淋巴結(jié)實(shí)際為背景的像素個(gè)數(shù)；FN表示預(yù)測(cè)為背景實(shí)際為淋巴結(jié)的像素個(gè)數(shù)。

3.3 實(shí)驗(yàn)結(jié)果分析

表3為7種網(wǎng)絡(luò)的測(cè)試結(jié)果。U-Net網(wǎng)絡(luò)淋巴結(jié)分割的Dice系數(shù)、敏感度和特異度結(jié)果為0.820 7、85.08%和96.82%，其他改進(jìn)版本的U-Net網(wǎng)絡(luò)的分割性能在此基礎(chǔ)上均有一定提高。本文方法的Dice系數(shù)、敏感度和特異度結(jié)果為0.845 1、87.92%、97.04%，在Dice系數(shù)和敏感度方面取得了最優(yōu)值，分別比次優(yōu)值高0.005 5和0.16%，比基礎(chǔ)U-Net高了0.024 4和2.84%，在特異度方面取得了次優(yōu)值。

表3 不同網(wǎng)絡(luò)淋巴結(jié)分割結(jié)果

圖12為7種網(wǎng)絡(luò)淋巴結(jié)的分割結(jié)果。由4幅真實(shí)標(biāo)簽(ground truth，GT)圖像可以看出，每幅圖像淋巴結(jié)的大小和形狀都有很大變化，這為精準(zhǔn)分割增添了很大難度。本文方法由于增添了上下文提取器，能夠自動(dòng)提取不同形狀和大小的對(duì)象特征，可以較好地解決這個(gè)問題。從分割結(jié)果看，7種網(wǎng)絡(luò)模型基本都可以較好地分割出淋巴結(jié)的位置，其中，本文方法的分割結(jié)果更加精確。

圖12 不同網(wǎng)絡(luò)的淋巴結(jié)分割結(jié)果

4 結(jié) 論

在支氣管超聲彈性圖像研究中，通常需要專業(yè)醫(yī)師手動(dòng)分割淋巴結(jié)，這是一個(gè)費(fèi)時(shí)費(fèi)力的工作。為此，本文開展基于深度學(xué)習(xí)的支氣管超聲彈性圖像縱膈淋巴結(jié)自動(dòng)分割方法研究。本文收集了一個(gè)包含205幅支氣管超聲彈性圖像及其相應(yīng)分割標(biāo)簽的數(shù)據(jù)集，在此數(shù)據(jù)集上測(cè)試了6種典型的U-Net結(jié)構(gòu)深度網(wǎng)絡(luò)模型的分割性能，并結(jié)合上下文提取器和注意力機(jī)制設(shè)計(jì)了一種支氣管超聲彈性圖像縱膈淋巴結(jié)分割新方法。實(shí)驗(yàn)結(jié)果表明，本文模型與對(duì)比網(wǎng)絡(luò)模型在淋巴結(jié)自動(dòng)分割任務(wù)上均取得了良好效果，其中本文方法取得了最高的分割精度。由實(shí)驗(yàn)結(jié)果可以看出，以U-Net為代表的深度學(xué)習(xí)模型在支氣管超聲彈性圖像縱膈淋巴結(jié)分割任務(wù)中具有很大潛力，將上下文提取器和注意力機(jī)制融入U(xiǎn)-Net網(wǎng)絡(luò)可以一定程度上提升淋巴結(jié)分割精度。此外，本文收集的數(shù)據(jù)集將有助于推動(dòng)支氣管超聲彈性圖像淋巴結(jié)分割問題的研究。由于實(shí)驗(yàn)數(shù)據(jù)集規(guī)模比較小，雖然做了數(shù)據(jù)增強(qiáng)處理，但分割性能還不是很理想，后續(xù)工作擬不斷增加數(shù)據(jù)集的規(guī)模，從而進(jìn)一步提升分割精度。