宋穎超 梅禮曄 張俊華 王嘉慶 蔣 毅

1(云南大學(xué)信息學(xué)院 云南 昆明 650504)2(武漢大學(xué)工業(yè)科學(xué)研究院 湖北 武漢 430072)

0 引 言

淋巴結(jié)是人體內(nèi)產(chǎn)生免疫應(yīng)答的重要器官，淋巴結(jié)異常通常表明其屬區(qū)范圍內(nèi)發(fā)生了病變，因此重要的是根據(jù)淋巴結(jié)的分布來診斷相關(guān)疾病的淋巴結(jié)，特別是對(duì)于某些傳染病的診斷[1]。對(duì)淋巴結(jié)檢查的各種方法中，超聲成像技術(shù)具有準(zhǔn)確性、實(shí)時(shí)性、無輻射性及廉價(jià)性等優(yōu)點(diǎn)，是淋巴結(jié)檢查的首選影像方式。淋巴結(jié)超聲圖像的分割是后續(xù)量化的基礎(chǔ)，但因?yàn)榱馨徒Y(jié)超聲圖像中存在著不可避免的噪聲，常規(guī)的方法難以準(zhǔn)確地分割，后續(xù)量化就難以得到正確的結(jié)果，所以要采用一定的方法對(duì)淋巴結(jié)超聲圖像進(jìn)行分割。

目前，有很多關(guān)于淋巴結(jié)圖像分割的研究方法。朱長(zhǎng)明等[2]采用譜聚類集成的超聲圖像分割算法對(duì)淋巴結(jié)超聲圖像進(jìn)行分割。劉露等[3]采用交互式分割從CT圖像中提取出腫大淋巴結(jié)。張艷玲等[4]采用最大類間方差與形態(tài)學(xué)對(duì)盆腔淋巴結(jié)CT圖像進(jìn)行了分割。Zhang等[5]提出一種改進(jìn)的模糊聚類算法對(duì)淋巴結(jié)圖像進(jìn)行分割。魏駿等[6]采用遍歷閾值算法對(duì)頸部淋巴結(jié)進(jìn)行半自動(dòng)分割。Kuo等[7]提出了一種利用圖像嵌套結(jié)構(gòu)的新方法，即嵌套圖切法對(duì)淋巴結(jié)超聲圖像進(jìn)行分割。傳統(tǒng)方法在分割時(shí)會(huì)產(chǎn)生較多的偽邊緣。

近年來，隨著深度學(xué)習(xí)的發(fā)展，越來越多的人開始將深度學(xué)習(xí)應(yīng)用到圖像分割中。卷積神經(jīng)網(wǎng)絡(luò)[8](Convolutional neural network,CNN)是圖像分類及分割中最常用的一種方法，有較好的特征提取能力，但是其訓(xùn)練及預(yù)測(cè)時(shí)速度慢、耗時(shí)久，存在著大量冗余計(jì)算，像素塊的大小限制了感知區(qū)域的大小。Girshick等[9]提出了R-CNN應(yīng)用了候選框區(qū)域并使用支持向量機(jī)來進(jìn)行分類及自然圖像的分割，但R-CNN需要預(yù)先提取，會(huì)占用較大的空間，導(dǎo)致輸入信息丟失，會(huì)帶來巨大的計(jì)算浪費(fèi)。為了提高精度，Shelhamer等[10]對(duì)其進(jìn)行了改進(jìn)，提出了基于全卷積神經(jīng)網(wǎng)絡(luò)(Fully Con-volutional Networks,FCN)的圖像分割算法。FCN用于圖像語義分割，將圖像級(jí)別的分類擴(kuò)展到像素級(jí)別的分類。雖然FCN相較于CNN的分割精度提高，但由于FCN本身的特征，只能對(duì)圖像進(jìn)行初級(jí)分割，難以精確分割。Ronneberger等[11]提出了U-Net網(wǎng)絡(luò)，U-Net網(wǎng)絡(luò)擁有對(duì)稱的網(wǎng)絡(luò)結(jié)構(gòu)和條約連接，并且在醫(yī)學(xué)圖像的分割上優(yōu)于FCN。但因?yàn)橛袝r(shí)候有些醫(yī)學(xué)圖像過大，所以U-Net網(wǎng)絡(luò)需要將圖像分割成若干幅小塊，因此會(huì)造成邊緣分割不清晰的問題。而He等[12]將構(gòu)建的Mask R-CNN網(wǎng)絡(luò)用于對(duì)自然圖像中的目標(biāo)進(jìn)行分割，該網(wǎng)絡(luò)表現(xiàn)出了較好的分割性能。

本文采用深度學(xué)習(xí)方法，利用遷移學(xué)習(xí)和Mask R-CNN網(wǎng)絡(luò)來分割超聲圖像中的頸部淋巴結(jié)，網(wǎng)絡(luò)訓(xùn)練實(shí)現(xiàn)了有效的分割模型，并測(cè)試了該算法的可行性和有效性。

1 Mask R-CNN算法設(shè)計(jì)

1.1 網(wǎng)絡(luò)模型

本文使用Mask R-CNN網(wǎng)絡(luò)對(duì)淋巴結(jié)檢測(cè)和分割。該網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，基于Mask R-CNN的頸部淋巴結(jié)圖像分割網(wǎng)絡(luò)結(jié)構(gòu)可分為三部分。

圖1 基于Mask R-CNN的頸部淋巴結(jié)圖像分割網(wǎng)絡(luò)結(jié)構(gòu)

1) 主干網(wǎng)絡(luò)。主干網(wǎng)絡(luò)是一個(gè)標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)，作為特征提取器對(duì)輸入圖像進(jìn)行特征提取。頸部淋巴結(jié)圖像分割網(wǎng)絡(luò)將殘差網(wǎng)絡(luò)(ResNet101)[13]與特征金字塔網(wǎng)絡(luò)(FPN)[14]結(jié)合在一起作為主干網(wǎng)絡(luò)。

2) 區(qū)域建議網(wǎng)絡(luò)(RPN)。用于生成感興趣區(qū)域(Region of Interest,ROI)推薦框。RPN是一個(gè)輕量的神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中的特征圖來自FPN中金字塔特征層，通過就滑動(dòng)窗口來掃描圖像，并尋找存在的目標(biāo)區(qū)域。

3) 三分支。用于回歸檢測(cè)物體的類別、矩形框(Bounding-box,B-box)及mask。

特別地，Mask R-CNN是在Faster R-CNN[15]基礎(chǔ)上改進(jìn)得到的一種深度學(xué)習(xí)網(wǎng)絡(luò)，Mask R-CNN在Faster R-CNN的基礎(chǔ)上增加了一個(gè)Mask預(yù)測(cè)分支，并且改良了感興趣區(qū)域池化層(Region of Interest pooling,ROI Pooling)，提出了另外一種感興趣區(qū)域池化層(Region of Interest Align,ROI Align)。ROI Align引入了雙線性插值法，能更精確地找到每個(gè)塊對(duì)應(yīng)的特征。

Mask R-CNN分割網(wǎng)絡(luò)的損失函數(shù)包括三部分，其公式為：

L=Lcls+Lbox+Lmask

(1)

式中：L為損失函數(shù)；Lcls為分類誤差；Lbox為檢測(cè)誤差；Lmask為分割誤差。

對(duì)于每一個(gè)ROI，mask分支有k個(gè)輸出。對(duì)于每一個(gè)像素，使用Sigmoid函數(shù)二值交叉熵，對(duì)每個(gè)像素進(jìn)行邏輯回歸，得到平均的二值交叉熵。通過引入預(yù)測(cè)k個(gè)輸出機(jī)制，允許每類都生成獨(dú)立的mask，從而避免了類間競(jìng)爭(zhēng)。

1.2 分割流程

鑒于小樣本數(shù)據(jù)集的訓(xùn)練效果不佳，本文引入了遷移學(xué)習(xí)思想，并使用在COCO數(shù)據(jù)集[16]上預(yù)先訓(xùn)練的參數(shù)模型來初始化Mask R-CNN網(wǎng)絡(luò)。COCO數(shù)據(jù)集是由微軟公司構(gòu)建的一個(gè)數(shù)據(jù)集，是大多數(shù)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分割評(píng)價(jià)性能時(shí)常用的數(shù)據(jù)集。Mask R-CNN可以更快地學(xué)習(xí)特征，從而大大減少了訓(xùn)練模型所需的時(shí)間。分割網(wǎng)絡(luò)Mask R-CNN結(jié)合標(biāo)注好的頸部淋巴結(jié)數(shù)據(jù)集對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行了微調(diào)，獲取了淋巴結(jié)的分割模型。

經(jīng)過反復(fù)的調(diào)參，最后設(shè)定RPN的5個(gè)anchor尺度為32、64、128、256、512，positive IOU設(shè)定為0.7，沖量設(shè)定為0.9，學(xué)習(xí)率為0.002，權(quán)重衰減為10-4。

淋巴結(jié)圖像分割模型流程如圖2所示。

圖2 淋巴結(jié)圖像分割模型流程

將圖像輸入到ResNet101的網(wǎng)絡(luò)中，經(jīng)過C2-C5的特征提取得到P2-P5的特征圖，P5通過步長(zhǎng)為1的下采樣得到的P6，P6僅用于RPN，P2-P5不僅用于RPN，還要通過FPN特征層的選擇將特征經(jīng)ROI Align后送入三分支，從而完成對(duì)淋巴結(jié)圖像的檢測(cè)與分割。

2 實(shí) 驗(yàn)

2.1 模型訓(xùn)練

在訓(xùn)練過程中，采用遷移學(xué)習(xí)的方法，并通過COCO預(yù)訓(xùn)練得到的參數(shù)并對(duì)網(wǎng)絡(luò)進(jìn)行初始化，然后進(jìn)行微調(diào)至理想效果。具體過程如下：

1) 經(jīng)label me的標(biāo)注得到數(shù)據(jù)集共209幅圖像；

2) 將得到數(shù)據(jù)集輸入經(jīng)COCO預(yù)訓(xùn)練后得到的參數(shù)初始化網(wǎng)絡(luò)Mask R-CNN中進(jìn)行訓(xùn)練，訓(xùn)練過程中選取80%的圖像作為訓(xùn)練集，20%的圖像作為測(cè)試集；

3) 經(jīng)Mask R-CNN網(wǎng)絡(luò)訓(xùn)練后得到Mask R-CNN的訓(xùn)練模型；

4) 使用驗(yàn)證集圖像來測(cè)試Mask R-CNN的訓(xùn)練模型，得到分割的淋巴結(jié)圖像；

5) 得到分割的淋巴結(jié)圖像后，利用Dice系數(shù)做模型評(píng)價(jià)指標(biāo)，評(píng)判模型的分割結(jié)果；

6) 根據(jù)得到的結(jié)果來調(diào)整Mask R-CNN的訓(xùn)練模型的參數(shù)；

7) 重復(fù)步驟3)-步驟6)，直到測(cè)試集的結(jié)果達(dá)到0.9以上。

2.2 模型評(píng)價(jià)指標(biāo)

目前，尚無統(tǒng)一的淋巴結(jié)超聲圖像分割標(biāo)準(zhǔn)。本文選擇了像素級(jí)分割領(lǐng)域常用的Dice系數(shù)來評(píng)估分割效果。準(zhǔn)確率表示正確判斷的像素?cái)?shù)與像素總數(shù)之比，如式(2)所示。Dice系數(shù)是一種評(píng)估相似度的函數(shù)，用于計(jì)算兩個(gè)樣本的相似度或重疊度。對(duì)于每一幅測(cè)試圖片，A表示原有分割圖像的參考面積，B表示算法分割得到的圖像的真實(shí)的面積，A∩B代表以上兩幅圖像重疊的面積。

(2)

2.3 結(jié)果分析

將隨機(jī)選擇的43個(gè)測(cè)試集輸入到淋巴結(jié)分割網(wǎng)絡(luò)中，并使用經(jīng)過訓(xùn)練的淋巴結(jié)分割網(wǎng)絡(luò)來測(cè)試測(cè)試集的準(zhǔn)確性，其中給出了5幅分割圖像作為示例如圖3所示，其中(a)為原始圖像的醫(yī)生手工分割結(jié)果，(b)為U-Net網(wǎng)絡(luò)分割后二值化結(jié)果，(c)為本文方法分割后二值化結(jié)果。

(a) (b) (c)圖3 頸部淋巴結(jié)圖像分割

表1為分割結(jié)果的對(duì)比。分析表中數(shù)據(jù)可知，改進(jìn)MaskR-CNN網(wǎng)絡(luò)應(yīng)用于淋巴結(jié)圖像分割效果的Dice系數(shù)達(dá)到了91.24%，相較于U-Net網(wǎng)絡(luò)提升13.74%。

表1 分割結(jié)果

3 結(jié) 語

淋巴結(jié)的診斷和評(píng)估可以有效地幫助醫(yī)生診斷和治療癌癥，本文提出基于遷移學(xué)習(xí)和Mask R-CNN網(wǎng)絡(luò)的頸淋巴結(jié)圖像訓(xùn)練分割網(wǎng)絡(luò)模型，模型在頸部淋巴結(jié)的分割上精確度達(dá)到0.912 4，證明了本文改進(jìn)的Mask R-CNN網(wǎng)絡(luò)具有很好的分割性能，有望為醫(yī)生臨床診斷、治療提供輔助依據(jù)，提高工作效率。