梁淑芬 楊芳臣 秦傳波

摘? 要： 針對(duì)當(dāng)前U?Net網(wǎng)絡(luò)模型以及相關(guān)卷積網(wǎng)絡(luò)在脊椎分割中分割邊緣精度低，對(duì)目標(biāo)的識(shí)別率低等問(wèn)題，提出幾種改進(jìn)的語(yǔ)義分割網(wǎng)絡(luò)模型?？紤]到脊椎MRI圖像中目標(biāo)區(qū)域連續(xù)且集中，并存在復(fù)數(shù)微小區(qū)域，邊緣特征豐富，運(yùn)用新型卷積塊替換標(biāo)準(zhǔn)卷積結(jié)構(gòu)，利用多路徑思想，融入復(fù)數(shù)編解碼器結(jié)構(gòu)，降低運(yùn)算復(fù)雜度，提升邊緣特征提取力度，應(yīng)對(duì)不同的特征提取問(wèn)題。模型在SpineWeb的High anisotropy MRIs of the lower back數(shù)據(jù)集2 000張脊椎圖像上做實(shí)驗(yàn)，運(yùn)用訓(xùn)練好的模型對(duì)同組脊椎MRI圖像作預(yù)測(cè)。實(shí)驗(yàn)結(jié)果顯示，網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果與提供的真值標(biāo)簽在Dice系數(shù)以及Precision系數(shù)等幾項(xiàng)評(píng)價(jià)指標(biāo)上分別達(dá)到0.891和0.894。

關(guān)鍵詞： 脊椎分割; 網(wǎng)絡(luò)模型; U形網(wǎng)絡(luò); 結(jié)構(gòu)替換; 特征提取; 圖像預(yù)測(cè)

中圖分類號(hào)： TN911.73?34? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）21?0031?04

Improved spinal segmentation method based on U?net

LIANG Shufen， YANG Fangchen， QIN Chuanbo

（Wuyi University， Jiangmen 529020， China）

Abstract： As the current U?net models and related convolution networks have low accuracy of edge segmentation in spinal segmentation， several improved semantic segmentation network models are proposed. Since the continuity and concentration of target areas in the spine MRI （magnetic resonance imaging） images， plural small areas and rich edge features are considered， a new convolution block is used in the method to replace standard convolution structure. Several codec structures are integrated with an idea of multi?path， which can reduce the computation complexity and improve segmentation edge feature extraction to deal with different feature extraction. The experiments of 2 000 spinal images in SpineWeb′s High Anisotropy MRIs of the Lower Back dataset were carried out， using the trained model to forecast the spine MRI images in the same group. The experimental results show that the prediction results of the network model and evaluation indexes on the provided truth?value label for Dice coefficient and Precision coefficient have reached 0.891 and 0.894.

Keywords： spinal segmentation; network model; U?net; structure replacement; feature extraction; image prediction

0? 引? 言

脊柱是人體的支柱，具有負(fù)重、減震、保護(hù)及日常運(yùn)動(dòng)的功能。隨著人們工作生活節(jié)奏的日益加快，脊柱問(wèn)題成為現(xiàn)代社會(huì)普遍存在、亟待解決的健康問(wèn)題[1?3]。脊椎醫(yī)學(xué)影像的研究對(duì)輔助臨床診斷解決脊椎問(wèn)題有重要意義，其中脊椎分割一直是醫(yī)學(xué)界的一項(xiàng)重要挑戰(zhàn)[4]。

為實(shí)現(xiàn)圖像的精準(zhǔn)分割，國(guó)內(nèi)外研究學(xué)者考慮諸多方法，傳統(tǒng)方法中邊緣檢測(cè)法[5]、基于閾值的分割法[6]、區(qū)域生長(zhǎng)法[7?9]、基于活動(dòng)輪廓的方法[10]、基于聚類的分割方法[11?12]等。但由于傳統(tǒng)方法分割過(guò)程繁瑣，醫(yī)學(xué)影像采集設(shè)備噪聲影響等，分割質(zhì)量有限。

與傳統(tǒng)的圖像分割方式相比，深度卷積網(wǎng)絡(luò)具有自動(dòng)提取特征的特點(diǎn)，深度學(xué)習(xí)的方法對(duì)有標(biāo)簽的數(shù)據(jù)處理，尤其是語(yǔ)義分割領(lǐng)域具有顯見(jiàn)的優(yōu)勢(shì)。文獻(xiàn)[13]提出的FCN（Fully Convolutional Networks）架構(gòu)將神經(jīng)網(wǎng)絡(luò)應(yīng)用于端到端的圖像語(yǔ)義分割領(lǐng)域，并取得了顯著效果。文獻(xiàn)[14]提出的基于FCN網(wǎng)絡(luò)架構(gòu)的語(yǔ)義分割方法U?Net網(wǎng)絡(luò)框架，通過(guò)帶標(biāo)簽訓(xùn)練達(dá)到較高精度的語(yǔ)義分割，對(duì)醫(yī)學(xué)圖像分割的發(fā)展啟發(fā)深遠(yuǎn)。文獻(xiàn)[15]構(gòu)成的殘差網(wǎng)絡(luò)降低了網(wǎng)絡(luò)復(fù)雜度。文獻(xiàn)[16]所述的Dense致密結(jié)構(gòu)，通過(guò)特征融合更加緊密的快捷連接，提升了醫(yī)學(xué)圖像特征的利用率，增強(qiáng)了語(yǔ)義分割效果。結(jié)合殘差結(jié)構(gòu)以及可分離卷積結(jié)構(gòu)，文獻(xiàn)[17]提出一種卷積塊用于降低網(wǎng)絡(luò)復(fù)雜度，減少計(jì)算量。文獻(xiàn)[18]融合殘差結(jié)構(gòu)與注意力機(jī)制等，提出一種雙解碼器的網(wǎng)絡(luò)結(jié)構(gòu)，提升分割精度等。結(jié)合前述基于卷積神經(jīng)網(wǎng)絡(luò)的分割方法，針對(duì)脊椎圖像醫(yī)學(xué)特點(diǎn)，提出基于U?Net架構(gòu)的語(yǔ)義分割改進(jìn)網(wǎng)絡(luò)，實(shí)現(xiàn)脊椎影像更精確的脊椎分割。

1? 方法介紹

1.1? 編解碼網(wǎng)絡(luò)

文獻(xiàn)[13]證明了經(jīng)端到端、像素到像素訓(xùn)練過(guò)程的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)于當(dāng)前語(yǔ)義分割中最先進(jìn)技術(shù)，并通過(guò)標(biāo)準(zhǔn)卷積形成卷積塊結(jié)構(gòu)，搭建出完全由卷積組成的卷積編解碼FCN網(wǎng)絡(luò)，其結(jié)構(gòu)如圖1所示。

文獻(xiàn)[19]運(yùn)用FCN獲得較高精度的分割結(jié)果;文獻(xiàn)[20]運(yùn)用基于FCN的方法在林木圖像上獲得了良好的分割效果。

與FCN結(jié)構(gòu)比較，U?Net架構(gòu)則更靈活，同樣采用編?解碼器架構(gòu)，通過(guò)完善網(wǎng)絡(luò)結(jié)構(gòu)中的擴(kuò)張路徑，與收縮路徑對(duì)應(yīng)地逐步恢復(fù)圖像尺寸，二者共同組成一個(gè)對(duì)稱的結(jié)構(gòu)，如圖2所示。

文獻(xiàn)[21]實(shí)現(xiàn)了基于U?Net的肺部影像自動(dòng)分割;文獻(xiàn)[22]分割肺部腫瘤圖像，獲得了更精確的結(jié)果。此外還有些應(yīng)用于鼻咽喉腫瘤[23]和脊椎分割[24]，效果顯著。

編解碼網(wǎng)絡(luò)使用的帶標(biāo)簽數(shù)據(jù)通常很少，經(jīng)過(guò)相應(yīng)預(yù)處理，就能訓(xùn)練得到比較精確的分割結(jié)果，適應(yīng)能力較強(qiáng)。但特征圖譜的維度會(huì)隨網(wǎng)絡(luò)深度的加深而增加，導(dǎo)致目標(biāo)分割計(jì)算量增加。同時(shí)，圖像在收縮路徑中不斷地?fù)p失圖像細(xì)節(jié)，到擴(kuò)張路徑時(shí)，也會(huì)遇到難以恢復(fù)圖像邊緣等問(wèn)題阻礙。

1.2? 基于U?Net的改進(jìn)網(wǎng)絡(luò)

針對(duì)U?Net應(yīng)用于醫(yī)學(xué)圖像分割時(shí)存在的問(wèn)題，Res?U?Net（Residual U?Net）融入了文獻(xiàn)[15]的殘差結(jié)構(gòu)，將U型網(wǎng)絡(luò)中普通卷積塊轉(zhuǎn)換成殘差塊。如圖3a）所示，殘差塊由標(biāo)準(zhǔn)卷積和快捷連接（Shortcut Connection）構(gòu)成，可降低復(fù)雜度，減少計(jì)算量。

但殘差結(jié)構(gòu)也會(huì)損失部分信息，為了穩(wěn)定圖像的分割精度，并進(jìn)一步降低復(fù)雜度，Dense?U?Net網(wǎng)絡(luò)運(yùn)用文獻(xiàn)[16]的致密結(jié)構(gòu)，如圖3b）所示。Dense結(jié)構(gòu)在一定程度上緩解了神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中梯度消失的問(wèn)題，同時(shí)增強(qiáng)了對(duì)象特征傳播，促進(jìn)特征復(fù)用。

實(shí)驗(yàn)表明，致密結(jié)構(gòu)需有較深層的卷積塊支撐，且輸出端的特征維度比較大。文獻(xiàn)[17]提出一種DAB結(jié)構(gòu)（Depth?wise Asymmetric Bottleneck）構(gòu)成新卷積塊，使用ResNet[15]中的瓶頸結(jié)構(gòu)，能在減少參數(shù)的同時(shí)穩(wěn)定分割精度。

DAB結(jié)構(gòu)塊如圖3c）所示，運(yùn)用可分離卷積的結(jié)構(gòu)思路，結(jié)合殘差網(wǎng)絡(luò)降低復(fù)雜度的特點(diǎn)，由標(biāo)準(zhǔn)卷積層、分離卷積層和1×1核卷積層組成非對(duì)稱式DAB卷積塊。

改進(jìn)的網(wǎng)絡(luò)DAB?U?Net仍使用編?解碼器結(jié)構(gòu)，將普通卷積替換為對(duì)應(yīng)的DAB卷積。編碼器提取語(yǔ)義信息，解碼器獲取圖像細(xì)節(jié);網(wǎng)絡(luò)運(yùn)用密集型skip connection，通過(guò)Feature Interaction將編碼器部分的所有特征整合并傳遞到高層特征中，減緩因編碼降采樣導(dǎo)致的信息丟失。

運(yùn)用文獻(xiàn)[18]提出的RIC?U?Net網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)為更進(jìn)一步利用DAB卷積塊提取的特征信息，在DAB?U?Net基礎(chǔ)上增加一條編碼路徑，保留跳層連接，通過(guò)新編碼器更新特征提取，補(bǔ)充單條編解碼路徑損失的信息。改進(jìn)的網(wǎng)絡(luò)模型為W型結(jié)構(gòu)，經(jīng)過(guò)不同程度調(diào)整，先后有W1，W2和W3三個(gè)版本結(jié)構(gòu)，如圖4a）所示。DAB?W?Net網(wǎng)絡(luò)進(jìn)一步提升特征利用率。

通過(guò)增加預(yù)編碼路徑，促使網(wǎng)絡(luò)提前進(jìn)入數(shù)據(jù)壓縮階段，形成DABN?Net網(wǎng)絡(luò)結(jié)構(gòu)，如圖4b）所示。改進(jìn)的DABN?Net網(wǎng)絡(luò)增加了預(yù)編碼路徑，采用標(biāo)準(zhǔn)卷積塊，初步提取特征，獲得更簡(jiǎn)潔的數(shù)據(jù)信息后再輸入常規(guī)DAB?U?Net網(wǎng)絡(luò)中，強(qiáng)化對(duì)目標(biāo)特征的提取能力，提升分割精度。

實(shí)現(xiàn)分割的系統(tǒng)流程圖如圖5所示，先對(duì)數(shù)據(jù)集作預(yù)處理，然后輸入到網(wǎng)絡(luò)中訓(xùn)練。

以圖像尺寸為標(biāo)準(zhǔn)，對(duì)原圖和標(biāo)簽集同步作縮放傾斜等隨機(jī)形變，實(shí)現(xiàn)數(shù)據(jù)擴(kuò)增。

2? 結(jié)果與分析

2.1? 實(shí)驗(yàn)材料

實(shí)驗(yàn)使用SpineWeb的High anisotropy MRIs of the lower back數(shù)據(jù)集[25?26]。包含195例人體脊柱的腰椎MRI掃描圖像，其尺寸范圍在512×512～1 024×1 024之間。為方便實(shí)驗(yàn)，對(duì)所選圖像進(jìn)行預(yù)處理增強(qiáng)并規(guī)范到512×512，最后按3∶1∶1比例分配實(shí)驗(yàn)。根據(jù)實(shí)際背景，實(shí)驗(yàn)設(shè)備配置見(jiàn)表1。

2.2? 評(píng)價(jià)指標(biāo)

為定量分析提出方法的分割性能，檢驗(yàn)方法的分割效果，文中運(yùn)用幾種常見(jiàn)的評(píng)價(jià)指標(biāo)，包括Accuracy，Sensitivity，Specificity，Precision，[F1] Score，Jaccard Similarity以及Dice Coefficient。根據(jù)研究對(duì)象特點(diǎn)選擇其中五項(xiàng)為各方法作分割性能上的定量評(píng)估。

Sensitivity系數(shù)，又稱召回率，表示所有正像素中標(biāo)注正確的像素集所占比例，衡量分割方法對(duì)正像素的識(shí)別能力。

Specificity指標(biāo)，又稱真陰性率，表示所有負(fù)像素中被標(biāo)注正確的像素集合所占比例，衡量分割方法對(duì)負(fù)像素的識(shí)別能力。

Precision表示精度，又稱查準(zhǔn)率，是圖像分割精確性的度量參數(shù)，是被標(biāo)注為正的像素集合中實(shí)際為正的像素集合所占比例，衡量模型對(duì)正像素點(diǎn)的預(yù)測(cè)能力。

Jaccard相似性系數(shù)，給定兩個(gè)集合，正負(fù)集A，B，Jaccard系數(shù)表示集合A，B之間的交集與它們之間的并集的比值。

Dice Coefficient系數(shù)為圖像中兩個(gè)目標(biāo)形狀之間交集面積占總面積的比值，值越大，分割結(jié)果越好，完美重合時(shí)值為1。

2.3? 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)流程如圖5所示，在同一系統(tǒng)下使用不同網(wǎng)絡(luò)模型對(duì)MRI脊椎圖像進(jìn)行訓(xùn)練。經(jīng)過(guò)后處理，將網(wǎng)絡(luò)預(yù)測(cè)輸出的脊椎分割結(jié)果圖像轉(zhuǎn)換為二值圖像，如圖6a）所示。

比較預(yù)測(cè)結(jié)果，顯示DABW2?Net、DABW3?Net以及DABN?Net幾個(gè)分割網(wǎng)絡(luò)對(duì)醫(yī)學(xué)脊椎原圖的椎骨細(xì)節(jié)描述能力更強(qiáng)，展現(xiàn)的細(xì)節(jié)更為全面，其余包括U?Net，ResU?Net等模型在實(shí)驗(yàn)預(yù)測(cè)過(guò)程中，都有不同程度的信息丟失。將訓(xùn)練好的模型應(yīng)用于臨床數(shù)據(jù)，得到如圖6b）所示分割結(jié)果。

實(shí)驗(yàn)表明，提出的改進(jìn)網(wǎng)絡(luò)模型可以進(jìn)行臨床分割，效果顯著。

如表2所示，提出的改進(jìn)網(wǎng)絡(luò)對(duì)脊椎的分割在識(shí)別能力上有所強(qiáng)化，分割結(jié)果與標(biāo)簽更相似。此外，通過(guò)對(duì)比原圖與標(biāo)簽不難發(fā)現(xiàn)，人工標(biāo)簽明顯存在一些誤差，導(dǎo)致部分模型分割指標(biāo)數(shù)據(jù)稍有波動(dòng)。但總體上，模型性能都略優(yōu)于傳統(tǒng)卷積方法。

3? 結(jié)? 論

本文提出幾種改進(jìn)的基于U?Net網(wǎng)絡(luò)模型的脊椎MRI醫(yī)學(xué)影像分割網(wǎng)絡(luò)模型，通過(guò)對(duì)網(wǎng)絡(luò)作改進(jìn)，提升網(wǎng)絡(luò)分割精度，增加網(wǎng)絡(luò)深度。將預(yù)處理后的圖集輸入到改進(jìn)的U型網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，改進(jìn)的網(wǎng)絡(luò)在分割精度方面有所提高，對(duì)比同類型算法，所需訓(xùn)練樣本較少，訓(xùn)練速度較快。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的分割網(wǎng)絡(luò)能有效分割脊椎MRI圖像。

注：本文通訊作者為秦傳波。

參考文獻(xiàn)

[1] 吳旻昊，孫文超，閆飛飛，等.早發(fā)型脊柱側(cè)彎的治療研究與新進(jìn)展[J].中國(guó)組織工程研究，2017，21（3）：433?439.

[2] 尹慶水.脊椎相關(guān)疾病研究現(xiàn)狀及面臨的挑戰(zhàn)[J].中國(guó)骨科臨床與基礎(chǔ)研究雜志，2014（2）：69?72.

[3] 顧菊平，程天宇，華亮，等.面向脊柱生物建模的圖像分割與配準(zhǔn)研究綜述[J].系統(tǒng)仿真學(xué)報(bào)，2019，31（2）：167?173.

[4] RAMU S M， RAJAPPA M， KRITHIVASAN K， et al. A novel fast medical image segmentation scheme for anatomical scans [J]. Multimedia tools and applications， 2019， 78（15）： 1?32.

[5] 鈕圣虓，王盛，楊晶晶，等.完全基于邊緣信息的快速圖像分割算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2016，24（11）：1410?1419.

[6] 李滾，劉歡，柯善群.脊椎圖像分割與椎體信息提取的算法及應(yīng)用[J].電子設(shè)計(jì)工程，2017，25（16）：183?186.

[7] 肖明堯，李雄飛，張小利，等.基于多尺度的區(qū)域生長(zhǎng)的圖像分割算法[J].吉林大學(xué)學(xué)報(bào)（工學(xué)版），2017，47（5）：1591?1597.

[8] 曾鵬，王正勇，滕奇志.一種基于區(qū)域生長(zhǎng)算法的脊椎椎體提取方法[J].科學(xué)技術(shù)與工程，2014，14（6）：222?225.

[9] GAO Huilin， DOU Lihua， CHEN Wenjie， et al. The applications of image segmentation techniques in medical CT images [EB/OL]. [2011?01?26]. https：//www.researchgate.net/publication/252035024.

[10] DOMINIK G， Gl?WKA P， KOTWICKI T， et al. Automatic spine tissue segmentation from MRI data based on cascade of boosted classifiers and active appearance model [EB/OL]. [2018?04?29]. https：//www.ncbi.nlm.nih.gov/pmc/articles/PMC5949193/.

[11] TIAN Yuan， GUAN Tao， WANG Cheng， et al. Interactive foreground segmentation method using mean shift and graph cuts [J]. Sensor review， 2009， 29（2）： 157?162.

[12] 葉偉，陶晶，陳小宇，等.一種新穎的MR脊柱圖像自動(dòng)分割算法研究[J].中國(guó)醫(yī)療設(shè)備，2018，33（9）：61?64.

[13] LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation [J]. IEEE transactions on pattern analysis & machine intelligence， 2014， 39（4）： 640?651.

[14] RONNEBERGER O， FISCHER P， BROX T. U?Net： convolutional networks for biomedical image segmentation [C]// MICCAI 2015： Medical Image Computing and Computer?Assisted Intervention. Munich， Germany： IEEE， 2015： 234?241.

[15] HE Kaiming， ZHANG Xiangyu， REN Shaoqing， et al. Deep residual learning for image recognition [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， NV， USA： IEEE， 2016： 770?778.

[16] HUANG Gao， LIU Zhuang， VAN DER MAATEN L， et al. Densely connected convolutional networks [EB/OL]. [2018?01?28]. https：//www.researchgate.net/publication/319770123.

[17] LI Gen， YUN I， KIM J， et al. DABNet： depth?wise asymmetric bottleneck for real?time semantic segmentation [EB/OL]. [2019?07?26]. https：//github.com/nemonameless/DABNet.

[18] ZENG Zitao， XIE Weihao， ZHANG Yunzhe， et al. RIC?Unet： an improved neural network based on Unet for nuclei segmentation in histology images [J]. IEEE access， 2019， 7： 21420?21428.

[19] 郭樹(shù)旭，馬樹(shù)志，李晶，等.基于全卷積神經(jīng)網(wǎng)絡(luò)的肝臟CT影像分割研究[J].計(jì)算機(jī)工程與應(yīng)用，2017，53（18）：126?131.

[20] 黃英來(lái)，劉亞檀，任洪娥.基于全卷積神經(jīng)網(wǎng)絡(luò)的林木圖像分割[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（4）：219?224.

[21] 袁甜，程紅陽(yáng)，陳云虹，等.基于U?Net網(wǎng)絡(luò)的肺部CT圖像分割算法[J].自動(dòng)化與儀器儀表，2017（6）：59?61.

[22] 周魯科，朱信忠.基于U?Net網(wǎng)絡(luò)的肺部腫瘤圖像分割算法研究[J].信息與電腦（理論版），2018（5）：41?44.

[23] 潘沛克，王艷，羅勇，等.基于U?net模型的全自動(dòng)鼻咽腫瘤MR圖像分割[J].計(jì)算機(jī)應(yīng)用，2019，39（4）：1183?1188.

[24] 劉忠利，陳光，單志勇，等.基于深度學(xué)習(xí)的脊柱CT圖像分割[J].計(jì)算機(jī)應(yīng)用與軟件，2018，35（10）：206?210.

[25] EGGER J， NIMSKY C， KOLB A. Robust detection and segmentation for diagnosis of vertebral diseases using routine MR images [J]. Computer graphics forum， 2015， 33（6）： 190?204.

[26] EGGER J， ZUKI? D， FREISLEBEN B， et al. Segmentation of pituitary adenoma： a graph?based method vs. a balloon inflation method [J]. Computer methods and programs in biomedicine， 2013， 110（3）： 268?278.

作者簡(jiǎn)介：梁淑芬（1975—），女，廣東江門人，碩士，副教授，主要研究方向?yàn)槟Ｊ阶R(shí)別、信號(hào)處理與通信研究等。

楊芳臣（1995—），男，江西宜春人，碩士，主要研究方向?yàn)閳D像處理。

秦傳波（1982—），男，安徽宿州人，博士，講師，主要研究方向?yàn)樯锾卣髯R(shí)別、醫(yī)學(xué)影像處理。