吳天宇

（唐山職業(yè)技術(shù)學(xué)院后勤及國有資產(chǎn)管理處，唐山 063000）

0 引言

隨著數(shù)字成像技術(shù)的發(fā)展及圖像分割技術(shù)［1-2］的持續(xù)改進(jìn)，醫(yī)學(xué)影像在臨床診斷中的應(yīng)用越來越廣泛，已成為醫(yī)生診治的首要根據(jù)。通過計(jì)算機(jī)技術(shù)對(duì)醫(yī)學(xué)圖像中感興趣區(qū)域（ROI）進(jìn)行定位和分割，識(shí)別出ROI區(qū)域的像素點(diǎn)，獲得ROI的特征參數(shù)，以便為后續(xù)的分析病情、評(píng)估治療提供可靠的參考信息，輔助醫(yī)生進(jìn)行診斷治療。醫(yī)學(xué)圖像分割是醫(yī)學(xué)圖像處理的關(guān)鍵步驟，對(duì)于下一步的診斷治療至關(guān)重要［3］。

經(jīng)過多年的研究，許多學(xué)者將大量的圖像分割方法應(yīng)用于醫(yī)學(xué)圖像分割并取得了較好的效果［4-6］。張濱凱等［7］提出了一種醫(yī)學(xué)圖像聚類分割算法，利用字典作為聚類分割的聚類中心，通過稀疏表示確定聚類歸屬，實(shí)現(xiàn)醫(yī)學(xué)圖像分割；房巾莉等［8］提出了一種水平集模型，該模型將整體信息與局部信息結(jié)合來分割醫(yī)學(xué)圖像，可以得到較完整的邊界曲線。

近年來，深度學(xué)習(xí)算法在圖像處理中展現(xiàn)出了強(qiáng)大的能力，對(duì)于醫(yī)學(xué)圖像的分割效果要優(yōu)于傳統(tǒng)的分割算法。Ronneberger等［9］提出U-net網(wǎng)絡(luò)架構(gòu)，已應(yīng)用在對(duì)神經(jīng)元、細(xì)胞瘤和HeLa細(xì)胞的醫(yī)學(xué)圖像分割任務(wù)中。Rathiba等［10］將幾個(gè)網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合，組成深度殘差全卷積網(wǎng)絡(luò)，可以自動(dòng)分割皮膚圖像上的黑色素瘤；楊兵等［11］為了解決特征信息易丟失的問題，提出了一種用于腦圖像和眼底血管分割的深度特征聚合網(wǎng)絡(luò)，有效的提高了分割精度；閆超等［12］總結(jié)了利用深度學(xué)習(xí)進(jìn)行醫(yī)學(xué)圖像分割的發(fā)展過程，并對(duì)當(dāng)前面臨問題的解決提出了展望。

本文對(duì)U型網(wǎng)絡(luò)進(jìn)行了優(yōu)化，結(jié)合DFAnet［13］提出的特征復(fù)用結(jié)構(gòu)提出了一種特征復(fù)用結(jié)構(gòu)的編解碼器網(wǎng)絡(luò)RU-net，并采用可分離卷積搭建Resnet34為編碼器主干，利用旋轉(zhuǎn)、放大、平移、仿射變換等多種圖像增強(qiáng)方法擴(kuò)充圖像數(shù)據(jù)集；最后把原圖進(jìn)行不同角度的翻轉(zhuǎn)變換后進(jìn)行預(yù)測(cè)，對(duì)預(yù)測(cè)結(jié)果進(jìn)行反變換并求平均，可有效提高預(yù)測(cè)結(jié)果的準(zhǔn)確率。在LUNA競(jìng)賽數(shù)據(jù)集和EM競(jìng)賽數(shù)據(jù)集上與U-net網(wǎng)絡(luò)對(duì)比可知，本文方法縮減了參數(shù)和計(jì)算量，同時(shí)分割精度得到極大的提升。

1 模型搭建

1.1 優(yōu)化U-net網(wǎng)絡(luò)

U-net是U型對(duì)稱結(jié)構(gòu)，原圖經(jīng)過左側(cè)的五次卷積和池化進(jìn)行編碼，然后通過右側(cè)的五次上采樣和卷積進(jìn)行解碼，同時(shí)采用跳躍連接將左側(cè)的包含更多細(xì)節(jié)信息的每個(gè)卷積層和右側(cè)包含語義信息的上采樣合并通道進(jìn)行卷積從而可以使得最終所得到的特征圖中既包含了高級(jí)的的語義信息，也包含很多的低級(jí)的細(xì)節(jié)信息，實(shí)現(xiàn)了不同尺度下特征的融合，提高模型的結(jié)果精確度，因?yàn)槟Ｐ蜑橥耆珜?duì)稱結(jié)構(gòu)，可以快速調(diào)整卷積核數(shù)量以應(yīng)對(duì)多種多樣的數(shù)據(jù)集。

但是U-net網(wǎng)絡(luò)每個(gè)編碼層通道數(shù)多，各個(gè)特征圖之間聯(lián)系不密切，解碼的過程中也是采用簡(jiǎn)單拼接的方式融合，導(dǎo)致了參數(shù)冗余、分割效率低、分割不準(zhǔn)確的問題。文獻(xiàn)［12］提出了一種階段性特征復(fù)用結(jié)構(gòu)如圖1所示。

圖1 階段性特征復(fù)用結(jié)構(gòu)

在編碼器階段將深層的特征圖插值放大再進(jìn)行下采樣，與此同時(shí)與前一個(gè)下采樣主干進(jìn)行特征融合，采用此方法可以使得網(wǎng)絡(luò)在編碼的過程中不斷的融合不同階段的特征信息，因此可以適當(dāng)縮減通道數(shù)，以節(jié)約計(jì)算量，深層特征圖插值放大再次進(jìn)行下采樣加深了網(wǎng)絡(luò)的深度，提取到的語義信息更加豐富。為了發(fā)揮U型網(wǎng)絡(luò)在二分類方面的優(yōu)勢(shì)本文編碼器部分借鑒了階段性特征復(fù)用結(jié)構(gòu)，解碼器依然采用逐漸2倍上采樣的方式恢復(fù)特征圖，在恢復(fù)的過程中不斷的融合左側(cè)編碼器部分的特征圖，此時(shí)融合的特征圖為多個(gè)階段編碼器子網(wǎng)絡(luò)融合并采用卷積層提取信息后的結(jié)果，將特征復(fù)用結(jié)構(gòu)改進(jìn)U型網(wǎng)絡(luò)，加深了網(wǎng)絡(luò)各個(gè)階段的聯(lián)系，特征表達(dá)能力更強(qiáng)，RUnet結(jié)構(gòu)如圖2所示，圖中特征圖大小均為輸出大小，“C”為合并通道并1×1卷積為下一個(gè)卷積層輸入特征圖通道數(shù)。

圖2 特征復(fù)用Ru-net

1.2 深度可分離卷積模塊

利用普通卷積對(duì)特征的提取可以對(duì)特征圖建立局部相關(guān)性進(jìn)而共享參數(shù)，從而可以比全連接網(wǎng)絡(luò)利用的參數(shù)更少［14］，Xception［15］網(wǎng)絡(luò)中提出了一種深度可分離卷積，將空間相關(guān)性與通道相關(guān)性解耦，可以做到比普通卷積更少的參數(shù)完成對(duì)特征的兩種相關(guān)性的學(xué)習(xí)，如圖3所示為普通卷積核和深度可分離卷積示意圖。

圖3 深度可分離卷積

其中N表示輸入通道數(shù)，M表示輸出通道數(shù)，k表示卷積核大小，深度可分離卷積先采用N個(gè)k×k×1卷積核分別對(duì)每個(gè)通道特征圖進(jìn)行采樣，產(chǎn)生N個(gè)特征圖，再采用M個(gè)1×1×N卷積核對(duì)各個(gè)通道建立相關(guān)性［16］。這樣普通卷積核需要N×k×k×M個(gè)參數(shù)，深度可分離卷積需要N×k×k+M×N，與普通卷積核的參數(shù)對(duì)比為（k2+M）/（M×k2），輸出通道M越大，參數(shù)縮減越多。

2 研究方法

2.1 實(shí)驗(yàn)設(shè)置

本文采用的數(shù)據(jù)集是EM挑戰(zhàn)賽的公開數(shù)據(jù)集和（lung nodule analysis，LUNA）挑戰(zhàn)賽數(shù)據(jù)集，EM數(shù)據(jù)集分割任務(wù)是在電子顯微鏡記錄中分割神經(jīng)元結(jié)構(gòu)，訓(xùn)練集包含30張512×512像素的灰度圖像，該數(shù)據(jù)集開始于ISBI 2012，至今一直為醫(yī)學(xué)圖像分割的經(jīng)典數(shù)據(jù)集［17］，但是該數(shù)據(jù)集訓(xùn)練集并不包含標(biāo)簽，因此本次測(cè)試使用訓(xùn)練集Dice系數(shù)；LUNA挑戰(zhàn)賽數(shù)據(jù)集包含264張圖片，本文將該數(shù)據(jù)集按比例8∶2分為了訓(xùn)練集和測(cè)試集。

2.2 數(shù)據(jù)增強(qiáng)方法

在擴(kuò)充的數(shù)據(jù)集時(shí)不能損壞原圖的語義信息，本文采用的方法是對(duì)多種數(shù)據(jù)增強(qiáng)方法的組合，其中包含的方法有：隨機(jī)旋轉(zhuǎn)90°～270°、隨機(jī)對(duì)圖像進(jìn)行對(duì)比度和亮度調(diào)整、隨機(jī)放大圖片并隨機(jī)選取區(qū)域裁剪至原圖尺寸、隨機(jī)旋轉(zhuǎn)0°～90°、在水平方向和垂直方向隨機(jī)平移一定距離、仿射變換，具體組合方法如圖4所示。

圖4 數(shù)據(jù)增強(qiáng)方法組合

采用以上數(shù)據(jù)增強(qiáng)方法可以使得原數(shù)據(jù)集擴(kuò)大許多倍，足夠使模型提取到更多的語義信息。如圖5和圖6分別為原數(shù)據(jù)集中一張圖像采用本文數(shù)據(jù)增強(qiáng)方法后的部分圖像和其對(duì)應(yīng)的標(biāo)簽。

圖5 數(shù)據(jù)增強(qiáng)后的圖片

圖6 數(shù)據(jù)增強(qiáng)后對(duì)應(yīng)標(biāo)簽

2.3 評(píng)價(jià)指標(biāo)和損失函數(shù)

本文采用的評(píng)價(jià)指標(biāo)為在醫(yī)學(xué)圖像分割任務(wù)中一個(gè)常用的指標(biāo)Dice系數(shù)［18］，Dice系數(shù)是兩個(gè)樣例之間重疊的指標(biāo)，這個(gè)值的值域?yàn)?至1，其中Dice系數(shù)為1時(shí)代表完全的重合，Dice系數(shù)的計(jì)算方法如下：

其中X，Y分別表示預(yù)測(cè)結(jié)果和真實(shí)的標(biāo)簽，T P是真正例，F(xiàn) N是假正例。

采用的損失函數(shù)是基于Dice系數(shù)的函數(shù)，D C可被定義為Dice損失函數(shù)（DL）:

其中p∈{0,1}n,0≤?≤1。p與?分別為真實(shí)標(biāo)簽和預(yù)測(cè)分類，＜·,·＞表示點(diǎn)積。

2.4 圖像預(yù)測(cè)方法

在深度卷積模型中由于卷積核每次都從左往右進(jìn)行移動(dòng)，因此原圖的位置不同，預(yù)測(cè)結(jié)果也會(huì)有一些差別。為了提高預(yù)測(cè)結(jié)果的準(zhǔn)確率，防止單次實(shí)驗(yàn)結(jié)果誤差過大，或者在某一類圖片上不魯棒，本文分別對(duì)原圖進(jìn)行垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)、逆時(shí)針旋轉(zhuǎn)90度、逆時(shí)針旋轉(zhuǎn)180度操作，并將變換后的四張圖輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)；然后對(duì)四張預(yù)測(cè)圖進(jìn)行對(duì)應(yīng)的反向變換操作；最后將預(yù)測(cè)圖求平均值獲得最終的結(jié)果圖。

3 實(shí)驗(yàn)對(duì)比分析

3.1 編碼器網(wǎng)絡(luò)選擇

為了尋找合適的編碼器網(wǎng)絡(luò)，本文選擇了Resnet-18，進(jìn)行對(duì)比實(shí)驗(yàn)，如表1為測(cè)試結(jié)果，可以看到隨著網(wǎng)絡(luò)深度的增加分割精度明顯增加，深層的網(wǎng)絡(luò)可以提取到更多的語義信息，對(duì)模型的推理能力有很大的提升，為此選擇了Resnet34作為編碼器網(wǎng)絡(luò)。

表1 編碼器對(duì)比實(shí)驗(yàn)

3.2 模型對(duì)比實(shí)驗(yàn)

如表2所示為U-net、Ce-net和RU-net的分割效果圖，可以看出RU-net相比于其余網(wǎng)絡(luò)參數(shù)量和運(yùn)算量極大的減少，在兩個(gè)數(shù)據(jù)集上測(cè)試分割精度均高于U-net，略低于CE-net，但是也具有可比的分割性能。

表2 模型對(duì)比實(shí)驗(yàn)

3.3 模型分割效果對(duì)比

如圖7所示為在EM數(shù)據(jù)集上的表現(xiàn)結(jié)果，可以看到相比于U-net，RU-net可以將一些難分的細(xì)胞邊界分割出，分割圖中細(xì)胞內(nèi)錯(cuò)分的點(diǎn)較少，U-net網(wǎng)絡(luò)中第一個(gè)卷積層參與了跳躍連接與解碼器融合，雖然會(huì)補(bǔ)充到細(xì)節(jié)信息，但是導(dǎo)致了計(jì)算量的增加，同時(shí)最后一個(gè)解碼器層連接的卷積層很少，導(dǎo)致了融合后兩個(gè)特征圖建立的聯(lián)系不強(qiáng)，而RU-net只將4倍下采樣后的特征圖參與跳躍連接，多次上采樣后學(xué)習(xí)到的關(guān)聯(lián)性更強(qiáng)，同時(shí)計(jì)算量極大減少。

圖7 部分細(xì)胞邊界分割對(duì)比實(shí)驗(yàn)

如圖8所示為RU-net和CE-net在LUNA數(shù)據(jù)集下的分割效果，可以看到CE-net預(yù)測(cè)圖像中存在一些分離的像素點(diǎn)，而RU-net很少出現(xiàn)此類情況，CE-net在運(yùn)行過程中只是在解碼器部分融合同尺度的編碼特征圖，并且是簡(jiǎn)單相加的方式融合，在上采樣過程中造成了信息的損失，而RU-net則是融合多個(gè)階段的特征圖進(jìn)行運(yùn)算，空間信息和細(xì)節(jié)信息更加的豐富，在一些圖片上RU-net分割表現(xiàn)強(qiáng)于CE-net。

圖8 部分肺部分割對(duì)比實(shí)驗(yàn)

4 結(jié)語

本文采用可分離卷積的Resnet34作為主干搭建階段性特征復(fù)用結(jié)構(gòu)，并以此為編碼器優(yōu)化U型網(wǎng)絡(luò)，由于特征復(fù)用結(jié)構(gòu)在每個(gè)特征提取階段均融合了不同尺度的信息，因此在縮減通道數(shù)的情況下依然有良好的表現(xiàn)，與其他幾種U型網(wǎng)絡(luò)比較，參數(shù)量極大的減少，經(jīng)過實(shí)驗(yàn)驗(yàn)證，其分割精度也有保證，同時(shí)由于網(wǎng)絡(luò)更加的深，提取的語義信息更加豐富。