張 權(quán),陸小浩,朱士虎,金玫秀,王 通

(江蘇師范大學(xué) 物理與電子工程學(xué)院,徐州 221116)

宮頸癌作為一種十分惡性的腫瘤,嚴(yán)重影響著廣大女性的身體健康.近年來,宮頸癌在女性患癌比例中較高,發(fā)病率也在逐漸升高,同時(shí),宮頸癌也成為女性癌癥中死亡率較高的疾病,由此,研究如何論斷和治療宮頸癌成為全世界的重要課題.然而病理醫(yī)生觀察一張影像要從很多的正常細(xì)胞中鑒別出是否發(fā)生癌變,這本身就相當(dāng)困難,再加之患者人數(shù)相對(duì)眾多,擁有醫(yī)學(xué)病理知識(shí)的醫(yī)生數(shù)不足,且醫(yī)生存在主觀判斷和客觀疲勞等諸多因素,使得醫(yī)療市場對(duì)自動(dòng)閱片、判讀患者病癥是否異常的診斷技術(shù)尤為迫切.近些年來,機(jī)器學(xué)習(xí)、深度學(xué)習(xí)與人工智能等專業(yè)詞匯,無論在科研界亦或是尋常生活中,無不被時(shí)常提起.在這些技術(shù)的加持下,數(shù)字影像技術(shù)得到了快速發(fā)展,尤其是醫(yī)學(xué)影像技術(shù)的發(fā)展十分迅猛.高清的醫(yī)學(xué)圖像使得醫(yī)生能夠高質(zhì)量地閱片,相比以前影像質(zhì)量,大大降低了誤診率.再加上通過TBS規(guī)則和宮頸癌細(xì)胞觀察,不同的宮頸癌細(xì)胞與正常的宮頸細(xì)胞在細(xì)胞核部分有比較明顯的差異[1].這說明,宮頸細(xì)胞核本身包含了大量可以判別異常的特征.正是基于此,運(yùn)用深度學(xué)習(xí)技術(shù),圍繞以醫(yī)學(xué)圖像中宮頸細(xì)胞細(xì)胞核為分割對(duì)象來展開相關(guān)研究[2],成為醫(yī)學(xué)影像論斷的研究熱點(diǎn).

1 研究現(xiàn)狀

早期的宮頸細(xì)胞篩查多是通過細(xì)胞學(xué)檢測的方法,通過采用液基制片方式處理宮頸細(xì)胞,接著采取細(xì)胞學(xué)檢測的方法判斷宮頸細(xì)胞是否癌變[3].隨后,大多數(shù)研究者對(duì)于宮頸細(xì)胞的研究多是采用傳統(tǒng)圖像分割,如水平集分割等手段[4],或是基于宮頸細(xì)胞圖像特點(diǎn)的人工設(shè)計(jì)特征加以機(jī)器學(xué)習(xí)分類器來識(shí)別和檢測宮頸癌變細(xì)胞.然而,傳統(tǒng)分割方式存在分割精度不夠,人工設(shè)計(jì)特征不夠完善導(dǎo)致分類器效果不佳等問題也反映出這些方式的局限性.為了自動(dòng)高效地篩查和識(shí)別宮頸細(xì)胞,深度學(xué)習(xí)(deep learning)技術(shù)被提出了,依托于大數(shù)據(jù)和高速硬件算力的支持下,取得了高速的發(fā)展,相較于傳統(tǒng)機(jī)器學(xué)習(xí)而言,深度學(xué)習(xí)擁有強(qiáng)大的特征表征和學(xué)習(xí)能力,文中正是運(yùn)用此特點(diǎn)來對(duì)宮頸癌變細(xì)胞的細(xì)胞核進(jìn)行分割識(shí)別.

2015年,U-Net 網(wǎng)絡(luò)結(jié)構(gòu)被提出來,U-Net 網(wǎng)絡(luò)是基于全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Nerual network,FCN)的一種語義分割網(wǎng)絡(luò)[5,6].經(jīng)過這些年發(fā)展完善,U-Net 成為比較經(jīng)典的分割網(wǎng)絡(luò),具備很多優(yōu)勢(shì).首先,從設(shè)計(jì)上來說,它相對(duì)對(duì)稱的網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)秀且有效的點(diǎn)在于結(jié)合了深淺層特征.其次U-Net為彌補(bǔ)高層語義特征分辨率不足的問題,采用了上采樣高低信息融合的操作使通道信息互接,而不是FCN中對(duì)應(yīng)特征圖信息的簡單相加.不僅如此,U-Net 還在每層上采樣信息融合后,用兩層卷積提取兩種特征信息,U-Net的這種做法使得高層語義特征信息與低層高分辨率特征信息更加雜糅,更加抽象,并且相較于未融合低層信息的網(wǎng)絡(luò)多了高分辨率的低層信息.由于U-Net的這些特點(diǎn)使其得到的分類定位結(jié)果更加準(zhǔn)確,邊緣分割效果更好.

但是經(jīng)過實(shí)踐證明,U-Net 還是存在一些問題.其一,在U-Net 編碼器部分,使用的是原始網(wǎng)絡(luò)層數(shù)較少、結(jié)構(gòu)較為簡單的卷積神經(jīng)網(wǎng)絡(luò),這樣簡單的網(wǎng)絡(luò)在分類任務(wù)上效果不太理想,難以提取圖像中一些更為抽象的高層特征且不能夠充分利用全圖像的信息,編碼網(wǎng)絡(luò)的不足會(huì)使得最終的分割結(jié)果不夠精準(zhǔn).其二,由于宮頸細(xì)胞細(xì)胞核大小不一且占據(jù)圖像中較小部分,原始的網(wǎng)絡(luò)難以實(shí)現(xiàn)對(duì)細(xì)胞核特征的學(xué)習(xí).其三,在進(jìn)行池化操作時(shí)容易丟失數(shù)據(jù),導(dǎo)致U-Net的分割效果不如人意,針對(duì)這些問題有必要對(duì)U-Net 進(jìn)行改進(jìn),力求改善或解決存在的問題.

2 存在問題與解決思路

由以上分析可見,U-Net 網(wǎng)絡(luò)主要存在3個(gè)問題,分別是U-Net 編碼器相對(duì)簡單、損失函數(shù)Loss 不夠優(yōu)秀、池化層丟失信息,就這3個(gè)問題提出如下解決思路.

(1)因原始U-Net 編碼器部分相對(duì)簡單,導(dǎo)致不能提取相對(duì)抽象的高層語義特征用于分割定位,將稠密連接的DenseNet 引入U(xiǎn)-Net的編碼器部分,使得網(wǎng)絡(luò)能夠提取更為抽象的語義信息和融合各通道信息,便于提升后續(xù)解碼器的分割效果.

(2)通過分析宮頸細(xì)胞核數(shù)據(jù)特征,提出一種改進(jìn)的Loss 損失函數(shù)的方法來優(yōu)化網(wǎng)絡(luò).通過對(duì)在宮頸細(xì)胞核和背景的二分類問題中使用的二元交叉熵?fù)p失函數(shù)給予兩個(gè)目標(biāo)不同的權(quán)重,使網(wǎng)絡(luò)更加注重任務(wù)目標(biāo)細(xì)胞核特征的學(xué)習(xí),還引入了交并比(Dice)來強(qiáng)化網(wǎng)絡(luò)對(duì)于宮頸細(xì)胞核邊緣和分割細(xì)節(jié)的學(xué)習(xí),提升了分割邊緣和細(xì)節(jié)的效果.

(3)進(jìn)一步通過對(duì)傳統(tǒng)池化層的改進(jìn),使得一定程度上彌補(bǔ)了原始池化層丟失信息的不足,從而得到了更好的分割效果.

3 改進(jìn)型U-Net

基于上述解決思路,針對(duì)U-Net 編碼器相對(duì)簡單、損失函數(shù)Loss 不夠優(yōu)秀、池化層丟失信息,提出以下具體解決方案.

3.1 網(wǎng)絡(luò)改進(jìn)

原始的U-Net 網(wǎng)絡(luò)在編碼器部分使用的是較為簡單的提取特征網(wǎng)絡(luò),又由于醫(yī)學(xué)圖像數(shù)據(jù)較少,較深的網(wǎng)絡(luò)難以訓(xùn)練,較復(fù)雜的網(wǎng)絡(luò)容易過擬合.所以采用網(wǎng)絡(luò)各層信息充分融合的DenseNet中DenseBlock 改造原始U-Net的編碼器部分[7].

Huang 等在文獻(xiàn)[8]中提出了一種稱為DenseNet的新型架構(gòu),相比于ResNet 進(jìn)一步利用近路連接的效果將所有層直接互連在一起.在這種新穎的架構(gòu)中,每層的輸入由所有較早層的特征映射組成,其輸出傳遞給每個(gè)后續(xù)層.特征映射與深度級(jí)聯(lián)聚合.DenseBlock結(jié)構(gòu)圖如圖1所示.在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中,假設(shè)有L層,那么它就會(huì)有L個(gè)連接,但是在DenseNet中會(huì)有L(L+1)/2個(gè)連接.簡單說就是每層輸入是前面所有層網(wǎng)絡(luò)的輸出.如圖1所示:x0是輸入Input,此時(shí)H1的輸入是x0(Input),H2的輸入是x0和x1(x1是H1的輸出),以此類推.DenseNet 公式如式(1):

式中,[x0,x1,···,xl?1]代表0到l–1 層各層輸出的特征圖(feature map)作通道合并的concatenation 操作.Hl操作中包括批規(guī)范化(batch normalization),激活函數(shù)ReLU和大小為3×3的卷積.

圖1 DenseNet中DenseBlock 結(jié)構(gòu)圖

DenseNet 設(shè)計(jì)有以下幾個(gè)優(yōu)點(diǎn)及其原因:(1)網(wǎng)絡(luò)相對(duì)于GoogLeNet 更窄[9],相對(duì)于ResNet 參數(shù)更少,這是由于DenseBlock的設(shè)計(jì)中,每個(gè)卷積層輸出的feature map 數(shù)量都比較少(一般小于100),而不像其他網(wǎng)絡(luò)動(dòng)輒幾百上千.由于稠密連接的原因,使得它減小參數(shù)的同時(shí)又能夠更有效地利用特征.(2)DenseNet這種連接方式相當(dāng)于每層都直接連接input和Loss,這樣就會(huì)讓特征和梯度傳遞更加有效,緩解梯度消失問題,而且分類時(shí)可以直接用到前面低層的特征.

使用DenseBlock 組成DenseNet 結(jié)構(gòu)如圖2所示,圖中包含3個(gè)DenseBlock,每個(gè)DenseBlock中特征圖大小統(tǒng)一,方便作通道連接操作.

圖2 DenseNet 結(jié)構(gòu)圖

將DenseNet 來替換原始的U-Net 編碼器部分,使其能夠提取和利用更加抽象有用的圖像特征,具體使用見下文實(shí)驗(yàn)中模型結(jié)構(gòu)介紹.

3.2 損失函數(shù)改進(jìn)

原始的U-Net 網(wǎng)絡(luò)將輸出值通過Softmax 分類器得到與原圖尺寸一樣的預(yù)測Mask 標(biāo)簽圖,這張圖的每一個(gè)像素位置都是該位置是否是細(xì)胞核的概率值.網(wǎng)絡(luò)通過預(yù)設(shè)的損失函數(shù),計(jì)算預(yù)測圖與Mask 標(biāo)注圖之間的差異,再通過反向傳播,相應(yīng)的梯度優(yōu)化方式,迭代更新出U-Net中各個(gè)卷積核的最佳權(quán)值參數(shù).

圖像分割任務(wù)從單個(gè)像素的角度看,是一個(gè)分類任務(wù).對(duì)于神經(jīng)網(wǎng)絡(luò)中分類任務(wù)常用交叉熵?fù)p失函數(shù),文中研究的目標(biāo)是分割出宮頸細(xì)胞中的細(xì)胞核部分,除了核其他都是背景,這是一個(gè)二分類問題,所以使用二元交叉熵作為網(wǎng)絡(luò)的損失函數(shù).公式如式(2):

式中,和yi分別是在第i個(gè)像素位置上網(wǎng)絡(luò)模型預(yù)測的值和人工標(biāo)注的值.分析醫(yī)學(xué)圖像數(shù)據(jù),特別是針對(duì)宮頸細(xì)胞圖,所要分割的細(xì)胞核目標(biāo)相比背景所占比例較小,這樣就會(huì)導(dǎo)致作為像素級(jí)分類的該任務(wù)中,訓(xùn)練樣本像素類別極其不平衡.此時(shí)作為損失函數(shù)的二元交叉熵就會(huì)給予背景更多的累積Loss,這樣導(dǎo)致網(wǎng)絡(luò)在訓(xùn)練學(xué)習(xí)中就會(huì)學(xué)到更多的背景特征,而對(duì)目標(biāo)細(xì)胞核的特征就會(huì)有所損失,這是設(shè)計(jì)網(wǎng)絡(luò)所不愿意看到的.所以針對(duì)這個(gè)問題,對(duì)損失函數(shù)作些修改,設(shè)置兩個(gè)超參數(shù),分別給細(xì)胞核和背景相應(yīng)的Loss 部分加上不同的權(quán)重.公式如式(3):

式中,α表示細(xì)胞核權(quán)重值,β表示細(xì)胞質(zhì)、雜質(zhì)等背景的權(quán)重值,這兩個(gè)超參數(shù)在訓(xùn)練過程中的驗(yàn)證集上作修整(一般取的α是β的3 倍).設(shè)置時(shí),一般會(huì)將α值相較于β值設(shè)置大一些,使得網(wǎng)絡(luò)學(xué)習(xí)更多的細(xì)胞核特征.

雖然加了權(quán)值的二元交叉熵?fù)p失函數(shù)使得網(wǎng)絡(luò)更多的關(guān)注細(xì)胞核的特征,但是它只考慮到單像素分類問題,沒有考慮到全局信息,所以在損失疊加回傳的時(shí)候,網(wǎng)絡(luò)更為關(guān)注那些損失值很大的像素點(diǎn),這樣分割出來的結(jié)果使得細(xì)胞核邊界相對(duì)模糊,形狀和真實(shí)標(biāo)注有較大差異,細(xì)胞核邊界分割效果不佳.

所以考慮到分割的邊緣效果問題,采用圖像分割中常用的分割評(píng)價(jià)標(biāo)準(zhǔn)IoU 作為Loss 函數(shù)的一部分指導(dǎo)網(wǎng)絡(luò)去關(guān)注分割邊緣.IoU的表達(dá)式如式(4)所示.由于該式不可導(dǎo)不能直接作為網(wǎng)絡(luò)的損失函數(shù)使用,所以對(duì)其進(jìn)行簡單修改得到Soft-Dice 作為間接損失函數(shù).公式如式(5).

為了更好地發(fā)揮上述兩種Loss的各自優(yōu)勢(shì)和彌補(bǔ)其各自的不足,把兩種Loss 函數(shù)按一定的線性方式進(jìn)行組合,組合成最終的合并Loss,公式如式(6).

式(6)中,為了簡化Soft-Dice的計(jì)算,所以對(duì)其取對(duì)數(shù)進(jìn)行計(jì)算,又因?yàn)樗呛饬績蓚€(gè)分布之間的相似程度的,所以用一減去它的值作為回傳損失.式中γ是帶權(quán)重的二元交叉熵?fù)p失函數(shù)的系數(shù),δ是式子后一項(xiàng)的系數(shù),這兩個(gè)系數(shù)作為超參數(shù)在訓(xùn)練時(shí)的驗(yàn)證集上作修整(一般分別取0.6和0.4).該式結(jié)合了二元交叉熵?fù)p失函數(shù)與網(wǎng)絡(luò)預(yù)測圖和真實(shí)標(biāo)注Mask圖之間的重合率Soft-Dice 損失函數(shù),所以在訓(xùn)練網(wǎng)絡(luò)中最小化該損失函數(shù),等價(jià)于提高每個(gè)像素點(diǎn)分類準(zhǔn)確率,同時(shí)也提高網(wǎng)絡(luò)預(yù)測圖與真實(shí)標(biāo)注Mask 圖之間的重合率.

U-Net 網(wǎng)絡(luò)最終輸出結(jié)果是一個(gè)與原圖大小一致的概率圖,圖上每一個(gè)像素點(diǎn)的值代表它是否屬于細(xì)胞核的概率值,為了得到一個(gè)與真實(shí)標(biāo)注一樣形式的二值圖,需要在網(wǎng)絡(luò)輸出部分添加一個(gè)閾值,該閾值在網(wǎng)絡(luò)訓(xùn)練過程中的驗(yàn)證集上獲得,當(dāng)像素點(diǎn)的值高于該閾值時(shí)設(shè)為1,相反設(shè)為0,再把每個(gè)像素值乘以255,就可以得到目標(biāo)分割圖了.

3.3 池化層改進(jìn)

基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)中,池化層用來減少參數(shù)、緩解過擬合現(xiàn)象、增大感受野范圍和提高部分泛化能力等,但是池化無可避免地會(huì)使網(wǎng)絡(luò)丟失特征信息.并且常用的平均池化相當(dāng)于池化域內(nèi)像素權(quán)值一樣,使得每個(gè)像素重要性一致,這與真實(shí)情況不符,不能很好地反映全局特征.除此之外,最大值池化會(huì)將非最大的池化域內(nèi)所有信息都丟失,這也是不穩(wěn)妥的做法.

所以基于以上的考慮,在一定要使用池化操作的前提下,將池化操作進(jìn)行改進(jìn),使得其對(duì)池化域內(nèi)的像素值分配合理的權(quán)值,充分考慮和利用好特征值,使網(wǎng)絡(luò)提取的特征更能表現(xiàn)出全局性.改進(jìn)的池化算法公式如式(7):

式(7)中,μij表示池化因子,通過它優(yōu)化平均池化操作,使得池化域內(nèi)各個(gè)像素值按其重要性分配到合理的權(quán)值,讓網(wǎng)絡(luò)中特征圖經(jīng)過池化層時(shí),提取的圖像特征可以更加準(zhǔn)確.池化因子 μij計(jì)算公式如式(8):

式(8)中,c代表池化操作大小的邊長,Fij代表卷積特征圖中大小為c×c池化域中對(duì)應(yīng)的像素值,a代表該池化域內(nèi)像素值總和,是標(biāo)準(zhǔn)差.這樣的計(jì)算考慮到了池化域內(nèi)所有值的重要性,避免了平均池化弱化特征和最大池化丟失特征的問題,進(jìn)而提高了宮頸細(xì)胞核分割的準(zhǔn)確性.池化舉例比較如圖3所示.

4 實(shí)驗(yàn)

為驗(yàn)證改進(jìn)型U-Net,進(jìn)行實(shí)驗(yàn)的平臺(tái)是基于Python的深度學(xué)習(xí)庫PyTorch[10].使用的軟硬件環(huán)境參數(shù)如下:CPU為Intel Core i7-6700HQ、GPU為單卡GTX960M、內(nèi)存為8 GB、操作系統(tǒng)環(huán)境為Windows 10 企業(yè)版2016 長期服務(wù)版、編程語言為Anaconda3的Python3.6.

圖3 池化舉例

4.1 網(wǎng)絡(luò)結(jié)構(gòu)

原始的U-Net 網(wǎng)絡(luò)由于編碼器部分,層數(shù)較少結(jié)構(gòu)較為簡單,所以對(duì)U-Net 特征提取部分采用通道信息融合更為優(yōu)秀的DenseNet 網(wǎng)絡(luò)中DenseBlock 模塊.原始的DenseNet 網(wǎng)絡(luò)結(jié)構(gòu)圖見表1.表中k值代表每個(gè)DenseBlock中每層輸出的特征圖feature map個(gè)數(shù).由于DenseBlock 設(shè)計(jì),后面幾層是前面所有層作通道連接得到,會(huì)使得后面幾層通道特別多,所以在每個(gè)DenseBlock中的3×3 卷積前用一個(gè)1×1的卷積層(bottleneck layer)來降維和融合各通道信息(默認(rèn)輸出通道是4k個(gè)).為了進(jìn)一步壓縮參數(shù),在每兩個(gè)Dense-Block 之間也加了一個(gè)1×1 卷積(translation layer),默認(rèn)減少一半通道.

考慮到實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)數(shù)據(jù)相對(duì)不充足的原因,選用DenseNet-121 來作為改進(jìn)U-Net的編碼器部分.修改方式如下:首先把原始DenseNet-121的classification layer 去掉,用1×1的卷積替換,輸出是大小為32×32的特征圖,個(gè)數(shù)是輸入通道數(shù)的一半,并且使用改進(jìn)的池化層替換原始的最大值池化和均值池化.這樣就完成了改進(jìn)型U-Net 網(wǎng)絡(luò)的編碼部分,后部的反卷積和跳躍結(jié)構(gòu)保留,修正矩陣大小,以適應(yīng)網(wǎng)絡(luò)前層的修改.

表1 DenseNet 網(wǎng)絡(luò)結(jié)構(gòu)表

4.2 模型實(shí)驗(yàn)

實(shí)驗(yàn)流程圖如圖4所示.

(1)圖像預(yù)處理:對(duì)數(shù)據(jù)集圖像進(jìn)行裁剪、圖像位深、直方圖均衡化和高斯濾波等.

(2)訓(xùn)練數(shù)據(jù)集增強(qiáng):分別應(yīng)用3 種翻轉(zhuǎn)、3 種旋轉(zhuǎn)、平移、縮放和隨機(jī)裁剪等.

(3)訓(xùn)練U-Net 圖像分割模型:將劃分好的訓(xùn)練集數(shù)據(jù)經(jīng)過預(yù)處理和數(shù)據(jù)增強(qiáng)后,與對(duì)應(yīng)的標(biāo)注圖成對(duì)的送入U(xiǎn)-Net 網(wǎng)絡(luò)進(jìn)行學(xué)習(xí),訓(xùn)練網(wǎng)絡(luò)數(shù)據(jù)時(shí),當(dāng)訓(xùn)練集中的Loss 值不斷減小至較小值,且變化趨于穩(wěn)定時(shí),說明該網(wǎng)絡(luò)已經(jīng)收斂,保存此過程中精確度最高的模型權(quán)重為Best Model.訓(xùn)練模型實(shí)驗(yàn)流程圖如圖5所示.

在本實(shí)驗(yàn)中,使用DenseNet 改進(jìn)U-Net 編碼器部分的網(wǎng)絡(luò),并且采用改進(jìn)的損失函數(shù)和池化層操作,用DenseNet-121在ImageNet 上的預(yù)訓(xùn)練權(quán)重初始化網(wǎng)絡(luò)編碼器部分的參數(shù)訓(xùn)練網(wǎng)絡(luò).將學(xué)習(xí)率(learning rate)設(shè)置為自適應(yīng)衰減學(xué)習(xí)率[11],初始為0.01,每100 次迭代學(xué)習(xí)率降低0.1.使用帶動(dòng)量的梯度下降方式來優(yōu)化模型,動(dòng)量參數(shù)為0.9,并設(shè)置動(dòng)量衰減為0.0005.由于實(shí)驗(yàn)環(huán)境內(nèi)存限制,把每批次處理的圖像數(shù)據(jù)batch size 設(shè)置為1,充分訓(xùn)練數(shù)據(jù)集,總共訓(xùn)練5000 次,當(dāng)網(wǎng)絡(luò)的損失函數(shù)不再下降或者達(dá)到預(yù)設(shè)迭代次數(shù)的時(shí)候,停止訓(xùn)練網(wǎng)絡(luò),保存這期間訓(xùn)練集最高準(zhǔn)確率時(shí)候的權(quán)重參數(shù).

圖4 實(shí)驗(yàn)流程圖

圖5 網(wǎng)絡(luò)訓(xùn)練流程圖

(4)模型評(píng)價(jià).使用一定的測試集評(píng)價(jià)技巧,對(duì)測試集數(shù)據(jù)進(jìn)行翻轉(zhuǎn)、旋轉(zhuǎn)等擴(kuò)充操作,再使用上面訓(xùn)練好的Best Model 來對(duì)增廣后的測試集數(shù)據(jù)進(jìn)行預(yù)測,接著將預(yù)測結(jié)果進(jìn)行測試集擴(kuò)充操作的逆操作,最后對(duì)預(yù)測結(jié)果逐像素取平均操作得到最終結(jié)果.這樣可以提高一定的分割效果.最后使用平均像素精度(MPA)[12]、平均交并比(MIoU)[13]、過割率和欠割率來對(duì)分割結(jié)果進(jìn)行評(píng)估,等價(jià)于評(píng)估模型優(yōu)劣.

4.3 實(shí)驗(yàn)結(jié)果與分析

通過網(wǎng)絡(luò)預(yù)測測試集數(shù)據(jù),對(duì)比平均像素精度(MPA)、平均交并比(MIoU)、過割率和欠割率來評(píng)價(jià)模型優(yōu)劣.

對(duì)比原始U-Net,改進(jìn)型U-Net 所取得的精度增量如下:

當(dāng)只改進(jìn)網(wǎng)絡(luò)時(shí),過割率和欠割率明顯下降,取得下降精度分別是0.040和0.0080.

當(dāng)只改進(jìn)損失函數(shù)時(shí),平均交并比(MIoU)取得明顯增量精度,提升精度0.0530.

當(dāng)只改進(jìn)池化層時(shí),平均像素精度(MPA)提升精度0.0429.

當(dāng)三者均改進(jìn)之后,取得的相應(yīng)評(píng)價(jià)指標(biāo)如表2所示,相應(yīng)的FCN、U-Net、改進(jìn)型U-Net 分割結(jié)果圖分別如圖6(b)、圖6(c)、圖6(d)所示.

圖6(b)、圖6(c)、圖6(d)分別是FCN、U-Net和改進(jìn)型U-Net的宮頸細(xì)胞核分割效果圖,圖6(a)和圖6(e)分別是對(duì)應(yīng)的原圖和手工標(biāo)記圖.可以看出,FCN 對(duì)于細(xì)胞核中心定位效果還行,只是存在少量過檢和漏檢,對(duì)于邊緣細(xì)節(jié)效果不佳;U-Net 網(wǎng)絡(luò)對(duì)于宮頸細(xì)胞核中心分割效果不錯(cuò),細(xì)胞核邊緣相較于FCN 效果要好一些;改進(jìn)型的U-Net 總體效果最好,過分割和欠分割相對(duì)較少,對(duì)于宮頸細(xì)胞核邊緣分割相對(duì)于FCN和原始U-Net 來的更加細(xì)致,更加優(yōu)秀.

如圖7所示,是3 種模型下任意一個(gè)宮頸細(xì)胞核分割的結(jié)果圖放大版,從左至右分別是FCN、U-Net、改進(jìn)型U-Net和真實(shí)標(biāo)注,可以看出,結(jié)果是越來越好的,除此之外,還可以從上文所示3 種模型分割結(jié)果圖中看出,改進(jìn)型U-Net 確實(shí)改善了很多過分割和欠分割的情況.總的來說,通過對(duì)FCN、U-Net和改進(jìn)型UNet的結(jié)構(gòu)分析和實(shí)驗(yàn)對(duì)比,改進(jìn)型U-Net 模型魯棒性最好.

圖6 3 種網(wǎng)絡(luò)分割結(jié)果對(duì)比圖

圖7 局部放大圖

5 小結(jié)

通過對(duì)宮頸細(xì)胞核的分割結(jié)果分析,原U-Net 網(wǎng)絡(luò)結(jié)構(gòu)在編碼器提取特征網(wǎng)絡(luò)部分,運(yùn)用稠密連接的DenseNet 來替換原始U-Net 網(wǎng)絡(luò)中相對(duì)簡單的編碼器部分,使得改進(jìn)型的U-Net 網(wǎng)絡(luò)能夠更多地提取更為抽象有用的高層語義特征,并且DenseNet 稠密連接的特性使得網(wǎng)絡(luò)具備融合更多通道信息和全面應(yīng)用輸入圖像特征的能力;在Loss 損失函數(shù)中加入對(duì)細(xì)胞核更多的權(quán)重,使得網(wǎng)絡(luò)更注重學(xué)習(xí)所需要分割的目標(biāo)特征,交并比(DICE)的加入使得網(wǎng)絡(luò)能把細(xì)胞核分割的更好,邊緣細(xì)節(jié)更加優(yōu)秀;改進(jìn)的池化層也一定程度上緩解了原來池化層丟失信息的問題.通過理論和實(shí)際實(shí)驗(yàn)證明,改進(jìn)型U-Net 對(duì)于宮頸細(xì)胞核分割的效果相較于FCN和原始U-Net 更加優(yōu)秀和魯棒.但也發(fā)現(xiàn)改進(jìn)型U-Net 也有其不足之處,對(duì)于現(xiàn)實(shí)宮頸細(xì)胞樣本中存在的團(tuán)塊黏連、密集程度比較高的難分樣本,改進(jìn)型U-Net 分割處理的效果難言優(yōu)秀.此外,宮頸細(xì)胞類別多樣,這就需要針對(duì)性設(shè)計(jì)可調(diào)型深度學(xué)習(xí)網(wǎng)絡(luò)來進(jìn)行分類和分割,以提高模型的準(zhǔn)確率,這些是今后繼續(xù)研究的主要方向.