周 志，張孫杰，張曉玥

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海200093)

1 引 言

癌癥是一種死亡率很高的疾病，又稱為惡性腫瘤，它是由于細(xì)胞發(fā)生異常造成細(xì)胞核遺傳物質(zhì)的改變而產(chǎn)生的，嚴(yán)重的威脅著人們的身體健康.在細(xì)胞的甄別過(guò)程中，細(xì)胞核成為某些病癥分析的基礎(chǔ).在疾病的檢查方法中，病理診斷是常用的方式，醫(yī)學(xué)圖像細(xì)胞核的分割對(duì)診斷病人的病情起到關(guān)鍵作用[1].比如在癌癥的早期診斷中，醫(yī)生往往通過(guò)活組織切片檢查來(lái)進(jìn)行癌癥分級(jí)，這就要求專業(yè)醫(yī)師要從大量的正常細(xì)胞中進(jìn)行癌變細(xì)胞的確定.這可以說(shuō)是相當(dāng)困難的，對(duì)醫(yī)學(xué)圖像解讀成為一種挑戰(zhàn)性.醫(yī)生的主觀性判斷和視覺(jué)疲勞等因素，加上不同醫(yī)生的經(jīng)驗(yàn)不盡相同，可能就會(huì)產(chǎn)生疾病的漏診和誤診，延誤了病人的最佳治療時(shí)機(jī)，加大了醫(yī)療成本.同時(shí)，在細(xì)胞核分割時(shí)，通常會(huì)碰到細(xì)胞粘連或重疊的現(xiàn)象，使得細(xì)胞核分割過(guò)程產(chǎn)生影響，影響了分割的準(zhǔn)確性.因此有必要利用計(jì)算機(jī)輔助診斷的方式來(lái)為醫(yī)生帶來(lái)精確的分析結(jié)果[2].

隨著計(jì)算機(jī)算力的不斷增強(qiáng)，計(jì)算機(jī)醫(yī)學(xué)圖像處理技術(shù)日趨成熟.細(xì)胞核圖像的分割技術(shù)是醫(yī)學(xué)圖像分析和處理的基礎(chǔ).國(guó)內(nèi)外很多研究學(xué)者們已經(jīng)在細(xì)胞核分割領(lǐng)域做出了一系列成果，探索出了一些常用的分割方法，比如有：基于閾值法[3]，區(qū)域生長(zhǎng)法[4]，基于邊緣法[5]，形態(tài)學(xué)處理[6]，分水嶺法[7]等等，這些方法在復(fù)雜的醫(yī)學(xué)領(lǐng)域表現(xiàn)得比較一般.閾值方法在遇到細(xì)胞核的邊界和背景較難區(qū)分時(shí)難以分割，它忽略了像素的空間位置關(guān)系，對(duì)噪聲相當(dāng)?shù)拿舾?基于邊緣檢測(cè)的分割方法可以很快的判別出細(xì)胞核的邊緣，但是當(dāng)面對(duì)外界的因素比如光照和背景干擾時(shí)，分割的效果就比較差，魯棒性也低.基于區(qū)域生長(zhǎng)法要先選定種子點(diǎn)，而且很難做出規(guī)范的區(qū)域統(tǒng)一標(biāo)準(zhǔn)，過(guò)程很復(fù)雜且耗時(shí)耗力.分水嶺算法對(duì)于分割方面應(yīng)用的很廣泛，它可以實(shí)現(xiàn)對(duì)邊界不清楚的圖像得到完整封閉的邊緣線，但是它會(huì)造成圖像過(guò)分割的缺點(diǎn).Jung等[8]開(kāi)發(fā)了基于H-極小變換的標(biāo)記控制分水嶺算法，用于組織切片上的細(xì)胞核聚類分割；Loukas等[9]運(yùn)用主成分分析方法來(lái)學(xué)習(xí)顏色的空間域變換并通過(guò)閾值化之后的圖像進(jìn)行分割；Markov等[10]采用了基于馬爾可夫先驗(yàn)期望最大化算法，提出了一種用于醫(yī)學(xué)圖像分割的框架；Zhou等[11]人使用模糊C均值聚類進(jìn)行細(xì)胞核的分割.

近年來(lái)，伴隨著深度神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，深度學(xué)習(xí)方法的興起為細(xì)胞和細(xì)胞核的分割任務(wù)帶來(lái)了新的可能，尤其在細(xì)胞核的分割任務(wù)上表現(xiàn)較為優(yōu)異.神經(jīng)網(wǎng)絡(luò)可以使得分割自動(dòng)化的進(jìn)行，自適應(yīng)的學(xué)習(xí)權(quán)重，有效提取輸入圖像的深度特征，有著很強(qiáng)的分辨力，大大提高了細(xì)胞核分割的效率和準(zhǔn)確度.卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)在視覺(jué)圖像領(lǐng)域涉獵較多，如醫(yī)學(xué)圖像處理，細(xì)粒度分類等.Lecun等[12]人第一次應(yīng)用CNN在圖像分類領(lǐng)域，使其能更好的對(duì)圖像進(jìn)行分類識(shí)別，引起了研究者們對(duì)CNN的重點(diǎn)關(guān)注.與傳統(tǒng)的分割方法比較而言，深度學(xué)習(xí)方法擁有強(qiáng)大的特征表示和學(xué)習(xí)能力，在醫(yī)學(xué)圖像分割領(lǐng)域應(yīng)用廣泛，如Deeplabv3，F(xiàn)CN，Segnet，U-Net等網(wǎng)絡(luò)比傳統(tǒng)方法在分割性能上提高了很多，它能夠?qū)崿F(xiàn)端到端，像素到像素的學(xué)習(xí).Xing等[13]人通過(guò)CNN網(wǎng)絡(luò)模型獲取圖像分割后的結(jié)果概率圖，接著借助稀疏形狀模型和局部形變模型實(shí)現(xiàn)對(duì)病理細(xì)胞核的分割；Long等[14]人提出全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Network，F(xiàn)CN)，用1×1的卷積取代了全連接，輸入可以是任意大小的圖像，成為語(yǔ)義分割的基礎(chǔ)；Chen等[15]人提出空洞卷積，利用添加空洞來(lái)獲取更大的感受野，使得經(jīng)過(guò)卷積后的特征圖具有大范圍的信息，但并不增加計(jì)算量，在實(shí)時(shí)分割中廣泛應(yīng)用；Ronneberger等[16]人在2015年提出了經(jīng)典的U-Net網(wǎng)絡(luò)，特別適用于醫(yī)學(xué)圖像分割領(lǐng)域，它采用編碼解碼器結(jié)構(gòu)，通過(guò)跳過(guò)連接巧妙的結(jié)合了高層和低層的信息，解碼層的深層抽象信息更好的利用編碼層傳輸?shù)臏\層信息，使得圖像的分割效果比較好.

盡管上述提到的圖像分割算法在醫(yī)學(xué)細(xì)胞核分割領(lǐng)域中已經(jīng)取得了一些較好的效果，但是經(jīng)過(guò)實(shí)踐證明，對(duì)于微小型細(xì)胞核以及細(xì)胞核與背景對(duì)比度低的圖像的分割效果不太理想，難以提取出更加抽象的圖像特征，從而導(dǎo)致最終分割結(jié)果不夠精準(zhǔn).本文提出一種改進(jìn)的U-Net網(wǎng)絡(luò)模型，在原始的U-Net網(wǎng)絡(luò)基礎(chǔ)上加入深度特征融合結(jié)構(gòu)，用來(lái)學(xué)習(xí)深層和淺層的信息；接著，又創(chuàng)新性地設(shè)計(jì)一種層次交融模塊(Hierarchical Blending Module，HBM)來(lái)學(xué)習(xí)不同層次的特征的重要程度，將學(xué)到的不同的權(quán)重加載到不同的特征層得到條件特征圖(Conditional Characteristic Diagram， CCD)，使得分割的結(jié)果更加的精確；同時(shí)，在嵌套的卷積塊之間加入注意門(mén)機(jī)制(Attention Gate Mechanism，AGM)使模型更加注重對(duì)細(xì)胞核的學(xué)習(xí)，增大有效特征的權(quán)重比例；最后采用改進(jìn)的融合損失函數(shù)以緩解類不平衡性的問(wèn)題.經(jīng)測(cè)試，本文提出的方法能夠更好的分割細(xì)胞核.

2 本文方法

2.1 網(wǎng)絡(luò)模型

本文所采用的基礎(chǔ)網(wǎng)絡(luò)模型為U-Net網(wǎng)絡(luò)，它最初應(yīng)用最多的領(lǐng)域是醫(yī)學(xué)圖像的語(yǔ)義分割.該模型是由編-解碼器結(jié)構(gòu)組成，有兩條對(duì)稱的路徑，編碼器用于對(duì)輸入圖像進(jìn)行下采樣操作，由Conv層和Pooling層構(gòu)成，擴(kuò)張路徑用于上采樣，通過(guò)對(duì)圖像的反卷積操作來(lái)恢復(fù)圖像的分辨率，以實(shí)現(xiàn)端到端的分割的目的.此外，該網(wǎng)絡(luò)還存在著編-解碼部分的跳躍連接，它成功的把來(lái)自于編碼器的淺層特征和解碼器的深層特征相結(jié)合，這種方式有利于對(duì)特征的提取，達(dá)到像素級(jí)別的分割效果.

2.2 深度特征聚合結(jié)構(gòu)

盡管傳統(tǒng)的U-Net網(wǎng)絡(luò)在圖像分割上已經(jīng)取得了比較好的效果，但在復(fù)雜的實(shí)際醫(yī)學(xué)細(xì)胞核分割任務(wù)中仍受成像的影響.不同的細(xì)胞核圖像清晰度不一致有的比較模糊，還有對(duì)比度低，細(xì)胞核大小、空間分布沒(méi)有規(guī)律性，細(xì)胞粘連、堆疊等，都使得醫(yī)學(xué)細(xì)胞核分割具有很大的挑戰(zhàn)性.如果僅僅采用常規(guī)的U-Net網(wǎng)絡(luò)則不能獲得較理想的分割結(jié)果，學(xué)習(xí)能力受到限制.因?yàn)闇\層特征里涵蓋了更多的空間位置信息，這些豐富的淺層特征是不可以忽略的，它們對(duì)分割結(jié)果影響很大，學(xué)習(xí)這些淺層特征將會(huì)大大的有利于精準(zhǔn)的定位和分割[17].

本文首先提出的深度特征融合結(jié)構(gòu)，每經(jīng)過(guò)一次下采樣操作都可以相應(yīng)地進(jìn)行一次上采樣得到該層輸出的一個(gè)分割圖，對(duì)應(yīng)一次相應(yīng)的loss值，因此可以分別進(jìn)行4次不同的下采樣以得到4種不同的分割結(jié)果圖，這種深度特征聚合結(jié)構(gòu)可以巧妙的將網(wǎng)絡(luò)淺層的邊緣紋理等底級(jí)信息和深層的高級(jí)語(yǔ)義信息共同學(xué)習(xí).

圖1 多層次深度特征聚合結(jié)構(gòu)Fig.1 Multi level depth feature aggregation structure

圖1中展示了4種不同的深度特征融合結(jié)構(gòu)，不同的融合方式可以得到4種不同的分割結(jié)果.這種結(jié)構(gòu)仍然保留U-Net的編碼和解碼部分，并使用若干個(gè)卷積塊搭建起上采樣和下采樣之間的信息交流，重置的連接兩個(gè)子網(wǎng)絡(luò)的跳躍連接目的在于減少兩者之間存在的語(yǔ)義鴻溝，而且還運(yùn)用了高級(jí)監(jiān)督.這種改進(jìn)過(guò)的跳躍路徑相比U-Net直接相連而言，經(jīng)歷了密集卷積塊，這種嵌套的卷積結(jié)構(gòu)使得下采樣的語(yǔ)義信息和上采樣的語(yǔ)義信息含義更加靠近，當(dāng)這種語(yǔ)義信息相似時(shí)，使用的算法優(yōu)化器將會(huì)很便捷的解決這個(gè)優(yōu)化問(wèn)題.

從形式上看，把該結(jié)構(gòu)的跳躍路徑表述如下：設(shè)xi,j是上圖標(biāo)志Xi,j的輸出，其中i是編碼器下采樣層的下標(biāo)，j是順著跳躍路徑密集的卷積層的下標(biāo).j=0時(shí)的節(jié)點(diǎn)只接收來(lái)自上一編碼層的一個(gè)輸入，當(dāng)j大于0時(shí)的節(jié)點(diǎn)接受了j+1個(gè)輸入，其中j個(gè)輸入是這一層前面所有的節(jié)點(diǎn)的輸出，另外一個(gè)輸入來(lái)源于下一個(gè)層級(jí)中的節(jié)點(diǎn)經(jīng)過(guò)上采樣后的輸出.計(jì)算方式可以表示為：

(1)

式中，φ(.)代表一個(gè)卷積運(yùn)算，后面還跟著一個(gè)激活函數(shù)ReLU，U(.)代表上采樣層，[ ]代表連接層，用來(lái)特征融合.

2.3 改進(jìn)的分割總體網(wǎng)絡(luò)模型

針對(duì)原始U-Net網(wǎng)絡(luò)在醫(yī)學(xué)細(xì)胞核圖像分割中存在的問(wèn)題.為了適應(yīng)不同大小、形狀、粘連程度的細(xì)胞核，本文提出一種改進(jìn)的U-Net(HBM-AG-UNet)網(wǎng)絡(luò)結(jié)構(gòu).它在上述深度特征聚合結(jié)構(gòu)的基礎(chǔ)上又創(chuàng)新性地設(shè)計(jì)了層次交融模塊(HBM)，由于下采樣次數(shù)的不同而使得各個(gè)層次輸出的圖像對(duì)最終的分割結(jié)果的重要程度是不一樣的，因此HBM的作用等同于一種自適應(yīng)學(xué)習(xí)模塊，它用來(lái)學(xué)習(xí)到四次不同的下采樣特征的權(quán)重，將學(xué)到的不同的權(quán)重加載到不同的特征層得到條件特征圖(CCD)，再進(jìn)行融合得到最終的分割效果使其更為精確.

該網(wǎng)絡(luò)模型結(jié)合了深度特征聚合和HBM模塊的優(yōu)點(diǎn)，具有嚴(yán)格監(jiān)督的編碼器解碼器結(jié)構(gòu)和集成的注意門(mén)跳過(guò)連接，在嵌合的卷積塊之間加入了一種AG注意力機(jī)制，使得有效的特征的提取與任務(wù)的需要緊緊聯(lián)系起來(lái).在基礎(chǔ)的U型神經(jīng)網(wǎng)絡(luò)跳躍路徑上嵌入了密集的卷積塊，這種設(shè)計(jì)可以促進(jìn)編碼和解碼過(guò)程中深、淺層信息的交流，從而改善了梯度流.AG注意力可以通過(guò)跳躍連接有效的提高細(xì)胞核特征信息的傳播效率，在每一層接受到細(xì)胞核的邊緣信息時(shí)，相應(yīng)的解碼器部分以自底而上的方式恢復(fù)原特征[18].添加了注意力機(jī)制后的特征圖棧計(jì)算公式如下：

(2)

圖2是本文方法的整體分割結(jié)構(gòu).正是有了其中嵌入式的跳過(guò)連接的結(jié)構(gòu)，改進(jìn)的算法在多個(gè)語(yǔ)義層次上生成完整的解析特征映射.整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中嵌套的卷積層使用了k個(gè)卷積核，核的大小為3×3，其中k為32×2i.由于高級(jí)監(jiān)督有兩種工作模式，一是指確定模式，把各個(gè)特征層分割的輸出求平均作為最終的結(jié)果，另一種是快速模式，只挑選一個(gè)分支作為最后的分割圖，該分支的選擇決定模型的不同復(fù)雜度.這兩種方式都不能很好的優(yōu)化分割效果，因此改進(jìn)的HBM用來(lái)對(duì)各個(gè)分割分支進(jìn)行自適應(yīng)的學(xué)習(xí)，可以學(xué)習(xí)到不同層次特征的重要性，提高分割的精度.

圖2 HBM-AG-UNet算法整體結(jié)構(gòu)Fig.2 Overall structure of HBM-AG-UNet algorithm

在圖3中，設(shè)計(jì)的HBM模塊首先對(duì)4個(gè)不同層次所得到的輸出圖像作全局平均池化(Global average pooling)操作，取代全連接層實(shí)現(xiàn)降維，為了避免網(wǎng)絡(luò)過(guò)擬合現(xiàn)象的產(chǎn)生，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行正則化處理，賦予了每個(gè)通道實(shí)際的類別意義，聚合了該層輸入特征的全局信息，用一個(gè)實(shí)數(shù)值表示每個(gè)通道的特征圖，然后將具有全局信息的向量經(jīng)過(guò)第1個(gè)1×1的卷積層，通過(guò)ReLU激活，再通過(guò)第2個(gè)1×1的卷積層經(jīng)過(guò)Sigmoid函數(shù)激活，最后可以得到一個(gè)量化的數(shù)值來(lái)代表各層次重要程度的信息，公式表述如下：

Q=δ(w1σ(w2X))

(3)

圖3 層次交融模塊Fig.3 Hierarchical blending module

其中w1，w2是兩個(gè)自適應(yīng)學(xué)習(xí)權(quán)重參數(shù)，X為輸入的特征映射，σ是ReLU激活函數(shù)，δ是Sigmoid激活函數(shù)，Q是表示各層次重要性的數(shù)值.

在得到不同的Q值之后，對(duì)輸出的多層次特征圖進(jìn)行重新分配權(quán)重，即用輸出的特征映射乘以得到的對(duì)應(yīng)權(quán)值，再相加，得到最后的分割圖CCD，即：

(4)

式中，i表示下采樣的層數(shù)，Q表示輸出特征圖的權(quán)重，S表示輸出的特征圖.

2.4 自注意力機(jī)制模塊

自注意力機(jī)制是注意力機(jī)制的改進(jìn)，它可以起到增大感受野的作用，同時(shí)豐富上下文信息，在計(jì)算機(jī)視覺(jué)任務(wù)中應(yīng)用廣泛.為了關(guān)注細(xì)胞核相關(guān)的特征，本文在網(wǎng)絡(luò)中添加了集成注意力門(mén)(Attention Gate，AG)模塊，它很容易的通過(guò)跳躍連接集成到嵌套的卷積塊之間，抑制網(wǎng)絡(luò)模型與任務(wù)無(wú)關(guān)的信息，加強(qiáng)對(duì)細(xì)胞核微小特征的關(guān)注程度，增大有效特征的占比，從而實(shí)現(xiàn)對(duì)細(xì)胞核更精準(zhǔn)的分割.注意力機(jī)制模塊結(jié)構(gòu)如圖4所示.

圖4 注意力門(mén)控模塊結(jié)構(gòu)圖Fig.4 Structure diagram of attention gating module

AG模塊的輸入有兩個(gè):一個(gè)是路徑中的上采樣函數(shù)，它作為一種門(mén)控信號(hào)，在抑制任務(wù)中無(wú)關(guān)區(qū)域的同時(shí)，提高了與分割任務(wù)相關(guān)的目標(biāo)區(qū)域的學(xué)習(xí)能力，另一個(gè)是網(wǎng)絡(luò)結(jié)構(gòu)中編碼器的特征圖.該注意力模塊通過(guò)跳躍連接提高語(yǔ)義信息生成的效率，用Sigmoid激活函數(shù)來(lái)訓(xùn)練參數(shù)的收斂性，得到注意力系數(shù)β，再讓編碼器特征圖和注意力系數(shù)相乘得到輸出圖.其中Gs為圖2結(jié)構(gòu)中編碼部分的特征圖，Gy是經(jīng)過(guò)了自注意力機(jī)制處理過(guò)的特征圖，Gx為一個(gè)門(mén)控信號(hào)，包含了上下文信息，來(lái)自于編碼部分的上采樣函數(shù)，β是學(xué)習(xí)到的注意力系數(shù)，把注意力集中在與細(xì)胞核分割感興趣的對(duì)象上去，抑制和任務(wù)無(wú)關(guān)的特征響應(yīng)，β的計(jì)算公式是：

β=σ2(μ(GS,Gx;δ))

(5)

式中，σ2為Sigmoid激活函數(shù)，μ是加性注意力算法(含CS，Cx，φ等1×1×1卷積操作和相應(yīng)的偏置項(xiàng)bg，bφ)，它的計(jì)算公式是：

(6)

對(duì)兩個(gè)不同的輸入沿著通道方向進(jìn)行1×1×1的卷積和批標(biāo)準(zhǔn)化操作，然后進(jìn)行相加用ReLU函數(shù)進(jìn)行非線性激活，因?yàn)榫幋a的上采樣函數(shù)GS涵蓋了更為豐富的特征信息，加性注意力算法使得Gx充分學(xué)習(xí)它和GS的差距，從而把注意力放到關(guān)心的區(qū)域，抑制非關(guān)注區(qū)域信息的激活，有效提高了模型的分割性能.最后通過(guò)將編碼器輸入特征圖Gx和注意力系數(shù)β相乘得到輸出Gy.公式如下：

Gy=β?Gx

(7)

2.5 損失函數(shù)的改進(jìn)

細(xì)胞核的分割任務(wù)從單個(gè)像素的角度看，是一個(gè)二分類問(wèn)題，核以外的部分都是背景.因此二元交叉熵(Binary Cross Entropy，BCE)通常被用來(lái)作為損失函數(shù)，公式如下：

(8)

但是在細(xì)胞核的分割中，背景比核要大的多，這就會(huì)導(dǎo)致像素類別的不平衡問(wèn)題，網(wǎng)絡(luò)會(huì)更多的學(xué)習(xí)背景的特征，影響對(duì)細(xì)胞核的特征學(xué)習(xí)，而這時(shí)單純的使用交叉熵?fù)p失函數(shù)效果并不是很好.Dice相似系數(shù)損失函數(shù)如下：

(9)

Dice損失函數(shù)可以較好的處理類不平衡的問(wèn)題，其中的ε是一個(gè)平滑算子，防止損失函數(shù)的分母為0.

本文結(jié)合兩者的特點(diǎn)提出一種改進(jìn)的聯(lián)合損失函數(shù)，即:

L=0.5BCE+LDice

(10)

改進(jìn)的損失函數(shù)使得訓(xùn)練過(guò)程更加高效穩(wěn)定，且緩解了類不平衡性的問(wèn)題.

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)環(huán)境介紹

本文實(shí)驗(yàn)是基于深度學(xué)習(xí)框架Pytorch實(shí)現(xiàn)的，使用的編譯器為Pycharm，CPU為Inter Core i7-6700HQ，GPU配置為雙卡8GB顯存的NVIDIA GeForce GTX 1080Ti，CUDA采用9.0版本，操作系統(tǒng)是Linux，編程語(yǔ)言是Anconda3的python3.6.

3.2 實(shí)驗(yàn)數(shù)據(jù)集

本文所使用的實(shí)驗(yàn)數(shù)據(jù)集來(lái)源于Kaggle平臺(tái)的Data Science Bowl-2018公共醫(yī)學(xué)細(xì)胞核數(shù)據(jù)集，其中涵蓋了670張的原始圖片，圖像的分辨率為96×96，大約有29000左右細(xì)胞核，并按照8∶2的比例劃分訓(xùn)練集和測(cè)試集.對(duì)于每張細(xì)胞核的原始圖像，都有由經(jīng)驗(yàn)豐富的醫(yī)生分割好的標(biāo)簽圖，醫(yī)學(xué)上稱之為金標(biāo)準(zhǔn).

3.3 數(shù)據(jù)預(yù)處理和相關(guān)設(shè)置

由于深度學(xué)習(xí)對(duì)參數(shù)的訓(xùn)練要求有大量的數(shù)據(jù)集，考慮到本實(shí)驗(yàn)數(shù)據(jù)集的數(shù)量較少，模型容易發(fā)生過(guò)擬合，因此需要對(duì)數(shù)據(jù)進(jìn)行擴(kuò)充，提高模型的泛化能力，本文對(duì)訓(xùn)練集樣本及對(duì)應(yīng)的標(biāo)簽圖進(jìn)行了隨機(jī)旋轉(zhuǎn)、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、平移縮放和隨機(jī)裁剪等數(shù)據(jù)增強(qiáng)[19].對(duì)于原始圖片較小的問(wèn)題，為節(jié)約訓(xùn)練資源，我們使用雙線性插值把圖片統(tǒng)一擴(kuò)大到256×256的分辨率大小，同時(shí)對(duì)于訓(xùn)練集中出現(xiàn)的灰度圖片，將其歸一化成三通道的圖片以便于被預(yù)測(cè).

在訓(xùn)練時(shí)，我們把預(yù)處理好的圖片和真實(shí)標(biāo)簽送入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，在模型的訓(xùn)練過(guò)程中利用隨機(jī)梯度下降(SGD)優(yōu)化算法對(duì)網(wǎng)絡(luò)進(jìn)行迭代求解，初始學(xué)習(xí)率(learning rate)被設(shè)置為0.001，權(quán)重衰減(Weight decay)為0.0001，訓(xùn)練輪次數(shù)(epoch)設(shè)置為100，每一批次輸入的樣本數(shù)(batch size)為8，動(dòng)量參數(shù)momentum為0.9.當(dāng)越來(lái)越接近損失函數(shù)的全局最小值時(shí)，相應(yīng)的學(xué)習(xí)率也應(yīng)該變小來(lái)接近最小點(diǎn)，本文采用了余弦退火(CosineAnnealing)學(xué)習(xí)率變化的策略，學(xué)習(xí)率變化迭代周期為4，最小學(xué)習(xí)率設(shè)置為0.00001.當(dāng)網(wǎng)絡(luò)的損失函數(shù)不再降低或趨于穩(wěn)定時(shí)停止訓(xùn)練網(wǎng)絡(luò)，記錄最佳模型的權(quán)重參數(shù)和結(jié)果.

3.4 評(píng)價(jià)指標(biāo)

為了評(píng)估本算法對(duì)細(xì)胞核的分割效果，同時(shí)方便與其他算法進(jìn)行比較，本實(shí)驗(yàn)采用了Dice系數(shù)(Dice Similarity Coefficient，DSC)、交并比(Intersection over Union，IoU)、精確率(Precision)、敏感度(Sensitivity)和哈斯多夫距離(Hausdorff Distance，HD)5個(gè)性能指標(biāo)進(jìn)行評(píng)價(jià).

1)Dice系數(shù)[20]是醫(yī)學(xué)圖像分割領(lǐng)域應(yīng)用較廣泛的評(píng)估指標(biāo)，計(jì)算方式為：

(11)

其中M為本文網(wǎng)絡(luò)模型預(yù)測(cè)出的結(jié)果，N為真實(shí)的專家標(biāo)注的標(biāo)簽圖，Dice的值在[0，1]之間，其值越大，表示分割的效果越好.

2)交并比又稱雅卡爾指數(shù)(Jaccard index)[21]，用來(lái)衡量?jī)蓚€(gè)樣本的相似性，它的計(jì)算公式如下：

(12)

其中M為本文方法分割出的結(jié)果，N為細(xì)胞核的專家標(biāo)注的標(biāo)準(zhǔn)，交并比的值越大，圖像分割的效果更好.

3)精確率[22]代表正確分割的細(xì)胞核部分占算法預(yù)測(cè)結(jié)果為細(xì)胞核的部分的比例，精確率越高，分割效果越好，TP即真陽(yáng)性，代表實(shí)際為細(xì)胞核，預(yù)測(cè)出的也是細(xì)胞核部分；FP即假陽(yáng)性，代表預(yù)測(cè)為細(xì)胞核，實(shí)際則是背景部分.

(13)

4)敏感度代表正確分割的細(xì)胞核部分占圖像中真實(shí)的細(xì)胞核的部分的比例，F(xiàn)N表示被錯(cuò)誤的分割為背景像素的數(shù)量，即假陰性.

(14)

5)哈斯多夫距離[23]表示了網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果和ground truth之間的最大不匹配度，評(píng)估了兩個(gè)不同樣本之間的對(duì)稱距離，其值越小代表了分割結(jié)果和金標(biāo)準(zhǔn)更相近，效果越好.

(15)

式中a，b分別是集合A，B上的像素點(diǎn)，d為a，b之間的單向Hausdorff距離.

3.5 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文提出的方法在細(xì)胞核分割上的性能，將其與其他幾種圖像分割算法在Data Science Bowl數(shù)據(jù)集上進(jìn)行了對(duì)比試驗(yàn).表1列舉了不同的模型在細(xì)胞核上的實(shí)驗(yàn)結(jié)果.

表1 分割性能對(duì)比Table 1 Comparison of segmentation performance

本文除了對(duì)比U-Net外，還對(duì)比了FCN，Deeplabv3及其他3種U-Net網(wǎng)絡(luò)的變體.從表1中可以發(fā)現(xiàn)，本文提出的細(xì)胞核分割算法在5項(xiàng)評(píng)估指標(biāo)中均優(yōu)于其他方法，取得了最優(yōu)的結(jié)果，在測(cè)試集上的平均Dice達(dá)到87.19%，平均IoU達(dá)到88.53%，平均精確率達(dá)到91.35%，平均敏感度達(dá)到90.13%，平均哈斯多夫距離達(dá)到了2.182.

從表中可以看出，F(xiàn)CN的分割結(jié)果比其他模型都要低，而U-Net和Dense-UNet網(wǎng)絡(luò)含有跳躍連接，融合了高低層的語(yǔ)義信息，提取的特征較多，相比之下分割結(jié)果優(yōu)于FCN.Dense-UNet和Deeplabv3在細(xì)胞核上的分割效果相差不大.由于淺層的信息中又帶有大量的冗余信息，所以U-Net在面對(duì)細(xì)胞核邊緣輪廓、核與背景對(duì)比度低的問(wèn)題時(shí)分割的并不好.對(duì)比U-Net，本文方法在平均DICE和IoU上分別提升了5.49%和5.72%，平均精確率和靈敏度分別提高了5.51%和4.82%，這證明了所提方法可以更好的對(duì)細(xì)胞核和背景像素進(jìn)行分類，提高了分割精度.在進(jìn)行對(duì)比的同時(shí)也進(jìn)行了消融實(shí)驗(yàn)，當(dāng)在U-Net中只加入改進(jìn)的層次交融模塊(HBM)時(shí)，實(shí)驗(yàn)結(jié)果得到了一些提升，Dice分割結(jié)果為0.8361，相比U-Net提高了1.91%，IoU結(jié)果為0.8485，比U-Net提高了2.04%，HD距離減少了0.425，但是效果仍然不太明顯.單獨(dú)的引入自注意力機(jī)制的AG-UNet在靈敏度和精確度上和Deeplabv3相差不大，而比U-Net在靈敏度上提升了2.44%，精確度上提升了1.19%.本文算法在改進(jìn)的HBM-UNet的基礎(chǔ)上又引進(jìn)了AG注意力機(jī)制，使得模型更關(guān)注細(xì)胞核的細(xì)微邊緣信息，加強(qiáng)明顯的特征部分，大大降低了把背景像素誤分割為細(xì)胞核像素的數(shù)量，Dice系數(shù)比HBM-UNet提高了3.58%，精確度和靈敏度又分別得到了3.04%，1.99%的提升.由以上結(jié)果可知本文方法有著更強(qiáng)的優(yōu)越性和競(jìng)爭(zhēng)力.

此外，本文還將改進(jìn)前的U型神經(jīng)網(wǎng)絡(luò)和改進(jìn)后的新網(wǎng)絡(luò)模型在模型大小(參數(shù)量)和學(xué)習(xí)效率(計(jì)算量)方面進(jìn)行了比較.前者參數(shù)量用Params/M來(lái)表示，后者計(jì)算量用浮點(diǎn)運(yùn)算數(shù)FLOPs表示，它是用來(lái)衡量算法復(fù)雜度的.通過(guò)調(diào)用pytorch-OpCounter工具包來(lái)計(jì)算出本文相關(guān)模型的參數(shù)量和計(jì)算量.表2為原始U-Net和幾種改進(jìn)型U-Net的模型大小和計(jì)算量的實(shí)驗(yàn)結(jié)果對(duì)比.

表2 不同模型的參數(shù)量和計(jì)算量大小Table 2 Amount of parameters and calculation of different models

其中原始的U-Net模型最小，計(jì)算量也較低，因此在其基礎(chǔ)上進(jìn)行改進(jìn)的算法在兩項(xiàng)指標(biāo)上均有提高.本文模型的參數(shù)量為9.15M，計(jì)算量為123.28G，相比原始模型在參數(shù)量?jī)H增加17.7%的條件下精確率提高了5.51個(gè)百分點(diǎn)，平均Dice系數(shù)提高了5.49個(gè)百分點(diǎn)，以很小的計(jì)算代價(jià)換來(lái)了較大的性能提高.雖然本文模型的計(jì)算量比原始模型有點(diǎn)提升，但是它在訓(xùn)練和測(cè)試的流程中可以自適應(yīng)的選擇下采樣次數(shù)使網(wǎng)絡(luò)更靈活，且參數(shù)的利用率較好，魯棒性更強(qiáng).分割結(jié)果表明，與其他同類的U-Net模型相比，本文算法綜合性能最好.

為了更直觀的表現(xiàn)本文提出的方法在細(xì)胞核分割上的優(yōu)越性，給出了不同方法在測(cè)試集上的分割效果圖.圖5(a)、(b)分別是細(xì)胞核的原圖和對(duì)應(yīng)標(biāo)簽圖，圖5(c)-(g)分別為FCN、U-Net、Deeplabv3[24]、Dense-UNet和本文算法得到的細(xì)胞核分割效果圖.從圖5(c)中可以看到，F(xiàn)CN對(duì)于細(xì)胞核的中心位置定位的不錯(cuò)，但是由于上采樣階段只用了一個(gè)反卷積操作，之后沒(méi)有跟上卷積結(jié)構(gòu)，使得分割結(jié)果很差，出現(xiàn)漏檢和過(guò)檢的現(xiàn)象.U-Net、Dense-UNet分割的細(xì)胞核邊緣輪廓信息比FCN較為清晰，效果有了一些改善，但是仍然存在細(xì)胞粘連的部分，分割不是很精確.Deeplabv3分割效果優(yōu)于U-Net，和Dense-UNet分割效果相似.相比其他方法，本文方法能夠更好的分割細(xì)小、邊緣輪廓模糊的核，大大降低了過(guò)分割和欠分割[25]，得到了與標(biāo)簽最近甚至超過(guò)標(biāo)簽的效果，具有很好的分割性能.

圖5 分割結(jié)果對(duì)比圖Fig.5 Comparison of segmentation results

圖6 各種算法在數(shù)據(jù)集上訓(xùn)練的損失曲線Fig.6 Loss curves of various algorithms trained on datasets

由于網(wǎng)絡(luò)模型收斂得越快，則它學(xué)到的參數(shù)與細(xì)胞核精準(zhǔn)分割的關(guān)聯(lián)度越高.圖6記錄了不同方法在訓(xùn)練過(guò)程中損失函數(shù)的變化，發(fā)現(xiàn)本文算法比其他幾種算法先趨于收斂，起始loss值最低，收斂后精度都優(yōu)于其他幾種方法.

4 結(jié) 論

細(xì)胞核的精確分割是醫(yī)學(xué)圖像病理分析的基礎(chǔ)，也是計(jì)算機(jī)對(duì)腫瘤診斷精準(zhǔn)分析的前提.本文針對(duì)U-Net無(wú)法有效的利用各層特征而造成過(guò)分割和欠分割的問(wèn)題，提出了一種改進(jìn)的HBM-AG-UNet模型.在經(jīng)典U-Net的基礎(chǔ)上加入了深度特征聚合結(jié)構(gòu)，用來(lái)同時(shí)學(xué)習(xí)淺層的邊緣紋理信息和深層的高級(jí)語(yǔ)義信息；創(chuàng)新性的設(shè)計(jì)了層次交融模塊，來(lái)學(xué)習(xí)不同層次的特征的重要程度，以得到精確的分割圖；為了使模型更關(guān)注對(duì)細(xì)胞核特征的學(xué)習(xí)，在嵌套的卷積塊之間采用了門(mén)注意力機(jī)制；最后采用了Dice損失和交叉熵混合的損失函數(shù)，解決像素點(diǎn)之間類別不平衡的問(wèn)題.實(shí)驗(yàn)證明，本文提出的算法優(yōu)于U-Net和Deeplabv3等常用分割模型，顯著優(yōu)于FCN 模型，能更精確的實(shí)現(xiàn)細(xì)胞核的分割任務(wù)，比其他方法更具有優(yōu)勢(shì).

本文方法雖然取得了不錯(cuò)的效果，但也存在不足之處，例如醫(yī)學(xué)圖像的數(shù)據(jù)集很少，而深度學(xué)習(xí)算法訓(xùn)練又依賴于大量的數(shù)據(jù)集，盡管使用了數(shù)據(jù)增強(qiáng)，但是得到的訓(xùn)練數(shù)據(jù)量依然很少，因此利用生成對(duì)抗網(wǎng)絡(luò)模型生成高質(zhì)量的標(biāo)注數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，以增加訓(xùn)練數(shù)據(jù)量，提高模型的泛化能力，是未來(lái)可以深入研究的一個(gè)方向.另外，在未來(lái)的研究中將驗(yàn)證本模型是否適用于其他的分割任務(wù)如肝腫瘤、肺結(jié)節(jié)、視網(wǎng)膜病變等.在后續(xù)工作中，考慮如何進(jìn)一步優(yōu)化網(wǎng)絡(luò)模型、調(diào)節(jié)參數(shù)，提高分割的準(zhǔn)確度，這也是以后工作的重點(diǎn).