韓 冰,高 路,高新波,2,陳瑋銘
(1.西安電子科技大學 電子工程學院,陜西 西安 710071;2.重慶郵電大學 計算機科學與技術學院 圖像認知重慶市重點實驗室,重慶 400065)
甲狀腺癌是實體癌中發(fā)病率增速最快的惡性腫瘤之一[1],但其治愈率也很高。如果能及早診斷,大多數(shù)甲狀腺癌都能被很好地治愈。病理學診斷是醫(yī)生診斷疾病的黃金標準,受到權威機構的廣泛認可。病理圖像中,細胞核形態(tài)的差異是目前腫瘤診斷的主要依據(jù)。細胞核的平均大小、密度、形狀等特征關系到腫瘤的臨床診斷和后續(xù)治療。因此,對病理圖像中細胞核的精確分割是進一步分析的基礎。
卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,CNN)[2]因其優(yōu)秀的特征表示能力被廣泛應用于圖像分割等領域中,尤其是應用于自然圖像時表現(xiàn)優(yōu)異。相比于自然圖像,醫(yī)學圖像含有更多的噪聲,目標邊界也比較模糊。因此,針對醫(yī)學圖像分割,需要設計合適的方法。2015年,RONNEBERGER等[3]提出了針對醫(yī)學圖像分割U-Net網(wǎng)絡模型,在上采樣的過程中通過跳轉(zhuǎn)鏈接逐步融合淺層特征,并在多個醫(yī)學圖像數(shù)據(jù)庫上取得了很好的分割效果,是醫(yī)學圖像分割領域的經(jīng)典之作,很多算法都是在U-Net的基礎上進行改進的。UNet++[4]在跳轉(zhuǎn)鏈接中添加了密集的卷積模塊,但是這種方法無法獲得足夠的全局信息。UNet 3+[5]重新設計了跳轉(zhuǎn)鏈接以融合底層和高層之間不同尺度的特征。ZHANG等[6]結(jié)合殘差模塊原理設計了ResUnet。ResUnet++[7]在ResUnet的基礎上整合了SE模塊[8]、特征金字塔[9]和注意力模塊。使用注意力機制來改進U-Net也在一些其它的工作[10-12]中取得了不錯的效果。FU等[13]提出M-Net用于視杯視盤的分割,該網(wǎng)絡接受多尺度輸入,并通過深層監(jiān)督訓練網(wǎng)絡。QIN等[14]提出了由兩層UNet嵌套組成的U2-Net,通過殘差結(jié)構獲取不同尺度的上下文信息。UTNet[15]首次將Transformer[16]模塊融入到U-Net中以提升傳統(tǒng)U-Net網(wǎng)絡的分割效果。CGNet[17]通過設計上下文信息引導模塊同時學習圖像的局部特征和全局特征,獲得了較好的檢測效果。
細胞核分割是病理圖像自動分析的關鍵步驟,是醫(yī)學圖像分割任務中最為基礎的組成部分。與其它醫(yī)學圖像相比,病理圖像背景復雜,細胞核目標小而密集,且形狀多變。上述方法常用于分割病灶或器官等圖像中單一且占比較大的目標,直接用于細胞核分割時,效果不好。因此,一些適用于細胞核分割的模型相繼被提出。
CHEN等[18]提出了DCAN,這是一種通過利用實例和輪廓的互補信息來分割細胞核的深度輪廓感知網(wǎng)絡。ZENG等[19]提出了RIC-Unet,在U-Net的基礎上添加了一條解碼器分支用來預測輪廓以完善分割結(jié)果。ODA等[20]提出了BESNet來進行細胞核分割,與RIC-Unet相同,添加了一條解碼器分支用來預測輪廓,區(qū)別是BESNet中的兩個解碼器通過串聯(lián)的方式進行特征互補。ZHOU等[21]提出了基于輪廓感知與信息融合的細胞核分割網(wǎng)絡CIA-Net,與BESNet一樣有一個預測輪廓的解碼分支,不同之處是該方法使用一個信息聚合模塊在上采樣的同時不斷聚合和交換兩個解碼器的特征,并使用深度監(jiān)督來加強網(wǎng)絡對多層次信息的學習。NAYLOR等[22]提出將分割標簽轉(zhuǎn)化為距離熱圖,并以此訓練細胞核分割模型。
在圖像中,細胞核的邊界只占目標區(qū)域的一小部分。因此,當分割算法能夠分割出目標的大部分區(qū)域時,損失已經(jīng)很低,這時網(wǎng)絡已經(jīng)很難再優(yōu)化。換句話說,訓練得到的網(wǎng)絡可以得到較好的客觀結(jié)果,但仍然不能有效判別目標的邊界。所以分割任務中有一個普遍存在的現(xiàn)象,即距離邊界越近,分割精度越低,這一現(xiàn)象在文獻[23]中已被證明。
甲狀腺癌細胞核不同于其它類型的細胞,一般會出現(xiàn)溝壑,或有核內(nèi)假包涵體等。由于這些溝壑和包涵體的存在,容易導致分割結(jié)果出現(xiàn)空洞等現(xiàn)象。
針對上述問題,設計了一個邊界加權模塊為細胞核邊界附近的像素賦予不同的權重,使網(wǎng)絡在訓練時就能夠更多關注細胞核邊界。另一方面,為了避免提出的網(wǎng)絡過分關注邊界而忽視細胞核主體部分,導致一些染色較淺的細胞核分割失敗,提出了前景增強分割網(wǎng)絡;該網(wǎng)絡在上采樣的過程中通過前景增強模塊不斷增強前景并抑制背景的作用,從而實現(xiàn)甲狀腺病理圖像細胞核的精確分割。
文中的主要貢獻如下:
(1) 提出前景增強分割網(wǎng)絡,在U-Net的基礎上,在上采樣的過程中通過前景增強模塊不斷增強前景及抑制背景的作用。
(2) 提出邊界加權模塊,使網(wǎng)絡在訓練時就能夠更多關注細胞核邊界,提升邊界處的分割效果。
(3) 針對癌變細胞核相對正常細胞核難分割的情況,提出新的損失函數(shù)。
(4) 初步構建了甲狀腺乳頭狀癌細胞核分割數(shù)據(jù)庫,在自建數(shù)據(jù)庫和公共數(shù)據(jù)庫上的實驗證明了所提方法的有效性。
圖1 基于邊界加權的細胞核分割算法流程圖
眾所周知,在基于編碼器-解碼器結(jié)構的分割網(wǎng)絡中,編碼器主要是將輸入圖像映射成高維空間中的特征,解碼器對該高維特征進行解碼,每個像素位置的解碼結(jié)果有兩種:前景或背景,前景即為目標。分割網(wǎng)絡的編碼和解碼能力是通過損失函數(shù)回傳梯度來訓練的,而網(wǎng)絡本身的結(jié)構也是決定訓練效果的關鍵。
為了避免在訓練過程中,算法過分關注邊界而忽視細胞核主體,從而導致一些染色較淺的細胞核分割失敗,文中以U-Net為基礎網(wǎng)絡設計了前景增強分割網(wǎng)絡,網(wǎng)絡結(jié)構如圖2所示。CB為拼接塊(Concatenate Block,CB)。編碼階段和U-Net分割網(wǎng)絡相同,使用5層上采樣拼接塊(Down-sample and Concatenate Block,DCB)編碼層。每個編碼層有兩個卷積層,每個卷積層后有一個批歸一化層(Batch Normalization,BN)和一個ReLU激活函數(shù)。編碼層之間用池化層連接,以降低輸入特征的空間尺寸,增大深層卷積的感受野。
在解碼階段,每個解碼層是常規(guī)的上采樣卷積塊,即圖2中的UCB(Upsample and Concatenate Block)。由編碼器得到的特征圖在經(jīng)過一系列上采樣卷積塊的解碼后,能夠區(qū)分圖像中的細胞核和背景。但當細胞核和背景顏色相近時,細胞核很難從背景中有效分割。
圖2 前景增強分割網(wǎng)絡結(jié)構圖
為了增大細胞核與背景之間的特征距離,使網(wǎng)絡能夠分割出染色較淺的細胞核,設計了前景增強模塊(Foreground Enhancement Module,FEM)。如圖2所示,它由余弦相似度計算塊(Cosine Similarity Block,CSB)和上采樣卷積塊組成。相似度計算模塊的結(jié)構如圖3所示。
圖3 余弦相似度計算模塊結(jié)構圖
相似度計算模塊輸入尺寸為W×H×C的特征圖F,W、H和C分別是特征圖的寬、高和通道數(shù)。特征圖F經(jīng)過全局平均池化后得到與F通道數(shù)相同的一維全局特征向量v1×1×C,通過計算特征向量v和特征圖F之間的相似性,可以得到特征圖中對應的像素位置與全局特征向量之間的相似性。在訓練過程中不斷優(yōu)化迭代該相似性,可將全局特征向量v更靠近細胞核特征向量而遠離背景向量,從而達到增強前景的目的。相似度圖S的尺寸為W×H。余弦相似度計算如式(1):
(1)
其中,Sv,F(i,j)∈[-1,1]表示v和F在位置(i,j)處的相似度,F(i,j)表示特征圖F在位置(i,j)處的特征向量。利用式(2)計算相似度圖S與特征圖F的最終特征圖F*:
(2)
其中,c∈{1,2,…,C}表示特征圖通道的索引。
為了使分割網(wǎng)絡更多地關注細胞核的邊界部分,加強網(wǎng)絡在細胞核邊界附近的分割能力,設計了邊界加權模塊,用于在訓練過程中感知預測邊界與真實邊界的距離,從而更好地優(yōu)化分割網(wǎng)絡。邊界加權模塊結(jié)構如圖1所示。
使用邊緣提取算法得到分割邊界圖Pb,筆者希望通過邊界加權后,離邊界近的位置賦予較高權重,離邊界遠的位置賦予較低權重,即邊界以外位置元素的像素值是單調(diào)遞減的。 基于這個思想,設計了邊界加權模塊中的邊界加權核KBW,如圖4(a)所示。 邊界加權模塊的加權核KBW尺寸為n×n,使用圖4(a)所示加權核對邊界圖Pb進行卷積后,邊界圖中的所有像素都會分配一個權重,距離邊界越遠,權重越低,距離大于(n-1)/2的像素其權重為0。 Tanh激活函數(shù)的作用是將所有權重的值映射到0到1之間,便于后續(xù)損失函數(shù)的計算。 最終得到輸入圖像的邊界權重圖。
邊界加權模塊的工作方式可以用式(3)表示:
FBW(P)=tanh(KBW*P) ,
(3)
其中,P表示邊界加權模塊的輸入,*表示卷積操作,KBW表示加權核。
(a) 加權核KBW
(b) tanh函數(shù)圖
(c) 加權操作示意圖
在細胞核分割任務中,需要判斷每個像素屬于細胞核的概率,因此可將其視為逐像素二分類任務。二元交叉熵(Binary Cross Entropy,BCE)損失函數(shù)是二分類中最常用的損失函數(shù)。該損失函數(shù)的定義如式(4)所示:
(4)
其中,gi表示訓練樣本標簽g的第i個像素的值,若為正樣本,則gi取值為1,若為負樣本,則取值為0;p表示樣本預測為正的概率,pi表示p的第i個像素的值;N表示g中的像素數(shù)。
針對細胞核的主體部分和邊界部分,在二元交叉熵損失函數(shù)的基礎上,構建了兩個損失函數(shù)項,一個是預測結(jié)果與真值圖之間的損失L1,通過添加權重因子的方式使訓練傾向于難分割的部分;另一個是預測結(jié)果的邊界圖與真值圖的邊界圖之間的損失L2。 兩個損失的計算如式(5)和式(6)所示:
(5)
L2=LBCE(FBW(P),FBW(G)) ,
(6)
其中,P代表預測結(jié)果,G代表手工標注的真值圖,FBW(·)代表邊界加權模塊。則總的損失函數(shù)可定義為
(7)
其中,α和β表示兩個損失函數(shù)的融合系數(shù)。通過設定不同的α和β,可以調(diào)節(jié)目標的主體信息和邊界信息在監(jiān)督訓練中的比重。
在甲狀腺癌病理圖像分類數(shù)據(jù)庫VIP-TCHis[24]的基礎上,構建了細胞核分割數(shù)據(jù)庫VIP-TCHis-Seg。構建數(shù)據(jù)庫所用的病理圖像均來自西安西京醫(yī)院病理科,共收集了55例甲狀腺乳頭狀癌患者的病理圖像。每個病理圖像有數(shù)百萬像素,病理醫(yī)師在顯微鏡下首先標記出癌變區(qū)域,然后在20倍放大下對影像進行剪切,裁切后的圖像大小為512×512,數(shù)據(jù)庫統(tǒng)計結(jié)果如表1所示,共包含224幅經(jīng)過剪切后得到的病理圖像,用Labelme軟件[25]人工標記17 013個細胞核。其中,含正常細胞的病理圖像116幅,8 093個細胞核;含甲狀腺乳頭狀癌細胞的病理圖像108幅,8 920個細胞核。
表1 VIP-TCHis-Seg數(shù)據(jù)庫統(tǒng)計
在VIP-TCHis-Seg數(shù)據(jù)庫上構建了6組實驗來證明所提方法的有效性,用目前細胞核分割領域常用的相似系數(shù)(Dice)和像素準確率(PA)來評估文中的方法。實驗在64位Ubuntu 20.04操作系統(tǒng)上使用PyTorch(版本1.1.0)深度學習框架進行。所使用的計算機硬件配置為:Intel(R) Core(TM)i7 CPU @ 3.5 GHz,128 GB內(nèi)存和一塊顯存為12 GB的NVIDIA TITAN X GPU。所有實驗都在同樣的配置下進行并使用相同的訓練參數(shù)。
圖5 VIP-TCHis-Seg數(shù)據(jù)庫樣例
3.2.1 加權核尺寸k對分割結(jié)果的影響
在邊界加權模塊中,使用不同尺寸的加權核將得到不同寬度的邊界圖。設加權核KWB的尺寸為k∈{1,3,5,…,},k取奇數(shù)可以保證使用加權核對邊界圖進行卷積后,邊界線兩側(cè)被加權的像素數(shù)量相同,即邊界像素兩側(cè)距離為d以內(nèi)的像素會被加權,d可以用k表示,即d=(k-1)/2。k越大,表示距離邊界線越遠,在訓練過程中就能捕獲更多的邊界分割錯誤的情況,并以此引導網(wǎng)絡優(yōu)化的方向。但同時k越大,運算復雜度也越大。
表2 使用不同尺寸的加權核的實驗結(jié)果對比 %
為了驗證加權核尺寸k對分割結(jié)果的影響,對不同尺寸的邊界加權核下的模型進行訓練,分割結(jié)果如表2所示。
從表2中可以看出,隨著加權核尺寸的增大,相似系數(shù)Dice從78.49%上升至85.26%再下降到76.86%,像素準確率PA從89.11%上升至95.89%再下降至88.27%。兩個評價指標都是在k=5時得到最優(yōu)值。當k取值較小時,網(wǎng)絡不能有效判別邊界處的錯誤分割,因此兩個指標結(jié)果較低;然而當k取值持續(xù)增大,由于細胞核尺寸小、數(shù)量多,會出現(xiàn)同一像素被多次加權的情況,這使得邊界加權模塊不僅未能優(yōu)化網(wǎng)絡,還造成了負面效果,即分割精度降低。
圖6給出了不同尺寸加權核實驗對比結(jié)果。從圖中可以看出,當兩個細胞核邊界距離較小時,k的取值過大會導致邊界處分割失敗。因此,在后續(xù)實驗中,令k=5。
圖6 使用不同尺寸的加權核的實驗結(jié)果對比
3.2.2 損失函數(shù)中α和β的取值對分割結(jié)果的影響
表3 不同融合系數(shù)對比實驗
損失函數(shù)中α和β表示分割的主體部分和邊界部分在訓練中的作用。設置不同α和不同β以驗證其對分割結(jié)果的影響。其中,α∈[0,1],β∈[0,1],且α+β=1。實驗結(jié)果如表3所示。
從表3可以看出,當α=1,β=0時,即損失函數(shù)中只有L1起作用,相似系數(shù)Dice和像素準確率PA分別為82.19%和92.07%。 隨著α減小、β增大,即損失函數(shù)中L2的作用不斷增大,即網(wǎng)絡更加關注邊界處的分割,相似系數(shù)和像素準確率也不斷提升。 當損失函數(shù)中α和β分別取0.6和0.4時,網(wǎng)絡分割效果最好,相似系數(shù)和像素準確率均達到最高值,分別為85.26%和95.89%。 隨著α繼續(xù)減小和β繼續(xù)增大,相似系數(shù)和像素準確率開始下降。 當α=0,β=1.0時,即損失函數(shù)中只有L2起作用,相似系數(shù)和像素準確率達到最低,分別為69.52%和82.83%。 這說明分割的主體部分在訓練中起較大作用,邊界部分同樣影響著訓練的效果。因此,在后續(xù)實驗中,損失函數(shù)L1和L2的融合系數(shù)取α=0.6,β=0.4。
圖7給出不同融合系數(shù)實驗對比結(jié)果。 當α較大β較小時,網(wǎng)絡較多關注細胞核主體部分,雖然能分割出大部分區(qū)域,但由于甲狀腺癌細胞核會出現(xiàn)溝壑現(xiàn)象,即細胞核內(nèi)會有淺色區(qū)域而非一個完整的顏色一致的細胞,對于細胞核內(nèi)染色與背景相似的細胞核分割時會出現(xiàn)空洞現(xiàn)象。 而當α較小β較大時,網(wǎng)絡的關注點集中于邊界部分,從而導致將細胞核內(nèi)部的溝壑也容易作為邊界被分割出來,并出現(xiàn)大面積空洞。 因此,在后續(xù)實驗中,損失函數(shù)中L1和L2的融合系數(shù)取α=0.6,β=0.4。
圖7 使用不同融合系數(shù)的實驗結(jié)果對比
為了驗證提出的邊界加權模塊的有效性與前景增強模塊是否能夠提高網(wǎng)絡對細胞核的分割能力,對是否添加邊界加權模塊和前景增強模塊的分割效果進行了對比,實驗結(jié)果如表4所示。
表4 使用邊界加權模塊和前景增強模塊與否的實驗結(jié)果對比 %
由表4可知,添加了邊界加權模塊后,相似系數(shù)Dice提高了約1.55%,像素準確率PA提高了約0.70%,說明了邊界加權模塊的有效性。添加了前景增強模塊后,相似系數(shù)Dice提高了約5.01%,像素準確率PA提高了約5.28%。由此可知,所提出的前景增強模塊能夠提高網(wǎng)絡對細胞核的分割能力。
圖8展示了未使用邊界加權模塊和使用邊界加權模塊的分割效果對比。
圖8 邊界加權模塊對分割效果的影響
由圖8(c)可以看出,未使用邊界加權模塊時,細胞核邊界處的分割結(jié)果不清晰,而圖8(d)展示了文中方法可以分割出清晰的邊緣,驗證了邊界加權模塊的有效性。
圖9為是否添加前景增強模塊的主觀對比實驗結(jié)果。可以看出,第1行的圖像中,細胞核飽滿,邊緣清晰,染色較深,與背景對比明顯,無論是否添加前景增強模塊,都能夠得到較好的分割結(jié)果。而對于染色較淺,或細胞核內(nèi)部有區(qū)域顏色與背景顏色相同的細胞核,未添加前景增強模塊的算法存在分割失敗的情況,而添加了前景增強模塊的算法能夠正確地分割這些較難分割的細胞核。從客觀評價指標和主觀觀測結(jié)果上都驗證了前景增強模塊的有效性。
圖9 前景增強模塊對分割效果的影響
針對細胞核的主體部分和邊界部分,在二元交叉熵損失函數(shù)的基礎上構建了一種新的損失函數(shù)用于細胞核的精確分割。分別使用文中所提出的損失函數(shù)和二元交叉熵損失函數(shù)作為網(wǎng)絡總體損失函數(shù)進行訓練。實驗結(jié)果如表5所示。
表5 不同損失函數(shù)消融實驗 %
由表5可以看出,在使用文中所提出的損失函數(shù)進行訓練后,網(wǎng)絡分割效果最好,相似系數(shù)Dice和像素準確率PA均為最佳,分別為85.26%和95.89%。相較于使用二元交叉熵損失函數(shù)進行訓練,使用文中提出的損失函數(shù)在相似系數(shù)和像素準確率上分別提高了約2.98%和1.99%。實驗結(jié)果驗證了所提損失函數(shù)的有效性。
為了驗證所提出方法的有效性,將文中方法與6種分割模型進行對比實驗。其中,U-Net[3]是生物醫(yī)學圖像分割中最經(jīng)典的全卷積架構,也是文中方法的基礎模型。U-Net 3+[5]在U-Net的基礎上引入了全尺度跳躍連接和深度監(jiān)督。CGNet[17]設計了上下文信息引導模塊,可以同時學習局部特征和全局特征。DCAN[18]是首先使用邊界信息來輔助細胞核分割的網(wǎng)絡。RIC-Unet[19]和BESNet[20]都使用兩個解碼路徑(邊界解碼路徑和主譯碼路徑)來增強邊界學習。CIA-Net[21]在兩個特定任務(語義分割和邊界檢測)的解碼器之間采用多級信息聚合模塊。UTNet[15]首次將Transformer[16]模塊融入到U-Net中以提升傳統(tǒng)U-Net網(wǎng)絡的分割效果。DCAN,RIC-Unet,BESNet和CIA-Net都使用了目標邊界信息來幫助訓練分割網(wǎng)絡。實驗結(jié)果如表6所示,所有算法的訓練環(huán)境和迭代次數(shù)、批處理大小、學習率等訓練參數(shù)設置相同,迭代次數(shù)為300輪、批處理大小為2、學習率為0.000 1。
從表6可以看出,所提出的方法在VIP-TCHis-Seg數(shù)據(jù)庫上無論是相似系數(shù)Dice還是像素準確率PA,相較于對比算法都取得了最好的結(jié)果。其中,相似系數(shù)Dice比排名第二位的UTNet算法提高約1.62%;像素準確率比排名第二位的U-Net 3+算法提高了約1.98%。
表6 不同方法在自建細胞核數(shù)據(jù)庫上的對比實驗 %
各算法在VIP-TCHis-Seg數(shù)據(jù)庫上的主觀對比結(jié)果如圖10所示??梢钥闯?對于第1行和第2行細胞核比較清晰的圖像,所有算法均能夠較為準確地分割出細胞核,在邊緣等細節(jié)處也處理得較好。對于第三行背景不夠清晰明確以及細胞核有重疊等較為復雜的圖像,U-Net、DCAN和RIC-Unet算法在細胞核部位都出現(xiàn)了較多空洞,如圖10(c)、10(d)和10(e)所示;BESNet、CIA-Net和UTNet算法雖然對于細胞核主體部分分割較好,沒有出現(xiàn)空洞現(xiàn)象,但是可以看出,3種算法對于邊界處的分割不是很成功,如圖10(f)、10(g)和10(h)所示。而文中的方法能夠分割出所有的細胞核,且分割結(jié)果中不存在空洞現(xiàn)象,明顯優(yōu)于其它算法。但是也會錯誤地將一些染色較深的背景區(qū)域劃歸為細胞核。分割失敗案例如圖10第4行所示,圖中細胞核染色較淺,邊界不清晰,當內(nèi)部染色與背景相同時,需要通過肉眼仔細觀察才能分辨出細胞核,這樣的細胞核很難成功分割。
圖10 自建數(shù)據(jù)庫上不同算法的分割效果對比
在MoNuSeg細胞核分割數(shù)據(jù)集[26]上驗證文中方法的有效性,該數(shù)據(jù)集來自于MICCAI 2018多器官細胞核分割挑戰(zhàn)賽(Multi-organ nuclei segmentation challenge),包括從18個研究所收集的7個不同器官(乳房、肝臟、腎臟、前列腺、膀胱、結(jié)腸和胃)采集的H&E染色組織圖像。數(shù)據(jù)集包括一個訓練集和一個測試集。訓練集包含30張圖像,測試集包含14張圖像,圖像尺寸均為1 000×1 000像素。在該數(shù)據(jù)庫上的實驗結(jié)果如表7所示,所有算法的訓練環(huán)境和迭代次數(shù)、批處理大小、學習率等訓練參數(shù)設置相同。
表7 不同方法在MoNuSeg細胞核分割數(shù)據(jù)集上的對比實驗 %
從表7可以看出,所提方法在MoNuSeg數(shù)據(jù)庫取得了最優(yōu)的結(jié)果。其中,相似系數(shù)Dice比排名第二位的CIA-Net算法提高了約0.42%;像素準確率PA比排名第二位的CIA-Net算法提高了約0.53%。
各算法在MoNuSeg細胞核分割數(shù)據(jù)集上的主觀對比結(jié)果如圖11所示。在第1行和第2行的分割結(jié)果中,其它算法均有將背景區(qū)域識別為細胞核的情況,而文中算法并沒有發(fā)生這種錯誤。在第3行中,原圖背景染色較深且細胞核距離較近,其它算法的分割結(jié)果中均有不同程度的粘連,而文中算法不僅正確分割所有細胞核且邊緣清晰,不存在粘連情況。第4行給出在這個數(shù)據(jù)庫上分割失敗的案例,圖像中存在與背景難以區(qū)分的細胞核,即使人眼觀察仍較難區(qū)分。
圖11 MoNuSeg細胞核分割數(shù)據(jù)集上不同算法的分割效果對比
針對甲狀腺癌病理圖像細胞核分割任務中細胞核邊界及其附近位置難以分割的問題提出一種基于邊界加權的細胞核分割方法。首先設計了一個邊界加權模塊,該模塊能夠使網(wǎng)絡在訓練時關注細胞核邊界特征,另一方面提出了前景增強分割模塊,避免網(wǎng)絡過分關注邊界而忽視細胞核主體部分,導致一些染色較淺的細胞核分割失敗。在已有甲狀腺病理分類數(shù)據(jù)庫的基礎上,構建了甲狀腺細胞核分割數(shù)據(jù)庫VIP-TCHis-Seg。文中方法與其它的分割算法在自建數(shù)據(jù)庫VIP-TCHis-Seg和MoNuSeg數(shù)據(jù)庫上均取得了最好的結(jié)果,證明了算法的有效性。
在實際應用中,細胞核標注需要極大的成本,同時還有漏標與樣本不平衡的情況,因此使用弱標注數(shù)據(jù)進行弱監(jiān)督訓練是未來的工作方向。