李智能 劉任任 梁光明

(湘潭大學(xué)信息工程學(xué)院 湖南 湘潭 411105)(國防科技大學(xué)計算機學(xué)院 湖南 長沙 410000)

0 引 言

當(dāng)今社會中，大部分的疾病的檢測依賴于醫(yī)學(xué)影像的分析，然而最終病癥結(jié)果的得出還是依賴于病理醫(yī)生的主觀經(jīng)驗判斷，這一過程容易誤診且耗時。因此通過利用計算機視覺領(lǐng)域的相關(guān)技術(shù)對醫(yī)學(xué)圖像進行分析，再借助病理醫(yī)生的判斷和分析將會得到更好的結(jié)果。醫(yī)學(xué)細胞圖像的語義分割存在以下難點：圖像中目標的大小方向等因素；不同類別的層次模糊度；圖像的明亮程度、模糊程度影響；細胞的粘連問題等。綜合目前國內(nèi)外醫(yī)學(xué)圖像的分割方法，主要有以下幾種：(1) 基于閾值的分割方法，如針對傳統(tǒng)的灰度分割算法不能完整地分割細胞的問題，提出了一種自適應(yīng)閾值調(diào)整粘連細胞分割方法[1];(2) 基于邊緣的分割方法，如在組織工程培養(yǎng)細胞圖像檢測中，需要得到較完整的清晰輪廓線及獲取生長信息，提出了一種基于Snake算法自動邊緣檢測算法[2]；(3) 基于區(qū)域的分割方法，如在貼壁細胞圖像分割中，需要得到完整的細胞邊緣，提出了一種基于Cabor濾波與區(qū)域生長的分割算法[3];(4) 基于聚類的分割方法，如在髓細胞涂片中的各類細胞，提出了一種基于小波分析的聚類算法[4]。

近年來，卷積神經(jīng)網(wǎng)絡(luò)快速發(fā)展，它可以通過卷積操作從大量的樣本圖像數(shù)據(jù)中提取到圖像特征，避免了人工提取特征的局限性，并且可以實現(xiàn)從人工、半自動分割方法向自動化分割方法過渡。如針對細胞圖像尺寸大小、形態(tài)各異，導(dǎo)致從圖像中分割出精確的細胞十分困難的問題，提出了一種以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的結(jié)合染色校正方法和簡單線性迭代的超像素聚類算法[5];為了提高腎透明細胞癌細胞核分割的質(zhì)量，提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的細胞核分割方法[6]。本文針對宮頸TCT顯微細胞圖像的核質(zhì)分割提出了一種多尺度多層次輸入，通過卷積和反卷積的全卷積網(wǎng)絡(luò)進行特征提取并完成語義分割的網(wǎng)絡(luò)模型。

1 算法設(shè)計

1.1 網(wǎng)絡(luò)模型結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)中，為了讓網(wǎng)絡(luò)的輸出為原始圖像大小的分割后的圖像，把網(wǎng)絡(luò)最后的全連接層改變?yōu)榫矸e層，再通過上采樣得到與原始圖像大小相同的分割圖，這種網(wǎng)絡(luò)一般被稱為全卷積網(wǎng)絡(luò)[7]。本文針對目前在醫(yī)學(xué)圖像領(lǐng)域運用最廣泛的語義分割網(wǎng)絡(luò)Unet進行改進，改進后的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。

圖1 本文的網(wǎng)絡(luò)結(jié)構(gòu)圖

Block1-Block7的具體結(jié)構(gòu)如圖2所示。

圖2 Block1-Block7具體結(jié)構(gòu)

Block8-Block9的具體結(jié)構(gòu)如圖3所示。

圖3 Block8-Block9具體結(jié)構(gòu)

Block10-Block16的具體結(jié)構(gòu)如圖4所示。

圖4 Block10-Block16具體結(jié)構(gòu)

Conv1的具體結(jié)構(gòu)如圖5所示。

圖5 Conv1具體結(jié)構(gòu)

首先，將原始輸入圖像(512×512)送入卷積神經(jīng)網(wǎng)絡(luò)中，經(jīng)過Block1下采樣過程，再將不同尺度的原始輸入圖像(360×360)送入網(wǎng)絡(luò)中，經(jīng)過Block2之后，將不同尺度的原始輸入圖像(252×252)送入網(wǎng)絡(luò)中，經(jīng)過Block3之后，將不同尺度的原始輸入圖像(176×176)送入網(wǎng)絡(luò)中，經(jīng)過Block4之后，將不同尺度的原始輸入圖像(122×122)送入網(wǎng)絡(luò)中，其中Block1-Block7的內(nèi)部結(jié)構(gòu)一致，為兩個連續(xù)的卷積核為3×3的卷積層，而后再進行多尺度的feature map的提取。多尺度的feature map的提取通過對輸入feature map分別進行卷積核為1×1的卷積操作，進行卷積核為1×1的卷積操作再進行卷積核為3×3的卷積操作，進行Fractional Max-Pooling池化操作再進行卷積核為3×3的卷積操作，將上述三個多尺度的feature map的提取結(jié)果串接(concat)起來，再進行Fractional Max-Pooling池化操作。接著進入Block2-Block7的操作，具體細節(jié)等同Block1。然后將feature map進行Block8-Block9操作，Block8-Block9的內(nèi)部結(jié)構(gòu)一致，為一個卷積核為3×1的卷積操作，再進行一個卷積一致核為1×3的卷積操作。接著進入Block10-Block13的上采樣操作，Block7-Block13的內(nèi)部結(jié)構(gòu)一致，為一個上采樣操作，再接兩個卷積核為3×3的卷積操作。另外，圖1中虛線箭頭連接(Block1—Block16，Block2—Block15等)為將下采樣的feature map裁剪成對應(yīng)上采樣的feature map大小并進行串接(concat)。最后進行Conv1的操作，具體為先進行卷積核個數(shù)為2的1×1的卷積操作，再進行卷積核個數(shù)為1的1×1的卷積操作得出輸出分割圖像。每一個卷積層后都使用Relu激活函數(shù)，最后一層卷積層后使用tanh激活函數(shù)。

1.2 網(wǎng)絡(luò)分析

對于醫(yī)學(xué)圖像分割，圖像的底層信息有助于提高精度，高層信息可以提取復(fù)雜的特征。結(jié)合上述的網(wǎng)絡(luò)模型，Block1-Block7可提取圖像的底層特征信息，Block8-Block9可提取圖像的高層特征信息。通過多尺度的原始圖像的輸入，可以更多保留原始圖像的信息，使得分割效果更好。通過多尺度feature map的串接，可以更好地提取圖像的特征，并且減少了計算量，提高了網(wǎng)絡(luò)模型的訓(xùn)練速度。在網(wǎng)絡(luò)模型中，Pooling操作會導(dǎo)致信息的丟失，而且是不可逆，對于分類任務(wù)中，只需要預(yù)測每一類的概率，所以不需要考慮Pooling會導(dǎo)致圖像細節(jié)信息的問題，但是對于語義分割任務(wù)中，是要做到像素級的分類，所以有必要考慮Pooling操作帶來的問題。故本文使用FMP(Fractional Max-Pooling)，來減小Pooling帶來的圖像信息丟失的問題。

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)可以達到降低網(wǎng)絡(luò)參數(shù)的功能，但直接反卷積重建的效果不好。為了保證重建之后的圖像效果，本文在下采樣和上采樣過程中將下采樣尺寸相同的feature map串接到上采樣的feature map，充分地利用下采樣過程中結(jié)構(gòu)信息，達到更好的語義分割效果。

本文網(wǎng)絡(luò)模型參數(shù)表如表1所示。

表1 網(wǎng)絡(luò)參數(shù)表

1.3 定量評估指標

針對細胞核質(zhì)分割的結(jié)果，本文使用均交并化(Mean Intersection over Union,MIoU)定量評估指標。假設(shè)圖像數(shù)據(jù)集中有n_class個語義類別，Pii表示像素i預(yù)測為像素i的總數(shù)，Oi表示原始類別i的像素總數(shù)，Pi表示預(yù)測類別i的總數(shù)。對于單個類別的IoU，有:

(1)

那么對于整幅圖的目標的平均IoU，有:

(2)

2 實 驗

2.1 CCTCT數(shù)據(jù)集制作

本文制作了基于長沙市第二人民醫(yī)院的基于新柏氏液基細胞學(xué)檢測(Thinprep cytologic test,TCT)制片技術(shù)的宮頸TCT細胞涂片的CCTCT數(shù)據(jù)集。通過CCD采集的細胞圖像，采集的圖片大小為(512×512)，在資深病理醫(yī)生的指導(dǎo)下，使用labelme標記軟件對圖像進行標注，共有2 000幅圖像，標記后的圖像包含原始圖像和標簽圖像，將圖像語義分為三類：細胞質(zhì)、細胞核、背景，對應(yīng)的標簽分別為1、2、0。為了避免因為數(shù)據(jù)集過小造成過擬合問題，本文使用了人工增加訓(xùn)練樣本的方法，將原始數(shù)據(jù)擴大了9倍。

本文主要是通過隨機旋轉(zhuǎn)圖像一定角度、左右平移、上下平移和隨機放大或縮小的變換方法同時對原始圖像和標簽圖像進行操作，保證變換后的圖像和標簽可以一一對應(yīng)。變換效果如圖6所示。

圖6 樣本擴充效果圖

最終的訓(xùn)練數(shù)據(jù)集大小為20 000幅。按照訓(xùn)練集75%驗證集20%測試集5%的比例進行數(shù)據(jù)劃分，數(shù)據(jù)集分布如表2所示。

表2 數(shù)據(jù)集分布

2.2 實驗設(shè)計與結(jié)果分析

為了驗證算法的有效性，本文在Ubuntu18系統(tǒng)下進行實驗并采用Python編程語言和Pytorch深度學(xué)習(xí)框架。本文分割效果如圖7所示。

圖7 本文分割效果

為了體現(xiàn)本文方法的優(yōu)越性，實驗中與Unet網(wǎng)絡(luò)模型進行對比實驗，經(jīng)過50次迭代之后的結(jié)果如圖8所示。

兩種算法迭代第50次的MIoU值如表3所示。

表3 兩種算法迭代第50次MIoU值對比

可以看出，本文方法達到了94.7%的準確率，說明本文的方法在宮頸細胞核質(zhì)分割上具有優(yōu)越的性能。

3 結(jié) 語

本文提出的基于卷積神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)宮頸細胞圖像的語義分割算法，為精確識別宮頸細胞病變判別奠定了基礎(chǔ)。同時，建立了宮頸細胞TCT涂片細胞圖像CCTCT數(shù)據(jù)集。通過利用原始多尺度融合和多尺度feature map融合的方法，使用Fractional Max-Pooling池化操作的全卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了對宮頸細胞核質(zhì)的精確分割。實驗表明，本文算法達到了94.7%的精確度，對于宮頸癌的篩選診斷具有重大的輔助意義。