周 超 徐 軍* 羅 波

1(南京信息工程大學(xué)江蘇省大數(shù)據(jù)分析技術(shù)重點(diǎn)實(shí)驗(yàn)室，南京 210044)2(華中科技大學(xué)附屬武漢市中心醫(yī)院病理科，武漢 430014)

基于深度卷積網(wǎng)絡(luò)和結(jié)合策略的乳腺組織病理圖像細(xì)胞核異型性自動(dòng)評(píng)分

周 超1徐 軍1*羅 波2

1(南京信息工程大學(xué)江蘇省大數(shù)據(jù)分析技術(shù)重點(diǎn)實(shí)驗(yàn)室，南京 210044)2(華中科技大學(xué)附屬武漢市中心醫(yī)院病理科，武漢 430014)

細(xì)胞核異型性是評(píng)估乳腺癌惡性程度的一個(gè)重要指標(biāo)，主要體現(xiàn)在細(xì)胞核的形狀、大小變化、紋理和質(zhì)密度不均化。提出基于深度學(xué)習(xí)和結(jié)合策略模型的乳腺組織細(xì)胞核異型性自動(dòng)評(píng)分模型。該模型使用3個(gè)卷積神經(jīng)網(wǎng)絡(luò)，分別處理每個(gè)病例的3種不同分辨率下的組織病理圖像，每個(gè)網(wǎng)絡(luò)結(jié)合滑動(dòng)窗口和絕對(duì)多數(shù)投票法，評(píng)估每個(gè)病例同一種分辨率下的圖像的分值，得到3種分辨率下的評(píng)分結(jié)果。使用相對(duì)多數(shù)投票法，綜合評(píng)估每個(gè)病例的最終細(xì)胞核異型性評(píng)分結(jié)果。為評(píng)估模型對(duì)細(xì)胞核異型性評(píng)分的有效性，利用訓(xùn)練好的模型對(duì)124個(gè)病例的測(cè)試圖像進(jìn)行自動(dòng)評(píng)分，并把其評(píng)分結(jié)果與病理醫(yī)生的評(píng)分結(jié)果作比較，進(jìn)行性能評(píng)估。該模型的評(píng)分正確率得分為67分，其結(jié)果在現(xiàn)有的細(xì)胞核異型性評(píng)分模型中準(zhǔn)確率排名第二。此外，該模型的計(jì)算效率也很高，平均在每張×10、×20、×40分辨率下圖像的計(jì)算時(shí)間分別約為1.2、5.5、30 s。研究表明，該細(xì)胞核異型性評(píng)分模型不僅具有較高的準(zhǔn)確性，而且計(jì)算效率高，因此具備潛在的臨床應(yīng)用能力。

細(xì)胞核異型性；深度卷積網(wǎng)絡(luò)；絕對(duì)多數(shù)投票法；相對(duì)多數(shù)投票法

引言

美國(guó)癌癥協(xié)會(huì)(ACS)2016年發(fā)布的數(shù)據(jù)顯示，乳腺癌、肺癌和結(jié)直腸癌依次居全球女性惡性腫瘤發(fā)病率前三位，占所有新發(fā)病例的一半，乳腺癌獨(dú)占29%[1]。目前，我國(guó)乳腺癌發(fā)病率位居女性惡性腫瘤之首，但相比肺癌、胃癌和肝癌，其預(yù)后效果最好[2]。乳腺癌早診斷、早治療，其5年無(wú)病生存率可達(dá)90%以上。組織病理學(xué)分析作為乳腺癌診斷的“金標(biāo)準(zhǔn)”，可評(píng)估乳腺癌的惡性程度，從而指導(dǎo)臨床醫(yī)生制訂治療方案[3]。

蘇木素- 伊紅染色(H&E)是臨床組織病理分析中應(yīng)用最為廣泛的一種染色方式，H&E圖像可用于組織學(xué)分級(jí)，評(píng)估乳腺癌的分化程度，進(jìn)而評(píng)估其惡性程度[4]。病理醫(yī)生通常是通過(guò)研究和統(tǒng)計(jì)視角下細(xì)胞的形態(tài)和分布，進(jìn)行人工評(píng)分。由于組織病理圖像具有高度復(fù)雜性，因此人工分析具有較大的難度。文獻(xiàn)[5]中的研究表明，由于人工分析方法具有很強(qiáng)的主觀性，不同的病理醫(yī)生在相同的客觀條件下在人工評(píng)分上具有較大的不一致性。人工分析除了容易受主觀和環(huán)境因素的影響之外，其過(guò)程也是十分耗時(shí)費(fèi)力的，人力代價(jià)很高，而計(jì)算機(jī)輔助診斷技術(shù)可以彌補(bǔ)人工分析的缺陷。圖1(a)～(c)分別為乳腺組織病理圖像中低、中、高3種等級(jí)的細(xì)胞異型性組織病理圖像。這三幅圖像內(nèi)容無(wú)序，目標(biāo)眾多，背景復(fù)雜，因此對(duì)于圖像處理算法來(lái)說(shuō)具有較大的難度，如果運(yùn)用傳統(tǒng)的計(jì)算機(jī)分析算法很難自動(dòng)地區(qū)分3種類型的圖像。

圖1 具有不同細(xì)胞核異型性等級(jí)的乳腺組織病理圖像。(a)～(c) 細(xì)胞核異型性等級(jí)為1～3的組織病理圖像塊Fig.1 Pathological nuclear atypia images of different scores. (a)～ (c) Nuclear atypia score values 1～ 3

根據(jù)國(guó)際衛(wèi)生組織發(fā)布的診治指南，乳腺癌惡性程度的診斷采用最廣泛的是諾丁漢分級(jí)系統(tǒng)(NGS)[6]。這套系統(tǒng)主要是依據(jù)乳腺組織病理圖像的3個(gè)指標(biāo)：乳腺導(dǎo)管(腺管)的形成程度、有絲分裂數(shù)、細(xì)胞核異型性。腺管的形成程度是評(píng)估腫瘤形成腺管結(jié)構(gòu)的百分比，所占比例越大，乳腺癌等級(jí)越低；有絲分裂相記數(shù)評(píng)估在顯微鏡400倍放大倍數(shù)下核分裂像計(jì)數(shù)，數(shù)量越多，乳腺癌等級(jí)越高；細(xì)胞核異型性評(píng)估腫瘤細(xì)胞核與正常乳腺上皮細(xì)胞核的差異性，差異越大，乳腺癌等級(jí)越高。每一項(xiàng)指標(biāo)惡性程度由低到高的分值范圍是1～3 分，因此每個(gè)患者3個(gè)指標(biāo)綜合起來(lái)的分值范圍是3～9。 患者的評(píng)分分值越接近1，表明癌癥的惡性程度越低，因此患者的治療和預(yù)后的效果越好；相反，惡性程度越高，治療和預(yù)后的效果也越差。因此，精確地確定NGS系統(tǒng)的3個(gè)指標(biāo)分值，在臨床中至關(guān)重要。近些年來(lái)，隨著組織切片數(shù)字掃描技術(shù)的快速發(fā)展[7]，以及計(jì)算機(jī)處理高分辨率組織病理圖像的能力的增強(qiáng)[8]，計(jì)算機(jī)輔助分析組織病理片切片領(lǐng)域的研究非?；钴S。針對(duì)乳腺癌諾丁漢分級(jí)系統(tǒng)3個(gè)指標(biāo)的計(jì)算機(jī)輔助自動(dòng)評(píng)分，2012和2014年的國(guó)際模式識(shí)別大會(huì)(International Conference on Pattern Recognition，ICPR)[9]，以及2013 年的國(guó)際醫(yī)學(xué)圖像處理與計(jì)算機(jī)輔助干預(yù)(the International Conference on Medical Image Computing and Computer Assisted Intervention，MICCAI)國(guó)際大會(huì)[10]發(fā)布了針對(duì)第二個(gè)指標(biāo)(有絲分裂次數(shù))的競(jìng)賽[11]。在MICCAI 2013 的競(jìng)賽中，基于深度卷積網(wǎng)絡(luò)的方法[12]獲得了競(jìng)賽的第一名。2014年，ICPR大會(huì)繼續(xù)發(fā)布了以組織病理圖像自動(dòng)分類為基礎(chǔ)的細(xì)胞核異型性(諾丁漢分級(jí)系統(tǒng)的第三個(gè)指標(biāo))自動(dòng)評(píng)分的競(jìng)賽，內(nèi)容為乳腺組織病理圖像中細(xì)胞核異型性的定量評(píng)估。細(xì)胞核異型性作為乳腺癌分級(jí)的三大指標(biāo)之一，一直就受到研究人員的高度重視。文獻(xiàn)[13]詳細(xì)地描述了細(xì)胞核異型性的評(píng)定標(biāo)準(zhǔn)。細(xì)胞核異型性的評(píng)分標(biāo)準(zhǔn)為：

1)1分。如圖1(a)所示，細(xì)胞核較小，與正常細(xì)胞核相比，在尺寸上有略微增大，有正常的輪廓，細(xì)胞核染色質(zhì)分布均勻。

2)2分。如圖1(b)所示，與正常細(xì)胞核相比尺寸要大，可見(jiàn)泡狀核，核仁清晰，大小及形態(tài)較一致。

3)3分。如圖1(c) 所示，細(xì)胞核多形性程度增加，細(xì)胞核明顯增大，核仁清楚，且可見(jiàn)奇異細(xì)胞核。

近年來(lái)，由于計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)等領(lǐng)域研究的快速發(fā)展，推動(dòng)了組織病理圖像的分析領(lǐng)域研究的發(fā)展。許多高性能的計(jì)算機(jī)視覺(jué)算法被應(yīng)用于處理病理圖像，并取得了不錯(cuò)的效果。在文獻(xiàn)[14]中，Adnan等使用了區(qū)域協(xié)方差描述子來(lái)實(shí)現(xiàn)對(duì)細(xì)胞核異型性的圖像評(píng)分。近幾年，深度學(xué)習(xí)[15]在圖像的自動(dòng)分類和識(shí)別方面取得了巨大成功[16]，因此受到了學(xué)術(shù)界和工業(yè)界的高度關(guān)注。深度學(xué)習(xí)以數(shù)據(jù)驅(qū)動(dòng)為基礎(chǔ)，而且是端對(duì)端的學(xué)習(xí)模式，因此在圖像處理和分析方面獲得極大的成功。由于組織病理圖像具有高度的復(fù)雜性，因此與傳統(tǒng)的方法相比，基于深度學(xué)習(xí)的分析方法能夠體現(xiàn)出明顯的優(yōu)勢(shì)，能夠使高效地分析數(shù)字病理組織圖像向前邁進(jìn)一大步[17- 18]。文獻(xiàn)[17]采用了深度學(xué)習(xí)的方法，自動(dòng)、快速、準(zhǔn)確地檢測(cè)組織病理圖像中的細(xì)胞核。結(jié)果表明，與傳統(tǒng)的細(xì)胞核檢測(cè)方法相比，深度學(xué)習(xí)方法具有較高的魯棒性和準(zhǔn)確性。

本研究的主要目標(biāo)是：構(gòu)建一個(gè)基于深度卷積網(wǎng)絡(luò)和結(jié)合策略的模型，以實(shí)現(xiàn)組織病理圖像中細(xì)胞核異型性的自動(dòng)評(píng)分。為了實(shí)現(xiàn)這一目標(biāo)，使用深度卷積網(wǎng)絡(luò)結(jié)合滑動(dòng)窗口的方法，高效精確地分析病理圖像，同時(shí)毫不遺漏地掃描和評(píng)估尺寸較大的組織病理切片。運(yùn)用絕對(duì)多數(shù)投票法，評(píng)估每個(gè)分辨率下病理切片的分值，最后運(yùn)用相對(duì)多數(shù)投票法，綜合不同分辨率下的分值，對(duì)每個(gè)病例做最后的投票，以決定評(píng)分的分值。

接下來(lái)的內(nèi)容如下：詳細(xì)介紹本研究提出的乳腺組織病理圖像細(xì)胞核異型性自動(dòng)評(píng)分模型，分析該評(píng)分算法的實(shí)驗(yàn)設(shè)計(jì)及實(shí)驗(yàn)結(jié)果，最后對(duì)該項(xiàng)工作進(jìn)行討論和總結(jié)。

1 方法

1.1 乳腺癌細(xì)胞核異型性評(píng)分模型

本研究提出的乳腺癌細(xì)胞核異型性評(píng)分模型的整體框架和流程如圖2所示，主要的思路是：針對(duì)每個(gè)病例同一個(gè)視角、3種不同分辨率(10、20、40倍)下的組織病理圖像，分別輸入3個(gè)深度卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而得到3個(gè)在不同分辨率下的分類模型。然后，利用已經(jīng)訓(xùn)練好的深度卷積網(wǎng)絡(luò)，結(jié)合滑動(dòng)窗口的方法，分別處理每個(gè)分辨率下的乳腺病理切片原圖，得到一張圖像很多子集的得分。采用絕對(duì)多數(shù)投票法，處理同一分辨率下所有子集的得分，得出這個(gè)分辨率下圖像的得分；使用相對(duì)多數(shù)投票法，對(duì)每個(gè)病例3個(gè)分辨率下絕對(duì)多數(shù)投票法的結(jié)果進(jìn)行投票，得到每個(gè)病例的最終得分[19]。 該算法具體流程如圖2所示。

圖2 基于深度卷積網(wǎng)絡(luò)和結(jié)合策略的乳腺組織病理圖像細(xì)胞核異型性評(píng)分模型流程Fig.2 The flowchart of nuclear atypia grading based on deep convolutional networks and combination strategy on breast histopathology

1.1.1 深度卷積網(wǎng)絡(luò)

深度卷積網(wǎng)絡(luò)作為最初的人工神經(jīng)網(wǎng)絡(luò)模型前饋神經(jīng)網(wǎng)絡(luò)的一種，在近些年得到了長(zhǎng)足的發(fā)展，特別是在圖像處理和語(yǔ)音識(shí)別方面。作為可訓(xùn)練的多層網(wǎng)絡(luò)結(jié)構(gòu)，卷積階段包括卷積層、非線性變換層、下采樣層(即池化層)[20]。

卷積層通過(guò)卷積核來(lái)提取圖像的特征，如圖3中特征提取虛線框所示，這是基于局部感受野的概念。每個(gè)卷積核提取輸入特征圖上所有位置的特定特征，實(shí)現(xiàn)同一個(gè)輸入特征圖上的權(quán)值共享。為了提取輸入特征圖上不同的特征，就使用不同的卷積核進(jìn)行卷積操作。非線性變換層將卷積層提取的特征進(jìn)行非線性映射。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)采用的是飽和非線性函數(shù)來(lái)進(jìn)行非線性映射，包括sigmoid、tanh 或者softsign。 最近提出的卷積神經(jīng)網(wǎng)絡(luò)中，經(jīng)常使用非飽和非線性函數(shù)ReLU。在模型進(jìn)行反向傳播、梯度下降的時(shí)候，ReLU要比傳統(tǒng)的飽和非線性函數(shù)的收斂速度更快，這樣訓(xùn)練網(wǎng)絡(luò)時(shí)具有很高的效率。

池化層是對(duì)每個(gè)特征圖進(jìn)行獨(dú)立的操作，目前使用較多的是采用平均池化或者最大池化兩種操作。平均池化是在選定領(lǐng)域窗口內(nèi)計(jì)算像素的均值，而最大池化是計(jì)算選定區(qū)域窗口的最大值，一般窗口平移的步長(zhǎng)為1。特征圖通過(guò)池化操作之后，特征圖的分辨率降低，卻保留了有效的特征，同時(shí)池化也達(dá)到了降維的目的。特征提取完成之后，將最后一層的輸出特征圖后連接全連接層和分類器，如圖3 中預(yù)測(cè)分類虛線框所示。

深度卷積網(wǎng)絡(luò)使用原始的圖像像素直接作為網(wǎng)絡(luò)的輸入，與傳統(tǒng)的圖像識(shí)別算法不同，避免了復(fù)雜的人工特征的提取[21]；權(quán)值共享可以減少權(quán)值的數(shù)量，從而降低網(wǎng)絡(luò)的計(jì)算復(fù)雜度；局部感受野的使用，使得整個(gè)網(wǎng)絡(luò)所觀測(cè)到的特征具有平移和旋轉(zhuǎn)不變性。網(wǎng)絡(luò)的輸出直接對(duì)應(yīng)于類別，這樣的端對(duì)端的網(wǎng)絡(luò)模型極大提高了識(shí)別精度。

1.1.2 滑動(dòng)窗口

為了將模型運(yùn)用到細(xì)胞核異型性分類當(dāng)中，并且考慮到組織切片中組織結(jié)構(gòu)的復(fù)雜性、多樣性、遍布性和無(wú)規(guī)律性，本研究采用滑動(dòng)窗口的方法[17]遍歷整張圖像。利用所選的滑動(dòng)框，從切片圖像的左上方開始，從左往右、從上到下依次滑動(dòng)，每滑動(dòng)一次都對(duì)窗口內(nèi)的圖像塊進(jìn)行判斷，判斷每一個(gè)窗口所屬的等級(jí)(即評(píng)分)。在本實(shí)驗(yàn)中，使用的窗口大小為256×256，滑動(dòng)的步長(zhǎng)為窗口大小的1/5。在滑動(dòng)窗口掃過(guò)圖像邊緣時(shí)會(huì)出現(xiàn)邊界效應(yīng)，即角點(diǎn)處的像素出現(xiàn)真空狀態(tài)，在本研究中使用鏡像填塞(即像素圍繞圖像邊界)進(jìn)行鏡像反射，解決了邊界效應(yīng)問(wèn)題。

1.1.3 投票法

在本研究中，當(dāng)使用滑動(dòng)窗口的方法來(lái)處理每個(gè)病例的單個(gè)分辨率圖像時(shí)，每一個(gè)分辨率下的圖像會(huì)得到很多子圖像塊的預(yù)測(cè)結(jié)果，通過(guò)投票法，結(jié)合這些子圖像塊的結(jié)果，用來(lái)預(yù)測(cè)這個(gè)分辨率下整張圖像的結(jié)果。在這個(gè)階段，選擇使用絕對(duì)多數(shù)投票法[22]，完成單個(gè)分辨率下的整張圖片評(píng)分的任務(wù)。

絕對(duì)多數(shù)投票法的表決策略為

(1)

在對(duì)單個(gè)分辨率下圖像的評(píng)分完成之后，結(jié)合3個(gè)分辨率下的評(píng)分來(lái)確定圖像最終的結(jié)果。本研究采用相對(duì)多數(shù)投票法的結(jié)合策略來(lái)做最終決策。相對(duì)多數(shù)投票法[23]即為預(yù)測(cè)得票最多的標(biāo)記，若同時(shí)有多個(gè)標(biāo)記獲得最高票，則從中隨機(jī)選取一個(gè)。

相對(duì)多數(shù)投票法的表決策略為

(2)

1.2 實(shí)驗(yàn)設(shè)計(jì)

1.2.1 實(shí)驗(yàn)數(shù)據(jù)

圖4 同一個(gè)視角下組織病理圖像的3種分辨率下的圖像樣例。(a)×10分辨率下的圖像，將(a)分割4×4圖像塊得到(b)，(b)中的每個(gè)小塊的尺寸和(a)的尺寸是一樣的。同樣，(c) 中的每塊圖像塊是由(b)中每個(gè)圖像塊的1/4，尺寸和(a)的尺寸是一樣的Fig. 4 Pathological images of three resolutions under the same view. (a) At ×10 magnification; (b) At ×20 magnification; (c)At ×40 magnification. Each ×10 frame is subdivided into four frames at ×20 magnification. Each ×20 frame is also subdivided into four frames at ×40 magnification. Each piece of (b) and (c) has the same size of (a).

使用的數(shù)據(jù)是由2014年國(guó)際模式識(shí)別會(huì)議公布的競(jìng)賽提供，是由組織者從法國(guó)巴黎的薩伯特慈善醫(yī)院病理科挑選出的乳腺病理組織圖像，并且這些數(shù)據(jù)都是由2～3名經(jīng)驗(yàn)豐富的病理醫(yī)生共同標(biāo)注。數(shù)據(jù)中每個(gè)病例的圖像都包含3種分辨率下的圖像，分辨率分別是×10、×20和×40，每個(gè)病例的3個(gè)分辨率的圖片大小為769像素×688像素、1 539像素×1 376像素和3 078像素×2 752像素(見(jiàn)圖4)。 在實(shí)驗(yàn)過(guò)程中，隨機(jī)分別從3種不同分辨率下訓(xùn)練集中截取256×256的圖像塊，構(gòu)建實(shí)驗(yàn)所用的包含3種不同分辨率的數(shù)據(jù)集。在訓(xùn)練集中，分辨率為×10、×20、×40的數(shù)據(jù)集分別約有2、4、8萬(wàn)張。除此之外，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時(shí)候，對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行了數(shù)據(jù)擴(kuò)容的操作，主要包括對(duì)每張圖像的旋轉(zhuǎn)和鏡像操作。除了訓(xùn)練圖片，競(jìng)賽還提供124個(gè)病例的測(cè)試圖片，每個(gè)病例包括3張不同分辨率的乳腺病例組織圖像，用來(lái)檢驗(yàn)自動(dòng)評(píng)分模型的泛化能力。需要指出的是：該數(shù)據(jù)集只提供了訓(xùn)練集的評(píng)分分值，并沒(méi)有提供測(cè)試集的評(píng)分分值。為了測(cè)試算法的性能，競(jìng)賽組織者要求參與者把對(duì)每張測(cè)試集的評(píng)分分值發(fā)給組織者，由組織者提供算法的自動(dòng)評(píng)分準(zhǔn)確率。

1.2.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)使用的硬件設(shè)備如下：處理器，Intel(R) Core(TM) i7- 3770 CPU @ 3.40 GHz；內(nèi)存(RAM)，16.0 GB；獨(dú)立顯卡，GeForce GTX Titan X；系統(tǒng)類型，64 位window 7操作系統(tǒng)，Ubuntu 14.04；開發(fā)工具，Matlab R2014a,Caffe 框架[24]。

1.2.3 實(shí)驗(yàn)設(shè)置

所有訓(xùn)練病例的3個(gè)不同分辨率對(duì)應(yīng)3個(gè)數(shù)據(jù)集，數(shù)十萬(wàn)個(gè)的圖片，直接送入Caffe的框架中，訓(xùn)練3個(gè)對(duì)應(yīng)于不同分辨率的深度卷積網(wǎng)絡(luò)。在訓(xùn)練過(guò)程中，為了提高訓(xùn)練的效率和準(zhǔn)確度，實(shí)驗(yàn)深度卷積網(wǎng)絡(luò)的訓(xùn)練是在Alexnet[16]網(wǎng)絡(luò)參數(shù)上微調(diào)進(jìn)行的,見(jiàn)表1。Alexnet 網(wǎng)絡(luò)模型是2012年Imagenet 圖像分類大賽獲得第一名的參賽模型，也是深度學(xué)習(xí)在圖像處理方面的完美展示。該模型是由數(shù)百萬(wàn)張的圖像上訓(xùn)練出來(lái)的，具有很強(qiáng)的魯棒性。眾所周知，深度卷積網(wǎng)絡(luò)是以數(shù)據(jù)驅(qū)動(dòng)為基礎(chǔ)的方法，數(shù)據(jù)集的大小直接影響模型的能力，這也是選擇這個(gè)模型的重要原因。

表1 所使用的深度卷積網(wǎng)絡(luò)結(jié)構(gòu)及其參數(shù)設(shè)置Tab.1 The structure details and parameters of deep convolutional networks in experiment

乳腺病理組織圖像采取滑動(dòng)窗口的方法，輸入到相對(duì)應(yīng)的深度卷積網(wǎng)絡(luò)中，以判斷每個(gè)窗口的分?jǐn)?shù)。根據(jù)病理醫(yī)生的給病理組織切片評(píng)分的經(jīng)驗(yàn)，使用絕對(duì)多數(shù)投票法來(lái)推測(cè)輸入圖片的異型性分?jǐn)?shù)。對(duì)于每個(gè)病例的3個(gè)不同分辨率下圖像的3個(gè)預(yù)測(cè)結(jié)果，使用相對(duì)多數(shù)投票法來(lái)決策該病例的最終預(yù)測(cè)結(jié)果。

1.3 實(shí)驗(yàn)評(píng)估方法

在實(shí)驗(yàn)測(cè)試階段，使用上述方法對(duì)測(cè)試圖片進(jìn)行細(xì)胞核異型性評(píng)分，得到每張測(cè)試圖片的評(píng)分。由于2014 年ICPR 競(jìng)賽未公布測(cè)試圖片的專家標(biāo)記(即病理醫(yī)生的評(píng)分)，為了檢驗(yàn)本模型的分級(jí)能力，筆者將每個(gè)病例圖像的自動(dòng)評(píng)分分值發(fā)給了競(jìng)賽的組織者Ludovic Roux，由他來(lái)評(píng)價(jià)本方法自動(dòng)評(píng)分的準(zhǔn)確性。Ludovic Roux 評(píng)估的標(biāo)準(zhǔn)采取了計(jì)分制，記不同模型預(yù)測(cè)輸入組織病理圖像得分為p，病理醫(yī)生給這張圖片給分為g，這張圖片的評(píng)估得分為S，評(píng)估標(biāo)準(zhǔn)如下：

(3)

最后，計(jì)算所有測(cè)試病例的評(píng)估分?jǐn)?shù)總和，得到此模型的預(yù)測(cè)測(cè)試數(shù)據(jù)的總分。

2 結(jié)果

利用所提出的方法，對(duì)2014年國(guó)際模式識(shí)別會(huì)議競(jìng)賽提供的124病例的測(cè)試圖片進(jìn)行細(xì)胞核異型性評(píng)分。圖5是由Ludovic Roux提供的本方法和迄今為止評(píng)分準(zhǔn)確率排名前幾位的算法評(píng)估分值(points)的對(duì)比結(jié)果。結(jié)果表明，所提出方法的評(píng)分準(zhǔn)確率目前排名第二，領(lǐng)先于除了華威大學(xué)的其他算法。由圖中的結(jié)果可以看出，本方法的評(píng)估結(jié)果是67分，明顯地優(yōu)于其他大部分的算法，這也證實(shí)本方法在細(xì)胞核異型性評(píng)分上的有效性。

圖5 乳腺組織細(xì)胞核異型性評(píng)分結(jié)果Fig.5 Comparison result diagram of nuclear atypia grading

為了驗(yàn)證結(jié)合多個(gè)分辨率圖像信息對(duì)模型的影響，本方法除了與其他算法作對(duì)比，還對(duì)不同分辨率下的結(jié)果進(jìn)行對(duì)比。圖6中×10、×20、×40分別對(duì)應(yīng)于各自分辨率下的得分結(jié)果，即各自分辨率下絕對(duì)多數(shù)投票的評(píng)分結(jié)果，而本方法是結(jié)合上述3個(gè)分辨率下的結(jié)果、再進(jìn)行相對(duì)多數(shù)投票的評(píng)分結(jié)果。如圖6所示，所提出的利用投票法對(duì)多個(gè)分辨率下的評(píng)分結(jié)果進(jìn)行綜合評(píng)分的方法，在實(shí)際測(cè)試過(guò)程中增強(qiáng)了算法對(duì)細(xì)胞核異型性評(píng)分的能力；同時(shí)也說(shuō)明，結(jié)合不同分辨率下的信息，在一定程度上可以提高模型對(duì)問(wèn)題的分析能力。

在實(shí)驗(yàn)過(guò)程中，本方法在計(jì)算機(jī)時(shí)間上具有一定的優(yōu)勢(shì)，在給每一張分辨率分別為×10、×20、×40的圖像自動(dòng)評(píng)分時(shí)，計(jì)算時(shí)間分別約為1.2、5.5、30 s。這說(shuō)明，所采用的方法不僅評(píng)分準(zhǔn)確率高，而且計(jì)算機(jī)速度快，因此具備了在實(shí)際臨床應(yīng)用中對(duì)組織病理圖像自動(dòng)評(píng)分的可能性。

3 討論

從圖5中可以看出，本研究的方法在乳腺組織細(xì)胞核異型性測(cè)試中的表現(xiàn)要比除了華威大學(xué)的其他方法有明顯優(yōu)勢(shì)。這些方法都遵循著一個(gè)流程：首先對(duì)感興趣區(qū)域(細(xì)胞核區(qū)域)進(jìn)行分割，然后對(duì)分割出的感興趣區(qū)域進(jìn)行特征提取，再利用這些特征訓(xùn)練分類器來(lái)實(shí)現(xiàn)最終的等級(jí)評(píng)分。如陜西師范大學(xué)的方法[25]，利用局部閾值和形態(tài)學(xué)方法分割細(xì)胞核，進(jìn)而對(duì)細(xì)胞核提取了包括尺寸、梯度和紋理在內(nèi)的上百維特征來(lái)訓(xùn)練細(xì)胞核異型性評(píng)分的分類器。同樣，華威大學(xué)的方法[14]也是遵循這個(gè)流程，不同的是華威大學(xué)的方法對(duì)同一幅圖像提取了兩次特征，第一次是基于圖像整體提取像素級(jí)的特征，第二次是基于感興趣區(qū)域提取像素級(jí)的特征。而本研究的方法并未使用傳統(tǒng)的人工特征，采用與評(píng)分結(jié)果相結(jié)合的自學(xué)習(xí)特征，即將特征提取階段和分類器訓(xùn)練階段合二為一，由分類器的表現(xiàn)來(lái)決定特征提取器從圖像中提取什么樣的特征。一個(gè)好的特征描述有利于尋找不同類型圖像的區(qū)分度和同種類型圖像的相似度，從而使分類器的精度得以提高。深度學(xué)習(xí)的出現(xiàn)正好提供了一個(gè)特征學(xué)習(xí)和圖像分類相結(jié)合的可行性方案，這樣的結(jié)合使得學(xué)習(xí)的特征極大地提高了分類器的能力，也使得計(jì)算機(jī)輔助的乳腺癌細(xì)胞核異型性病理圖像分級(jí)完全有可能幫助醫(yī)生制訂治療方案。有了好的特征提取器之后，感興趣區(qū)域的選擇同樣會(huì)影響著細(xì)胞異型性的分析。在細(xì)胞核異型性程度較高的圖像中，細(xì)胞核并沒(méi)有完整的細(xì)胞邊界而且經(jīng)常出現(xiàn)扭曲重疊的問(wèn)題，這都會(huì)影響評(píng)分的準(zhǔn)確率。本研究提出的用滑動(dòng)窗口從圖像中提取圖像小塊特征的方法可以克服這些問(wèn)題，并且可以提取到細(xì)胞核周邊信息的特征，這有利于區(qū)分細(xì)胞核異型性的等級(jí)。

除此之外，在乳腺組織細(xì)胞核異型性的分析問(wèn)題中，結(jié)合多分辨率下的信息是非常重要的，這符合病理醫(yī)生觀察病理切片的流程，同時(shí)可以有效地利用數(shù)據(jù)信息。本方法采用結(jié)合策略，處理3個(gè)不同分辨率下的細(xì)胞核異型性評(píng)分結(jié)果，以確定最終結(jié)果。從圖6中前3個(gè)橫條可以看出，×20分辨率下的評(píng)分準(zhǔn)確率最高，而本方法綜合3個(gè)分辨率下的評(píng)分結(jié)果要優(yōu)于這個(gè)分辨率下的結(jié)果，這說(shuō)明低分辨率下的整體信息和高分辨率下的細(xì)節(jié)信息對(duì)細(xì)胞核異型性的評(píng)分都有著深遠(yuǎn)影響，無(wú)論丟棄了哪種信息都會(huì)導(dǎo)致最終的評(píng)分結(jié)果準(zhǔn)確率下降，所以本方法結(jié)合多個(gè)分辨率下的信息，可以有效地提高細(xì)胞核異型性評(píng)分的準(zhǔn)確率。綜上所述，本研究采用深度卷積網(wǎng)絡(luò)和傳統(tǒng)聯(lián)合決策相結(jié)合的方法，充分利用實(shí)驗(yàn)數(shù)據(jù)來(lái)驅(qū)動(dòng)深度算法解決細(xì)胞核異型性評(píng)分問(wèn)題。傳統(tǒng)的圖像處理算法很難有效地分析高度復(fù)雜的病理組織圖像，而深度學(xué)習(xí)方法的出現(xiàn)和快速發(fā)展給研究人員提供了新的研究方向和實(shí)驗(yàn)工具，這對(duì)病理圖像的研究乃至整個(gè)病理學(xué)的發(fā)展都具有至關(guān)重要的影響。

4 結(jié)論

本研究提出了一種對(duì)乳腺組織病理圖像細(xì)胞核異型性進(jìn)行評(píng)分的深度模型。該模型綜合了深度卷積網(wǎng)絡(luò)和兩種結(jié)合策略，其中深度卷積網(wǎng)絡(luò)分別處理每個(gè)病例的多分辨率的病理組織圖像，采用結(jié)合策略處理深度卷積網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果，本研究使用了兩種結(jié)合策略，使用絕對(duì)多數(shù)投票法，得到每個(gè)病例每個(gè)分辨率下的細(xì)胞核異型性的得分，再使用相對(duì)多數(shù)投票法得到每個(gè)病例的最終得分。通過(guò)實(shí)驗(yàn)數(shù)據(jù)的測(cè)試，模型能夠?qū)θ橄偌?xì)胞核異型性組織圖像很好地分級(jí)。由于使用了卷積神經(jīng)網(wǎng)絡(luò)處理病理組織圖像，提高了特征對(duì)圖像的表達(dá)能力，加上端到端的分類器訓(xùn)練方式，再結(jié)合多分辨率下的信息，使得本方法具有優(yōu)良的細(xì)胞核異型性評(píng)分結(jié)果。

所提出的方法在細(xì)胞核異型性評(píng)分上取得了一定的成果，對(duì)于以后的工作還有許多實(shí)踐經(jīng)驗(yàn)，可為同類研究提供參考。在算法上，越有效的特征所具有解決問(wèn)題的能力就會(huì)越強(qiáng)，本研究是結(jié)合多分辨率下的結(jié)果，而未來(lái)的研究?jī)?nèi)容是結(jié)合多分辨率下的圖像特征，利用這種融合后特征，對(duì)細(xì)胞核異型性進(jìn)行評(píng)分。

(致謝：該實(shí)驗(yàn)的評(píng)估工作是由2014年國(guó)際模式識(shí)別會(huì)議競(jìng)賽的組織者Ludovic Roux協(xié)助實(shí)現(xiàn)的。)

[1] Jemal A, Siegel R, Xu Jun, et al. Cancer statistics [J]. Ca Cancer Journal for Clinicians, 2012, 62(1):10- 29.

[2] Chen Wanqing, Zheng Rongshou, Baade PD, et al. Cancer statistics in China [J].Ca Cancer Journal for Clinicians, 2016, 66(2):115- 132.

[3] 龔磊, 徐軍, 王冠皓,等. 基于多特征描述的乳腺癌腫瘤病理自動(dòng)分級(jí)[J]. 計(jì)算機(jī)應(yīng)用, 2015, 35(12):3570- 3575.

[4] 陳佳梅, 屈愛(ài)平, 王林偉,等. 計(jì)算機(jī)圖像分析挖掘乳腺癌病理預(yù)后新指標(biāo)[J]. 生物物理學(xué)報(bào), 2014, 30(7):517- 530.

[5] Robbins P, Pinder S, Klerk ND, et al. Histological grading of breast carcinomas: A study of inter observer agreement [J]. Human Pathology, 1995, 26(8):873- 879.

[6] Basavanhally AN, Ganesan S, Agner S, et al. Computerized image- based detection and grading of lymphocytic infiltration in HER2+ breast cancer histopathology [J]. IEEE Transactions on Biomedical Engineering, 2010, 57(3):642- 653.

[7] May M. A better lens on disease [J]. Scientific American, 2010, 302(5):74- 77.

[8] Bourzac K. Software: The computer will see you now [J]. Nature, 2013, 502(7473):92- 94.

[9] Roux L, Racoceanu D, Loménie N, et al. Mitosis detection in breast cancer histological images An ICPR 2012 contest [J]. Journal of Pathology Informatics, 2013, 4(1):4- 8.

[10] Cruz- Roa A, Basavanhally A. Mitosis detection in breast cancer pathology images by combining handcrafted and convolutional neural network features [J]. Journal of Medical Imaging, 2014, 1(3):1- 8.

[11] Veta M, Diest PJV, Willems SM, et al. Assessment of algorithms for mitosis detection in breast cancer histopathology images [J]. Medical Image Analysis, 2015, 20(1):237- 248.

[13] Irshad H. Automated mitosis detection in histopathology using morphological and multi- channel statistics features [J]. Journal of Pathology Informatics, 2013, 4:1- 10.

[14] Khan AM, Sirinukunwattana K, Rajpoot N. A global covariance descriptor for nuclear atypia scoring in breast histopathology images [J]. Surface Science, 2015, 19(5):1637.

[15] Hinton GE, Salakhutdinov RR. Reducing the dimensionality of data with neural networks [J]. Science, 2006, 313(5786):504- 507.

[16] Krizhevsky A, Sutskever I, Hinton GE. Imagenet classification with deep convolutional neural networks [J]. Advances in Neural Information Processing Systems, 2012, 25(2):2012- 2022.

[17] Xu Jun, Xiang Lei, Liu Qingshan, et al. Stacked sparse autoencoder (SSAE) for nuclei detection on breast cancer histopathology images [J]. IEEE Transactions on Medical Imaging, 2015, 35(1):119- 130.

[18] Xu Jun, Luo Xiaofei, Wang Guanhao, et al. A deep convolutional neural network for segmenting and classifying epithelial and stromal regions in histopathological images [J]. Neurocomputing, 2016, 191:214- 223.

[19] Basavanhally A, Ganesan S, Feldman M, et al. Multi- field- of- view framework for distinguishing tumor grade in ER+ breast cancer from entire histopathology slides [J]. IEEE Transactions on Biomedical Engineering, 2013, 60(8):2089 - 2099.

[20] Koushik, Jayanth. Understanding convolutional neural networks [J].Eprint Arxiv ,25 May,2016 [Epub ahead of print].

[21] Zeiler MD, Fergus R. Visualizing and understanding convolutional networks [M]// Fleet,Computer Vision- ECCV 2014. Cham: Springer International Publishing, 2014:818- 833.

[22] Alpaydin E. Combining pattern classifiers: methods and algorithms[J]. IEEE Transactions on Neural Networks, 2007, 18(3):963- 964.

[23] 周志華. 機(jī)器學(xué)習(xí)[M]. 北京：清華大學(xué)出版社, 2015：171- 196.

[24] Jia Yangqing, Shelhamer E, Donahue J, et al. Caffe: convolutional architecture for fast feature embedding [J]. Eprint Arxiv, 2014:675- 678.

[25] Chen Lu. Automated image analysis of nuclear atypia in high‐power field histopathological image [J]. Journal of Microscopy, 2015, 258(3): 233- 240.

A Deep Convolutional Networks and Combination Strategy for Automated Nuclear Atypia Grading on Breast Histopathology

Zhou Chao1Xu Jun1*Luo Bo2

1(School of Information and Control, Nanjing University of Information and Technology, Nanjing 210044, China)2(Department of Histopathology, The Central Hospital of Wuhan, Affiliated Hospital of TongJi Medical College Huazhong University of Science and Technology, Wuhan 430014, China)

Nuclear atypia is one of important factors in Nottingham Grading System (NGS) for evaluating the aggressiveness of breast cancer. The nuclear atypia is mainly manifested in change of the nuclear shape, size, texture and uneven density. However, histologic image has complicated nature that makes the automated nuclei atypia grading a pretty difficult task. In the paper we integrated deep convolutional neural networks and combination strategy for automated nuclei atypia grading. Firstly, the histologic patches with three different resolutions were cropped into same size for training three convolutional neural networks models, respectively. During the testing, a sliding window technique was employed to choose image patches and feed to the trained DCNN. Then the majority voting was used to evaluate the grade of the image under each resolution. Finally, plurality voting was employed to evaluate the score based on three different resolutions. The proposed model got 67 points in the test set, ranking the 2nd comparing with all of current methods with good performance. Moreover, the proposed approach was computationally efficient. The average computational time on each images with the resolution of ×10, ×20, ×40 were 1.2, 5.5, and 30 seconds, respectively, indicating that the proposed approach can be applied in clinical routine procedure for automated grading of nuclei atypia on histologic images.

nuclei atypia; convolutional neural networks; majority voting, plurality voting

10.3969/j.issn.0258- 8021. 2017. 03.003

2016-05-06， 錄用日期:2016-05-27

國(guó)家自然科學(xué)基金(61273259)；江蘇省“六大人才高峰”高層次人才項(xiàng)目(2013-XXRJ-019)；江蘇省自然科學(xué)基金(BK20141482)

R318

A

0258- 8021(2017) 03- 0276- 08

*通信作者(Corresponding author)，E- mail: xujung@gmail.com