閆 雯 湯 燁 張益肇 來茂德 許 燕,*
1(北京航空航天大學(xué)生物與醫(yī)學(xué)工程系,北京航空航天大學(xué)軟件開發(fā)環(huán)境國(guó)家重點(diǎn)實(shí)驗(yàn)室,深圳北航新興產(chǎn)業(yè)技術(shù)研究院,生物醫(yī)學(xué)工程高精尖創(chuàng)新中心) 2(微軟亞洲研究院,北京 100080) 3(浙江大學(xué)醫(yī)學(xué)院基礎(chǔ)醫(yī)學(xué)院,杭州 310058)
病理切片作為病理診斷的金標(biāo)準(zhǔn),在臨床和科研中都有著十分重要的應(yīng)用。病理醫(yī)生通過對(duì)病理切片進(jìn)行鏡檢,完成病理診斷和預(yù)后評(píng)估,但是這個(gè)過程通常費(fèi)時(shí)費(fèi)力。病理切片的數(shù)字化被認(rèn)為是病理學(xué)發(fā)展過程中的重要轉(zhuǎn)折點(diǎn)[1]。數(shù)字病理切片的制作首先需要經(jīng)過組織染色,隨后通過顯微相機(jī)數(shù)字化為數(shù)字病理切片。但是,由于最初數(shù)字切片質(zhì)量不高,其普及程度受到一定限制。1999年,全片數(shù)字化圖像(whole slide images, WSI)[1]出現(xiàn),使病理切片的保存和傳輸更加方便安全。
隨著人工智能技術(shù)走進(jìn)病理分析領(lǐng)域,病理分析不再局限于傳統(tǒng)的定性分析,逐漸向定量分析過渡[2-3]。定性分析是對(duì)切片性質(zhì)特點(diǎn)進(jìn)行概括,并沒有形成量化指標(biāo),因此定性分析的結(jié)果不可復(fù)現(xiàn),且受主觀因素影響較大。定量分析是指依據(jù)統(tǒng)計(jì)數(shù)據(jù),建立數(shù)學(xué)模型,從而計(jì)算出與病變相關(guān)的各項(xiàng)指標(biāo),如有絲分裂數(shù)目、腫瘤的實(shí)質(zhì)與間質(zhì)的比例、黏液湖和癌細(xì)胞的比例等定量化指標(biāo);并根據(jù)定量指標(biāo)給出病理診斷,其診斷結(jié)果更加客觀。因此,病理醫(yī)生也越來越認(rèn)識(shí)到定量分析的重要性。
傳統(tǒng)機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)算法都可用于定量分析[4]。傳統(tǒng)的機(jī)器學(xué)習(xí)算法依賴于人工設(shè)計(jì)特征表達(dá),即提取圖像的形狀、大小和紋理等特征并做特征挑選,剔除冗余特征得到最優(yōu)特征集。但是,這種人工特征的選取依賴于大量專業(yè)知識(shí),且難以涵蓋圖像的全面特征,導(dǎo)致其使用上的局限性。
深度學(xué)習(xí)預(yù)先定義了計(jì)算規(guī)則,通過層級(jí)式網(wǎng)絡(luò)結(jié)構(gòu),將數(shù)據(jù)從輸入層傳遞到輸出層,并自動(dòng)學(xué)習(xí)圖像特征表達(dá),得到圖像的低維特征。相比其他機(jī)器學(xué)習(xí)算法,深度學(xué)習(xí)算法對(duì)大數(shù)據(jù)樣本的特征提取能力更強(qiáng)。基于臨床上不斷積累的WSI數(shù)據(jù),深度病理能充分發(fā)揮在大數(shù)據(jù)樣本上的優(yōu)勢(shì),推動(dòng)病理定量分析的發(fā)展,輔助醫(yī)生完成病理診斷。
因此,基于深度學(xué)習(xí)的病理切片圖像的定量分析研究,既是數(shù)字病理分析的大勢(shì)所趨,也是學(xué)術(shù)界和醫(yī)學(xué)界共同努力的方向。
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中一種包含多層隱層的人工神經(jīng)網(wǎng)絡(luò)模型,其通過組合低層特征學(xué)習(xí)到數(shù)據(jù)的高層特征表達(dá)[5]。
在通常情況下,更深的網(wǎng)絡(luò)深度意味著網(wǎng)絡(luò)具有更強(qiáng)的特征提取能力。但是,網(wǎng)絡(luò)深度的加深往往會(huì)導(dǎo)致模型難以收斂、計(jì)算量巨大等問題。為了克服上述問題,需要一些更強(qiáng)大的技術(shù)的輔助,如卷積、pooling、dropout、ReLU函數(shù)以及使用GPU訓(xùn)練網(wǎng)絡(luò)等。
在圖像處理與計(jì)算機(jī)視覺領(lǐng)域,以卷積、pooling和ReLU函數(shù)為基礎(chǔ)構(gòu)成的卷積網(wǎng)絡(luò)(ConvNet)是深度學(xué)習(xí)最常用的網(wǎng)絡(luò)結(jié)構(gòu)之一,圖1為兩層ConvNet構(gòu)成的CNN。
圖1 兩層卷積神經(jīng)網(wǎng)絡(luò)(由卷積層和池化層以及全連接層構(gòu)成)Fig.1 Two layer convolution neural network, which is constituted by the convolutional layer, the pool layer and the fully connected layer
CNN將圖像直接作為網(wǎng)絡(luò)的輸入,避免了傳統(tǒng)識(shí)別算法中復(fù)雜的人工特征設(shè)計(jì)過程。這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或者其他形式的變形具有高度不變性,在計(jì)算機(jī)視覺中有廣泛的應(yīng)用。
卷積神經(jīng)網(wǎng)絡(luò)(CNN)引入權(quán)值共享和局部視野域的概念,大大減少了權(quán)值的數(shù)量。
1)權(quán)值共享。每個(gè)隱藏神經(jīng)元具有同樣的偏置和相同的連接到局部感受野的權(quán)重。每個(gè)隱藏神經(jīng)元可以學(xué)習(xí)一種特定的特征映射,最后通過多層堆疊的方式,學(xué)習(xí)到圖片的整體特征表達(dá)。
對(duì)于l層的第j、k個(gè)隱藏神經(jīng)元,輸出為
alj=σ(wljk·a(l-1)k+blj)
(1)
式中,σ是神經(jīng)元的激活函數(shù),b是偏置的共享值,w是共享權(quán)重的數(shù)組,a是激活值。
卷積神經(jīng)網(wǎng)絡(luò)能夠自動(dòng)學(xué)習(xí)到合適的權(quán)重和偏置,以至于網(wǎng)絡(luò)的輸出y(x)能夠擬合所有的訓(xùn)練輸入x。為了量化輸入x與輸出y(x)之間的差距,引入代價(jià)函數(shù)的概念,有
(2)
式中,w表示網(wǎng)絡(luò)中所有的權(quán)重的矩陣,b是所有的偏置的矩陣,n是訓(xùn)練輸入數(shù)據(jù)的個(gè)數(shù),a表示輸入為x是輸出的激活值,求和則是在所有的輸入數(shù)據(jù)x上進(jìn)行的。
網(wǎng)絡(luò)訓(xùn)練的過程其實(shí)就是找到代價(jià)函數(shù)最小的時(shí)候?qū)?yīng)的權(quán)重的值。直接計(jì)算代價(jià)函數(shù)的最小值得計(jì)算量十分巨大,1986年,Rumelhart提出反向傳播算法[6],大大減少了最小化代價(jià)函數(shù)時(shí)的計(jì)算量,為加深網(wǎng)絡(luò)層數(shù)提供了可能性。
2)ReLU函數(shù)。該函數(shù)是神經(jīng)網(wǎng)絡(luò)中最常用的激活函數(shù)之一,通常與卷積層同時(shí)出現(xiàn),其公式為
f(x)=max(0,x)
(3)
式中:當(dāng)輸入x<0時(shí),輸出為0;當(dāng)輸入x>0時(shí),輸出x。
ReLU函數(shù)的優(yōu)點(diǎn)在于梯度不飽和,在反向傳播過程中,減輕了梯度彌散的問題,神經(jīng)網(wǎng)絡(luò)前幾層的參數(shù)也可以很快更新;在正向傳播過程中,計(jì)算速度更快。
3)混合層。除了上面提到的卷積層,卷積神經(jīng)網(wǎng)絡(luò)還包含混合層(pooling layer)。混合層通常緊接著卷積層之后使用,其作用是對(duì)卷積層的輸出信息進(jìn)行降采樣,減少參數(shù)的個(gè)數(shù),避免過擬合。詳細(xì)地說,混合層將輸出的每個(gè)特征映射凝縮成一個(gè)新的特征映射,常見的混合層有最大值混合(max-pooling)和均值混合(average-pooling)。以max-pooling層為例,該層提取一定大小窗口內(nèi)特征圖的最大值作為新的特征值輸入到下一層,如圖2所示。
圖2 最大池化層(窗口大小為2×2,依次移動(dòng)窗口并取該窗口內(nèi)特征圖的最大值,組成下一層的特征圖)Fig.2 Gram of the max-pooling layer, the size of sample window is 2x2. The window take the maximum value of feature map within the window, to compose the feature map of next layer
2012年,Krizhevsky提出深度卷積網(wǎng)絡(luò)AlexNet[7],在數(shù)據(jù)集ImageNet[8]上實(shí)現(xiàn)了圖像分類任務(wù)并將錯(cuò)誤率降低到17.0%。在此基礎(chǔ)上,Zisserman提出了一種新的深度卷積網(wǎng)絡(luò)結(jié)構(gòu)——VGG-Net[9]。該網(wǎng)絡(luò)采用更小的卷積核以及更深的網(wǎng)絡(luò)以增強(qiáng)網(wǎng)絡(luò)性能,在ImageNet數(shù)據(jù)集上將分類錯(cuò)誤率降到了7.32%。同年,Szegedy提出了一種帶有Inception層CNN結(jié)構(gòu)——GoogleNet,它增大了網(wǎng)絡(luò)的深度和寬度,在Image Net數(shù)據(jù)集上測(cè)試的錯(cuò)誤率為6.67%[10]。
綜上所述,卷積神經(jīng)網(wǎng)絡(luò)是圖像處理領(lǐng)域的研究熱點(diǎn),這種網(wǎng)絡(luò)結(jié)構(gòu)既具備自動(dòng)特征的學(xué)習(xí)能力,也具有強(qiáng)大的分類能力,可同時(shí)解決特征提取和分類器設(shè)計(jì)兩方面的問題。在此基礎(chǔ)之上,通過設(shè)計(jì)特定的網(wǎng)絡(luò)結(jié)構(gòu),深度學(xué)習(xí)可以解決多種計(jì)算機(jī)視覺問題,如圖像分類、圖像分割、實(shí)施目標(biāo)檢測(cè)、邊緣提取等。
計(jì)算機(jī)輔助算法在病理切片分析中應(yīng)用十分廣泛,可分為傳統(tǒng)機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)算法[11]。
WSI病理圖像包含的信息量很大,包含了大量復(fù)雜、冗余的信息。因此,將圖片轉(zhuǎn)化為可挖掘的特征數(shù)據(jù),是病理分析必要的步驟。特征提取的方法可分為人工特征設(shè)計(jì)和自動(dòng)特征學(xué)習(xí)兩種。
人工特征設(shè)計(jì)是指從圖像中挑選并簡(jiǎn)化出最能有效表達(dá)圖像內(nèi)容的低維矢量,這些特征包括灰度直方圖、形狀特征、紋理結(jié)構(gòu)特征、與周圍組織的關(guān)系特征等?;趥鹘y(tǒng)機(jī)器學(xué)習(xí)算法的數(shù)字病理切片分析需要人工提取特征。但是,人工特征的應(yīng)用有以下缺點(diǎn)[12]:一是特征選取在很大程度上依靠專業(yè)經(jīng)驗(yàn),客觀性較差,無法表征圖片的全面信息;二是缺乏將多種人工特征融合的原則性準(zhǔn)則。自動(dòng)特征學(xué)習(xí)是指從大量訓(xùn)練數(shù)據(jù)中學(xué)習(xí)圖像的尺度不變性、形變不敏感的特征表達(dá),能更加全面地表達(dá)圖片特征,且不受專業(yè)因素的限制[13]。深度學(xué)習(xí)算法既能夠?qū)W習(xí)到數(shù)據(jù)的特征表達(dá),又可以作為分類器使用,這樣的“端對(duì)端”結(jié)構(gòu)具有更強(qiáng)的自學(xué)習(xí)能力和自適應(yīng)能力,更適合于大數(shù)據(jù)量的病理分析。
2013年,Ciresan首次證明深度學(xué)習(xí)算法能夠運(yùn)用在病理切片有絲分裂的檢測(cè)工作中,并取得巨大成功[14]。愈來愈多的人意識(shí)到,深度神經(jīng)網(wǎng)絡(luò)在病理切片分析中擁有傳統(tǒng)機(jī)器學(xué)習(xí)算法無法企及的巨大潛力。目前,深度學(xué)習(xí)在病理切片自動(dòng)分析算法中的應(yīng)用可以按照解決任務(wù)的不同分為3個(gè)方面:細(xì)胞或組織的分割和檢測(cè)、組織層面上的分類和癌癥分級(jí)以及其他應(yīng)用。
病理切片中的腺體形態(tài)、有絲分裂數(shù)目、細(xì)胞核大小等結(jié)構(gòu)都可以作為癌癥診斷的指標(biāo)。針對(duì)某些疾病的病理診斷需求,從整張病理切片中分離出上述細(xì)胞或組織結(jié)構(gòu)是數(shù)字病理分析的基礎(chǔ)[15]。下面將分別介紹深度學(xué)習(xí)在病理切片方面的應(yīng)用情況,包括細(xì)胞和細(xì)胞核的檢測(cè)和分割、腺體的分割、有絲分裂的檢測(cè)。
2.1.1細(xì)胞和細(xì)胞核的檢測(cè)與分割
細(xì)胞和細(xì)胞核的形態(tài)學(xué)特征[16-17]、幾何學(xué)特征[18]、紋理特征[19]、形狀特征[20]等是病理分析的重要指標(biāo),因此分離出細(xì)胞等結(jié)構(gòu)對(duì)于病理診斷具有重要意義。病理切片的厚度、雜質(zhì)、切割均勻度、染色后顏色的深度以及數(shù)字圖像噪聲等因素使切片圖像存在異質(zhì)性[21](見圖3),給細(xì)胞的分割和檢測(cè)帶來了困難。
圖3 細(xì)胞核的檢測(cè)中的不利因素[15]。(a)模糊;(b)重疊;(c)異質(zhì)性Fig.3 Negative factors in nuclear examination. (a)Blurring;(b)Overlap; (c) Heterogeneity,source
有研究表明,將人工特征與CNN提取的特征相結(jié)合,可以有效降低人工特征的敏感性,并減少CNN的計(jì)算量[12]。Wang等將人工設(shè)計(jì)的特征與CNN自動(dòng)提取的特征相融合,用于乳腺病理切片中細(xì)胞核的檢測(cè)[22],相比當(dāng)時(shí)的其他算法,該算法計(jì)算量較小,更符合臨床需求。但是,隨著計(jì)算機(jī)性能的增強(qiáng),在數(shù)據(jù)集充足的情況下,深度學(xué)習(xí)也可以直接從大量數(shù)據(jù)中學(xué)習(xí)特征表達(dá),并結(jié)合一定的預(yù)處理和后期處理方法,高效而準(zhǔn)確地檢測(cè)細(xì)胞。Xing等和Chen等使用CNN提取特征,并生成切片細(xì)胞核位置的概率譜[23-24]。根據(jù)所處理切片的特點(diǎn),Xing等在后期處理中選擇迭代區(qū)域合并的方法分割獨(dú)立的細(xì)胞核,該算法適用于多種組織的多種染色劑圖像。Chen等在預(yù)處理和后期處理中分別使用色彩通道的分離和非極大值抑制算法,提取免疫細(xì)胞(IHC)的不同色彩通道的特征,用于代表不同細(xì)胞結(jié)構(gòu)的特點(diǎn),計(jì)數(shù)的結(jié)果與人工計(jì)數(shù)基本持平。
細(xì)胞的分割通常比細(xì)胞核的分割更加復(fù)雜,細(xì)胞質(zhì)的形狀不規(guī)則以及細(xì)胞團(tuán)的重疊現(xiàn)象都給細(xì)胞的分割造成了很大的困難。通過設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu),以上問題可以得到解決。Song等將多尺度卷積網(wǎng)絡(luò)(MSCN)提取的特征與人工特征相結(jié)合,用于宮頸細(xì)胞質(zhì)和細(xì)胞核的分割[25]。在此基礎(chǔ)上,Song等增加了訓(xùn)練數(shù)據(jù)量并改進(jìn)了網(wǎng)絡(luò)結(jié)構(gòu),直接使用MSCN學(xué)習(xí)單個(gè)細(xì)胞的高級(jí)形態(tài)特征來分割重疊細(xì)胞團(tuán)[26]。Akram等使用兩層級(jí)聯(lián)網(wǎng)絡(luò),第一級(jí)的卷積網(wǎng)絡(luò)粗略預(yù)測(cè)哪些區(qū)域包含細(xì)胞,第二層池化網(wǎng)絡(luò)用來準(zhǔn)確定位細(xì)胞邊界[27]。
有監(jiān)督算法需要大量標(biāo)記數(shù)據(jù)集來訓(xùn)練模型,在標(biāo)記數(shù)據(jù)集不充足的情況下,可以使用海量的未標(biāo)記數(shù)據(jù)集來彌補(bǔ)無監(jiān)督算法的缺點(diǎn)。Ronneberger等提出了一種網(wǎng)絡(luò)的訓(xùn)練策略,使用配準(zhǔn)方法擴(kuò)充有限的標(biāo)記數(shù)據(jù)的數(shù)量,使用多特征通道的上采樣層傳遞上下文信息,幫助提高分割準(zhǔn)確率[28]。另外,弱監(jiān)督也可以彌補(bǔ)標(biāo)記數(shù)據(jù)量不足的問題。所謂弱監(jiān)督,就是對(duì)數(shù)據(jù)做簡(jiǎn)單的標(biāo)記,其對(duì)專業(yè)知識(shí)的要求較低,容易獲取。Xie等使用弱監(jiān)督的回歸模型檢測(cè)細(xì)胞,適用于尺寸和形狀變化較大、有細(xì)胞重疊圖像的細(xì)胞檢測(cè)[29]。
2.1.2腺體的分割
在臨床上,腺體的形態(tài)學(xué)特征,包括其外部結(jié)構(gòu)和腺體的形成過程,都常作為腺癌診斷的依據(jù),因此,腺體的分割在癌癥診斷中有重要意義[30],結(jié)腸腺體的病理圖像如圖4所示。
圖4 結(jié)腸組織切片的腺體檢測(cè)[34]Fig.4 Detection of glands in colon tissue[34]
腺體分割任務(wù)的挑戰(zhàn)性在于:一是腺體形狀不規(guī)則,染色不均勻、腺體重疊等因素導(dǎo)致其形態(tài)特征難以用數(shù)學(xué)模型描述;二是不同級(jí)別的癌癥組織中腺體形狀特征不同;三是腺體個(gè)體分割難以實(shí)現(xiàn)。
類似地,CNN在腺體分割中的廣泛應(yīng)用從2015年的腺體分割大賽中可見一斑。在大賽中,主辦方提供了結(jié)腸腺體的數(shù)據(jù)集。多個(gè)團(tuán)隊(duì)采用CNN 網(wǎng)絡(luò)對(duì)腺體候選樣本做有無腺體的分類[30],例如:CVML團(tuán)隊(duì)使用CNN訓(xùn)練像素級(jí)別的分類器;Freiburg團(tuán)隊(duì)使用一種端對(duì)端的U型深卷積網(wǎng)絡(luò);ExB團(tuán)隊(duì)使用雙路徑的CNN網(wǎng)絡(luò),分別以不同大小的樣本作為輸入,用于更好地捕捉多尺度的上下文信息;vision4GlaS使用兩個(gè)CNN[31],分別用于候選樣本和重疊樣本的分類。
隨后在分類基礎(chǔ)上,各團(tuán)隊(duì)使用分割算法分割腺體個(gè)體:CVML團(tuán)隊(duì)以及 vision4GlaS團(tuán)隊(duì)使用基輪廓的傳統(tǒng)方法分割腺體;ExB額外訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)用于檢測(cè)腺體輪廓,并結(jié)合傳統(tǒng)算法分割腺體。不同于以上方法,也有的團(tuán)隊(duì)直接使用深度神經(jīng)網(wǎng)絡(luò)完成任務(wù)。Freiburg團(tuán)隊(duì)在CNN網(wǎng)絡(luò)的基礎(chǔ)上,添加由上卷積層和卷積層構(gòu)成的聚合通路,將每一級(jí)的細(xì)節(jié)特征反向傳播到聚合通路,用于捕捉腺體邊界;BenTaieb等設(shè)計(jì)了具有兩種損失函數(shù)的多任務(wù)全卷積神經(jīng)網(wǎng)絡(luò)[32],先對(duì)候選樣本做有無腺體的分類,再對(duì)包含腺體的樣本分割,分類和分割結(jié)果彼此優(yōu)化;Chen等提出了深輪廓感知網(wǎng)絡(luò)(DCAN)[33],使用基于多水平特征表達(dá)的全卷積神經(jīng)網(wǎng)絡(luò)(FCN)分割腺體;Xu等將全卷積神經(jīng)網(wǎng)絡(luò)(FCN)與整體邊緣探測(cè)器(HED)相結(jié)合[34],克服了FCN無法識(shí)別腺體個(gè)體的缺點(diǎn),實(shí)現(xiàn)了腺體個(gè)體分割。
2.1.3有絲分裂的檢測(cè)
在乳腺癌分級(jí)中,有絲分裂數(shù)是一個(gè)重要的參數(shù),有絲分裂的檢測(cè)可看作是一種特殊的細(xì)胞檢測(cè)。有絲分裂在各個(gè)時(shí)期形態(tài)各異,有著前期、中期、后期和末期4個(gè)時(shí)期的4種形態(tài),這使得有絲分裂檢測(cè)更具有挑戰(zhàn)性。有絲分裂檢測(cè)如圖5所示。
圖5 乳腺組織切片的有絲分裂檢測(cè)Fig.5 Mitosis detection of Breast histological sections
ICPR數(shù)據(jù)集[35]是由病理學(xué)家手動(dòng)標(biāo)記的乳腺病理切片數(shù)據(jù)集,在有絲分裂檢測(cè)中被廣泛使用。Ciresan使用滑動(dòng)窗在數(shù)據(jù)集中截取大量小樣本,再用CNN分類模型對(duì)樣本做有無有絲分裂的二分類,以檢測(cè)有絲分裂數(shù)目[14]。Wang等和Malon等使用人工設(shè)計(jì)特征,提取細(xì)胞核的顏色、形狀、紋理等特征,再與CNN自動(dòng)提取的特征相結(jié)合,降低了算法對(duì)人工特征的敏感度,在一定程度上降低了有絲分裂多樣性給有絲分裂檢測(cè)帶來的問題[22,36]。Chen等使用兩級(jí)深度卷積級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò),第一級(jí)大體定位有絲分裂對(duì)象,第二級(jí)網(wǎng)絡(luò)將真正的有絲分裂像從其類似物中識(shí)別出來[37]。該算法的第二級(jí)網(wǎng)絡(luò)使用遷移學(xué)習(xí)的方法,將跨領(lǐng)域?qū)W習(xí)的特征遷移到病理切片中,解決了訓(xùn)練數(shù)據(jù)不足的問題。隨后,Chen等又提出一種“端對(duì)端”的回歸網(wǎng)絡(luò)(DRN)用于有絲分裂檢測(cè)[38],同樣使用了遷移學(xué)習(xí)的方法。
綜上所述,深度學(xué)習(xí)在細(xì)胞、腺體和有絲分裂的病理切片分割和檢測(cè)等方面的研究日趨成熟。相比人工特征,深度學(xué)習(xí)的特征表達(dá)更全面;相比傳統(tǒng)算法,深度學(xué)習(xí)對(duì)于圖片噪聲的抗干擾能力強(qiáng),其結(jié)果與人工分析的結(jié)果大致相同。另外,值得注意的是,有監(jiān)督訓(xùn)練比無監(jiān)督訓(xùn)練的性能更好,但是其訓(xùn)練需要大量的標(biāo)記數(shù)據(jù)集,而這種數(shù)據(jù)集的獲取花費(fèi)較大。目前,國(guó)際上有許多病理切片算法大賽,并且提供了許多公開的標(biāo)記數(shù)據(jù)集,在病例分析算法的研究中起到了重要作用,相關(guān)賽事以及數(shù)據(jù)集如表1所示。
相比利用病理組織基本單元的特征(如細(xì)胞和細(xì)胞核、有絲分裂等)來分析病理切片,另一類廣泛應(yīng)用的方法是使用人工智能的算法(如深度學(xué)習(xí))學(xué)習(xí)組織水平上的特征,并對(duì)病理切片進(jìn)行有癌無癌的分類和癌癥分級(jí),相關(guān)文獻(xiàn)見表2。
表1 病理切片大型公開數(shù)據(jù)集一覽表Tab.1 List of pathology pubic dataset
表2 文獻(xiàn)及其分析算法Tab.2 List of literature and analysis algorithms
其中,病理學(xué)分類(分型)反映了組織細(xì)胞的生物行為和形態(tài)學(xué)特征,病理分級(jí)反映了在組織結(jié)構(gòu)和細(xì)胞形態(tài)上腫瘤組織與正常組織細(xì)胞不同程度的形態(tài)差異,可用來判斷組織是否癌變。下面將介紹深度學(xué)習(xí)在幾種不同組織病理切片的分類和分級(jí)任務(wù)中的應(yīng)用情況。
2.2.1乳腺組織切片
Camelyon16數(shù)據(jù)集是目前最大的乳腺WSI數(shù)據(jù)集(見表1),包含400張WSI圖像,如圖6所示。在乳腺前哨淋巴轉(zhuǎn)移瘤的檢測(cè)中,Wang等和Kovalev等都訓(xùn)練CNN網(wǎng)絡(luò)得到WSI切片的病變概率圖譜,再經(jīng)過后期處理檢測(cè)癌變區(qū)域[48-49]。
Bayramoglu等和Spanhol等分別使用BreaKHis數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)(該數(shù)據(jù)集其包含82個(gè)病人數(shù)據(jù))用于乳腺癌的檢測(cè)[50-51]。其中,Bayramoglu等訓(xùn)練了兩個(gè)CNN,用于多尺度地區(qū)分腫瘤的良性與惡性[50];Spanhol等選用Alexnet,對(duì)乳腺癌切片進(jìn)行分類[51]。Zejmo等在某醫(yī)院提供的數(shù)據(jù)集上,訓(xùn)練GoogLeNet用于乳腺癌的分類[52]。
浸潤(rùn)性導(dǎo)管癌(IDC)是最常見的所有乳腺癌的亞型,如圖7所示。2015年,Cruz-Roa等訓(xùn)練了一個(gè)3層CNN的二分類模型,對(duì)乳腺切片做有癌無癌的檢測(cè),結(jié)果比使用人工特征的算法高6%[53]。2016年,Shah等為了檢測(cè)乳腺癌腫瘤擴(kuò)散情況,使用了多種卷積神經(jīng)網(wǎng)絡(luò)(DenseNet、GoogLeNet、LocNet等)進(jìn)行腫瘤定位、有絲分裂識(shí)別以及特征提取,完成腫瘤3個(gè)等級(jí)的分類[54]。
圖7 病理學(xué)家標(biāo)記的浸潤(rùn)性導(dǎo)管癌組織切片(IDC)[53],標(biāo)記區(qū)域?yàn)镮DC正例,其余為IDC負(fù)例Fig.7 WSI with manual annotations from pathologists of invasive ductal carcinoma[53],annotated region correspond to positive example, the other is negative one.
在乳腺癌的研究中,免疫細(xì)胞浸潤(rùn)是一個(gè)新興的預(yù)后生物學(xué)標(biāo)志。2016年Turkki等以20位乳腺癌病人的病理切片為訓(xùn)練集,訓(xùn)練CNN進(jìn)行特征提取,而后用SVM檢測(cè)免疫細(xì)胞分布情況,用于乳腺癌診斷[55]。
2.2.2皮膚組織切片
深度學(xué)習(xí)同樣也被應(yīng)用在了皮膚腫瘤的診斷上。惡性黑色素腫瘤是最常見的皮膚腫瘤之一,但是該類病理圖像有標(biāo)記的數(shù)據(jù)集較少。2013年,Cruzroa使用深度學(xué)習(xí)來區(qū)分癌癥組織和正常組織,并通過數(shù)字染色來突出顯示待診斷區(qū)域,其結(jié)果比當(dāng)時(shí)最好的算法提高了7%[56]。Kashif等使用空間約束CNN提取空間特征,該網(wǎng)絡(luò)可以檢測(cè)癌變細(xì)胞進(jìn)而分析癌變特征[57]。Masood等提出的使用半監(jiān)督深度置信網(wǎng)絡(luò)[58]自監(jiān)督學(xué)習(xí)模型,充分利用有限的標(biāo)記數(shù)據(jù)集,學(xué)習(xí)病變特征[59],為解決皮膚病理切片數(shù)據(jù)問題提供了較好思路。
2.2.3腦組織切片
由于腦組織切片的送檢樣本通常較小且質(zhì)地疏松,所以腦組織切片往往難以制成優(yōu)質(zhì)的病理切片,導(dǎo)致非專科病理醫(yī)生診斷困難,該類切片的分析一直是一個(gè)比較大的挑戰(zhàn)。
根據(jù)MICCAI提供的癌癥和腫瘤基因圖譜(TCGA)標(biāo)準(zhǔn)數(shù)據(jù)集(見圖8),Xu等提出了一種基于遷移學(xué)習(xí)的CNN,用于腦腫瘤的分割和分類[60]。2015年,Ertosun等將深度學(xué)習(xí)應(yīng)用于腦瘤亞型的分級(jí)上,第一個(gè)8層神經(jīng)網(wǎng)絡(luò)將腫瘤區(qū)分為第2、3級(jí)和第4級(jí)兩類,第二個(gè)19層神經(jīng)網(wǎng)絡(luò)進(jìn)而區(qū)分出膠質(zhì)瘤的2、3級(jí)[61]。2016年,Hou等使用多標(biāo)簽的CNN分類模型識(shí)別神經(jīng)膠質(zhì)瘤細(xì)胞的多種形態(tài)特征,該方法能識(shí)別出常見的膠質(zhì)瘤細(xì)胞核的9個(gè)細(xì)微的、重要的病理學(xué)特征,在癌癥診斷中具有良好的準(zhǔn)確性[62]。
圖8 大腦病理切片[60]。(a)多形性惡性膠質(zhì)瘤,(b)低級(jí)神經(jīng)膠質(zhì)瘤Fig.8 Pathology slice of brain tissue[60]. (a) glioblastoma multiforme; (b) Low grade glioma
2.2.4前列腺組織切片
在前列腺癌的分類分級(jí)中, Gleason評(píng)分系統(tǒng)根據(jù)前列腺組織的細(xì)胞、腺體等結(jié)構(gòu)的形態(tài)特征,將前列腺癌分為5個(gè)等級(jí),等級(jí)越高惡性程度越高,預(yù)后也就越不理想[63]。正確的分級(jí)能夠幫助醫(yī)生采取相應(yīng)的治療方式,有著重要的意義。
2016年,Litjens等使用基于區(qū)塊(patch)的CNN計(jì)算各區(qū)域癌變的概率圖譜,再使用基于概率圖譜中可能存在病變的區(qū)域重新訓(xùn)練神經(jīng)網(wǎng)絡(luò),以便更精確地識(shí)別前列前病變[64]。K?llén等使用22層神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型,得到能夠輔助病理醫(yī)生診斷的Gleason分級(jí)模型[65]。該模型能夠?qū)leason3~5級(jí)組織與良性組織進(jìn)行分類,并根據(jù)病理學(xué)家的意見調(diào)整算法參數(shù),用于輔助病理診斷。
在結(jié)腸組織切片中,Sirinukunwattana等使用了空間約束CNN來識(shí)別切片中的細(xì)胞,再使用周邊集成預(yù)測(cè)的方法對(duì)各類結(jié)腸細(xì)胞進(jìn)行分類,并判斷該細(xì)胞是否癌變,從而識(shí)別切片中的癌變區(qū)域[66]。Xu等使用深度學(xué)習(xí)自動(dòng)學(xué)習(xí)切片的特征,分別使用多實(shí)例學(xué)習(xí)(MIL)和SVM作為分類器,結(jié)果表明弱監(jiān)督(MIL)分類效果更好[67]。
免疫組織化學(xué)染色(IHC)是一種廣泛使用的技術(shù),用于診斷異常免疫細(xì)胞的密度和位置等分布情況,可進(jìn)一步用于癌癥預(yù)后預(yù)測(cè)。由于數(shù)據(jù)集的限制,目前IHC病理切片的相關(guān)研究較少。由于IHC圖像的RGB通道對(duì)應(yīng)不同的結(jié)構(gòu),Chen等將RGB通道分離并選擇代表膜標(biāo)記的通道,利用深度學(xué)習(xí)檢測(cè)該通道的免疫細(xì)胞分布情況,該結(jié)果大體與人工分析結(jié)果持平[68]。
由于制作病理切片時(shí)相機(jī)的差異和染色過程存在許多變量(例如,試樣的厚度、染色劑的濃度、制造商、時(shí)間和溫度的污漬),因此都可能影響最終組織標(biāo)本的外觀。病理醫(yī)生可以根據(jù)自身的經(jīng)驗(yàn)來加以甄別,而人工智能算法卻難以克服這種多樣性帶來的影響。為了克服圖像的多樣性帶來的影響,Janowczyk等采用稀疏自動(dòng)編碼器(SAE),通過迭代學(xué)習(xí)生成過濾器來優(yōu)化重建圖像,從而改變目標(biāo)圖像以匹配到模板圖像的顏色空間[69]。Sethi等在上皮細(xì)胞基質(zhì)分類中驗(yàn)證了顏色標(biāo)準(zhǔn)化,確實(shí)可以為分類帶來一定的增益[70]。更具體來說,對(duì)于基于超像素分類的算法有較低的增量效益,而對(duì)于CNN的分類算法有較高的增益。
在本研究中,主要闡釋了深度學(xué)習(xí)理論在病理切片定量分析中的應(yīng)用情況,如細(xì)胞層面上的檢測(cè)分割、組織層面上的分類與癌癥的分級(jí)等。CNN針對(duì)大數(shù)據(jù)樣本強(qiáng)大的自動(dòng)特征學(xué)習(xí)的能力,適用于臨床上大量積累的WSI切片的定量分析;同時(shí),CNN在特征提取過程中不需要研究人員具備一定的專業(yè)知識(shí),讓病理方向的研究對(duì)計(jì)算機(jī)等領(lǐng)域的研究人員開放,有利于病理分析領(lǐng)域的發(fā)展。
但是,深度學(xué)習(xí)在病理切片分析領(lǐng)域的應(yīng)用仍存在一定的局限性:
1)運(yùn)算開銷大,卷積神經(jīng)網(wǎng)絡(luò)需要基于GPU實(shí)現(xiàn),但由于GPU存儲(chǔ)容量的限制,WSI切片圖像的尺寸過大,無法直接作為輸入,神經(jīng)網(wǎng)絡(luò)對(duì)WSI采樣則會(huì)損失部分有用信息。
2)目前深度學(xué)習(xí)廣泛應(yīng)用的卷積神經(jīng)網(wǎng)絡(luò)是有監(jiān)督學(xué)習(xí),需要細(xì)致地標(biāo)注圖像中癌癥組織的位置,而標(biāo)注數(shù)據(jù)的獲得成本較高。
3)雖然現(xiàn)今的人工智能在病理切片自動(dòng)分析的研究中取得了一定的進(jìn)展,但是并沒有很好地應(yīng)用于臨床中。結(jié)合“云病理平臺(tái)”等前沿科技,促進(jìn)科研與臨床實(shí)踐相結(jié)合的研究。
4)癌癥的分級(jí)情況與預(yù)后有著十分密切的關(guān)系,目前的癌癥分期系統(tǒng)對(duì)個(gè)性化癌癥治療和預(yù)后的預(yù)測(cè)仍不夠精準(zhǔn)。深度學(xué)習(xí)有望在預(yù)后中取得突破性進(jìn)展,但是該應(yīng)用還處于起步階段,有待加強(qiáng)。
目前,人工智能技術(shù)在病理學(xué)中應(yīng)用廣泛,定量分析為病理診斷提供了一系列定量化指標(biāo),彌補(bǔ)了醫(yī)生主觀經(jīng)驗(yàn)中的不可預(yù)測(cè)因素,提高了病情診斷的準(zhǔn)確性。在人工智能算法的幫助下,病理切片的計(jì)算機(jī)輔助診斷的知識(shí)體系將不斷完善,最終能夠?yàn)椴∪颂峁╊A(yù)后信息和精準(zhǔn)的藥物治療指導(dǎo)。
[1] Weinstein RS, Graham AR, Richter LC, et al. Overview of telepathology, virtual microscopy, and whole slide imaging: prospects for the future [J]. Human Pathology, 2009, 40(8):1057-1069.
[2] Kothari S, Phan JH, Stokes TH, et al. Pathology imaging informatics for quantitative analysis of whole-slide images [J]. Journal of the American Medical Informatics Association, 2013, 20(6):1099-1108.
[3] Webster JD, Dunstan RW. Whole-slide imaging and automated image analysis: considerations and opportunities in the practice of pathology[J]. Veterinary Pathology, 2014, 51(1):211-223.
[4] Madabhushi A, Lee G. Image analysis and machine learning in digital pathology: Challenges and opportunities [J]. Medical Image Analysis, 2016, 33:170-175.
[5] Lecun Y, Bengio Y, Hinton G. Deep learning [J]. Nature, 2015, 521(7553):436-644.
[6] Rumelhart DE, Hinton GE, Williams RJ. Learning internal representations by error propagation [M] //Neurocomputing: Foundations of Research. Cambridge:MIT Press, 1988:318-362.
[7] Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks [C]// International Conference on Neural Information Processing Systems. Nevada: Curran Associates Inc, 2012:1097-1105.
[8] Jia Deng, Wei Dong, Socher R, et al. Imagenet: A large-scale hierarchical image database [C] // IEEE Conference on Computer Vision and Pattern Recognition. Miami: IEEE, 2009:248-255.
[9] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [J]. Computer Science, 2014.
[10] Szegedy C, Liu Wei, Jia Yangqing, et al. Going deeper with convolutions [C] //IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE, 2015:1-9.
[11] Treanor D. Virtual slides: An introduction [J]. Diagnostic Histopathology, 2009, 15(2):99-103.
[12] Malon CD, Eric C. Classification of mitotic figures with convolutional neural networks and seeded blob features [J]. Journal of Pathology Informatics. 2013, 4(1):9-18.
[13] Janowczyk A, Madabhushi A. Deep learning for digital pathology image analysis: A comprehensive tutorial with selected use cases [J]. Journal of Pathology Informatics, 2016, 7:29-38.
[15] Gurcan MN, Boucheron LE, Can A, et al. Histopathological image analysis: A review [J]. IEEE Reviews in Biomedical Engineering, 2009, 2:147-171.
[16] Nedzved A, Ablameyko S, Pitas I. Morphological segmentation of histology cell images [C] // International Conference on Pattern Recognition. Barcelona: IEEE, 2000:500-503.
[17] Chang Hang, Borowsky A, Spellman P, et al. Classification of tumor histology via morphometric context [C] // IEEE Conference on Computer Vision and Pattern Recognition. Portland: IEEE, 2013, 2013:2203-2210.
[18] Huang P, Lee C. Automatic classification for pathological prostate images based on fractal analysis [J]. IEEE Transactions on Medical Imaging, 2009, 28(7):1037-1050.
[19] Kong J, Sertel O, Shimada H, et al. Computer-aided evaluation of neuroblastoma on whole-slide histology images: Classifying grade of neuroblastic differentiation [J]. Pattern Recognition, 2009, 42(6):1080-1092.
[20] Tosun AB, Gunduz-Demir C. Graph run-length matrices for histopathological image segmentation [J]. IEEE Transactions on Medical Imaging, 2011, 30(3):721-732.
[21] Al-Kofahi Y, Lassoued W, Lee W, et al. Improved automatic detection and segmentation of cell nuclei in histopathology images [J]. IEEE Transactions on Biomedical Engineering, 2010, 57(4):841-852.
[22] Wang Haibo, Cruz-Roa A, Basavanhally A, et al. Mitosis detection in breast cancer pathology images by combining handcrafted and convolutional neural network features [J]. Journal of Medical Imaging, 2014, 1(3):034003.
[23] Xing Fuyong, Xie Yuanfu, Yang Lin. An automatic learning-based framework for robust nucleus segmentation [J]. IEEE Transactions on Medical Imaging, 2016, 35(2):550-566.
[24] Chen Ting, Chefd Hotel C. Deep learning based automatic immune cell detection forimmuno-histochemistry images [C] // International Workshop on Machine Learning in Medical Imaging. Boston: Spring, 2014:17-24.
[25] Song Youyi, Zhang Ling, Chen Siping, et al. Accurate segmentation of cervical cytoplasm and nuclei based on multiscale convolutional network and graph partitioning [J]. IEEE Transactions on Biomedical Engineering, 2015, 62(10):2421-2433.
[26] Song Youyi, Tan Elang, Jiang Xudong, et al. Accurate cervical cell segmentation from overlapping clumps in pap smear images [J]. IEEE Transactions on Medical Imaging, 2017, 36(1):288-300.
[27] Akram SU, Kannala J, Eklund L, et al. Cell Segmentation Proposal Network for Microscopy Image Analysis [M] //Phoenix: Springer International Publishing, 2016, 10008:21-29.
[28] Ronneberger O, Fischer P, Brox T. U-Net:Convolutional Networks for Biomedical Image Segmentation [C] // International Conference on Medical Image Computing and Computer Assisted Intervention. Munich: Springer-Cham, 2015:234-241.
[29] Xie Yuanpu, Xing Fuyong, Kong Xiangfei, et al. Beyond classification: structured regression for robust cell detection using convolutional neural network [C] // International Conference on Medical Image Computing and Computer Assisted Intervention. Munich: Springer-Cham, 2015:358-365.
[30] Sirinukunwattana K, Pluim JP, Chen H, et al. Gland segmentation in colon histology images: The glas challenge contest [J]. Medical Image Analysis, 2017, 35:489-502.
[31] Kainz P, Pfeiffer M, Urschler M. Semantic segmentation of colon glands with deep convolutional neural networks and total variation segmentation [J]. Computer Science, 2015.
[32] Bentaieb A, Kawahara J, Hamarneh G. Multi-loss convolutional networks for gland analysis in microscopy [C] // IEEE International Symposium on Biomedical Imaging. Prague: IEEE, 2016:642-645.
[33] Chen Hao, Qi Xiaojuan, Yu Lequan, et al. Dcan: deep contour-aware networks for accurate gland segmentation [C] // IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016:2487-2496.
[34] Xu Yan, Li Yang, Liu Mingyuan, et al. Gland instance segmentation by deep multichannel side supervision [C] // International Conference on Medical Image Computing and Computer-Assisted Intervention. Athens: Springer-Cham, 2016:496-504.
[35] Roux L, Racoceanu D, Lom NN, et al. Mitosis detection in breast cancer histological images: An ICPR 2012 contest[J]. Journal of Pathology Informatics, 2013, 4:8-16.
[36] Malon CD, Cosatto E. Classification of mitotic figures with convolutional neural networks and seeded blob features [J]. Journal of Pathology Informatics, 2013, 4(1):9-17.
[37] Chen Hao, Dou Qi, Wang Xi, et al. Mitosis detection in breast cancer histology images via deep cascaded networks [C] //Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence. Phoenix: AAAI, 2016:1160-1166.
[38] Chen Hao, Wang Xi, Heng Peng'an. Automated mitosis detection with deep regression networks [C] //IEEE International Symposium on Biomedical Imaging. Minsk: IEEE, 2016:1204-1207.
[39] Radboud University Medical Center, and the University Medical Center Utrecht. ISBI challenge on cancer metastasis detection in lymph nodes [EB/OL].https://camelyon16.grandchallenge.org/, 2016-04-14/2017-10-30.
[40] Department of Pathology of the Radboud University Medical Center in Nijmegen. CAMELYON17 [EB/OL]. https://camelyon17.grand -challenge.org/, 2017-05-15/2017-10-30.
[41] Gregory CS. A public domain database for computational anatomy [EB/OL]. http://www.ima-genglab.com/newsite/pddca/, 2016-12-30/2017-10-30.
[42] National Cancer Institute. Genomic data commons data portal [EB/OL]. https://portal.gdc.cancer.gov, 2017-10-24/2017-10-30.
[43] Ludovic Roux. ICPR 2012-Mitosis detection contest [EB/OL]. http://www.ipal.cnrs.fr/event/icpr-2012, 2012-11-15/2017-10-30.
[44] Frédérique C. Mitos-atypia-14 [EB/OL], https://mitosatypia-14.grand challenge.org/dataset/, 2014/2017-10-30.
[45] 21th International Conference on Pattern Recognition. Contest on hep-2 cells classification [EB/OL].http://nerone.diem.unisa.it/hep2contest/dataset.shtml, 2011-11-15/2017-3-24.
[46] Araújo, T. ICPR2018 gland challenge on breast cancer histology images [EB/OL]. https://iciar2018-challenge.grand-challenge.org/dataset/, 2017/11/1-2017/11/21.
[47] Ana PP and Paulode CA. Bioimaging 2015 4th international symposium in applied bioimaging [EB/OL].http://www.bioimaging2015.ineb.up.pt/challenge_overview.html, 2015/11/16/2017/11/21.
[48] Wang Dayong, Khosla A, Gargeya R, et al. Deep learning for identifying metastatic breast cancer [J]. arXiv, 2016,1606:05718.
[49] Kovalev V, Kalinovsky А, Liauchuk V. Deep learning in big image data: Histology image classification for breast cancer diagnosis [C] //International Conference on Big Data and Advanced Analytics. Boston: IEEE, 2016:15-17.
[50] Bayramoglu N, Kannala J, Heikkil? J. Deep learning for magnification independent breast cancer histopathology image classification [C] // International Conference on Pattern Recognition. IEEE. Plymouth: Springer, London, 2017:2440-2445.
[51] Spanhol FA, Oliveira LS, Petitjean C, et al. Breast cancer histopathological image classification using convolutional neural networks [C] // International Joint Conference on Neural Networks. Vancouver: IEEE, 2016:2560-2567.
[53] Cruz-Roa A, Basavanhally A, Gonz Lez F, et al. Automatic detection of invasive ductal carcinoma in whole slide images with convolutional neural networks [C] // SPIE Medical Imaging. San Diego: International Society for Optics and Photonics, 2014:139-144.
[54] Shah M, Rubadue C, Suster D, et al. Deep learning assessment of tumor proliferation in breast cancer histological images [J]. Computer Science, 2016.
[55] Turkki R, Linder N, Kovanen PE, et al. Antibody-supervised deep learning for quantification of tumor-infiltrating immune cells in hematoxylin and eosin stained breast cancer samples [J]. Journal of Pathology Informatics, 2016, 7(1):38.
[56] Cruz-Roa A, Ovalle JEA, Madabhushi A, et al. A deep learning architecture for image representation, visual interpretability and automated basal-cell carcinoma cancer detection [C] // International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin: Springer-Berlin-Heidelberg, 2013:403-410.
[57] Kashif MN, Shan EAR, Sirinukunwattana K, et al. Handcrafted features with convolutional neural networks for detection of tumor cells in histology images [C] // IEEE International Symposium on Biomedical Imaging. Prague: IEEE, 2016:1029-1032.
[58] Hinton GE, Osindero S, Teh YW. A fast learning algorithm for deep belief nets [J]. Neural Computation, 2006, 18(7):1527-1554.
[59] Masood A, Al-Jumaily A, Anam K. Self-supervised learning model for skin cancer diagnosis [C] //International IEEE/EMBS Conference on Neural Engineering. Montpellier: IEEE, 2015:1012-1015.
[60] Xu Yan, Jia Zhipeng, Ai Yuqing, et al. Deep convolutional activation features for large scale brain tumor histopathology image classification and segmentation [C] // IEEE International Conference on Acoustics. Brisbane: IEEE, 2015:947-951.
[61] Ertosun M, Rubin DL. Automated grading of gliomas using deep learning in digital pathology images: A modular approach with ensemble of convolutional neural networks [C] // American Medical Informatics Association Annual Symposium Proceedings. San Francisco: AMIA, 2015:1899-1908.
[62] Hou Le, Singh K, Samaras D, et al. Automatic histopathology image analysis with CNNs [C] //New York Scientific Data Summit. New York: IEEE, 2016:1-6.
[63] K?llén H, Molin J, Heyden A, et al. Towards grading gleason score using generically trained deep convolutional neural networks [C] //IEEE Inter-national Symposium on Biomedical Imaging. Prague: IEEE, 2016:1163-1167.
[64] Litjens G, Nchez CI, Timofeeva N, et al. Deep learning as a tool for increased accuracy and efficiency of histopathological diagnosis [J]. Scientific Reports, 2016, 6:26286.
[65] K?llén H, Molin J, Heyden A, et al. Towards grading gleason score using generically trained deep convolutional neural networks [C] // IEEE International Symposium on Biomedical Imaging. Prague: IEEE, 2016:1163-1167.
[66] Sirinukunwattana K, Raza SEA, Tsang YW, et al. Locality sensitive deep learning for detection and classification of nuclei in routine colon cancer histology images [J]. IEEE Transactions on Medical Imaging, 2016, 35(5):1196-1206.
[67] Xu Yan, Mo Tao, Feng Qiwei, et al. Deep learning of feature representation with multiple instance learning for medical image analysis [C] // IEEE International Conference on Acoustics, Speech and Signal Processing. Florence: IEEE, 2014:1626-1630.
[68] Chen Ting, Chefd'hotel C. Deep learning based automatic immune cell detection forimmuno-histochemistry images [C] // International Workshop on Machine Learning in Medical Imaging. Quebes: Springer-Cham, 2014:17-24.
[69] Janowczyk A, Basavanhally A, Madabhushi A. Stain normalization using sparse autoencoders (StaNoSA): Application to digital pathology [J]. Computerized Medical Imaging & Graphics, 2016, 57:50-61.
[70] Sethi A, Sha L, Vahadane AR, et al. Empirical comparison of color normalization methods for epithelial-stromal classification in H and E images [J]. Journal of Pathology Informatics, 2016, 7(8):468-476.