李 華，楊嘉能 ，劉 鳳，南方哲，錢(qián)育蓉

1.新疆大學(xué) 軟件學(xué)院，烏魯木齊 830046

2.新疆維吾爾自治區(qū)信號(hào)檢測(cè)與處理重點(diǎn)實(shí)驗(yàn)室，烏魯木齊 830046

1 引言

據(jù)世界衛(wèi)生組織（WHO）下屬的國(guó)際癌癥研究中心（IARC）的統(tǒng)計(jì)，2012年死于癌癥的人數(shù)有820萬(wàn)人，預(yù)計(jì)2030 年因癌癥死亡的人數(shù)將達(dá)到2 700 萬(wàn)人[1]，其中乳腺癌是女性中最常見(jiàn)的癌癥。乳腺癌疾病的檢測(cè)和診斷可以通過(guò)成像系統(tǒng)程序，如乳腺X線、磁共振圖像、超聲圖像和熱圖[2]。癌癥篩查的影像學(xué)研究已有40 多年歷史[3]，然而，臨床上，基于病理圖像的活檢無(wú)疑是檢測(cè)乳腺疾病的金標(biāo)準(zhǔn)[4]，也是對(duì)病理圖像進(jìn)行準(zhǔn)確分類(lèi)時(shí)醫(yī)生制訂最佳治療方案的重要依據(jù)。

目前針對(duì)乳腺癌病理圖像的分類(lèi)研究主要分為兩類(lèi)：基于人工特征的傳統(tǒng)的乳腺癌病理圖像分類(lèi)方法；基于深度學(xué)習(xí)的乳腺癌病理圖像分類(lèi)方法。基于人工特征的傳統(tǒng)的乳腺癌病理圖像分類(lèi)方法采用人工提取特征，基于這些特征使用支持向量機(jī)[5]、隨機(jī)森林[6]等分類(lèi)器完成分類(lèi)。該方法存在高要求的專(zhuān)業(yè)知識(shí)、提取特征耗費(fèi)時(shí)間和提取高質(zhì)量特征難等缺點(diǎn)。相對(duì)于傳統(tǒng)分類(lèi)方法，基于深度學(xué)習(xí)[7]（Deep Learning，DL）的乳腺癌病理圖像分類(lèi)方法，利用網(wǎng)絡(luò)自主學(xué)習(xí)相應(yīng)的特征，克服了需要專(zhuān)業(yè)人士手工提取特征的缺點(diǎn)，同時(shí)節(jié)省了人工提取特征的時(shí)間。本文將主要介紹基于深度學(xué)習(xí)的乳腺癌病理圖像分類(lèi)的研究。

當(dāng)下，基于深度學(xué)習(xí)的乳腺病理分類(lèi)方法主要采用的深度學(xué)習(xí)模型[8-11]有卷積神經(jīng)網(wǎng)絡(luò)、自動(dòng)編碼器、深度殘差網(wǎng)絡(luò)和密集連接網(wǎng)絡(luò)。這些方法利用深度學(xué)習(xí)模型自學(xué)習(xí)的特點(diǎn)，自動(dòng)提取乳腺癌病理圖像的特征，實(shí)現(xiàn)乳腺癌病理圖像的分類(lèi)。一方面，其方法避免了傳統(tǒng)算法中人工設(shè)計(jì)、提取特征的復(fù)雜性和局限性；另一方面，深度學(xué)習(xí)在自然語(yǔ)言處理、普通圖像分類(lèi)識(shí)別、物體識(shí)別等領(lǐng)域獲得了廣泛應(yīng)用[12-15]，為深度學(xué)習(xí)在乳腺癌病理圖像分類(lèi)中的應(yīng)用奠定基礎(chǔ)[16-17]。

本文針對(duì)目前主流的基于深度學(xué)習(xí)的乳腺癌病理圖像分類(lèi)模型進(jìn)行了歸納總結(jié)。第一部分對(duì)乳腺癌病理圖像分類(lèi)進(jìn)行簡(jiǎn)要介紹，第二部分和第三部分對(duì)基于深度學(xué)習(xí)的乳腺癌病理圖像分類(lèi)的相關(guān)模型進(jìn)行詳細(xì)論述，第四部分介紹相關(guān)數(shù)據(jù)集，根據(jù)常用的模型評(píng)價(jià)標(biāo)準(zhǔn)，在相同的數(shù)據(jù)集上對(duì)四種深度學(xué)習(xí)模型進(jìn)行實(shí)驗(yàn)對(duì)比分析，第五部分，對(duì)乳腺癌病理圖像分類(lèi)的未來(lái)發(fā)展趨勢(shì)進(jìn)行了展望。

2 乳腺癌病理圖像分類(lèi)

2.1 乳腺癌病理圖像分類(lèi)方法概述

醫(yī)學(xué)影像不同的成像方式[18]包括X 射線、組織活檢、計(jì)算機(jī)斷層掃描（CT）、磁性、共振成像（MRI）、正電子發(fā)射斷層掃描（PET），超聲等。其中，利用組織活檢技術(shù)對(duì)乳腺進(jìn)行穿刺得到乳腺癌病理圖像。

乳腺癌病理圖像分類(lèi)任務(wù)[19]主要是利用良性病變和惡性病變不同的紋理特征、幾何特征、形態(tài)特征、光密度特征進(jìn)行分析，來(lái)選擇特征參數(shù)，通過(guò)反演推測(cè)不同類(lèi)型的特征，實(shí)現(xiàn)分類(lèi)的效果。圖1是基于乳腺癌病理圖像分類(lèi)系統(tǒng)框架。主要研究?jī)?nèi)容包括四部分：圖像預(yù)處理、圖像特征提取、分類(lèi)決策和診斷結(jié)果。

圖1 乳腺癌病理圖像分類(lèi)系統(tǒng)框架

傳統(tǒng)的乳腺病理圖像分類(lèi)方法常采用圖像分割技術(shù)，如基于細(xì)胞核的分割方法，以及很多常用的圖像分析算法，如分水嶺算法、活動(dòng)輪廓、水平集算法、K-means聚類(lèi)算法以及區(qū)域生長(zhǎng)等。通過(guò)對(duì)細(xì)胞核相關(guān)特征及核間組織形態(tài)進(jìn)行分析，提取圖像的形態(tài)和紋理等相關(guān)特征，使用傳統(tǒng)的分類(lèi)器，如支持向量機(jī)（Support Vector Machine，SVM）或基于特定問(wèn)題設(shè)計(jì)的分類(lèi)器對(duì)圖像進(jìn)行分類(lèi)。在特征提取部分，常采用通用特征描述符，如尺度不變性特征變換（Scale Invariant Feature Transform，SIFT）、灰度共生矩陣（Gray-Level Co-occurrence Matrix，GLCM）和梯度方向直方圖（Histogram of Oriented Gradients，HOG）等。

基于傳統(tǒng)方法的乳腺病理圖像分類(lèi)效果的局限性在于人工設(shè)計(jì)提取的特征通常針對(duì)某種特定特性的病變類(lèi)型具有良好的適應(yīng)性，難以有效蘊(yùn)含變化多樣的病變特征，在實(shí)際應(yīng)用中，分類(lèi)模型的泛化能力差。

相比于傳統(tǒng)的乳腺病理圖像分類(lèi)方法，基于深度學(xué)習(xí)的乳腺病理圖像分類(lèi)方法可以學(xué)習(xí)更具泛化性的特征表示，以適應(yīng)在實(shí)際診療場(chǎng)景中，對(duì)變化多樣的乳腺病理圖像進(jìn)行檢測(cè)。

2.2 乳腺癌病理圖像分類(lèi)存在的問(wèn)題

不同于普通圖像，乳腺癌病理圖像獲取困難，圖像信息含量大，病變類(lèi)型多種多樣，乳腺癌病理圖像分類(lèi)是一項(xiàng)非常有挑戰(zhàn)性的工作，已成為當(dāng)前研究的重點(diǎn)，主要包括以下四種：

一是由于病理圖像自身固有的復(fù)雜性和多樣性的特點(diǎn)。醫(yī)學(xué)圖像之間細(xì)微的差異性、細(xì)胞重疊現(xiàn)象、顏色分布不均勻等，給圖像分類(lèi)工作帶來(lái)了很大的困難。主要表現(xiàn)在醫(yī)學(xué)的相關(guān)病理特征成因復(fù)雜，圖像方面的隨機(jī)噪音很大以及圖像斷層之間的重疊，使得顯微檢查成為一項(xiàng)勞動(dòng)密集型的繁瑣任務(wù)，成本高，耗時(shí)久且易出現(xiàn)誤診問(wèn)題。

二是由于缺乏大型公開(kāi)的、已標(biāo)記的數(shù)據(jù)集。醫(yī)學(xué)圖像涉及倫理，導(dǎo)致公用醫(yī)學(xué)圖像獲取困難，然而利用深度學(xué)習(xí)訓(xùn)練模型一般需要的數(shù)據(jù)量較多，給算法研究帶來(lái)一定的困難。

三是由于目前缺乏專(zhuān)業(yè)的病理醫(yī)師。病理學(xué)家的診斷結(jié)果直接影響著后續(xù)的治療方案，權(quán)威的病理學(xué)家需經(jīng)過(guò)高度專(zhuān)業(yè)的訓(xùn)練以及豐富的閱片經(jīng)驗(yàn)，而這些經(jīng)驗(yàn)和專(zhuān)業(yè)難以繼承和創(chuàng)新。

四是由于不同病理學(xué)家評(píng)判標(biāo)準(zhǔn)的主觀性。病理切片中病理和細(xì)胞學(xué)特征評(píng)判標(biāo)準(zhǔn)的主觀性和個(gè)人經(jīng)驗(yàn)差別使得不同病理學(xué)家之間的平均診斷一致性只有大約75%。

圖2 卷機(jī)神經(jīng)網(wǎng)絡(luò)概念結(jié)構(gòu)圖

針對(duì)上述問(wèn)題，一方面，基于深度學(xué)習(xí)的方法不同于傳統(tǒng)方法，不需要人工提取特征，降低了對(duì)專(zhuān)業(yè)病理醫(yī)生的需求，可以利用網(wǎng)絡(luò)不斷學(xué)習(xí)圖像特征，對(duì)變化多樣的乳腺病理圖像進(jìn)行檢測(cè)，這在一定程度上解決了病理圖像自身固有的復(fù)雜性和多樣性、缺乏專(zhuān)業(yè)的病理醫(yī)師以及不同病理學(xué)家評(píng)判標(biāo)準(zhǔn)的主觀性等問(wèn)題；另一方面，面對(duì)大型公開(kāi)的、已標(biāo)記的數(shù)據(jù)集缺乏的問(wèn)題，會(huì)給深度學(xué)習(xí)方法訓(xùn)練優(yōu)化模型帶來(lái)困難，雖然難以直接解決，但是可以利用無(wú)監(jiān)督或半監(jiān)督學(xué)習(xí)、數(shù)據(jù)增強(qiáng)以及遷移學(xué)習(xí)等方法，緩解醫(yī)學(xué)數(shù)據(jù)缺乏帶來(lái)的問(wèn)題?？偟膩?lái)說(shuō)，深度學(xué)習(xí)方法比傳統(tǒng)方法更具優(yōu)勢(shì)，因此近年來(lái)被越來(lái)越多的研究者所采納。

3 深度學(xué)習(xí)模型

深度神經(jīng)網(wǎng)絡(luò)的很多結(jié)構(gòu)模型都被應(yīng)用在醫(yī)學(xué)影像中，其中對(duì)于乳腺癌病理圖像分類(lèi)模型應(yīng)用廣泛的包括卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）、自動(dòng)編碼器（AutoEncoder，AE）、深度殘差網(wǎng)絡(luò)（Residual Neural Network，ResNet）和密集連接網(wǎng)絡(luò)（Dense Convolutional Network，DenseNet）。下文就對(duì)這些模型的原理和框架進(jìn)行簡(jiǎn)單介紹。

3.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN在大規(guī)模圖像特征表示和分類(lèi)中取得了很大的成功，是神經(jīng)網(wǎng)絡(luò)中一個(gè)非常經(jīng)典的模型[20-21]。在CNN[22-24]中，主要包括三種網(wǎng)絡(luò)層：卷積層（Convolutions）、采樣層（Sub Sampling）和全連接層（Fully Connected）。其典型的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示。

CNN的關(guān)鍵思想在于多層堆疊、局部連接、權(quán)值共享和池化。CNN 中的層與層之間不再是全連接的，而是局部連接的，這樣可以大大簡(jiǎn)化模型的復(fù)雜度，減少參數(shù)的數(shù)量。CNN 能夠自學(xué)習(xí)圖像特征，無(wú)需專(zhuān)業(yè)病理醫(yī)師進(jìn)行人工操作復(fù)雜的特征提取，更適合應(yīng)用于乳腺病理圖像特征的學(xué)習(xí)與表達(dá)，目前CNN 已成為乳腺癌病理圖像研究中深度學(xué)習(xí)算法的關(guān)鍵，且適用于多種醫(yī)學(xué)問(wèn)題[4]，例如醫(yī)學(xué)圖像識(shí)別、醫(yī)學(xué)分割等方面。

3.2 深度殘差網(wǎng)絡(luò)

ResNet[25]結(jié)構(gòu)可以極快的加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，模型的準(zhǔn)確率也有比較大的提升，同時(shí)參數(shù)量比VGGNet[26]低。理論上在特征提取時(shí)增加網(wǎng)絡(luò)的深度或者寬度，提取到的細(xì)節(jié)與抽象能力就越豐富，然而僅僅進(jìn)行簡(jiǎn)單的層數(shù)增加操作，會(huì)出現(xiàn)梯度爆炸或梯度彌散的問(wèn)題，傳統(tǒng)解決方法如數(shù)據(jù)初始化（normlized initializatiton）和正則化（batch normlization）[27]操作，雖然解決了梯度問(wèn)題，但是會(huì)導(dǎo)致網(wǎng)絡(luò)性能退化。殘差網(wǎng)絡(luò)則克服了神經(jīng)網(wǎng)絡(luò)深度增加導(dǎo)致性能易退化的缺點(diǎn)，其主要思想是與Highway Network的思想類(lèi)似，允許原始輸入信息直接傳輸?shù)胶竺嬉粚?，其結(jié)構(gòu)如圖3所示。

圖3 殘差網(wǎng)絡(luò)結(jié)構(gòu)圖

ResNet 采用跳躍連接方式，能提取多層特征信息，適用于乳腺病理圖像復(fù)雜性高、顏色分布不均勻、不易提取等問(wèn)題且殘差網(wǎng)絡(luò)已經(jīng)被廣泛應(yīng)用到計(jì)算機(jī)視覺(jué)[28]、圖像識(shí)別[29]、行人檢測(cè)[30]等相關(guān)領(lǐng)域的模型中。

3.3 密集連接網(wǎng)絡(luò)

ResNet 模型的核心是通過(guò)建立前面層與后面層之間的“短路連接”（shortcuts，skip connection），這有助于訓(xùn)練過(guò)程中梯度的反向傳播，從而能訓(xùn)練出更深的CNN網(wǎng)絡(luò)。DenseNet 模型的基本思路與ResNet 一致，但是它建立的是前面所有層與后面層的密集連接[31]（dense connection）。DenseNet 的另一大特色是通過(guò)特征在channel上的連接來(lái)實(shí)現(xiàn)特征重用（feature reuse）。這些特點(diǎn)讓DenseNet在參數(shù)和計(jì)算成本更少的情形下實(shí)現(xiàn)比ResNet更優(yōu)的性能。

相比ResNet，DenseNet是一種密集連接且DenseNet是直接連接來(lái)自不同層的特征圖，這可以充分結(jié)合病理圖像上下文信息，易于復(fù)雜的乳腺病理圖像分類(lèi)，能夠?qū)崿F(xiàn)特征重用，提升模型效率，其結(jié)構(gòu)圖如圖1 所示。DenseNet 在語(yǔ)義切割[32]、語(yǔ)音識(shí)別[33]和圖像分類(lèi)[34]等領(lǐng)域都得到了廣泛的應(yīng)用。

圖4 DenseNet結(jié)構(gòu)圖

3.4 自動(dòng)編碼器

自動(dòng)編碼器是人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）的一種形式[35]，用于無(wú)監(jiān)督學(xué)習(xí)模型。AE 能夠從圖像數(shù)據(jù)中學(xué)習(xí)生成的表示，通過(guò)減少隱層的維數(shù)空間來(lái)構(gòu)造輸出層上的輸入。自動(dòng)編碼器被廣泛應(yīng)用于乳腺圖像分析中的檢測(cè)任務(wù)，尤其是公開(kāi)、已標(biāo)記的醫(yī)學(xué)數(shù)據(jù)集缺乏，利用無(wú)監(jiān)督學(xué)習(xí)的自動(dòng)編碼器，適用于對(duì)缺乏的乳腺病理圖像進(jìn)行處理。其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖5所示。

圖5 自動(dòng)編碼器網(wǎng)絡(luò)結(jié)構(gòu)圖

自編碼技術(shù)，包括稀疏自編碼（Spase AutoEncoder，SpaseAE）、棧式自編碼器（Stack AutoEncoder，SAE）、變分自編碼（Vector AutoEncoder，VAE）、堆疊去噪自動(dòng)編碼器（Stacking Denoising AutoEncoder，SDAE）等。其中，SAE[36]常用于醫(yī)學(xué)圖像分析，是一個(gè)由多層訓(xùn)練好的自編碼器組成的神經(jīng)網(wǎng)絡(luò)。由于網(wǎng)絡(luò)中的每一層都是單獨(dú)訓(xùn)練而來(lái)，相當(dāng)于都初始化了一個(gè)合理的數(shù)值，使網(wǎng)絡(luò)更容易訓(xùn)練且具有更快的收斂性及更高的準(zhǔn)確度。

4 基于深度學(xué)習(xí)的乳腺癌病理分類(lèi)方法

4.1 基于卷積神經(jīng)網(wǎng)絡(luò)的方法

基于卷積神經(jīng)網(wǎng)絡(luò)的分類(lèi)方法，其核心思想是利用卷積神經(jīng)網(wǎng)絡(luò)的機(jī)制，利用端到端的學(xué)習(xí)方法，輸入醫(yī)學(xué)圖像，從醫(yī)學(xué)圖像底層數(shù)據(jù)中學(xué)習(xí)醫(yī)學(xué)數(shù)據(jù)的特征信息，如良性病變和惡性病變不同的紋理特征、幾何特征、形態(tài)特征、光密度特征，并利用損失函數(shù)不斷對(duì)學(xué)習(xí)到的特性進(jìn)行改進(jìn)，從而使網(wǎng)絡(luò)模型具有更好的分類(lèi)效果。

Spanhol[37]等人分別測(cè)試了 LeNet[38]和 AlexNet[39]模型，將乳腺癌腫瘤分為良、惡性?xún)煞N，準(zhǔn)確率分別為72%和80.8%～85.6%。由此可得LeNet 模型結(jié)構(gòu)比AlexNet簡(jiǎn)單，造成提取信息不足，導(dǎo)致準(zhǔn)確率偏低。沿著改進(jìn)CNN網(wǎng)絡(luò)層數(shù)，提高分類(lèi)精度的思想，Vang等人[40]提出了基于InceptionV3 模型的乳腺病理圖像分類(lèi)方法，其主要思想是加深網(wǎng)絡(luò)模型的層數(shù)，通過(guò)包含多數(shù)投票、梯度提升機(jī)（GBM）和Logistic 回歸的集成融合框架來(lái)進(jìn)行補(bǔ)丁級(jí)預(yù)測(cè)，以獲得圖像水平預(yù)測(cè)。

雖然，在基于卷積神經(jīng)網(wǎng)絡(luò)的方法中利用增加卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)以及優(yōu)化各層參數(shù)，可以有效克服網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，圖像特征提取能力弱的缺陷，極大程度上緩解了提取乳腺癌病理圖像本身的復(fù)雜性，圖像細(xì)節(jié)特征繁雜的問(wèn)題，使模型達(dá)到良好的分類(lèi)效果，但是隨之會(huì)增加模型的訓(xùn)練時(shí)間以及可能會(huì)產(chǎn)生網(wǎng)絡(luò)訓(xùn)練時(shí)的梯度消失和梯度爆炸現(xiàn)象。

4.2 基于深度殘差網(wǎng)絡(luò)的方法

理論上，對(duì)卷積神經(jīng)網(wǎng)絡(luò)不斷加深網(wǎng)絡(luò)層數(shù)，可以提高特征提取能力，實(shí)現(xiàn)較高的分類(lèi)效果，但是實(shí)際上會(huì)出現(xiàn)梯度消失和梯度爆炸問(wèn)題，導(dǎo)致參數(shù)易陷入局部最小的情況。深度殘差網(wǎng)絡(luò)使用捷徑連接（shortcut connection）沒(méi)有增加新的參數(shù)，其計(jì)算復(fù)雜度與沒(méi)有殘差單元的普通深度卷積神經(jīng)網(wǎng)絡(luò)基本一致，可以保持較快的計(jì)算速度，提高模型的性能。

Koné 等人[41]利用 Resnet50 模型對(duì)乳腺癌病理圖像分類(lèi)，取得81%的4 分類(lèi)精度；Mahbod 等人[42]提出了一種新的基于ResNet 模型的方法，采用歸一化蘇木精-伊紅染色圖像作為輸入，通過(guò)兩個(gè)不同的ResNet的組合，先對(duì)ImageNet 圖像進(jìn)行了預(yù)訓(xùn)練，然后對(duì)乳腺病理圖像進(jìn)行微調(diào)，最后，利用模型最后全連接層的輸出，給出最終四類(lèi)疾病的預(yù)測(cè)結(jié)果。Brancati等人[43]提出了一種基 于 ResNet 的 微 調(diào) 策 略 ，將 ResNet34、ResNet50 和ResNet101三種組合在一起，利于平衡單個(gè)ResNet模型的提取特征單一弱點(diǎn)，取得了較好的分類(lèi)效果。

基于深度殘差網(wǎng)絡(luò)的方法，利用殘差結(jié)構(gòu)的多層特征融合，更好地獲取乳腺癌病理圖像的高頻細(xì)節(jié)信息且網(wǎng)絡(luò)調(diào)整靈活、簡(jiǎn)單，簡(jiǎn)化學(xué)習(xí)目標(biāo)和難度并在一定程度上解決了梯度消失或者梯度爆炸，導(dǎo)致網(wǎng)絡(luò)層數(shù)過(guò)深無(wú)法訓(xùn)練的問(wèn)題。

4.3 基于密集連接網(wǎng)絡(luò)的方法

ResNet的提出，雖然解決了網(wǎng)絡(luò)加深帶來(lái)的梯度消失問(wèn)題，通過(guò)殘差塊可使得神經(jīng)網(wǎng)絡(luò)的深度可以很大程度的加深，但網(wǎng)絡(luò)也因此而變得笨拙。而DenseNet 則是在ResNet的基礎(chǔ)上，保持分類(lèi)精度不變的情況下，大大降低了模型參數(shù)量。DenseNet即解決了退化問(wèn)題，也加強(qiáng)了特征在網(wǎng)絡(luò)中的傳遞，有效提高了模型分類(lèi)效果。

Li等人[44]基于DenseNet模型的方法，提出了一種新的用于病理圖像分類(lèi)的深度學(xué)習(xí)網(wǎng)絡(luò)DenseNet，利用對(duì)稠密塊進(jìn)行無(wú)級(jí)卷積，實(shí)現(xiàn)多尺度特征提取，取得了93.29%的四分類(lèi)精度。Makarchuk 等人[45]在利用單一DenseNet 模型的基礎(chǔ)上，提出的一種新的基于DenseNet169和DenseNet201兩種模型組合的分類(lèi)方法，實(shí)驗(yàn)證明組合后的DenseNet分類(lèi)精度比單一DenseNet更勝一籌。Kohl等人[46]研究了稠密連通卷積的適用性，并用實(shí)驗(yàn)對(duì)比 VGG19、Inception-v3 和 DenseNet161 三種網(wǎng)絡(luò)模型，先分別將三種模型利用ImageNet 圖像進(jìn)行預(yù)訓(xùn)練，最后對(duì)比分類(lèi)精度，DenseNet161平均精度高于VGG19和Inception-v3兩個(gè)模型4%。

基于密集連接網(wǎng)絡(luò)的方法，通過(guò)引入Dense Block結(jié)構(gòu)，將多個(gè)Dense Block串聯(lián)起來(lái)，使得網(wǎng)絡(luò)獲取的每層特征圖都與其他層有關(guān)，達(dá)到信息流利用最大化，充分結(jié)合圖像上下文信息，使得乳腺癌假陽(yáng)性檢測(cè)比例降低，提高乳腺病理圖像特征提取能力，有效提高醫(yī)學(xué)圖像識(shí)別率。

4.4 基于自動(dòng)編碼器的方法

基于監(jiān)督學(xué)習(xí)的方法，如CNN、ResNet、DenseNet，雖然在醫(yī)學(xué)圖像分類(lèi)方面，取得了很好的成績(jī)，但是基于監(jiān)督學(xué)習(xí)的方法需要大規(guī)模的標(biāo)記數(shù)據(jù)，標(biāo)記的組織病理學(xué)圖像是昂貴和耗時(shí)的。如果能夠利用大量的未標(biāo)記數(shù)據(jù)，則現(xiàn)有的基于監(jiān)督的模型的性能可以得到明顯的改善。解決這個(gè)問(wèn)題的一個(gè)可行的方法，是利用非監(jiān)督特征學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)（如自動(dòng)編碼器）從大量未標(biāo)記的醫(yī)學(xué)圖像中學(xué)習(xí)有價(jià)值的信息。

文獻(xiàn)[47-48]中使用兩個(gè)隱藏層SSAE 以無(wú)監(jiān)督的方式學(xué)習(xí)乳腺癌圖像表示，該方法在不考慮H&E 圖像顏色信息的情況下，學(xué)習(xí)灰度圖像的高級(jí)表示，然后訓(xùn)練一個(gè)分類(lèi)器來(lái)識(shí)別圖像。Feng 等人[49]提出的一種利用SDAE 從大量的圖像中學(xué)習(xí)健壯的特征，使用SDAE獲取組織病理學(xué)圖像的高級(jí)表示。為了提高模型的識(shí)別能力，利用高層次特征和標(biāo)記信息訓(xùn)練分類(lèi)器，對(duì)模型進(jìn)行了有監(jiān)督的端到端的微調(diào)，對(duì)模型進(jìn)行了優(yōu)化。

基于自動(dòng)編碼器的方法，適用于只有少數(shù)標(biāo)記圖像和大量未標(biāo)記圖像的細(xì)胞分類(lèi)任務(wù)，在一定程度上解決了因公開(kāi)已標(biāo)記醫(yī)學(xué)數(shù)據(jù)匱乏導(dǎo)致基于監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)模型訓(xùn)練困難的問(wèn)題，但是存在僅限于高分辨率組織病理圖像識(shí)別的限制。

4.5 基于模型融合的方法

單一的網(wǎng)絡(luò)模型，往往所提取的特征類(lèi)別單一，不能覆蓋所有的特征信息，采用多個(gè)模型融合的方式，可以利用不同模型的特性，分階段提取圖像特征，提高模型分類(lèi)效果。

Yan 等人[50]提出了利用 Inception-v3 與 LSTM 結(jié)合的混合卷積神經(jīng)網(wǎng)絡(luò)對(duì)乳腺癌組織病理學(xué)圖像分類(lèi)的方法。該方法能有效綜合卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，并能結(jié)合圖片分塊間的短期和長(zhǎng)期空間相關(guān)性。Campilho 等人[51]融合了 Resnet 與 Inception-v2模型，對(duì)乳腺癌病理圖像分類(lèi)，取得四類(lèi)分類(lèi)任務(wù)的準(zhǔn)確率為76%。Rakhlin等人[52]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的乳腺癌病理圖像分類(lèi)計(jì)算方法，融合了ResNet50、vgg16 和 Inception_v3 三種模型的優(yōu)點(diǎn)，取得四類(lèi)分類(lèi)任務(wù)的準(zhǔn)確率為87.2%，二分類(lèi)任務(wù)的準(zhǔn)確率為93.8%。Chennamsetty等人[53]使用了一組ImageNet預(yù)先培訓(xùn)的CNN 來(lái)對(duì)醫(yī)療圖像進(jìn)行分類(lèi)。算法由一個(gè)ResNet101 和兩個(gè)DenseNet161 組成，與來(lái)自不同數(shù)據(jù)標(biāo)準(zhǔn)化方案的圖像進(jìn)行精細(xì)協(xié)調(diào)，使用預(yù)先訓(xùn)練的權(quán)值初始化模型，緩解了有限數(shù)量的高質(zhì)量標(biāo)簽數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)的限制。

基于模型混合的方法可以結(jié)合不同模型的優(yōu)點(diǎn)，構(gòu)建多級(jí)特征融合，將乳腺癌病理圖像中的重疊，分布不均勻等問(wèn)題，利用低層的顏色、紋理等特征與高層的語(yǔ)義特征相結(jié)合，解決了單一模型造成的細(xì)節(jié)信息丟失的確定，提高模型的識(shí)別率且混合的模型比一般單一的模型具有更好的尺度不變性，但是存在模型設(shè)計(jì)困難和存儲(chǔ)開(kāi)銷(xiāo)大，且模型的性能有待提高等問(wèn)題。

綜上所述，基于深度學(xué)習(xí)的乳腺癌病理圖像分類(lèi)方法通過(guò)模擬人腦抽象和迭代過(guò)程，獲得對(duì)乳腺癌病理圖像數(shù)據(jù)中良性病變和惡性病變圖像的具體可分性的表示特征。深度神經(jīng)網(wǎng)絡(luò)可以從輸入的原始乳腺癌病理圖像中，學(xué)習(xí)到乳腺病變的低層特征：邊緣特征和紋理特征等，結(jié)合各種卷積核組合的中間層特征，獲得不斷抽象的高層語(yǔ)義特征?；谏疃葘W(xué)習(xí)的乳腺癌病理圖像分類(lèi)方法既降低了人工提取特征的困難和負(fù)擔(dān)，又能獲得從原始輸入到高層語(yǔ)義的有效特征表達(dá)，提高識(shí)別效果。然而，基于深度學(xué)習(xí)的乳腺癌病理圖像分類(lèi)方法也存在如下問(wèn)題：首先，很多算法是通過(guò)增加網(wǎng)絡(luò)的深度以及網(wǎng)絡(luò)的復(fù)雜度，提高神經(jīng)網(wǎng)絡(luò)的非線性表達(dá)能力，但這種方式也增加了神經(jīng)網(wǎng)絡(luò)的參數(shù)，同時(shí)目前可用的有標(biāo)注的乳腺癌病理圖像數(shù)據(jù)量十分有限，復(fù)雜的網(wǎng)絡(luò)模型在訓(xùn)練時(shí)也會(huì)難以?xún)?yōu)化。其次，通過(guò)設(shè)計(jì)復(fù)雜的網(wǎng)絡(luò)監(jiān)督學(xué)習(xí)過(guò)程，使其更好地?cái)M合多樣化的乳腺病變特性，從而獲得更具備泛化能力的特征表達(dá)形式。然而，這種改進(jìn)方式同時(shí)也增加了對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練難度，不適當(dāng)?shù)娜蝿?wù)學(xué)習(xí)分配也會(huì)使得訓(xùn)練模型難以收斂。

如表1 為本文對(duì)基于深度學(xué)習(xí)的乳腺病理圖像分類(lèi)方法的總結(jié)。從目前已發(fā)表的相關(guān)文獻(xiàn)可知，基于卷積神經(jīng)網(wǎng)絡(luò)的分類(lèi)方法是最先用于分析乳腺癌病理圖像中識(shí)別問(wèn)題的深度學(xué)習(xí)方法，也是目前研究最為廣泛的深度學(xué)習(xí)識(shí)別方法。相較于其他方法，基于卷積神經(jīng)網(wǎng)絡(luò)的分類(lèi)方法可以更快速地提取特征，具有強(qiáng)大的特征表示能力。但基于卷積神經(jīng)網(wǎng)絡(luò)的分類(lèi)方法缺少全局上下文信息，使得圖像病變內(nèi)的一些細(xì)節(jié)信息在網(wǎng)絡(luò)前向傳播過(guò)程中丟失，假陽(yáng)性檢測(cè)率高。此外，基于卷積神經(jīng)網(wǎng)絡(luò)的分類(lèi)方法在運(yùn)算速度上也稍有遜色。因此，針對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的分類(lèi)方法的缺陷，后續(xù)研究者提出采用基于深度殘差網(wǎng)絡(luò)和基于密集連接網(wǎng)絡(luò)的方法，可以更好地解決基于卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)方法中的問(wèn)題，有效解決了梯度消失和梯度爆炸問(wèn)題，并能捕捉網(wǎng)絡(luò)中多層特征信息，彌補(bǔ)檢測(cè)速度慢等問(wèn)題，實(shí)現(xiàn)更快速的特征提取。但是基于深度殘差網(wǎng)絡(luò)和基于密集連接網(wǎng)絡(luò)存在不善于探索新的醫(yī)學(xué)特征、網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)、模型訓(xùn)練以及目標(biāo)函數(shù)優(yōu)化困難等問(wèn)題，可以嘗試添加注意力模塊探索新的醫(yī)學(xué)特征，以及采用遷移學(xué)習(xí)方法，降低模型訓(xùn)練難度?；谧跃幋a的分類(lèi)方法優(yōu)點(diǎn)在于不需要具有精準(zhǔn)的標(biāo)注信息，可以有效減少醫(yī)學(xué)標(biāo)注數(shù)據(jù)少以及標(biāo)注不準(zhǔn)確的問(wèn)題，其難度在于如何設(shè)計(jì)有效的網(wǎng)絡(luò)結(jié)構(gòu)，如何有效地優(yōu)化目標(biāo)函數(shù)以及如何高效地訓(xùn)練模型。后續(xù)研究可探究?jī)?yōu)化模型方面以及考慮對(duì)缺乏的醫(yī)學(xué)數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)、數(shù)據(jù)遷移等方法，采用有監(jiān)督的神經(jīng)網(wǎng)絡(luò)進(jìn)行醫(yī)學(xué)分類(lèi)任務(wù)?；谀Ｐ腿诤系姆诸?lèi)方法，也存在存儲(chǔ)開(kāi)銷(xiāo)大和模型設(shè)計(jì)困難等問(wèn)題，后續(xù)研究可考慮結(jié)合多個(gè)GPU 以及探究?jī)?yōu)化模型方面，這也是目前研究的熱點(diǎn)，能結(jié)合不同模型的優(yōu)點(diǎn)，彌補(bǔ)單一方法自身的局限性，達(dá)到更優(yōu)的分類(lèi)效果。

5 數(shù)據(jù)集及性能比較

本章首先對(duì)乳腺癌病理圖像相關(guān)數(shù)據(jù)集以及分類(lèi)模型的評(píng)價(jià)指標(biāo)進(jìn)行簡(jiǎn)要介紹，然后再對(duì)近幾年基于深度學(xué)習(xí)的乳腺癌病理圖像分類(lèi)的相關(guān)模型進(jìn)行對(duì)比和分析。

5.1 乳腺癌病理圖像相關(guān)數(shù)據(jù)集

數(shù)據(jù)集在醫(yī)學(xué)圖像分類(lèi)領(lǐng)域的研究中占據(jù)了重要的位置，它是衡量和比較分類(lèi)算法性能的共同基礎(chǔ)，也是推動(dòng)該領(lǐng)域向更復(fù)雜更具有挑戰(zhàn)性方向發(fā)展的主要力量。表2 中總結(jié)了近幾年醫(yī)學(xué)挑戰(zhàn)中提出的乳腺癌病理圖像公開(kāi)數(shù)據(jù)集，雖然解決了早期數(shù)據(jù)集極度匱乏的問(wèn)題，但若應(yīng)用在深度學(xué)習(xí)的方法中，數(shù)據(jù)量依然欠缺，乳腺癌病理圖像的采集問(wèn)題仍是重點(diǎn)問(wèn)題。

表1 基于深度學(xué)習(xí)的乳腺病理圖像分類(lèi)方法總結(jié)

表2 常見(jiàn)乳腺癌病理數(shù)據(jù)集

針對(duì)這一問(wèn)題，解決方法一般采用數(shù)據(jù)增強(qiáng)[54]（Data Augmentation），創(chuàng)建新的數(shù)據(jù)添加到原本的訓(xùn)練集中。通常采用八種常用的數(shù)據(jù)增強(qiáng)方法[55-58]，分別是旋轉(zhuǎn)變換、翻轉(zhuǎn)變換、平移變換、對(duì)比度變換、噪聲擾動(dòng)、顏色增強(qiáng)、亮度增強(qiáng)、顏色擾動(dòng)，實(shí)現(xiàn)效果如圖6所示。

5.2 評(píng)價(jià)標(biāo)準(zhǔn)

采用準(zhǔn)確率（Accuracy）、F1度量（F1-score）、精確性（Precision）、召回率（Recall）、靈敏度（Sensitivity）、特異性（Specificity）等不同的關(guān)鍵性能指標(biāo)[68-70]對(duì)典型的醫(yī)學(xué)圖像分析系統(tǒng)進(jìn)行了評(píng)價(jià)。

其中，真陽(yáng)性（True Positive，TP）表示被正確識(shí)別為缺陷的病例數(shù)，假陽(yáng)性（False Positive，F(xiàn)P）表示被錯(cuò)誤識(shí)別為缺陷的病例數(shù)，真陰性（True Nagative，TN）表示被正確識(shí)別為無(wú)缺陷的病例數(shù)，假陰性（False Nagative，F(xiàn)N）表示被錯(cuò)誤識(shí)別為無(wú)缺陷的病例數(shù)。

5.3 實(shí)驗(yàn)結(jié)果與分析

本節(jié)在BACH數(shù)據(jù)集和BCC數(shù)據(jù)集上對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)、深度殘差網(wǎng)絡(luò)、密集連接網(wǎng)絡(luò)、自動(dòng)編碼以及模型融合的乳腺癌病理圖像分類(lèi)方法的性能展開(kāi)比較和分析，列舉了近幾年具有代表性的乳腺癌病理圖像分類(lèi)文獻(xiàn)方法性能的實(shí)驗(yàn)結(jié)果以及選取了BACH數(shù)據(jù)集，訓(xùn)練集包括400張圖片，測(cè)試集包括100張圖片，分別對(duì)AlexNet、ResNet50、DenseNet121 以及 SDAE 四種模型進(jìn)行實(shí)驗(yàn)對(duì)比和數(shù)據(jù)分析。

基于卷積神經(jīng)網(wǎng)絡(luò)的分類(lèi)方法，分析了Vang等人[40]提出的基于InceptionV3 模型的乳腺病理圖像分類(lèi)方法。該方法不同于Spanhol 等人[37]提出的基于LeNet 和AlexNet 構(gòu)建的網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，模型深度較淺的分類(lèi)模型，其引入Inception結(jié)構(gòu)代替單一的卷積加激活的傳統(tǒng)操作技術(shù)，利用1×1 卷積核進(jìn)行降維，解決模型計(jì)算量大的問(wèn)題，網(wǎng)絡(luò)層數(shù)比AlexNet 深很多，但參數(shù)卻只是AlexNet的1/12倍。

基于深度殘差網(wǎng)絡(luò)的分類(lèi)方法，分析了Brancati 等人[43]提出的一種將 ResNet34、ResNet50 和 ResNet101 三種組合在一起的分類(lèi)方法，選取了具有少量參數(shù)且復(fù)雜性較低的ResNet，利用ImageNet 預(yù)先訓(xùn)練的權(quán)重初始化模型，減輕網(wǎng)絡(luò)訓(xùn)練的問(wèn)題，同時(shí)選取34、50和101不同的網(wǎng)絡(luò)深度，融合不同層獲得的特征圖，很好的提高了模型的特征提取能力。

基于密集連接網(wǎng)絡(luò)的分類(lèi)方法，分析了Kohl 等人[46]提出的基于DenseNet161 的分類(lèi)方法，與Brancati等人[43]提出的方法類(lèi)似，為了減輕模型訓(xùn)練負(fù)擔(dān)，先利用ImageNet 預(yù)先訓(xùn)練的權(quán)重初始化模型，然后對(duì)數(shù)據(jù)集中400張圖像進(jìn)行下采樣固定網(wǎng)絡(luò)輸入尺寸，利用DenseNet塊加強(qiáng)特征的傳播且減少模型參數(shù)，在減少模型復(fù)雜度的同時(shí)提高分類(lèi)精度。

基于自動(dòng)編碼器的分類(lèi)方法，分析了Feng 等人[49]，提出的一種利用SDAE 從大量的圖像中學(xué)習(xí)健壯的特征，利用SDAE自學(xué)習(xí)的特點(diǎn)，彌補(bǔ)數(shù)據(jù)集不足的問(wèn)題，但是對(duì)于訓(xùn)練集中從未出現(xiàn)的編碼，在解碼時(shí)可能會(huì)看作噪聲或亂碼。

最后對(duì)于基于模型融合的方法，分析了Rakhlin 等人[52]提出的融合ResNet50、vgg16和Inception_v3三種模型的分類(lèi)方法，以及Chennamsetty等人[53]提出的融合一個(gè)ResNet101 和兩個(gè)DenseNet161 的分類(lèi)方法，這兩種方法思路相通，利用不同模型的特性，獲取圖像抽象的細(xì)節(jié)信息，提高模型的識(shí)別率。

圖6 不同數(shù)據(jù)增強(qiáng)方法展示圖

通過(guò)表3中準(zhǔn)確率，輸入尺寸和顏色歸一化的數(shù)據(jù)可以看出，乳腺癌病理圖像診斷結(jié)果與模型輸入尺寸選取的大小、選取策略以及是否先對(duì)圖像采用顏色歸一化技術(shù)有很密切的關(guān)系?？傮w看來(lái)，基于模型融合的乳腺癌病理圖像分類(lèi)方法的識(shí)別率較高于其他方法，具有較好的特征提取效果，在一定程度上可以為病理學(xué)醫(yī)生提供更具準(zhǔn)確性的參考意見(jiàn)。

圖7為四種模型混淆矩陣的結(jié)果展示圖，可視化的展示了四種模型在BACH 數(shù)據(jù)集上的分類(lèi)效果，其中N、B、In、in 分別代表Normal、Benign、Insitu、Invasive 四個(gè)類(lèi)別。圖 A、B、C、D 分別對(duì)應(yīng) AlexNet、ResNet50、DenseNet121以及SDAE模型對(duì)四種乳腺癌類(lèi)別分類(lèi)的混淆矩陣圖，可以看出，圖A、B、C、D 有同樣的問(wèn)題，Normal 和Benign 類(lèi)別的分類(lèi)準(zhǔn)確率普遍低于Insitu 和Invasive類(lèi)別，且Normal與Benign互錯(cuò)分為對(duì)方類(lèi)別的概率較大?？赡茉斐蛇@種現(xiàn)象的原因是Normal 和Benign的子類(lèi)不僅多種多樣，而且與患者的年齡密切相關(guān)。因此，在數(shù)據(jù)集數(shù)目有限的情況下臨床圖像很難涵蓋Normal 和Benign 病理圖像的足夠特征。因此，最終的分類(lèi)結(jié)果相對(duì)較低。

6 總結(jié)與展望

基于深度學(xué)習(xí)的乳腺癌病理圖像分類(lèi)是計(jì)算機(jī)領(lǐng)域和醫(yī)學(xué)領(lǐng)域共同的研究重點(diǎn)，具有重要的理論研究意義和良好的應(yīng)用前景。本文對(duì)近幾年提出的基于深度學(xué)習(xí)的乳腺癌病理圖像分類(lèi)方法進(jìn)行歸納和總結(jié)：

（1）早期基于傳統(tǒng)方法的乳腺癌病理圖像分類(lèi)方法的不足，一方面，由于多利用提取圖像的低層特征，難以完成對(duì)比度較低的，復(fù)雜情況的圖像分類(lèi)，并且傳統(tǒng)人工設(shè)計(jì)的乳腺癌特征表示方法的局限性在于識(shí)別算法的魯棒性不強(qiáng)，識(shí)別模型的泛化能力較差，往往只適用具有某一種或幾種顯著性特征的識(shí)別，難以涵蓋變化多樣的乳腺癌特征；另一方面，采用傳統(tǒng)人工提取特征，由于醫(yī)生的個(gè)人因素可能會(huì)帶來(lái)誤診情況。

（2）隨著深度學(xué)習(xí)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)處理中取得的巨大成功，深度學(xué)習(xí)網(wǎng)絡(luò)也備受醫(yī)學(xué)界的青睞，并在醫(yī)學(xué)圖像分析的多個(gè)領(lǐng)域取得了重大進(jìn)展。深度學(xué)習(xí)方法與傳統(tǒng)方法相比具有十分明顯的優(yōu)勢(shì)，深度網(wǎng)絡(luò)利用了多層次結(jié)構(gòu)，自動(dòng)地從數(shù)據(jù)中學(xué)習(xí)并更新網(wǎng)絡(luò)中數(shù)量龐大的神經(jīng)元參數(shù)，使其具有強(qiáng)大的學(xué)習(xí)能力和特征表現(xiàn)能力。大多數(shù)的深度模型算法可以實(shí)現(xiàn)端到端的訓(xùn)練方式，使整個(gè)檢測(cè)模型的訓(xùn)練和測(cè)試變得十分方便。目前在使用深度學(xué)習(xí)模型處理乳腺病理圖像分類(lèi)的方法上存在相似性，大多采用CNN、ResNet、DenseNet 和AE及幾種模型融合的方式來(lái)進(jìn)行圖像分類(lèi)。

表3 乳腺病理數(shù)據(jù)集上乳腺癌圖像典型分類(lèi)方法的性能對(duì)比

圖7 四種模型的混淆矩陣效果圖

深度學(xué)習(xí)在醫(yī)學(xué)圖像研究中已經(jīng)取得了不錯(cuò)的效果，乳腺癌病理圖像分類(lèi)準(zhǔn)確率也在不斷提高，但距離實(shí)際臨床應(yīng)用還存在一定的差距。今后的研究工作可以從以下幾方面展開(kāi)：

（1）提高乳腺癌病理數(shù)據(jù)可用性

盡管深度學(xué)習(xí)方法能夠提供更好或更高的學(xué)習(xí)效果，但深度學(xué)習(xí)技術(shù)仍存在一定的局限性，限制了其在臨床領(lǐng)域的應(yīng)用。深度學(xué)習(xí)體系結(jié)構(gòu)需要大量的訓(xùn)練數(shù)據(jù)和計(jì)算能力。缺乏計(jì)算能力將導(dǎo)致需要更多的時(shí)間來(lái)訓(xùn)練網(wǎng)絡(luò)，這將取決于使用的訓(xùn)練數(shù)據(jù)的大小。大多數(shù)深度學(xué)習(xí)模型，如卷積神經(jīng)網(wǎng)絡(luò)，都需要有標(biāo)簽的數(shù)據(jù)來(lái)進(jìn)行監(jiān)督學(xué)習(xí)，而醫(yī)學(xué)圖像的人工標(biāo)記是一個(gè)困難的問(wèn)題。

（2）降低標(biāo)簽注解的主觀性

病理切片中病理和細(xì)胞學(xué)特征評(píng)判標(biāo)準(zhǔn)的主觀性和個(gè)人經(jīng)驗(yàn)差別使得不同病理學(xué)家之間的平均診斷一致性只有大約75%，如果可能的話，注釋?xiě)?yīng)該由不同的病理病理家提供，以適應(yīng)主觀性的變化。

（3）提高深度學(xué)習(xí)模型的可解釋性

深度學(xué)習(xí)方法無(wú)論從分類(lèi)效果和實(shí)際應(yīng)用價(jià)值都有著無(wú)可比擬的優(yōu)越性，但深度學(xué)習(xí)也常被稱(chēng)為“黑盒”，特別是在醫(yī)學(xué)領(lǐng)域，與手工制作的特性不同，它提供了更直觀、更適合臨床醫(yī)生和研究人員的透明信息。深度學(xué)習(xí)驅(qū)動(dòng)的特征依賴(lài)于從大量培訓(xùn)數(shù)據(jù)中提取的過(guò)濾器響應(yīng)，這些數(shù)據(jù)缺乏可解釋性。僅僅有一個(gè)良好的分類(lèi)系統(tǒng)是不夠的，還需要利用科學(xué)的方法對(duì)模型進(jìn)行合理的解釋與分析。

（4）引入圖像全局有效的上下文信息

目前，在乳腺病理圖像分類(lèi)的研究中，采用常規(guī)的基于 CNN、ResNet、DenseNet 和 AE 方法不能有效的捕獲圖像的上下文信息，對(duì)于提升乳腺病理圖像識(shí)別精度存在困難。有效地引入圖像的全局信息，也可以提升圖像的分類(lèi)精度。可嘗試結(jié)合傳統(tǒng)的計(jì)算機(jī)視覺(jué)方法捕獲圖像的上下文信息，也可結(jié)合反卷積操作以及LSTM對(duì)圖像的上下文信息實(shí)現(xiàn)擴(kuò)充。

（5）設(shè)計(jì)乳腺癌病理圖像與乳腺X線圖像協(xié)同合作的模型

應(yīng)該設(shè)計(jì)新的結(jié)合乳腺X線和病理測(cè)量的算法，在活檢獲取病理圖像之前，獲取到乳腺X 線圖像，以及兩種類(lèi)型的一一對(duì)應(yīng)關(guān)系，以便挖掘放射學(xué)和病理圖像之間的語(yǔ)義相互關(guān)系。

（6）將生成式對(duì)抗網(wǎng)絡(luò)引入醫(yī)學(xué)圖像，以期望豐富醫(yī)學(xué)圖像數(shù)據(jù)

圖像分析研究人員面臨的主要挑戰(zhàn)是如何訪問(wèn)相關(guān)的圖像和數(shù)據(jù)庫(kù)，為了解決乳腺癌病理圖像數(shù)據(jù)缺乏的問(wèn)題，不僅可借助遷移學(xué)習(xí)、數(shù)據(jù)增強(qiáng)等方法，還可以考慮利用生成式對(duì)抗網(wǎng)絡(luò)，豐富醫(yī)學(xué)圖像數(shù)據(jù)。