劉海東，楊小渝，朱林忠

1. 中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心，北京 100190

2. 中國(guó)科學(xué)院大學(xué)計(jì)算機(jī)與控制學(xué)院，北京 100049

3. 北京大學(xué)腫瘤醫(yī)院，北京 100142

引言

當(dāng)前，乳腺癌成為女性人群中常見(jiàn)的一種癌癥疾病，嚴(yán)重的影響了女性的生活。乳腺癌的診斷首先通過(guò) X 射線成像來(lái)進(jìn)行檢查，初步確定病灶的性質(zhì)，然后穿刺獲得該組織結(jié)構(gòu)，并將其染色制成樣本，得到組織切片。通過(guò)對(duì)組織進(jìn)行切片，然后由病理醫(yī)生在顯微鏡下通過(guò)觀察該切片診斷得出是否為乳腺癌。在臨床醫(yī)學(xué)中，病理圖像分析是重要的癌癥確診方法。針對(duì)乳腺癌病理診斷過(guò)程，諾丁漢分級(jí)系統(tǒng)提出，病理切片中所呈現(xiàn)的三種組織細(xì)胞形態(tài)學(xué)特征，包括腺小管的構(gòu)成，細(xì)胞核的多形態(tài)和核分裂象的數(shù)量是乳腺癌評(píng)估的關(guān)鍵指標(biāo)。這是診斷癌癥常用的比較準(zhǔn)確的方法?，F(xiàn)在越來(lái)越多的工作是將顯微鏡觀察后的結(jié)果轉(zhuǎn)變?yōu)閿?shù)字病理圖像，病理學(xué)家可以通過(guò)電腦來(lái)分析這些病理圖像，進(jìn)而得出診斷結(jié)果。

目前在臨床醫(yī)院，對(duì)于組織切片的常規(guī)分析仍然是一個(gè)艱苦的、漫長(zhǎng)的過(guò)程，需要人工手動(dòng)完成，而且需要具備長(zhǎng)期經(jīng)驗(yàn)的病理學(xué)家才能完成這個(gè)過(guò)程。由于染色劑濃度、成像模式以及在制作病理切片中人為操作的影響，嚴(yán)重的影響病理圖像的質(zhì)量。并且手動(dòng)觀察，標(biāo)記產(chǎn)生的有標(biāo)記的乳腺癌病理圖像的數(shù)量有限，使得病理圖像分析成為當(dāng)前該領(lǐng)域的一大難題。

目前在醫(yī)療領(lǐng)域，給出詳細(xì)的病理圖像標(biāo)記是十分昂貴的，如何利用這些少量的有標(biāo)記 (僅標(biāo)記該病理圖像是否為乳腺癌) 的病理圖像數(shù)據(jù)來(lái)提高病理圖像識(shí)別的準(zhǔn)確率以及采用弱監(jiān)督學(xué)習(xí)的方式給出可疑區(qū)域是急需解決的問(wèn)題。一旦這類(lèi)任務(wù)得到解決，則會(huì)極大的提高病理專(zhuān)家診斷的速度，減少由于醫(yī)生疲勞而造成的錯(cuò)誤診斷。

為此本論文提出了一種基于弱監(jiān)督學(xué)習(xí)的可疑區(qū)域標(biāo)記網(wǎng)絡(luò)。它是一種基于生成對(duì)抗網(wǎng)絡(luò) (Generative Adversarial Network, GAN) 的病理圖像特征提取和可疑區(qū)域標(biāo)記網(wǎng)絡(luò)。該網(wǎng)絡(luò)首先訓(xùn)練一個(gè)基于 GAN 的特征提取網(wǎng)絡(luò)，其中該特征提取網(wǎng)絡(luò)后接一個(gè)分類(lèi)網(wǎng)絡(luò)，通過(guò)利用有標(biāo)記數(shù)據(jù) (僅標(biāo)記該病例圖像是否為乳腺癌) 來(lái)完成分類(lèi)網(wǎng)絡(luò)的有監(jiān)督訓(xùn)練。然后融合提取到的特征，給出最終的病理圖像可疑區(qū)域標(biāo)記。實(shí)驗(yàn)證明，該網(wǎng)絡(luò)提取到的病理圖像特征具有好的判別能力，經(jīng)臨床醫(yī)生評(píng)估，得到的可疑區(qū)域標(biāo)記結(jié)果初步符合病理學(xué)專(zhuān)家的直觀，說(shuō)明使用我們的方法提取到的特征具有比較好的判別性。

其中需要指出的是，本文提出的基于弱監(jiān)督學(xué)習(xí)病理圖像可疑區(qū)域標(biāo)記方法，需要基于有標(biāo)記的病理圖像數(shù)據(jù)來(lái)訓(xùn)練分類(lèi)網(wǎng)絡(luò)，只有保證該分類(lèi)網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率足夠高的情況下，才能保證該網(wǎng)絡(luò)中的特征提取模塊能夠提取到具有判別力的特征，通過(guò)對(duì)提取到的特征進(jìn)行融合，來(lái)給出病理圖像的可疑區(qū)域標(biāo)記結(jié)果。

1 相關(guān)工作

1.1 傳統(tǒng)病理圖像分類(lèi)方法

傳統(tǒng)病理圖像分類(lèi)方法的主要是乳腺癌病理專(zhuān)家通過(guò)經(jīng)驗(yàn)手動(dòng)設(shè)計(jì)特征提取方法，來(lái)完成病理圖像特征提取進(jìn)而識(shí)別出是否是乳腺癌。針對(duì)癌癥圖像自動(dòng)診斷技術(shù)的研究已經(jīng)超過(guò)了 40 年[1]。但是由于醫(yī)療圖像的復(fù)雜性，癌癥圖像診斷仍然是一個(gè)巨大的挑戰(zhàn)。例如 Kowal 等人[2]針對(duì)細(xì)胞核分割，比較和測(cè)試了多種不同的算法，這些實(shí)驗(yàn)均在 500 個(gè)圖像數(shù)據(jù)上進(jìn)行，數(shù)據(jù)包含兩個(gè)類(lèi)別，一個(gè)是良性腫瘤，一個(gè)是惡性腫瘤，最終的分割準(zhǔn)確率達(dá)到 96% 到 100%。Filipczuk 等人[3]設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)乳腺癌診斷系統(tǒng)，這個(gè)診斷系統(tǒng)針對(duì)細(xì)針活檢得到的細(xì)胞病理圖片進(jìn)行分類(lèi)，來(lái)辨別是腫瘤的類(lèi)型，該系統(tǒng)在 737 張圖像上進(jìn)行實(shí)驗(yàn)，達(dá)到了 98% 的準(zhǔn)確率。與以上兩個(gè)工作相似，George 等人[4]也實(shí)現(xiàn)了一個(gè)系統(tǒng)，該系統(tǒng)是針對(duì)乳腺癌細(xì)針活檢得到的圖片進(jìn)行細(xì)胞核分割。使用多種不同的機(jī)器學(xué)習(xí)方法，例如神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)，在 92 張圖片中，達(dá)到的準(zhǔn)確率為 76% 到94%。Zhang 等人[5]提出了一種級(jí)聯(lián)的方法，在第一層級(jí)聯(lián)，作者希望解決簡(jiǎn)單的問(wèn)題，難的問(wèn)題交由第二級(jí)聯(lián)來(lái)完成，在第二級(jí)聯(lián)使用了更加復(fù)雜的模式分類(lèi)系統(tǒng)來(lái)完成。他們?cè)谝陨欣砉W(xué)院提供的 361 張圖像組成的數(shù)據(jù)集上，得到的 97% 的分類(lèi)準(zhǔn)確率。同一個(gè)作者的另一個(gè)工作[6]，使用了集成分類(lèi)器，在這個(gè)數(shù)據(jù)集上得到了 92% 的準(zhǔn)確率。

直到現(xiàn)在，大多數(shù)的工作是在乳腺癌病理圖像分析上進(jìn)行的，使用的都是非常小的數(shù)據(jù)集，而且在科學(xué)界也很難拿到這些數(shù)據(jù)。為了解決這種情況，Spanhol 等人[7]提供了包含 7909 張乳腺癌病理圖像數(shù)據(jù)集，在該研究中，作者評(píng)估了 6 種不同的紋理特征描述子和不同的分類(lèi)器，進(jìn)行了一系列的實(shí)驗(yàn)，準(zhǔn)確率從 80% 到 85%，識(shí)別的準(zhǔn)確率主要這取決于病理圖像的放大倍數(shù)。[7]中得出的結(jié)果表明紋理特征可以為乳腺癌病理圖像分類(lèi)提供更好的特征表示。然而，現(xiàn)在許多機(jī)器學(xué)習(xí)方法的弱點(diǎn)在于強(qiáng)烈依賴于特征工程，LeCun 等人[8]認(rèn)為機(jī)器學(xué)習(xí)算法應(yīng)該更少的依賴于特征工程，算法可以從數(shù)據(jù)中自動(dòng)對(duì)圖像中的模式進(jìn)行提取和組織?，F(xiàn)有深度學(xué)習(xí)方法主要基于卷積神經(jīng)網(wǎng)絡(luò)[18](CNN) 來(lái)進(jìn)行圖像的特征提取和分類(lèi)。

1.2 基于深度卷積網(wǎng)絡(luò)的病理圖像分類(lèi)方法

基于卷積神經(jīng)網(wǎng)絡(luò) (CNN) 的方法在圖像特征提取和分類(lèi)任務(wù)上取得了很好的效果。CNN 由 LeCun等人[9]提出，使用該技術(shù)在多個(gè)不同的模式識(shí)別問(wèn)題上[10-11]上取得了很好結(jié)果。CNN 在大量有標(biāo)記的數(shù)據(jù)集上取得了非常好的效果，例如 ImageNet 等數(shù)據(jù)集上。如圖 1 所示，是典型的由 CNN 網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)成的 AlexNet 網(wǎng)絡(luò)，由此網(wǎng)絡(luò)來(lái)完成圖像分類(lèi)任務(wù)。

Hafemann 等人[12]的實(shí)驗(yàn)顯示，在微觀和宏觀的圖片上，CNN 提取得到的紋理特描述符的表征能力超過(guò)了傳統(tǒng)的紋理描述符，進(jìn)一步說(shuō)明 CNN 在病理圖像識(shí)別任務(wù)中取得了非常明顯的效果。除此之外，使用傳統(tǒng)方法提取病理圖像中的特征需要大量的領(lǐng)域知識(shí)，而且根據(jù)這些領(lǐng)域知識(shí)得到的結(jié)果并不適用于其他的情況。在 BreaKHis 數(shù)據(jù)集上進(jìn)行的一系列實(shí)驗(yàn)[7]顯示，CNN 要比其他的使用了紋理描述符的機(jī)器學(xué)習(xí)算法的結(jié)果好。通過(guò)使用簡(jiǎn)單的融合規(guī)則，合并不同的 CNN 結(jié)構(gòu)，例如最大池化，乘積，求和等操作后，得到的病理圖像識(shí)別結(jié)果相比于[7]中的識(shí)別準(zhǔn)確率，提高了 6%。

CNN 在醫(yī)學(xué)圖像領(lǐng)域同樣得到了很大的關(guān)注，但是并沒(méi)有得到全面的推廣，阻礙其應(yīng)用的主要原因是缺少大量的醫(yī)學(xué)標(biāo)記數(shù)據(jù)，因此便不能通過(guò) CNN來(lái)得到好的特征，最終導(dǎo)致分類(lèi)任務(wù)的準(zhǔn)確率并不能得到極大的提升。近期針對(duì) CNN 方法，Bayramoglu等人[24]提出的基于深度學(xué)習(xí)的放大倍數(shù)獨(dú)立的乳腺癌病理圖像分類(lèi)器，準(zhǔn)確率比傳統(tǒng)的針對(duì)不同放大倍數(shù)分別訓(xùn)練的分類(lèi)器的準(zhǔn)確率高。Spanhol 等人[25]等人提出了基于 DeCAF 特征的乳腺癌病理圖像分類(lèi)算法，該算法利用預(yù)訓(xùn)練來(lái)初始化模型參數(shù)，最終得到目前最高的分類(lèi)準(zhǔn)確率。

1.3 基于生成對(duì)抗網(wǎng)絡(luò)的病理圖像分類(lèi)方法

近期生成對(duì)抗網(wǎng)絡(luò) (Generative Adversarial Network, GAN)[14]的提取在擬合數(shù)據(jù)分布方面取得了很好的效果?；?GAN 方法分別訓(xùn)練一個(gè)生成器和一個(gè)判別器，判別器用于判別數(shù)據(jù)來(lái)自于真實(shí)訓(xùn)練數(shù)據(jù)還是生成器生成的數(shù)據(jù)。通過(guò)采用博弈訓(xùn)練的方式來(lái)使生成器生成符合真實(shí)訓(xùn)練數(shù)據(jù)分布的數(shù)據(jù)。但是這種方法無(wú)法生成具有標(biāo)記的數(shù)據(jù)，Mirza 等人[16]提出的條件生成對(duì)抗網(wǎng)絡(luò)用于生成指定標(biāo)記的圖像，這樣便給擴(kuò)充樣本量提供條件。通過(guò)增加樣本數(shù)據(jù)可以防止模型過(guò)擬合，提高模型的識(shí)別準(zhǔn)確率。Radford等人[26]提出的深度卷積生成對(duì)抗網(wǎng)絡(luò)，其中將 GAN用于圖像特征提取，實(shí)現(xiàn)了半監(jiān)督的圖像識(shí)別，但是并沒(méi)有說(shuō)明具體細(xì)節(jié)，而且只是用到了簡(jiǎn)單的圖像識(shí)別場(chǎng)景。前面提到大大多數(shù)基于 GAN 的圖像生成方法，只能生成小分辨率的圖像，而對(duì)于高分辨率的圖像，Denton 等人[17]使用拉普拉斯金字塔，將卷機(jī)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)引入到拉普拉斯金字塔方法中，在每一層使用[14]中提到的 GAN 來(lái)訓(xùn)練生成圖像，逐層生成高質(zhì)量的圖像，最終得到高分辨率的可用于擴(kuò)充訓(xùn)練數(shù)據(jù)的有效圖像。

1.4 物體檢測(cè)算法

傳統(tǒng)的物體檢測(cè)的研究重點(diǎn)在于特征提取和分類(lèi)器。最早的工作是由 Viola 和 Jones[30]提出的，他們的工作中使用類(lèi)似 Haar 的特征提取方法和增強(qiáng)的分類(lèi)器對(duì)滑動(dòng)窗口上的區(qū)域進(jìn)行分類(lèi)來(lái)檢測(cè)是否存在物體。[31]中的算法提出使用 HOG 特征提取和線性 SVM來(lái)完成行人檢測(cè)。DPM 算法[32]提出了不可變圖模型，將隱 SVM 作為滑動(dòng)窗口分類(lèi)器。選擇性搜索算法[33]采用空間金字塔特征和 SIFT 特征[34]，并引入核SVM 完成分類(lèi)。Regionlet 方法[35]在 HOG 特征和其他特征上學(xué)習(xí)一個(gè)增強(qiáng)的分類(lèi)器。卷積層可以應(yīng)用在任意大小的圖像上，并能產(chǎn)生按比例大小的特征圖。在 Overfeat 方法[36]中，在卷積特征圖后接全連接網(wǎng)絡(luò)，實(shí)現(xiàn)分類(lèi)，定位和檢測(cè)。在基于 SPP 網(wǎng)絡(luò)的方法[37]中，對(duì)建議區(qū)域的卷積特征圖進(jìn)行池化操作，將得到的特征送入全連接網(wǎng)絡(luò)，給出最終的分類(lèi)結(jié)果。與[37]中的工作類(lèi)似，同期還有幾個(gè)工作[38-41]，使用了SPP 網(wǎng)絡(luò)的特征池化，采用相同的全局特征共享和區(qū)域多層感知機(jī)作為區(qū)域分類(lèi)器，在最終的檢測(cè)準(zhǔn)確率上得到提升。在 Fast R-CNN[38]方法中，通過(guò)興趣區(qū)域 (Region-of-Interest, ROI) 網(wǎng)絡(luò)層實(shí)現(xiàn)端到端的共享卷積層的微調(diào)。在 Faster R-CNN[39]，共享特征被用來(lái)得到建議區(qū)域，這樣就減少了產(chǎn)生建議區(qū)域的負(fù)擔(dān)。[40]中的方法不需要建議區(qū)域，而使用 SPPnet[37]中預(yù)定義的區(qū)域?；诙鄥^(qū)域的方法[41]，提取多個(gè)尺度下的圖像特征，然后進(jìn)行池化，訓(xùn)練讀個(gè)模型然后進(jìn)行集成，給出最終的分類(lèi)結(jié)果。

圖1 AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 Network structure of AlexNet

2 一種基于生成對(duì)抗網(wǎng)絡(luò)的病理圖像特征提取與可疑區(qū)域標(biāo)記模型

本節(jié)將闡述基于生成對(duì)抗網(wǎng)絡(luò)提出的乳腺癌病理圖像可疑區(qū)域標(biāo)記網(wǎng)絡(luò)。其中，2.1 節(jié)具體介紹生成對(duì)抗網(wǎng)絡(luò)的基本概念和主要思想。2.2 節(jié)介紹我們提出的可疑區(qū)域標(biāo)記網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)設(shè)置。2.3 節(jié)介紹模型訓(xùn)練方法。

2.1 生成對(duì)抗網(wǎng)絡(luò) (Generative Adversarial Network,GAN) 概述

生成對(duì)抗網(wǎng)絡(luò) (GAN) 在擬合數(shù)據(jù)分布具有很強(qiáng)的能力，通過(guò)該模型可以以對(duì)抗的方式學(xué)習(xí)到數(shù)據(jù)中隱藏的抽象特征，進(jìn)而利用這些特征可以提高模型的識(shí)別準(zhǔn)確率。GAN 通過(guò)訓(xùn)練兩個(gè)不同的網(wǎng)絡(luò)：一個(gè)生成網(wǎng)絡(luò) (又稱(chēng)生成器)G，和一個(gè)判別式網(wǎng)絡(luò) (又稱(chēng)判別器)D。生成模型G捕捉數(shù)據(jù)的分布，判別模型D是一個(gè)二分類(lèi)器，估計(jì)一個(gè)樣本來(lái)自于訓(xùn)練數(shù)據(jù)(而非生成數(shù)據(jù)) 的概率。G和D為一般的非線性映射函數(shù)，可采用全連接神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等實(shí)現(xiàn)。通過(guò)不斷調(diào)整G和D，直到D不能數(shù)據(jù)區(qū)分出來(lái)為止。在訓(xùn)練過(guò)程中，需要：(1) 優(yōu)化G，使得它盡可能的讓D混淆，(2) 優(yōu)化D，使得它盡可能的區(qū)分出數(shù)據(jù)來(lái)自于真實(shí)數(shù)據(jù)分布還是生成器。D和G進(jìn)行博弈的過(guò)程按照公式1最小化最大化優(yōu)化公式：

其中：x是真實(shí)的圖像數(shù)據(jù)，z是從均勻分布采樣得到的噪聲數(shù)據(jù)。

這里假設(shè)G采用的 FCN (全連接神經(jīng)網(wǎng)絡(luò))，這個(gè)網(wǎng)絡(luò)用來(lái)將隨機(jī)噪聲向量z通過(guò)一系列的轉(zhuǎn)化，生成圖像G(z)。D采用 CNN 和全連接網(wǎng)絡(luò)構(gòu)成，用來(lái)評(píng)估輸入的圖像是否來(lái)自于原有的訓(xùn)練數(shù)據(jù)集中，這個(gè)網(wǎng)絡(luò)便可以區(qū)分輸入的圖像是真實(shí)的還是合成的。這兩個(gè)網(wǎng)絡(luò)是同時(shí)訓(xùn)練的，具體的優(yōu)化公式如下：

對(duì)于生成器G,希望優(yōu)化如下公式：

公式 2 和公式 3 是求解公式 1 得到的兩個(gè)優(yōu)化子問(wèn)題，通過(guò)優(yōu)化公式 2 和公式 3 便可以完成模型的訓(xùn)練。判別器D盡可能去辨別此時(shí)的病理圖像從哪里產(chǎn)生，而G網(wǎng)絡(luò)負(fù)責(zé)產(chǎn)生圖像病理，與此同時(shí)，G網(wǎng)絡(luò)盡可能產(chǎn)生更加真實(shí)的病理圖像。

最終利用判別器D中的特征提取模塊作為病理圖像特征提取模塊，提取病理圖像的顯著判別力的特征，以此增加乳腺癌病理圖像識(shí)別網(wǎng)絡(luò)的魯棒性和泛化性能。

2.2 基于 GAN 的病理圖像可疑區(qū)域標(biāo)記網(wǎng)絡(luò)的架構(gòu)

如圖 2 所示，為基于 GAN 的病理圖像可疑區(qū)域標(biāo)記網(wǎng)絡(luò)。該對(duì)抗分類(lèi)網(wǎng)絡(luò)主要由 GAN 和基于 CNN的分類(lèi)網(wǎng)絡(luò)這兩部分構(gòu)成，最終通過(guò)融合多個(gè)卷積層的輸出特征圖來(lái)給出病理圖像的可疑區(qū)域標(biāo)記結(jié)果。相對(duì)于傳統(tǒng)的基于 CNN 的分類(lèi)網(wǎng)絡(luò)，我們提出的對(duì)抗分類(lèi)網(wǎng)絡(luò)的主要特點(diǎn)在于兩部分共用了特征提取網(wǎng)絡(luò)實(shí)現(xiàn)了圖像中有判別力的特征提取。該方法的機(jī)理在于：(1) 通過(guò)對(duì)抗分類(lèi)網(wǎng)絡(luò) GAN 中生成器所生成的病理圖像數(shù)據(jù)為判別特征提取網(wǎng)絡(luò)的訓(xùn)練提供了更多的數(shù)據(jù)，防止了判別網(wǎng)絡(luò)的過(guò)擬合，進(jìn)而使得判別特征提取網(wǎng)絡(luò)具有更好的通用性，使用少量的病理圖像數(shù)據(jù)訓(xùn)練得到的特征提取網(wǎng)絡(luò)就可以從病理圖像中提取更具判別力的特征用于分類(lèi)任務(wù)。(2) 通過(guò)共用特征提取網(wǎng)絡(luò)，可以使分類(lèi)網(wǎng)絡(luò)充分利用基于 GAN 訓(xùn)練得到的特征提取網(wǎng)絡(luò)來(lái)完成病理圖像的特征提取，進(jìn)而進(jìn)行可疑區(qū)域標(biāo)記。

該網(wǎng)絡(luò)使用 GAN 來(lái)完成高維圖像數(shù)據(jù)分布的建模。在該網(wǎng)絡(luò)內(nèi)引入了基于 CNN 的特征提取模塊。通過(guò)對(duì)抗方式訓(xùn)練 GAN，也同時(shí)完成了圖像特征提取模塊的訓(xùn)練。從圖中可以看到，該模型共分為三個(gè)部分：第一部分為圖中左下部分，該模塊完成了病理圖像特征提取和 GAN 的對(duì)抗訓(xùn)練；第二部分為圖中右上部分，該模塊完成了有監(jiān)督的病理圖像分類(lèi)任務(wù)。第三部分通過(guò)融合 CNN 的輸出特征圖來(lái)得到病理圖像可疑區(qū)域的標(biāo)記結(jié)果。

2.2.1 基于對(duì)抗訓(xùn)練的特征提取網(wǎng)絡(luò)

在病理圖像分類(lèi)任務(wù)中，如何提取病理圖像中豐富的紋理特征是十分關(guān)鍵的。好的特征很大程度決定病理圖像分類(lèi)的準(zhǔn)確率。如圖 3 (a) 所示，該特征提取網(wǎng)絡(luò)的輸入是乳腺癌病理圖像，該圖像逐層通過(guò)該網(wǎng)絡(luò)，在每一層分別提取圖像中的紋理特征，不斷提取圖像的高層抽象特征，用于最終的分類(lèi)任務(wù)。

該網(wǎng)絡(luò)第一層由 Inception 模塊構(gòu)成，緊接著是5×5 的卷積層，然后是 3×3 的最大池化層。通過(guò)層疊該結(jié)構(gòu)，最終構(gòu)成了特征提取網(wǎng)絡(luò)。該網(wǎng)絡(luò)最主要是使用了 GoogleNet[19]中的 Inception 模塊，該模塊分別使用了 1×1，3×3 和 5×5 的卷積核，分別從多個(gè)不同的尺度來(lái)提取圖像中的紋理特征。

圖2 病理圖像可疑區(qū)域標(biāo)記網(wǎng)絡(luò)的結(jié)構(gòu)圖，該結(jié)構(gòu)圖共包含三部分：一部分為左下方的基于GAN的特征提取模塊，第二部分為右上方的基于CNN的分類(lèi)網(wǎng)絡(luò)模塊（其中，Uniform samples是指從均勻分布中采樣得到的100維樣本數(shù)據(jù)，Dense是指全連接層,Conv指卷積層，relu（rectified linear unit）是指修正線性單元，一種激活函數(shù)，Maxpool最大池化層，Global Average Pooling是指全局平均池化層，ADD是一種層與層相加的運(yùn)算操作），第三部分為中間的特征融合層，實(shí)現(xiàn)了最終的病理圖像可疑區(qū)域標(biāo)記Fig. 2 The structure diagram of pathological image suspicious region labeling network. The structure diagram contains three parts:one part is the left bottom GAN-based feature extraction module, and the second part is the upper right CNN-based classi fi cation network module (where Uniform samples refer to uniformly sampled 100-dimensional sample data, Dense refers to the fully connected layer, Conv refers to the convolutional layer, relurefers to a recti fi ed linear unit, an activation function, Maxpoolrefers to maximization pooling layer, GlobalAveragePooling refers to the global Average pooling layer, ADD is a layer-to-layer addition operation. and the third part is the middle feature fusion layer, which labels the fi nal pathological image suspicious region.

圖3 特征提取模塊, (a) 表示基于 GAN 的特征提取模塊以及每層提取到的特征，最終通過(guò)融合各層的特征圖得到可疑區(qū)域標(biāo)記結(jié)果 (b) 表示 Inception 網(wǎng)絡(luò)模塊，其中Maxpool 表示最大池化層，Conv 表示卷積網(wǎng)絡(luò)層，F(xiàn)ilter concatenation 表示多特征融合層Fig. 3 Suspicious region labeling module,(a) indicates the feature extraction module and the features extracted at each layer. Finally, the suspicious regionlabeling result is obtained by fusing the feature maps of each layer. (b) indicates the Inception network module, where Maxpool represents the maximization pooling layer, Conv represents the convolutional network layer,and Concat represents multiple features Fusion layer

2.2.2 分類(lèi)網(wǎng)絡(luò)

如圖 2 中所示，分類(lèi)網(wǎng)絡(luò)主要由分支全連接網(wǎng)絡(luò)來(lái)完成，其采用對(duì)抗特征提取網(wǎng)絡(luò)的輸出作為輸入，然后對(duì)特征進(jìn)行多次非線性映射。采用多個(gè)卷積神經(jīng)網(wǎng)絡(luò)對(duì)之前得到的特征進(jìn)一步抽象，最終使用全局平均池化層給出乳腺癌病理圖像分類(lèi)結(jié)果。

2.2.3 可疑區(qū)域標(biāo)記

在第二階段完成了有監(jiān)督的病理圖像分類(lèi)網(wǎng)絡(luò)的訓(xùn)練。在該階段盡可能保證該分類(lèi)模型具有較高的分類(lèi)準(zhǔn)確率。這樣便使得卷積層提取到的特征更具有判別性，然后通過(guò)融合多個(gè)網(wǎng)絡(luò)層的輸出特征圖，給出最終的病理圖像可疑區(qū)域標(biāo)記結(jié)果。

2.3 網(wǎng)絡(luò)的訓(xùn)練過(guò)程

對(duì)抗分類(lèi)網(wǎng)絡(luò)主要包括圖 2 中左下方所示的基于生成對(duì)抗的特征提取網(wǎng)絡(luò)，以及圖中右上方的基于CNN 的分類(lèi)網(wǎng)絡(luò)。因此對(duì)抗分類(lèi)網(wǎng)絡(luò)的訓(xùn)練主要包含 2 個(gè)階段，分別是基于生成對(duì)抗的特征提取網(wǎng)絡(luò)的訓(xùn)練和基于 CNN 的分類(lèi)網(wǎng)絡(luò)的訓(xùn)練。訓(xùn)練數(shù)據(jù)主要來(lái)自于 BreaKHis[7]乳腺癌病理圖像數(shù)據(jù)集，具體介紹在 4.2 部分。

2.3.1 基于生成對(duì)抗的特征提取網(wǎng)絡(luò)的訓(xùn)練

該特征提取網(wǎng)絡(luò)的訓(xùn)練與 GAN 的訓(xùn)練相似。該網(wǎng)絡(luò)的輸入包含兩部分，分別是真實(shí)的乳腺癌病理圖像和來(lái)自均勻分布采樣結(jié)果。該 100 維樣本首先通過(guò)全連接網(wǎng)絡(luò)進(jìn)行映射，得到 128 個(gè)大小為 16×16 的特征圖，然后通過(guò) strides 為 2 的上采樣網(wǎng)絡(luò)層完成特征圖的上采樣，最終得到的 128 個(gè)大小為 32×32 的特征圖。然后緊跟著是激活層用來(lái)對(duì)上一層網(wǎng)絡(luò)的輸出做一個(gè)非線性變換。通過(guò)這樣的上采樣和非線性激活，最終得到的生成圖像大小為 128×128×3。將生成的圖像標(biāo)記為 0，原始的輸入圖像標(biāo)記為 1，然后使用這些有標(biāo)記的數(shù)據(jù)來(lái)完成判別器的有監(jiān)督訓(xùn)練。從圖 2中可以看到，判別器是由特征提取層構(gòu)成，這樣在訓(xùn)練 GAN 的同時(shí)，也完成了圖像特征提取網(wǎng)絡(luò)參數(shù)的訓(xùn)練。由于采用 GAN 的對(duì)抗訓(xùn)練方式，因此稱(chēng)該特征提取網(wǎng)絡(luò)為對(duì)抗特征提取網(wǎng)絡(luò)。由于傳統(tǒng)的 GAN包含生成器和判別器，因此訓(xùn)練的過(guò)程中采用隨機(jī)梯度下降的算法。

在實(shí)際訓(xùn)練過(guò)程中，由于不能直接得到解析解，因此采用迭代的數(shù)值計(jì)算方式對(duì)模型進(jìn)行訓(xùn)練。如算法1 中，直接在內(nèi)循環(huán)中訓(xùn)練判別器D的計(jì)算量很大，而且在有限的數(shù)據(jù)集上訓(xùn)練，容易導(dǎo)致D出現(xiàn)過(guò)擬合現(xiàn)象。因此我們選擇訓(xùn)練k(k的選擇可以根據(jù)D的復(fù)雜度和數(shù)據(jù)量的大小決定，實(shí)驗(yàn)中k取 2) 次訓(xùn)練D，1 次訓(xùn)練生成器G。只要G的變換足夠慢，D在每一輪完整的訓(xùn)練 (k次D訓(xùn)練和 1 次G訓(xùn)練) 后都維持在最優(yōu)解的附近。通過(guò)多輪訓(xùn)練，最終實(shí)現(xiàn) GAN 的訓(xùn)練。相應(yīng)的對(duì)抗特征提取網(wǎng)絡(luò)參數(shù)也以對(duì)抗的方式得到了訓(xùn)練。

2.3.2 分類(lèi)網(wǎng)絡(luò)訓(xùn)練

在通過(guò)以上階段的訓(xùn)練，得到了穩(wěn)定的對(duì)抗特征提取網(wǎng)絡(luò)，在此訓(xùn)練階段，固定該特征提取網(wǎng)絡(luò)，只對(duì)分類(lèi)網(wǎng)絡(luò)進(jìn)行單獨(dú)的訓(xùn)練。輸入的病理圖像大小為128×128×3，通過(guò)圖 3 中所示的特征提取網(wǎng)絡(luò)后，得到的特征大小為 3×3×128。然后經(jīng)過(guò)全局平局池化層將特征映射到 128 維，然后再使用卷積神經(jīng)網(wǎng)絡(luò)和全局平均池化層完成最終的分類(lèi)任務(wù)。

算法 1：生成對(duì)抗網(wǎng)絡(luò)批量隨機(jī)梯度下降訓(xùn)練算法。對(duì)于判別器D訓(xùn)練的次數(shù)k是超參數(shù)，為了最小化計(jì)算量，實(shí)驗(yàn)中選擇k=2

3 模型實(shí)現(xiàn)

3.1 基本硬件配置和實(shí)驗(yàn)環(huán)境

硬件配置：實(shí)驗(yàn)采用 NVIDIA? Tesla? K80 GPU計(jì)算集群，該集群共包含 13 個(gè) GPU 卡，每個(gè)卡含有11G 顯存以及 40 個(gè) 4.2GHz CPU 核心和 256G 內(nèi)存。

本論文代碼實(shí)現(xiàn)采用的編程環(huán)境為 Ubuntu 16.04，采用 python 作為編程語(yǔ)言。本論文中網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)采用 Google 開(kāi)源的 Tensorflow 深度學(xué)習(xí)框架進(jìn)行對(duì)抗分類(lèi)網(wǎng)絡(luò)設(shè)計(jì) (通過(guò) python 代碼實(shí)現(xiàn))，并進(jìn)行實(shí)驗(yàn)。

3.2 乳腺癌病理圖像數(shù)據(jù)集

本實(shí)驗(yàn)采用的數(shù)據(jù)集是國(guó)際乳腺癌病理圖像數(shù)據(jù)集 BreaKHis[7]，該數(shù)據(jù)集采集了 82 個(gè)人在 2014 年全年的病理圖像數(shù)據(jù)，該數(shù)據(jù)集包含 4 個(gè)放大倍數(shù)下觀測(cè)得到的病理圖像數(shù)據(jù)，如下表 1 所示。

如圖 4 所示，是放大倍數(shù)為 400X 乳腺癌病理圖像，其中共分為 8 個(gè)病理組織切片圖。

表1 病理圖像數(shù)據(jù)集數(shù)據(jù)構(gòu)成Table 1 Composition of Pathological Image Data Set

圖4 400X 放大倍數(shù)的乳腺癌病理圖像，來(lái)自于 BreaKHis數(shù)據(jù)集，其中展示了 2 種不同組織的乳腺病理切片圖 (每種展示兩張圖片)，類(lèi)型分為良性腫瘤和惡性腫瘤Fig. 4 400X magni fi cation of breast cancer pathology images from the BreaKHis dataset showing mammary pathological sections of 2 different tissues (each showing two images), divided into benign and malignant tumors type

3.3 數(shù)據(jù)預(yù)處理

由于制作病理組織切片圖的過(guò)程中，需要對(duì)組織進(jìn)行染色處理，因此染色的不同也會(huì)造成病理圖像的不同觀測(cè)結(jié)果，不同區(qū)域具有明顯的不均衡現(xiàn)象，因此需要對(duì)圖像進(jìn)行歸一化處理，消除圖像不均衡現(xiàn)象。為了提高模型的泛化性能，對(duì)病理圖像進(jìn)行了圖像擴(kuò)增，其中包括圖像平移，圖像旋轉(zhuǎn)，圖像鏡像，圖像亮度變化，裁剪和縮放。

4 驗(yàn)證

該實(shí)驗(yàn)部分主要論述提出的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)于病理圖像紋理特征的提取具有很好的效果。比近期提出的基于深度神經(jīng)網(wǎng)絡(luò)的方法[20]識(shí)別準(zhǔn)確率高 3 個(gè)百分點(diǎn)。其中 4.1 節(jié)主要說(shuō)明對(duì)抗特征提取網(wǎng)絡(luò)得到很強(qiáng)的判別性。4.2 節(jié)介紹該網(wǎng)絡(luò)在 BreaKHis[7]數(shù)據(jù)集的測(cè)試結(jié)果。

4.1 基于對(duì)抗特征提取網(wǎng)絡(luò)，提取具有高判別性的深度圖像特征

如圖 3 (a) 所示，為主要的特征提取模塊。該模塊主要由 Inception 模塊 (如圖 3 (b) 所示) 和卷積模塊構(gòu)成。該模型主要從多個(gè)尺度來(lái)提取病理圖像中的細(xì)節(jié)紋理特征，這些特征可用于病理圖像識(shí)別網(wǎng)絡(luò)來(lái)判斷該病理圖像是良性還是惡性。從圖中可以看到，輸入圖像為乳腺癌病理圖像，首先通過(guò)Inception 模塊，圖中截取了部分特征圖用于顯示，可以看出神經(jīng)網(wǎng)絡(luò)的前幾層提取到的特征圖包含的紋理特征占據(jù)整張圖。隨著網(wǎng)絡(luò)的深入，模塊提取到的特征更加抽象。

在對(duì)病理圖像識(shí)別任務(wù)中，最重要的是圖像中的紋理特征。如何從病理圖像中更加有效的提取出紋理細(xì)節(jié)特征直接決定了病理圖像的分類(lèi)效果。圖5是截取的由對(duì)抗分類(lèi)網(wǎng)絡(luò)中的特征提取網(wǎng)絡(luò)的一些特征提取層的輸出結(jié)果。從圖中可以看到，采用生成對(duì)抗方式訓(xùn)練的特征提取網(wǎng)絡(luò)可以提取到具有判別力的特征，而且對(duì)于病理圖像中的紋理信息也得到了很完整的提取。從特征圖看出，病理圖像中很多細(xì)節(jié)紋理信息得到保留，同時(shí)特征圖也提取到了對(duì)于可疑區(qū)域標(biāo)記任務(wù)十分有用的特征。

從圖 5 中可以看出，得到的特征圖保留了病理圖像中原有的紋理特征。且得到的特征圖具有一定的可判別性，使用圖 5 得到的特征圖進(jìn)一步融合得到如圖6 的可疑區(qū)域，從圖中可以看到，可疑區(qū)域準(zhǔn)確的定位到細(xì)胞發(fā)生畸變的區(qū)域。由于沒(méi)有明確的已標(biāo)記的可疑區(qū)域數(shù)據(jù)，因此無(wú)法評(píng)價(jià)可疑區(qū)域的準(zhǔn)確率，但通過(guò)與臨床醫(yī)生討論，認(rèn)為利用提取到的特征圖得到的可疑區(qū)域基本符合病理學(xué)學(xué)家的直觀判斷，證明使用本論文提取到的特征具有較好的判別能力，用來(lái)找到一張病理圖像中的可疑區(qū)域。

4.2 識(shí)別準(zhǔn)確率對(duì)比實(shí)驗(yàn)

圖5 特征提取網(wǎng)絡(luò)層輸出，(a) 為輸入原始乳腺癌病理圖像，從 (b)-(d) 依次為對(duì)抗特征提取網(wǎng)絡(luò)由淺層到深層的輸出特征圖Fig. 5 Output of Feature extraction network layer, (a) Original breast cancer pathology image, and (b)-(d) are output feature maps from the shallow layer to the deep layer

圖6 可疑區(qū)域：融合不同網(wǎng)絡(luò)層產(chǎn)生的特征圖得到可疑區(qū)域，其中上面為原始圖像，下面為相應(yīng)的標(biāo)記后的可疑區(qū)域圖Fig. 6 Suspicious region: Fusing the feature maps generated by different network layers to obtain suspicious region, in which the top is the original image, and the following is the corresponding labeled suspicious region map.

由于最終的可疑區(qū)域標(biāo)記是針對(duì) 400x 放大倍數(shù)的圖片，因此針對(duì)放大倍數(shù)為 400x 的 1820 張訓(xùn)練數(shù)據(jù)集，進(jìn)行了如表 2 中所示的 5 種劃分方式，產(chǎn)生了5 種分類(lèi)難度不同的數(shù)據(jù)集，來(lái)驗(yàn)證本論文提出的方法通過(guò)訓(xùn)練分類(lèi)網(wǎng)絡(luò)來(lái)得到高判別力的特征，其中數(shù)據(jù)集的5種劃分方式，是按照[7]的作者提供的代碼進(jìn)行數(shù)據(jù)集的劃分。

從表中可以看出，本論文提出的對(duì)抗分類(lèi)網(wǎng)絡(luò)在Fold1 數(shù)據(jù)集上取得了 85.23% 的準(zhǔn)確率。在放大倍數(shù)為400x 的 5 種數(shù)據(jù)集上，達(dá)到的平均準(zhǔn)確率為 83.8%。

本論文提出的以對(duì)抗方式訓(xùn)練的網(wǎng)絡(luò)不僅可以利用少量的數(shù)據(jù)來(lái)完成特征提取網(wǎng)絡(luò)的訓(xùn)練，而且得到的特征提取網(wǎng)絡(luò)可以從病理圖像中提取更具判別力的特征。由于好的病理圖像識(shí)別結(jié)果，才能進(jìn)一步保證特征提取模塊提取到了具有判別力的特征。已有的病理圖像識(shí)別方法大多對(duì)訓(xùn)練數(shù)據(jù)分片，通過(guò)數(shù)據(jù)增量來(lái)訓(xùn)練復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)，這樣便破環(huán)了原始圖像的空間信息。而本文為了保留了原圖的信息，并沒(méi)有對(duì)圖像進(jìn)行切分，使得可以對(duì)全圖進(jìn)行可疑區(qū)域標(biāo)記 (進(jìn)行分片數(shù)據(jù)擴(kuò)增的方法無(wú)法進(jìn)行全圖可疑區(qū)域標(biāo)記)。

本文提出的網(wǎng)絡(luò)在部分?jǐn)?shù)據(jù)集上取得的分類(lèi)效果比較好，但是仍然在一些數(shù)據(jù)集上不如已有分類(lèi)方法的準(zhǔn)確率高。近期提出的基于預(yù)訓(xùn)練的深度卷機(jī)網(wǎng)絡(luò)分類(lèi)器[25]在該數(shù)據(jù)集上得到了目前最高的準(zhǔn)確率，但該方法僅提高了分類(lèi)準(zhǔn)確率，但并不能對(duì)病理圖像中的可疑區(qū)域進(jìn)行標(biāo)記。

表2 放大倍數(shù)為 400x 的乳腺癌病理圖像訓(xùn)練集與測(cè)試集劃分以及模型測(cè)試結(jié)果，其中將 1820 張病理圖像劃分為 5個(gè)實(shí)驗(yàn)數(shù)據(jù)集 (不同實(shí)驗(yàn)數(shù)據(jù)集劃分的識(shí)別難度不同, 劃分代碼按照數(shù)據(jù)提供者給出)Table 2 The division of Breast cancer pathological image training set and test set and model test results at a magni fi cation of 400x, of which 1820 pathological images are divided into 5 experimental data sets (different experimental data sets have different recognition dif fi culties, and the dividing code is given by data Providers)

圖7 基于對(duì)抗分類(lèi)網(wǎng)絡(luò)提取到的特征進(jìn)行可疑區(qū)域標(biāo)記結(jié)果，上面部分為原始的乳腺癌病理圖像，下面部分是對(duì)應(yīng)的可疑區(qū)域標(biāo)記結(jié)果Fig. 7 Suspicious region labeling results. The top part is the original breast cancer pathology image, and the bottom part is the corresponding suspicious regionlabeling result.

5 討論

本論文提出的基于 GAN 的乳腺癌病理圖像可疑區(qū)域標(biāo)記網(wǎng)絡(luò)。我們不直接使用 GAN 生成乳腺癌病理圖像，而是利用 GAN 中的對(duì)抗訓(xùn)練思想，來(lái)端到端的訓(xùn)練特征提取模型。實(shí)驗(yàn)證明以對(duì)抗方式訓(xùn)練提取得到的特征具有更好的判別能力。同時(shí)根據(jù)提取到的特征，對(duì)得到的特征圖進(jìn)行上采樣，與原始輸入圖像融合，可以給出乳腺癌病理圖像可疑區(qū)域的標(biāo)記。如圖 7 所示。對(duì)乳腺癌病理圖像標(biāo)記的結(jié)果并不理想，仍然存在一些區(qū)域不能給出準(zhǔn)確的標(biāo)記。

本文提出的對(duì)抗分類(lèi)網(wǎng)絡(luò)也同樣存在可以改進(jìn)的地方：(1) 由于考慮到硬件資源的限制，選擇的輸入圖像的低分辨率作為輸入 (尺度為 128*128)，一定程度圖像紋理信息提取不夠精確，導(dǎo)致在部分病理圖像可疑區(qū)域標(biāo)記做的不夠好。后面的實(shí)驗(yàn)可以通過(guò)增大輸入圖像的分辨率來(lái)進(jìn)行實(shí)驗(yàn)，并調(diào)整訓(xùn)練過(guò)程中的模型參數(shù)以提高病理圖像可疑區(qū)域標(biāo)記的準(zhǔn)確率。 (2) 由于數(shù)據(jù)只有兩類(lèi)標(biāo)記，并沒(méi)有給出已有可疑區(qū)域標(biāo)記的病理圖像數(shù)據(jù)，因此將來(lái)可以考慮融入已有可疑區(qū)域標(biāo)記的圖像數(shù)據(jù)，運(yùn)用半監(jiān)督的方式進(jìn)一步提高病理圖像可疑區(qū)域標(biāo)記的準(zhǔn)確率。

6 結(jié)論

本論文提出了一種新的乳腺癌病理圖像可疑區(qū)域標(biāo)記方法。該方法不需要訓(xùn)練數(shù)據(jù)具有可疑區(qū)域標(biāo)記，而僅包含該腫瘤是良性還是惡性等弱標(biāo)記即可。該方法將對(duì)抗神經(jīng)網(wǎng)絡(luò)應(yīng)用到乳腺癌病理圖像特征提取中，并將從圖像中提取到的特征應(yīng)用到圖像可疑區(qū)域標(biāo)記任務(wù)中，取得了很好的標(biāo)記效果。該方法能夠利用少量乳腺癌病理圖像數(shù)據(jù)，采用有監(jiān)督的方式訓(xùn)練分類(lèi)器，即訓(xùn)練網(wǎng)絡(luò)可以給出輸入的乳腺癌病理圖像是良性還是惡性。由于在模型訓(xùn)練過(guò)程中借鑒了 GAN 中的對(duì)抗訓(xùn)練方式，因此該模型中的特征提取網(wǎng)絡(luò)提取到的特征更具有判別性，進(jìn)而間接地給出準(zhǔn)確的病理圖像可疑區(qū)域標(biāo)記結(jié)果。基于該方法，能夠?qū)θ橄侔┎±韴D像進(jìn)行可疑區(qū)域標(biāo)記，幫助臨床醫(yī)學(xué)快速準(zhǔn)確的定位乳腺癌病理圖像中的可疑區(qū)域，加快診斷過(guò)程。本論文提出的對(duì)抗特征提取方式具有很好的泛化能力?；诒菊撐奶岢龅娜橄侔┎±韴D像特征提取和可疑區(qū)域標(biāo)記，同樣可以應(yīng)用到其他類(lèi)型癌癥圖像的分析任務(wù)中。并且，未來(lái)該方法還將拓展到CT 圖像，核磁圖像，以及更多的癌癥類(lèi)型任務(wù)。

[1]B. Stenkvist, S. Westman-Naeser, J. Holmquist, B.Nordin, E. Bengtsson, J. Vegelius, O. Eriksson, and C. H.Fox, “Computerized nuclear morphometry as an objective method for characterizing human cancer cell populations,”Cancer Research, vol. 38, no. 12, pp. 4688–4697, 1978.

[2]M.Kowal, P. Filipczuk, A. Obuchowicz, J. Korbicz,and R. Monczak,”Computer-aided diagnosis of breast cancer based on fi ne needle biopsy microscopic images,”Computers in Biology and Medicine, vol. 43, no. 10, pp.1563–1572, 2013.

[3]P. Filipczuk, T. Fevens, A. Krzy˙zak, and R. Monczak,“Computer-aided breast cancer diagnosis based on the analysis of cytological images of fine needle biopsies,”IEEE Transactions on Medical Imaging, vol. 32, no. 12,pp. 2169–2178, 2013.

[4]Y. M. George, H. L. Zayed, M. I. Roushdy, and B. M.Elbagoury, “Remote computer-aided breast cancer detection and diagnosis system based on cytological images,” IEEE Systems Journal, vol. 8, no. 3, pp. 949–964, 2014.

[5]Y. Zhang, B. Zhang, F. Coenen, and W. Lu, “Breast cancer diagnosis from biopsy images with highly reliable random subspace classifier ensembles,” Machine Vision and Applications, vol. 24, no. 7, pp. 1405 – 1420, 2013.

[6]Y. Zhang, B. Zhang, F. Coenen, J. Xiau, and W. Lu,“One-class kernel subspace ensemble for medical image classi fi cation,” EURASIP Journal on Advances in Signal Processing, vol. 2014, no. 17, pp. 1–13, 2014.

[7]F. Spanhol, L. S. Oliveira, C. Petitjean, and L. Heutte,“A dataset for breast cancer histopathological image classification,” IEEE Transactions of Biomedical Engineering, 2016.

[8 Y. LeCun, Y. Bengio, and G. Hinton, “Deep learning,”Nature, vol. 521, pp. 436–444, 2015.

[9]Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E.Howard, W. Hubbard, and L. D. Jackel, “Backpropagation applied to handwritten zip code recognition,” Neural Computation, vol. 1, no. 4, pp. 541–551, 1989.

[10]A. Krizhevsky, I. Sutskever, and G. E. Hinton, “Imagenet classi fi cation with deep convolutional neural networks,” in Advances in Neural Information Processing Systems 25,2012, pp. 1097–1105.

[11]X. X. Niu and C. Y. Suen, “A novel hybrid cnn–svm classifier for recognizing handwritten digits,” Pattern Recognition, vol. 45, no. 13181325, 2012.

[12]L. G. Hafemann, L. S. Oliveira, and P. Cavalin, “Forest species recognition using deep convolutional neural networks,” in International Conference on Pattern Recognition, 2014, pp. 1103–1107.

[13]D. J Brenner and Eric J Hall. Computed tomography?an increasing source of radiation exposure. N. Engl. J. Med.,357(22):2277–2284, 2007.

[14]I. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, SherjilOzair, Aaron Courville,and YoshuaBengio. Generative adversarial nets. In Advances in Neural Information Processing Systems,pages 2672–2680, 2014.

[15]N. Dong, T. Roger, P. Caroline, R. Su and S. Dinggang.Medical Image Synthesis with Context-Aware Generative Adversarial Networks. eprint arXiv:1612.05362, 2016.

[16]M. Mirza and S. Osindero. Conditional generative adversarial nets. CoRR, abs/1411.1784, 2014.

[17]Denton, Emily L, Chintala, Soumith, Szlam, Arthur,and Fergus, Rob. Deep generative image models using a laplacian pyramid of adversarial networks. In Cortes,C., Lawrence, N.D., Lee, D.D., Sugiyama, M., Garnett,R., and Garnett, R. (eds.), Advances in Neural Information Processing Systems 28, pp. 1486–1494. Curran Associates, Inc., 2015.

[18]Y. LeCun, B. Boser, J. S. Denker, D. Henderson,R. E.Howard, W. Hubbard, and L. D. Jackel.Backpropagationapplied to handwritten zip code recognition. Neural computation,1(4):541–551, 1989.

[19]Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S.E., Anguelov, D., ... &Rabinovich, A. (2015). Going deeper with convolutions. computer vision and pattern recognition,, 1-9.

[20]Spanhol F A, Oliveira L S, Petitjean C, et al. Breast cancer histopathological image classi fi cation using Convolutional Neural Networks[C]. international symposium on neural networks, 2016: 2560-2567.

[21]S. Targ, D. Almeida, and K. Lyman. Resnet inresnet:Generalizing residual architectures. arXiv preprintarXiv:1603.08029, 2016.

[22]A. Krizhevsky, I. Sutskever, and G. E. Hinton.Imagenetclassification with deep convolutional neural networks. InNIPS, 2012.

[23]O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh,S.Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein,et al. Imagenet large scale visual recognition challenge.International Journal of Computer Vision, 115(3):211–252,2015.

[24]Bayramoglu N, Kannala J, Heikkil? J. Deep learning for magnification independent breast cancer histopathology image classification[C]// International Conference on Pattern Recognition. IEEE, 2017:2440-2445.

[25]Spanhol F A, Oliveira L S, Cavalin P R, et al. Deep features for breast cancer histopathological image classification[C]// IEEE International Conference on Systems, Man and Cybernetics. IEEE, 2017:1868-1873.

[26]Radford A, Metz L, Chintala S. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks[J]. Computer Science, 2015.

[27]Z Zhong, J Li Generative Adversarial Networks and Probabilistic Graph Models for Hyperspectral Image Classification arXiv preprint arXiv:1802.03495, 2018 -arxiv.org.

[28]He Z, Liu H, Wang Y, et al. Generative Adversarial Networks-Based Semi-Supervised Learning for Hyperspectral Image Classification[J]. Remote Sensing,2017, 9(10):1042.

[29]Guibas J T, Virdi T S, Li P S. Synthetic Medical Images from Dual Generative Adversarial Networks[J]. 2018.

[30]P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” in CVPR, 2001.

[31]N. Dalal and B. Triggs, “Histograms of oriented gradients for human detection,” in CVPR, 2005.

[32]P. F. Felzenszwalb, R. B. Girshick, D. McAllester, and D.Ramanan, “Object detection with discriminatively trained partbased models,” TPAMI, 2010.

[33]J. R. Uijlings, K. E. van de Sande, T. Gevers, and A. W.Smeulders, “Selective search for object recognition,”IJCV,2013.

[34]D. G. Lowe, “Distinctive image features from scaleinvariant keypoints,” IJCV, 2004.

[35]X. Wang, M. Yang, S. Zhu, and Y. Lin, “Regionlets for generic object detection,” in ICCV, 2013.

[36]P. Sermanet, D. Eigen, X. Zhang, M. Mathieu, R.Fergus, and Y. LeCun, “Overfeat: Integrated recognition,localization anddetection using convolutional networks,”in ICLR, 2014.

[37]K. He, X. Zhang, S. Ren, and J. Sun, “Spatial pyramid pooling in deep convolutional networks for visual recognition,” inECCV, 2014.

[38]R. Girshick, “Fast R-CNN,” in ICCV, 2015.

[39]S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN:Towards real-time object detection with region proposal etworks,” in NIPS, 2015.

[40]K. Lenc and A. Vedaldi, “R-cnn minus r,” in BMVC, 2015.

[41]S. Gidaris and N. Komodakis, “Object detection via a multiregion& semantic segmentation-aware cnn model,”in ICCV,2015.