王陽(yáng) 陳薇伊 馬軍山

摘? 要：為了提高乳腺癌病理圖像良惡性診斷的準(zhǔn)確率，提出了一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)乳腺癌病理圖像的診斷方法。利用這種方法，能夠快速地對(duì)乳腺癌病理圖像自動(dòng)進(jìn)行良惡性診斷。乳腺癌病理圖像具有非常復(fù)雜的結(jié)構(gòu)，利用VGG16架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)病理圖像進(jìn)行特征提取，利用數(shù)據(jù)增強(qiáng)的方法擴(kuò)充數(shù)據(jù)集，使用遷移學(xué)習(xí)，將在ImageNet數(shù)據(jù)集上訓(xùn)練得到的權(quán)重作為該網(wǎng)絡(luò)的初始化參數(shù)，該模型在乳腺癌數(shù)據(jù)集Breakhis上得到的準(zhǔn)確率可以達(dá)到95%，而在經(jīng)過(guò)解凍部分訓(xùn)練層、調(diào)整學(xué)習(xí)率等優(yōu)化操作之后，分類(lèi)準(zhǔn)確率最高可以達(dá)到99%。實(shí)驗(yàn)結(jié)果表明，優(yōu)化后的方法在乳腺癌良惡性診斷準(zhǔn)確率方面有很大的提高。

關(guān)鍵詞：乳腺癌;卷積神經(jīng)網(wǎng)絡(luò);圖像分類(lèi);數(shù)據(jù)增強(qiáng);遷移學(xué)習(xí)

中圖分類(lèi)號(hào)：TP391? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2096-1472（2022）-01-06-04

Abstract： In order to improve the accuracy of benign and malignant diagnosis for breast cancer pathological images， this paper proposes a diagnosis method for breast cancer pathological images based on convolutional neural network （CNN）. This method makes a quick and automatic benign and malignant diagnosis for breast cancer pathology images. As breast cancer pathological images have very complex structures， VGG16 （Visual Geometry Group） architecture convolutional neural network is used to extract the features of pathological images， and data enhancement is used to expand the data set. By using transfer learning， weights trained on the ImageNet data set are used as the initialized parameters of the network. The model can achieve 95% accuracy on breast cancer data set Breakhis; the classification accuracy is as high as 99% after thawing some training layers and adjusting learning rate. The experimental results show that the optimized method can greatly improve the accuracy of breast cancer benign and malignant diagnosis.

Keywords： breast cancer; convolutional neural network; image classification; data enhancement; transfer learning

1? ?引 言（Introduction）

乳腺癌是目前全球女性發(fā)病率最高的癌癥，對(duì)女性的身體健康造成非常大的傷害。世界衛(wèi)生組織2018 年統(tǒng)計(jì)結(jié)果顯示，乳腺癌在女性癌癥新發(fā)病例中所占比例最高，并且死亡率也非常高[1]。

目前，診斷乳腺癌最常見(jiàn)方法的就是病理學(xué)診斷，并且大部分是由病理學(xué)專(zhuān)家借助顯微鏡觀察完成的。我國(guó)目前正在進(jìn)行乳房腫瘤系統(tǒng)的研究，大規(guī)模的臨床應(yīng)用有助于醫(yī)生在診斷過(guò)程中大幅提高診斷效率[2]。但是，人為的主觀意識(shí)存在偏差，長(zhǎng)期的工作壓力以及病理圖像自身的復(fù)雜性都會(huì)導(dǎo)致誤判。隨著人工智能的發(fā)展，計(jì)算機(jī)輔助診斷治療CAD（Computer Aided Diag-Nosis）已經(jīng)成為醫(yī)學(xué)領(lǐng)域研究的熱門(mén)課題[3]。同人工診斷相比，計(jì)算機(jī)診斷更加客觀，并且速度很快，可以同時(shí)完成多個(gè)病理圖像的診斷，醫(yī)生可以根據(jù)計(jì)算機(jī)的診斷結(jié)果，結(jié)合自身的專(zhuān)業(yè)知識(shí)，做出更好的判斷。目前基于計(jì)算機(jī)輔助診斷的主要有兩種方式，一是人工提取特征和傳統(tǒng)機(jī)器學(xué)習(xí)的乳腺癌病理圖像診斷[4];二是基于深度學(xué)習(xí)的乳腺癌病理圖像診斷。

近些年，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在圖像分類(lèi)方面取得了優(yōu)異的成績(jī)，在醫(yī)療圖像等領(lǐng)域也有很大的進(jìn)展[5]。2014 年，牛津大學(xué)的SIMONYAN[6]在“用于大規(guī)模圖像識(shí)別得非常深卷積網(wǎng)絡(luò)”的論文中提出了VGG卷積神經(jīng)網(wǎng)絡(luò)模型。該模型在ImageNet中實(shí)現(xiàn)了92.7%的top-5測(cè)試精度，這是一個(gè)1，000 類(lèi)的超過(guò)1，400萬(wàn)張圖像的數(shù)據(jù)集。VGG卷積神經(jīng)網(wǎng)絡(luò)通過(guò)多個(gè)3×3大小的過(guò)濾器替換大型內(nèi)核大小的過(guò)濾器（在第一個(gè)和第二個(gè)卷積層中分別為11和5）來(lái)改進(jìn)AlexNet[7]。VGGNet證明了很小的卷積通過(guò)增加網(wǎng)絡(luò)深度可以有效提高性能。目前主要的卷積神經(jīng)網(wǎng)絡(luò)模型有VGGNet、LeNet、GoogleNet、ResNet。通過(guò)卷積神經(jīng)網(wǎng)絡(luò)（CNN）構(gòu)建的圖像處理系統(tǒng)能夠有效地減小過(guò)擬合，并且在對(duì)大像素圖像內(nèi)容識(shí)別方面也取得了不錯(cuò)的效果，特別是在融合GPU加速技術(shù)后，使得神經(jīng)網(wǎng)絡(luò)在實(shí)際訓(xùn)練中能夠更好地?cái)M合訓(xùn)練數(shù)據(jù)，最終更快更準(zhǔn)確地識(shí)別大部分的圖片。SPANHOL等在BreakHis數(shù)據(jù)集上采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)乳腺癌病理圖像進(jìn)行良惡性診斷，準(zhǔn)確度最高可達(dá)90%。

為了進(jìn)一步提高乳腺癌病理圖像診斷的準(zhǔn)確度，本文以卷積神經(jīng)網(wǎng)絡(luò)VGG16網(wǎng)絡(luò)為基礎(chǔ)構(gòu)造一個(gè)分類(lèi)模型，并在公開(kāi)的大型乳腺癌病理數(shù)據(jù)集BreakHis上進(jìn)行研究。

2? ?數(shù)據(jù)集（Data set）

2016 年，SPANHOL等公布了BreakHis乳腺癌病理圖像數(shù)據(jù)集。該數(shù)據(jù)集取自82 個(gè)病人，其中24 人為良性，58 人為惡性，共有7，909 張病理圖片，分為四個(gè)放大倍數(shù)，即40×、100×、200×、400×。通過(guò)活體組織在不同放大倍數(shù)顯微鏡下成像得到如圖1所示不同放大倍數(shù)下的良性癌病理圖像。

如表1所示是Breakhis數(shù)據(jù)集里的圖像分布情況。

盡管BreakHis數(shù)據(jù)集有7，000多張圖片，但是對(duì)于神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)這是不夠的，因此我們需要用到數(shù)據(jù)增強(qiáng)技術(shù)。數(shù)據(jù)增強(qiáng)主要是可以起到減少網(wǎng)絡(luò)過(guò)擬合的作用，一方面通過(guò)增加數(shù)據(jù)量提高模型的泛化能力，另一方面通過(guò)添加噪聲提高模型的魯棒性[8]。數(shù)據(jù)增強(qiáng)的方法主要有隨機(jī)旋轉(zhuǎn)、隨機(jī)裁剪、添加噪聲等[9]。如圖2所示，圖2（b）是由圖2（a）經(jīng)過(guò)反轉(zhuǎn)得到的。對(duì)于肉眼來(lái)說(shuō)，這是兩張一樣的圖片，對(duì)圖片進(jìn)行翻轉(zhuǎn)之后還是原來(lái)的圖片，但是在神經(jīng)網(wǎng)絡(luò)看來(lái)，它們是完全不同的。

3? ?模型與方法（Model and methods）

3.1? ?VGG16架構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)的主要結(jié)構(gòu)包括輸入層、卷積層、池化層、全連接層和輸出層。本文采用的VGGNet16模型包括五個(gè)卷積層和三個(gè)全連接層，之所以選擇VGG16作為基礎(chǔ)網(wǎng)絡(luò)，是因?yàn)閂GG16的分類(lèi)性能很好，網(wǎng)絡(luò)結(jié)構(gòu)非常規(guī)整，修改起來(lái)比較容易。VGGNet用3×3的卷積核替代AlexNet里面11×11的卷積核，因?yàn)閷?duì)于給定的感受野，采用多個(gè)小的卷積核效果要比大的卷積核好，多層的非線性層能夠增加網(wǎng)絡(luò)的深度，從而保證網(wǎng)絡(luò)能夠?qū)W到更深層的東西，并且可以更好地保持圖像性質(zhì)。另外，用多個(gè)小卷積核代替大卷積核也能夠減少參數(shù)的作用。VGG16模型結(jié)構(gòu)如圖3所示。

輸入層負(fù)責(zé)載入圖像，本文的輸入圖像就是經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后的BreakHis數(shù)據(jù)集。輸入圖像的大小為224×224×3，3代表通道數(shù)，產(chǎn)生的輸出向量作為卷積層的輸入。

卷積層主要負(fù)責(zé)提取圖像特征，通過(guò)卷積核實(shí)現(xiàn)，卷積核就是給定一個(gè)輸入圖像，輸入圖像中的一塊區(qū)域像素經(jīng)過(guò)加權(quán)平均后成為輸出圖像的對(duì)應(yīng)像素，權(quán)值是一個(gè)給定函數(shù)，這個(gè)函數(shù)就叫做卷積核。對(duì)于輸入的乳腺癌圖像，經(jīng)過(guò)多個(gè)卷積層之后提取到每張圖像的特征。

VGG16模型共有五個(gè)卷積層和三個(gè)全連接層，16指的是它的網(wǎng)絡(luò)深度。每個(gè)卷積層中都用到Relu激活函數(shù)，前兩個(gè)卷積層使用兩次大小為3×3、步長(zhǎng)為1的卷積核進(jìn)行卷積操作，后三層用了三次同樣的卷積核。為了提高模型的訓(xùn)練速度，在卷積層之后添加了Batch Normalization層。

池化層也叫下采樣層，一般放在連續(xù)的卷積層之間，用于壓縮數(shù)據(jù)和參數(shù)。池化層的作用主要有兩個(gè)，一是特征不變性，池化操作就是圖像的縮放，壓縮去掉一些無(wú)關(guān)緊要的信息，留下的信息依然能夠保留原圖的特征;二是特征降維，一幅圖像里的特征有很多，但有些信息沒(méi)有太大的作用或者重復(fù)，就可以去掉這些信息，保留最重要的特征。常見(jiàn)的下采樣有最大池化（max-pooling）和均值池化（mean-pooling），這里使用的是最大池化，池化單元尺寸大小為2×2，可以對(duì)輸入圖像尺寸減半。

卷積取的是局部特征，全連接指的就是把這些局部特征重新通過(guò)權(quán)值矩陣組裝成完整的圖，全連接層的每一個(gè)節(jié)點(diǎn)都是跟上一層的所有節(jié)點(diǎn)相連的，用來(lái)把前面提取到的特征綜合起來(lái)。VGG16網(wǎng)絡(luò)有三個(gè)全連接層，前兩層都用了4，096個(gè)神經(jīng)元，第三層使用了1，000 個(gè)神經(jīng)元，常用的激活函數(shù)有Sigmoid、Tanh和Relu[10]，本實(shí)驗(yàn)使用的是Relu函數(shù)，最后使用Softmax對(duì)圖像進(jìn)行分類(lèi)，輸出1，000 個(gè)預(yù)測(cè)結(jié)果。利用Softmax函數(shù)可以很好地處理多分類(lèi)問(wèn)題，因?yàn)楸疚闹恍枰诸?lèi)乳腺癌是良性還是惡性，所以分類(lèi)標(biāo)簽為2。在全連接層之前還添加了Dropout層[11]，為的是防止過(guò)擬合，提高模型的泛化能力。

損失函數(shù)Loss描述的是預(yù)測(cè)結(jié)果和實(shí)際結(jié)果之間的差別，模型的每一次預(yù)測(cè)的好壞用損失函數(shù)來(lái)度量，損失越小，模型越好。本文所用的損失函數(shù)是sparse_categorical_crossentropy。

3.2? ?遷移學(xué)習(xí)及改進(jìn)

遷移學(xué)習(xí)[12]，顧名思義就是把已經(jīng)訓(xùn)練好的模型參數(shù)遷移到新的模型上，從而幫助新模型進(jìn)行訓(xùn)練。神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的時(shí)候能夠隨機(jī)初始化參數(shù)，從頭訓(xùn)練，由于大部分?jǐn)?shù)據(jù)或者任務(wù)都是存在相關(guān)性的，因此通過(guò)遷移學(xué)習(xí)可以將已經(jīng)學(xué)到的模型參數(shù)通過(guò)某種方式傳遞給新的模型，從而加快訓(xùn)練速度并優(yōu)化模型的學(xué)習(xí)效率。

在卷積神經(jīng)網(wǎng)絡(luò)中，很多模型都是在ImageNet數(shù)據(jù)集上進(jìn)行訓(xùn)練的，訓(xùn)練得到的參數(shù)通過(guò)遷移學(xué)習(xí)使用在其他網(wǎng)絡(luò)上。ImageNet數(shù)據(jù)集由超過(guò)1，400萬(wàn)張圖像組成，每張圖像都包含注釋?zhuān)瑯?biāo)明物體屬于哪種類(lèi)別。其實(shí)不管是哪種圖像，它們的邊緣特征都是相似的，所以考慮到了遷移學(xué)習(xí)。遷移學(xué)習(xí)可以將已經(jīng)訓(xùn)練好的模型參數(shù)直接用在自己的數(shù)據(jù)集上，但是訓(xùn)練結(jié)果不一定會(huì)非常好。

本文所用的遷移學(xué)習(xí)的權(quán)重來(lái)自VGG16網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集上訓(xùn)練得到的參數(shù)，這里將其應(yīng)用到乳腺癌病理組織的良惡性分類(lèi)診斷問(wèn)題上。針對(duì)網(wǎng)絡(luò)訓(xùn)練結(jié)果的Loss偏大，對(duì)模型進(jìn)行微調(diào)，之前是凍結(jié)預(yù)訓(xùn)練模型的所有卷積層，只訓(xùn)練自己要求的全連接層;現(xiàn)在只凍結(jié)指定預(yù)訓(xùn)練模型的部分卷積層，這里設(shè)置的是解凍卷積層的后五層，訓(xùn)練剩下的卷積層和自己的全連接層，原學(xué)習(xí)率為0.001，這里將學(xué)習(xí)率調(diào)整為原來(lái)的1/10，并添加了Dropout層，將丟棄率設(shè)置為0.5，又添加了Batch Normalization層。

3.3? ?實(shí)驗(yàn)結(jié)果

本文使用Thinkpad T490、Intel i5，基于Python語(yǔ)言的tensorflow框架進(jìn)行訓(xùn)練和測(cè)試。

本文采用識(shí)別分類(lèi)準(zhǔn)確率對(duì)實(shí)驗(yàn)效果進(jìn)行評(píng)估，以7∶2∶1劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。用Nr表示正確分類(lèi)出來(lái)的圖片數(shù)量，用Na表示輸入病理圖片的數(shù)量，圖像水平的識(shí)別準(zhǔn)確率（Image_level_Rate）表達(dá)式如下式所示：

本文設(shè)置了兩組對(duì)比實(shí)驗(yàn)，將遷移學(xué)習(xí)后的網(wǎng)絡(luò)直接進(jìn)行訓(xùn)練得到的準(zhǔn)確率和微調(diào)后的模型準(zhǔn)確率進(jìn)行對(duì)比，圖4（a）是微調(diào)前訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率，圖4（b）是微調(diào)后的訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率。

從圖4可以明顯看出，微調(diào)之后的網(wǎng)絡(luò)在準(zhǔn)確率性能上表現(xiàn)得更好。首先從圖4（a）可以看出微調(diào)前的模型，在經(jīng)過(guò)大約25 次迭代后，準(zhǔn)確率已經(jīng)達(dá)到了95%，這說(shuō)明在模型中增加了數(shù)據(jù)增強(qiáng)和遷移學(xué)習(xí)模塊能夠使得模型快速地處理乳腺癌病理圖像，使模型具有更好的魯棒性和泛化能力。然后在經(jīng)過(guò)微調(diào)后，模型能夠更加快速地收斂，只需要經(jīng)過(guò)20 次迭代，訓(xùn)練集準(zhǔn)確率便達(dá)到了99%，同時(shí)驗(yàn)證集也達(dá)到了95%以上。最后利用測(cè)試集對(duì)模型進(jìn)行測(cè)試，微調(diào)前測(cè)試集準(zhǔn)確率是90%，而微調(diào)后測(cè)試集準(zhǔn)確率達(dá)到了98%。表2是微調(diào)前后測(cè)試集的Loss對(duì)比，可以看出微調(diào)后的Loss下降更快，這進(jìn)一步說(shuō)明微調(diào)后的模型更適合使用BreakHis數(shù)據(jù)集進(jìn)行良惡性診斷。

4? ?結(jié)論（Conclusion）

本實(shí)驗(yàn)在公開(kāi)乳腺癌數(shù)據(jù)集BreakHis上進(jìn)行，同時(shí)使用卷積神經(jīng)網(wǎng)絡(luò)模型VGG16，并且為了減少訓(xùn)練時(shí)間，以及避免訓(xùn)練過(guò)程中可能存在的誤差，這里使用了遷移學(xué)習(xí)，將VGG16在大型數(shù)據(jù)集ImageNet上訓(xùn)練得到的權(quán)重用在本實(shí)驗(yàn)上。為進(jìn)一步提高模型性能，又進(jìn)行了模型微調(diào)，解凍了模型訓(xùn)練層的后五層進(jìn)行訓(xùn)練，試驗(yàn)結(jié)果表明，微調(diào)后的Loss明顯小于微調(diào)前，準(zhǔn)確率也從90%提高到了98%，充分證實(shí)了本實(shí)驗(yàn)方法的可行性和實(shí)用性。未來(lái)的工作包括：（1）在乳腺癌二分類(lèi)診斷的基礎(chǔ)上，進(jìn)一步細(xì)分是哪種癌;（2）將本實(shí)驗(yàn)的模型用在其他醫(yī)學(xué)疾病上，驗(yàn)證該模型在其他疾病上是否具有通用性。

參考文獻(xiàn)（References）

[1] BRAY F， FERLAY J. Global cancer statistics 2018： Globocan for estimates of incidence and mortality worldwide 36 cancers in 185 countries[J]. A Cancer Journal for Clinicians， 2018， 68（6）：394-424.

[2] 陳詩(shī)慧，劉維湘，秦璟.基于深度學(xué)習(xí)和醫(yī)學(xué)圖像的癌癥計(jì)算機(jī)輔助診斷研究進(jìn)展[J].生物醫(yī)學(xué)工程雜志，2017，34（02）：314-319.

[3] ERICKSON B J， KORFIATIS P， AKKUS Z， et al. Machine learning for medical imaging[J]. RadioGraphics， 2017， 37（2）：505-515.

[4] 龔磊，徐軍，王冠皓.基于多特征描述的乳腺癌腫瘤病理自動(dòng)分級(jí)[J].計(jì)算機(jī)應(yīng)用，2015，35（12）：3570-3575.

[5] SPANHOL F A， OLIVEIRA L S， PETITJEAN C， et al. A dataset for breast cancer histopathological image classification[J]. IEEE Transactions on Bio-medical Engineering， 2015， 63（7）：1455-1462.

[6] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[DB]. Eprint ArXiv， 2014：1409-1556.

[7] RAJKOMAR A， LINGAM S， TAYLO A G， et al. High-throughput classification of radiographs using deep convolutional neral networks[J]. Journal of Digital Imaging， 2017， 30（1）：95-101.

[8] LI X， TANG W L， YANG B. Semantic segmentation of high resolution remote sensing image using depth residual network[J]. Journal of Applied Sciences， 2019， 37（2）：282-290.

[9] YU X M， HONG S， YU J X， et al. Research on the enhancement method of visible light remote sensing image ship target data[J]. Journal of Instrumentation， 2020， 41（11）：261-269.

[10] ZHANG Y D， MUHAMMAD K， TANG C. Twelve-layer deep convolutional neural network with stochastic pooling for tea category classification GPU platform[J]. Mutimedia Tools and Applications， 2018， 77（17）：22821-22839.

[11] SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： A simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research， 2014， 15（1）：1929-1958.

[12] PAN S J， YANG Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering， 2010， 22（10）：1345-1359.

作者簡(jiǎn)介：

王? 陽(yáng)（1995-），男，碩士生.研究領(lǐng)域：計(jì)算機(jī)視覺(jué)，深度學(xué)習(xí).

陳薇伊（1997-），女，碩士生.研究領(lǐng)域：計(jì)算機(jī)視覺(jué).

馬軍山（1967-），男，博士，教授.研究領(lǐng)域：光學(xué)精密儀器，圖像處理.