何欣穎 吳黎明 鄭耿哲 吳佳毅

（1.廣東工業(yè)大學(xué)機(jī)電工程學(xué)院，廣東 廣州 510006 2.佛山滄科智能科技有限公司，廣東 佛山 528200）

0 引言

癌癥是當(dāng)前嚴(yán)重威脅人類健康的主要疾病，其中乳腺癌是影響女性健康最主要的惡性腫瘤之一。乳腺癌的診斷主要有影像學(xué)檢查和病理學(xué)檢查2種方法，其中病理學(xué)檢查是乳腺病變良惡性的最終診斷依據(jù)[1]。因此，病理圖像的分析診斷對(duì)判斷是否存在癌癥極其重要。但病理圖像存在細(xì)胞重疊、病變細(xì)胞形態(tài)差異細(xì)微、染色不均等特點(diǎn)，導(dǎo)致病理醫(yī)生依據(jù)經(jīng)驗(yàn)耗費(fèi)大量時(shí)間仔細(xì)觀察和鑒別做出的診斷，存在受主觀人為因素影響且可能出現(xiàn)漏診誤診的可能[2]。高效準(zhǔn)確地自動(dòng)分類病理圖像，對(duì)緩解病理醫(yī)生的壓力和給出更加客觀、準(zhǔn)確的結(jié)果尤為重要[3]。

學(xué)者們針對(duì)乳腺癌病理圖像自動(dòng)分類開展了相關(guān)研究。在傳統(tǒng)機(jī)器學(xué)習(xí)算法方面，Kowal等[4]基于自適應(yīng)閾值和聚類分割方法，采用K-means、模糊C均值、競(jìng)爭(zhēng)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)和高斯混合模型4種聚類算法對(duì)細(xì)胞核進(jìn)行分割，實(shí)驗(yàn)結(jié)果表明準(zhǔn)確率達(dá)96%～100%；Spanhol等[5]公布了由7909幅乳腺癌病理圖像構(gòu)成的BreaKHis數(shù)據(jù)集，并在此數(shù)據(jù)集上采用基于紋理表示的全局方法，利用局部二值模式（local binary patterns, LBP）、局部相位量化（local phase quantization, LPQ）等6種紋理描述符提取特征并用支持向量機(jī)（support vector machine, SVM）、隨機(jī)森林（random forest, RF）、二次判別分析（quadratic discriminant analysis, QDA）和K近鄰4種分類器進(jìn)行分類，準(zhǔn)確率達(dá)80%～85%。上述方法都是基于傳統(tǒng)機(jī)器學(xué)習(xí)進(jìn)行病理圖像分類，需要人工設(shè)計(jì)特征，存在專業(yè)知識(shí)要求高、提取特征耗時(shí)及難以提取高層次特征的問題。

近年來(lái)，將深度學(xué)習(xí)運(yùn)用到醫(yī)療圖像分析領(lǐng)域成為研究熱點(diǎn)之一[6]。深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)最大的不同在于其特征表示是從大量數(shù)據(jù)中自動(dòng)學(xué)習(xí)得到，能從大量的數(shù)據(jù)集中逐步提取更高層次的抽象語(yǔ)義特征，避免了人工設(shè)計(jì)及提取特征的局限性[7]。Spanhol等[8]將BreaKHis數(shù)據(jù)集以隨機(jī)和固定滑動(dòng)窗口的方式，在不同放大倍數(shù)的圖像中采樣塊訓(xùn)練AlexNet網(wǎng)絡(luò)，識(shí)別率最高達(dá)89.6%，無(wú)法滿足臨床需要。Deniz等[9]提出先用遷移學(xué)習(xí)預(yù)訓(xùn)練AlexNet，VGG16網(wǎng)絡(luò)，再對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，實(shí)現(xiàn)乳腺癌病理圖像的自動(dòng)分類，最佳精度值達(dá)93.78%，證明了使用遷移學(xué)習(xí)進(jìn)行預(yù)訓(xùn)練比直接使用深度卷積網(wǎng)絡(luò)或 SVM的效果更好。

由于目前缺乏大量公開、已標(biāo)注的數(shù)據(jù)集，本文基于深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)乳腺癌病理圖像的自動(dòng)分類，采用遷移學(xué)習(xí)解決數(shù)據(jù)稀少、易過(guò)擬合的問題；用數(shù)據(jù)增強(qiáng)，增加訓(xùn)練的數(shù)據(jù)量，提高模型的泛化能力，滿足更加精準(zhǔn)地判斷乳腺病理圖像的需求。

1 模型與方法

1.1 Inception-ResNet-v2網(wǎng)絡(luò)

對(duì)比目前常用的深度卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet，VGG，Inception、ResNet等，本文選用在ILSVRC圖像分類基準(zhǔn)測(cè)試中實(shí)現(xiàn)當(dāng)下較好成績(jī)的 Inception-ResNet-v2網(wǎng)絡(luò)作為基本結(jié)構(gòu)，實(shí)現(xiàn)乳腺癌病理圖像分類。Inception-ResNet-v2網(wǎng)絡(luò)在Inception V3基礎(chǔ)上引入了殘差網(wǎng)絡(luò)跳躍連接的方法，加深網(wǎng)絡(luò)深度的同時(shí)，避免了梯度消失、梯度爆炸的問題，提高了網(wǎng)絡(luò)性能；將卷積核進(jìn)行分解，提升了計(jì)算能力，使得網(wǎng)絡(luò)深度進(jìn)一步增加，并增加了網(wǎng)絡(luò)的非線性，整體結(jié)構(gòu)如圖1所示。

圖1 Inception-ResNet-v2網(wǎng)絡(luò)總體結(jié)構(gòu)

Inception-ResNet-v2要求輸入層為299×299×3的RGB圖片；中間各層得到的結(jié)果稱為特征圖（Feature Map），主要包括組合卷積、池化、殘差、張量連接等運(yùn)算，其中組合卷積以“多通道卷積—批歸一化—激活運(yùn)算”的方式進(jìn)行；輸出層以SoftMax分類器為基礎(chǔ)，利用特征圖中的各個(gè)特征分量預(yù)測(cè)圖片屬于某類別的概率。

該網(wǎng)絡(luò)的特征提取模塊為 Inception-ResNet-A、Inception-ResNet-B、Inception-ResNet-C多路卷積殘差模塊，結(jié)構(gòu)分別如圖2、圖3、圖4所示。Feature Map經(jīng)ReLu激活函數(shù)后進(jìn)入右路通道進(jìn)行組合卷積運(yùn)算；通過(guò)張量連接、殘差結(jié)構(gòu)后，再進(jìn)入ReLu中進(jìn)行激活處理，其中 S1代表卷積步長(zhǎng)為 1。在 Inception-Resnet-B、Inception-Resnet-C結(jié)構(gòu)中，右路卷積將7×7和 3×3 的卷積核分解成 1×7、7×1 和 1×3、3×1 的不對(duì)稱卷積核，在提高運(yùn)算性能的同時(shí)加深了網(wǎng)絡(luò)深度及非線性。

Inception-ResNet-v2網(wǎng)絡(luò)結(jié)構(gòu)最終得到的Feature Map是一個(gè)1×1792維的特征向量。SoftMax分類器以1792維向量作為輸入，輸出向量的維度與類別數(shù)相同。對(duì)于每張輸入圖像x(i)，其標(biāo)記為y(i)∈ { 1 , 2,…，k} ，共k類，本文僅對(duì)乳腺癌病理圖像做良惡性分類，即k= 2。用假設(shè)函數(shù)估計(jì)其屬于每個(gè)類別j的概率p(y(i)=j|x(i))，則假設(shè)函數(shù)hi為

矩陣θ中，每一列參數(shù)負(fù)責(zé)每一類的預(yù)測(cè)。在訓(xùn)練過(guò)程中通過(guò)式(2)、式(3)優(yōu)化θ矩陣以及前面所有層的卷積核參數(shù)，使損失函數(shù)LossFunc(θ) 最小，得到最終的權(quán)重值。

式中，m為輸入的病理圖像數(shù)；1 (y(i)=j)為指示性函數(shù)。

圖2 Inception-ResNet-A

圖3 Inception-ResNet-B

圖4 Inception-ResNet-C

1.2 數(shù)據(jù)增強(qiáng)與遷移學(xué)習(xí)

卷積神經(jīng)網(wǎng)絡(luò)需要學(xué)習(xí)的參數(shù)眾多，因此需要大規(guī)模的數(shù)據(jù)集才能防止過(guò)擬合。但現(xiàn)階段獲得由專業(yè)病理醫(yī)生標(biāo)注的大規(guī)模數(shù)據(jù)集極其困難且代價(jià)昂貴，導(dǎo)致缺乏大規(guī)模、已標(biāo)注的醫(yī)療圖像訓(xùn)練數(shù)據(jù)。本文采取遷移學(xué)習(xí)、數(shù)據(jù)增強(qiáng)的方法來(lái)解決此問題[10-11]。

遷移學(xué)習(xí)通過(guò)在大規(guī)模數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，得到模型初始化參數(shù)；再遷移到目標(biāo)數(shù)據(jù)集上進(jìn)行微調(diào)和訓(xùn)練，從而加快并優(yōu)化模型的學(xué)習(xí)效率[12]。本文在ImageNet數(shù)據(jù)集（包含1400余萬(wàn)幅圖像和2萬(wàn)多個(gè)類別）上對(duì)Inception-ResNet-v2進(jìn)行預(yù)訓(xùn)練，得到的模型參數(shù)作為網(wǎng)絡(luò)初始化參數(shù)；然后遷移到目標(biāo)數(shù)據(jù)集BreaKHis上進(jìn)行微調(diào)訓(xùn)練。同時(shí)采用仿射變換方法對(duì)原始圖像進(jìn)行數(shù)據(jù)增強(qiáng)，主要通過(guò)將圖像旋轉(zhuǎn)、平移、翻轉(zhuǎn)、顏色變換等，將數(shù)據(jù)集擴(kuò)充5倍。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

本文使用BreaKHis數(shù)據(jù)集[6]，其數(shù)據(jù)來(lái)自于82位患者的病理切片，每張病理切片均采用4種放大倍數(shù)，共7909幅。其中2480幅良性樣本和5429幅惡性腫瘤樣本，數(shù)據(jù)集分布情況如表1所示。

表1 BreaKHis數(shù)據(jù)集具體分布情況

每張圖像的固定像素為700×460，模式為三通道RGB、PNG格式。數(shù)據(jù)集的每幅樣本都已做好標(biāo)注，如SOB_B_TA-14-4659-40-001.png是通過(guò)外科開放活組織檢查（SOB）收集、放大倍數(shù)為40×的管狀滑動(dòng)腺瘤（TA）類型的良性腫瘤（Benign）的圖像1，其圖像來(lái)自幻燈片14-4659。圖5為數(shù)據(jù)集惡性腫瘤中的小葉癌（LC）放大不同倍數(shù)的圖片。

圖5 不同放大倍數(shù)下的惡性腫瘤病理圖像

將上述數(shù)據(jù)集按照6：2：2的比例隨機(jī)劃分成訓(xùn)練集、驗(yàn)證集、測(cè)試集；將圖片大小 700×460裁剪成299×299送到網(wǎng)絡(luò)中進(jìn)行微調(diào)訓(xùn)練，實(shí)驗(yàn)結(jié)果為5次隨機(jī)分配數(shù)據(jù)集實(shí)驗(yàn)的平均值。

2.2 實(shí)驗(yàn)平臺(tái)與超參數(shù)

本文實(shí)驗(yàn)平臺(tái)配置包括：處理器 Intel i7-7700k；內(nèi)存 32 G DDR4 2400 MHz；2個(gè) Nvidia GeForce GTX1080Ti顯卡；固態(tài)硬盤 850EVOSATA3（120 G）；操作系統(tǒng)為 64位 Ubuntu14.04 LTS；實(shí)驗(yàn)框架為TensorFlow開源框架。

在微調(diào)階段將訓(xùn)練集、驗(yàn)證集中的圖像送入預(yù)訓(xùn)練好的Inception-ResNet-v2網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使用自適應(yīng)矩估計(jì)（Adam）梯度優(yōu)化算法對(duì)權(quán)重、偏置進(jìn)行更新；初始學(xué)習(xí)率設(shè)置為0.001；動(dòng)量因子取0.9和0.999；每次訓(xùn)練的批量數(shù)為64；當(dāng)訓(xùn)練迭代次數(shù)達(dá)20000次時(shí)，將學(xué)習(xí)率調(diào)為0.0001，便于收斂網(wǎng)絡(luò)。

2.3 實(shí)驗(yàn)結(jié)果與分析

對(duì)于二分類問題，本文使用圖片識(shí)別率即準(zhǔn)確率（ACC）作為模型的評(píng)價(jià)指標(biāo)

式中，Nall為測(cè)試集中所有的圖像數(shù)目；Nr為測(cè)試集中正確分類的圖像數(shù)目。

為驗(yàn)證數(shù)據(jù)增強(qiáng)、遷移學(xué)習(xí)的有效性，本實(shí)驗(yàn)對(duì)是否采用數(shù)據(jù)增強(qiáng)及遷移學(xué)習(xí)前后3種分類結(jié)果進(jìn)行對(duì)比，如圖6所示。

圖6 數(shù)據(jù)增強(qiáng)及遷移學(xué)習(xí)前后的分類結(jié)果

圖6結(jié)果顯示數(shù)據(jù)增強(qiáng)、遷移學(xué)習(xí)后，準(zhǔn)確率都有大幅度提高，證實(shí)了模型在預(yù)訓(xùn)練時(shí)學(xué)到了一些淺層特征，有助于模型在目標(biāo)數(shù)據(jù)集上更好地學(xué)習(xí)；證實(shí)了數(shù)據(jù)增強(qiáng)，擴(kuò)充數(shù)據(jù)集后，能有效提高模型的分類性能。在 40×放大倍數(shù)下，得到的準(zhǔn)確率最高達(dá)96.8%，反映了 40×放大倍數(shù)的病理圖像包含了更多區(qū)別良惡性腫瘤的特征，包括組織結(jié)構(gòu)及細(xì)胞核特征。

為驗(yàn)證Inception-ResNet-v2網(wǎng)絡(luò)性能，在相同的實(shí)驗(yàn)環(huán)境和訓(xùn)練策略下，對(duì)比與 Inception-ResNet-v2卷積層數(shù)相近的ResNeXt-101和SENet-101網(wǎng)絡(luò)的訓(xùn)練性能。以均值平均精度（mAP）作為指標(biāo)進(jìn)行比較，分別計(jì)算3條P-R曲線（即精確率—召回率曲線）的積分得到mAP值，如表2所示。

表2 mAP對(duì)比結(jié)果

由表2可知，Inception-ResNet-v2的mAP值高于ResNeXt-101和SENet-101網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)模型在總體分類性能上略優(yōu)于其他二者。

3 結(jié)論

本文利用深度學(xué)習(xí)方法實(shí)現(xiàn)了乳腺癌病理圖像的自動(dòng)分類，比傳統(tǒng)機(jī)器學(xué)習(xí)方法能提取到更高層的抽象語(yǔ)義特征。通過(guò)實(shí)驗(yàn)，驗(yàn)證了遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)的有效性，及基于Inception-ResNet-v2網(wǎng)絡(luò)模型的分類性能略優(yōu)于其他相近的網(wǎng)絡(luò)模型。實(shí)驗(yàn)在40×放大倍數(shù)下，準(zhǔn)確率達(dá)96.8%，在一定程度上可應(yīng)用于實(shí)際醫(yī)學(xué)輔助診斷場(chǎng)景。