趙曉平，王榮發(fā)，孫中波，魏旭全

1.南京信息工程大學(xué) 計(jì)算機(jī)與軟件學(xué)院，南京 210044

2.南京信息工程大學(xué) 數(shù)字取證教育部工程研究中心，南京 210044

根據(jù)2020年世界衛(wèi)生組織國(guó)際癌癥研究機(jī)構(gòu)的數(shù)據(jù)顯示，乳腺癌已經(jīng)是全球女性最常見的癌癥類型之一，約有230萬(wàn)新病例，比例高達(dá)11.7%，且死亡率極高[1]。因此，乳腺腫瘤的早期發(fā)現(xiàn)及診斷治療顯得極為重要。

乳腺腫瘤組織病理圖像自動(dòng)分類是當(dāng)前醫(yī)學(xué)界極具挑戰(zhàn)性的一項(xiàng)工作。究其原因，主要有兩個(gè)方面：一是由于組織病理圖像之間存在差異性、細(xì)胞重疊現(xiàn)象和顏色分布不均等特點(diǎn)，給圖像分類帶來(lái)困難；二是由于缺乏公開的、已標(biāo)記的大型數(shù)據(jù)集，從而制約了深度學(xué)習(xí)在醫(yī)學(xué)圖像中的應(yīng)用[2]。國(guó)內(nèi)外許多研究人員對(duì)乳腺癌自動(dòng)分類進(jìn)行了嘗試，并取得一定的研究成果，概括地講，目前乳腺癌組織病理圖像分類主要分為以下兩類方法：一種是基于人工特征提取和傳統(tǒng)機(jī)器學(xué)習(xí)算法相結(jié)合的乳腺癌組織病理圖像分類；一種是基于深度學(xué)習(xí)的乳腺癌組織病理圖像分類[3]。

傳統(tǒng)的乳腺癌組織病理圖像自動(dòng)分類的主要思想是使用機(jī)器學(xué)習(xí)方法（如支持向量機(jī)[4]、隨機(jī)森林[5]等方法）對(duì)人工提取的特征進(jìn)行分類。Zhang等[6]根據(jù)人工特征提出單類核主成分分析方法，對(duì)361張乳腺腫瘤組織病理圖像進(jìn)行分類，分類準(zhǔn)確率達(dá)到92%。2015年，Spanhol等[7]構(gòu)建基于82名患者的7 909張乳腺癌組織病理圖像數(shù)據(jù)集BreaKHis，采用局部二值模式、灰度共生矩陣、無(wú)參數(shù)閾值鄰接統(tǒng)計(jì)等六種特征描述子提取特征，利用支持向量機(jī)、隨機(jī)森林等四種傳統(tǒng)機(jī)器學(xué)習(xí)分類器進(jìn)行分類，分類準(zhǔn)確率達(dá)到80%~85%。Belsare等[8]使用統(tǒng)計(jì)紋理特征訓(xùn)練k近鄰和支持向量機(jī)，在某私人乳腺組織病理數(shù)據(jù)集上達(dá)到100%的分類準(zhǔn)確率。Wang等[9]使用支持向量機(jī)算法對(duì)68幅乳腺癌組織病理圖像進(jìn)行分類，其分類準(zhǔn)確率達(dá)到96.2%。總之，上述研究均針對(duì)不同的數(shù)據(jù)集，這些數(shù)據(jù)集大多是小型數(shù)據(jù)集且私有，因此算法之間缺乏統(tǒng)一的對(duì)比標(biāo)準(zhǔn)，準(zhǔn)確率不具有可比性。更重要的是，這些算法均采用人工特征提取，不僅需要很多病理圖像專業(yè)知識(shí)，還需耗費(fèi)大量的時(shí)間和精力，嚴(yán)重阻礙了傳統(tǒng)機(jī)器學(xué)習(xí)方法在乳腺癌組織病理圖像自動(dòng)分類上的發(fā)展。

深度學(xué)習(xí)因其具有從大量數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征的能力，從而推動(dòng)自身在醫(yī)學(xué)圖像識(shí)別方面的應(yīng)用[10]。Spanhol等[11]使用經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)AlexNet網(wǎng)絡(luò)，采用不同的融合策略分類，在BreaKHis數(shù)據(jù)集上的平均分類準(zhǔn)確率達(dá)到83.2%。Bayramoglu等[12]提出兩個(gè)不同的架構(gòu)：?jiǎn)我蝗蝿?wù)卷積神經(jīng)網(wǎng)絡(luò)用于預(yù)測(cè)惡性腫瘤；多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)既能預(yù)測(cè)惡性腫瘤，又能放大圖像倍數(shù)，其分類準(zhǔn)確率達(dá)到83%左右。國(guó)內(nèi)學(xué)者在這一領(lǐng)域也有長(zhǎng)足進(jìn)展，2018年，鄭群花等[13]提出以AlexNet網(wǎng)絡(luò)為基礎(chǔ)架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)模型，將乳腺組織病理圖像分為四類子類，并采用圖像分塊的思想，將每塊的分類結(jié)果采用多數(shù)投票算法進(jìn)行整合，模型分類準(zhǔn)確率達(dá)到99.7%。2019年，王恒等[14]以ResNet50為基礎(chǔ)網(wǎng)絡(luò)，利用遷移學(xué)習(xí)設(shè)計(jì)出乳腺癌組織病理圖像良惡性二分類模型，對(duì)BreaKHis數(shù)據(jù)集進(jìn)行訓(xùn)練，分類準(zhǔn)確率達(dá)到97.4%，該模型具有魯棒性好、精度高和收斂快等優(yōu)點(diǎn)。值得注意的是，上述算法基本是乳腺癌良惡性的二分類研究，并不能幫助醫(yī)生作出具體的診療方案，仍需要對(duì)各自亞型進(jìn)行多分類。但多分類研究需要大量的訓(xùn)練樣本，現(xiàn)今公開的大型乳腺組織病理圖像數(shù)據(jù)集少，且部分?jǐn)?shù)據(jù)集不僅很小，還存在類別不均衡問題。因此，如何利用好有限的數(shù)據(jù)樣本是分類模型性能提升的關(guān)鍵。

針對(duì)數(shù)據(jù)集數(shù)據(jù)不均衡引起的病理圖像分類準(zhǔn)確率較差問題，本文提出基于改進(jìn)的DenseNet網(wǎng)絡(luò)的乳腺癌組織病理圖像的八分類模型DAFLNet：首先DAFLNet模型采用深度為201層的DenseNet-201網(wǎng)絡(luò)，在其基礎(chǔ)上添加注意力模塊以改進(jìn)模型結(jié)構(gòu)；并將損失函數(shù)由標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)改為更適合多分類任務(wù)的焦點(diǎn)損失函數(shù)，從而解決了數(shù)據(jù)集數(shù)據(jù)不均衡的問題。該方法具有較強(qiáng)的魯棒性，能夠更好地滿足臨床需求。

1 基本原理

1.1 DenseNet模型

Huang等[15]在2017年提出DenseNet網(wǎng)絡(luò)模型，該模型借鑒ResNet[16]和GoogLeNet[17]的優(yōu)點(diǎn)，DenseNet主要是用于解決深度卷積神經(jīng)網(wǎng)絡(luò)中梯度消失的問題。該模型最重要的特點(diǎn)是能夠使得每個(gè)Dense塊內(nèi)每一個(gè)特征層都能夠充分連接，即每一個(gè)特征層的輸入均是前面所有層輸出的連接，使得淺層和深層特征均能夠得到充分利用，從而不但緩解因?yàn)閷訑?shù)變深而導(dǎo)致的梯度消失問題，也提高了網(wǎng)絡(luò)模型的抗過擬合性能。

經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)（AlexNet、LeNet和VGG）中，網(wǎng)絡(luò)一共有多少層，則會(huì)有多少層的連接。但是在DenseNet網(wǎng)絡(luò)中，第l層所得到的特征圖卻是前面所有特征圖連接之后卷積的結(jié)果，其公式如式（1）所示：

式中，X表示的是卷積操作，⊕表示的是特征之間的連接，T表示特征，由式（1）可知，l層網(wǎng)絡(luò)有l(wèi)×(l+1) 2個(gè)連接。

DenseNet網(wǎng)絡(luò)是由交替連接的Dense塊和過渡塊構(gòu)成，圖1是Dense塊的結(jié)構(gòu)圖。過渡塊用來(lái)降低Dense塊輸出特征的維度，以避免連接操作造成特征通道維度過大，使得訓(xùn)練過程變得緩慢。

1.2 注意力機(jī)制

注意力機(jī)制的基本思想是讓網(wǎng)絡(luò)能在大量特征中忽略一些無(wú)關(guān)特征，從而能關(guān)注到重要任務(wù)的特征[18]。注意力機(jī)制一般分為強(qiáng)注意力機(jī)制和軟注意力機(jī)制。強(qiáng)注意力機(jī)制是指選擇輸入序列中某一個(gè)位置的信息；軟注意力機(jī)制在選擇信息時(shí)，不是從多個(gè)信息中只選擇一個(gè)，而是將多個(gè)輸入信息進(jìn)行加權(quán)平均，結(jié)果輸入到卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

DAFLNet模型所添加的位置注意力與通道注意力均是軟注意力機(jī)制。

位置注意力[19]用來(lái)捕捉特征圖任意兩個(gè)位置之間的空間依賴性，對(duì)于某個(gè)特定位置的特征A，被所有位置的特征進(jìn)行加權(quán)求和，從而得到現(xiàn)有特征E，即任一位置特征的更新是通過圖像所有位置特征的帶權(quán)聚合進(jìn)行更新，權(quán)重是由兩個(gè)位置特征的相似性s決定，即無(wú)論兩個(gè)位置的距離多遠(yuǎn)，只要兩者之間特征相似就能得到更高的權(quán)重。位置注意力機(jī)制的公式如式（2）所示：

其中，sji表示位置i對(duì)位置j的影響，Aj代表位置j的原始特征，Di是原始特征Aj卷積后位置i的特征，α是權(quán)重參數(shù)。當(dāng)初始化為0時(shí)，特征仍是原始位置特征Aj，當(dāng)逐漸分配更多權(quán)重時(shí)，新特征則為所有位置特征影響和原始位置特征Aj的加權(quán)求和。

通道注意力[19]利用所有通道特征的加權(quán)求和，捕捉任意兩個(gè)通道之間的相互依賴。對(duì)于某個(gè)通道特征A，被所有通道的特征進(jìn)行加權(quán)求和，從而得到現(xiàn)有特征E。通道注意力機(jī)制的公式如式（3）所示：

其中，xji表示通道i對(duì)通道j的影響，Aj代表通道j的原始特征，Ai代表通道i的原始特征，β也是權(quán)重參數(shù)，同樣從0開始訓(xùn)練。式（3）表示通道的最終特征為所有通道的特征和原始通道特征Aj的加權(quán)求和。

1.3 焦點(diǎn)損失函數(shù)

2017年，Lin等[20]提出焦點(diǎn)損失函數(shù)（Focal loss），用于解決數(shù)據(jù)不均衡的問題。該函數(shù)在標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)的基礎(chǔ)上，通過調(diào)整各類數(shù)據(jù)的訓(xùn)練權(quán)重，使模型更加關(guān)注小樣本或易混淆樣本。從而提升模型對(duì)不均衡數(shù)據(jù)的識(shí)別率。

Focal loss在標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)的基礎(chǔ)上引進(jìn)兩個(gè)可調(diào)整的參數(shù)α與γ，對(duì)數(shù)據(jù)集中的易混淆樣本和少樣本分配更大的訓(xùn)練權(quán)重，F(xiàn)ocal loss損失函數(shù)的表達(dá)式如式（4）所示：

其中，p是預(yù)測(cè)樣本分類概率，當(dāng)樣本分類正確時(shí)p趨于1，當(dāng)分類錯(cuò)誤時(shí)則會(huì)趨于0。α與γ是超參數(shù)，用來(lái)調(diào)節(jié)不同類別樣本在損失中所占比重。(1-p)γ是調(diào)制系數(shù)，當(dāng)一類樣本被分錯(cuò)時(shí)p很小，那么(1-p)就接近1，因此易混淆樣本訓(xùn)練的損失不受影響；而當(dāng)p趨于1時(shí)，(1-p)就趨于0，那么易分樣本的權(quán)重就會(huì)降低，從而更加關(guān)注易混淆樣本的訓(xùn)練。故某類樣本難分時(shí)，可以將γ設(shè)置為大于1的整數(shù)，調(diào)制系數(shù)就會(huì)變大，從而就能增加此類樣本的訓(xùn)練權(quán)重。

2 DAFLNet模型

針對(duì)醫(yī)學(xué)圖像中存在公開數(shù)據(jù)集稀少和數(shù)據(jù)不均衡問題，本文提出的DAFLNet模型，是在DenseNet-201網(wǎng)絡(luò)模型的基礎(chǔ)上，從損失函數(shù)和模型框架的改進(jìn)兩個(gè)方面入手：（1）將損失函數(shù)改為更適合多分類和數(shù)據(jù)不均衡的Focal loss；（2）對(duì)模型框架中的Dense塊進(jìn)行調(diào)整，并于DenseNet-201尾部添加注意力模塊，從而使模型更加關(guān)注易混淆樣本和少樣本。DAFLNet網(wǎng)絡(luò)模型架構(gòu)圖如圖2所示。

圖2 DAFLNet網(wǎng)絡(luò)模型Fig.2 DAFLNet model

一組共16張乳腺癌組織病理圖像作為DAFLNet模型的輸入，首先進(jìn)行DenseNet-201主體架構(gòu)訓(xùn)練，再通過注意力模塊微調(diào)DAFLNet參數(shù)，最后在全連接層使用softmax分類器對(duì)圖像進(jìn)行分類。

2.1 DenseNet-201主體架構(gòu)

DAFLNet模型中，DenseNet-201主體架構(gòu)細(xì)節(jié)如圖3所示。首先，輸入一組共16張乳腺癌組織病理圖像到7×7的卷積層，提取出組織病理圖像的細(xì)胞核特征信息。然后，通過一個(gè)3×3的最大池化層對(duì)卷積結(jié)果進(jìn)行下采樣，降低特征尺寸。最后，將池化后的特征結(jié)果輸入到DenseNet-201主體架構(gòu)的最重要部分：交替串聯(lián)的4個(gè)Dense塊和4個(gè)過渡塊。在這部分，將乳腺癌組織病理圖像在網(wǎng)絡(luò)中的淺層和深層特征信息結(jié)合，極大地提高了特征利用率。

圖3 DenseNet-201主體架構(gòu)Fig.3 Densenet-201 main structure

DenseNet-201網(wǎng)絡(luò)中最重要的部分是Dense塊，本文將Dense塊分成兩種Dense layer：Dense layer1中包括批歸一化操作、RELU和1×1卷積操作；Dense layer2中包含批歸一化操作、RELU和3×3卷積操作。Dense layer中的批歸一化和RELU操作，可以對(duì)每個(gè)隱藏層的輸入均進(jìn)行標(biāo)準(zhǔn)化操作，能緩解深度卷積神經(jīng)網(wǎng)絡(luò)中的梯度消失或爆炸現(xiàn)象，且加快模型的訓(xùn)練速度。將這兩種Dense layer按照相應(yīng)的組合數(shù)交替串聯(lián)，并進(jìn)行密集連接，即可組成Dense塊。如圖3，Dense塊1中共有6對(duì)Dense layer組。同時(shí)，Dense塊2、3、4分別有12對(duì)、48對(duì)、32對(duì)Dense layer組。

通過DenseNet-201中過渡塊降低前面Dense塊輸出特征圖的尺寸，其中包括有批歸一化操作、RELU、1×1卷積操作和2×2平均池化操作。

2.2 注意力模塊

DenseNet-201主體架構(gòu)尾部所添加的注意力模塊，包含位置注意力子模塊和通道注意力子模塊。將兩個(gè)子模塊并聯(lián)，通過微調(diào)模型參數(shù)，實(shí)現(xiàn)特征加權(quán)，得到新特征。從而使模型能夠更加關(guān)注少樣本和易混淆樣本的子類。

位置注意力子模塊將更廣泛的圖像信息編碼為局部特征，從而增強(qiáng)其特征表達(dá)能力。圖4為位置注意力子模塊的結(jié)構(gòu)圖，其展示了局部特征調(diào)整的過程：首先將局部特征C×H×W進(jìn)行卷積重塑為C×N，其中N是H×W，對(duì)卷積重塑后的特征圖C×N進(jìn)行轉(zhuǎn)置，轉(zhuǎn)置結(jié)果與原特征圖C×H×W卷積重塑相乘；然后，將相乘結(jié)果通過softmax重組得到新的特征圖N×N，隨之對(duì)新特征圖N×N轉(zhuǎn)置，并與C×N這個(gè)特征圖相乘重塑為原來(lái)的尺寸；最后，將其再加上最初的原特征圖C×H×W，從而得到最終的特征圖。

圖4 位置注意力子模塊Fig.4 Position attention sub module

由圖4可知，每個(gè)位置的特征是所有位置的特征和原始特征的加權(quán)求和。因此，位置注意力子模塊具有全局視圖，并根據(jù)特征之間的相似度，選擇性地聚合一些特征，從而增強(qiáng)某些重要特征的表達(dá)能力。

通道注意力子模塊通過利用通道映射之間的相互依賴性，強(qiáng)調(diào)相互依賴的特征映射的大小和改進(jìn)特定的特征表示。通道注意力子模塊也很好地說(shuō)明了如何對(duì)通道特征進(jìn)行調(diào)整，如圖5所示。首先，對(duì)原特征圖C×H×W轉(zhuǎn)置為W×C×H，將其與原特征圖進(jìn)行矩陣相乘，隨之經(jīng)過softmax得到新特征C×C；然后，將新特征C×C與原特征圖的重塑C×N進(jìn)行矩陣相乘，再重塑為原來(lái)的尺寸；最后，結(jié)果與原特征圖相加得到新的特征圖。

圖5 通道注意力子模塊Fig.5 Channel attention sub module

由圖5可知，每個(gè)通道的最終特征是所有通道的特征和原始特征的加權(quán)求和，體現(xiàn)通道特征映射之間的依賴關(guān)系，有助于提高特征的可辨別性。

3 實(shí)驗(yàn)

3.1 BreaKHis數(shù)據(jù)集

本文采用乳腺癌組織病理圖像公開數(shù)據(jù)集BreaKHis[8]，BreaKHis數(shù)據(jù)集是巴西巴拉那聯(lián)邦大學(xué)的Spanhol等在文獻(xiàn)[7]中發(fā)布的公開數(shù)據(jù)集。該數(shù)據(jù)集包含了來(lái)自于82名患者的7 909張已標(biāo)注的乳腺癌組織病理圖像，分為良性（benign）和惡性（malignant）腫瘤，其中良性24人，共有2 480張，惡性58人，共有5 429張，如表1所示。BreaKHis數(shù)據(jù)集采用4種不同的放大系數(shù)（40×、100×、200×、400×）。根據(jù)細(xì)胞的不同特征，將良惡性乳腺腫瘤劃分為不同的八種亞型。其中良性乳腺腫瘤包含四種不同的子類腫瘤，如圖6（a）~（d），分別是腺瘤（adenosis，a）、纖維腺瘤（fibroadenoma，f）、葉狀腫瘤（phyllodes tumor，pt）、管狀腫瘤（tubular adenoma，ta）；惡性乳腺腫瘤同樣包含了四種不同的子類腫瘤，如圖6（e）~（h），分別是導(dǎo)管癌（ductal carcinoma，dc）、小葉癌（lobular carcinoma，lc）、粘液癌（mucinous carcinoma，mc）、乳突癌（papillary carcinoma，pc）。DAFLNet模型將對(duì)以上八種不同類型的乳腺腫瘤進(jìn)行八分類。

圖6 乳腺組織病理圖像Fig.6 Pathological image of breast tissue

表1 各類乳腺癌組織病理圖像數(shù)量Table 1 Number of histopathological images of various types of breast cancer

乳腺組織病理圖片大小均是700×460像素的尺寸，模式均為PNG三通道圖像。

3.2 實(shí)驗(yàn)參數(shù)與評(píng)價(jià)標(biāo)準(zhǔn)

按照6∶2∶2的比例隨機(jī)將BreaKhis數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。在訓(xùn)練階段將訓(xùn)練集與驗(yàn)證集中的病理圖像按16張一組輸入到DAFLNet模型中進(jìn)行訓(xùn)練，使用自適應(yīng)動(dòng)量的隨機(jī)優(yōu)化算法（Adam）對(duì)網(wǎng)絡(luò)模型中的權(quán)重、偏置進(jìn)行更新。初始學(xué)習(xí)率設(shè)置為0.001，每次訓(xùn)練的批量數(shù)為16，訓(xùn)練迭代次數(shù)為50次。

對(duì)于乳腺癌組織病理圖像的分類一般有兩種評(píng)價(jià)標(biāo)準(zhǔn)，一種是圖像層面，另一種是病人層面。圖像層面的分類準(zhǔn)確率是測(cè)試集中分類正確的圖像占全部乳腺組織病理圖像的比例，其準(zhǔn)確率表達(dá)式如式（5）所示：

式中，Nq為測(cè)試集中正確分類的圖像數(shù)目，Nall為測(cè)試集中所有圖像數(shù)目。當(dāng)表達(dá)式值越高，分類效果就越好。病人層面分類準(zhǔn)確率會(huì)首先對(duì)每個(gè)病人的乳腺組織病理圖像計(jì)算分類準(zhǔn)確率，再對(duì)所有病人的準(zhǔn)確率取平均值，其準(zhǔn)確率表達(dá)式如式（6）所示：

式中，Np是病人的數(shù)量；Ncp是對(duì)應(yīng)病人p的分類正確的乳腺組織病理圖像數(shù)量；Nip是對(duì)應(yīng)病人p乳腺組織病理圖像的總數(shù)。

本文實(shí)驗(yàn)中采用圖像層面的ACCi作為評(píng)價(jià)指標(biāo)，ACCi的值越大，DAFLNet模型的分類性能就越好。本文將訓(xùn)練集、驗(yàn)證集和測(cè)試集準(zhǔn)確率分別命名為T-ACCi、V-ACCi和ACCi。

3.3 訓(xùn)練過程

在乳腺癌組織病理圖像多分類實(shí)驗(yàn)中，將數(shù)據(jù)集BreaKHis中劃分出的訓(xùn)練集與驗(yàn)證集輸入模型進(jìn)行訓(xùn)練。其中，訓(xùn)練集用于模型擬合，驗(yàn)證集作為模型訓(xùn)練過程中單獨(dú)留出的樣本集，用于調(diào)整模型的超參數(shù)，并對(duì)模型的性能進(jìn)行初步評(píng)估。

模型參數(shù)收斂過程中學(xué)習(xí)率的設(shè)置至關(guān)重要：學(xué)習(xí)率過高將導(dǎo)致模型難以收斂；反之，過低則會(huì)導(dǎo)致模型訓(xùn)練過慢。針對(duì)這一問題，本文采用KERAS框架的回調(diào)函數(shù)ReduceLROnPlateau來(lái)衰減學(xué)習(xí)率：設(shè)置一個(gè)monitor監(jiān)視V-ACCi，當(dāng)連續(xù)5個(gè)批次的V-ACCi沒有提升時(shí)，學(xué)習(xí)率會(huì)以乘0.1倍的形式減少。

模型按50個(gè)批次訓(xùn)練，每次迭代訓(xùn)練316組圖像，一組共16張乳腺癌組織病理圖像，訓(xùn)練過程中的T-ACCi和V-ACCi變化如圖7所示。從圖中可以看出在第25次迭代，模型基本擬合，點(diǎn)A為訓(xùn)練集基本擬合點(diǎn)，T-ACCi為94%；點(diǎn)B為驗(yàn)證集基本擬合點(diǎn)，V-ACCi為96%。最終訓(xùn)練集與驗(yàn)證集完全擬合的準(zhǔn)確率在96%左右，兩者誤差不超過1%，較為合理。

圖7 訓(xùn)練準(zhǔn)確率變化Fig.7 Training accuracy change

同時(shí)，訓(xùn)練過程中損失變化如圖8所示，同樣在第25次迭代，模型基本擬合。點(diǎn)C為訓(xùn)練集損失基本擬合點(diǎn)，損失值為0.05；點(diǎn)D為驗(yàn)證集損失基本擬合點(diǎn)，損失值為0.03。最終，訓(xùn)練集與驗(yàn)證集完全擬合的損失均在0.03左右，兩者誤差不超過0.01。結(jié)合圖7和圖8可知，訓(xùn)練和驗(yàn)證的準(zhǔn)確率與損失誤差均不超過0.01，較為匹配，從而驗(yàn)證模型未出現(xiàn)過擬合和欠擬合現(xiàn)象。

圖8 訓(xùn)練損失變化Fig.8 Training loss change

3.4 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證DAFLNet模型可以對(duì)不同類別乳腺腫瘤的組織特征做出很好的區(qū)分，且更直接地驗(yàn)證DAFLNet模型的特征區(qū)分效果，將測(cè)試集分別輸入到訓(xùn)練好的DenseNet-201模型和DAFLNet模型中進(jìn)行測(cè)試，測(cè)試結(jié)果進(jìn)行可視化，不同方法下輸出結(jié)果可視化對(duì)比如圖9所示。從圖9（a）中黑色虛線圈出部分可以看出，導(dǎo)管癌（dc）與小葉癌（lc）及乳突癌（pc）有部分的重合，并且纖維腺瘤（f）和葉狀腫瘤（pt）同樣難以區(qū)分。因此，DenseNet-201模型并不能很好地應(yīng)對(duì)乳腺組織病理圖像八分類任務(wù)。

圖9 輸出結(jié)果可視化對(duì)比Fig.9 Visual comparison of output results

而從圖9（b）中可以看出，DAFLNet模型能夠較好地區(qū)分不同種類的乳腺腫瘤。但是，小葉癌（lc）與導(dǎo)管癌（dc）依然有著一小部分的重合，如圖9（b）中黑色虛線圈出部分。究其原因，不僅因小葉癌與導(dǎo)管癌的特征十分相似，而且因?qū)Ч馨┑膱D像數(shù)據(jù)過于充分（如圖中橘黃色區(qū)域所示），學(xué)習(xí)到的特征豐富，從而變得難以區(qū)分，最終導(dǎo)致導(dǎo)管癌會(huì)有少部分被錯(cuò)分到其他類型。但是，從總體上來(lái)看，本文提出的DAFLNet網(wǎng)絡(luò)模型已經(jīng)能夠?qū)⒉煌N類的乳腺腫瘤進(jìn)行很好的區(qū)分。

DAFLNet模型對(duì)測(cè)試集進(jìn)行乳腺腫瘤良惡性二分類實(shí)驗(yàn)，得到混淆矩陣，如圖10所示，由圖可知藍(lán)色對(duì)角線顯示為正確分類的準(zhǔn)確率和圖像數(shù)量，如左上角框圖中，0.98為分類準(zhǔn)確率，483為分類正確的圖像數(shù)量。根據(jù)式（5）計(jì)算，ACCi為99.1%。

圖10 二分類混淆矩陣Fig.10 Two-class confusion matrix

同時(shí)，對(duì)測(cè)試集在不同方法下進(jìn)行八分類實(shí)驗(yàn)，得到混淆矩陣對(duì)比，如圖11所示。由圖11（a）可知，導(dǎo)管癌（dc）分類準(zhǔn)確率最高達(dá)到94.1%，正確分類數(shù)量為649張，而其他類型分類準(zhǔn)確率都偏低。由此可知，DenseNet-201模型過于關(guān)注擁有大量樣本的導(dǎo)管癌（dc），從而忽視對(duì)其他類型的訓(xùn)練。最終，綜合分類結(jié)果，計(jì)算出DenseNet-201的ACCi僅為87.6%。

而由圖11（b）可知，八類乳腺腫瘤在DAFLNet模型上的分類準(zhǔn)確率均在92.0%以上。其中，腺瘤更是達(dá)到100%的分類準(zhǔn)確率。將八類分類正確的數(shù)量匯總計(jì)算后，得到DAFLNet模型在測(cè)試集的ACCi為95.5%。

圖11 不同方法下八分類混淆矩陣對(duì)比Fig.11 Comparison of eight categories of confusion matrices under different methods

綜上所述，二分類實(shí)驗(yàn)和八分類實(shí)驗(yàn)均體現(xiàn)出DAFLNet模型具有良好的分類性能。

3.5 實(shí)驗(yàn)對(duì)比分析

根據(jù)Lin等[20]在論文中的實(shí)驗(yàn)經(jīng)驗(yàn)，本文提出對(duì)DAFLNet模型的Focal loss超參數(shù)α和γ多次對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)均針對(duì)八分類進(jìn)行，實(shí)驗(yàn)結(jié)果如表2所示。從表2可以看出，當(dāng)超參數(shù)α和γ分別為0.25和2時(shí)，DAFLNet模型的八分類準(zhǔn)確率是最高的，達(dá)到95.5%。因此，DAFLNet模型中Focal loss的超參數(shù)α和γ應(yīng)分別設(shè)置為0.25和2。

表2 Focal loss超參數(shù)對(duì)比實(shí)驗(yàn)Table 2 Focal loss superparametric comparison experiment單位：%

本文還將DenseNet-201模型與融合注意力機(jī)制和Focal loss的DAFLNet模型進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。從表3可以看出，DenseNet-201的乳腺腫瘤良惡性二分類實(shí)驗(yàn)，ACCi為94.4%，而DAFLNet模型的良惡性二分類實(shí)驗(yàn)，ACCi為99.1%，可見DAFLNet模型較DenseNet-201模型分類準(zhǔn)確率提升了5.7個(gè)百分點(diǎn)左右。同時(shí)更為重要的是，DAFLNet模型是針對(duì)乳腺組織病理圖像八分類提出的，因此對(duì)于八分類實(shí)驗(yàn)，DenseNet-201模型的ACCi僅為87.6%時(shí)，而DAFLNet模型的ACCi卻達(dá)到95.5%，分類準(zhǔn)確率提高7.9個(gè)百分點(diǎn)左右。從而驗(yàn)證改進(jìn)后的DAFLNet模型對(duì)于多分類任務(wù)，擁有極大的優(yōu)越性。

表3 與DenseNet-201模型的分類準(zhǔn)確率對(duì)比Table 3 Comparison of classification accuracy with DenseNet-201 model

同時(shí)，為了證明DAFLNet模型的優(yōu)越性，將其與其他乳腺組織病理圖像分類方法進(jìn)行二分類和八分類實(shí)驗(yàn)對(duì)比。在以下的實(shí)驗(yàn)對(duì)比分析中，DAFLNet與其他分類方法所使用的數(shù)據(jù)集均為乳腺組織病理圖像數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果如表4所示。

表4 對(duì)比實(shí)驗(yàn)結(jié)果Table 4 Comparison of experimental results

由表4可知：本文提出的DAFLNet模型，對(duì)于乳腺組織病理圖像良惡性二分類任務(wù)，已達(dá)到99.1%的識(shí)別準(zhǔn)確率，與對(duì)比方法相比達(dá)到較高水平；對(duì)于乳腺組織病理圖像八分類任務(wù)，DAFLNet模型達(dá)到95.5%的識(shí)別準(zhǔn)確率，均優(yōu)于其他對(duì)比方法。以上實(shí)驗(yàn)結(jié)果與分析證明，無(wú)論是對(duì)于乳腺組織病理圖像的二分類任務(wù)還是八分類任務(wù)，本文提出的乳腺組織病理圖像分類模型DAFLNet的性能均優(yōu)于其他方法。

4 結(jié)語(yǔ)

本文提出的DAFLNet模型可以將乳腺癌組織病理圖像分為八種不同類型的良惡性子類，并且相較于普通的DenseNet網(wǎng)絡(luò)模型有更好的性能。經(jīng)過實(shí)驗(yàn)，在乳腺癌組織病理圖像數(shù)據(jù)集BreaKHis上，DAFLNet模型對(duì)于乳腺腫瘤的良惡性二分類任務(wù)，達(dá)到99.1%的較高識(shí)別率，對(duì)于八分類任務(wù)達(dá)到95.5%的識(shí)別準(zhǔn)確率。實(shí)驗(yàn)表明，本文提出的DAFLNet模型已能幫助病理醫(yī)生提高乳腺腫瘤組織病理圖像診斷的高效性和準(zhǔn)確性。

同時(shí)，本文依然存在一些不足之處，主要是大型公開的乳腺組織病理圖像數(shù)據(jù)集數(shù)據(jù)量比較少。所以未來(lái)的方向是使用更多的臨床數(shù)據(jù)進(jìn)行測(cè)試，同時(shí)還要改進(jìn)網(wǎng)絡(luò)模型來(lái)提高模型的識(shí)別率。