盛龍帥，李 策，李 欣

1.江蘇省社會(huì)安全圖像與視頻理解重點(diǎn)實(shí)驗(yàn)室（南京理工大學(xué)），南京210094

2.中國礦業(yè)大學(xué)（北京）機(jī)電與信息工程學(xué)院，北京100083

1 引言

隨著環(huán)境日益惡化，癌癥的發(fā)病率也在逐年增加。人們的不規(guī)律作息與飲食習(xí)慣加劇了癌癥的發(fā)生。根據(jù)WHO（世界衛(wèi)生組織）的統(tǒng)計(jì)，2018年全世界共新增癌癥病例8 622 539 例，其中新增乳腺癌病例2 088 849例，占比24.2%，為新增癌癥發(fā)病率最高的種類之一。2018 年中國新增乳腺癌病例367 900 例，占到新增乳腺癌總數(shù)的17.7%，為全球范圍內(nèi)新增乳腺癌病例最多的國家。乳腺X線攝影價(jià)格實(shí)惠，易于操作且節(jié)省人力物力，作為40歲以上婦女普查乳腺癌的一種方法，已經(jīng)被廣泛應(yīng)用。乳腺X 線攝影是利用低能量的X 線來給乳房造影的一種方法，它的目標(biāo)是通過檢測乳房是否含有特征性腫塊或者是微鈣化來判斷乳房的健康程度。乳腺X 線攝影可以檢測到無癥狀的患者和臨床觸診也無法檢測到的腫瘤，且可以在觸診陽性兩年前檢測到病變。作為目前最好的乳腺癌篩查方法，也是早期發(fā)現(xiàn)乳腺癌最有效的方法[1]，可以顯著降低乳腺癌的死亡率。

2 相關(guān)工作

近年來，卷積神經(jīng)網(wǎng)絡(luò)逐漸運(yùn)用在乳腺癌組織病理圖像的分類上，并且取得了非常好的效果。Dhungel N等[2]提出一種新的網(wǎng)絡(luò)模型先使用手動(dòng)提取的特征預(yù)訓(xùn)練CNN 網(wǎng)絡(luò)，然后使用fine-tune，最后送入隨機(jī)森林中得到整個(gè)模型，在INbreast 數(shù)據(jù)集上，腫塊的檢出率為90%。Zhu W 等[3]設(shè)計(jì)了由多個(gè)卷積層、一個(gè)線性回歸層、一個(gè)排序?qū)雍鸵粋€(gè)多實(shí)例loss 層組成的網(wǎng)絡(luò)結(jié)構(gòu)。在使用ImageNet預(yù)訓(xùn)練的AlexNet網(wǎng)絡(luò)上，使用多實(shí)例學(xué)習(xí)的方法得到INbreast 數(shù)據(jù)集AUC=0.85 的結(jié)果。Domingues I 等[4]使用全卷積的設(shè)計(jì)，將一個(gè)patch 分類器轉(zhuǎn)變成端到端的對(duì)整張圖像的分類器，在VGG16 和RESNET 網(wǎng)絡(luò)上進(jìn)行訓(xùn)練，該方法在DDSM 數(shù)據(jù)集和INbreast 數(shù)據(jù)集上取得的AUC 在0.65～0.97 之間。以上這些方法需要人工手動(dòng)框選出腫塊區(qū)域，對(duì)人力物力的要求很高，且需要一定的醫(yī)學(xué)知識(shí)。另外這些方法使用的預(yù)訓(xùn)練模型也需要大量的乳腺癌醫(yī)學(xué)圖像數(shù)據(jù)，數(shù)據(jù)獲得方式困難，預(yù)訓(xùn)練的過程不公開不透明。

3 注意力記憶網(wǎng)絡(luò)

本文提出注意力記憶網(wǎng)絡(luò)，對(duì)比傳統(tǒng)遷移學(xué)習(xí)，在不經(jīng)過預(yù)訓(xùn)練[5]的情況下可以在乳腺X線攝影數(shù)據(jù)集上取得更好效果。注意力記憶網(wǎng)絡(luò)包含注意力記憶模塊和卷積殘差模塊，如圖1 所示，O 為經(jīng)過預(yù)處理的乳腺X 線攝影，將乳腺X 線攝影的RGB 三個(gè)通道分別輸入三個(gè)注意力記憶模塊中，得到O?送入卷積殘差模塊，經(jīng)過softmax得到預(yù)測的分類結(jié)果。注意力記憶模塊的注意力模塊提取圖像特征，記憶模塊在RNN網(wǎng)絡(luò)[6]加入注意力權(quán)重來模擬人對(duì)關(guān)鍵信息的重點(diǎn)突出。將經(jīng)過注意力記憶模塊處理后的三個(gè)通道送入卷積殘差模塊，卷積殘差模塊通過卷積神經(jīng)網(wǎng)絡(luò)[7]和殘差單元[8]來對(duì)乳腺X線攝影進(jìn)行分類。

3.1 注意力機(jī)制

圖1 注意力記憶網(wǎng)絡(luò)結(jié)構(gòu)圖

注意力機(jī)制是指人們在觀察圖像時(shí)，會(huì)選擇性地觀察所有信息中的突出部分，注意力機(jī)制允許人們將優(yōu)先的資源分配到最重要的部分，只關(guān)注感興趣的區(qū)域。

視覺的注意力是指在看到一幅圖像時(shí)，人類的眼睛對(duì)于圖像中的特定信息具有更高的敏感度。如圖2 所示，最左邊是一個(gè)包含惡性腫塊的乳腺X 線攝影，人眼在看到圖像的第一時(shí)間就會(huì)注意到圖像中的圓斑，也就是惡性腫塊，這在圖像顏色反轉(zhuǎn)之后更加明顯，掩模中可以清晰地看到惡性腫塊病害區(qū)域。

圖2 注意力機(jī)制

3.2 注意力記憶模塊

注意力記憶模塊通過BiGRU[9]建立信息，通過Attention 注意力模塊來獲取圖像中的關(guān)鍵信息。GRU 是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種變體，將遺忘門和輸入門融合成了更新門。BiGRU 是指雙向GRU，通常在較小的數(shù)據(jù)集上有更好的效果。公式（1）為GRU的公式。

其中，xt是輸入向量，ht是輸出向量，zt是更新門控向量，rt是重置門控向量。

注意力記憶模塊中，乳腺X 線攝影的RGB 三個(gè)分量，經(jīng)過全連接后，送入注意力模塊和記憶模塊。在注意力模塊中，R 分量經(jīng)過平均池化以及全連接層和Sigmoid 激活函數(shù)提取關(guān)鍵信息得到FA(R)，記憶模塊中R 分量通過BiGRU 得到FM(R) 。如公式（2），將FA(R)與FM(R)進(jìn)行逐元素相乘運(yùn)算，得到F(R)，注意力記憶模塊輸出

如圖3所示，為注意力記憶模塊的結(jié)構(gòu)。乳腺X線攝影圖像輸入到注意力記憶網(wǎng)絡(luò)后，首先RGB 三個(gè)通道分別通過注意力記憶模塊進(jìn)行處理，首先是一個(gè)全連接層，參數(shù)通過記憶模塊的BiGRU進(jìn)行處理，同時(shí)全連接層輸出的參數(shù)也經(jīng)過注意力模塊進(jìn)行處理。注意力模塊包含了平均池化，之后重復(fù)操作使參數(shù)翻倍，然后是兩個(gè)全連接層，最后使用Sigmoid 激活函數(shù)將輸出的參數(shù)與記憶模塊輸出的參數(shù)一同經(jīng)過全連接層，通過處理得到乳腺X 線攝影新的RGB 三個(gè)通道，送到卷積殘差模塊進(jìn)行處理。

3.3 卷積殘差模塊

圖3 注意力記憶模塊

卷積殘差模塊通過使用BN-ReLU-Conv 的結(jié)構(gòu)作為卷積神經(jīng)網(wǎng)絡(luò)模型來提取乳腺X 線攝影中的信息F，經(jīng)過注意力記憶模塊處理后的參數(shù)被傳入到卷積殘差模塊中進(jìn)行進(jìn)一步處理，卷積殘差模塊的具體實(shí)現(xiàn)如圖4。

圖4 卷積殘差模塊

Batch Normalization（BN）層[10]網(wǎng)絡(luò)大小為5×5，64加ReLU激活函數(shù)，再連接卷積層，最后使用Softmax分類器預(yù)測乳腺X線攝影的類別，見公式（3）。

3.4 注意力記憶網(wǎng)絡(luò)訓(xùn)練

注意力記憶網(wǎng)絡(luò)使用Keras框架[11]開發(fā)，TensorFlow[12]作為后端。將注意力記憶模塊中記憶模塊的BiGRU神經(jīng)元個(gè)數(shù)設(shè)為128，其中神經(jīng)元的個(gè)數(shù)是64，雙向GRU神經(jīng)元個(gè)數(shù)翻倍。注意力記憶模塊和卷積殘差模塊的網(wǎng)絡(luò)結(jié)構(gòu)如表1 所示。該網(wǎng)絡(luò)使用SGD 隨機(jī)梯度下降[13]的方法來完成優(yōu)化訓(xùn)練，其學(xué)習(xí)率設(shè)為0.1，學(xué)習(xí)參數(shù)momentum設(shè)為0.9。

4 實(shí)驗(yàn)與結(jié)果

本文在公開數(shù)據(jù)集INbreast 上評(píng)估提出的注意力記憶網(wǎng)絡(luò)方法的性能。實(shí)驗(yàn)基于Keras 實(shí)現(xiàn)，在配置有英特爾酷睿i7-8700K CPU和兩塊英偉達(dá)2080 GPU的PC機(jī)上運(yùn)行。

表1 注意力記憶網(wǎng)絡(luò)結(jié)構(gòu)

4.1 數(shù)據(jù)集描述

INbreast 數(shù)據(jù)集[14]是一個(gè)包含115 個(gè)病例410 張乳腺X 線影像的數(shù)據(jù)集，原始圖像由葡萄牙波爾圖的de S?o Jo?o 醫(yī)院的乳腺中心獲取。INbreast 原始圖像是dicom格式，圖像中背景部分為黑色，造成了很多冗余信息。為了改進(jìn)獲取的數(shù)據(jù)集中的圖像質(zhì)量，對(duì)圖像進(jìn)行Resize[15]。將圖像轉(zhuǎn)換為50×50 大小，同時(shí)去掉圖像中黑色部分，將剩余部分拉伸填充成為一個(gè)新的正方形圖像。卷積神經(jīng)網(wǎng)絡(luò)中輸入圖像的通常是正方形，以便于卷積的運(yùn)算。圖5是Resize操作。

圖5 Resize處理示意圖

4.2 實(shí)驗(yàn)結(jié)果

將Resize處理后的INbreast數(shù)據(jù)集按照BI-RADS評(píng)價(jià)指標(biāo)[16]對(duì)圖像進(jìn)行分類，根據(jù)病變的程度，將BI-RADS ∈{1，2，3}的劃分為良性，將余下的BI-RADS ∈{4，5，6}劃分為惡性腫瘤，一共得到100張惡性腫瘤，以及310張良性。按照0.2 的比例劃分?jǐn)?shù)據(jù)集，將其中的80%劃分為訓(xùn)練集，余下的20%劃分為測試集，如表2。

表2 INbreast數(shù)據(jù)集中每個(gè)類別乳腺X線攝影的數(shù)量

使用本文提出的注意力記憶網(wǎng)絡(luò)模型對(duì)INbreast數(shù)據(jù)集進(jìn)行訓(xùn)練和測試。圖像長寬均為50，注意力記憶模塊中，注意力模塊全局平均池化，第一個(gè)全連接層的激活函數(shù)為ReLU，第二個(gè)的為Sigmoid；記憶模塊BiGRU參數(shù)設(shè)置里Dropout=0.5，與注意力模塊的輸出相乘，再與R 相加得到R?。卷積殘差模塊進(jìn)一步提取深層特征，交叉熵?fù)p失函數(shù)用來度量預(yù)測值與label 之間差別。網(wǎng)絡(luò)的batch_size 設(shè)置為32，epoch 設(shè)置為80。80個(gè)epoch 得到的準(zhǔn)確率為84.1%，運(yùn)行時(shí)間為705.85 s。epoch與損失值及準(zhǔn)確率的關(guān)系圖如圖6。

圖6 注意力記憶網(wǎng)絡(luò)的損失值和準(zhǔn)確率曲線

為驗(yàn)證注意力記憶網(wǎng)絡(luò)的運(yùn)行速度及準(zhǔn)確率，對(duì)比實(shí)驗(yàn)使用ImageNet權(quán)重預(yù)訓(xùn)練的Inception v2、ResNet50、VGG16 三種網(wǎng)絡(luò)結(jié)構(gòu)。調(diào)用keras 的applications 中對(duì)應(yīng)的網(wǎng)絡(luò)模型，include_top=False，使用ImageNet權(quán)重后網(wǎng)絡(luò)會(huì)對(duì)1 000 個(gè)類別進(jìn)行分類，因此重新設(shè)計(jì)頂層網(wǎng)絡(luò)結(jié)構(gòu)。使用sequential 模型，添加Flatten 層，參數(shù)為三種網(wǎng)絡(luò)輸入的大小。之后添加全連接層，參數(shù)256，ReLU 激活函數(shù)，Dropout=0.5，忽略掉一半的參數(shù)防止網(wǎng)絡(luò)過擬合。最后是一個(gè)全連接層，參數(shù)為1，激活函數(shù)使用Sigmoid用來對(duì)一張乳腺X線攝影進(jìn)行惡性腫瘤或良性的預(yù)測。在80 個(gè)epoch 后三種網(wǎng)絡(luò)在INbreast 數(shù)據(jù)集上的分類準(zhǔn)確率均為76%左右，運(yùn)行時(shí)間分別為1 328.61 s、1 152.70 s、1 108.49 s，相同epoch的運(yùn)行時(shí)間比注意力記憶網(wǎng)絡(luò)多出50%以上。

與國內(nèi)外一些研究的網(wǎng)絡(luò)模型相比，可以得到表3中分類準(zhǔn)確率、迭代次數(shù)（epoch）和運(yùn)行時(shí)間的對(duì)比結(jié)果。預(yù)訓(xùn)練的Inceptionv2、ResNet50、VGG16 網(wǎng)絡(luò)準(zhǔn)確率分別為76.3%、76.1%、76.0%，均使用ImageNet 的權(quán)重，因?yàn)镮mageNet數(shù)據(jù)集的圖像多為自然光圖像，與本文研究的X光圖像相差較大，因此準(zhǔn)確率相較無預(yù)訓(xùn)練的AlexNet 并未有明顯提升。預(yù)訓(xùn)練的AlexNet、CNN網(wǎng)絡(luò)使用在DDSM數(shù)據(jù)集上預(yù)訓(xùn)練得到的權(quán)重，預(yù)訓(xùn)練的CNN 方法還需要使用手工標(biāo)注腫塊信息[2]。DDSM數(shù)據(jù)集是一個(gè)乳腺X線攝影相關(guān)的數(shù)據(jù)集，該數(shù)據(jù)集雖數(shù)據(jù)量極大但獲取困難，文獻(xiàn)[2-3]對(duì)于預(yù)訓(xùn)練的過程不公開不透明，預(yù)訓(xùn)練部分需要消耗大量的時(shí)間。

相比使用ImageNet權(quán)重和DDSM數(shù)據(jù)集預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)等，本文提出的注意力記憶網(wǎng)絡(luò)有如下優(yōu)點(diǎn)：首先，注意力記憶網(wǎng)絡(luò)訓(xùn)練不需要手工手動(dòng)框選腫塊區(qū)域，節(jié)省人力成本；其次，注意力記憶網(wǎng)絡(luò)不需要提前在相關(guān)數(shù)據(jù)集上訓(xùn)練得到權(quán)重，只使用小樣本數(shù)據(jù)集即可達(dá)到很好的效果，在數(shù)據(jù)集獲取日益困難的當(dāng)下節(jié)省研究人員的精力；最后，在相同機(jī)器上執(zhí)行相同迭代次數(shù)，注意力記憶網(wǎng)絡(luò)的運(yùn)行時(shí)間比其他預(yù)訓(xùn)練網(wǎng)絡(luò)的運(yùn)行時(shí)間少50%以上，同時(shí)注意力記憶網(wǎng)絡(luò)的準(zhǔn)確率更高。

表3 INbreast數(shù)據(jù)集上各網(wǎng)絡(luò)模型的對(duì)比

5 總結(jié)

本文提出端到端的注意力記憶網(wǎng)絡(luò)，構(gòu)建了注意力記憶模塊和卷積殘差模塊，在RNN+CNN結(jié)構(gòu)上引入注意力權(quán)重，提取圖像關(guān)鍵信息增強(qiáng)特征描述用于乳腺X線攝影圖像分類。注意力記憶網(wǎng)絡(luò)在不使用預(yù)訓(xùn)練權(quán)重的情況下，可以在醫(yī)學(xué)圖像小數(shù)據(jù)集上得到更高的準(zhǔn)確率，節(jié)省了大量的訓(xùn)練時(shí)間。乳腺X線攝影分類受制于當(dāng)前數(shù)據(jù)集的規(guī)模大小，相信未來在更大的乳腺X線攝影數(shù)據(jù)集上，本文提出的注意力記憶網(wǎng)絡(luò)將達(dá)到更好的效果。