梁美彥，張倩楠，任竹云，王 茹，陳慶輝，張 宇，郗澤林，王 琳

(1.山西大學(xué) 物理電子工程學(xué)院，山西 太原 030006；2.山西白求恩醫(yī)院(山西醫(yī)學(xué)科學(xué)院 同濟(jì)山西醫(yī)院)，山西醫(yī)科大學(xué)第三醫(yī)院，山西 太原 030032；3.華中科技大學(xué)同濟(jì)醫(yī)學(xué)院附屬同濟(jì)醫(yī)院，湖北 武漢 430030)

癌癥是威脅人類健康的重大疾病之一.據(jù)世界衛(wèi)生組織(WHO)癌癥研究機(jī)構(gòu)(IARC)發(fā)布的《全球癌癥報(bào)告》顯示，2018年，全球癌癥新發(fā)病例1 810萬，癌癥死亡病例960萬.在所有癌癥類型中，結(jié)腸癌發(fā)病率增速尤為顯著.圖1 為2018年全球新發(fā)癌癥病例和死亡病例前10的癌癥類型，由圖1 可知，結(jié)腸癌新發(fā)病例全球排名第3，而因結(jié)腸癌導(dǎo)致的死亡僅次于肺癌.因此，結(jié)腸癌已經(jīng)逐漸成為影響我國(guó)人口健康的主要因素.根據(jù)美國(guó)癌癥委員會(huì)(AJCC)統(tǒng)計(jì)，結(jié)直腸癌患者如果可以在早期得到精準(zhǔn)檢測(cè)，那么患者的5 a生存率可以達(dá)到90%以上[1].因此，及時(shí)、客觀和準(zhǔn)確地檢測(cè)結(jié)腸癌，是提高患者生存率的重要手段之一.

圖1 全球主要癌癥類型和占比

病理學(xué)檢查是癌變檢測(cè)的“金標(biāo)準(zhǔn)”，現(xiàn)階段癌變檢測(cè)完全依靠專業(yè)醫(yī)生手工對(duì)病理圖像進(jìn)行特征提取與分析，不僅檢測(cè)周期較長(zhǎng)而且嚴(yán)重依賴醫(yī)生的主觀判斷和認(rèn)知，導(dǎo)致檢測(cè)結(jié)果存在不同程度的誤差[2]，這種方法對(duì)重癥病人來說容易錯(cuò)過最佳治療時(shí)機(jī).

近年來，采用人工智能的方法對(duì)組織病理學(xué)圖像識(shí)別與分類的研究呈指數(shù)級(jí)增長(zhǎng).2015年以前，人工智能對(duì)病理學(xué)圖像的分類主要依賴機(jī)器學(xué)習(xí)的方法[3-5]，這些方法的共同特點(diǎn)是通過手工對(duì)病理學(xué)圖像進(jìn)行特征提取后，再設(shè)計(jì)相應(yīng)的算法，通過神經(jīng)網(wǎng)絡(luò)對(duì)提取到的特征進(jìn)行識(shí)別和分類.其中，Rathore S等[6-8]先后提出了旋轉(zhuǎn)促進(jìn)分類器、支持向量機(jī)和集成分類器，并結(jié)合結(jié)腸病理“圖像塊”的紋理、顏色和幾何特征，對(duì)良惡性結(jié)腸組織進(jìn)行分類，分類準(zhǔn)確率達(dá)98%.2019年，又提出了改進(jìn)的多層次特征提取算法, 通過提取病理圖像的整體和局部特征，并結(jié)合SVM分類器對(duì)結(jié)腸癌進(jìn)行預(yù)測(cè)，該方法將結(jié)腸癌按照嚴(yán)重程度細(xì)分為3個(gè)等級(jí)[9].Olgun G[10]提出一種能夠提取結(jié)腸病理圖像的表征和紋理描述的局部模式算法，該算法對(duì)癌變二類分類問題的精度達(dá)到90%以上.

機(jī)器學(xué)習(xí)的方法雖然能夠?qū)崿F(xiàn)病理圖像的自動(dòng)分類，但是現(xiàn)有的特征提取方法嚴(yán)重依賴所設(shè)計(jì)算法的優(yōu)劣，不僅費(fèi)時(shí)費(fèi)力，而且缺少病理學(xué)圖像特征的語義描述.因此，2015年后主要采用基于深度學(xué)習(xí)的方法對(duì)病理圖像進(jìn)行分類預(yù)測(cè).深度學(xué)習(xí)是一種基于多層神經(jīng)元網(wǎng)絡(luò)架構(gòu)的端到端學(xué)習(xí)模型，通過建模過程中不斷迭代與更新模型參數(shù)，自動(dòng)提取訓(xùn)練數(shù)據(jù)集的特征來實(shí)現(xiàn)對(duì)數(shù)據(jù)的識(shí)別和分類，相對(duì)于傳統(tǒng)手工制作特征的方法，可以更加客觀準(zhǔn)確地診斷癌變[11-13].英國(guó)華威大學(xué)Sirinukunwattana K等[14]提出空間約束卷積神經(jīng)網(wǎng)絡(luò)模型(SC-CNN)，結(jié)合鄰近集成分類器(NEP)對(duì)結(jié)腸上皮細(xì)胞核、炎性核、成纖維細(xì)胞核和雜核進(jìn)行類別標(biāo)簽預(yù)測(cè)，預(yù)測(cè)精度為78%，F(xiàn)-1分值為0.8.Basha S H S等[15]提出了一種高效的卷積神經(jīng)網(wǎng)絡(luò)模型(RCCNet)，對(duì)結(jié)腸組織圖像中的細(xì)胞核進(jìn)行分類，實(shí)驗(yàn)結(jié)果表明，輕量級(jí)7層的網(wǎng)絡(luò)模型能夠?qū)崿F(xiàn)80%的分類準(zhǔn)確率，F(xiàn)-1分值為0.78.Hamad A等[16]提出了全卷積回歸網(wǎng)絡(luò)和CNN相結(jié)合的兩階段深度學(xué)習(xí)方法，對(duì)結(jié)腸癌病理學(xué)圖像中的細(xì)胞核進(jìn)行識(shí)別，其F-1分值為0.84.本文將注意力機(jī)制與輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，實(shí)現(xiàn)對(duì)結(jié)腸癌的高精度識(shí)別.首先，通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)結(jié)腸組織病理學(xué)圖像進(jìn)行初步信息提取，生成中間特征圖；再結(jié)合注意力機(jī)制模塊沿通道和空間兩個(gè)維度，學(xué)習(xí)輸入特征圖中不同局部區(qū)域之間的關(guān)系以及通道間的重要性；最后，將學(xué)習(xí)到的注意力特征圖與輸入特征圖相乘進(jìn)行自適應(yīng)的特征細(xì)分.結(jié)果證明了基于注意力機(jī)制的輕量級(jí)卷積網(wǎng)絡(luò)在識(shí)別結(jié)腸組織病理學(xué)圖像方面的有效性.

1 網(wǎng)絡(luò)設(shè)計(jì)

1.1 網(wǎng)絡(luò)整體架構(gòu)

網(wǎng)絡(luò)整體架構(gòu)如圖2 所示，主要分為4個(gè)模塊：輸入模塊、輸出模塊、卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)模塊和注意力機(jī)制模塊.輸入是經(jīng)過預(yù)處理的結(jié)腸腺癌上皮病理圖像(TUM)和正常結(jié)腸黏膜圖像(NORM).圖像大小統(tǒng)一設(shè)置為64×64，并進(jìn)行歸一化處理，方便網(wǎng)絡(luò)收斂.網(wǎng)絡(luò)架構(gòu)是由3對(duì)卷積-池化模塊依次相連組成的卷積神經(jīng)網(wǎng)絡(luò)，每個(gè)卷積層之后均通過ReLU激活函數(shù)對(duì)卷積層的輸出進(jìn)行非線性激活，增加網(wǎng)絡(luò)的非線性逼近能力，以更好地?cái)M合輸入圖像與輸出結(jié)果之間的關(guān)系，增強(qiáng)網(wǎng)絡(luò)的識(shí)別能力.同時(shí)，每一個(gè)卷積層之后都進(jìn)行批量歸一化以加速收斂，提高泛化能力.網(wǎng)絡(luò)架構(gòu)中的卷積層主要是通過多個(gè)卷積核堆疊來提取圖像中不同層次的特征，隨著卷積層數(shù)的增加，提取的特征逐漸由包括顏色、紋理的低級(jí)特征到高級(jí)、抽象的語義特征.池化層采用最大池化策略，選出特征圖中最具有代表性的顯著特征，進(jìn)而減少參數(shù)量，加快運(yùn)算速率，同時(shí)在一定程度上也降低了網(wǎng)絡(luò)過擬合現(xiàn)象發(fā)生的概率.在特征提取完成之后，需要對(duì)提取到的特征進(jìn)行綜合與預(yù)測(cè)，因此在第3個(gè)池化層之后為全連接層，全連接層的每個(gè)神經(jīng)元都與網(wǎng)絡(luò)前后兩層神經(jīng)元全部加權(quán)連接，將特征轉(zhuǎn)換為一維向量，實(shí)現(xiàn)特征的融合與分類.最后，在輸出層前面添加 Sigmoid 函數(shù)，使神經(jīng)元的輸出結(jié)果限制在[0,1]區(qū)間上.由上述分析可知，對(duì)于卷積神經(jīng)網(wǎng)絡(luò)來說，卷積層在提取特征時(shí)，本質(zhì)上是對(duì)所有特征圖的通道進(jìn)行融合，沒有考慮每一個(gè)通道的重要性，因此，在每個(gè)卷積-池化模塊之后都添加了注意力機(jī)制模塊，從空間和通道兩個(gè)維度對(duì)中間特征圖進(jìn)行注意，獲得更為有效的顯著特征表示.

圖2 網(wǎng)絡(luò)架構(gòu)圖

(1)

(2)

(3)

式中：?表示逐元素相乘.

1.2 通道注意模塊

卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像全局信息的描述都是通過在局部感受野上對(duì)空間維度信息進(jìn)行聚合來實(shí)現(xiàn)的.然而諸多研究表明，特征圖的每個(gè)通道都被認(rèn)為是一個(gè)特征檢測(cè)器，而最終表達(dá)的準(zhǔn)確性受到各個(gè)通道之間的依賴性約束，因此，本文通過加入通道注意模塊更好地建立學(xué)習(xí)通道之間的相互依賴關(guān)系.網(wǎng)絡(luò)中每個(gè)特征通道的權(quán)重都是通過卷積神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)得到的，將這些權(quán)重信息依次按通道加權(quán)到主干網(wǎng)絡(luò)的特征圖上，可以對(duì)圖像中的有效信息進(jìn)行更準(zhǔn)確地描述，實(shí)現(xiàn)對(duì)通道重要性的分配.為了更好地聚合特征圖的有效信息、抑制無用信息，同時(shí)減少參數(shù)量，采用最大池化與平均池化操作并行處理的方式，通過提取特征圖在通道維的最大值與平均值，綜合作用于特征圖，實(shí)現(xiàn)對(duì)通道維特征更準(zhǔn)確地注意和權(quán)重再分配，從而對(duì)特征圖中的信息進(jìn)行更為有效地提取和表示，最終提升網(wǎng)絡(luò)的綜合性能.具體流程如圖3 所示.

圖3 通道注意模塊

MC(F)=σ(MLP(AvgPool(F))+

(4)

1.3 空間注意模塊

空間注意模塊是通過聚焦有效信息更豐富的空間區(qū)域來實(shí)現(xiàn)特征提取，從而利用特征間的空間關(guān)系生成空間注意圖，本文將借鑒通道注意機(jī)制中壓縮-激勵(lì)的方法，但不同的是，空間注意力映射圖是通過卷積神經(jīng)網(wǎng)絡(luò)利用元素之間的空間關(guān)系生成的，其結(jié)構(gòu)如圖4 所示.

圖4 空間注意模塊

(5)

式中：σ指的是Sigmoid函數(shù)；f3×3為卷積核為3×3的卷積計(jì)算，[·;·]表示連接操作.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 病理圖像數(shù)據(jù)

本文使用的數(shù)據(jù)集來源于德國(guó)海德堡國(guó)家癌癥中心和海德堡大學(xué)醫(yī)學(xué)中心的結(jié)腸組織病理學(xué)圖像數(shù)據(jù).實(shí)驗(yàn)數(shù)據(jù)是8 000張正常結(jié)腸組織(NORM)和8 000張結(jié)腸癌上皮組織(TUM)的病理學(xué)圖像，按照4∶1的比例進(jìn)行訓(xùn)練和驗(yàn)證，即訓(xùn)練和驗(yàn)證的數(shù)據(jù)為12 800張與3 200張，最后分別使用600張NORM和600張TUM測(cè)試網(wǎng)絡(luò)模型性能.

2.2 結(jié)果與討論

為了證明注意力機(jī)制模塊中任意一個(gè)模塊的有效性，在卷積神經(jīng)網(wǎng)絡(luò)上嵌入注意力模塊，在結(jié)腸組織數(shù)據(jù)集上進(jìn)行多次實(shí)驗(yàn)，具體有4個(gè)方案，① 卷積神經(jīng)網(wǎng)絡(luò)(CNN)未添加注意力機(jī)制模塊；② 卷積神經(jīng)網(wǎng)絡(luò)在通道維度上添加注意力模塊；③ 卷積神經(jīng)網(wǎng)絡(luò)在空間維度上添加注意力模塊；④ 卷積神經(jīng)網(wǎng)絡(luò)在通道和空間兩個(gè)維度上添加注意力模塊.

訓(xùn)練過程中，設(shè)置初始學(xué)習(xí)率為0.001，Batch-size為32，根據(jù)Batch-size的大小和訓(xùn)練的圖像數(shù)量可知，訓(xùn)練一個(gè)epoch要進(jìn)行400次迭代，實(shí)驗(yàn)一共進(jìn)行50個(gè)epoch，總的迭代次數(shù)為20 000次.本文采用交叉熵函數(shù)作為損失函數(shù)來描述圖像標(biāo)簽和網(wǎng)絡(luò)預(yù)測(cè)值之間的距離，并采用Adam算法對(duì)每次迭代的參數(shù)進(jìn)行更新，以控制網(wǎng)絡(luò)的收斂.上述4個(gè)方案在結(jié)腸組織數(shù)據(jù)集上訓(xùn)練的損失曲線以及驗(yàn)證集上的準(zhǔn)確率曲線如圖5 所示.

(a1)CNN

圖5 中的(a1)，(b1)，(c1)，(d1)分別代表方案1，2，3，4對(duì)結(jié)腸癌組織圖像訓(xùn)練的損失曲線，(a2)，(b2),(c2),(d2)分別代表方案1，2，3，4對(duì)結(jié)腸癌組織圖像驗(yàn)證集的準(zhǔn)確率曲線，橫坐標(biāo)為迭代次數(shù)，縱坐標(biāo)為訓(xùn)練集的損失值和驗(yàn)證集的準(zhǔn)確率.訓(xùn)練時(shí)，每經(jīng)過100輪迭代之后在圖中記錄一次損失，經(jīng)過1輪之后記錄一次驗(yàn)證集的準(zhǔn)確率，根據(jù)驗(yàn)證集的準(zhǔn)確率保存最優(yōu)的模型.由圖5 可知，這4種方法經(jīng)過迭代訓(xùn)練后，網(wǎng)絡(luò)都可以收斂，4個(gè)方案保存的最優(yōu)模型對(duì)于結(jié)腸癌組織圖像的測(cè)試結(jié)果如圖6 所示.

(a)CNN

為了綜合評(píng)價(jià)網(wǎng)絡(luò)的性能，本文采用敏感度、精確度、特異度、準(zhǔn)確率和F-1分值來客觀評(píng)估網(wǎng)絡(luò)對(duì)結(jié)腸癌組織識(shí)別的性能.其中，敏感度和特異度分別代表真陽性率和真陰性率，如表1 所示.從表1 可以看出，當(dāng)使用通道注意力與空間注意力時(shí)，網(wǎng)絡(luò)的精度和F-1分值分別達(dá)到了97.16%和 0.971 8.假陰性率和假陽性率可分別降低至 2.3% 和3.3%.而僅使用CNN網(wǎng)絡(luò)(圖6(a))不添加注意力機(jī)制時(shí)，CNN的整體準(zhǔn)確率僅為 94.67%，證明了注意力機(jī)制在優(yōu)化網(wǎng)絡(luò)性能方面的有效性.從表1中還可以得到，僅采用CNN網(wǎng)絡(luò)對(duì)結(jié)腸癌進(jìn)行識(shí)別，雖然假陽性率較低，但是其假陰性率高達(dá)8.5%，這意味著網(wǎng)絡(luò)不能對(duì)結(jié)腸癌進(jìn)行有效診斷，將導(dǎo)致患者錯(cuò)過最佳治療時(shí)機(jī).圖6(b)和圖6(c)為CNN中分別加入通道注意力或空間注意力中任意一種的結(jié)果，由圖可知，加入通道注意力或空間注意力都可以提升網(wǎng)絡(luò)的性能.然而，這兩種注意力對(duì)網(wǎng)絡(luò)的性能提升也存在一定的差異，網(wǎng)絡(luò)加入通道注意力對(duì)病理學(xué)圖像識(shí)別的性能優(yōu)于空間注意力.這是由于病理學(xué)圖像通過卷積核提取特征后，通道維的特征更為明顯，因此通過通道注意力加權(quán)后的特征更具有區(qū)分性，而空間維的特征區(qū)分度較小.當(dāng)網(wǎng)絡(luò)兼顧通道和空間兩個(gè)維度(圖6(d))，對(duì)特征圖進(jìn)行注意時(shí)，雖然假陽性率相比CNN主干網(wǎng)絡(luò)(圖6(a))有一定升高，但是假陰性率得到了極大改善，相對(duì)于僅采用CNN而言，假陰性率降低了6.17%，同時(shí)準(zhǔn)確率和F-1分值分別提升了 2.19% 和 2.69%.

表1 4個(gè)方案對(duì)結(jié)腸癌組織的識(shí)別結(jié)果

表1 總結(jié)了結(jié)腸病變分類的相關(guān)工作.其中，Sirinukunwattana K，Basha S H S，Hamad A均采用深度學(xué)習(xí)的方法識(shí)別結(jié)腸癌，不同的是他們是在結(jié)腸組織細(xì)胞核“補(bǔ)丁”數(shù)據(jù)集CRC HistoPhenotypes上進(jìn)行的分類，這些網(wǎng)絡(luò)模型的最高準(zhǔn)確率和F-1分值分別為80%和0.85.該方法通過訓(xùn)練較小尺寸的細(xì)胞核“補(bǔ)丁”而不含細(xì)胞核周圍的信息，其優(yōu)點(diǎn)是通過學(xué)習(xí)病理圖像的顯著特征，可以獲得較高的識(shí)別精度，它是準(zhǔn)確性和訓(xùn)練時(shí)間之間的權(quán)衡.然而，80%的準(zhǔn)確率還不足以應(yīng)用于結(jié)腸癌診斷，在醫(yī)學(xué)領(lǐng)域需要更高準(zhǔn)確率的模型.Masood K[17]通過機(jī)器學(xué)習(xí)的方法提取整個(gè)病理學(xué)圖像的顏色和紋理等特征，對(duì)結(jié)腸癌的識(shí)別準(zhǔn)確率達(dá)到90%以上，但是手動(dòng)提取特征需要廣泛的專業(yè)知識(shí).本文提出的基于注意力機(jī)制的結(jié)腸癌識(shí)別方法，不僅可以學(xué)習(xí)到細(xì)胞核形態(tài)、結(jié)構(gòu)等局部特征，還能夠?qū)W習(xí)到組織圖像的全局特征，如細(xì)胞核漿比、腺體形態(tài)和組織的紋理.雖然導(dǎo)致模型的參數(shù)和訓(xùn)練時(shí)間相對(duì)增加，但識(shí)別準(zhǔn)確率和F-1分值分別達(dá)到97%和0.971 8.

圖7 給出了添加注意力機(jī)制的CNN模型的受試者工作特征曲線，由圖7 可知，受試者工作特征曲線下面積(AUC)可達(dá)0.996 9，接近于1，表明所提出的注意力機(jī)制與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的模型在結(jié)腸癌識(shí)別中的優(yōu)越性能.

圖7 受試者工作特征曲線圖

3 結(jié) 論

本文提出將注意力機(jī)制模塊與輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，用于檢測(cè)結(jié)腸癌.在卷積神經(jīng)網(wǎng)絡(luò)中嵌入注意力機(jī)制模塊，使網(wǎng)絡(luò)能夠從通道和空間兩個(gè)維度上提取結(jié)腸組織圖像的注意力圖.然后，通過將注意力圖與輸入特征圖相乘，實(shí)現(xiàn)特征的自適應(yīng)學(xué)習(xí).結(jié)果表明，該方法的精度和F-1分值分別達(dá)到了97%和0.971 8，同時(shí)該方法將假陽性率和假陰性率降低到2.3%和3.3%.因此，基于注意力機(jī)制的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)避免了手工特征提取所帶來的誤差，通過端到端的訓(xùn)練，能夠在大量的信息中有效提取出結(jié)腸癌組織中更具辨識(shí)力的特征，抑制無用信息，提升了網(wǎng)絡(luò)對(duì)結(jié)腸癌組織的識(shí)別準(zhǔn)確率，是一種客觀、準(zhǔn)確的方法，該方法為結(jié)腸癌的識(shí)別提供了一種新思路.