劉琳琳，葉 強，何靈敏

中國計量大學 信息工程學院，杭州310018

乳腺癌是全世界婦女中最常見和最致命的癌癥之一[1]。雖然乳腺癌患者的預后情況總體較好，5年平均生存率為90%，10年平均生存率為83%，但當乳腺癌轉(zhuǎn)移時，預后會明顯惡化[2]。淋巴結轉(zhuǎn)移是影響乳腺癌患者預后的關鍵因素之一。臨床上前哨淋巴結病理切片的檢查結果作為最準確可靠的“金標準”[3-4]，在臨床和科研上有著重要的作用。

但前哨淋巴結組織內(nèi)往往存在較小的微轉(zhuǎn)移[5]，甚至是小到單個癌細胞的轉(zhuǎn)移，診斷工作量較大。對于前哨淋巴結，必須檢查至少3個不同水平的淋巴結切片[6-7]。因此傳統(tǒng)病理醫(yī)生診斷過程是冗長費時的，且極易錯過較小的微轉(zhuǎn)移病灶。許多學者研究了傳統(tǒng)機器學習算法在全視野數(shù)字化切片（Whole Slide Image，WSI）[8]中的應用[9-11]，但傳統(tǒng)的機器學習算法多應用于小型數(shù)據(jù)集，且通常采用人工特征提取的方法，難以提取出有區(qū)分性的、高質(zhì)量的特征。

近年來深度學習廣泛用于病理學圖像的研究中[12-13]，目前已有使用卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）對乳腺癌病理圖像進行的相關研究[14-15]。Spanhol等人[16]基于AlexNet卷積網(wǎng)絡，對BreaKHis數(shù)據(jù)集進行分類，準確率比傳統(tǒng)機器學習算法高出6%。Bayramoglu等人[17]采用基于放大倍數(shù)獨立的卷積網(wǎng)絡對BreaKHis數(shù)據(jù)集進行分類，其準確率約83%。Deniz等人[18]通過微調(diào)預訓練好的AlexNet網(wǎng)絡，對乳腺癌的組織病理學圖片進行分類，結果證明遷移學習比支持向量機[19]的識別效果更好。Litjens等人[20]證明使用卷積神經(jīng)網(wǎng)絡檢測淋巴結中的癌癥轉(zhuǎn)移是可行的。Liu等人[21]利用卷積神經(jīng)網(wǎng)絡在Camelyon16數(shù)據(jù)集上取得了92.4%的準確率。Veeling等人[22]公開了PCam數(shù)據(jù)集，證明了WSI圖像具有旋轉(zhuǎn)對稱和反射對稱的特性，并使用旋轉(zhuǎn)等效CNN網(wǎng)絡進行測試。

雖然目前利用卷積神經(jīng)網(wǎng)絡進行檢測已經(jīng)取得了諸多成果，但仍存在一些問題：（1）已有研究的數(shù)據(jù)集多為乳腺本身的病理圖像，缺乏對乳腺前哨淋巴結轉(zhuǎn)移病理圖像的研究；（2）已有研究中模型往往對癌細胞宏觀轉(zhuǎn)移檢測效果較好，但對較小的微轉(zhuǎn)移檢測效果較差，導致整體檢測準確率偏低。

針對以上問題，本文基于乳腺癌前哨淋巴結病理圖像數(shù)據(jù)集（PCam），設計提出了SENet[23]多路卷積神經(jīng)網(wǎng)絡模型，用于檢測前哨淋巴結病理圖像中是否存在乳腺癌細胞轉(zhuǎn)移。本文主要貢獻如下：

（1）基于全新的乳腺癌前哨淋巴結病理圖像數(shù)據(jù)集（PCam）進行研究，可檢測乳腺癌細胞在前哨淋巴結中的轉(zhuǎn)移情況，對及時診斷乳腺癌病情、確定治療方案有一定的現(xiàn)實意義。

（2）設計提出了新的網(wǎng)絡模型。模型使用堆疊卷積單元的結構以及跨層跳躍連接（Skip Connection）的方式，可以不使用池化操作，從而增加網(wǎng)絡的表征深度；擁有更多的非線性變換，可以加強模型對特征的學習能力；可以減少參數(shù)的數(shù)量。

（3）設計了SENet多路卷積單元。卷積單元內(nèi)使用標準卷積（Convolution）與深度可分離卷積（Depthwise Separable Convolution）[24]，分兩路進行卷積操作，獲取不同粒度特征圖譜；后通過加和（Add）和串聯(lián)（Concatenate）操作將特征圖譜進行組合，獲取更豐富、更高維度的特征信息來表征圖像，防止遺漏較小的特征區(qū)域。同時在卷積單元內(nèi)加入SENet注意力模塊，可使網(wǎng)絡學習利用全局信息執(zhí)行特征重新校準，從而增強整個網(wǎng)絡的表示能力。

1 方法

1.1 總體網(wǎng)絡模型設計

本研究設計全新的卷積神經(jīng)網(wǎng)絡模型（見圖1），模型使用堆疊多路卷積單元（見圖2）的結構和跨層跳躍連接的方式。多路卷積單元內(nèi)使用標準卷積與深度可分離卷積、加和操作與串聯(lián)操作組合、SENet模塊等組合而成。

圖1 多路卷積神經(jīng)網(wǎng)絡模型結構Fig.1 Multi-channel convolutional neural network model structure

圖2 多路卷積單元結構Fig.2 Multi-channel convolution unit structure

網(wǎng)絡模型中堆疊使用3個多路卷積單元，每個卷積單元采用上述方式組合而成，卷積單元內(nèi)分兩路進行：A路做深度可分離卷積操作獲取特征圖譜，通過跨層跳躍連接與下一層卷積單元A路進行串聯(lián)操作；B路做標準卷積操作和SENet模塊獲取特征圖譜，作為下一層卷積單元B路的輸入；A、B兩路獲取的特征圖譜進行串聯(lián)操作作為下一層卷積單元A路的輸入。該網(wǎng)絡模型可以獲得更高維度和更加豐富的特征數(shù)據(jù)用以表征圖像，有效避免在訓練過程中模型易忽略較小微轉(zhuǎn)移特征區(qū)域的情況，提高整體檢測的準確率。

1.2 多路卷積單元設計

1.2.1標準卷積與深度可分離卷積

本文將兩種類型的卷積進行融合，以獲得更高維度和不同粒度的特征數(shù)據(jù)表征圖像。標準卷積是每個卷積核與輸入圖片的區(qū)域和通道同時進行操作，實現(xiàn)通道相關性和空間相關性的聯(lián)合映射；設前哨淋巴結病理圖像的輸入特征F的尺寸為(DF,DF,M)，采用標準卷積核K為(DK,DK,M,N),輸出的特征G的尺寸為(DG,DG,N),DF與DG為每個通道的區(qū)域尺寸，M與N為通道數(shù)。標準卷積的操作如圖3（a）所示，其計算公式為：

深度可分離卷積是將標準卷積分為逐點卷積和深度卷積，即卷積核進行區(qū)域卷積提取區(qū)域特征后，再進行1×1的通道卷積，從而實現(xiàn)區(qū)域相關性和通道相關性的分開映射。設前哨淋巴結病理圖像的輸入特征F的尺寸為(DF,DF,M)，深度卷積核尺寸為(DK,DK,1,M),輸出特征為(DG,DG,M)；逐點卷積負責轉(zhuǎn)換通道，卷積核尺寸為(1,1,M,N)，輸出特征為(DG,DG,N)，深度可分離卷積的操作如圖3（b）所示，其計算公式為：

圖3 卷積方式Fig.3 Convolution method

深度可分離卷積的參數(shù)量和計算量約為標準卷積操作的1/9，且只會損失很小的精度。

1.2.2加和操作與串聯(lián)操作

加和操作是兩特征圖譜在同一維度數(shù)值的疊加，即描述圖像特征的每一維信息量增加，但是描述圖像的維度沒有增加；該操作可避免模型忽略微小的特征區(qū)域，避免遺漏病理圖像中較小的微轉(zhuǎn)移組織。串聯(lián)操作是兩特征圖譜作通道數(shù)的合并，即描述圖像本身的特征維度增加，但描述圖像特征的每一維信息量沒有增加；該操作可級聯(lián)不同粒度的特征信息，多粒度特征有利于圖像準確分類。圖4為第一個卷積單元內(nèi)，病理圖像經(jīng)過卷積后進行的加和及串聯(lián)操作進行信息融合的示意圖。

圖4 加和及串聯(lián)操作Fig.4 Operation of add and concatenate

假設兩路輸入的通道數(shù)據(jù)分別為X1,X2,…,Xc和Y1,Y2,…,Yc，卷積核為Ki，?表示卷積運算，則加和操作計算公式為：

串聯(lián)操作計算公式為：

1.3 SENet模塊

本文通過加入SENet網(wǎng)絡模塊作為注意力機制，顯式地建模通道之間的相互依賴關系，重新自適應地校準通道式的特征響應。模塊主要包含全局信息嵌入（Squeeze）和自適應重新校正（Excitation）兩個關鍵部分，可使神經(jīng)網(wǎng)絡學習利用全局信息執(zhí)行特征重新校準，來選擇性地強調(diào)重要的特征并抑制不重要的特征，增強整個網(wǎng)絡的表示能力。

1.3.1全局信息嵌入

Squeeze操作依據(jù)通道信息將空間維度進行特征壓縮，即把全局空間信息壓縮成一個具有全局感受野的通道描述符，且輸出的維度和輸入的特征通道數(shù)相匹配，用于表征在特征通道上響應的全局分布。統(tǒng)計信息z∈Rc是通過在空間維度W×H上壓縮生成的，其中z的第c個元素通過下式計算：

式中，F(xiàn)sq(?)為壓縮操作，uc為第c個特征。

1.3.2自適應重新校正

Excitation操作以捕捉通道的依賴關系為目的，通過學習顯式地建模特征通道間的相關性，為每個特征通道生成權重。該操作需要捕捉通道之間的非線性相互作用關系，同時為防止模型變得復雜和提高泛化性需設置兩層全連接層。故Excitation操作主要由兩個全連接（FC）層和兩個激活函數(shù)組成，表示為：

式中，F(xiàn)ex(?)為激勵操作，為Sigmod激活函數(shù)，δ(x)=max(0,x)為ReLU激活函數(shù)；sk∈RH×W(k=1,2,…,c),S={s1,s2,…,sc}；降維層參數(shù)升維層參數(shù)

最終的輸出通過輸入通道與各自的權值相乘得：

式中，X?=[ ]x?1,x?2,…,x?c,,Fscale(uc,sc)指 的 是 特 征 映 射uc∈RH×W和標量sc之間的對應通道乘積。

1.4 跨層跳躍連接

跳躍連接可以融合多層高層語義特征信息和低層特征圖的細節(jié)信息，能夠更好地提取不同尺度物體對應的特征信息。同時卷積神經(jīng)網(wǎng)絡層數(shù)越深，則模型表征能力越強，性能越好，但是在通過反向傳播進行參數(shù)更新、最小化損失函數(shù)時，會產(chǎn)生梯度消失問題。這是因為反向傳播使用鏈式法，需要進行一系列的連乘運算，導致淺層隱層網(wǎng)絡梯度出現(xiàn)劇烈的衰減造成的。因此，本文在卷積單元間使用跳躍連接進行跨層連接（見圖2（b）中虛線）解決此問題，計算公式為[25]：

式中，hi表示第i層特征輸入，hi+1表示輸出，F(xiàn)表示殘差函數(shù)，θi表示權重。

2 實驗設計

2.1 數(shù)據(jù)集描述

本文采用數(shù)據(jù)集PCam（PatchCamelyon）[21-22]，該數(shù)據(jù)集是在10倍物鏡，2.43 μm像素分辨率下，對整張H&E染色的前哨淋巴結切片圖像進行采樣，提取到327 680張RGB三通道96×96像素的彩色圖像。每個圖像注有0或1的標簽：標簽為1表示陽性樣本標記，表示圖像32×32像素的中心區(qū)域至少有一個腫瘤組織像素（即存在癌細胞轉(zhuǎn)移），如圖6所示。

圖6 PCam數(shù)據(jù)集部分圖像Fig.6 Partial images of PCam dataset

為了提高模型對未知圖像的泛化性能，本文應用了以下圖像增強方法：水平旋轉(zhuǎn)、垂直旋轉(zhuǎn)、圖像縮放80%~110%、每邊裁剪0~25%、平移-20%~+20%、剪切-18~+18、旋轉(zhuǎn)-45°~+45°、銳化0~1.0、浮雕0~1.0、高斯模糊0~3.0、局部模糊2~7。

2.2 實驗環(huán)境

實驗使用的環(huán)境如下：處理器為Intel?Xeon?CPU E5-2630 v4@2.20 GHz；內(nèi)存（RAM）128 GB；獨立顯卡為GeForce GTX Titan X；系統(tǒng)類型為64位Ubuntu16.04；開發(fā)工具為Python 3.6，Keras框架。

2.3 訓練策略

網(wǎng)絡的訓練初始學習率設置為0.1，衰減率為0.1，優(yōu)化器為Adam，動量為0.9，損失函數(shù)為Binary Crossentropy，迭代次數(shù)為35次。圖像數(shù)據(jù)集被隨機分為三部分：50%作訓練集，25%作驗證集，25%作測試集。其中訓練集用于訓練以獲取權重和參數(shù)；驗證集用于驗證效果調(diào)整參數(shù)，在訓練過程中使用模型對驗證集數(shù)據(jù)進行預測，根據(jù)驗證集結果進行微調(diào)，以選出結果最優(yōu)的模型所對應的參數(shù)和激活函數(shù)；測試集用于測試模型的檢測精度與泛化性能。

圖5 SENet模塊網(wǎng)絡結構Fig.5 Network structure of SENet module

2.4 評價標準

2.4.1準確率

準確率是測試集中模型正確的分類樣本數(shù)占總樣本數(shù)的比例，反映了模型的預測分類能力，公式為：

式中，P表示陽性樣本數(shù)，N表示陰性樣本數(shù)，TP表示實際為陽性且被預測為陽性的數(shù)目，TN表示實際為陰性且被預測為陰性的數(shù)目。

2.4.2 ROC曲線和AUC值

使用ROC（Receiver Operating Characterisitc）曲線對預測結果進行評估。ROC曲線無法定量分析，故使用曲線下的面積（Area Under ROC Curve，AUC）作評估指標，公式為[26]：

式中，D+為所有陽性樣本的集合，x+為其中一個陽性樣本，D-為所有陰性樣本的集合，x-為其中一個陰性樣本，f(x)是模型對樣本x的預測結果，在0~1之間，W(x)僅在x為真時取1，否則取0。

3 結果及分析

本文模型訓練過程中損失值變化情況如圖7所示?？梢姡呵?0次迭代訓練過程以初始學習率0.1進行，驗證集損失值快速下降，效果較為明顯；之后的訓練過程中，損失值發(fā)生小幅度上升，表明在該學習率下模型已經(jīng)達到局部最優(yōu)，故學習率衰減為0.01繼續(xù)訓練；迭代至34次時，網(wǎng)絡逐漸收斂趨于穩(wěn)定，模型達到最優(yōu)。利用訓練后的模型對測試集中圖像進行測試，實驗的精度值可達到97.32%，ROC曲線的AUC值為98.05%（見圖8）。

圖7 訓練過程中損失值變化情況Fig.7 Change of loss value during training

圖8 測試集ROC曲線及AUC值Fig.8 ROC curve and AUC value of test set

為評估該模型的檢測性能，分別與已有研究成果和主流卷積神經(jīng)網(wǎng)絡模型在相同實驗環(huán)境下，對相同的測試集進行對比實驗。同時為避免模型過擬合，以得到泛化能力好的模型，設置49%、51%、100%的測試集分別進行測試。結果見表1，表內(nèi)數(shù)據(jù)為各模型對不同比例的測試集進行測試獲得的AUC值。由表1可知，在不同比例的測試集上，本文模型預測的AUC值均高于其他模型，表明該模型具有較好的檢測性能，且模型在不同比例的測試集情況下測試結果相近，表明模型的泛化性能較好。

表1 本文模型與其他模型對比實驗結果Table 1 Results of model compared with other models

選取部分陽性樣本，繪制其類激活映射（Class Activation Mapping，CAM）圖[27]，如圖9所示。通過CAM圖可確定模型所關注的圖像具體特征區(qū)域，即圖像中高亮顯示的區(qū)域為模型檢測到的乳腺癌轉(zhuǎn)移組織所在區(qū)域。

圖9 原始圖與CAM激活圖Fig.9 Original images and class activation mappings

為探究本文模型的檢測機理以及各模塊的檢測效果，通過設置不同的網(wǎng)絡結構對測試集中圖像進行測試，結果如表2所示。

表2 不同網(wǎng)絡結構的對比實驗結果Table 2 Comparison of results of different network structures

由表2中數(shù)據(jù)可分析：在SENet模塊方面，本文模型中SENet模塊和多路網(wǎng)絡的設計，可以有效提高模型的檢測性能。在卷積單元的數(shù)量上，設置為3個可達到最好效果，若卷積單元數(shù)量較少，卷積網(wǎng)絡較淺，則無法高度概括圖像和獲取圖像的特征信息，造成檢測精度較低；而卷積單元超過3個以后，檢測精度反而下降，這可能是由于網(wǎng)絡層數(shù)的加深，對圖像特征信息進行高度概括，導致對特征區(qū)域較小的微轉(zhuǎn)移檢測效果較差甚至忽略，從而導致模型在測試過程中整體的預測精度下降。

進一步探究本文模型對特征區(qū)域較小的微轉(zhuǎn)移情況的檢測效果，選取存在有多個微轉(zhuǎn)移病灶的病理圖像，在相同訓練條件下，使用不同的模型和結構進行測試繪制CAM激活圖，如圖10所示。

圖10 各模型對微轉(zhuǎn)移情況檢測效果Fig.10 Detection effect of each model for micrometastasis

由圖10中標記的兩處矩形框區(qū)域可分析：已有的ResNet50、GDenseNet等網(wǎng)絡模型對微轉(zhuǎn)移情況檢測效果不佳。多路無SENet和單路加SENet兩種結構可以識別出部分微轉(zhuǎn)移區(qū)域。本文模型使用多路SENet的結構，可以更為詳盡、準確地識別微轉(zhuǎn)移區(qū)域。這是由于卷積單元內(nèi)兩種卷積方式的加和、串聯(lián)操作，獲取了更高維度、多粒度的特征信息；SENet模塊作為注意力機制，可以突出重要的特征區(qū)域。通過多路卷積單元和SENet模塊的有機結合，使得本文模型對特征區(qū)域較小的微轉(zhuǎn)移也有很好的檢測效果。

4 結束語

本文基于乳腺癌前哨淋巴結病理圖像（PCam）數(shù)據(jù)集，設計提出了新的SENet多路卷積神經(jīng)網(wǎng)絡模型。模型堆疊使用SENet多路卷積單元和跨層跳躍連接的結構進行圖像特征提取和乳腺癌前哨淋巴結轉(zhuǎn)移檢測。

實驗結果表明，本文模型對乳腺癌前哨淋巴結轉(zhuǎn)移有較好的檢測效果，對比目前已有研究和主流的卷積神經(jīng)網(wǎng)絡，檢測精度均有明顯的提升。同時探究了模型的檢測機理和對微轉(zhuǎn)移區(qū)域的檢測效果：由于多路卷積單元內(nèi)使用標準卷積與深度可分離卷積融合、加和操作與串聯(lián)操作組合、跳躍連接等方式，使得模型可以獲取更高維度、更豐富的多粒度圖像特征信息；SENet模塊可使神經(jīng)網(wǎng)絡學習利用全局信息執(zhí)行特征重新校準，突出特征信息，避免忽略較小的微轉(zhuǎn)移特征區(qū)域，因此對乳腺癌的宏觀轉(zhuǎn)移與微轉(zhuǎn)移情況都有較好的檢測效果。

為進一步提高模型檢測的準確率，后續(xù)還有很多工作要做，例如：在數(shù)據(jù)集上，可增加訓練樣本數(shù)量，對數(shù)據(jù)進行擴充，進一步增強模型的泛化能力；在網(wǎng)絡模型上，可修改網(wǎng)絡結構，增加其他注意力機制，進一步提高模型對特征區(qū)域較小的微轉(zhuǎn)移情況的檢測精度。