寧靜艷1， 俞　晨2，程　年1，劉　芃1

摘 要：確定肺癌類型對(duì)于病人后續(xù)治療方案的選擇至關(guān)重要，但肺癌診斷必須由專業(yè)病理醫(yī)師在顯微鏡下觀察活體組織切片確定，診斷過程耗時(shí)長，且病理醫(yī)師之間很難取得較好的一致診斷。隨著病理全切片掃描設(shè)備的普及，病理圖像可在計(jì)算機(jī)上保存、觀察、分析，使通過現(xiàn)代數(shù)字圖像處理技術(shù)輔助診斷或提供決策支持成為可能。對(duì)于億級(jí)像素的全切片病理圖像（WSI），通過在圖像中提取小塊、訓(xùn)練分類網(wǎng)絡(luò)，并根據(jù)驗(yàn)證結(jié)果調(diào)整網(wǎng)絡(luò)參數(shù)，可得到較好的分類準(zhǔn)確率。測(cè)試時(shí)，聚合全圖中小塊分類結(jié)果得到最終類別。使用基于塊的分類方法，卷積神經(jīng)網(wǎng)絡(luò)模型在WSI分類任務(wù)中取得了較好的效果，有望通過現(xiàn)代深度學(xué)習(xí)方法對(duì)肺癌提供輔助診斷及決策支持。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);肺癌;病理圖像分類;計(jì)算機(jī)輔助診斷

DOI：10. 11907/rjdk. 181868

中圖分類號(hào)：TP317.4文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2019）002-0141-04

Abstract： The diagnosis of lung cancer must be determined by a professional pathologist after looking at the biopsy under a microscope， which is time consuming. Besides， determining the subtype of lung cancer is crucial for the follow-up treatment plan， but it is difficult for pathologists to obtain a decent consistent diagnosis. With the popularity of virtual microscopy devices， it is convenient that pathological images can be stored， observed， and analyzed on computers， which make it possible to assist in diagnosis or provide decision support through modern computerized image processing techniques. For the very large GigaPixel pathological whole-slide images （WSI）， patches were extracted and used to train the convolutional neural network model in this paper. After the parameters of network were adjusted based on the verification results， decent classification accuracy were ultimately obtained. During test phase， the classification results of the patches extracted from a whole image were aggregated to get the final result. By the patched-based classification method， the convolutional neural network model has achieved good results in the classification of pathological WSIs. It is hoped that modern deep learning methods can be used to assist in the diagnosis of lung cancer and provide decision support.

Key Words： convolutional neural network; lung cancer; pathological image classification; computer-aided diagnosis

0 引言

肺癌是男性最常見的癌癥致死病因，及早發(fā)現(xiàn)和確診對(duì)于病人身體健康至關(guān)重要。胸部影像學(xué)檢查如電腦斷層（CT）等能提供初步檢查和評(píng)估，但是只能作為診斷參考，肺癌的確診以及肺癌子類型的確定必須由病理醫(yī)師在顯微鏡下觀察活體組織樣本特征才能得到結(jié)果[1]。肺癌可粗分為小細(xì)胞癌和非小細(xì)胞癌，其中非小細(xì)胞癌主要有鱗癌和腺癌[2-3]。確定病人肺癌子類型對(duì)于后續(xù)治療策略選擇和預(yù)測(cè)治療相當(dāng)重要[4]。然而，對(duì)于樣本中表現(xiàn)最好的特征病理，醫(yī)師也難以得到很好的一致性診斷結(jié)果[4]。對(duì)于確定非小細(xì)胞癌和區(qū)分其子類型，腺癌和鱗癌的診斷一致性也相對(duì)較低[5]。診斷一致性與腫瘤區(qū)分度、活體組織切片質(zhì)量相關(guān)。對(duì)病理圖像主觀或錯(cuò)誤的診斷可能誤選對(duì)應(yīng)的治療方案，從而降低病人存活率和生活質(zhì)量[6]。

近年來，一些學(xué)者著力于對(duì)肺癌診斷預(yù)測(cè)定義額外的視覺特征[7]。數(shù)字病理學(xué)的出現(xiàn)使病理學(xué)得到了跳躍式發(fā)展[8]：虛擬顯微鏡傳送技術(shù)能夠?qū)⒒铙w組織玻璃切片輸出為能夠在計(jì)算機(jī)上進(jìn)行觀察、分析的數(shù)字圖像，數(shù)字病理學(xué)被稱為能為癌癥和其它重癥疾病診斷、預(yù)后提供更好、更快、更廉價(jià)的最有潛力的實(shí)現(xiàn)方向之一[9]。Hipp[10]提出數(shù)字圖像處理技術(shù)能夠提高病理圖像評(píng)估效率、準(zhǔn)確率和一致性， 能夠?yàn)樵\斷結(jié)果提供決策支持。Yu等[11]通過在非小細(xì)胞癌數(shù)字病理切片圖像中提取形態(tài)學(xué)特征并訓(xùn)練分類器分類非小細(xì)胞癌的亞型，從而預(yù)測(cè)患者生存期。

傳統(tǒng)圖像分類方法主要利用圖像顏色、紋理和形狀及手工設(shè)計(jì)的特征描述算子從圖像中獲取的Harris角點(diǎn)、SURF特征、SIFT特征等[12]，且需要單獨(dú)設(shè)計(jì)分類器。人工篩選特征的方法需要對(duì)特定任務(wù)有足夠知識(shí)背景，并通過不斷實(shí)驗(yàn)對(duì)參數(shù)進(jìn)行調(diào)節(jié)，精力耗費(fèi)大。

上世紀(jì)90年代，反向傳播算法的出現(xiàn)使神經(jīng)網(wǎng)絡(luò)在人工智能領(lǐng)域引起了一次技術(shù)變革[13]。隨著計(jì)算機(jī)處理能力不斷提升，神經(jīng)網(wǎng)絡(luò)模型參數(shù)訓(xùn)練緩慢的問題得到解決[14]，使其成為機(jī)器學(xué)習(xí)領(lǐng)域最受歡迎的主題。神經(jīng)網(wǎng)絡(luò)不同結(jié)構(gòu)的模型解決了計(jì)算機(jī)科學(xué)領(lǐng)域的不同問題，在計(jì)算機(jī)視覺、語音識(shí)別、自然語音處理等領(lǐng)域取得了較好的識(shí)別結(jié)果[15]。卷積神經(jīng)網(wǎng)絡(luò)作為神經(jīng)網(wǎng)絡(luò)的一種變形，是各種網(wǎng)絡(luò)結(jié)構(gòu)中最重要的形式之一[16]，通過局部連接和共享權(quán)重的方式獲取圖像豐富的特征，大幅提升了圖像分類與檢測(cè)能力[17]，在圖像處理領(lǐng)域得到廣泛應(yīng)用。對(duì)于億兆像素的病理全切片圖像，本文使用卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練基于塊的分類器，測(cè)試階段則通過聚合圖像中塊的分類結(jié)果得到最終結(jié)果。

1 分類模型與方法

1.1 深度學(xué)習(xí)框架選擇

Keras是一個(gè)利用Python編寫的開源神經(jīng)網(wǎng)絡(luò)庫，可以以Tensorflow、Theano或MXNet為后端，提供一個(gè)更高層次、更直觀的深度學(xué)習(xí)抽象集合，專注于用戶友好、模塊化和可擴(kuò)展性，使用戶能快速在各種計(jì)算后端開發(fā)深度學(xué)習(xí)模型?？紤]實(shí)驗(yàn)?zāi)Ｐ蜆?gòu)建的快速性與便捷性，本文選擇使用Keras框架進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建。

1.2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

卷積神經(jīng)網(wǎng)絡(luò)通過局部感受域和共享權(quán)重解決傳統(tǒng)前饋網(wǎng)絡(luò)中參數(shù)過多的問題[14]。卷積操作能夠?qū)W習(xí)圖像中的局部特征，特別適用于圖像識(shí)別任務(wù)?；诰矸e神經(jīng)網(wǎng)絡(luò)的分類模型能夠自動(dòng)學(xué)習(xí)訓(xùn)練樣本圖像中的特征表達(dá)，將傳統(tǒng)圖像識(shí)別任務(wù)中的特征提取與分類識(shí)別合二為一，進(jìn)行端到端的圖像處理，得到分類結(jié)果，避免重新訓(xùn)練基于圖像特征的分類器。

對(duì)于輸入圖像，卷積網(wǎng)絡(luò)的局部感受域（通常為3 × 3或5 × 5的區(qū)域）在圖像上進(jìn)行卷積操作構(gòu)建隱藏層，每個(gè)連接學(xué)習(xí)一個(gè)權(quán)重和一個(gè)總偏置。同時(shí)，可以選擇多個(gè)卷積核學(xué)習(xí)圖像的不同特征。前面卷積層學(xué)習(xí)的特征為局部特征，最后卷積層可學(xué)習(xí)圖像全局特征。本文實(shí)驗(yàn)卷積核大小為3×3區(qū)域，卷積核個(gè)數(shù)隨網(wǎng)絡(luò)層數(shù)加深，由32增至64。為避免Sigmoid激活函數(shù)梯度飽和及非0輸出問題，并加快收斂速度，實(shí)驗(yàn)選用Relu激活函數(shù)[18]，如式（1）所示。在卷積層之后通過池化層獲取凝縮的特征映射，對(duì)于多個(gè)特征映射，混合層與其一一對(duì)應(yīng)，本文實(shí)驗(yàn)以2×2的區(qū)域進(jìn)行最大值池化。

最后網(wǎng)絡(luò)通過全連接神經(jīng)網(wǎng)絡(luò)對(duì)學(xué)習(xí)到的特征進(jìn)行分類，輸出層采用Softmax輸出類別概率。損失函數(shù)采用交叉熵代價(jià)函數(shù)，見公式（2）。

損失函數(shù)優(yōu)化方法為RMSProp，相對(duì)于AdaGrad[19]方法，RMSProp通過加權(quán)平均的方法在訓(xùn)練過程中使學(xué)習(xí)率隨著訓(xùn)練epoch增加自動(dòng)衰減，解決了多層網(wǎng)絡(luò)中學(xué)習(xí)過早結(jié)束的問題。相比于AdaGrad中的梯度累積量[r←r+g⊙g]， RMSProp優(yōu)化器中引入衰減速率[ρ]，加權(quán)計(jì)算歷史梯度，累積量為[r←ρr+（1-ρ）g⊙g]。卷積神經(jīng)網(wǎng)絡(luò)總體結(jié)構(gòu)如圖1所示。

1.3 減小過擬合方法

機(jī)器學(xué)習(xí)方法通過擬合大量訓(xùn)練樣本預(yù)測(cè)同分布數(shù)據(jù)時(shí)常出現(xiàn)的擬合問題。模型在訓(xùn)練數(shù)據(jù)上有很好的識(shí)別效果，但在未經(jīng)訓(xùn)練的測(cè)試集上的識(shí)別效果則不夠理想。通常數(shù)據(jù)增強(qiáng)是減少過擬合的首選方法，但是本實(shí)驗(yàn)中從每例肺癌病理圖像中能得到上萬張訓(xùn)練樣本，所以考慮使用L2權(quán)重正則化方法減小過擬合。L2正則化方法如式（3）所示。

其中 [C0]為原始代價(jià)函數(shù)，L2正則化通過在損失函數(shù)中引入權(quán)重的平方限制模型權(quán)重值，達(dá)到簡化模型的目的，并在較小的權(quán)重和代價(jià)函數(shù)之前找到一個(gè)折中值。加入正則化項(xiàng)后，學(xué)習(xí)過程中權(quán)重w的更新如式（4）、式（5）所示，其中m為小批量數(shù)據(jù)個(gè)數(shù)，[λ]為正則化系數(shù)、實(shí)驗(yàn)中設(shè)為0.005。

另外，稀疏的網(wǎng)絡(luò)節(jié)點(diǎn)，即簡單的網(wǎng)絡(luò)模型，能減少過擬合。實(shí)驗(yàn)采用Dropout方法[20]在網(wǎng)絡(luò)訓(xùn)練過程中按指定概率將網(wǎng)絡(luò)節(jié)點(diǎn)隨機(jī)丟棄，使每個(gè)batch都可以訓(xùn)練不同的網(wǎng)絡(luò)。測(cè)試時(shí)通過以相同比率規(guī)范激活層的輸入得到輸出。實(shí)驗(yàn)在每個(gè)卷積最后的部分及全連接層添加Dropout，keep_prob分別設(shè)為0.25、0.5、0.5。

2 肺癌病理圖像分類實(shí)驗(yàn)

病理切片掃描圖為上億兆像素，而神經(jīng)網(wǎng)絡(luò)模型的輸入一般約為256像素。輸入圖像過大對(duì)計(jì)算機(jī)內(nèi)存和計(jì)算能力要求較高。本文采用訓(xùn)練基于小塊的卷積神經(jīng)網(wǎng)絡(luò)分類模型，測(cè)試時(shí)采用投票表決的方法聚合基于塊的分類結(jié)果，得到大圖最終分類結(jié)果，即選擇塊中所占比例最大的類別作為大圖類別。

2.1 肺癌病理圖片數(shù)據(jù)集

本文使用的數(shù)據(jù)集為江蘇省腫瘤醫(yī)院采集的肺癌患者病理切片掃描圖。其中包括肺腺癌切片95例，小細(xì)胞癌切片33例，鱗癌切片14例。由于病理全切片掃描圖一般為億兆像素級(jí)，可從每例病理圖中獲得上萬個(gè)小塊作為訓(xùn)練圖片，解決了卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本不足的問題。

為確保數(shù)據(jù)集中不同類別數(shù)量平衡性，實(shí)驗(yàn)從每類數(shù)據(jù)取得13例，去除其中的背景區(qū)域后，從每個(gè)全切片掃描圖中得到約28張寬、高均在6 000～9 000像素的子圖，即每類肺癌各有約350張圖片，每類肺癌局部圖像如圖2所示。在每類中取60%作為訓(xùn)練集，20%為驗(yàn)證集，20%為測(cè)試集。

2.2 實(shí)驗(yàn)結(jié)果

小塊中包含足夠的區(qū)分信息是卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)不同肺癌特征的重要條件[21]。但是，小塊太大也會(huì)影響網(wǎng)絡(luò)區(qū)分不同特征的能力，且受計(jì)算機(jī)內(nèi)存限制。因此，必須選擇大小合適的塊級(jí)圖像訓(xùn)練分類網(wǎng)絡(luò)，本文塊級(jí)圖像大小為224×224。采用滑動(dòng)窗口和隨機(jī)取塊的方式選取塊：滑動(dòng)窗口下以無縫剪切的方式從每張大圖中?。╳/224）×（h/224）張小圖（w，h分別為每張圖的寬和高）;以隨機(jī)取塊的方式對(duì)每張圖生成1024個(gè)在（0，w-224）和（0，h-224）的隨機(jī)數(shù)對(duì)，在圖像中選取1 024個(gè)小圖。為保證不同類別訓(xùn)練樣本數(shù)量平衡，每個(gè)batch的數(shù)據(jù)都是將3幅不同類別的大圖中的小塊隨機(jī)打亂后輸入網(wǎng)絡(luò)所得。

實(shí)驗(yàn)采用RMSprop優(yōu)化器默認(rèn)配置不斷減少模型交叉熵?fù)p失函數(shù)。Batchsize 大小為128，訓(xùn)練10個(gè)epoch，在驗(yàn)證損失不再下降時(shí)采用EarlyStopping的方法終止訓(xùn)練，對(duì)驗(yàn)證集損失的容忍度設(shè)為3，即經(jīng)過3個(gè)epoch后損失不再下降則停止訓(xùn)練，模型在6個(gè)epoch后自動(dòng)停止。訓(xùn)練過程中損失和準(zhǔn)確率變化如圖3所示。

對(duì)于基于塊的卷積神經(jīng)網(wǎng)絡(luò)分類模型，通過滑動(dòng)窗口取塊方式和隨機(jī)取塊的方式在訓(xùn)練集和測(cè)試集取得了相似結(jié)果：準(zhǔn)確率為0.92，損失為0.20;在測(cè)試集的準(zhǔn)確率為0.75，損失為0.67。但是結(jié)合圖中所有塊的分類結(jié)果對(duì)整張圖進(jìn)行預(yù)測(cè)，隨機(jī)取塊的方式取得了較好的結(jié)果：小細(xì)胞癌分類準(zhǔn)確率為0.95、腺癌為0.75、腺癌為0.875，總準(zhǔn)確率為0.86;在滑動(dòng)取塊的方式下得到的預(yù)測(cè)準(zhǔn)確率分別為0.85、0.825、0.75。在滑動(dòng)取塊和隨機(jī)取塊方式下訓(xùn)練得到的模型在測(cè)試集的準(zhǔn)確率如表1（分別簡稱模型1、模型2）所示。

實(shí)驗(yàn)表明隨機(jī)取塊的方式能更好地學(xué)習(xí)圖像特征，預(yù)測(cè)準(zhǔn)確率相對(duì)較高。在隨機(jī)取塊的方式下，訓(xùn)練樣本能夠包含多種隨機(jī)樣本，在滑動(dòng)窗口下固定的樣本位置會(huì)影響樣本多樣性。兩種模型對(duì)小細(xì)胞癌分類準(zhǔn)確率均較高，在一定程度上與肺癌類別的劃分一致：腺癌與鱗癌屬于非小細(xì)胞癌的二級(jí)類別，而小細(xì)胞癌屬于肺癌的一級(jí)類別。

3 結(jié)語

病理全切片圖像一般為億兆像素級(jí)別，難以直接通過卷積神經(jīng)網(wǎng)絡(luò)模型提取特征，但是可從中提取足夠的樣本訓(xùn)練模型。本文在肺癌數(shù)據(jù)集上分別通過滑動(dòng)窗口和隨機(jī)取塊的方式訓(xùn)練模型，然后通過聚合圖像小塊分類結(jié)果得到整副圖的類別，最終通過在圖像中隨機(jī)取塊訓(xùn)練得到的模型，使大圖中的分類準(zhǔn)確率平均達(dá)到86%，表明數(shù)字圖像處理方法如卷積神經(jīng)網(wǎng)絡(luò)模型可以應(yīng)用于肺癌病理圖像分類，以輔助病理學(xué)家進(jìn)行相關(guān)研究。本文實(shí)驗(yàn)結(jié)果表明，運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)模型難以區(qū)分非小細(xì)胞癌。排除圖像本身特征相似性的原因，后續(xù)可針對(duì)非小細(xì)胞癌圖像單獨(dú)訓(xùn)練模型，提高對(duì)鱗癌和腺癌圖像的區(qū)分度。

參考文獻(xiàn)：

[1] NAGTEGAAL I D， KRIEKEN J H J M V. The role of pathologists in the quality control of diagnosis and treatment of rectal cancer—an overview[J]. European Journal of Cancer， 2002， 38（7）：964-972.

[2] LOO P S， THOMAS S C， NICOLSON M C， et al. Subtyping of undifferentiated non-small cell carcinomas in bronchial biopsy specimens[J]. Journal of Thoracic Oncology， 2010， 5（4）：442-447.

[3] NICHOLSON A G， GONZALEZ D， SHAH P， et al. Refining the diagnosis and EGFR， status of non-small cell lung carcinoma in biopsy and cytologic material， using a panel of mucin staining， TTF-1， cytokeratin 5/6， and P63， and EGFR， mutation analysis[J]. Journal of Thoracic Oncology， 2010， 5（4）：436-441.

[4] SILVESTRI G A，TANOUE L T，MARGOLIS M L，et al. Noninvasive staging of non-small cell lung cancer： the guidlines [J]. Chest，2007，132（3）：178S–201S.

[5] GRILLEY-OLSON J E， NEIL HAYES？D， Moore？D T， et al. Validation of interobserver agreement in lung cancer assessment： hematoxylin-eosin diagnostic reproducibility for non-small cell lung cancer： the 2004 World Health Organization classification and therapeutically relevant subsets [J]. Archives of Pathology & Laboratory Medicine， 2013， 137 （1）： 32-40.

[6] RAAB S S， GRZYBICKI D M， JANOSKY J E， et al. Clinical impact and frequency of anatomic pathology errors in cancer diagnoses[J]. Cancer， 2010， 104（10）：2205-2213.

[7] TRAVIS W D， BRANBILLA E， NOGUCHI M， et al. International association for the study of lung cancer American Thoracic Society/European Respiratory Society International multidisciplinary classification of lung adenocarcinoma[J]. Journal of Thoracic Oncology， 2011， 6： 244-285.

[8] CHEN R， JING Y T， JACKSON H. Identifying metastases in sentinel lymph nodes with deep convolutional neural networks[DB/OL]. http：//pdfs.semanticscholar.org/b9a0/4c9ddad98c9ca6899390aeba95fc9d99 59fa.pdf.

[9] GHAZNAVI F， EVANS A， MADABHUSHI A， et al. Digital imaging in pathology： whole-slide imaging and beyond[J]. Annual Review of Pathology： Mechanisms of Disease， 2013， 8： 331-359.

[10] HIPP J， FLOTTE T， MONACO J， et al. Computer aided diagnostic tools aim to empower rather than replace pathologists： lessons learned from computational chess[J]. Journal of Pathology Informatics， 2011， 2（2）： 25.

[11] YU K H， ZHANG C， BERRY G J， et al. Predicting non-small cell lung cancer prognosis by fully automated microscopic pathology image features[J]. Nature Communications， 2016， 7：12474.

[12] 張恒亨. 基于傳統(tǒng)方法和深度學(xué)習(xí)的圖像精細(xì)分類研究[D]. 合肥： 合肥工業(yè)大學(xué)， 2014.

[13] LECUN Y， BOSER B， DENKER J S， et al. Handwritten digit recognition with a back-propagation network[C]. Advances in Neural Information Processing Systems， 1990： 396-404.

[14] 呂力兢.基于卷積神經(jīng)網(wǎng)絡(luò)的結(jié)腸病理圖像中的腺體分割[D]. 南京： 東南大學(xué)， 2016.

[15] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems，2012：1097-1105.

[16] LECUN Y， BOTTON L， BENGIO Y， Gradient based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86：2278-2324.

[17] SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions[C]， Computer Vision and Pattern Recognition（CVPR） 2015 IEEE Conference on， 2015： 1-9.

[18] GLOROT X， BORDES A， BENGIO Y. Deep sparse rectifier neural networks[C]. International Conference on Artificial Intelligence and Statistics. 2011：315-323.

[19] DUCHI J， HAZAN E， SINGER Y. Adaptive subgradient methods for online learning and stochastic optimization[J]. Journal of Machine Learning Research， 2011， 12（7）：257-269.

[20] HINTON G E， SRIVASTAVA N， KRIZHEVSKY A， et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Computer Science， 2012， 3（4）： 212-223.

[21] LITJENS G， SáNCHEZ C I， TIMOFEEVA N， et al. Deep learning as a tool for increased accuracy and efficiency of histopathological diagnosis[J]. Scientific Reports， 2016， 6：26286.

（責(zé)任編輯：江 艷）