葉紫璇，肖滿生，肖 哲

（湖南工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，湖南 株洲 412007）

0 引言

肺癌是一類高發(fā)病率的惡性腫瘤，其中的肺腺癌（lung adenocarcinoma，LUAD）和鱗狀細(xì)胞肺癌（squamous cell carcinoma of the lung，LUSC）是 最常見的亞型[1]。目前，胸部影像學(xué)檢查如電腦斷層（computed tomography，CT）等只能提供初步的檢查和評(píng)估，臨床上的肺癌確診方式主要是依賴于病理學(xué)家在顯微鏡下觀察細(xì)胞及細(xì)胞間的形態(tài)，然而這一過程基于病理學(xué)家的主觀意見，不僅耗時(shí)，而且因醫(yī)生的能力不同可能導(dǎo)致較大偏差[2]。如何高效且準(zhǔn)確地確認(rèn)肺癌類型是目前臨床對(duì)病理學(xué)專家的迫切要求。隨著人工智能的發(fā)展，目前該領(lǐng)域的研究方法可分為兩類：一類方法是基于傳統(tǒng)機(jī)器學(xué)習(xí)對(duì)肺癌病理圖像進(jìn)行研究，主要集中于從圖像中提取人為設(shè)計(jì)的特征，如紋理、空間和核分布等相關(guān)特征，然后將提取的特征通過傳統(tǒng)的機(jī)器學(xué)習(xí)算法進(jìn)行預(yù)測(cè)；另一類方法則是基于深度學(xué)習(xí)的算法，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）模型可以自動(dòng)獲取腫瘤空間信息，并且對(duì)組織形態(tài)進(jìn)行量化分析，為解決醫(yī)學(xué)圖像領(lǐng)域的困難提供了更多的可能性。

近年來，基于深度學(xué)習(xí)的肺癌病理圖像分類已經(jīng)有了廣泛的研究，A.Teramoto 等[3]通過深度卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了肺癌細(xì)胞病理自動(dòng)分類模型，其由3 個(gè)卷積層、3 個(gè)池化層和2 個(gè)全連接層組成，該DCNN模型在腺癌、鱗癌和小細(xì)胞癌的分類診斷中的準(zhǔn)確率分別為89.0%，60.0%，70.3%，總準(zhǔn)確率為71.1%，結(jié)果與病理學(xué)家的診斷準(zhǔn)確率相當(dāng)。N.Coudray 等[4]使用Inception v3 模型，不僅在對(duì)肺組織及肺癌區(qū)分任務(wù)中獲得了良好的效果，還根據(jù)圖像的形態(tài)特征，預(yù)測(cè)了STK11、EGFR、FAT1、SETBP1、KRAS 和TP53 6個(gè)突變基因，AUC（area under curve）可達(dá)73.3%～85.6%?；趬K的肺癌病理圖像分類中，寧靜艷等[5]采用卷積神經(jīng)網(wǎng)絡(luò)，分別在隨機(jī)取塊和滑動(dòng)取塊中取得了86%和81%的總分類精度。以上研究均證明了利用卷積神經(jīng)網(wǎng)絡(luò)在肺癌病理圖像分類中已取得了一些成果。然而仍存在如下問題：1）卷積神經(jīng)網(wǎng)絡(luò)中含有大量的參數(shù)，在樣本量較少的情況下容易造成過擬合；2）卷積神經(jīng)網(wǎng)絡(luò)往往關(guān)注最后一層特征而忽略了其它層的特征，準(zhǔn)確率有待提高。

針對(duì)上述問題，借鑒深度卷積網(wǎng)絡(luò)EfficientNets（high-efficiency network）的網(wǎng)絡(luò)結(jié)構(gòu)，課題組提出一種自動(dòng)對(duì)非小細(xì)胞肺癌全掃描組織病理圖像分型的方法，將網(wǎng)絡(luò)中低維特征與包含豐富抽象語義信息的高維特征相結(jié)合，從而豐富特征表示，解決病理圖像區(qū)分度較小的問題。另外，Haralick 紋理特征是借助灰度共生矩陣（gray-level co-occurrence matrix，GLCM）得到的，而灰度共生矩陣是一種通過研究圖像灰度的空間相關(guān)特性來描述紋理的圖像處理方法，其對(duì)紋理特征的描述能力較強(qiáng),在病理圖像任務(wù)中取得了較好的效果[6-7]。為減輕網(wǎng)絡(luò)模型對(duì)訓(xùn)練樣本的依賴，本研究還融入了紋理特征，建立適用于病理圖像的神經(jīng)網(wǎng)絡(luò)模型來實(shí)現(xiàn)全尺寸肺癌組織切片圖像分型的目的。

1 基于特征融合的EfficientNet 模型

1.1 紋理特征

紋理特征是一種全局特征，反映了圖像中同質(zhì)現(xiàn)象的視覺特征，包含了物體表面具有緩慢變換或周期性變化的組織結(jié)構(gòu)的重要信息，具有旋轉(zhuǎn)不變性。常用的紋理特征包括Haralick 紋理特征、Gabor 特征和局部二值模式（local binary patterns，LBP）特征等。課題組提取了Haralick 紋理特征來描述肺癌病理圖像的紋理屬性。

灰度共生矩陣[8]作為紋理特征提取的經(jīng)典算法，其描述的實(shí)質(zhì)是統(tǒng)計(jì)一對(duì)灰度在某種位置下出現(xiàn)的頻率?；叶裙采仃嚩x圖像I 中，統(tǒng)計(jì)灰度值為i的像數(shù)點(diǎn)（k,l）與距離為d=(m-k,n-l)、灰度值為j的像素點(diǎn)（m,n）同時(shí)出現(xiàn)的概率P(i,j,d,θ)：

式中：#為該集合中的元素個(gè)數(shù)；I(k,l)為圖像I中坐標(biāo)為(k,l)的像數(shù)灰度值；d表示兩像素點(diǎn)的歐氏距離；θ通?？紤]水平、對(duì)角線、垂直及反對(duì)角線（0,45,90,135°）4 個(gè)不同方向。

R.M.Haralick[9]基于GLCM 提出了14 種統(tǒng)計(jì)特征，即角二階矩、熵、對(duì)比度、逆差矩、相關(guān)性、方差、和均值、和方差、和熵、差方差、差均值、差熵、相關(guān)信息測(cè)度以及最大相關(guān)系數(shù)。能量、熵、對(duì)比度、相關(guān)性4 種特征既便于計(jì)算又有較好的效果，故本文選取這4個(gè)特征代表紋理特征。為使得到的特征向量與方向無關(guān)，需在4 個(gè)方向上對(duì)特征向量取值，并且由于不同的特征的重要程度不同，本文采用加權(quán)的方法將上述特征fn合成為16 維紋理特征向量ft：

式中λ為特征權(quán)值。

1.2 基于EfficientNet 模型的網(wǎng)絡(luò)特征

在深度學(xué)習(xí)網(wǎng)絡(luò)中，各層特征圖側(cè)重于不同類型的信息，低層次的特征語義信息較少但具有高分辨率信息，高層次的特征分辨率較低，但具有高語義信息，然而網(wǎng)絡(luò)通常以最后輸出的高層次特征圖作為依據(jù)進(jìn)行分類預(yù)測(cè)，網(wǎng)絡(luò)低層次的特征信息未得到利用。在計(jì)算機(jī)視覺任務(wù)中需要豐富的特征信息，尤其是在醫(yī)學(xué)圖像任務(wù)中，圖像較為復(fù)雜，低層次的特征信息不可忽視，并且有研究表明，結(jié)合淺層特征在一定程度上可以提升模型精度[10]。本研究選取近年來表現(xiàn)優(yōu)異的EfficientNets 網(wǎng)絡(luò)提取圖像多維度的特征。

EfficientNets 是由google 于2019 年使用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（neural architecture search）設(shè)計(jì)的一系列網(wǎng)絡(luò)模型[11]。在限制目標(biāo)和存儲(chǔ)空間的情況下，通過神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方式設(shè)計(jì)一個(gè)主干網(wǎng)絡(luò)，并且將模型進(jìn)行縮放獲取EfficientNet B0～B7 模型。本文以EfficientNet B0 網(wǎng)絡(luò)為主網(wǎng)絡(luò)模型，網(wǎng)絡(luò)參數(shù)如表1 所示，其中，size為卷積核或池化核的大小和數(shù)目，stride表示步長(zhǎng)，MBConv（mobile inverted Bottlenneck conv）表示移動(dòng)倒置瓶頸卷積模塊，k3×3/5×5 分別代表卷積核大小，class 代表類別個(gè)數(shù)。

表1 EfficientNet-B0 模型Table 1 EfficientNet-B0 model

由表1 可知，EfficientNet-B0網(wǎng)絡(luò)由16 個(gè)移動(dòng)倒置瓶頸卷積模塊，2 個(gè)卷積層，1 個(gè)全局平均池化層和1 個(gè)分類層構(gòu)成，其中核心結(jié)構(gòu)為MBConv 模塊。該模塊結(jié)構(gòu)類似于MobileNetV2[12]的Inverted residual block 模塊，其結(jié)構(gòu)如圖1 所示。

圖1 MBConv 模塊Fig.1 MBConv block

首先對(duì)輸入進(jìn)行1×1 的逐點(diǎn)卷積并根據(jù)擴(kuò)展比例改變輸出通道維度，接著進(jìn)行k×k的深度卷積（depthwise convolution），最后再次使用1×1 的逐點(diǎn)卷積將其維度縮小。同時(shí)，該模塊還引入了壓縮與激發(fā)網(wǎng)絡(luò)（squeeze-and-excitation network，SENet）[13]的注意力思想，更能關(guān)注信息量大的通道特征，而抑制不重要的通道特征。值得注意的是，MBConv 模塊激活函數(shù)使用的是Swish 激活函數(shù)，表達(dá)式如式（3）所示：

式中：sigmoid函數(shù)為；β為可調(diào)參數(shù)。

如圖2 所示，以EfficientNet-B0 為主網(wǎng)絡(luò)模型，其最后的卷積層輸出1×1 的卷積結(jié)果，去掉其最后的全連接層與softmax 層，加入一個(gè)全連接層，F(xiàn)C1輸出1 024 維特征向量作為模型的深層次特征。由于過于底層的特征圖不具備較高的參考價(jià)值，在原始圖像輸入后提取不同MBConv 層的特征圖fd2、fd3。為保留特征圖中的關(guān)鍵信息，在特征跨層連接時(shí)僅使用一個(gè)全連接層連接，從而獲取FC2、FC3 層特征向量，作為本文的深層網(wǎng)絡(luò)特征。

圖2 EfficientNet-B0 網(wǎng)絡(luò)的改進(jìn)Fig.2 Improved version of EfficientNet-B0 network

1.3 基于EfficientNet 模型的多特征融合算法

特征融合方式主要分為前期融合與后期融合兩種，其中前期融合指先融合多層的特征，然后在融合后的特征上訓(xùn)練預(yù)測(cè)器，后期融合則是通過結(jié)合不同層的檢測(cè)結(jié)果改進(jìn)檢測(cè)性能。串聯(lián)融合屬于前期融合，簡(jiǎn)單易行且在特征量不多時(shí)效果較好，因此本文選擇串聯(lián)融合方式對(duì)上述特征進(jìn)行融合。

如圖2 所示，1×1×B的GLCM 特征向量輸入至由卷積層和全連接層構(gòu)成的紋理特征模型，并將紋理特征ft與EfficientNet B0 網(wǎng)絡(luò)所提取的多維度特征fd1、fd2、…、fdn級(jí)聯(lián)起來，得到深度數(shù)據(jù)融合特征f，公式如式（4）所示。

式中，α、γ為可調(diào)權(quán)重。

實(shí)驗(yàn)中，選用concatenate 函數(shù)來完成，能將單特征的全部信息保留并融合。接著多個(gè)特征融合后的特征向量被送入softmax 算法實(shí)現(xiàn)分類。為防止產(chǎn)生過擬合現(xiàn)象，本文采用Dropout 方法，在不同的訓(xùn)練階段隨機(jī)丟棄不同的神經(jīng)元以減少神經(jīng)元之間的依賴性。同時(shí)，用于特征融合的激活函數(shù)選擇ReLU（rectified linear units）函數(shù)，其收斂速度遠(yuǎn)快于sigmoid 和tanh 函數(shù)，且不存在梯度消失問題。

2 基于多特征融合的肺癌病理圖像分型實(shí)現(xiàn)過程

2.1 H&E 病理圖像預(yù)處理

對(duì)于來自于不同實(shí)驗(yàn)室或不同批次的病理圖像之間存在較大的差異，在圖像進(jìn)行訓(xùn)練前對(duì)其進(jìn)行預(yù)處理使提取的特征更為魯棒。對(duì)于H&E 病理圖像預(yù)處理包括圖像分塊處理、顏色標(biāo)準(zhǔn)化圖像和數(shù)據(jù)增強(qiáng)3 個(gè)步驟。

全尺寸組織病理圖像的尺寸一般為億兆像素級(jí)，難以直接進(jìn)行分析，并且背景占WSI 的70%～80%。為解決這一問題，本文對(duì)全尺寸組織病理圖像進(jìn)行圖像分塊處理。對(duì)于已標(biāo)記的全尺寸病理圖像，為了使圖像能在模型中訓(xùn)練，本文首先獲取全切片病理圖像中被標(biāo)記的位置；再將全尺寸病理圖像按照一定尺寸經(jīng)過不重疊采樣得到若干RGB 三通道的小尺寸病理圖像。同時(shí)對(duì)RGB 空間的圖像進(jìn)行二值化處理，檢索所有輪廓獲取其面積，選取一閾值對(duì)低信息量的小尺寸圖像過濾以降低噪音圖像對(duì)模型性能的影響。

本文使用的肺癌病理圖像均為蘇木素-伊紅（H&E）染色組織病理圖像，但是來自不同的醫(yī)療中心，不同樣本以及組織切片制備或圖像采集過程中的不一致導(dǎo)致病理圖像之間具有明顯的差異[14]。采用適當(dāng)?shù)念A(yù)處理可減少這一差異對(duì)后續(xù)實(shí)驗(yàn)的影響。因此，本文運(yùn)用顏色歸一化方法[15]對(duì)所有病理圖像進(jìn)行處理。首先，選取一例目標(biāo)圖像，經(jīng)顏色標(biāo)準(zhǔn)化后的小尺寸圖像與目標(biāo)圖像具有相同的高斯分布。本文由病理醫(yī)師根據(jù)主觀判斷選擇染色較好的切片作為目標(biāo)圖像。具體方法借助于HSD（hue-saturationdensity）色彩空間，利用高斯混合模型對(duì)數(shù)據(jù)集進(jìn)行聚類，通過數(shù)據(jù)集圖像與目標(biāo)圖像的高斯分布轉(zhuǎn)換，訓(xùn)練出可實(shí)現(xiàn)無監(jiān)督的顏色標(biāo)準(zhǔn)化模型。

除此之外，由于已有數(shù)據(jù)集的樣本量有限，本文采用數(shù)據(jù)增強(qiáng)方法將小尺寸病理圖像數(shù)據(jù)擴(kuò)充。通過如翻轉(zhuǎn)、仿射變換、對(duì)比度擾動(dòng)、旋轉(zhuǎn)等方法，在增強(qiáng)數(shù)據(jù)集的同時(shí)不改變圖像的組織形態(tài)和紋理特征，以提高模型的泛化性能。

2.2 模型的遷移學(xué)習(xí)

對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)，將某問題中有用的信息應(yīng)用到不同但相關(guān)的問題中需要復(fù)雜的數(shù)學(xué)推導(dǎo)。相比之下，深度學(xué)習(xí)中的遷移學(xué)習(xí)[16]可以容易地將某個(gè)問題所得到的深度學(xué)習(xí)模型應(yīng)用到相關(guān)問題上，因此在缺乏訓(xùn)練數(shù)據(jù)的情況下，可以使用遷移學(xué)習(xí)來解決一些較為困難的預(yù)測(cè)問題。癌癥基因組圖譜（the cancer genome atlas，TCGA）作為最大的公開病理圖像數(shù)據(jù)集之一，每個(gè)癌種只包含數(shù)百張病理圖像[17]，而ImageNet 數(shù)據(jù)集包含1 400 萬標(biāo)記圖像用于圖像識(shí)別任務(wù)，可見，目前仍然缺乏大型已標(biāo)記的病理圖像數(shù)據(jù)集。遷移學(xué)習(xí)可以使用預(yù)訓(xùn)練的網(wǎng)絡(luò)模型和權(quán)重參數(shù)提取特征來進(jìn)行病理圖像分析，如使用ImageNet 數(shù)據(jù)集訓(xùn)練模型中的參數(shù)。研究表明，與從零開始訓(xùn)練相比，遷移學(xué)習(xí)收斂速度更快，準(zhǔn)確率更高[18]。

本文經(jīng)過預(yù)處理得到數(shù)量增大的訓(xùn)練圖像樣本后，采用Pytorch 深度學(xué)習(xí)框架對(duì)改進(jìn)的EfficientNet-B0 模型進(jìn)行參數(shù)微調(diào)：

1）輸入訓(xùn)練圖像為224×224×3 的肺癌H&E圖像以及1×1×B的GLCM 特征向量，解凍網(wǎng)絡(luò)層重新進(jìn)行訓(xùn)練；

2）參數(shù)初始化，采用AdamW 優(yōu)化器，將學(xué)習(xí)速率從0.01 降低到0.000 1，使得模型的權(quán)重不會(huì)下降過多過快；

3）開始訓(xùn)練，訓(xùn)練集經(jīng)前向傳播，反向傳播，不斷計(jì)算梯度和誤差，并更新參數(shù)。

4）重復(fù)步驟3），直至滿足停止條件。

得到訓(xùn)練好參數(shù)的2 分類網(wǎng)絡(luò)模型，即肺鱗癌和肺腺癌。

圖3 為肺癌病理圖像分型流程。

圖3 肺癌病理圖像分型流程圖Fig.3 Pathological image classification process of lung cancer

2.3 肺癌病理圖像分型實(shí)現(xiàn)

本文模型主要包含圖像預(yù)處理、模型構(gòu)建與訓(xùn)練以及模型測(cè)試3 個(gè)部分，流程圖如圖3 所示，具體實(shí)現(xiàn)步驟如下。

1）圖像預(yù)處理

輸入：數(shù)據(jù)集L。

輸出：訓(xùn)練集T和測(cè)試集V。

利用隨機(jī)函數(shù)對(duì)數(shù)據(jù)集進(jìn)行隨機(jī)抽取，80%劃分為訓(xùn)練集，20%劃分為測(cè)試集；

對(duì)數(shù)據(jù)集中的每一例全尺寸病理圖像進(jìn)行圖像分塊，得到224×224 的小尺寸病理圖像數(shù)據(jù)集；

通過顏色歸一化模型，將圖像分塊后的數(shù)據(jù)集圖像進(jìn)行顏色歸一化操作；

隨后對(duì)顏色歸一化后的數(shù)據(jù)集進(jìn)行翻轉(zhuǎn)、仿射變換、對(duì)比度擾動(dòng)、旋轉(zhuǎn)等圖像增強(qiáng)操作，得到擴(kuò)展后的數(shù)據(jù)集。

2）模型構(gòu)建與訓(xùn)練

輸入：訓(xùn)練集T。

輸出：訓(xùn)練好的網(wǎng)絡(luò)模型。

將訓(xùn)練集中每一張小尺寸圖像轉(zhuǎn)換為灰度圖像，采用2.1 節(jié)的方法計(jì)算灰度共生矩陣，提取紋理特征；

利用EfficientNet B0 模型對(duì)每一張小尺寸圖像提取多維度特征；

連接所有特征的全連接層，實(shí)現(xiàn)特征融合；

將融合特征輸入Softmax 層中，構(gòu)建肺癌病理圖像分型模型；

利用遷移學(xué)習(xí)策略訓(xùn)練模型，得到訓(xùn)練好的網(wǎng)絡(luò)模型。

3）模型測(cè)試

輸入：測(cè)試集V。

輸出：準(zhǔn)確率。

1）將測(cè)試集中的所有樣本輸入訓(xùn)練好的網(wǎng)絡(luò)模型中進(jìn)行預(yù)測(cè)；

2）統(tǒng)計(jì)預(yù)測(cè)結(jié)果，得到準(zhǔn)確率。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文所用的數(shù)據(jù)集來源于癌癥基因組圖譜（網(wǎng)址：https://www.cancer.gov/about-nci/organiza-tion/ ccg/research/structural-genomics/tcga）公共數(shù)據(jù)庫，共采用302 例非小細(xì)胞肺癌全掃描組織病理圖像，其中包含169 例肺腺癌切片和133 例肺鱗癌切片，并且臨床病理醫(yī)生對(duì)全掃描組織病理圖像進(jìn)行癌癥區(qū)域標(biāo)記。本文按照8:2 的比例將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集。為了實(shí)驗(yàn)的真實(shí)性與統(tǒng)一性，隨機(jī)選取數(shù)據(jù)，所有的圖像都經(jīng)過了相應(yīng)的預(yù)處理。

3.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)平臺(tái)硬件配置：Intel(R)Xeon(R)E5-2640v4@2.40GHz 10 核CPU；64 GB DIMM 2 400 MHz 內(nèi)存；Matrox G200eR2 獨(dú)立顯卡；64 位Linux 操作系統(tǒng)。軟件方面：anaconda3 為開發(fā)平臺(tái)，F(xiàn)acebook 人工智能研究院（Facebook AI research，F(xiàn)AIR）團(tuán)隊(duì)的深度學(xué)習(xí)開源框架Pytorch 為程序框架。

3.3 評(píng)價(jià)指標(biāo)

選用準(zhǔn)確率（accuracy，ACC），AUC 以及ROC（receiver operating characteristic）曲線對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià)。ROC 曲線和AUC 通常用來評(píng)價(jià)二分類模型的性能，ROC 曲線以真陽性率（true positive rate，TPR）為縱坐標(biāo)，假陽性率（false positive rate，F(xiàn)PR）為橫坐標(biāo)，曲線下與坐標(biāo)軸圍成的面積定義為AUC值，AUC值越大，模型的分類效果越好。各個(gè)指標(biāo)的含義如式（5）～（8）所示：

式（5）～（8）中：真陽性（true positive，TP）表示樣本為陽性且被預(yù)測(cè)為陽性的個(gè)數(shù)；假陽性（false positive，F(xiàn)P）表示樣本為陰性而被預(yù)測(cè)為陽性的個(gè)數(shù)；真陰性（true negative，TN）表示樣本為陰性且被預(yù)測(cè)歸為陰性的個(gè)數(shù)；假陰性（false negative，F(xiàn)N）表示樣本為陽性而被錯(cuò)誤地預(yù)測(cè)為陰性的個(gè)數(shù)；i為預(yù)測(cè)為陽性概率的樣本序號(hào)；N為陰性的樣本數(shù)，M為陰性樣本數(shù)。

3.4 結(jié)果與分析

本文將經(jīng)預(yù)處理的小尺寸病理圖像作為輸入，送入上述網(wǎng)絡(luò)架構(gòu)中。全連接層將EfficientNet B0 提取的3 個(gè)特征圖與紋理特征融合的特征構(gòu)成一個(gè)特征向量作為softmax 的輸入，最后實(shí)現(xiàn)非小細(xì)胞肺癌病理圖像分型目的。網(wǎng)絡(luò)模型中超參數(shù)的取值對(duì)模型性能有很大的影響。實(shí)驗(yàn)中，α設(shè)為1/3，λ為1，λi均為1/4，進(jìn)行了100 次循環(huán)，學(xué)習(xí)率設(shè)置為1e-4，采用 AdamW 優(yōu)化器。采用分批次訓(xùn)練的方式以減小計(jì)算量，每批訓(xùn)練128 張訓(xùn)練圖像。肺癌組織切片圖像準(zhǔn)確率和和損失率變化曲線，如圖4a、4b所示。

從圖4a 中可以看出在前20 個(gè)epoch 模型準(zhǔn)確率快速上升，效果較為明顯；之后的訓(xùn)練過程中，準(zhǔn)確率發(fā)生小幅度上升，迭代至30 個(gè)epoch 時(shí)開始收斂，最終穩(wěn)定在99%左右。同樣從圖4b 中可以看出，損失值變化一直呈減小的趨勢(shì)，震蕩幅度在40個(gè)epoch 之后速度趨于平穩(wěn)。相對(duì)于應(yīng)用于同一數(shù)據(jù)集的其他深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，本文提出的方法具有更快的收斂速度。利用訓(xùn)練后的模型對(duì)測(cè)試集中小尺寸病理圖像進(jìn)行測(cè)試，ROC 曲線的AUC 值為86%，如圖4c 所示。

圖4 實(shí)驗(yàn)結(jié)果Fig.4 Illustration of experimental results

在圖像預(yù)處理過程中，顏色歸一化可以降低H&E 染色圖像的顏色差異，使模型學(xué)習(xí)時(shí)不受顏色差異的影響。以往研究表明，顏色歸一化可以提高計(jì)算機(jī)視覺任務(wù)的性能。本文將其進(jìn)行對(duì)比，結(jié)果表明，在肺癌病理圖像分型任務(wù)中，顏色歸一化可以使準(zhǔn)確性提高4%～6%，如表2 所示。

表2 不同方法對(duì)肺癌數(shù)據(jù)集的準(zhǔn)確率Table 2 Accuracy rate of different methods for lung cancer data set

目前，醫(yī)學(xué)病理圖像任務(wù)大多采用Resnet 網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)訓(xùn)練[19-20]。為了能更好地評(píng)價(jià)本文模型的性能，本文選取多種模型及其它方法進(jìn)行實(shí)驗(yàn)對(duì)比，即分別利用Resnet50和EfficientNet B0 網(wǎng)絡(luò)及Resnet50-Fusion、EfficientNet B0+HOG、EfficientNet B0+LBP 模型在相同的數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)，其結(jié)果如表2 所示。可以看出，在未加特征融合的情況下，相較于Resnet 50 網(wǎng)絡(luò)模型，EfficientNet B0 模型的準(zhǔn)確率更高，且具有更小的計(jì)算消耗和時(shí)間消耗，這與自然圖像分類結(jié)果相符。然而，病理圖像比自然圖像更為復(fù)雜，其中包含大量特征信息。在分別加入LBP、GLCM、方向梯度直方圖（histogram of oriented gradient，HOG）特征后，本文所建立的模型能夠獲得更好的預(yù)測(cè)效果，加入LBP 特征所達(dá)到的準(zhǔn)確率與本文模型相差不大。與形狀特征相比，紋理特征在肺癌病理圖像上展示了更好的結(jié)果。此外，Resnet50-Fusion和本文所建立的模型的準(zhǔn)確率分別達(dá)到81.84%和84.29%。因此利用EfficientNet B0 模型在不同層次提取特征與紋理特征相融合，提高了模型對(duì)肺癌病理特征的分型效果。

4 結(jié)語

本文針對(duì)肺癌組織病理圖像提出了多特征融合的肺癌組織病理圖像自動(dòng)分型方法。對(duì)全尺寸病理圖像進(jìn)行圖像分塊，顏色歸一化等預(yù)處理提高訓(xùn)練圖像質(zhì)量，利用預(yù)處理后的訓(xùn)練圖像對(duì)已有的EfficientNet B0 網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，將網(wǎng)絡(luò)得到的多維度特征與圖像的紋理特征融合并利用Softmax 方法進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，本文方法能夠利用肺癌病理圖像中的各種特征信息，有效地提高病理圖像分類效果。目前，通過深度學(xué)習(xí)實(shí)現(xiàn)癌癥的病理分型大多還停留在實(shí)驗(yàn)室研究階段，未能真正進(jìn)入臨床，下一步的研究不僅需要對(duì)網(wǎng)絡(luò)模型進(jìn)行改進(jìn)優(yōu)化，還需要擴(kuò)大樣本數(shù)據(jù)集，在更多樣本以及其他癌種的病理切片上進(jìn)行進(jìn)一步的驗(yàn)證，以便于早日幫助醫(yī)生提出更好的治療方案,更好地滿足臨床應(yīng)用。