賈 偉，江海峰，趙雪芬

1.寧夏大學 信息工程學院，銀川 750021

2.寧夏醫(yī)科大學總醫(yī)院 病理科，銀川 750021

3.寧夏大學 新華學院，銀川 750021

肺癌是起源于肺部支氣管和肺泡上皮細胞的腫瘤[1-2]，其具有高發(fā)病率和高死亡率的特點，已經(jīng)成為威脅人類健康和生命的惡性腫瘤之一[3-5]。對肺癌的準確分類有助于病理醫(yī)生提高診斷的準確率，選擇合適的治療方案，以及提高患者的生存幾率[6-7]。

近年來，深度學習在的病理圖像分析中有著成功的應用[8-10]，已經(jīng)提出了一些肺癌病理圖像分類方法。例如，Ali 等[11]對膠囊網(wǎng)絡[12]的結(jié)構(gòu)進行改進，提出基于多輸入雙流膠囊網(wǎng)絡的分類方法（multi-input dual-stream capsule network-based classification method，MCM）對肺癌病理圖像進行分類，該方法使用傳統(tǒng)的卷積層、可分離的卷積層和膠囊層去提高特征學習能力。Li 等[13]提出基于卷積神經(jīng)網(wǎng)絡和相關特征算法[14]的分類方法（convolutional neural networks and relevant features algorithm-based classification method，CRM）對肺癌病理圖像進行分類，該方法使用卷積神經(jīng)網(wǎng)絡提取肺癌病理學圖像的多維特征，然后使用相關特征算法進行特征選擇，最后采用支持向量機分類器對肺癌進行分類。

然而，由于肺癌細胞的形態(tài)結(jié)構(gòu)復雜，使得標記肺癌病理圖像的成本較高，導致已標記的肺癌病理圖像較少，影響了現(xiàn)有分類方法的訓練精度和分類效果。為解決訓練數(shù)據(jù)不足的問題，He 等[15]提出一種無監(jiān)督情況下的動量對比視覺表征學習（momentum contrast for unsupervised visual representation learning，MoCo），該方法使用具有隊列和移動平均的動態(tài)字典編碼器，通過查字典的方式進行對比學習，并引入動量更新方法。為了擴充對比學習中的樣本數(shù)據(jù)，Chen 等[16]提出一種用于視覺表示的對比學習方法（simple framework for contrastive learning of visual representations，SimCLR），該方法通過對圖像進行兩次增廣，對兩張增廣圖像進行對比學習。為了增加對比樣本數(shù)據(jù)的多樣性，Dwibedi等[17]提出最近鄰對比學習（nearest-neighbor contrastive learning of visual representations，NNCLR），該方法對一個數(shù)據(jù)增廣圖像和另一個增廣圖像的最近鄰圖像進行對比學習，但是該對比方法沒有充分利用增廣圖像的最近鄰圖像，缺少對最近鄰圖像之間的對比學習。

為充分挖掘和利用已標記肺癌圖像和未標記肺癌圖像的細胞形態(tài)特征信息，在NNCLR方法的基礎上，本文提出一種基于細胞形態(tài)特征對比學習的方法（cell morphology contrastive learning-based classification method，CCCM）對肺癌病理圖像進行分類。該方法提出基于最遠和最鄰近的對比學習（farthest and nearestneighbors-based contrastive learning，F(xiàn)NNCL），將FNNCL用于提取已標記肺癌圖像和未標記肺癌圖像的細胞形態(tài)特征，并利用由未標記數(shù)據(jù)生成的偽標簽對FNNCL和分類器進行輔助訓練。在FNNCL 中，將基于可變形卷積[18]和動態(tài)卷積[19]的ResNet50（deformable convolution and dynamic convolution-based ResNet50，DD-ResNet50）作為特征提取網(wǎng)絡，提取肺癌病理圖像的形態(tài)特征信息，并對原圖像增廣后的兩個圖像及其相應的最遠和最近鄰圖像進行對比學習，從而進一步增加對比學習中的數(shù)據(jù)多樣性。此外，為衡量CCCM的分類結(jié)果與真實分類的差距，在NNCLR的基礎上給出了CCCM的損失函數(shù)。

1 基于細胞形態(tài)特征對比學習的分類方法

CCCM 的整體框架如圖1 所示，其包括三個階段：第一個階段是利用已標記肺癌病理圖像進行對比學習訓練，獲得網(wǎng)絡的參數(shù)。第二個階段是利用訓練后網(wǎng)絡對未標記肺癌病理圖像進行分類，然后，在分類結(jié)果中選擇比例為α的高置信度未標記數(shù)據(jù)作為偽標簽，并將這些偽標簽混入到已標記肺癌病理圖像中。第三個階段是利用混入偽標簽的肺癌病理圖像進行對比學習訓練。第二個階段和第三個階段反復進行迭代，訓練網(wǎng)絡。

圖1 CCCM的整體框架Fig.1 Overall architecture of CCCM

NNCLR 的結(jié)構(gòu)如圖2 所示，其使用ResNet50 網(wǎng)絡作為提取特征的編碼器，對原圖像進行兩次不同的增廣，得到增廣圖像x1和x2，分別對x1和x2進行編碼，得到z1和z2，在z1的支持集Q中找到與z1最近鄰的圖像n1，將n1和z2作為正樣本對，進行對比學習。

圖2 NNCLR的結(jié)構(gòu)Fig.2 Structure of NNCLR

為提升對比學習的性能，本文在NNCLR的基礎上，提出FNNCL，在增加最近鄰圖像多樣性的同時，還將離樣本點距離最遠但是屬于同一類的樣本作為正樣本，用于對比學習，其目的是增加正樣本學習的難度，提升對比學習的性能。FNNCL的模型結(jié)構(gòu)如圖3所示，首先通過兩種不同的增廣方式對原圖像進行兩次不同的增廣，得到兩個增廣圖像c1和c2，然后利用DD-ResNet50 對c1和c2進行編碼，得到e1和e2，在e1的支持集R1中找到與e1最遠和最近鄰的圖像f1和f3，在e2的支持集R2中找到與e2最遠和最近鄰的圖像f2和f4，最后對f1和e2，e1和e2，f2和e1，f1和f2，f3和e2，f4和e1，f3和f4，f1和f4，f2和f3進行對比學習。

圖3 FNNCL的結(jié)構(gòu)Fig.3 Structure of FNNCL

1.1 特征提取網(wǎng)絡

為增強ResNet50 網(wǎng)絡對肺癌細胞的特征提取能力，編碼器使用DD-ResNet50，將可變形卷積和動態(tài)卷積應用到ResNet50網(wǎng)絡中，其結(jié)構(gòu)如圖4所示。第一個階段由多尺度可變形卷積模塊（multi-scale deformable convolution module，MDCM）、批歸一化（batch normalization，BN）、激活函數(shù)ReLU 和全局最大池化（global max pooling，GMP）組成，利用MDCM具有自適應物體形態(tài)變化的特征表達能力，對不規(guī)則和形態(tài)復雜的肺癌細胞邊界、形狀和排列結(jié)構(gòu)進行采樣，獲得更準確的特征信息。第二個到第五個階段，分別使用融合可變形卷積和動態(tài)卷積的模塊（deformable convolution and dynamic convolution-integrated module，DDⅠM）提取特征，DDⅠM 在第二個到第五個階段的數(shù)量分別為2 個、3個、5個和2個。通過DDⅠM的可變形卷積確保深層網(wǎng)絡的有效感受野，并利用動態(tài)卷積更好地提取與噪聲無關的特征信息。第六個階段由一個全局平均池化（global average pooling，GAP）和一個全連接層（fully connected，F(xiàn)C）組成。

圖4 DD-ResNet50的結(jié)構(gòu)Fig.4 Structure of DD-ResNet50

1.1.1 多尺度可變形卷積模塊

對于一個輸入的二維特征圖，普通卷積使用規(guī)則網(wǎng)格R對特征圖x進行采樣，然后對采樣點進行加權(quán)運算，對于一個卷積為3×3，膨脹率為1的R可表示為：R={(-1,-1),(-1,0),…,( 0,1),( 1,1) }，則可通過下式計算輸出特征圖中的每個位置p0：

其中，p0枚舉R上的所有位置，w(?)是當前卷積核的位置權(quán)重，x(?)是特征圖對應的位置值。

對于可變形卷積，通過在R上增加偏移量{Δp|n=1,2,…,N}，N=|G|，對R進行擴張，得到下式：

由于Δp通常是小數(shù)，通過雙線性插值法計算x，計算公式為：

其中，p是任意位置，q是枚舉特征圖中的空間位置，G( ?,?)表示雙線性插值核。

二維卷積可以分解為兩個一維內(nèi)核：

其中，g(a,b)=max( 0,1-|a-b|)。

普通卷積與可變形卷積對肺癌病理圖像的采樣結(jié)果如圖5 所示，從圖中可以看出，與普通卷積的采樣結(jié)果相比，可變形卷積的采樣位置更符合肺癌細胞的復雜形態(tài)，有利于提取更準確的特征信息。

圖5 普通卷積與可變形卷積的采樣比較Fig.5 Sampling comparison between standard convolution and deformable convolution

MDCM 的結(jié)構(gòu)如圖6 所示，其使用了卷積核為3×3、5×5和7×7的三個并行可變形卷積和一個作為殘差分支的1×1卷積。三個可變形卷積可以獲得不同尺度下的形態(tài)特征信息，對于從兩個不同尺度的可變形卷積獲得的形態(tài)特征，利用特征融合模塊（feature fusion module，F(xiàn)FM）進行形態(tài)特征融合。

圖6 MDCM的結(jié)構(gòu)Fig.6 Structure of MDCM

FFM的結(jié)構(gòu)如圖7所示，對使用兩個尺度可變形卷積獲得的A1和A2分別進行1×1卷積，然后進行連接，再進行兩次3×3可變形卷積、BN和ReLU處理，利用Softmax函數(shù)得到兩個權(quán)重值W1和W2，通過W1?A1+W2?A2計算得到加權(quán)融合的形態(tài)特征A3，再對第二次3×3 可變形卷積、BN 和ReLU 的處理結(jié)果進行兩次1×1 卷積，并將卷積結(jié)果與A3進行乘運算，得到特征融合結(jié)果。

圖7 FFM的結(jié)構(gòu)Fig.7 Structure of FFM

1.1.2 融合可變形卷積和動態(tài)卷積的模塊

動態(tài)卷積的結(jié)構(gòu)如圖8所示，由系數(shù)預測模塊和動態(tài)生成模塊組成。根據(jù)輸入的圖像，系數(shù)預測模塊負責預測系數(shù)，該模塊由GAP 和Sigmoid 激活函數(shù)組成。GAP 將輸入的特征圖聚合成1×1×Cin向量，然后通過全連接層將特征映射為1×1×C向量，從而預測固定的多個卷積核之間的相關系數(shù)。根據(jù)預測的相關系數(shù)，動態(tài)生成模塊負責生成一個動態(tài)的卷積核，對于一個權(quán)值為[Cout×gt,Cin,k,k]的動態(tài)卷積層，其對應了Cout×gt個固定核和Cout個動態(tài)核，每個核的大小為[Cin,k,k]，gt表示組大小，屬于超參數(shù)。

圖8 動態(tài)卷積的結(jié)構(gòu)Fig.8 Structure of dynamic convolution

使用系數(shù)預測模塊獲得相關系數(shù)后，生成的動態(tài)核為：

其中，wti是固定核，w?t是動態(tài)核，ηit是相關系數(shù)，且t=0,1,…,Cout，i=0,1,…,gt。

在訓練中，使用基于相關系數(shù)的訓練方案，實現(xiàn)特征圖的融合，訓練方案可用下式表示：

文獻[17]給出一種動態(tài)卷積模塊（dynamic convolution module，DCM），在ResNet50 中增加動態(tài)卷積的方式，其結(jié)構(gòu)如圖9所示，包括三個分支，第一個分支由一個GMP 和兩個FC 組成，用于減少梯度消失，第二個分支包括三個動態(tài)卷積，第三個分支是殘差分支。

圖9 DCM的結(jié)構(gòu)Fig.9 Structure of DCM

在DCM 的基礎上，本文將可變形卷積和動態(tài)卷積同時增加到ResNet50 中，給出的DDⅠM 結(jié)構(gòu)如圖10 所示，DDⅠM包括兩個分支，第一個分支包括兩個子分支，分別采用GMP 和GAP，目的是從兩個不同的表征中獲得特征信息，其中，第一個子分支由一個GMP 和兩個FC組成，用于提取肺癌病理圖像的紋理特征信息，第二個子分支由一個GAP和兩FC組成，用于保留局部空間信息。對兩個子分支進行乘運算，目的是整合紋理特征信息和局部空間信息。將第一個部分獲得的特征信息分別與第二個部分的三個卷積連接，從而提取更準確的全局特征和局部細節(jié)特征。

圖10 DDⅠM的結(jié)構(gòu)Fig.10 Structure of DDⅠM

第二個分支由一個3×3可變形卷積和兩個3×3動態(tài)卷積串聯(lián)組成，目的是利用可變形卷積對肺癌細胞的邊界、形狀和排列結(jié)構(gòu)進行采樣，再通過兩個動態(tài)卷積進一步獲得與噪聲無關的特征信息。為加強輸入圖像與各卷積的聯(lián)系，并提升不同卷積之間的特征融合，對輸入圖像和各卷積的結(jié)果進行1×1卷積處理，再將當前1×1 卷積的結(jié)果與前一個1×1 卷積的結(jié)果進行連接，然后將當前卷積結(jié)果、兩個1×1卷積連接結(jié)果和前一個卷積的結(jié)果進行乘運算，作為下一個卷積的輸入。

1.2 損失函數(shù)

設給定一批圖像{x1,x2,…,xn} ，對每一個圖像xi，通過兩種不同的圖像增廣方法，再經(jīng)過編碼器，得到特征zi和z+i，則NNCLR的損失函數(shù)[17]可由下式計算：

其中，τ是可調(diào)參數(shù)，NN(zi,Q)是最近鄰算子，將其定義為：

本文在NNCLR 的基礎上，給出CCCM 的損失函數(shù)，設給定一批圖像{c1,c2,…,cn} ，對每一個圖像ci，通過兩種不同的圖像增廣方法，再經(jīng)過編碼器，得到特征ei和e+i，則CCCM的損失函數(shù)可由下式計算：

其中，是ei的最遠圖像與e+i的對比損失函數(shù)是ei與e+i的對比損失函數(shù)，是e+i的最近鄰圖像與ei的對比損失函數(shù)，是ei的最遠圖像與e+i的最遠圖像的損失函數(shù)，是ei的最近鄰圖像與e+i的對比損失函數(shù)，是的最近鄰圖像與ei的對比損失函數(shù)，是ei的最近鄰圖像與e+i的最近鄰圖像的損失函數(shù)，是ei的最遠圖像與e+i的最近鄰圖像的對比損失函數(shù)，是ei的最近鄰圖像與e+i的最遠圖像的對比損失函數(shù)，這九個損失函數(shù)分別通過下列公式計算：

其中，F(xiàn)(e,R)是最遠算子，其定義為：

2 實驗分析

2.1 實驗數(shù)據(jù)

實驗中的數(shù)據(jù)來自于肺癌病理圖像分類實驗常用的開源數(shù)據(jù)集癌癥基因組圖譜公共數(shù)據(jù)庫（the cancer genome atlas，TCGA）[20]和LC25000[21]，以及寧夏醫(yī)科大學總醫(yī)院病理科提供的肺癌病理圖像。其中，TCGA包括肺腺癌病理圖像522張和肺鱗狀細胞癌病理圖像504張，LC25000 包括肺腺癌、肺鱗狀細胞癌和良性肺組織三種類型，每種類型包含5 000張病理圖像，寧夏醫(yī)科大學總醫(yī)院病理科的肺部病理圖像包括肺腺癌、肺鱗狀細胞癌和良性肺組織三種類型，共有500張已標記圖像和3 100張未標記圖像。

2.2 評價指標

本文使用準確率、精確率、召回率和F1-Score 四個指標對分類效果進行評價，準確率越高，表示對陽性樣本和陰性樣本的分類越準確。精確率越高，表示在分類為陽性的樣本中，真正為陽性的樣本所占的比例越高。召回率越高，表示分類正確的陽性樣本數(shù)在實際陽性樣本中的比例越高。利用F1-Score 評價分類性能在精確率和召回率上的總體表現(xiàn)，F(xiàn)1-Score 的值越高，表示精確率和召回率在分類上的總體表現(xiàn)越好，準確率、精確率、召回率和F1-Score的計算公式分別為：

其中，TP是分類為陽性的陽性樣本數(shù)，F(xiàn)P是分類為陽性的陰性樣本數(shù)，TN是分類為陰性的陰性樣本數(shù)，F(xiàn)N是分類為陰性的陽性樣本數(shù)。

2.3 實驗結(jié)果與分析

在實驗中，使用Python3.6 實現(xiàn)肺癌病理圖像分類方法，將Keras 作為深度學習框架，使用Windows 10 操作系統(tǒng)，在Ⅰnteli9-10900K和NVⅠDⅠA TⅠTAN RTX的硬件平臺上運行。

2.3.1 參數(shù)設置

圖像增廣方式采用隨機增廣方式，例如，隨機裁剪、旋轉(zhuǎn)、隨機顏色失真和高斯模糊等。使用隨機梯度下降優(yōu)化器優(yōu)化模型，基礎學習率為0.05，批大小設置為64，使用余弦衰減策略，動量設置為0.9，訓練迭代次數(shù)為500次。

在CCCM中，從未標記肺癌病理圖像中選擇不同比例的高置信度未標記數(shù)據(jù)作為偽標簽，對分類結(jié)果有重要影響。為確定高置信度未標記數(shù)據(jù)的比例α，分別選取10%、20%、30%、40%、50%、60%、70%、80%和90%的高置信度未標記數(shù)據(jù)作為偽標簽，應用到CCCM的第三階段中。

在確定α值的實驗中，為增加肺癌數(shù)據(jù)的多樣性，從癌癥基因組圖譜公共數(shù)據(jù)庫、LC25000和寧夏醫(yī)科大學總醫(yī)院病理科的肺部病理圖像中選取3 900張肺部病理圖像形成混合數(shù)據(jù)，其中，已標記肺癌病理圖像共有900張，包括肺腺癌、肺鱗狀細胞癌和良性肺組織3種類型，每種類型包含300 張病理圖像，未標記肺癌病理圖像共有3 000 張。在實驗時，將900 張已標記肺癌病理圖像中的80%數(shù)據(jù)作為CCCM 第一階段的已標記的訓練數(shù)據(jù)，即得到720張已標記數(shù)據(jù)作為第一階段的訓練數(shù)據(jù)。將3 000張未標記肺癌病理圖像作為CCCM第二階段的未標記訓練數(shù)據(jù)，將900張已標記肺癌病理圖像中剩余的20%數(shù)據(jù)作為驗證集，即得到180張已標記數(shù)據(jù)作為驗證集。

不同α值對分類效果的影響如圖11所示，從圖中可以看出當α的取值在20%時，四項評價指標均能達到較高的值，說明此時CCCM的分類效果較好。當α的取值在10%時，可用于CCCM 第三階段的偽標簽數(shù)量較少，CCCM 不能充分挖掘和利用偽標簽中的特征信息。當α的取值在30%、40%、50%、60%、70%、80%和90%時，分類效果逐漸變差，這是因為隨著偽標簽數(shù)量不斷增多，存在大量質(zhì)量不高的偽標簽，將這些質(zhì)量不高的偽標簽加入到CCCM第三階段的訓練中，導致第三階段的訓練效果不好，影響了CCCM的分類效果。因此，在CCCM中，使用比例為20%的高置信度未標記數(shù)據(jù)作為偽標簽。

圖11 不同α 值對分類的影響Fig.11 Effects of α on classification

2.3.2 消融實驗

在消融實驗中，采用在確定α值實驗中使用的混合數(shù)據(jù)作為實驗數(shù)據(jù)。

本文在編碼器ResNet50 中加入MDCM 和DDⅠM，采用消融實驗評價MDCM 和DDⅠM 對分類效果的影響，采用不同方式替換FNNCL中的編碼器，包括七組實驗，每組實驗依然將900張已標記肺癌病理圖像中80%的數(shù)據(jù)作為CCCM第一階段的已標記的訓練數(shù)據(jù)，即得到720 張已標記數(shù)據(jù)作為第一階段的訓練數(shù)據(jù)。將3 000張未標記肺癌病理圖像作為CCCM第二階段的未標記訓練數(shù)據(jù)，將900張已標記肺癌病理圖像中剩余的20%數(shù)據(jù)作為驗證集，即得到180 張已標記數(shù)據(jù)作為驗證集。第一組是ResNet50，第二組是在ResNet50中只加入可變形卷積，即ResNet50+DE，第三組是在ResNet50中只加入動態(tài)卷積，即ResNet50+DY，第四組是在ResNet50中加入可變形卷積和動態(tài)卷積，即ResNet50+DE+DY，第五組是在ResNet50 中加入MDCM，即ResNet50+MDCM，第六組是在ResNet50中加入DDⅠM，即ResNet50+DDⅠM，第七組是本文提出在ResNet50中加入MDCM和DDⅠM的方法DD-ResNet50。

表1 是不同模塊加入到編碼器ResNet50 的分類效果比較，從表中可以看出，使用ResNet50的分類效果低于其他六組，說明在ResNet50 加入可變形卷積和動態(tài)卷積之后，能夠提取到更準確的肺癌病理特征，有利于后續(xù)的對比學習。ResNet50+DE+DY 的分類效果優(yōu)于ResNet50+DE 和ResNet50+DY，說明將可變形卷積和動態(tài)卷積相結(jié)合，有利于獲得更全面的特征信息。ResNet50+MDCM 和ResNet50+DDⅠM 的分類效果分別優(yōu)于ResNet50+DE 和ResNet50+DY，說明通過對可變形卷積和動態(tài)卷積的改進，能夠進一步提升ResNet50的特征提取能力，DD-ResNet50的分類效果優(yōu)于其他六組，說明將MDCM和DDⅠM同時加入到ResNet50中，能夠在全局和局部細節(jié)方面獲得更加準確的特征信息。

表1 不同模塊加入編碼器的實驗結(jié)果Table 1 Experimental results of different modules added to encoder

SimCLR 使用增廣圖像e1和增廣圖像e2進行對比學習的策略e1e2，NNCLR使用e1最近鄰的圖像f3和e2進行對比學習的策略f3e2。在本文給出FNNCL的對比策略中，提出同時對增廣圖像e1，增廣圖像e2，e1的最遠圖像f1，e1的最近鄰的圖像f3，e2的最遠圖像f2，e2的最近鄰圖像f4進行對比學習的策略，即第一組f1與e2的對比學習f1e2，第二組e1與e2的對比學習e1e2，第三組f2與e1的對比學習f2e1，第四組f1與f2的對比學習f1f2，第五組f3與e2的對比學習f3e2，第六組f4與e1的對比學習f4e1，第七組f3與f4的對比學習f3f4，第八組f1與f4的對比學習f1f4，第九組f2與f3的對比學習f2f3。

下面通過消融實驗，驗證SimCLR、NNCLR和FNNCL提出的對比學習策略對分類效果的影響。將3 種對比學習的策略加入到本文提出的編碼器為DD-ResNet50的對比學習分類方法中，得到的分類效果如表2 所示。從表中可以看出，e1e2的分類效果低于其他兩組，f3e2優(yōu)于e1e2的分類效果，這是因為與SimCLR的對比學習策略相比，NNCLR采用了e1的最近鄰圖像進行對比學習，增加對比學習中的數(shù)據(jù)多樣性。采用FNNCL 的對比學習策略所得到的分類效果明顯優(yōu)于其他兩種對比學習策略，說明通過在對比學習策略增加最遠和最近鄰圖像的對比學習，能夠進一步增加正樣本學習的難度和數(shù)據(jù)多樣性，從而更充分地使用癌癥病理圖像的特征信息，使得分類效果越好。

表2 不同對比學習策略的實驗結(jié)果Table 2 Experimental results of different contrastive learning

2.3.3 分類方法的比較

在分類方法的比較實驗中，通過與現(xiàn)有分類方法MCM[11]、CRM[13]、MoCo[15]、SimCLR[16]和NNCLR[17]比較，驗證本文的分類方法CCCM 對肺癌病理圖像的分類效果。

為了在分類性能方面對各分類方法進行詳細的分析和比較，將實驗中的數(shù)據(jù)分為開源數(shù)據(jù)集和混合數(shù)據(jù)，開源數(shù)據(jù)集包括TCGA 和LC25000 兩個開源數(shù)據(jù)集，混合數(shù)據(jù)采用確定α值實驗中使用的數(shù)據(jù)，目的是通過混合多種來源的數(shù)據(jù)，增加肺癌病理圖像的多樣性，對分類方法進行綜合分析。

在使用開源數(shù)據(jù)集進行實驗時，為說明不同比例已標記數(shù)據(jù)對分類方法的影響，將實驗分為三組，第一組分別將兩個開源數(shù)據(jù)集40%的已標記數(shù)據(jù)作為現(xiàn)有分類方法和CCCM 第一階段的已標記訓練數(shù)據(jù)，即從TCGA 中選取410 張已標記病理圖像，從LC25000 中選取6 000張已標記病理圖像。再分別將兩個開源數(shù)據(jù)集10%的已標記數(shù)據(jù)作為未標記數(shù)據(jù)，用于CCCM第二階段的未標記訓練數(shù)據(jù)，即從TCGA中選取103張已標記病理圖像作為未標記數(shù)據(jù)，從LC25000 中1 500 張已標記病理圖像作為未標記數(shù)據(jù)。分別將兩個開源數(shù)據(jù)集剩余的已標記數(shù)據(jù)作為驗證集，即得到TCGA中剩余的513已標記病理圖像，LC25000中剩余的7 500張已標記病理圖像。第二組分別將兩個開源數(shù)據(jù)集中的60%已標記數(shù)據(jù)作為現(xiàn)有分類方法和CCCM 第一階段的已標記訓練數(shù)據(jù)，即從TCGA 中選取616 張已標記病理圖像，從LC25000 中選取9 000 張已標記病理圖像。再分別將兩個開源數(shù)據(jù)集10%的已標記數(shù)據(jù)作為未標記數(shù)據(jù)，用于CCCM第二階段的未標記訓練數(shù)據(jù)，即從TCGA中選取103 張已標記病理圖像作為未標記數(shù)據(jù)，從LC25000 中1 500 張已標記病理圖像作為未標記數(shù)據(jù)。分別將兩個開源數(shù)據(jù)集剩余已標記數(shù)據(jù)作為驗證集，即得到TCGA 中剩余的308 已標記病理圖像，LC25000 中剩余的4 500張已標記病理圖像。第三組分別將兩個開源數(shù)據(jù)集80%的已標記數(shù)據(jù)作為現(xiàn)有分類方法和CCCM第一階段的已標記訓練數(shù)據(jù)，即從TCGA中選取821張已標記病理圖像，從LC25000中選取12 000張已標記病理圖像。再分別將兩個開源數(shù)據(jù)集10%的已標記數(shù)據(jù)作為未標記數(shù)據(jù)，用于CCCM第二階段的未標記訓練數(shù)據(jù)，即從TCGA中選取103張已標記病理圖像作為未標記數(shù)據(jù)，從LC25000 中1 500 張已標記病理圖像作為未標記數(shù)據(jù)。分別將兩個開源數(shù)據(jù)集剩余已標記數(shù)據(jù)作為驗證集，即得到TCGA中剩余的102張已標記病理圖像，LC25000中剩余的1 500張已標記病理圖像。

使用各分類方法對兩個開源數(shù)據(jù)集進行分類，三組實驗的四項評價指標的比較結(jié)果如表3~6所示。從表3可以看出，在對兩個開源數(shù)據(jù)集進行分類時，CCCM 使用不同比例的訓練數(shù)據(jù)得到的準確率均高于其他分類方法，說明CCCM 的分類結(jié)果更接近實際的整體分類結(jié)果。

表3 開源數(shù)據(jù)集的準確率比較Table 3 Accuracy comparison of open source datasets

從表4 可以看出，在對兩個開源數(shù)據(jù)集進行分類時，CCCM使用不同比例的訓練數(shù)據(jù)得到的精確率均高于其他分類方法，說明使用CCCM對陽性樣本的分類準確程度較高。

表4 開源數(shù)據(jù)集的精確率比較Table 4 Precision comparison of open source datasets

從表5 可以看出，在對兩個開源數(shù)據(jù)集進行分類時，CCCM 使用不同比例的訓練數(shù)據(jù)得到的召回率均高于其他分類方法，說明CCCM 對陽性樣本的識別能力較好。

表5 開源數(shù)據(jù)集的召回率比較Table 5 Recall comparison of open source datasets

從表6 可以看出，在對兩個開源數(shù)據(jù)集進行分類時，CCCM使用不同比例的訓練數(shù)據(jù)得到的F1-Score值均高于其他分類方法，說明CCCM在精確率和召回率兩個方面的綜合表現(xiàn)較好。

表6 開源數(shù)據(jù)集的F1-Score比較Table 6 F1-Score comparison of open source datasets

此外，從表3~6 還可以看出，各分類方法對TCGA的分類表現(xiàn)低于對LC25000 的分類表現(xiàn)，這是因為與LC25000相比，TCGA包含的已標記數(shù)據(jù)和未標記數(shù)據(jù)的數(shù)量都比較少，導致可用于各分類方法的訓練數(shù)據(jù)較少，造成對TCGA的分類效果低于對LC25000的分類效果。由于CCCM 能夠利用少量的未標記數(shù)據(jù)中的細胞形態(tài)特征信息，使得其在TCGA 中具有較好的分類表現(xiàn)。當已標記訓練數(shù)據(jù)分別為40%、60%和80%時，現(xiàn)有分類方法的四項評價指標值都發(fā)生一些變化，尤其是對于完全依賴已標記數(shù)據(jù)的分類方法MCM和CRM，其四項分類評價指標發(fā)生較大變化，說明現(xiàn)有分類方法對已標記數(shù)據(jù)的依賴程度較大，還沒有將未標記數(shù)據(jù)中的信息有效地應用到分類過程中，而對同一開源數(shù)據(jù)集，在已標記訓練數(shù)據(jù)變化且未標記數(shù)據(jù)的數(shù)量不變的情況下，CCCM 的四項分類評價指標的變化較小，說明增加已標記訓練數(shù)據(jù)的數(shù)量對提高CCCM 的分類效果有一定的幫助，但是CCCM對已標記訓練數(shù)據(jù)的依賴程度較小，利用一定數(shù)量的未標記數(shù)據(jù)，就能保持較好的分類效果。

在使用混合數(shù)據(jù)進行實驗時，為說明不同比例已標記數(shù)據(jù)對分類方法的影響，實驗分為三組：第一組將900張已標記肺癌病理圖像中40%的已標記數(shù)據(jù)作為現(xiàn)有分類方法和CCCM第一階段的已標記訓練數(shù)據(jù)，即得到360 張已標記數(shù)據(jù)訓練數(shù)據(jù)。將3 000 張未標記肺癌病理圖像作為CCCM第二階段的未標記訓練數(shù)據(jù)，將900張已標記肺癌病理圖像中剩余的已標記數(shù)據(jù)作為各分類方法的驗證集，即得到540張已標記數(shù)據(jù)作為各分類方法的驗證集。第二組將900 張已標記肺癌病理圖像中60%的已標記數(shù)據(jù)作為現(xiàn)有分類方法和CCCM 第一階段的已標記訓練數(shù)據(jù)，即得到540張已標記數(shù)據(jù)作為訓練數(shù)據(jù)，將3 000 張未標記肺癌病理圖像作為CCCM第二階段的未標記訓練數(shù)據(jù)，將900張已標記肺癌病理圖像中剩余的已標記數(shù)據(jù)作為各分類方法的驗證集，即得到360 張已標記數(shù)據(jù)作為各分類方法的驗證集。第三組將900 張已標記肺癌病理圖像中80%的已標記數(shù)據(jù)作為現(xiàn)有分類方法和CCCM 第一階段的已標記訓練數(shù)據(jù)，即得到720 張已標記數(shù)據(jù)作為訓練數(shù)據(jù)。將3 000 張未標記肺癌病理圖像作為CCCM 第二階段的未標記訓練數(shù)據(jù)，將900張已標記肺癌病理圖像中剩余的20%數(shù)據(jù)作為各分類方法的驗證集，即得到180 張已標記數(shù)據(jù)作為各分類方法的驗證集。

使用各分類方法對肺癌病理圖像進行分類，得到三組實驗的比較結(jié)果分別如圖12~15 所示。從圖中四項評價指標的比較可以看出MoCo、SimCLR、NNCLR 和CCCM 的分類效果優(yōu)于MCM 和CRM，這是因為MCM和CRM的分類需要大量的已標記肺癌病理圖像作為訓練集，在缺少足夠已標記數(shù)據(jù)作為訓練集的情況下，MCM和CRM的分類效果不好，而在已標記肺癌病理圖像較少的情況下，MoCo、SimCLR、NNCLR 和CCCM 能夠獲得較好的分類效果。由于NNCLR增加的對比學習的多樣性，使得其分類效果優(yōu)于MoCo 和SimCLR。與現(xiàn)有分類方法相比，CCCM 能夠達到較好的分類效果，這是因為CCCM 的MDCM 和DDⅠM 提升了ResNet50的特征提取能力，在NNCLR 的基礎上使用了更多的對比學習策略，進一步增加了對比學習中正樣本學習難度和數(shù)據(jù)的多樣性，從而提高了對比學習的性能。

圖12 準確率的比較Fig.12 Comparison of accuracy

圖13 精確率的比較Fig.13 Comparison of precision

圖14 召回率的比較Fig.14 Comparison of recall

圖15 F1-Score的比較Fig.15 Comparison of F1-Score

與圖12~15相對應的各分類方法的詳細比較信息如表7~10所示。從表7的比較可以看出，在增加數(shù)據(jù)多樣性后，CCCM使用不同比例的訓練數(shù)據(jù)得到的準確率依然高于其他分類方法，也說明CCCM能夠從混合數(shù)據(jù)中能學習更多的細胞形態(tài)特征信息，尤其是未標記數(shù)據(jù)的細胞形態(tài)特征信息，使得其分類結(jié)果更接近實際的整體分類結(jié)果。

表7 混合數(shù)據(jù)的準確率比較Table 7 Accuracy comparison of hybrid data

從表8的比較可以看出，在增加數(shù)據(jù)多樣性和未標記數(shù)據(jù)后，CCCM使用不同比例的訓練數(shù)據(jù)得到的精確率依然高于其他分類方法，說明對多種來源的數(shù)據(jù)進行分類時，CCCM對陽性樣本的分類準確程度較高。

表8 混合數(shù)據(jù)的精確率比較Table 8 Precision comparison of hybrid data

從表9的比較可以看出，在增加數(shù)據(jù)多樣性和未標記數(shù)據(jù)后，CCCM使用不同比例的訓練數(shù)據(jù)得到的召回率依然高于其他分類方法，說明對多種來源的數(shù)據(jù)進行分類時，CCCM對陽性樣本的識別能力較好。

表9 混合數(shù)據(jù)的召回率比較Table 9 Recall comparison of hybrid data

從表10 的比較可以看出，在增加數(shù)據(jù)多樣性和未標記數(shù)據(jù)后，CCCM 使用不同比例的訓練數(shù)據(jù)得到的F1-Score值依然高于其他分類方法，說明對多種來源的數(shù)據(jù)進行分類時，CCCM在精確率和召回率兩個方面的綜合表現(xiàn)較好。

表10 混合數(shù)據(jù)的F1-Score比較Table 10 F1-Score comparison of hybrid data

此外，從表7~10 還可以看出，在增加數(shù)據(jù)多樣性后，當已標記訓練數(shù)據(jù)分別為40%、60%和80%時，現(xiàn)有分類方法的四項分類評價指標值依然會發(fā)生較為明顯的變化，而與現(xiàn)有分類方法相比，CCCM 的四項分類評價指標的變化仍然較小，說明對多種來源的數(shù)據(jù)進行分類時，增加已標記訓練數(shù)據(jù)的數(shù)量對提高CCCM的分類效果有一定的幫助，但是CCCM對已標記訓練數(shù)據(jù)的依賴程度較小，其通過挖掘和利用大量未標記數(shù)據(jù)的細胞形態(tài)特征信息，始終能夠保持較好的分類效果。

在實驗用到的TCGA、LC25000和混合數(shù)據(jù)中，TCGA的未標記數(shù)據(jù)最少，混合數(shù)據(jù)的未標記數(shù)據(jù)最多。當已標記訓練數(shù)據(jù)為80%時，CCCM在上述開源數(shù)據(jù)集和混合數(shù)據(jù)的實驗對比結(jié)果如圖16所示，通過圖中四項評價指標的比較可以看出，隨著未標記數(shù)據(jù)的增多，CCCM能夠取得更好的分類效果，這是因為CCCM的分類性能主要依賴于未標記數(shù)據(jù)的數(shù)量，利用模型充分挖掘和利用未標記數(shù)據(jù)是提高CCCM分類效果的關鍵環(huán)節(jié)。

圖16 不同數(shù)據(jù)集的實驗比較Fig.16 Experimental comparison of different datasets

2.3.4 收斂性分析

為了對CCCM 的收斂性進行分析，將CCCM 與MCM、CRM、MoCo、SimCLR 和NNCLR 的訓練過程進行比較。在實驗中，采用在確定α值實驗中使用的混合數(shù)據(jù)作為實驗數(shù)據(jù)，將900 張已標記肺癌病理圖像中80%的已標記數(shù)據(jù)作為現(xiàn)有分類方法和CCCM 第一階段的已標記訓練數(shù)據(jù)，即得到720張已標記數(shù)據(jù)作為訓練數(shù)據(jù)。將3 000張未標記肺癌病理圖像作為CCCM第二階段的未標記訓練數(shù)據(jù)，將900張已標記肺癌病理圖像中剩余的20%數(shù)據(jù)作為各分類方法的驗證集，即得到180張已標記數(shù)據(jù)作為各分類方法的驗證集。各分類方法的比較結(jié)果如圖17 所示，從圖中可以看出，MCM 和CRM 的迭代次數(shù)明顯多于基于對比學習的分類方法MoCo、SimCLR、NNCLR 和CCCM，而現(xiàn)有的對比學習分類方法MoCo、SimCLR和NNCLR的迭代次數(shù)都高于CCCM 的迭代次數(shù)，而且收斂后的損失值也都高于CCCM 的損失值。CCCM 在迭代次數(shù)達到320 次左右時，損失值達到最小，說明CCCM在收斂性方面的表現(xiàn)優(yōu)于現(xiàn)有的分類方法。

圖17 訓練過程損失值的比較Fig.17 Comparison of loss value in training process

各分類方法每次迭代的時間比較如表11 所示，從表11的比較可以看出，與其他分類方法相比，CCCM每次迭代耗費的時間較多，這是因為CCCM通過較為復雜的模型結(jié)構(gòu)挖掘未標記數(shù)據(jù)中的特征信息，雖然迭代次數(shù)較少，但是由于每次迭代的計算量較大，導致CCCM需要耗費更多的時間完成分類任務。

表11 各方法每次迭代的時間比較Table 9 Comparison of time per epoch of different methods

3 結(jié)束語

本文提出一種肺癌病理圖像分類方法CCCM，該方法對未標記肺癌病理圖像進行對比學習和分類，并將獲得的高置信度分類圖像作為偽標簽，應用到對比學習訓練中。在ResNet50 中，利用MDCM 和DDⅠM 獲取更準確的肺癌細胞的形態(tài)特征信息。為充分利用數(shù)量有限的訓練數(shù)據(jù)，將最遠和最近鄰圖像加入到對比學習中，增加了對比學習的正樣本學習難度和數(shù)據(jù)的多樣性。實驗結(jié)果表明，CCCM在分類性能和收斂性方面優(yōu)于已有的分類方法。在后續(xù)的研究中，將進一步研究如何挖掘未標記肺癌病理圖像的其他特征信息，并應用到肺癌病理圖像分類方法中。由于肺癌病理圖像的已標記數(shù)據(jù)較少，為了挖掘和利用未標記數(shù)據(jù)的細胞形態(tài)特征信息，構(gòu)建的CCCM在整個模型結(jié)構(gòu)方面較為復雜，導致該模型以增加計算量為代價，提高分類的性能，這是目前該模型中存在的不足。在后續(xù)的研究中還需要進一步改進該模型的結(jié)構(gòu)，并壓縮模型參數(shù)，減少模型的計算量。