楊嘉楠，王忠昊，王昊霖，耿國(guó)華，曹 欣*

（1.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院，陜西 西安 710127；2.西北大學(xué) 文化遺產(chǎn)數(shù)字化國(guó)家地方聯(lián)合工程研究中心，陜西 西安 710127）

1 引言

肺癌是對(duì)人類(lèi)健康和生命威脅最大的惡性腫瘤之一，我國(guó)的肺癌發(fā)病率和死亡率都居于第一［1-2］。根據(jù)病理類(lèi)型肺癌可分為非小細(xì)胞肺癌（Non-small Cell Lung Cancer，NSCLC）和小細(xì)胞肺癌（Small Cell Lung Cancer，SCLC），其中非小細(xì)胞肺癌約占肺癌總發(fā)病率的80%～85%［3］。近年來(lái)，基于非小細(xì)胞肺癌驅(qū)動(dòng)基因的靶向藥物不斷出現(xiàn)，其療效可靠、副作用輕微，已成為最受關(guān)注的治療方法之一。在驅(qū)動(dòng)基因中，表皮生長(zhǎng)因子受體（Epidermal Growth Factor Receptor，EGFR）是目前突變率最高的靶基因，也是非小細(xì)胞肺癌患者應(yīng)用最廣泛的靶基因之一［4-5］。大量研究表明，只有對(duì)EGFR 突變敏感的人才能受益于靶向藥物EGFR 酪氨酸激酶抑制劑（Epidermal Growth Factor Receptor Tyrosine Kinase Inhibitor，EGFR-TKI）［6］。因 此，EGFR 基因檢測(cè)的突變狀態(tài)已成為臨床應(yīng)用靶向藥物的先決條件［7］，突變檢測(cè)的結(jié)果尤其重要。

18F-氟-2-脫氧葡萄糖（18F-fluoro-2-deoxyglucose，18F-FDG）［8］PET/CT 顯像是目前在醫(yī)院臨床上最常用的分子成像方式，它是一種結(jié)合細(xì)胞糖代謝和組織形態(tài)學(xué)的雙模態(tài)影像學(xué)檢查方法，廣泛應(yīng)用于惡性腫瘤、心血管和神經(jīng)系統(tǒng)等領(lǐng)域［9］。中國(guó)原發(fā)性肺癌診療規(guī)范明確指出，18FFDG PET/CT 是肺癌診斷，臨床分期與再分期、療效判定和預(yù)后預(yù)測(cè)的最優(yōu)手段［10］。18F-FDG PET/CT 顯像技術(shù)，可以更為精準(zhǔn)地診斷臨床患者EGFR 基因是否發(fā)生突變，輔助指導(dǎo)臨床靶向藥物的應(yīng)用［11］。

對(duì)于非小細(xì)胞肺癌EGFR 基因突變預(yù)測(cè)，近年來(lái)的研究主要圍繞著影像組學(xué)和機(jī)器學(xué)習(xí)展開(kāi)。影像組學(xué)是近年來(lái)醫(yī)學(xué)中的熱點(diǎn)領(lǐng)域，它將癌癥成像特征與基因表達(dá)相關(guān)聯(lián)。影像組學(xué)具有反映病變生物學(xué)行為的多個(gè)定量特征，可對(duì)病變的基因表型和突變情況進(jìn)行預(yù)測(cè)［12］。Zhang 等［13］利用定量影像組學(xué)標(biāo)志物和臨床變量預(yù)測(cè)非小細(xì)胞肺癌EGFR 的突變狀態(tài)，對(duì)180例非小細(xì)胞肺癌患者提取反映腫瘤異質(zhì)性和表型的485 個(gè)定量特征，利用基于多變量Logistic模型預(yù)測(cè)EGFR 的突變狀態(tài)。結(jié)果發(fā)現(xiàn)，影像組學(xué)特征具有預(yù)測(cè)非小細(xì)胞肺癌EGFR 突變狀態(tài)的潛能，且影像特征預(yù)測(cè)非小細(xì)胞肺癌是否存在EGFR 突變的價(jià)值顯著優(yōu)于單獨(dú)使用臨床變量模型。

機(jī)器學(xué)習(xí)算法能夠在沒(méi)有明確指令的情況下執(zhí)行特定任務(wù)，它依賴(lài)于模式和推理。這些算法被饋送數(shù)據(jù)并且能夠創(chuàng)建復(fù)雜的數(shù)學(xué)模型。雖然線(xiàn)性回歸等基本學(xué)習(xí)模型能夠?qū)€(xiàn)性關(guān)系進(jìn)行建模，但更高級(jí)的機(jī)器學(xué)習(xí)模型，例如邏輯回歸、支持向量機(jī)（Support Vector Machine，SVM）和隨機(jī)森林具有更高的模型容量，以及非線(xiàn)性建模的潛力［14-16］。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子集，它使用多個(gè)表示層從原始輸入中逐步提取更高級(jí)別的特征［17］。對(duì)于非小細(xì)胞肺癌的預(yù)測(cè)，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)可以結(jié)合使用：深度學(xué)習(xí)用于提取CT/PET 掃描特征［18］，而機(jī)器學(xué)習(xí)用于建立各種特征之間的關(guān)系。Wang 等［19］使用卷積神經(jīng)網(wǎng)絡(luò)VGG-16 模型，以96 例肺癌患者的CT 圖像作為網(wǎng)絡(luò)輸入，預(yù)測(cè)非小細(xì)胞肺癌EGFR 的突變狀態(tài)，取得了不錯(cuò)的效果。然而，這種方法需要依賴(lài)大量專(zhuān)家手工標(biāo)注的患者圖像數(shù)據(jù)，耗費(fèi)大量的資源。在專(zhuān)家手工標(biāo)注的患者圖像數(shù)據(jù)數(shù)量不充足的情況下，網(wǎng)絡(luò)訓(xùn)練出的模型會(huì)因樣本重復(fù)率太高而過(guò)擬合。

為了解決專(zhuān)家手工標(biāo)注的患者圖像數(shù)據(jù)不足的問(wèn)題，人們將視線(xiàn)轉(zhuǎn)向了無(wú)監(jiān)督神經(jīng)網(wǎng)絡(luò)。無(wú)監(jiān)督神經(jīng)網(wǎng)絡(luò)不需要大量專(zhuān)家手工標(biāo)注的患者圖像數(shù)據(jù)，就能區(qū)分患者病歷的陰性、陽(yáng)性。Francisco 等［20］提出了一種無(wú)監(jiān)督遷移學(xué)習(xí)方法，先在一個(gè)胸部CT 圖像數(shù)據(jù)集進(jìn)行卷積自編碼器的預(yù)訓(xùn)練，然后為訓(xùn)練出的卷積自編碼器增加分類(lèi)器，在另一個(gè)包含EGFR 突變狀態(tài)信息的肺癌患者CT 圖像數(shù)據(jù)集進(jìn)行任務(wù)訓(xùn)練。這種方法的優(yōu)勢(shì)在于不需要大量專(zhuān)家手工標(biāo)注的患者圖像數(shù)據(jù)，然而其預(yù)測(cè)結(jié)果準(zhǔn)確率卻不如有監(jiān)督訓(xùn)練方法。

隨著深度學(xué)習(xí)領(lǐng)域的高速發(fā)展，PIRL［21］，CPC［22］，SimCLR［23］，MoCo［24］，SwAV［25］、SimSiam［26］和BYOL［27］等自監(jiān)督對(duì)比學(xué)習(xí)方法脫穎而出。與傳統(tǒng)的分類(lèi)方法不同，對(duì)比學(xué)習(xí)并不去學(xué)習(xí)一張圖片歸屬于哪個(gè)類(lèi)別，取而代之的是去學(xué)習(xí)各個(gè)圖片實(shí)例之間的相似點(diǎn)與不相似點(diǎn)，通過(guò)縮小相似圖像間的距離，增加不相似圖像間的距離，在向量空間上完成圖像樣本的聚類(lèi)，構(gòu)建成向量字典。通過(guò)對(duì)比學(xué)習(xí)訓(xùn)練出的模型不需要大量已標(biāo)注數(shù)據(jù)，就能有效地提取圖像特征［28］，得到接近有監(jiān)督方法的預(yù)測(cè)準(zhǔn)確度。

本文提出了一種基于改進(jìn)BYOL 的非小細(xì)胞肺癌EGFR 基因突變預(yù)測(cè)方法。對(duì)患者肺部病灶區(qū)CT 和PET 雙模態(tài)圖像進(jìn)行優(yōu)化處理，在通道維度上將它們連接并作為網(wǎng)絡(luò)模型的輸入。同時(shí)，修改了BYOL 網(wǎng)絡(luò)投影層中非線(xiàn)性多層感知器（Multilayer Perceptron，MLP）的層數(shù)，提升了網(wǎng)絡(luò)預(yù)測(cè)準(zhǔn)確率。通過(guò)調(diào)整任務(wù)階段頂層分類(lèi)器，使模型的預(yù)測(cè)準(zhǔn)確率進(jìn)一步提升。

2 基本原理

2.1 材 料

從醫(yī)院處獲得了近幾年來(lái)非小細(xì)胞肺癌EGFR 基因突變檢測(cè)的患者CT 圖像與PET 圖像。為了制作非小細(xì)胞肺癌EGFR 基因突變數(shù)據(jù)集，需要對(duì)原始圖像進(jìn)行預(yù)處理。使用專(zhuān)家勾畫(huà)MASK 文件對(duì)CT 原圖與PET 原圖進(jìn)行勾畫(huà)操作，只保存患者病灶區(qū)部分的CT，PET 圖像。然后，計(jì)算出PET 數(shù)據(jù)對(duì)應(yīng)的SUV 值作為新的PET 數(shù)據(jù)。

在計(jì)算時(shí)本文使用基于DICOM 標(biāo)簽的計(jì)算規(guī)則［29］：

其中：XPET為PET 數(shù)據(jù)讀取的一個(gè)三維矩陣，YSUV為SUV 計(jì)算后新PET 數(shù)據(jù)的三維矩陣，變量DRT為放射性核素總劑量，WP為患者體重，IR為重定標(biāo)截距，SR為重標(biāo)斜率，TA為采集時(shí)間，TRS為放射性藥物起始時(shí)間，LRH為放射性核元素的半衰期（秒）。

對(duì)CT 圖像數(shù)據(jù)使用中值濾波法去除噪聲，以?xún)?yōu)化CT 圖像數(shù)據(jù)。將處理后的CT-PET 圖像按4∶1 劃分為訓(xùn)練集和測(cè)試，用于網(wǎng)絡(luò)的訓(xùn)練與測(cè)試。

2.2 方 法

2.2.1 網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)的整體流程如圖1 所示。從非小細(xì)胞肺癌EGFR 基因突變數(shù)據(jù)集中讀取患者病灶區(qū)的CT-PET 圖像對(duì)作為網(wǎng)絡(luò)的輸入x～D，其中D表示非小細(xì)胞肺癌EGFR 基因突變數(shù)據(jù)集，x是從D中均勻采樣得到的CT-PET 圖像對(duì)。通過(guò)t和t'兩種不同的圖像增強(qiáng)操作組得到x的兩個(gè)不同的視圖v和v'。fθ和fφ表示兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)相同但是網(wǎng)絡(luò)權(quán)重參數(shù)不同的卷積自編碼器。將x的兩個(gè)不同的視圖v和v'分別經(jīng)過(guò)fθ和fφ兩個(gè)卷積自編碼器正向傳播得到y(tǒng)θ和y'φ。gθ和gφ表示兩組網(wǎng)絡(luò)結(jié)構(gòu)相同但是網(wǎng)絡(luò)權(quán)重參數(shù)不同的投影層非線(xiàn)性多層感知器。然后，yθ和y'φ分別經(jīng)過(guò)gθ和gφ兩組 非線(xiàn)性多 層感知 器得到zθ和z'φ。對(duì)z'φ進(jìn)行停止梯度傳播得到sg(z'φ)，而zθ則經(jīng)過(guò)預(yù)測(cè)層qθ傳播得到qθ(zθ)。最后，使用sg(z'φ)和qθ(zθ)進(jìn)行損失計(jì)算，反向傳播更新online 網(wǎng)絡(luò)權(quán)重參數(shù)并依照online 網(wǎng)絡(luò)權(quán)重參數(shù)調(diào)整target 網(wǎng)絡(luò)權(quán)重參數(shù)。

網(wǎng)絡(luò)中卷積自編碼器采用ResNet-50 網(wǎng)絡(luò)框架［30］，去除了網(wǎng)絡(luò)頂端的全連接層分類(lèi)器。投影層使用3 層非線(xiàn)性多層感知器，通過(guò)3 個(gè)以ReLU激活函數(shù)和批量歸一化操作隔開(kāi)的全連接層，將卷積自編碼器提取的特征降維，對(duì)網(wǎng)絡(luò)輸出的特征向量做L2 正則化操作，將投影特征向量的長(zhǎng)度進(jìn)行歸一化后投影在投影空間，即投影在一個(gè)長(zhǎng)度為1 的單位超球面上。預(yù)測(cè)層和投影層結(jié)構(gòu)類(lèi)似，將提取的特征向量映射到單位超球面上，同時(shí)使online 網(wǎng)絡(luò)和target 網(wǎng)絡(luò)不一致，此時(shí)任何圖片經(jīng)過(guò)網(wǎng)絡(luò)投影后，在投影空間里面所有圖像的映射都不會(huì)坍塌到同一個(gè)點(diǎn)，避免產(chǎn)生模型坍塌現(xiàn)象，學(xué)習(xí)不到有用的信息。損失函數(shù)使用均方差（Mean Squared Error，MSE）損失函數(shù)，即：

其中：x和y表示兩個(gè)特征矩陣，i為其下標(biāo)，n為矩陣元素總數(shù)。通過(guò)最小化online 網(wǎng)絡(luò)和target網(wǎng)絡(luò)映射在單位超球面上的距離來(lái)優(yōu)化online 網(wǎng)絡(luò)權(quán)重參數(shù)。

通過(guò)損失函數(shù)計(jì)算梯度并反向傳播，更新online 網(wǎng)絡(luò)的各層權(quán)重參數(shù)，見(jiàn)式（3）：

其中：θ是online網(wǎng)絡(luò)權(quán)重參數(shù)，δ是學(xué)習(xí)率，optimizer 是梯度優(yōu)化器，?L是損失值的梯度。target 網(wǎng)絡(luò)由于梯度停止操作，無(wú)法通過(guò)梯度反向傳播更新網(wǎng)絡(luò)權(quán)重參數(shù)。取而代之，target 網(wǎng)絡(luò)的權(quán)重參數(shù)會(huì)隨著online 網(wǎng)絡(luò)的權(quán)重參數(shù)改變，見(jiàn)式（4）：

其中：φ是target 網(wǎng)絡(luò)的權(quán)重參數(shù)，τ是超參數(shù)，介于0～1 之間，這里取τ=0.99。

2.2.2 損失函數(shù)原理

BYOL 網(wǎng)絡(luò)通過(guò)對(duì)輸入圖像使用兩種不同的隨機(jī)圖像增強(qiáng)操作，產(chǎn)生2 張不同的視圖，將兩張視圖輸入網(wǎng)絡(luò)兩個(gè)不同的分支，最終將特征向量映射在單位超球面上。BYOL 網(wǎng)絡(luò)認(rèn)為同一張圖片的兩種不同的視圖應(yīng)該互為正例，它們的特征向量映射在單位超球面上時(shí)應(yīng)該盡量地靠近對(duì)方。因此，BYOL 網(wǎng)絡(luò)的損失函數(shù)目標(biāo)是最小化同一張圖片兩個(gè)不同視圖特征向量映射在單位超球面上的距離。BYOL 的損失函數(shù)如下：

L1是余弦相似度的變形，它的最小值相當(dāng)于兩個(gè)特征向量余弦相似度的最大值，也就是說(shuō)隨著損失函數(shù)的縮小，兩個(gè)視圖的特征向量在單位超球面上的映射之間的距離會(huì)越來(lái)越近。由于online 和target 兩個(gè)網(wǎng)絡(luò)分支不對(duì)稱(chēng)，所以BYOL網(wǎng)絡(luò)會(huì)交換兩個(gè)圖像增強(qiáng)后的視圖，使其沿另一個(gè)分支路進(jìn)行前向傳播，計(jì)算損失值L2。

所以BYOL 網(wǎng)絡(luò)的最終損失函數(shù)如下：

其中：online(v1)，online(v2)分別為視圖1、視圖2在online 網(wǎng)絡(luò)的輸出特征向量，target(v1)，target(v2)分別為視圖1、視圖2 在target 網(wǎng)絡(luò)的輸出特征向量。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)框架Fig.1 Network structure frame

2.2.3 雙模態(tài)通道維度連接

Liu［31-32］、Zeng［33］、Wang［34］和Yin 等［35］的研究結(jié)果表明，CT 和PET 圖像對(duì)患者EGFR 等相關(guān)基因突變、生物靶向治療療效的預(yù)測(cè)及動(dòng)態(tài)評(píng)估具有一定價(jià)值。從CT 和PET 圖像中提取出來(lái)的圖像紋理特征可以用來(lái)預(yù)測(cè)非小細(xì)胞肺癌患者EGFR 的突變情況。這里將非小細(xì)胞肺癌患者肺部病灶區(qū)的CT 和PET 圖像在通道維度上連接疊加作為網(wǎng)絡(luò)的輸入，將112×112×1 尺寸的圖像矩陣在通道維度上連接，得到一個(gè)112×112×2 尺寸的新圖像矩陣，作為網(wǎng)絡(luò)的輸入，見(jiàn)圖2。

圖2 CT，PET 圖像的通道連接Fig.2 Channel connection of CT and PET images

2.2.4 圖像增強(qiáng)

BYOL 網(wǎng)絡(luò)通過(guò)對(duì)同一張圖片采用兩種不同的圖像增強(qiáng)，產(chǎn)生兩種視圖，然后將兩種視圖分別輸入網(wǎng)絡(luò)的兩個(gè)不同分支得到輸出計(jì)算的損失值。由于這兩個(gè)視圖是由同一張圖片變換而成，因此它們應(yīng)該屬于同一個(gè)實(shí)例，經(jīng)過(guò)網(wǎng)絡(luò)提取的特征向量映射在單位超球面上時(shí)，視圖之間的距離應(yīng)盡可能地小。然而，如果兩個(gè)視圖過(guò)于相似，會(huì)出現(xiàn)模型坍塌現(xiàn)象，影響網(wǎng)絡(luò)訓(xùn)練結(jié)果。因此，對(duì)比學(xué)習(xí)需要采用一種圖像增強(qiáng)方式，使得同一張圖片經(jīng)過(guò)圖像增強(qiáng)變換出來(lái)的兩個(gè)視圖在保持原實(shí)例特征的前提下盡量不相似。

本文從基礎(chǔ)圖像增強(qiáng)方法庫(kù)中挑選出幾種適合單通道灰度圖像的圖像增強(qiáng)方法（高斯模糊、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、銳化和縮放后隨機(jī)裁剪），如圖3 所示。從這幾種隨機(jī)增強(qiáng)庫(kù)中每次隨機(jī)選出不定數(shù)量且參數(shù)隨機(jī)的圖像進(jìn)行組合。通過(guò)隨機(jī)挑選得到的兩個(gè)增強(qiáng)操作組會(huì)產(chǎn)生兩個(gè)在保持原圖像實(shí)例特征的前提下，盡可能不相似的視圖。

圖3 圖像增強(qiáng)結(jié)果Fig.3 Image augmentation results

2.2.5 網(wǎng)絡(luò)實(shí)現(xiàn)

本文提出的方法分為預(yù)訓(xùn)練和任務(wù)網(wǎng)絡(luò)訓(xùn)練兩部分。在預(yù)訓(xùn)練階段，將無(wú)標(biāo)簽數(shù)據(jù)集輸入網(wǎng)絡(luò)，經(jīng)過(guò)200 個(gè)Epochs 的迭代不斷優(yōu)化網(wǎng)絡(luò)權(quán)重參數(shù)，使網(wǎng)絡(luò)學(xué)會(huì)將輸入的樣本進(jìn)行分類(lèi)，對(duì)比學(xué)習(xí)網(wǎng)絡(luò)會(huì)縮小相似樣本間的距離，擴(kuò)大不相似樣本間的距離，最終所有輸入的數(shù)據(jù)樣本被聚為兩類(lèi)：陰性和陽(yáng)性。在任務(wù)網(wǎng)絡(luò)訓(xùn)練階段，將少量含標(biāo)簽的數(shù)據(jù)集（僅使用20%標(biāo)注數(shù)據(jù)）輸入網(wǎng)絡(luò)，并在網(wǎng)絡(luò)頂部增加分類(lèi)器，經(jīng)過(guò)100 個(gè)Epochs 的迭代優(yōu)化，得到最終訓(xùn)練好的模型。任務(wù)網(wǎng)絡(luò)訓(xùn)練階段因?yàn)橛袑?zhuān)家標(biāo)注的陰性、陽(yáng)性標(biāo)簽，可以為預(yù)訓(xùn)練階段的模型分出來(lái)的兩個(gè)類(lèi)型確定陰性、陽(yáng)性。具體實(shí)驗(yàn)參數(shù)如表1 所示，預(yù)訓(xùn)練網(wǎng)絡(luò)和訓(xùn)練任務(wù)網(wǎng)絡(luò)都使用Adam 梯度優(yōu)化器，經(jīng)過(guò)調(diào)試將學(xué)習(xí)率設(shè)置為0.000 3，訓(xùn)練時(shí)的Batch Size 設(shè)置為35。預(yù)訓(xùn)練網(wǎng)絡(luò)和訓(xùn)練任務(wù)網(wǎng)絡(luò)的Epoch 分別為200 和100。在訓(xùn)練階段與測(cè)試階段將112×112×1 大小的PET 與CT 圖像融合，形成雙通道112×112×2 的矩陣并輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練及測(cè)試，詳細(xì)參數(shù)見(jiàn)表1。如圖4 所示，Loss 曲線(xiàn)經(jīng)過(guò)多個(gè)Epochs 的迭代最終達(dá)到收斂。

表1 網(wǎng)絡(luò)訓(xùn)練超參數(shù)Tab. 1 Network training hyper-parameters

圖4 訓(xùn)練Loss 曲線(xiàn)Fig.4 Training loss curve

2.2.6 評(píng)價(jià)指標(biāo)

使用專(zhuān)家的手動(dòng)標(biāo)注作為基本事實(shí)，本文使用ROC曲線(xiàn)（Receiver Operating Characteristic Curve）以及曲線(xiàn)下面積（Area Under the Curve，AUC）對(duì)網(wǎng)絡(luò)進(jìn)行定量評(píng)估［36-37］。

ROC 曲線(xiàn)是基于混淆矩陣得出的。一個(gè)二分類(lèi)模型的閾值可能設(shè)定為高或低，每種閾值的設(shè)定會(huì)得出不同的真正例率（TPR）和假正例率（FPR），將同一模型每個(gè)閾值的（FPR，TPR）坐標(biāo)都繪制在ROC 空間里，就成為特定模型的ROC 曲線(xiàn)。ROC 曲線(xiàn)橫坐標(biāo)為假正例率，縱坐標(biāo)為真正例率。使用ROC 曲線(xiàn)作為模型分類(lèi)性能的評(píng)判標(biāo)準(zhǔn)有兩個(gè)優(yōu)點(diǎn)：（1）ROC 曲線(xiàn)簡(jiǎn)單、直觀，通過(guò)圖示可觀察分析學(xué)習(xí)器的準(zhǔn)確性，并可用肉眼做出判斷；ROC 曲線(xiàn)將真正例率和假正例率以圖示方法結(jié)合在一起，可準(zhǔn)確反映某種模型真正例率和假正例率的關(guān)系，是檢測(cè)準(zhǔn)確性的綜合代表；（2）ROC 曲線(xiàn)不固定閾值，允許中間狀態(tài)的存在，利于使用者結(jié)合專(zhuān)業(yè)知識(shí)權(quán)衡漏診與誤診的影響，選擇一個(gè)更加合適的閾值作為診斷參考值。

AUC 就是ROC 曲線(xiàn)的下面積。在比較不同的分類(lèi)模型時(shí)，AUC 值越大的分類(lèi)器，分類(lèi)準(zhǔn)確率越高。

3 實(shí)驗(yàn)和結(jié)果分析

3.1 對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)使用由醫(yī)院提供的180 余名患者肺部CT 和PET 成像，對(duì)每個(gè)患者的CT 和PET圖像進(jìn)行勾畫(huà)操作，只保存患者肺部病灶區(qū)。將CT和PET 圖像成對(duì)保存，制成肺部非小細(xì)胞肺癌EGFR 數(shù)據(jù)集。實(shí)驗(yàn)環(huán)境統(tǒng)一使用NVIDIA Ge-Force TITAN V顯卡，Python 版本為3.7，CUDA 版本為10.2，所用 框架為Pytorch 1.10.1 版本。使用本文提出的網(wǎng)絡(luò)獲得基于非小細(xì)胞肺癌EGFR 基因突變數(shù)據(jù)集上的預(yù)測(cè)結(jié)果，并與目前廣泛應(yīng)用的醫(yī)學(xué)圖像影學(xué)以及主流有監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)VGG-16，ResNet-50，Inception v3 及無(wú)監(jiān)督遷移學(xué)習(xí)CAE 方法進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果如表2 所示。

表2 不同方法非小細(xì)胞肺癌EGFR 基因突變的預(yù)測(cè)AUCTab. 2 Predicting AUC for EGFR gene mutation in non-small cell lung cancer by different methods

本文通過(guò)使用改進(jìn)的BYOL 網(wǎng)絡(luò)進(jìn)行自監(jiān)督訓(xùn)練，使用無(wú)標(biāo)簽圖像，即未通過(guò)專(zhuān)家標(biāo)注的圖像數(shù)據(jù)，迭代200 個(gè)Epochs 訓(xùn)練出一個(gè)ResNet-50 預(yù)訓(xùn)練模型，再使用少量有標(biāo)簽圖像（20%的已標(biāo)注數(shù)據(jù)）迭代100 個(gè)Epochs 微調(diào)預(yù)訓(xùn)練的網(wǎng)絡(luò)模型，得到任務(wù)網(wǎng)絡(luò)模型。圖4 為網(wǎng)絡(luò)訓(xùn)練時(shí)的損失下降曲線(xiàn)。在不需要大量標(biāo)記數(shù)據(jù)的情況下獲得了77% AUC，比傳統(tǒng)的影像組學(xué)（67% AUC）的預(yù)測(cè)效果更好，還高于使用普通卷積神經(jīng)網(wǎng)絡(luò)的有監(jiān)督方法，和目前比較主流的無(wú)監(jiān)督遷移學(xué)習(xí)方法（68% AUC）。雖然本文提出的方法AUC 低于融入患者臨床信息的ResNet-50 網(wǎng)絡(luò)，但是該方法是自監(jiān)督訓(xùn)練，不需要大量的人工標(biāo)注數(shù)據(jù)集，也不需要患者的大量臨床信息特征，具有更大的發(fā)展?jié)摿?。其?yōu)勢(shì)總結(jié)如下：（1）該方法預(yù)測(cè)得到的AUC 高于傳統(tǒng)影像組學(xué)及卷積神經(jīng)網(wǎng)絡(luò)的AUC；（2）使用自監(jiān)督學(xué)習(xí)，不需要大量人工標(biāo)記數(shù)據(jù)，不需要患者的臨床信息，更加便捷、節(jié)省成本；（3）使用對(duì)比學(xué)習(xí)方法，讓相似的病灶區(qū)樣本間距離縮短，不相似的病灶區(qū)樣本間距離增大，學(xué)習(xí)到樣本間的相似性，更好地進(jìn)行分類(lèi)預(yù)測(cè)。

3.2 消融實(shí)驗(yàn)

為了進(jìn)一步探究網(wǎng)絡(luò)結(jié)構(gòu)對(duì)本文提出的基于雙模態(tài)的改進(jìn)BYOL 對(duì)比學(xué)習(xí)網(wǎng)絡(luò)的影響，本文通過(guò)一系列消融實(shí)驗(yàn)，分別探究了頂層分類(lèi)器、投影層非線(xiàn)性MLP 層數(shù)和雙模態(tài)數(shù)據(jù)集的影響。

3.2.1 頂層分類(lèi)器對(duì)性能的影響

本文在任務(wù)模型的輸出部分分別使用了全連接層、支持向量機(jī)和隨機(jī)森林3 種分類(lèi)器，實(shí)驗(yàn)結(jié)果見(jiàn)圖5。其中，全連接分類(lèi)器的分類(lèi)預(yù)測(cè)由全連接神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，以ReLU 函數(shù)為激活函數(shù)，最后使用交叉熵?fù)p失函數(shù)進(jìn)行損失計(jì)算；支持向量機(jī)分類(lèi)器基于1 024 維輸入向量的線(xiàn)性核函數(shù)的SVM 模型進(jìn)行分類(lèi)；隨機(jī)森林分類(lèi)器基于輸入1 024 維特征向量，使用隨機(jī)森林和L1 正則化進(jìn)行分類(lèi)。3 種分類(lèi)器分別得到了77%AUC，75% AUC，74% AUC。從表3 可以看出，使用全連接分類(lèi)器取得的實(shí)驗(yàn)結(jié)果略?xún)?yōu)于其他兩種方法。

表3 消融實(shí)驗(yàn)結(jié)果Tab. 3 Ablation experiment results

圖5 三種分類(lèi)器預(yù)測(cè)AUCFig.5 AUC of three classifiers

3.2.2 投影層非線(xiàn)性MLP 層數(shù)對(duì)性能的影響

Chen T 等［23］和Chen X L 等［26］發(fā)現(xiàn)，通過(guò)增加投影層非線(xiàn)性MLP 的層數(shù)可以有效提高對(duì)比學(xué)習(xí)網(wǎng)絡(luò)模型的分類(lèi)準(zhǔn)確率。而原始BYOL網(wǎng)絡(luò)的投影層只有2 層非線(xiàn)性MLP，因此實(shí)驗(yàn)投影層分別使用2 層非線(xiàn)性MLP 和3 層非線(xiàn)性MLP 訓(xùn)練出的模型進(jìn)行分類(lèi)。結(jié)果顯示，3 層非線(xiàn)性MLP 訓(xùn)練出的模型得到了77% AUC，高于2 層非線(xiàn)性MLP 訓(xùn)練出的模型（74%AUC）。由此表明，通過(guò)增加投影層非線(xiàn)性MLP 的層數(shù)可以有效地提高對(duì)比學(xué)習(xí)網(wǎng)絡(luò)模型的分類(lèi)準(zhǔn)確率。

3.2.3 雙模態(tài)對(duì)性能的影響

已有研究表明［31-37］，CT 和PET 圖像在預(yù)測(cè)非小細(xì)胞肺癌EGFR 突變中具有一定的參考價(jià)值。本文將患者病灶區(qū)的CT 圖像和PET 圖像信息融合起來(lái)作為網(wǎng)絡(luò)的輸入。實(shí)驗(yàn)分別使用患者病灶區(qū)CT 圖像和PET 圖像的融合信息與只使用CT 圖像信息作為網(wǎng)絡(luò)輸入訓(xùn)練網(wǎng)絡(luò)，最終分別得到了77% AUC 和75% AUC。從實(shí)驗(yàn)結(jié)果可以看出，同時(shí)使用患者病灶區(qū)的CT 圖像和PET 圖像兩個(gè)模態(tài)時(shí)可以得到更好的效果。

4 結(jié)論

本文基于改進(jìn)BYOL 的自監(jiān)督非小細(xì)胞肺癌EGFR 基因突變預(yù)測(cè)方法，以BYOL 自監(jiān)督對(duì)比網(wǎng)絡(luò)為基礎(chǔ)對(duì)其網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，加深了非線(xiàn)性MLP 的層數(shù)，同時(shí)融合了CT 和PET 兩個(gè)模態(tài)的圖像數(shù)據(jù)，指導(dǎo)網(wǎng)絡(luò)提取更有效的圖像特征，提高預(yù)測(cè)準(zhǔn)確度。本文所提的網(wǎng)絡(luò)結(jié)構(gòu)與方法最終得到了77% AUC，相對(duì)于傳統(tǒng)的影像組學(xué)方法的分類(lèi)結(jié)果提高了7% AUC，相對(duì)于有監(jiān)督VGG-16 網(wǎng)絡(luò)的分類(lèi)結(jié)果提高了5% AUC。在不需要大量專(zhuān)家手工標(biāo)注數(shù)據(jù)集及大量患者臨床數(shù)據(jù)的情況下（僅使用20%標(biāo)注數(shù)據(jù)），該方法僅比融合了患者大量臨床信息等數(shù)據(jù)的有監(jiān)督網(wǎng)絡(luò)低9% AUC，能夠有效地指導(dǎo)醫(yī)師無(wú)創(chuàng)且自動(dòng)地根據(jù)患者的CT，PET 圖像判斷是否發(fā)生非小細(xì)胞肺癌EGFR 基因突變，從而幫助患者進(jìn)行EGFR 靶向治療，展示了其輔助臨床決策的潛力。

醫(yī)學(xué)圖像并不像普通圖像那樣包含大量場(chǎng)景，所以高級(jí)語(yǔ)義特征（如病灶區(qū)的形狀、輪廓）以及低級(jí)語(yǔ)義特征（如病灶區(qū)的邊緣、紋理）都很重要。后續(xù)的研究中，會(huì)繼續(xù)關(guān)注跟隨對(duì)比學(xué)習(xí)圖像分類(lèi)方面的最新進(jìn)展，探究AUC 更高的醫(yī)學(xué)圖像分類(lèi)方法。