林嘉希，汪盛嘉，趙 鑫，高 欣，殷民月，朱錦舟

1.蘇州大學(xué)附屬第一醫(yī)院消化內(nèi)科，蘇州 215006；2.江蘇省蘇州市消化病臨床醫(yī)學(xué)中心，蘇州 215006；3.蘇州大學(xué)附屬第一醫(yī)院普外科，蘇州 215006

據(jù)《2015 年中國惡性腫瘤流行情況分析》［1］顯示，我國食管癌的發(fā)病率位居各類腫瘤第6 位，死亡率位居第4 位，嚴(yán)重危害著人民的生命健康。依據(jù)病理類型的不同，食管癌被分為食管鱗癌與食管腺癌。在西方，食管腺癌是食管癌的主要病理類型。在我國，隨著人們生活習(xí)慣及飲食的西化，食管腺癌的比例亦不斷增加［2］。相關(guān)研究［3］顯示，食管腺癌的早期癥狀較為隱匿，確診時患者多處于中晚期，5 年生存率不足20%。當(dāng)前的臨床研究［4］發(fā)現(xiàn)，Barrett 食管被認(rèn)為是食管腺癌唯一的癌前病變。而這一發(fā)現(xiàn)或?qū)ο侔┑脑缙诤Y查、生存率的提高及患者預(yù)后的改善意義重大。

Barrett 食管是一種食管黏膜的化生改變，以食管正常的鱗狀上皮被含有胃或腸道特征的上皮細胞的柱狀上皮所取代為特征。當(dāng)前，對Barrett 食管的篩查主要依賴于消化內(nèi)鏡檢查；通常情況下，正常的食管鱗狀上皮和胃柱狀上皮交界線與胃食管結(jié)合部重疊，而Barrett 食管則表現(xiàn)為鱗狀上皮和柱狀上皮的交界線較胃食管結(jié)合部上移≥1 cm［5］。近年來，隨著內(nèi)鏡技術(shù)和設(shè)備的不斷發(fā)展，放大內(nèi)鏡、激光共聚焦內(nèi)鏡、自發(fā)熒光成像、窄帶成像和化學(xué)染色內(nèi)鏡等的運用，Barrett 食管內(nèi)鏡下檢出率有了顯著提高［6］。但其診斷的準(zhǔn)確性依然受操作者經(jīng)驗與技能差異的影響［4，7］。

基于此，本研究收集蘇州大學(xué)附屬第一醫(yī)院消化內(nèi)鏡中心及HyperKvasir數(shù)據(jù)庫［8］中的正常食管圖片與Barrett 食管圖片，通過于ImageNet 數(shù)據(jù)庫預(yù)訓(xùn)練的4 種深度卷積神經(jīng)網(wǎng)絡(luò)Xception、NASNet Large（NASNetL）、ResNet50V2 （ResNet） 及BigTransfer（BiT），對內(nèi)鏡圖片進行遷移學(xué)習(xí)，以建立Barrett 食管內(nèi)鏡圖片分類模型，旨在提高內(nèi)鏡的診斷準(zhǔn)確性，輔助食管疾患的臨床診斷。

1 資料與方法

1.1 一般資料

本研究為回顧性分析，共收集內(nèi)鏡下食管圖片806張（正常食管圖片412張、Barrett食管圖片394張）。其中，來自蘇州大學(xué)附屬第一醫(yī)院消化內(nèi)鏡中心411 張，包括正常食管圖片142 張、Barrett 食管圖片269 張；來自HyperKvasir 數(shù)據(jù)庫395 張，包括正常食管圖片270張、Barrett食管圖片125張。

1.2 圖片的標(biāo)簽標(biāo)注及預(yù)處理

依據(jù)內(nèi)鏡下食管病變情況、結(jié)合患者病理活檢報告，由3位高年資醫(yī)師（即擁有15年及以上內(nèi)鏡診療經(jīng)驗的主任醫(yī)師）遵照指南［5］對蘇州大學(xué)附屬第一醫(yī)院內(nèi)鏡中心411 張圖片完成分類標(biāo)注，標(biāo)注標(biāo)簽為Barrett 食管以及正常食管；同時，我們根據(jù)HyperKvasir數(shù)據(jù)庫提供的分類標(biāo)簽，對其395張圖片完成分類標(biāo)注。

而后，對納入的806 張圖片進行預(yù)處理，具體如下：①將圖片統(tǒng)一至331×331 像素，以RGB 三通道形式保存，輸入格式為［331，331，3］。②對圖片統(tǒng)一行歸一化操作。③圖片進行增強處理，方式包括圖片旋轉(zhuǎn)、圖片翻折、圖片對比度改變。經(jīng)上述處理后，隨機將806 張圖片分為訓(xùn)練集（85%）與驗證集（15%）。

1.3 Barrett食管內(nèi)鏡圖片分類模型的構(gòu)建

本研究采用遷移學(xué)習(xí)中的特征提取策略，構(gòu)建基于深度卷積神經(jīng)網(wǎng)絡(luò)的Barrett 食管內(nèi)鏡圖片分類模型。模型構(gòu)建及訓(xùn)練流程如下：①選取遷移學(xué)習(xí)所用的深度卷積神經(jīng)網(wǎng)絡(luò)模型。即Xception、NASNetL、ResNet 及BiT 共4 種［9-12］。②載入預(yù)訓(xùn)練權(quán)重。即載入4種模型各自于ImageNet數(shù)據(jù)庫中預(yù)訓(xùn)練所得網(wǎng)絡(luò)權(quán)重，作為初始化模型參數(shù)（預(yù)訓(xùn)練模型參數(shù)權(quán)重由Keras 提供）。③模型架構(gòu)修改。刪去本研究所用的4 個模型初始全連接層，將網(wǎng)絡(luò)其余部分作為特征提取層。于特征提取層后添加適用于Barrett食管圖片分類任務(wù)的全連接層，具體操作為對4 個網(wǎng)絡(luò)統(tǒng)一添加3 個全連接層（第1～3 全連接層節(jié)點數(shù)量分別為1 024、512、2）。同時，由于此次任務(wù)為二分類任務(wù)（即圖片分類任務(wù)目標(biāo)為鑒別Barrett 食管與正常食管），設(shè)定Sigmoid 激活層作為最終輸出層，從而實現(xiàn)對正常食管與Barrett食管的圖片分類任務(wù)。④設(shè)定反向傳播策略。由于本研究采用特征提取策略，需固定4 個模型的特征提取層參數(shù)，使其不參與網(wǎng)絡(luò)反向傳播。設(shè)定模型的全連接層及輸出層參與參數(shù)反向傳播，進行模型的參數(shù)更新。⑤設(shè)置模型訓(xùn)練超參數(shù)及優(yōu)化策略。通過讀取訓(xùn)練集中經(jīng)預(yù)處理的圖片，對模型進行訓(xùn)練。訓(xùn)練時，模型的部分超參數(shù)及優(yōu)化策略如下：模型學(xué)習(xí)率為0.001，每批圖像處理數(shù)量為16，訓(xùn)練輪次為30，優(yōu)化算法為SDG 算法。為防止Barrett食管內(nèi)鏡圖片分類模型過度擬合訓(xùn)練集數(shù)據(jù)從而導(dǎo)致其泛化能力較差，本研究采用早期停止策略，即訓(xùn)練時若模型連續(xù)3 個訓(xùn)練輪次的誤差均未下降，需停止訓(xùn)練。本研究采用的深度卷積神經(jīng)網(wǎng)絡(luò)基于TensorFlow2.7框架。Barrett食管內(nèi)鏡圖片分類模型的遷移學(xué)習(xí)示意圖詳見圖1，即分為上、下共2個部分：上部為深度卷積神經(jīng)網(wǎng)絡(luò)于ImageNet 數(shù)據(jù)庫中的預(yù)訓(xùn)練過程，下部為深度卷積神經(jīng)網(wǎng)絡(luò)針對Barrett食管內(nèi)鏡圖片分類模型的訓(xùn)練過程；另，中間豎直箭頭表示，在遷移學(xué)習(xí)過程中針對模型各個層次架構(gòu)（特征提取層與輸出層）的具體修改方式。

1.4 Barrett 食管內(nèi)鏡圖片分類模型分類結(jié)果的可視化解釋

深度卷積神經(jīng)網(wǎng)絡(luò)具有“黑盒”性質(zhì)，即網(wǎng)絡(luò)雖具有較高準(zhǔn)確性，但其內(nèi)部工作機制卻難以解釋。本研究采用梯度加權(quán)分類激活映射（gradient-weighted class activation mapping，Grad-CAM）算法，通過獲取內(nèi)鏡圖片于模型輸出層與特征提取層的相對梯度差，表征出最后特征提取層輸出各點位對模型決策的重要程度，以此建立類激活熱力圖。而后，將類激活熱力圖與初始內(nèi)鏡圖片相疊加，從而對模型分類結(jié)果進行可視化解釋。

1.5 Barrett 食管內(nèi)鏡圖片分類模型的評價及其與內(nèi)鏡醫(yī)師分類結(jié)果的比較分析

運用驗證集數(shù)據(jù)，對上述獲得的4 個Barrett食管內(nèi)鏡圖片分類模型的分類能力進行評價；同時，高年資醫(yī)師和低年資醫(yī)師（即擁有5 年及以上內(nèi)鏡診療經(jīng)驗的主治醫(yī)師）亦參與對驗證集數(shù)據(jù)的分類分析，以進一步評價分類模型的分類能力。各個模型及高、低年資醫(yī)師對驗證集數(shù)據(jù)的分類結(jié)果，以混淆矩陣（confusion matrix）形式呈現(xiàn)?；煜仃嚢韵聝?nèi)容：真陽性（true positive，TP）、假陽性（false positive，F(xiàn)P）、真陰性（true negative，TN）、假陰性（false negative，F(xiàn)N）。各個模型及高、低年資醫(yī)師的分類結(jié)果采用以下評價指標(biāo)：準(zhǔn)確性（accuracy）、召回率（recall）、精確性（precision）、F1 值（F1-score）及曲線下面積（area under the curve，AUC）。此外，采用卡帕系數(shù)（Kappa coefficient）評價各個模型及高、低年資醫(yī)師之間的分類一致性，當(dāng)卡帕系數(shù)>0.600時被認(rèn)為擁有較好的分類一致性。

2 結(jié)果

2.1 Barrett食管內(nèi)鏡圖片分類模型評價

將已構(gòu)建完成的4 個Barrett食管內(nèi)鏡圖片分類模型于驗證集數(shù)據(jù)中進行分類能力評價。結(jié)果發(fā)現(xiàn)，各模型均擁有較高的分類準(zhǔn)確性，平均分類準(zhǔn)確性為0.852；且均具有較高的分類精確性，平均分類精確性為0.846。與其余3 種模型相比，NASNetL 模型擁有最高的分類準(zhǔn)確性（0.873） 和分類精確性（0.867），為表現(xiàn)最優(yōu)模型。各模型分類情況混淆矩陣及具體評價指標(biāo)見表1。

2.2 Barrett 食管內(nèi)鏡圖片分類模型與高、低年資醫(yī)師分類能力的比較分析

于驗證集數(shù)據(jù)中，高、低年資內(nèi)鏡醫(yī)師均表現(xiàn)出較好的分類能力，其平均分類準(zhǔn)確性為0.868、平均分類精確性為0.860，且其平均分類能力均優(yōu)于上述4 個模型的平均分類能力。內(nèi)鏡醫(yī)師分類情況混淆矩陣及具體評價指標(biāo)見表2。

表2 高、低年資醫(yī)師在驗證集中的分類能力分析Tab 2 Analysis of classification ability of the senior and junior physicians in the validation set

通過將Barrett食管內(nèi)鏡圖片分類模型與不同年資醫(yī)師在驗證集數(shù)據(jù)中的分類結(jié)果進行比較，我們發(fā)現(xiàn)最優(yōu)模型NASNetL 對Barrett 食管內(nèi)鏡圖片擁有近似于高年資醫(yī)師的分類能力，即該模型的分類準(zhǔn)確性（0.873）略低于高年資醫(yī)師分（0.881），而高于低年資醫(yī)師（0.855）；且其分類精確性（0.867）亦略低于高年資醫(yī)師（0.869），而高于低年資醫(yī)師（0.850）。而后，一致性檢驗結(jié)果（表3）顯示，NASNetL 模型與高年資醫(yī)師（Kappa=0.712，P=0.000），低年資醫(yī)師（Kappa=0.695，P=0.000）均擁有較好的分類一致性。

表3 Barrett食管內(nèi)鏡圖片分類模型與高、低年資醫(yī)師于驗證集中的分類結(jié)果的一致性檢驗Tab 3 Consistency test of classification results between of endoscopic image classification models of Barrett's esophagus with senior and junior physicians in the validation set

2.3 Barrett 食管內(nèi)鏡圖片分類模型分類結(jié)果的可視化解釋

本研究采用Grad-CAM 算法，將Barrett食管內(nèi)鏡圖片與類激活熱力圖結(jié)合生成熱力圖，對模型的分類結(jié)果進行可視化解釋。結(jié)果（圖2）顯示，圖中的高亮部分（紅色區(qū)域）為模型進行圖片分類判斷時采納權(quán)重較高的區(qū)域，即模型認(rèn)定的病變區(qū)域；其余淺色部分（淺藍色區(qū)域）為采納權(quán)重較低的區(qū)域，即被判斷為正常區(qū)域。因此，通過觀察熱力圖中不同顏色的分布，即可了解Barrett食管大致病變范圍，從而實現(xiàn)模型分類結(jié)果的可視化解釋。

圖2 Barrett食管內(nèi)鏡圖片分類模型的可視化解釋Fig 2 Visual interpretation of endoscopic image classification models of Barrett's esophagus

3 討論

近些年，伴隨深度學(xué)習(xí)的不斷發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)已逐漸被應(yīng)用于Barrett 食管診斷領(lǐng)域。HONG 等［13］收集236 張Barrett 食管放大內(nèi)鏡圖片，利用深度卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建Barrett 食管病理分型模型，該模型的準(zhǔn)確性達0.81。DE GROOF 等［14］利用494 364 張標(biāo)記的內(nèi)鏡下食管圖像，通過Residual-UNet 構(gòu)建了Barrett 食管瘤變分類模型，結(jié)果顯示該模型診斷的敏感性與特異性分別達0.90與0.88。但目前，使用深度卷積神經(jīng)網(wǎng)絡(luò)進行遷移學(xué)習(xí)、構(gòu)建Barrett食管與正常食管分類模型的研究，在國內(nèi)外鮮有報道。

在深度卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建的過程中，針對小樣本數(shù)據(jù)，遷移學(xué)習(xí)已被廣泛應(yīng)用。自2012 年，AlexNet獲得了ImageNet 競賽冠軍后，卷積神經(jīng)網(wǎng)絡(luò)成為了計算機視覺研究的熱點［15］。得益于大規(guī)模標(biāo)注數(shù)據(jù)集的產(chǎn)生和卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的不斷更新，卷積神經(jīng)網(wǎng)絡(luò)逐漸成為深度學(xué)習(xí)處理圖像問題的主要算法［16］。但目前在醫(yī)學(xué)領(lǐng)域，我們尚缺乏類似ImageNet 數(shù)據(jù)庫的大規(guī)模標(biāo)注數(shù)據(jù)集，從而阻礙了卷積神經(jīng)網(wǎng)絡(luò)在臨床圖像方面的應(yīng)用。針對臨床標(biāo)注圖像數(shù)據(jù)集數(shù)量較少這一問題，遷移學(xué)習(xí)可于其他領(lǐng)域的大規(guī)模標(biāo)注數(shù)據(jù)集上完成對深度卷積神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練，并將預(yù)訓(xùn)練網(wǎng)絡(luò)遷移至小規(guī)模臨床數(shù)據(jù)集，使得僅通過小規(guī)模數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)具有較強的魯棒性及泛化能力。SAMALA 等［17］利用4 039 張數(shù)字乳腺斷層合成圖像（Digital Breast Tomosynthesis，DBT），建立了基于不同訓(xùn)練樣本量的遷移學(xué)習(xí)的乳腺良惡性腫塊深度卷積神經(jīng)網(wǎng)絡(luò)分類模型，并比較模型間的分類能力；研究證實，當(dāng)使用小樣本量數(shù)據(jù)進行遷移學(xué)習(xí)時，深度卷積神經(jīng)網(wǎng)絡(luò)具有較好的分類能力，繼而表明遷移學(xué)習(xí)適用于構(gòu)建小樣本數(shù)據(jù)的深度卷積神經(jīng)網(wǎng)絡(luò)模型。

在本研究中，樣本數(shù)據(jù)量的納入相對較少，若采用傳統(tǒng)的從零訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，勢必會導(dǎo)致模型欠擬合，從而影響模型對Barrett 食管內(nèi)鏡圖片的判斷。因此，我們選擇經(jīng)ImageNet 數(shù)據(jù)集預(yù)訓(xùn)練過的卷積神經(jīng)網(wǎng)絡(luò)（Xception，NASNetL，ResNet及BiT）作為初始網(wǎng)絡(luò)，以實現(xiàn)利用小樣本數(shù)據(jù)構(gòu)建診斷模型的目的。

本研究尚存在一定的不足：①研究樣本量偏少。依靠遷移學(xué)習(xí)，我們利用小樣本量數(shù)據(jù)建立了具有較高準(zhǔn)確性的分類模型，但隨樣本數(shù)量的增加，分類模型的性能仍可提升。后期，我們需積累更多來源的樣本，以進一步提高分類模型的準(zhǔn)確性。②網(wǎng)絡(luò)架構(gòu)相對滯后。除深度卷積神經(jīng)網(wǎng)絡(luò)外，Transformer 這一新架構(gòu)也逐漸被應(yīng)用于計算機視覺且表現(xiàn)優(yōu)異。本研究未納入基于Transformer 架構(gòu)的圖片分類模型，后續(xù)研究可對此架構(gòu)進行探索。

綜上，本研究收集了蘇州大學(xué)附屬第一醫(yī)院消化內(nèi)鏡中心及挪威HyperKvasir 數(shù)據(jù)庫的內(nèi)鏡下食管圖片，利用經(jīng)ImageNet 數(shù)據(jù)庫預(yù)訓(xùn)練的Xception、NASNetL、ResNet和BiT深度卷積神經(jīng)網(wǎng)絡(luò)進行遷移學(xué)習(xí)，建立了Barrett食管內(nèi)鏡圖片分類模型。研究發(fā)現(xiàn)，在建立的4個模型中，NASNetL模型的分類能力與高年資醫(yī)師相仿，且通過Grad-CAM 算法對模型分類結(jié)果進行了可視化解釋。本研究利用遷移學(xué)習(xí)，建立了針對Barrett 食管與正常食管內(nèi)鏡圖片的分類模型，并驗證了使用小樣本數(shù)據(jù)進行醫(yī)學(xué)遷移學(xué)習(xí)、建立分類模型的可行性。該模型有助于內(nèi)鏡醫(yī)師提高Barrett食管的檢出率及準(zhǔn)確性，或?qū)榕R床Barrett食管診斷帶來便利。

利益沖突聲明/Conflict of Interests

所有作者聲明不存在利益沖突。

All authors disclose no relevant conflict of interests.

倫理批準(zhǔn)和知情同意/Ethics Approval and Patient Consent

本研究已通過蘇州大學(xué)附屬第一醫(yī)院科學(xué)倫理委員會的審核批準(zhǔn)（文件號105）。所有研究過程均遵照《涉及人的生物醫(yī)學(xué)研究倫理審查辦法》的條例進行。受試對象或其親屬已經(jīng)簽署知情同意書。

All experimental protocols in this study were reviewed and approved by the scientific ethics committee of the First Affiliated Hospital of Soochow University，（Approval Letter No.105， data 30/3/2022），and all experimental protocols were carried out by following the guidelines ofMeasures for the Ethical Review of Biomedical Research Involving Humans. Consent letters have been signed by the research participants or their relatives.

作者貢獻/Authors'Contributions

朱錦舟、趙鑫參與了研究設(shè)計；林嘉希、汪盛嘉、高欣、殷明月參與了論文的寫作和修改。所有作者均閱讀并同意了最終稿件的提交。

The study was designed by ZHU Jinzhou and ZHAO Xin. The manuscript was drafted and revised by LIN Jiaxi， WANG Shenjia，GAO Xin and YIN Minyue.All the authors have read the last version of paper and consented for submission.

·Received：2022-01-17

·Accepted：2022-03-25

·Published online：2022-05-07