陸建英，沈文娟，顧瑩，沈琳霞，張葉群，袁金丹，張芝芝，許春芳，朱錦舟

（蘇州大學(xué)附屬第一醫(yī)院 消化內(nèi)科，江蘇 蘇州 215000）

痔瘡是肛腸常見病，我國2015年流行病學(xué)調(diào)查顯示，成年人中超過一半患有肛腸疾病，98%有痔瘡癥狀[1]。內(nèi)痔占痔瘡患者的60%，常見癥狀包括：出血、脫垂及肛門瘙癢等[2]。以往，國內(nèi)外在內(nèi)痔診治方面的研究往往是由肛腸外科或中醫(yī)科主導(dǎo)。隨著軟式消化內(nèi)鏡設(shè)備與技術(shù)的飛速發(fā)展，其在內(nèi)痔臨床診療中逐漸發(fā)揮了重要作用。相比傳統(tǒng)的硬式肛腸鏡，利用消化內(nèi)鏡，特別是在胃鏡倒鏡下，觀察肛齒狀線上形態(tài)特征，具有視野廣闊、圖像清晰和操控靈活等優(yōu)點[3]。但由于大多數(shù)消化內(nèi)鏡醫(yī)生缺乏肛腸疾病診療經(jīng)驗，對內(nèi)痔內(nèi)鏡下特征及分級并不熟悉。近年來，基于深度學(xué)習(xí)的人工智能系統(tǒng)在消化內(nèi)鏡診療方面取得了令人矚目的進展[4]。本研究旨在通過建立內(nèi)鏡下內(nèi)痔診斷及危險分級的深度學(xué)習(xí)模型，探討人工智能輔助內(nèi)鏡下內(nèi)痔診療的可行性。

1 資料與方法

1.1 一般資料

本研究納入2020年3月－2022年1月蘇州大學(xué)附屬第一醫(yī)院內(nèi)鏡中心腸鏡檢查患者的資料，根據(jù)2021年中華醫(yī)學(xué)會消化內(nèi)鏡學(xué)分會內(nèi)痔協(xié)作組發(fā)布的“中國消化內(nèi)鏡內(nèi)痔診療指南及操作共識（2021）”[2]，將肛齒狀線上倒鏡圖片分為內(nèi)痔組和正常組（A任務(wù)）。另外，根據(jù)指南中LDRf分類的危險因素[2]，將內(nèi)痔組進一步分為Rf0組、Rf1組和Rf2組（B任務(wù)）。內(nèi)鏡圖像由3名高年資內(nèi)鏡醫(yī)師（ ＞ 10年內(nèi)鏡工作經(jīng)驗）共同判讀，作為內(nèi)痔診斷及分級標(biāo)準(zhǔn)。研究流程見圖1。

圖1 研究流程Fig.1 Flowchart of the study

納入標(biāo)準(zhǔn)：①同意參與本項研究；②采集肛齒狀線上清晰的倒鏡圖像。排除標(biāo)準(zhǔn)：①腸道準(zhǔn)備不佳，影響圖像質(zhì)量；②肛直腸手術(shù)史；③盆腔放療史；④炎癥性腸病活動期；⑤孕婦。本研究經(jīng)蘇州大學(xué)附屬第一醫(yī)院倫理委員會審批通過（批號：2022098）。

1.2 設(shè)備

奧林巴斯260、290機型及富士601機型等。

1.3 資料收集與體格檢查

1.3.1 病史資料①是否存在便血、肛門脫垂和疼痛等情況；②飲食和生活習(xí)慣；③排便的頻率和大便性狀，是否有久坐久蹲等不良生活習(xí)慣等；④個人史、服藥史和家族史等。

1.3.2 體格檢查①肛門區(qū)視診：是否有內(nèi)痔脫垂、外痔和血栓等情況；②直腸指診：是否存在肛門狹窄，觀察指套有無黏液和膿血等。

1.3.3 腸鏡檢查①記錄是否有結(jié)直腸腫瘤、炎癥性腸病和缺血性腸病等情況；②記錄是否有內(nèi)痔，包括：痔核大小、數(shù)量、部位和表面紋理等特征；③有無瘺管和血栓形成等。

1.4 深度學(xué)習(xí)網(wǎng)絡(luò)

1.4.1 圖像輸入原始內(nèi)鏡圖像經(jīng)縮放至相同格式，即：3通道331×331像素，像素值歸一化到0至1。經(jīng)預(yù)處理后進行圖像增強，避免因樣本量小而造成過擬合，而后載入深度學(xué)習(xí)。

1.4.2 模型選擇在Keras模塊或TensorFlow-hub中，獲取經(jīng)ImageNet數(shù)據(jù)庫預(yù)訓(xùn)練后的所需模型，包括：Xception，ResNet50V2（ResNet），EfficientNet-V2s（EfficientNet），Vision Transformer s16（ViT）以及ConvMixer-768/32（ConvMixer）。前三者為卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）框架，后兩者為Transformer框架的深度學(xué)習(xí)網(wǎng)絡(luò)。

1.4.3 遷移學(xué)習(xí)將上述神經(jīng)網(wǎng)絡(luò)，去掉頭端的分類層，僅保留特征提取層。將網(wǎng)絡(luò)框架及參數(shù)凍結(jié)，并在頭端新建5個全連接層（層數(shù)分別為1 024，512，256，64及2）。前4層激活函數(shù)為ReLU，最后輸出層（即模型新分類器）為Sigmoid（A任務(wù)）或ReLU（B任務(wù)）激活函數(shù)。完成遷移學(xué)習(xí)框架的構(gòu)建，利用反向傳播，訓(xùn)練新建層的參數(shù)。

1.4.4 訓(xùn)練參數(shù)在Keras模塊（TensorFlow為其后端）中，部署上述CNN框架或Transformer框架的深度學(xué)習(xí)網(wǎng)絡(luò)，針對A與B兩項計算機視覺任務(wù)，進行遷移學(xué)習(xí)，并建立圖像分類模型。訓(xùn)練過程采用Adam優(yōu)化器，雙交叉熵損失函數(shù)，固定0.0001的學(xué)習(xí)率。此外，圖像載入批量化，每批為32張。

1.4.5 模型評價包括：準(zhǔn)確率、召回率、精確度、F1值及讀片時間。讀片結(jié)果與兩位不同年資的內(nèi)鏡醫(yī)生（低年資：＜5年內(nèi)鏡工作經(jīng)驗；高年資： ＞ 10年內(nèi)鏡工作經(jīng)驗）進行比較。

1.4.6 模型可視化為了理解計算機視覺模型在圖像任務(wù)中的分類依據(jù)，筆者采用了梯度加權(quán)分類激活映 射 （gradient-weighted class activation mapping，Grad-CAM）方法進行可視化解釋[5]，即在原始圖片基礎(chǔ)上繪制熱力圖，展示深度學(xué)習(xí)模型對內(nèi)痔內(nèi)鏡圖片的理解。

1.4.7 實驗平臺以上模型建立、訓(xùn)練及評價過程，均在Python（3.9版本）中實現(xiàn)。深度學(xué)習(xí)采用的是TensorFlow平臺（2.8.0）。實驗硬件條件為Mac mini，具有8核Apple M1處理器（內(nèi)建GPU），16 G內(nèi)存。

2 結(jié)果

2.1 深度學(xué)習(xí)模型在內(nèi)痔診斷（A任務(wù)）中的表現(xiàn)

對于肛齒狀線上倒鏡圖片，3個CNN框架網(wǎng)絡(luò)和2個Transformer框架網(wǎng)絡(luò)在區(qū)分正常組和內(nèi)痔組（即A任務(wù)）中皆展現(xiàn)出較好的表現(xiàn)。其中，最優(yōu)模型為ConvMixer，在驗證集上準(zhǔn)確性最高（0.961），同時其召回率（0.955）、精確度（0.914）以及F1值（0.934）均最高。見圖2。

圖2 深度學(xué)習(xí)模型與內(nèi)鏡醫(yī)生在驗證集中A任務(wù)的表現(xiàn)Fig.2 Performance of deep learning models and endoscopists in the A task in the validation dataset

2.2 深度學(xué)習(xí)模型在內(nèi)痔分級（B任務(wù)）中的表現(xiàn)

上述5種深度學(xué)習(xí)模型在B任務(wù)測試集中也表現(xiàn)良好。最優(yōu)模型仍為ConvMixer，其在驗證集上準(zhǔn)確性最高（0.911）。見圖3。

圖3 深度學(xué)習(xí)模型與內(nèi)鏡醫(yī)生在驗證集中B任務(wù)的表現(xiàn)Fig.3 Performance of deep learning models and endoscopists in the B task in the validation dataset

2.3 深度學(xué)習(xí)模型與內(nèi)鏡醫(yī)師的表現(xiàn)比較

在A任務(wù)中，最佳模型ConvMixer（0.961）以及EfficientNet（0.956）在準(zhǔn)確性方面均優(yōu)于高年資內(nèi)鏡醫(yī)生（0.952）；所有深度學(xué)習(xí)模型優(yōu)于低年資內(nèi)鏡醫(yī)生（0.913）。在B任務(wù)中，模型ConvMixer（0.911）、EfficientNet（0.901）以及ViT（0.891）的準(zhǔn)確性均優(yōu)于高年資內(nèi)鏡醫(yī)生（0.881）；所有深度學(xué)習(xí)模型均優(yōu)于低年資內(nèi)鏡醫(yī)生（0.832）。

2.4 深度學(xué)習(xí)模型與內(nèi)鏡醫(yī)師在驗證集中的讀片用時

在A與B任務(wù)中，所有深度學(xué)習(xí)模型在驗證集中讀片用時均＜10 s，速度快于內(nèi)鏡醫(yī)生（均 ＞ 300 s）。見圖4。

圖4 深度學(xué)習(xí)模型與內(nèi)鏡醫(yī)生在2項任務(wù)驗證集中的讀片用時（s）Fig. 4 Reading time of deep learning models and endoscopists in the validation dataset （s）

2.5 深度學(xué)習(xí)可解釋性呈現(xiàn)

采用Grad-CAM方法為內(nèi)鏡圖片生成可視化激活圖，通過對原始圖像著色來突出圖像中對模型判斷較重要的區(qū)域。3組內(nèi)痔圖片中，最左側(cè)為原始內(nèi)鏡圖像，中間為神經(jīng)網(wǎng)絡(luò)特征提取輸出層的像素化激活層（即熱力圖），最右側(cè)為原始圖像基礎(chǔ)上覆蓋了可視化激活層（即熱力圖），呈現(xiàn)的是模型判斷出的病變部位，橘紅色部分為深度學(xué)習(xí)模型判斷依據(jù)的高權(quán)重區(qū)域，即：模型認(rèn)為內(nèi)痔在圖像中的位置。見圖5。

圖5 Grad-CAM可視化激活圖Fig.5 The visualized heatmaps of Grad-CAM

3 討論

3.1 內(nèi)痔的傳統(tǒng)診治方法

傳統(tǒng)的內(nèi)痔診治工作往往由肛腸外科或中醫(yī)科通過肛門鏡實現(xiàn)。由于肛門鏡的直視硬鏡工作原理，其應(yīng)用受到視野較窄和操作不靈活等缺點的限制[6-7]。近年來，消化內(nèi)鏡診療飛速發(fā)展，臨床上將成熟的內(nèi)鏡技術(shù)運用在肛腸疾病中。通過電子軟鏡進行內(nèi)痔等肛腸疾病的診療，具有以下優(yōu)勢：兼具正鏡和倒鏡，操作視野較好；可借助窄帶成像技術(shù)、放大內(nèi)鏡和超聲內(nèi)鏡等，了解病變性質(zhì)、結(jié)構(gòu)及范圍等信息；能同時行全結(jié)腸檢查，明確結(jié)直腸其他疾患；減少并發(fā)癥，患者痛苦少，術(shù)后恢復(fù)快[2，8]。2021年發(fā)布的消化內(nèi)鏡內(nèi)痔診療指南[2]，進一步規(guī)范了消化內(nèi)鏡下內(nèi)痔的微創(chuàng)診療方法。

3.2 內(nèi)痔的臨床表現(xiàn)

內(nèi)痔最常見的臨床表現(xiàn)是出血和脫垂，嚴(yán)重影響著患者的生活質(zhì)量。長期反復(fù)便血或者急性大出血，可導(dǎo)致繼發(fā)性貧血，情況危重者甚至出現(xiàn)休克等癥狀，需要急診手術(shù)干預(yù)。因此，提早識別內(nèi)痔，進行危險分級，對于內(nèi)痔患者的臨床管理尤為重要。令狐恩強等[9]對內(nèi)鏡下內(nèi)痔表現(xiàn)提出了LDRf標(biāo)準(zhǔn)，對內(nèi)痔危險因素進行了分級。本研究旨在建立針對內(nèi)鏡下內(nèi)痔診斷及危險分級的深度學(xué)習(xí)模型，以探討人工智能輔助內(nèi)痔診療的可行性。

3.3 人工智能的臨床應(yīng)用

隨著臨床數(shù)據(jù)的指數(shù)級增長，同時機器學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)新算法（即深度學(xué)習(xí)）的出現(xiàn)，人工智能在醫(yī)療實踐中的應(yīng)用也得到了快速發(fā)展，并取得了一系列矚目的成績。人工智能在消化內(nèi)鏡中的應(yīng)用，集中在計算機視覺的圖像任務(wù)[10]。其中，已進入或接近臨床應(yīng)用階段的技術(shù)包括：結(jié)直腸息肉的智能檢測[11]，消化道早癌的輔助識別[12]，膠囊內(nèi)鏡視頻篩查[13]，以及內(nèi)鏡檢查質(zhì)量控制[14]等。目前，國內(nèi)外對深度學(xué)習(xí)應(yīng)用于內(nèi)鏡下內(nèi)痔輔助診療的相關(guān)報道較罕見。

本研究收集本院內(nèi)鏡中心的肛齒狀線上倒鏡圖片，根據(jù)最新指南[2]，選用基于CNN框架和Transformer框架的多個深度學(xué)習(xí)模型，對內(nèi)痔進行診斷和分級任務(wù)訓(xùn)練。結(jié)果顯示：深度學(xué)習(xí)模型在判斷正常與內(nèi)痔內(nèi)鏡照片中，準(zhǔn)確性優(yōu)于不同年資的內(nèi)鏡醫(yī)生；同時，根據(jù)內(nèi)鏡下內(nèi)痔LDRf危險分級的分類判斷中，深度學(xué)習(xí)模型同樣優(yōu)于內(nèi)鏡醫(yī)生。此外，在讀片用時方面，深度學(xué)習(xí)模型速度快于內(nèi)鏡醫(yī)生。最后，為避免深度學(xué)習(xí)“黑盒”的不可解釋性，筆者通過Grad-CAM方法呈現(xiàn)了模型對圖片的判斷依據(jù)，高亮出模型認(rèn)為的內(nèi)痔所在區(qū)域。

綜上所述，收集肛齒狀線上倒鏡圖像，建立內(nèi)痔診斷和危險分級的人工智能模型，經(jīng)模型訓(xùn)練及驗證后，發(fā)現(xiàn)深度學(xué)習(xí)模型在準(zhǔn)確性和讀片速度方面均優(yōu)于內(nèi)鏡醫(yī)生?；谏疃葘W(xué)習(xí)的計算機視覺模型可輔助內(nèi)鏡醫(yī)師進行內(nèi)痔診斷和分級，展現(xiàn)出潛在的臨床應(yīng)用前景。