WANG Gang, 王洪敏, 王善志, 朱永俊, 柳明杰

糖尿病患者常并發(fā)糖尿病視網(wǎng)膜病變(diabetic retinopathy,DR),嚴(yán)重者會(huì)導(dǎo)致視力喪失,其在視網(wǎng)膜區(qū)域可表現(xiàn)為血管擴(kuò)張、滲漏、出血、組織水腫和微動(dòng)脈瘤等[1]。DR的早期診治對(duì)預(yù)防視力喪失具有重要意義,目前臨床上常通過(guò)數(shù)碼眼底彩色照相、光學(xué)相干斷層掃描(optical coherence tomography,OCT)和眼底熒光血管造影(fundus fluorescein angiography,FFA)等進(jìn)行DR診斷[2],診斷過(guò)程往往需要臨床醫(yī)師花費(fèi)大量時(shí)間和精力重復(fù)地進(jìn)行觀察和辨別,且診斷結(jié)果容易受主觀因素影響[3]。近年來(lái)DR患病率和致盲率持續(xù)增高也對(duì)傳統(tǒng)DR診察方法提出了新的挑戰(zhàn)[4]。隨著計(jì)算機(jī)技術(shù)的發(fā)展,不少研究者致力于建立高度準(zhǔn)確的深度學(xué)習(xí)模型來(lái)檢測(cè)DR的發(fā)展階段[5]。目前,業(yè)界已有不少深度學(xué)習(xí)模型可以完成醫(yī)療相關(guān)圖片的診斷和識(shí)別,但是仍較難兼顧高準(zhǔn)確率和高效率。本研究使用Liu等[6]提出的Swin Transformer模型來(lái)對(duì)DR的嚴(yán)重程度進(jìn)行評(píng)價(jià),探討該模型應(yīng)用于視網(wǎng)膜眼底圖片分類的可能性,并將其與其他已經(jīng)應(yīng)用于醫(yī)學(xué)影像分類的模型進(jìn)行對(duì)比,現(xiàn)報(bào)道如下。

1 資料與方法

1.1數(shù)據(jù)收集 本研究所用DR圖像來(lái)自于數(shù)據(jù)建模及數(shù)據(jù)分析競(jìng)賽平臺(tái)(https://www.kaggle.com/competitions/aptos2019-blindness-detection),下載APTOS 2019 Blindness Detection競(jìng)賽的訓(xùn)練數(shù)據(jù)集后得到PNG格式的眼底圖片共3 662張,每張圖片大小為217～7 495 KB,共8.01 GB。數(shù)據(jù)對(duì)應(yīng)的病變等級(jí)和類別分布見表1。

表1 原始數(shù)據(jù)集的類別分布

1.2Swin Transformer和對(duì)比模型的訓(xùn)練方法 應(yīng)用Swin Transformer的Tiny架構(gòu)和其他4種對(duì)比模型進(jìn)行試驗(yàn)。模型訓(xùn)練的方法見圖1。

1.2.1 數(shù)據(jù)預(yù)處理 原始數(shù)據(jù)集中的類別分布嚴(yán)重不平衡會(huì)導(dǎo)致過(guò)擬合的問(wèn)題,所以對(duì)于等級(jí)標(biāo)簽為1～4的眼底圖片,使用OpenCV的函數(shù)庫(kù),通過(guò)40°～280°的角度旋轉(zhuǎn)、更改亮度和直方圖均衡化三種方法的隨機(jī)組合來(lái)進(jìn)行數(shù)據(jù)增廣[7]。數(shù)據(jù)增廣后的數(shù)據(jù)集分布見表2。其中包含9 160張圖片,類別分布平衡,將其按7∶2∶1的比例隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,圖像數(shù)量分別為6 415張、1 831張和914張。訓(xùn)練集、驗(yàn)證集和測(cè)試集彼此不交叉。數(shù)據(jù)集中與DR等級(jí)相對(duì)應(yīng)的樣本圖像見圖2。

圖1 訓(xùn)練方法示意圖

表2 數(shù)據(jù)增廣后數(shù)據(jù)集的類別分布

圖2 數(shù)據(jù)集中與DR等級(jí)相對(duì)應(yīng)的樣本圖像

1.2.2 Swin Transformer模型設(shè)計(jì) 本文將Swin Transformer的Tiny架構(gòu)應(yīng)用于DR病變等級(jí)分類。采用Liu等[6]的研究設(shè)計(jì),將眼底圖片分割為不重疊的圖塊,通過(guò)展平和線性嵌入將其轉(zhuǎn)換為圖塊序列。然后將生成的圖塊序列輸入到4個(gè)階段組成的層次化結(jié)構(gòu)中,每個(gè)層次都包含成對(duì)出現(xiàn)的Swin Transformer Block(每一對(duì)分別是窗口多頭自注意力模塊和對(duì)窗口進(jìn)行移位的多頭自注意力模塊,前者輸出給后者)。最后經(jīng)過(guò)平均池化和線性分類層,輸出病變等級(jí)結(jié)果。DR分類模型結(jié)構(gòu)見圖3。

H:輸入圖片的高度;W:輸入圖片的寬度;C:向量的維度

1.2.3 試驗(yàn)環(huán)境 硬件環(huán)境:Intel(R) Xeon(R) CPU E5-2680 v4處理器,28核;28 G內(nèi)存;NVIDIA GeForce RTX 3090 24 G顯卡。軟件環(huán)境:Ubuntu 20.04.3 LTS(GNU/Linux 5.4.0-128-generic x86_64)操作系統(tǒng);Python 3.8編程語(yǔ)言;OpenCV圖像處理庫(kù);PyTorch 1.12.0深度學(xué)習(xí)框架;CUDA 11.3 GPU計(jì)算架構(gòu)。

1.2.4 模型訓(xùn)練 為了比較不同的模型架構(gòu)在相同數(shù)據(jù)集下的訓(xùn)練結(jié)果,本文將試驗(yàn)分為三個(gè)步驟進(jìn)行:(1)使用預(yù)訓(xùn)練的Swin Transformer-Tiny模型對(duì)患者眼底圖片進(jìn)行DR分類訓(xùn)練。(2)與預(yù)訓(xùn)練的Vision Transformer[8]、EfficientNetV2-S[9]、ResNet-50[10]和GoogLeNet[11]四個(gè)經(jīng)典模型進(jìn)行對(duì)比試驗(yàn)。(3)與不進(jìn)行預(yù)訓(xùn)練的Swin Transformer-Tiny模型進(jìn)行對(duì)比試驗(yàn),分析預(yù)訓(xùn)練數(shù)據(jù)集ImageNet-1K是否對(duì)眼底圖片的訓(xùn)練有促進(jìn)作用。所有模型均使用同樣的超參數(shù)進(jìn)行訓(xùn)練,具體參數(shù)見表3。訓(xùn)練完成后,將訓(xùn)練好的最優(yōu)模型在測(cè)試集上測(cè)試,得到分類結(jié)果,并使用準(zhǔn)確率、精確率、召回率(即臨床研究中的靈敏度)、特異度、F1分?jǐn)?shù)、二次加權(quán)Kappa、混淆矩陣[12]、ROC曲線[13-14]和AUC[15]來(lái)評(píng)估和展示模型性能,并依據(jù)美國(guó)食品藥品監(jiān)督管理局(Food and Drug Administration,FDA)評(píng)估人工智能算法的標(biāo)準(zhǔn)來(lái)評(píng)估模型是否理想,其標(biāo)準(zhǔn)的閾值為召回率>85%,特異度>82.5%[16]。上述(1)和(2)步驟中的所有模型初始化后都加載對(duì)應(yīng)的預(yù)訓(xùn)練參數(shù)文件,這些文件中包含了各個(gè)模型在ImageNet-1K數(shù)據(jù)集上訓(xùn)練后學(xué)習(xí)到的權(quán)重值和偏置值。輸入的圖片統(tǒng)一被隨機(jī)剪裁、隨機(jī)翻轉(zhuǎn)和歸一化后進(jìn)入模型進(jìn)行試驗(yàn)對(duì)比,如果每個(gè)模型訓(xùn)練的損失和準(zhǔn)確率開始收斂,則訓(xùn)練結(jié)束。步驟(1)和(2)的試驗(yàn)都在100輪訓(xùn)練內(nèi)就完成了收斂。步驟(3)的試驗(yàn)在500輪訓(xùn)練內(nèi)收斂。

表3 模型超參數(shù)

2 結(jié)果

2.1基于預(yù)訓(xùn)練的Swin Transformer模型的試驗(yàn)結(jié)果 基于預(yù)訓(xùn)練的Swin Transformer模型的訓(xùn)練過(guò)程見圖4。訓(xùn)練完成后在測(cè)試集上的準(zhǔn)確率為94.6%。分類結(jié)果繪制的混淆矩陣見圖5,ROC曲線見圖6,使用宏平均ROC曲線的AUC作為模型的最終AUC,其值為0.996。從圖4結(jié)果可知,模型在訓(xùn)練集的損失值為0.056。每個(gè)DR分類對(duì)應(yīng)的評(píng)估指標(biāo)(精確率、召回率、特異度和F1分?jǐn)?shù)等)結(jié)果見表4。提示試驗(yàn)?zāi)Ｐ蛯?duì)DR等級(jí)分類的效果理想。由圖5結(jié)果可知,該模型的二次加權(quán)Kappa值為0.977,提示模型分類的等級(jí)結(jié)果與真實(shí)值之間有很好的一致性。AUC值達(dá)到0.996,提示該模型具有很高的分類性能。綜上結(jié)果表明,該模型能夠?qū)R病變等級(jí)進(jìn)行正確分類。

圖4 Swin Transformer模型的訓(xùn)練過(guò)程圖

圖5 Swin Transformer模型在測(cè)試集預(yù)測(cè)結(jié)果的混淆矩陣圖

圖6 Swin Transformer模型在測(cè)試集預(yù)測(cè)結(jié)果的ROC曲線圖

2.2不同模型測(cè)試結(jié)果比較 不同模型在測(cè)試集預(yù)測(cè)結(jié)果的評(píng)估指標(biāo)見表4,模型結(jié)構(gòu)和運(yùn)行的評(píng)估指標(biāo)見表5。數(shù)據(jù)結(jié)果提示本研究使用的Swin Transformer模型優(yōu)于其他模型,具有最高的精確率、召回率、特異度、F1分?jǐn)?shù)、準(zhǔn)確率和二次加權(quán)Kappa值。準(zhǔn)確率相較于Vision Transformer、EfficientNetV2、ResNet-50和GoogLeNet模型分別提高了1.9%、2.3%、5.4%和7.1%。與同樣是基于自注意力機(jī)制的Vision Transformer模型相比,其訓(xùn)練速度更快,運(yùn)算量更少,可支持更大的單次訓(xùn)練樣本量。

表5 不同模型結(jié)構(gòu)和運(yùn)行的評(píng)估結(jié)果

2.3預(yù)訓(xùn)練對(duì)Swin Transformer模型最高準(zhǔn)確率和訓(xùn)練輪次的影響 不進(jìn)行預(yù)訓(xùn)練,而是將隨機(jī)初始化全部參數(shù)用來(lái)進(jìn)行訓(xùn)練的Swin Transformer模型,其訓(xùn)練100輪并未見收斂,調(diào)整總訓(xùn)練為500輪的訓(xùn)練在450輪附近模型收斂。測(cè)試集的對(duì)比結(jié)果見表6,模型的訓(xùn)練過(guò)程對(duì)比見圖7。由圖7可知,在未做預(yù)訓(xùn)練的Swin Transformer模型訓(xùn)練100輪后未見收斂,測(cè)試集的準(zhǔn)確率只達(dá)到68.1%,與預(yù)訓(xùn)練模型比較相差26.5%?？傆?xùn)練為500輪的訓(xùn)練結(jié)果準(zhǔn)確率最高達(dá)到90.2%,但與預(yù)訓(xùn)練模型比較仍然相差4.4%,且訓(xùn)練輪次明顯增加。提示預(yù)訓(xùn)練可以使模型快速收斂,節(jié)省大量的訓(xùn)練時(shí)間。

表6 Swin Transformer模型預(yù)訓(xùn)練與非預(yù)訓(xùn)練的對(duì)比結(jié)果

圖7 “預(yù)訓(xùn)練”與“非預(yù)訓(xùn)練”的訓(xùn)練過(guò)程對(duì)比圖

3 討論

3.1數(shù)碼眼底彩色照相、FFA和OCT等常用DR診斷方法都是輔以現(xiàn)代化存儲(chǔ)介質(zhì),將患者眼底影像呈現(xiàn)給專業(yè)的醫(yī)師,醫(yī)師根據(jù)經(jīng)驗(yàn)及診斷標(biāo)準(zhǔn)給出相應(yīng)的診斷。而醫(yī)師的工作是依據(jù)腦部存儲(chǔ)的相關(guān)專業(yè)知識(shí),對(duì)影像資料進(jìn)行描述和判斷。深度學(xué)習(xí)是通過(guò)計(jì)算機(jī)技術(shù)構(gòu)建一個(gè)包含幾億甚至更多參數(shù)的神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)通過(guò)不斷的迭代訓(xùn)練,學(xué)習(xí)到大量的輸入特征和判別結(jié)果之間的對(duì)應(yīng)關(guān)系,并將之轉(zhuǎn)換為數(shù)值保存下來(lái)。然后,使用這些學(xué)習(xí)到的“知識(shí)”對(duì)新輸入的特征資料進(jìn)行分析,預(yù)測(cè)出對(duì)應(yīng)的結(jié)果。兩者在邏輯及操作層面極具相似性,故以深度學(xué)習(xí)為代表的人工智能必將推動(dòng)醫(yī)學(xué)的發(fā)展。

3.2目前在醫(yī)療領(lǐng)域,深度學(xué)習(xí)在醫(yī)學(xué)圖像和信號(hào)處理、計(jì)算機(jī)輔助檢測(cè)與診斷、臨床決策支持、醫(yī)療信息挖掘和檢索等方面取得了一些成果,展現(xiàn)出了極大的應(yīng)用前景[17]。醫(yī)學(xué)圖像的處理任務(wù)主要包括圖像分類、圖像分割、目標(biāo)識(shí)別等。在圖像分類任務(wù)中,從卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)到Transformer[18]這一路發(fā)展的過(guò)程中,有很多深度學(xué)習(xí)模型出現(xiàn)。Gulshan等[19]提出了一種使用10個(gè)CNN(預(yù)訓(xùn)練的Inception-v3)診斷糖尿病性黃斑水腫(diabetic macular edema,DME)和DR的方法。該模型在Eyepacs-1和Messidor-2數(shù)據(jù)集中分別具有93.4%和93.9%的特異度以及97.5%和96.1%的敏感度。Bodapati等[20]開發(fā)了一種包含門控注意力機(jī)制的復(fù)合深度神經(jīng)網(wǎng)絡(luò)對(duì)DR進(jìn)行診斷,該網(wǎng)絡(luò)從多個(gè)預(yù)訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)抽取眼底視網(wǎng)膜彩色圖像的特征,其準(zhǔn)確率為82.54%,Kappa值為0.79。李瓊等[21]在AlexNet網(wǎng)絡(luò)的基礎(chǔ)上,在網(wǎng)絡(luò)的每一個(gè)卷積層和全連接層前引入一個(gè)批歸一化層,得到網(wǎng)絡(luò)層次更復(fù)雜的深度卷積神經(jīng)網(wǎng)絡(luò)BNnet。該模型將糖尿病視網(wǎng)膜圖像按照病變程度分為5類,準(zhǔn)確率達(dá)到93%。除了基于CNN的方法之外,學(xué)者們還提出了基于注意力機(jī)制的深度學(xué)習(xí)方法,在視覺任務(wù)上也取得了巨大成功。其中Dosovitskiy等[8]提出的Vision Transformer模型驗(yàn)證了不依賴CNN,將注意力機(jī)制應(yīng)用于圖像塊序列可以更好地對(duì)圖像進(jìn)行分類。

3.3上述模型訓(xùn)練耗時(shí)長(zhǎng),且對(duì)計(jì)算機(jī)硬件有著很高的要求,精確率已經(jīng)落后于新興模型。本研究使用基于預(yù)訓(xùn)練的Swin Transformer DR診斷模型,其多層次結(jié)構(gòu)、注意力機(jī)制和移動(dòng)窗口機(jī)制的引入可以獲取多尺寸的特征,對(duì)比其他分類模型,準(zhǔn)確率有不同程度的提升。對(duì)比基于自注意力機(jī)制的Vision Transformer模型,該模型收斂速度更快,對(duì)硬件要求更低。在試驗(yàn)過(guò)程中,針對(duì)原始數(shù)據(jù)集分類不平衡的問(wèn)題,通過(guò)角度旋轉(zhuǎn)、更改亮度和直方圖均衡化對(duì)數(shù)據(jù)集進(jìn)行增廣,避免了模型訓(xùn)練產(chǎn)生過(guò)擬合的問(wèn)題。本研究構(gòu)建的模型使用的預(yù)訓(xùn)練權(quán)重是在ImageNet-1K的數(shù)據(jù)集中訓(xùn)練得來(lái),盡管ImageNet-1K數(shù)據(jù)集中并沒有人類眼底圖片的樣本,但是預(yù)訓(xùn)練權(quán)重是通過(guò)海量數(shù)據(jù)訓(xùn)練得來(lái)的,機(jī)器模型可以很好地學(xué)習(xí)到數(shù)據(jù)中的普遍特征,獲得更好的泛化效果?？梢?即使是糖尿病患者眼底圖片的DR分類,也可以通過(guò)遷移學(xué)習(xí)得到更高的準(zhǔn)確率和更快的訓(xùn)練速度。本文使用的模型具有94.6%的準(zhǔn)確率,可以為醫(yī)療機(jī)構(gòu)建立自己的智能輔助醫(yī)療系統(tǒng)提供支撐,對(duì)于硬件性能不高,或者訓(xùn)練集需要頻繁更新的醫(yī)療機(jī)構(gòu),該模型和試驗(yàn)方法也具有很好的指導(dǎo)作用。

綜上所述,基于預(yù)訓(xùn)練的Swin Transformer深度學(xué)習(xí)模型在DR的診斷方面具有巨大的應(yīng)用潛力,在醫(yī)學(xué)影像診斷和疾病評(píng)估方面將會(huì)有新突破和快速進(jìn)展。但本研究所構(gòu)建的模型與臨床要求還有一定的差距,因此在后續(xù)的工作中將進(jìn)一步調(diào)整圖像預(yù)處理算法來(lái)突出病變特征,嘗試調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)一步提高檢測(cè)識(shí)別率。