楊文意 陳雯 周蘭 鄭伯川

摘 要：基于卷積神經(jīng)網(wǎng)絡的視網(wǎng)膜黃斑病變自動識別技術可輔助眼科醫(yī)生診斷黃斑病變。為解決黃斑病變區(qū)域小和特征不明顯導致黃斑病變類型不易識別的問題，提出了一種用于黃斑病變分類的改進卷積神經(jīng)網(wǎng)絡模型。首先，加入多尺度特征融合模塊，將帶有不同感受野的特征圖進行拼接，從而提取更加豐富的黃斑病變特征；其次，增加注意力機制，有效抑制冗余特征的同時增加對病變區(qū)域的關注；最后，引入有效樣本加權損失函數(shù)，充分學習少樣本類別的病變特征，從而解決數(shù)據(jù)樣本不平衡問題。實驗證明，在UCSD視網(wǎng)膜黃斑病變數(shù)據(jù)集上，提出的模型進一步提高了黃斑病變的分類效果，分類準確率達到了97.60%，能夠更加有效地輔助眼科醫(yī)生診斷黃斑病變，提高診療效率。

關鍵詞：光學相關斷層掃描；視網(wǎng)膜；黃斑；深度學習；卷積神經(jīng)網(wǎng)絡

中圖分類號：TP391 文獻標志碼：A 文章編號：1673-5072（2023）03-0318-08

黃斑區(qū)是視網(wǎng)膜的一個重要區(qū)域，主要與視功能有關。視網(wǎng)膜黃斑病變嚴重損害中心視力，甚至致盲。因此在臨床工作中準確識別黃斑病變類型，根據(jù)病變類型確定治療方案十分重要。最常見的視網(wǎng)膜病變有脈絡膜新生血管（Choroidal Neovascularization，CNV）、玻璃膜疣（DRUSEN）和糖尿病性黃斑水腫（Diabetic Macular Edema，DME）。光學相干斷層掃描（Optical Coherence Tomography，OCT）是一種非接觸、高分辨率層析和生物顯微鏡成像設備，可便捷無創(chuàng)地對眼底進行成像，已成為眼科醫(yī)生診斷黃斑疾病的重要工具。然而黃斑病變特征不明顯，人工識別黃斑病變不僅耗時耗力，還易受主觀意識影響而導致判斷錯誤。近年來，隨著人工智能技術的發(fā)展，基于深度神經(jīng)網(wǎng)絡的圖像分類技術已經(jīng)能夠?qū)D像進行較準確的分類，分類準確率已經(jīng)不低于甚至超過人眼識別。因此，使用人工智能自動檢測黃斑病變類型，能夠輔助眼科醫(yī)生進行臨床診斷，提高診療效率，減少誤診漏診。

近年來，人工智能已廣泛應用于視網(wǎng)膜黃斑病變分類及分割當中，主要分為兩類方法：傳統(tǒng)的機器學習方法［1-3］和深度神經(jīng)網(wǎng)絡方法［4-8］。傳統(tǒng)的機器學習方法依賴于圖像預處理，使用特征描述子甚至人工進行特征提取，分類結果往往不夠理想。而深度神經(jīng)網(wǎng)絡方法通過對數(shù)據(jù)的學習可自動提取特征，性能往往優(yōu)于傳統(tǒng)的機器學習方法。2017年，Lee等［9］基于私人視網(wǎng)膜OCT圖像數(shù)據(jù)集，利用VGG16模型對黃斑病變進行分類，首次使用深度網(wǎng)絡模型將視網(wǎng)膜黃斑OCT圖像分類為正常黃斑（NORMAL）和年齡相關性黃斑變性。2018年，Kermany等［10］基于InceptionV3網(wǎng)絡模型，使用遷移學習方法實現(xiàn)了對UCSD數(shù)據(jù)集的分類，總體準確率達到了96.60%。2020年，張?zhí)砀５龋?1］使用深度可分離卷積構建了RongheNet模型并對UCSD數(shù)據(jù)集進行分類，總體準確率達到了97.00%。以上方法在黃斑病變分類上均取得了較好的結果，但仍有待提升之處：（1）許多模型參數(shù)量大，需要大量的數(shù)據(jù)訓練，訓練時間長，對設備要求高，用一般設備較難訓練；（2）不同黃斑病變種類的病變區(qū)域大小不一，DRUSEN的病變區(qū)域小，且樣本較少，分類準確率有待提高。

本文針對以上兩點，以加州大學圣地亞哥分校廣州婦幼醫(yī)學中心提供的UCSD數(shù)據(jù)集［10］為研究對象，以準確分類CNV、DRUSEN、DMEN和NORMAL為主要內(nèi)容展開研究，并做出如下貢獻：

1）基于多尺度融合機制建立了分類網(wǎng)絡，充分提取黃斑圖像特征，提升黃斑病變的分類準確率。

2）加入通道注意力機制，消除冗余信息，加大對黃斑病變區(qū)域信息的關注，進一步提升對黃斑病變分類的準確率。

3）引入加權損失函數(shù)，解決UCSD數(shù)據(jù)集樣本不平衡問題，少樣本的特征得到更加充分的學習，提升了少樣本類別的召回率，降低了該病變類別的漏診率。

1 本文方法

GoogleNet模型［12-14］采用了Inception結構，是2014年ILSVRC比賽中獲得冠軍的模型。Inception結構增加了模型的寬度，融合不同尺度的特征，提取到更加豐富的特征，從而提升了網(wǎng)絡模型的性能。隨后對Inception結構經(jīng)過多次改進，分別發(fā)展出InceptionV1—V4。其中InceptionV3模型由5個不同的Inception模塊堆疊而成。針對黃斑病變區(qū)域大小不一的情況，本文通過堆疊InceptionV3中的2個Inception模塊構成新的網(wǎng)絡模型，簡化InceptionV3網(wǎng)絡模型，并減少其參數(shù)量，使模型訓練變得更容易的同時，能夠提取豐富的多尺度特征來學習不同大小的病變區(qū)域特征。針對黃斑病變OCT圖像的病變區(qū)域較小、冗余信息較多的問題，本文在簡化后的模型中加入通道注意力機制，消除大量冗余信息，進一步提取更加關注病變區(qū)域的特征。由于UCSD數(shù)據(jù)集的樣本不平衡，少樣本的黃斑病變特征得不到充分學習，少樣本類別存在較大的漏診率，因此，在模型訓練中加入加權損失函數(shù)，使得模型更加關注較少樣本量的類別，緩解數(shù)據(jù)不平衡問題帶來的弊端。改進的分類網(wǎng)絡如圖1所示，由特征提取模塊與分類模塊組成，相較于InceptionV3，減少了網(wǎng)絡模型的深度與復雜度，同時增加了注意力機制。模型輸入是通道數(shù)為3，分辨率為224×224的黃斑病變OCT圖像。模型輸出是1×4的向量，分別代表4個類別的概率。

1.1 Inception模塊

在Inception模塊中，使用不同大小的卷積核對輸入特征圖進行卷積操作，從而獲得帶有不同大小感受野的特征圖，并通過拼接這些特征圖來提取豐富的多尺度特征。InceptionV3中提出了5個不同的Inception模塊，結構如圖2所示。本文主要使用其中兩種結構：Inception A與Inception B。

不同的視網(wǎng)膜黃斑病變有著不同大小的病變區(qū)域以及不同的病變特征，傳統(tǒng)機器學習方法需要了解多個尺度的病變特征，從而正確分類視網(wǎng)膜黃斑病變種類。本文采用Inception結構，該結構具有非線性特征，可增強模型的語義表達。其中，在Inception B中對卷積核進行非對稱分解，進一步減少模型參數(shù)，加快網(wǎng)絡模型的訓練速度。本文將單純由卷積與Inception結構組成的模型稱作CNN_Inception。

1.2 Squeeze-and-Excitation 模塊

本文引入了Squeeze-and-Excitation（SE）模塊［15］。如圖3所示，該模塊的輸入維度為H×W×C，首先對特征圖X的每個通道進行平均池化操作，獲得維度為1×1×C且?guī)в腥忠曇暗耐ǖ澜y(tǒng)計信息特征向量Zc。然后對該特征向量進行兩次全連接操作和Sigmoid激活，獲得通道方向上的權重向量。最后將權重向量與輸入特征圖在通道方向相乘，獲得特征圖X′。經(jīng)過訓練學習，權重向量代表了特征圖中每個通道的重要程度，故而SE模塊能夠增強有效通道的信息，抑制無效通道的信息。公式如下：

其中，Xc代表通道特征圖；W1與W2分別代表2次全連接操作的參數(shù)；Sigmoid（Δ） 與ReLu（Δ）分別代表2種不同的激活方式；Scale（Δ）代表通道上的乘積操作。

視網(wǎng)膜黃斑病變OCT圖像中，病變區(qū)域較小，非病變區(qū)域較大。利用卷積操作提取特征時，將所有區(qū)域中的信息壓縮成多個通道的特征圖，意味著一些通道特征中含有大量的冗余信息以及與病變特征關聯(lián)性不大的信息，在視網(wǎng)膜黃斑病變分類模型CNN_Inception中加入SE模塊，能夠加強有效信息特征，抑制與病變無關的特征，從而提升視網(wǎng)膜病變分類的性能。本文將該網(wǎng)絡模型稱作CNN_Inception_SE，整體結構如圖1所示。

1.3 分類加權損失函數(shù)

在UCSD視網(wǎng)膜OCT圖像中，4個類別中DRUSEN和DME的樣本較少，尤其是DRUSEN的樣本不足一萬張，該樣本的特征在模型訓練中得不到充分學習，導致其召回率較低，會存在嚴重的漏診現(xiàn)象。對此，本文引入有效樣本加權損失函數(shù)［16］，定義如下：

其中c為樣本種類的數(shù)量，y為預測類別的概率，y′為標簽類別，ni為類別i的訓練樣本數(shù)量，β為超參數(shù)，L（Δ）為分類損失函數(shù)。本文分別選取β=0.999 9與β=0.999 99進行實驗。

2 實驗與分析

實驗電腦硬件配置為：雙核Intel（R） Xeon（R） CPU E5-2650 v4 @ 2.20GHz，內(nèi)存大小為64 GB，4塊Tesla P40顯卡，每張顯存24 GB。軟件系統(tǒng)配置為：Ubuntu 18.04LTS，CUDA 10.0，CUDNN 7.6，Python3.9編程語言，深度學習框架PyTorch。

2.1數(shù)據(jù)集

數(shù)據(jù)集為加利福尼亞大學圣地亞哥分校（UCSD）公開提供的視網(wǎng)膜 OCT 病變圖像，共3個版本，本文采用其最新版數(shù)據(jù)集。數(shù)據(jù)集劃分為訓練集與測試集，具體數(shù)量如表1所示，可以看出不同類別的樣本數(shù)量不平衡。

2.2 訓練參數(shù)設置

本文將數(shù)據(jù)集提供的訓練集以8∶2的比例劃分為訓練集和驗證集，利用驗證集觀察模型訓練情況，為調(diào)整超參數(shù)提供依據(jù)。數(shù)據(jù)集提供的測試集和訓練集無任何交叉關系，本文用測試集測試模型分類性能。圖像在訓練之前統(tǒng)一縮放為224×224，迭代的批量大小為32，訓練階段使用Adam優(yōu)化器，初始學習率為0.000 01。訓練過程中采用學習率衰減策略，若損失函數(shù)值累計3次未下降，學習率衰減一半。訓練集與驗證集的損失均在50個批次后收斂。

2.3 評價指標

本文采用4種評價指標來評價模型性能，分別為準確率（Accuracy，Acc）、精確率（Precision，P）、召回率（Recall，R）、特異性（Specificity，S），在醫(yī)學方面，召回率用來評價病變類的漏診情況，特異性用來評價病變類的誤診情況。定義如下：

其中，TP表示將正樣本正確預測為正樣本的數(shù)量；TN表示將負樣本正確預測為負樣本的數(shù)量；FN表示將正樣本錯誤預測為負樣本的數(shù)量；FP表示將負樣本錯誤預測為正樣本的數(shù)量。

2.4 結果及分析

為驗證本文模型的性能，本文針對測試集，將CNN_Inception、CNN_Inception_SE模型與其他經(jīng)典幾類模型進行對比，損失函數(shù)統(tǒng)一選取未加權的交叉熵損失函數(shù)，對比指標包括整體的準確率，單類別的精確率、召回率與特異性，以及模型的參數(shù)大小，具體結果如表2所示。觀察表2可知：（1）本文提出的兩種模型的整體準確率均高于其他經(jīng)典模型，CNN_Inception_SE模型的整體準確率達到了96.80%，比VGG16模型的準確率高出了2個百分點。（2）CNN_Inception_SE模型的多個指標均優(yōu)于其他幾類經(jīng)典模型，甚至一些指標達到了1。（3）兩種模型在參數(shù)大小上，均小于其他幾類經(jīng)典模型，分別為4.25 MB和4.32 MB。由此證明，本文所提出的模型在減少參數(shù)的前提下仍可提高該數(shù)據(jù)集的分類效果，也證明了Inception結構與SE模塊結構的有效性。

表2中的所有模型均能較好地識別CNV、DME與NORMAL，但均不能很好地識別DRUSEN。這是由于數(shù)據(jù)集中DRUSEN的樣本較少，其特征未得到充分訓練。對此，本文將有效樣本加權引入至分類損失函數(shù)中，增大對DRUSEN樣本的關注。實驗分別對交叉熵損失函數(shù)CE=－∑cli=1yi′lnyi+（1－yi′）ln（1－yi）和焦點損失函數(shù)FL=－∑cli=1（1－yi）γln（yi）進行驗證，其中，γ分別選取1.0，0.5，2.0進行測試。

結果如表3所示，對于兩類分類損失函數(shù)，有效樣本加權的加入均明顯提高了DRUSEN的召回率，即DRUSEN的漏診情況得到緩解。在焦點損失函數(shù)中，β=0.999 99，γ=1.0時，整體準確率最高，達到了97.60%，較不加權時提高了1.10%。除了DRUSEN的精確率與特異性及NORMAL的召回率有小幅度的下降，其余各項指標均有所提高或者持平。其中，DRUSEN的召回率達到了93.20%，較不加權時提高了2.80%，CNV的特異性達到了97.33%，較不加權時提高了1.73%，有效樣本加權的加入降低了DRUSEN的漏診率與CNV的誤診率。

2.6 算法比較

為了進一步驗證CNN_Inception_SE模型的高性能，將該模型與多種具有代表性的用于黃斑病變分類的CNN模型作對比，對比結果如表4所示。文獻［10］在InceptionV3模型下使用遷移學習，將其他領域的經(jīng)驗用于輔助該任務的學習；文獻［11］用深度可分離卷積替換傳統(tǒng)的卷積構建了RongheNet模型，并將該模型用于黃斑病變分類；文獻［21］通過訓練AlexNet網(wǎng)絡模型實現(xiàn)黃斑病變自動分類；文獻［22］提出了一種可選擇卷積核的網(wǎng)絡模型，對多個尺度擴張率的卷積核進行自動選擇，由此利用不同感受野的特征信息實現(xiàn)對黃斑病變的自動識別；文獻［23］利用深層次的卷積神經(jīng)網(wǎng)絡模型自動檢測黃斑病變類型。以上模型均獲得了較好的分類效果，但本文提出的模型的分類準確率更高，證明本文所提的模型具有一定的先進性。

3 結 論

本文提出了一種用于黃斑病變分類的改進卷積神經(jīng)網(wǎng)絡模型。通過增加多尺度特征融合模塊，讓帶有不同感受野的特征圖進行融合，提取出更加豐富的病變特征。同時通過增加注意力機制，有效抑制冗余信息，加大對病變區(qū)域特征的關注。最后通過引入有效樣本加權損失函數(shù)，充分學習較少樣本類別的病變特征，提高樣本較少的類別的分類準確率，緩解了數(shù)據(jù)集樣本不平衡所帶來的問題。提出的模型有效解決了黃斑病變區(qū)域小和特征不明顯導致黃斑病變類型不易識別的問題，進一步提高了黃斑病變的分類效果。該模型能夠?qū)崿F(xiàn)對黃斑病變類型的快速識別，在現(xiàn)實中可更加有效地輔助眼科醫(yī)生進行黃斑病變診斷，進一步推動了醫(yī)療診斷智能化。雖然本文在一定程度上降低了DRUSEN的漏診率，但與其他黃斑病變類別相比，漏檢率仍然相對較高。在未來的工作中，將進一步針對DRUSEN的病變區(qū)域小、樣本少的特點，設計具有更高分類性能的網(wǎng)絡模型。

參考文獻：

［1］ VENHUIZEN F G，VAN GINNEKEN B，VAN ASTEN F，et al.Automated staging of age-related macular degeneration using optical coherence tomography ［J］.Investigative Ophthalmology & Visual Science，2017，58（4）：2318-2328.

［2］ SUN Y，LI S，SUN Z.Fully automated macular pathology detection in retina optical coherence tomography images using sparse coding and dictionary learning［J］.Journal of Biomedical Optics，2017，22（1）：016012.

［3］ LEMATRE G，RASTGOO M，MASSICH J，et al.Classification of SD-OCT volumes using local binary patterns：experimental validation for DME detection［J］.Journal of Ophthalmology，2016，2016：3298606.

［4］ RASTI R，RABBANI H，MEHRIDEHNAVI A，et al.Macular OCT classification using a multi-scale convolutional neural network ensemble［J］.IEEE Transactions on Medical Imaging，2017，37（4）：1024-1034.

［5］ ESFAHANI E N，DANESHMAND P G，RABBANI H，et al.Automatic classification of macular diseases from OCT images using CNN guided with edge convolutional layer ［C］//44th Annual International Conference of the IEEE Engineering in Medicine & Biology Society（EMBC），Scotland：IEEE Press，2022：3858-3861.

［6］ SOTOUDEH-PAIMA S，JODEIRI A，HAJIZADEH F，et al.Multi-scale convolutional neural network for automated AMD classification using retinal OCT images［J］.Computers in Biology and Medicine，2022（144）：105368.

［7］ ZHONG P，WANG J，GUO Y，et al.Multiclass retinal disease classification and lesion segmentation in OCT B-scan images using cascaded convolutional networks［J］.Applied Optics，2020，59（33）：10312-10320.

［8］ 付順兵，王朝斌，羅建，等.基于改進U-Net模型的腦腫瘤MR圖像分割［J］.西華師范大學學報（自然科學版），2021，42（2）：202-208.

［9］ LEE C S，BAUGHMAN D M，LEE A Y.Deep learning is effective for classifying normal versus age-related macular degeneration OCT images［J］.Ophthalmology Retina，2017，1（4）：322-327.

［10］KERMANY D S，GOLDBAUM M，CAI W，et al.Identifying medical diagnoses and treatable diseases by image-based deep learning［J］.Cell，2018，172（5）：1122-1131.

［11］張?zhí)砀?，鐘舜聰，連超銘，等.基于深度學習特征融合的視網(wǎng)膜圖像分類［J］.激光與光電子學進展，2020，57（24）：266-273.

［12］SZEGEDY C，LIU W，JIA Y，et al.Going deeper with convolutions ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，Boston：IEEE Press，2015：1-9.

［13］IOFFE S，SZEGEDY C.Batch normalization：accelerating deep network training by reducing internal covariate shift ［C］//International Conference on Machine Learning，Lille：PMLR Press，2015：448-456.

［14］SZEGEDY C，VANHOUCKE V，IOFFE S，et al.Rethinking the inception architecture for computer vision ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，Las Vegas：IEEE Press，2016：2818-2826.

［15］HU J，SHEN L，SUN G，et al.Squeeze-and-excitation networks ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，Salt Lake City：IEEE Press，2018：7132-7141.

［16］CUI Y，JIA M，LIN T Y，et al.Class-balanced loss based on effective number of samples ［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，Long Beach：IEEE Press，2019：9268-9277.

［17］SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition ［Z/OL］.arXiv preprint，（2014-09-04） ［2022-10-17］.https：// arxiv.org/pdf/1409.1556v6.pdf.

［18］HE K，ZHANG X，REN S，et al.Deep residual learning for image recognition ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，Las Vegas：IEEE Press，2016：770-778.

［19］HUANG G，LIU Z，VAN DER MAATEN L，et al.Densely connected convolutional networks ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，Honolulu：IEEE Press，2017：4700-4708.

［20］DING X，ZHANG X，MA N，et al.Repvgg：making vgg-style convnets great again ［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，Nashville：IEEE Press，2021：13733-13742.

［21］KAYMAK S，SERENER A.Automated age-related macular degeneration and diabetic macular edema detection on oct images using deep learning ［C］//IEEE 14th International Conference on Intelligent Computer Communication and Processing（ICCP），Romania：IEEE Press，2018：265-269.

［22］朱納，李明.多層次可選擇核卷積用于視網(wǎng)膜圖像分類［J］.重慶郵電大學學報（自然科學版），2022，34（5）：886-893.

［23］BHADRA R，KAR S.Retinal disease classification from optical coherence tomographical scans using multilayered convolution neural network ［C］//2020 IEEE Applied Signal Processing Conference（ASPCON），Kolkata：IEEE Press，2020：212-216.

Abstract：Automatic recognition of retina macular diseases based on convolutional neural network can assist ophthalmologists in diagnosing macular diseases.An improved convolutional neural network model for macular diseases classification is proposed to solve the difficult problem of identifying the type of macular diseases caused by the small area and insignificant characteristics.Firstly，the multi-scale feature fusion module is added to splice the feature maps with different receptive fields and extract more abundant features of macular diseases；Secondly，the attention mechanism is embedded to effectively suppress redundant features and increase attention to the diseases area；Finally，the weighted loss based on effective number of samples is introduced to learn the pathological features of small sample categories for solving the problem of data sample imbalance.The experiment proves that the proposed model has further improved the classification effect of macular diseases on the UCSD dataset，and the classification accuracy rate has reached 97.60%.Therefore，the model improves the diagnosis and treatment efficiency by assisting ophthalmologists more effectively in diagnosing macular disease.

Keywords：Optical Coherence Tomography（OCT）；retina；macular；deep learning；convolutional neural network

基金項目：國家自然科學基金面上項目（62176217）；西華師范大學科研創(chuàng)新團隊資金項目（KCXTD2022-3）

作者簡介：楊文意（1997—），女，碩士研究生，主要從事深度學習研究。

通信作者：鄭伯川（1974—），男，博士，教授，碩士生導師，主要從事機器學習、深度學習和計算機視研究。E-mail：zhengbc@vip.163.com

引文格式：楊文意，陳雯，周蘭，等.一種用于黃斑病變分類的改進卷積神經(jīng)網(wǎng)絡模型［J］.西華師范大學學報（自然科學版），2023，44（3）：318-325.