劉佳 濮清嵐 李鵬 周巧云 許維馨 李勇

早產(chǎn)兒視網(wǎng)膜病變（Retinopathy of prematurity,ROP）是一種發(fā)生在早產(chǎn)兒和低出生體質(zhì)量兒的增生性視網(wǎng)膜血管病變[1]，是目前導(dǎo)致嬰幼兒視功能受損或失明的主要原因之一[2]。對ROP進(jìn)行準(zhǔn)確的診斷，并在時間窗內(nèi)進(jìn)行及時的干預(yù)是挽救患兒視力的關(guān)鍵。

目前臨床上對于ROP 的診斷，主要由臨床醫(yī)師根據(jù)國際分類標(biāo)準(zhǔn)（International Committee for the Classification of Retinopathy of Prematurity,ICROP）[3]，通過雙目眼底鏡或數(shù)字化廣域眼底成像系統(tǒng)采集的眼底圖片進(jìn)行判讀給出診斷。有研究表明，包括ROP在內(nèi)的眼底疾病的診斷過程和結(jié)果存在專家內(nèi)和專家間的一致性水平差異[4]。為了解決診斷結(jié)果的不一致性問題，有研究者開發(fā)了半自動的圖像處理分析工具[5-7]，以便更客觀診斷眼底圖像。但是這些工具需要人為指定特征和切點。近年來專家們致力使用深度卷積神經(jīng)網(wǎng)絡(luò)（Deep convolutional neural network,DCNN）來協(xié)助眼科醫(yī)師診斷眼底相關(guān)疾病[8-11]。DCNN不需要手動輸入特征，并且展現(xiàn)了比半自動的分析工具更好的性能指標(biāo)。

目前ROP相關(guān)的自動輔助診斷研究主要集中在識別“Plus病變”[12-14]，也有部分專家對于ROP病變分期的診斷進(jìn)行研究[15-16]。在本研究中，我們基于DCNN開發(fā)了1個端到端的自動輔助診斷系統(tǒng)，該系統(tǒng)使用從感興趣區(qū)域（Regions of interest,ROI）中提取的病灶特征，對ROP 1～3 期病變進(jìn)行自動診斷。

1 對象與方法

1.1 對象

納入標(biāo)準(zhǔn)：①出生體質(zhì)量＜2 000 g或胎齡＜37周的早產(chǎn)兒；②屈光介質(zhì)透明；③無ROP外的器質(zhì)性眼病。排除標(biāo)準(zhǔn)：①各種原因的屈光介質(zhì)混濁，瞳孔無法散大，眼底窺不入導(dǎo)致無法進(jìn)行眼底照相；②存在中樞神經(jīng)性或循環(huán)系統(tǒng)等危及生命的并發(fā)癥。收集2019年1月至2020年12月在嘉興市婦幼保健醫(yī)院眼科進(jìn)行眼底篩查的早產(chǎn)兒共1 885例（2 331 眼）。本研究經(jīng)嘉興市婦幼保健醫(yī)院機(jī)構(gòu)審查委員會批準(zhǔn)[批號：2018（倫）-26]，所有患兒家屬均簽署了ROP眼底篩查知情同意書。

1.2 數(shù)據(jù)采集及預(yù)處理

所有的早產(chǎn)兒眼底圖像均由專業(yè)眼科醫(yī)師使用廣域數(shù)字化視網(wǎng)膜攝像系統(tǒng)（RetcamIII）采集。對眼底的5個標(biāo)準(zhǔn)視場（后極部、鼻部、顳部、上部和下部）進(jìn)行采集圖像。去除漏光、拍攝模糊、曝光不足等所致的3 624張低質(zhì)量圖片，共納入12 219張眼底圖像構(gòu)建了早產(chǎn)兒視網(wǎng)膜圖像數(shù)據(jù)集，圖像尺寸（像素）均為1 600×1 200。

將早產(chǎn)兒視網(wǎng)膜圖像數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集。如表1所示，納入早產(chǎn)兒視網(wǎng)膜圖像數(shù)據(jù)集中的視網(wǎng)膜圖像9 754張（1 506例早產(chǎn)兒，1 861眼）構(gòu)建了訓(xùn)練數(shù)據(jù)集，用于訓(xùn)練DCNN的分類器。從訓(xùn)練集中選擇了1 642張視網(wǎng)膜圖像（184例早產(chǎn)兒，293眼）和2 190張視網(wǎng)膜圖像（245例早產(chǎn)兒，391眼），分別用于訓(xùn)練2個Retina U-Net圖像分割網(wǎng)絡(luò)。同時納入2 465張圖像（379例早產(chǎn)兒，470 眼）構(gòu)建了測試數(shù)據(jù)集，用于測試DCNN分類器的性能指標(biāo)。訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集之間納入的視網(wǎng)膜圖像均相互獨立。

表1.早產(chǎn)兒訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集的特征Table 1.Characteristics of the training data set and test data set in preterm infants

由1 位專業(yè)眼科醫(yī)師使用醫(yī)學(xué)標(biāo)注軟件Pair，手工標(biāo)注圖像分割網(wǎng)絡(luò)所用的視網(wǎng)膜圖像。訓(xùn)練集和測試集圖像的診斷標(biāo)準(zhǔn)（ROP 1期、ROP 2期、ROP 3 期及無ROP）由3名資深小兒眼科醫(yī)師依據(jù)診斷共識結(jié)果確定。

1.3 系統(tǒng)結(jié)構(gòu)

本系統(tǒng)由圖像分割網(wǎng)絡(luò)、ROI區(qū)域確定及系統(tǒng)分類器這3 個部分組成。如圖1 所示，視網(wǎng)膜圖像作為輸入（Input），在A圖中被2個深度神經(jīng)網(wǎng)絡(luò)分別分割出視網(wǎng)膜血管和分界線或嵴的分割圖；根據(jù)圖像處理算法在B圖計算出了感興趣區(qū)域（紅色方框），并分割了感興趣區(qū)域；從感興趣區(qū)域提取特征訓(xùn)練分類器后，最終在C圖中分類器輸出自動診斷結(jié)果。

圖1.早產(chǎn)兒視網(wǎng)膜病變自動輔助診斷系統(tǒng)結(jié)構(gòu)圖Figure 1.Structure of the automatic diagnosis system of retinopathy of prematurity

1.3.1 圖像分割網(wǎng)絡(luò)及訓(xùn)練 圖像分割網(wǎng)絡(luò)，使用了2個開源的Retina U-Net[17]分別分割視網(wǎng)膜血管以及分界線或嵴。在訓(xùn)練過程中，通過修改程序使用了整張眼底圖像，不對圖像進(jìn)行切片或裁剪。通過將圖像水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、平移以及進(jìn)行不同角度的旋轉(zhuǎn)等方法達(dá)到數(shù)據(jù)增強(qiáng)的目的。

1.3.2 ROI區(qū)域確定 使用大津法[18]將輸入的分割圖像二值化后，對分界線或嵴的分割圖使用了opencv4.5.2（Open Source Computer Vision Library,Inter,Santa Clara,CA,USA）cv2.CHAIN_APPROX_SIMPLE函數(shù)從而獲得病變區(qū)域的輪廓，繼而使用cv2.minAreaRect函數(shù)，求得包含點集最小面積的矩形，即分界線或嵴的最小外接矩形。將2張分割圖融合后，使用cv2.contourArea函數(shù)，計算外接矩形兩側(cè)的像素點面積比，為了方便研究分界線或嵴附近的血管增生情況，以最小外接矩形的長度和1.5倍寬度作為參數(shù)，并向像素面積更大區(qū)域（血管區(qū)）進(jìn)行了偏移，以此獲得了1個矩形感興趣區(qū)域（ROI）。將ROI區(qū)域內(nèi)的分割圖像進(jìn)行剪切，作為分類器網(wǎng)絡(luò)的輸入。

1.3.3 系統(tǒng)分類器及訓(xùn)練 使用了DenseNet網(wǎng)絡(luò)[19]將眼底圖像分為無ROP以及ROP 1～3 期圖像這4 個類別。使用接受者操作特性曲線（Receiver operating characteristic curver,ROC）的曲線下面積（Area under curve,AUC）的得分來衡量分類器訓(xùn)練性能的優(yōu)劣。為了避免過擬合和欠擬合狀態(tài)發(fā)生，將訓(xùn)練數(shù)據(jù)集劃分為5 份，隨機(jī)選擇4 份數(shù)據(jù)作為訓(xùn)練集，剩余1 份作為測試集。交叉驗證重復(fù)5 次（五折交叉驗證），根據(jù)分類器在有4 個分類任務(wù)中的AUC得分，選擇表現(xiàn)最好的分類器模型。

1.4 實驗的網(wǎng)絡(luò)部署及超參設(shè)定

所有的網(wǎng)絡(luò)都在Tensorflow1.10 中實現(xiàn)，并在1 臺安裝有Nvidia Titan XP 12G顯存顯卡的電腦上進(jìn)行了評估，所有的圖像分析都是通過使用Python3.6.5（Python軟件基金會，Wilmington,DE,USA）編程語言開發(fā)腳本進(jìn)行。在訓(xùn)練過程中，我們應(yīng)用隨機(jī)梯度（SGD）優(yōu)化器，動量為0.9，學(xué)習(xí)率為0.000 1，梯度裁剪設(shè)置為5.0。Retina U-NET的批處理大小設(shè)置為32 幅圖像，DenseNet的批處理大小為16 幅圖像。Retain U-NET從高斯分布N（0，0.01）進(jìn)行初始化，DenseNet使用COCO數(shù)據(jù)集（Microsoft,Raymond,Seattle,Washington,USA）的遷移學(xué)習(xí)進(jìn)行初始化。

1.5 統(tǒng)計學(xué)方法

回顧性研究。采用SPSS 26.0統(tǒng)計軟件對數(shù)據(jù)進(jìn)行分析。采用Cohen's Kappa 檢驗對深度學(xué)習(xí)模型預(yù)測與臨床診斷結(jié)果進(jìn)行一致性分析，由Kappa值的大小代表一致性的程度。深度學(xué)習(xí)模型在測試集上的性能評估，采用深度學(xué)習(xí)模型預(yù)測與臨床診斷結(jié)果構(gòu)建的混淆矩陣，計算敏感度和特異性等性能參數(shù)。

2 結(jié)果

2.1 深度學(xué)習(xí)模型在圖像分割上的表現(xiàn)

2 個Retina U-Uet[17]圖像分割網(wǎng)絡(luò)分別對輸入眼底圖像中的視網(wǎng)膜炎血管和病變區(qū)域進(jìn)行了分割，其中血管分割的敏感度為0.864 2，特異性為0.994 6；病變區(qū)域中分界線或嵴分割的靈敏度為0.916 3，特異性為0.992 4。

對輸入的視網(wǎng)膜圖像，DCNN 通過2 個RetinaU-NET[17]網(wǎng)絡(luò)，分別分割出了視網(wǎng)膜血管（見圖2B）和分界線或嵴（見圖2C）。我們根據(jù)病灶的最小外接矩形（見圖2D），確定了帶有ROI區(qū)域（見圖2E）的分割圖融合圖，最后將ROI區(qū)域內(nèi)的融合圖進(jìn)行分割（見圖2F）作為深度學(xué)習(xí)模型分類器的輸入圖像。當(dāng)?shù)?行輸入為無ROP病變的眼底圖像時，系統(tǒng)無法生成ROI，輸出為1張黑色二值圖像，見圖2。

圖2.早產(chǎn)兒視網(wǎng)膜分割圖和ROI分割圖A：輸入的早產(chǎn)兒眼底視網(wǎng)膜圖像；B：血管分割圖；C：分界線或嵴的分割圖；D：確定最小外接矩形的分割圖；E：分割圖融合后帶有ROI的分割圖；F：分類器的輸入圖像Figure 2.Segmented retinal images and segmented ROI imagesA: Input retinal images;B: Segmented images of vascular;C: Segmented images of demarcation lines or ridge;D: Segmented images with external rectangle;E:Segmented images with ROI;F: Input images for classifier.ROI,regions of interest.

2.2 深度學(xué)習(xí)模型在測試集上的性能評估

使用從訓(xùn)練數(shù)據(jù)集的ROI分割圖中提取的特征，進(jìn)行五折交叉驗證（超參設(shè)置cv=5）后，系統(tǒng)分類器在4 種類別上的訓(xùn)練曲線見圖3。相對于ROP 1～3期，分類器識別為無ROP眼底圖像的AUC平均得分為0.955 6（見圖3A）；識別為ROP 1 期圖像的AUC平均得分為0.922 2（見圖3B）；識別為ROP 2期圖像的AUC平均得分0.986 6（見圖3C）；識別為3期圖像的AUC得分0.984 2（見圖3D）。

如圖3所示，藍(lán)色曲線在除了無ROP外的所有分類上均獲得了最高AUC分，因此我們選擇了最佳的參數(shù)配置（藍(lán)色曲線）。根據(jù)深度學(xué)習(xí)模型在測試集上的診斷結(jié)果與臨床參考診斷結(jié)果構(gòu)建的混淆矩陣（見表2），計算了系統(tǒng)分類器在測試數(shù)據(jù)集上的性能指標(biāo)（見表3）。

表2.深度卷積神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果與臨床診斷結(jié)果Table 2.Deep convolutional neural networks predictions and clinic diagnosis

表3.深度卷積神經(jīng)網(wǎng)絡(luò)在測試集上的性能表現(xiàn)Table 3.Performance of the DCNN on the test set

圖3.早產(chǎn)兒分類器五折交叉驗證訓(xùn)練曲線A：無ROP圖像分類的AUC得分；B：ROP 1期圖像分類的AUC得分；C：ROP 2期圖像分類的AUC得分；D：ROP 3期圖像分類的AUC得分Figure 3.Training curve for the classifier's five-fold cross-validationA: AUC score for non-ROP;B: AUC score for stage 1;C: AUC score for stage 2;D: AUC score for stage 3.AUC,area under curve;ROP,retinopathy of prematurity.

分類器對4個類別2 465幅圖中的2 377幅圖像進(jìn)行了正確的診斷（平均正確率98%）。在診斷無ROP圖像時，其敏感度和特異性達(dá)到了0.975 7 和0.975 6；對ROP 1～3期圖像的診斷，敏感度分別為0.922 1、0.933 1和0.910 2，特異性則分別為0.983 7、0.988 6和0.992 8。通過混淆矩陣，系統(tǒng)對ROP 1～3期的診斷，與臨床醫(yī)師診斷結(jié)果的Kappa一致性為0.905 9。

3 討論

本研究使用2個Retina U-Net分別分割出早產(chǎn)兒眼底圖像的視網(wǎng)膜血管和分界線或嵴，并從ROI分割圖中提取特征，訓(xùn)練分類器，對ROP 1～3期病變進(jìn)行自動診斷。臨床工作中對ROP 1～3期病變的診斷，可以讓臨床醫(yī)師在該疾病的治療窗內(nèi)給出及時的治療及隨訪建議[3]，以避免其發(fā)展至產(chǎn)生視網(wǎng)膜脫離的4～5期病變。同時，根據(jù)指南[3]中視網(wǎng)膜分界線或嵴的有無以及病灶附近區(qū)域的新生血管增生情況，可以區(qū)分ROP 1～3期病變分期，這適合使用DCNN分割區(qū)域，提取特征進(jìn)行自動診斷。在類似的研究中，Hu等[15]使用Inception模型作為分類器，從視網(wǎng)膜圖像中直接提取特征來對ROP病變分期進(jìn)行診斷。本研究使用Dense Net作為分類器，從ROI分割圖中提取特征。Dense Net是一個優(yōu)秀的分類網(wǎng)絡(luò)，對于每一層，其輸入的特征是之前所有的層，而它自己的特征圖作為之后所有層的輸入，具有緩解梯度消失問題、加強(qiáng)特征傳播、鼓勵特征復(fù)用以及極大減少了參數(shù)量等優(yōu)點。Hu等[15]在正常和ROP圖像的二元分類中，獲得了97%的正確率，在1～2期和3～4期之間達(dá)到了84%的正確率。本研究在早產(chǎn)兒視網(wǎng)膜圖像的診斷中獲得了98%的平均正確率。由于使用數(shù)據(jù)集不一樣，我們無法簡單地對性能指標(biāo)進(jìn)行比較。

本研究使用視網(wǎng)膜血管以及分界線或嵴的ROI分割圖訓(xùn)練系統(tǒng)，其優(yōu)勢在于ROI區(qū)域尺寸（像素）更小，可以在處理視網(wǎng)膜圖像的過程中，增大每批次處理的圖像數(shù)量（Batch_size=32，每批次處理32副圖）。而使用整幅分割圖（1 600像素×1 200像素，Batch_size=8，每批次處理8幅圖）。因此，在大批量處理視網(wǎng)膜圖像的時候，對ROI區(qū)域分割圖進(jìn)行診斷，效率明顯高于使用整幅分割圖，這對于遠(yuǎn)程診療的實現(xiàn)尤為重要[20]。我們從更小尺寸的ROI區(qū)域分割圖中提取病變特征并訓(xùn)練分類器，也獲得了較高準(zhǔn)確率的診斷結(jié)果。這說明從ROI中提取的特征，對于ROP 1～3期病變分期有鑒別作用。通過ROI突出DCNN的學(xué)習(xí)范圍，這可能有助于增強(qiáng)DCNN結(jié)果的“可解釋性”。

本研究也存在一定的局限性：僅選擇了嘉興市婦幼保健醫(yī)院眼科在2019年1月至2020年12月采集的早產(chǎn)兒眼底圖像，這不利于模型的泛化性。因此，與更多地區(qū)更多醫(yī)院進(jìn)行合作，整合多醫(yī)院數(shù)據(jù)，建立更大、更廣泛的ROP眼底圖像數(shù)據(jù)集，提升算法性能是今后努力的方向。

本研究利用DCNN對ROP診斷分期中1～3期病變進(jìn)行自動分類診斷，并取得了較高的準(zhǔn)確性。有望為臨床醫(yī)師的ROP篩查診療工作提供輔助，同時提高臨床診斷的速度及精確率。

利益沖突申明本研究無任何利益沖突

作者貢獻(xiàn)聲明劉佳：收集數(shù)據(jù)；參與選題、設(shè)計及資料分析和解釋；撰寫論文；根據(jù)編輯部的修改意見進(jìn)行修改。濮清嵐：參與選題、設(shè)計和資料分析和解釋。李鵬：參與研究的設(shè)計及程序?qū)崿F(xiàn)，根據(jù)編輯部的修改意見進(jìn)行論文修改。周巧云、許維馨、李勇：參與了選題、設(shè)計和臨床數(shù)據(jù)的收集