張光華,馬 非,劉 漢,張喜梅,潘 婧,孫 斌

(1.太原學院a.智能與自動化系,b.材料與化學工程系,山西 太原 030032;2.山西智能大數(shù)據產業(yè)技術創(chuàng)新研究院 醫(yī)療健康大數(shù)據研究中心,山西 太原 030006;3.山西省眼科醫(yī)院 a.玻璃體視網膜病科，b.眼眶眼腫瘤科, 山西 太原 030002)

0 引言

視網膜靜脈阻塞(RVO)是僅次于糖尿病視網膜病變的第二大最常見視網膜血管性疾病,也是造成視力喪失的重要原因[1-2]。臨床上根據阻塞發(fā)生部位不同(圖1), RVO可分為視網膜中央靜脈阻塞(Central Retinal Vein Occlusion,CRVO)及視網膜分支靜脈阻塞(Branch Retinal Vein Occlusion,BRVO)。RVO眼底表現(xiàn)為視網膜出血、黃斑水腫、黃斑漿液性視網膜脫離、視盤水腫、視網膜靜脈充血水腫、棉絨斑等。一項涵蓋美國、歐洲及亞洲11個國家的流行病學調查[3]顯示RVO人群總體發(fā)病率為0.52%,其中CRVO發(fā)病率約0.08%,約250萬人;BRVO發(fā)病率約0.44%,約1 390萬人;其流行率隨年齡而增長。北京眼研究的臨床流行病學調查顯示我國40歲以上人群中,10 a RVO累積發(fā)病率約1.9%,BRVO發(fā)病率是CRVO的6倍,約1.6%[4].

圖1 CRVO的眼底彩照和BRVO的眼底彩照Fig.1 CRVO color fundus photo and BRVO color fundus

近年來,CNN已經成為醫(yī)學圖像分析領域的主要研究方法[5-6],在乳腺腫塊分割、皮膚病檢測、大腦病灶分割等諸多領域得到廣泛的應用。在眼科領域,Lee等人利用CNN進行基于OCT圖像的黃斑水腫自動化分割[7]。Google公司利用CNN網絡進行糖尿病視網膜病變的自動化分級[8],通過對超10萬張的數(shù)據集進行訓練,得到轉診準確率99%的實驗結果,該技術已經通過FDA認證,成為正式醫(yī)療產品。CNN擅長利用不同尺度卷積模塊提取圖像的不同顏色、空間、邊緣特征信息,并通過連續(xù)的非線性變換組合將全部特征進一步融合成為圖像的高階抽象特征,將高階抽象特征、基礎特征共同用于最終的學習過程,CNN模型在某些問題中的處理能力被證明超過人類。RVO的研究方面,Zhang等人[9]提出了能夠區(qū)分正常眼底彩照和BRVO的HLBP(Hierarchical Local Bnary Pattern)模型,Zhao等人[10]使用CNN進行BRVO與正常眼底彩照之間的區(qū)分,且其分類效果比HLBP更加優(yōu)秀,但該研究中并未對CRVO進行討論,也沒有對病灶進行分析。本研究中嘗試使用一個統(tǒng)一的深度學習模型,對正常的眼底、CRVO和BRVO眼底彩照進行分類,并通過無監(jiān)督的學習方法自動化檢測病灶所在位置區(qū)域,給出疾病分類的臨床證據。

1 深度學習算法

圖像中相鄰像素之間的結構和空間信息是圖像分析的重要因素,卷積神經網絡通過組合卷積層、池化層、全連接層結構,利用上千個擬合參數(shù)可以更好地提取圖像中的特征信息。網絡通過在感受野范圍內進行卷積操作來提取特征,每個卷積核就是一個特征濾波器,特征濾波器在訓練學習過程中不斷調整權值。池化層在卷積層之后用以降低參數(shù)空間緯度,保留最重要的特征參數(shù)。網絡的最后,全連接層將特征矩陣展平為一維,用于分類。CNN的框架如圖2所示。

圖2 CNN結構包括輸入層、卷積層、池化層和全連接層Fig.2 CNN structure includes input layer, convolutional layer, pooling layer and fully connected layer

1.1 模型結構

本文提出一種新的CNN混合框架,用于對RVO疾病類型進行分類并檢測病變,稱為VGG-CAM網絡。通過優(yōu)化后的VGG19網絡,全局平均池化層(Global Average Pooling,GAP)和類激活層(CAM),將網絡輸出分為分類預測和病灶識別兩個分支。 VGG19[11]是由Simonyan和Zisserman(2014)引入的CNN架構,網絡通過使用更小的感受野(3×3矩陣)檢測來自不同位置的圖像特征,更深的卷積層數(shù)量以增加感受野的接收區(qū)域。本文提出的VGG-CAM網絡,在分類預測分支中將原始VGG19網絡中全連接層從三個減少到一個,并增加GAP層。在訓練分類網絡的同時,訓練CAM層所需的特征圖譜的權重,即GAP層,Softmax用作全連接層的激活函數(shù)。在病灶識別分支中,將CAM層與GAP層級聯(lián),用GAP中得到的權值對特征圖進行線性疊加,疊加結果表示不同像素的重要性,即病灶像素檢測。 VGG-CAM網絡的24層框架如圖3所示。

圖3 VGG-CAM模型結構Fig.3 VGG-CAM model structure

與平均池化不同,GAP從特征圖中計算輸出一個值,如圖4所示,這種方法在減少了模型參數(shù)的同時并不影響網絡最終輸出結果的準確性[12]。GAP層保留了來自輸入圖像的整體信息和特征圖的重要程度。

圖4 GAP層Fig.4 GAP layer

CAM層是對特征圖按照GAP權重參數(shù)進行線性疊加,具體計算公式為:

(1)

其中,C表示GAP前一層特征圖通道數(shù)量,F表示GAP層的上一層特征圖,CAM層等于對應的全連接層權重w與F相乘并相加,如圖5所示。

圖5 VGG-CAM網絡分類及病灶分割結構圖Fig.5 VGG-CAM network classification and lesion segmentation structure diagram

CAM層首先使用公式(1)計算原始眼底彩照的類激活圖像,然后用雙線性插值將類激活圖像轉換為原始圖像大小,進行閾值分割和病灶位置檢測。

1.2 圖像預處理

本文使用限制對比直方圖均衡(Contrast Limited Adaptive Histogram Equalization,CLAHE)進行圖像預處理,增加原始圖像的對比度[13]。同時使用翻轉、扭曲和縮放(圖6所示)來增加圖像數(shù)據樣本的多樣性,提高模型的泛化能力。

圖6 原始圖像與預處理后的圖像Fig.6 Original image and preprocessed image

2 實驗

2.1 實驗數(shù)據集

實驗樣本共包含2 962張尺寸為1 959×1 959的高清晰度眼底彩照圖像,使用海德堡設備Spec-KT-04814進行采集,55°的成像范圍,每張圖像均包括黃斑區(qū)和視盤。全部圖像由三位高級眼科醫(yī)生進行標注。該數(shù)據包含1 510張BRVO圖像、925張CRVO 圖像和527張正常眼底彩照,其中男性約占51.85%,女性約占48.15%。年齡分布方面,45歲以下占13.4%,45～59歲占37.8%,60～74歲占38.5%,75～89歲占7.4%,90歲以上占2.9%。集中90%的數(shù)據用作訓練,10%的數(shù)據用作測試。

2.2 模型初始化

遷移學習:遷移學習[14]表示將一個深度學習問題中的網絡參數(shù)應用于同一網絡在其它問題中的權重初始化階段。在圖像處理問題中,神經網絡的淺層網絡主要負責圖像淺層元素特征提取,例如:圖像中的點和邊等元素,這部分網絡參數(shù)可以通用。遷移學習可以提供更好的初始化參數(shù),并大大減少網絡的學習時間[15].基于這一理論,VGG-CAM模型使用來自ImageNet預先訓練權重作為網絡初始參數(shù),該組參數(shù)由包含超過1 000個圖像標簽的一百多萬張圖像訓練而來[16]。

分階段訓練:分階段訓練是將模型訓練分為幾個子學習過程,通過不同學習過程完成提取不同層次圖像特征的能力。模擬人類學習過程,分階段訓練逐步處理來自圖像的信息(Barshan&Fieguth,2015)[17],盡量保證每個階段的參數(shù)調整到最優(yōu),提高網絡訓練的速度。本文模型分為三個階段進行訓練:第一階段,訓練模型中的前8層,目的是學習圖像的基礎特征,尤其是其粗尺度特征;第二階段,訓練第8至第13層,訓練網絡學習圖像分類中的精細特征;第三階段,訓練第13至第18層,從圖像中進一步提取抽象特征,構成最終分類器所需差異較大的圖像特征。

3 實驗結果

實驗中,首先對無監(jiān)督病灶識別能力進行測試,其次分別從精確度、召回率、F1值、ROC曲線幾個方面對VGG-CAM模型的分類性能進行測試,各指標計算公式如下所示：

(2)

(3)

(4)

(5)

式中：TP表示將正類預測為正類數(shù),TN表示將負類預測為負類數(shù),FN表示將負類預測為正類數(shù),FP表示將負類預測為正類數(shù)。

3.1 病灶識別

圖7顯示了在BRVO和CRVO眼底彩照中病灶分割的結果實例。從結果中可以看到,VGG-CAM模型可以有效識別出BRVO中的滲出、阻塞的靜脈和出血等病灶；但是當出血區(qū)域較大時,模型只能檢測出部分出血區(qū)域。在CRVO情況下,VGG-CAM模型僅能識別出血的中心區(qū)域。

圖7 VGG-CAM網絡在BRVO和CRVO上的病灶分割結果Fig.7 The results of lesion segmentation of the VGG-CAM network on BRVO and CRVO

3.2 RVO分類

從表1中可以得出分類模型具有較高的準確性,精確度在95%～98%之間,召回率在96%～98%之間,F1在96%～98%之間,正常眼底的識別準確率最高,BRVO的召回率最低,CRVO的準確率最低。從表2中可以看到NORMAL和CRVO的分類準確率高于BRVO的分類準確率。

表1 測試集分類結果Table 1 Test set classification results

表2 測試集混淆矩陣Table 2 Test set confusion matrix

如圖8所示,繪制了RVO分類的真陽率(True Positive Rate,TPR)和誤報率(False Positive Rate,FPR)ROC曲線。結果表明VGG-CAM模型中所有疾病類型的二分類曲線面積達到0.99以上,其中正常與非常正的分類預測曲線面積已經接近1(0.998),表明該模型完全能夠區(qū)分有無RVO疾病。BRVO分類預測標簽和CRVO分類預測標簽的曲線則表明彼此之間錯誤標記的可能性很小。

圖8 VGG-CAM網絡在RVO分類任務上的ROC曲線Fig.8 ROC curve of VGG-CAM network on RVO classification task

4 總結

本文提出用于視網膜靜脈阻塞分類和病灶檢測的混合卷積神經網絡VGG-CAM,通過遷移學習將超大規(guī)模數(shù)據集下學習到的網絡參數(shù)用于本研究網絡的初始化,并使用階段訓練的研究策略減少模型的訓練時間,提高參數(shù)優(yōu)化能力。另一方面,基于無監(jiān)督的學習方法,使用全局平均池化和類激活方法進行病灶檢測。試驗結果表明本文模型能夠準確地對BRVO,CRVO和正常眼底圖像進行分類并檢測到病變區(qū)域,做出預測結果的同時給出結果判斷的臨床依據。在本工作的基礎上,可以進一步研究RVO疾病與腦血管疾病之間的相關性,RVO無灌注區(qū)的識別等。