張亮軍，承垠林，馬夢(mèng)楠，馬麗，周毅

(1.中山大學(xué)生物醫(yī)學(xué)工程學(xué)院， 廣州 510006; 2.中山大學(xué)中山眼科中心， 廣州 510080； 3.中山大學(xué)中山醫(yī)學(xué)院醫(yī)學(xué)信息教研室, 廣州 510080)

1 引 言

眼底圖像利用圖像中血管的變化情況在一定程度上可以實(shí)現(xiàn)對(duì)疾病的診斷，是臨床診斷眼底相關(guān)疾病的主要方式，例如用于糖尿病視網(wǎng)膜病變(DR)的診斷。視網(wǎng)膜病變篩查可用于評(píng)估和監(jiān)測(cè)各種眼科疾病，早期發(fā)現(xiàn)相關(guān)疾病，由專業(yè)人員提供干預(yù)治療，對(duì)延緩患者病情減少致盲風(fēng)險(xiǎn)，具有重要的臨床意義。視網(wǎng)膜眼底圖像包括視盤、血管、黃斑等結(jié)構(gòu)，見(jiàn)圖1。利用計(jì)算機(jī)對(duì)眼底圖像進(jìn)行自動(dòng)分析，可以提高視網(wǎng)膜病變篩查的效率和準(zhǔn)確性。

圖1 眼底圖像

近年來(lái)，國(guó)內(nèi)外提出了很多關(guān)于眼底血管分割的算法，根據(jù)是否需要先驗(yàn)信息，算法可分為無(wú)監(jiān)督方法和有監(jiān)督方法。無(wú)監(jiān)督方法不需要先驗(yàn)標(biāo)記信息，利用數(shù)據(jù)之間存在的相似性進(jìn)行分析。如匹配濾波器[1]、基于數(shù)學(xué)形態(tài)學(xué)方法[2]、基于血管中心線方法[3]，這些方法均無(wú)法準(zhǔn)確提取細(xì)小血管，分割準(zhǔn)確率較低。與無(wú)監(jiān)督學(xué)習(xí)方法相比，有監(jiān)督學(xué)習(xí)將人工標(biāo)注過(guò)的圖像作為訓(xùn)練數(shù)據(jù)的標(biāo)簽，生成相應(yīng)的算法模型。如Staal等提出基于視網(wǎng)膜圖像脊線的方法，對(duì)每個(gè)像素計(jì)算其特征向量，使用KNN算法和序列前向特征選擇算法對(duì)特征向量進(jìn)行分類[4]。Wang等人提出基于卷積神經(jīng)網(wǎng)絡(luò)的U型網(wǎng)絡(luò)方法對(duì)眼底圖像血管進(jìn)行分割[5]。高宏杰等提出基于改進(jìn)U型網(wǎng)絡(luò)的眼底圖像血管分割算法，取得了較好的分割效果[6]。Jiang等提出將全尺寸圖像分割結(jié)果到區(qū)域血管像素分割結(jié)果進(jìn)行合并，提高算法的準(zhǔn)確性和魯棒性[7]。此外，還有其他監(jiān)督方法被提出[8-10]，但是所提的算法仍存在無(wú)法準(zhǔn)確分割出細(xì)小血管、魯棒性較差等問(wèn)題。

綜上，本研究提出了基于U型網(wǎng)絡(luò)的血管分割新方法Dense U-net模型，用于實(shí)現(xiàn)對(duì)視網(wǎng)膜圖像中細(xì)小血管的準(zhǔn)確分割，進(jìn)一步提高血管分割的準(zhǔn)確率和靈敏度。與現(xiàn)有方法相比，該方法在保持分割準(zhǔn)確率不變的情況下，靈敏度有顯著提高。Dense U-net模型在公開數(shù)據(jù)集DRIVE上的測(cè)試顯示，其準(zhǔn)確率和靈敏度均有顯著提高。

2 材料和方法

2.1 材料

DRIVE 數(shù)據(jù)集[4]由40張分辨率為768×584的視網(wǎng)膜眼底照片組成。數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集，分別包含來(lái)自不同患者的20張眼底圖像、專家手動(dòng)分割的眼底血管圖像，以及眼底掩模。其中，專家手動(dòng)分割結(jié)果的結(jié)果用作血管分割的金標(biāo)準(zhǔn)，算法模型生成的分割結(jié)果與專家手動(dòng)分割結(jié)果的對(duì)比。該庫(kù)是衡量視網(wǎng)膜血管分割方法性能好壞的最常用數(shù)據(jù)庫(kù)[11]。

2.2 方法

2.2.1圖像預(yù)處理 為了使神經(jīng)網(wǎng)絡(luò)架構(gòu)具有更高的學(xué)習(xí)效率，同時(shí)得到更高的準(zhǔn)確率，首先對(duì)圖像進(jìn)行預(yù)處理。

(1)灰度轉(zhuǎn)換。將彩色的眼底圖像轉(zhuǎn)換為紅色、綠色、藍(lán)色3個(gè)通道的圖像。圖2為轉(zhuǎn)換結(jié)果，其中綠色通道圖片中血管與背景的對(duì)比度更大，噪聲更小，因此,使用綠色通道的數(shù)據(jù)作為輸入數(shù)據(jù)。

圖2 眼底彩色圖像及其不同通道圖像

(2)z-score標(biāo)準(zhǔn)化。對(duì)綠色通道的眼底圖像的均值和標(biāo)準(zhǔn)差進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化，使得處理后的數(shù)據(jù)符合正態(tài)分布。z-score公式定義為：

(1)

式中，x為圖像樣本數(shù)據(jù)，μ為樣本數(shù)據(jù)的均值，σ為樣本數(shù)據(jù)的標(biāo)準(zhǔn)差，xnew為標(biāo)準(zhǔn)化后輸出的圖像數(shù)據(jù)。

(3)限制對(duì)比度自適應(yīng)直方圖均衡(contrast limited adaptive histogram equalization, CLAHE)[12]。該算法用于增強(qiáng)圖像對(duì)比度，圖像被切分為8行8列的64塊，對(duì)每個(gè)圖像塊使用直方圖均衡化處理。CLAHE使用預(yù)定義的閾值來(lái)裁剪直方圖以達(dá)到處理目的。

(4)Gamma校準(zhǔn)。Gamma校準(zhǔn)用于調(diào)整圖像光照的強(qiáng)度，是一種非線性的操作，其公式定義為：

Vout=Vgamma

(2)

式中，V為輸入的圖像數(shù)據(jù)，Vout為輸出結(jié)果，gamma為所需要調(diào)整的值。

(5)數(shù)據(jù)歸一化。圖像數(shù)據(jù)歸一化處理使得像素值分布在0～1的范圍內(nèi)。歸一化公式定義為：

(3)

式中，x為輸入的圖像像素值，min為樣本數(shù)據(jù)中的最小值，max為樣本數(shù)據(jù)中的最大值，xout為歸一化處理后的像素值。圖3為預(yù)處理各個(gè)階段的眼底圖像結(jié)果。

2.2.2Dense U-net網(wǎng)絡(luò)架構(gòu) U-net網(wǎng)絡(luò)架構(gòu)是基于像素級(jí)的語(yǔ)義分割網(wǎng)絡(luò)，在醫(yī)學(xué)圖像的分割上具有很好的分割效果[13]。

本研究基于U-net網(wǎng)絡(luò)架構(gòu)，提出了新的Dense U-net架構(gòu)，見(jiàn)圖4。該架構(gòu)包括Dense塊、拼接塊、卷積等操作。其中，每個(gè)藍(lán)色的條形框?qū)?yīng)一個(gè)圖像或圖像特征圖,條形框左側(cè)的數(shù)字代表圖像像素；紅色的條形框?yàn)镈ense塊；黃色的條形框及不同顏色箭頭表示不同的操作。

圖3預(yù)處理結(jié)果

(a).原始圖像；(b).灰度轉(zhuǎn)換；(c).z-score標(biāo)準(zhǔn)化；

(d).CLAHE處理；(e).Gamma校準(zhǔn)及數(shù)據(jù)歸一化

Fig.3The pre-processing result of image
(a).the original image;(b).the Gray-scale conversion;
(c).the zero-mean normalization;(d).the Contrast limited
adaptive histogram equalization(CLAHE);(e).the Gamma adjustment.

圖4Dense U-net架構(gòu)

Fig.4Dense U-net architecture

Dense U-net模型使用對(duì)稱結(jié)構(gòu)，包含收縮路徑和擴(kuò)張路徑兩部分。收縮路徑中主要是Dense結(jié)構(gòu)塊和下采樣，Dense結(jié)構(gòu)塊是將網(wǎng)絡(luò)中的所有層連接起來(lái)，見(jiàn)圖5，其每一層的輸入都來(lái)自前面所有層的輸出，其公式定義如下：

Xi=Hi([X0,……,Xi-1]

(4)

式中，Xi為第i層的輸入特征圖，X0,……,Xi-1為將第0層到第i-1層的所有輸出特征圖做連接，Hi標(biāo)識(shí)非線性變換。

為了提高模型的泛化能力和更好的收斂，Dense U-net使用PReLU作為激活函數(shù)并加入批量歸一化(batch normalization，BN)。PReLU用于解決ReLU中有可能出現(xiàn)的“Dead ReLU”問(wèn)題。PReLU定義如下：

(5)

式中，α是一個(gè)可用于學(xué)習(xí)的參數(shù)。BN使得輸入激活函數(shù)的值在反向傳播上能夠產(chǎn)生更明顯的梯度，更容易收斂，避免了梯度消失的問(wèn)題。

圖5 Dense塊架構(gòu)

擴(kuò)張路徑中為拼接塊和上采樣。采用1×1和3×3的卷積操作，用于多個(gè)特征圖的壓縮，從而提高計(jì)算效率。模型中拼接塊輸出過(guò)程為“BN+PReLU+1*1 Conv+3*3 Conv”，Dense U-net包含3個(gè)拼接層，卷積核的數(shù)量分別為128，64和32。拼接層結(jié)構(gòu)見(jiàn)圖6，input_1和input_2為輸入，隨后進(jìn)行相應(yīng)的處理，最后輸出拼接結(jié)果。

為保證模型訓(xùn)練有充足的數(shù)據(jù)，同時(shí)不發(fā)生模型的過(guò)擬合，采用從圖片中隨機(jī)選取局部切片(Patches)的方法用于訓(xùn)練和測(cè)試。將訓(xùn)練集中的20張圖片以圖像中心點(diǎn)為坐標(biāo)原點(diǎn)，以原圖像長(zhǎng)度和寬度的一半減去48作為所裁剪圖像塊中心點(diǎn)的選取范圍，在中心點(diǎn)選取范圍內(nèi)隨機(jī)選擇中心點(diǎn)的坐標(biāo)，裁剪出48×48的圖像塊，中心點(diǎn)數(shù)量為190 000。訓(xùn)練集和驗(yàn)證集比例為9:1。本研究采用Adam優(yōu)化函數(shù)來(lái)對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，采用對(duì)數(shù)交叉熵代價(jià)函數(shù)作為損失函數(shù)來(lái)衡量網(wǎng)絡(luò)的分類誤差，當(dāng)損失函數(shù)不再下降時(shí)停止訓(xùn)練。最初始的學(xué)習(xí)率設(shè)置為0.0001，每次訓(xùn)練64個(gè)圖像塊，共訓(xùn)練100輪。圖7為某次實(shí)驗(yàn)中選取的局部切片示例。

圖6 拼接層結(jié)構(gòu)

2.2.3訓(xùn)練和測(cè)試 本研究的實(shí)驗(yàn)環(huán)境見(jiàn)表1。

表1 實(shí)驗(yàn)環(huán)境

圖7 局部切片示例

2.3 評(píng)估指標(biāo)

在進(jìn)行眼底圖像血管分割時(shí)，每個(gè)像素點(diǎn)被分類為血管和非血管，為了評(píng)估所提算法的性能，本研究采用3個(gè)衡量指標(biāo)：特異性(specificity, Sp)、靈敏度(sensitivity, Se)、準(zhǔn)確率(accuracy, Acc)。各指標(biāo)計(jì)算公式如下：

(6)

(7)

(8)

Se是表示分割正確的血管點(diǎn)占金標(biāo)準(zhǔn)血管點(diǎn)總和的比例；Sp是表示分割正確的背景點(diǎn)占金標(biāo)準(zhǔn)背景點(diǎn)總和的比例；Acc表示分割正確的像素點(diǎn)占整個(gè)圖像像素點(diǎn)總和的比例[11]。式中各參數(shù)含義如下：

真陽(yáng)性(TP)：血管像素被正確分類為血管；

假陰性(FN)：血管像素被錯(cuò)誤分類為非血管；

假陽(yáng)性(FP)：非血管像素錯(cuò)誤分類為血管；

真陰性(TN)：非血管像素被正確分類為非血管。

3 結(jié)果與討論

Dense U-net模型在DRIVE公開數(shù)據(jù)集進(jìn)行驗(yàn)證，使用特異性(Sp)、靈敏度(Se)、準(zhǔn)確率(Acc)3項(xiàng)指標(biāo)衡量模型性能。表2列出了該模型在DRIVE數(shù)據(jù)集上的測(cè)試結(jié)果，以及與目前最先進(jìn)算法模型的對(duì)比。從實(shí)驗(yàn)結(jié)果可以看出，本研究所提的模型準(zhǔn)確率為0.9532，靈敏度為0.7977，特異性為0.9759。

Dense U-net模型加入了Dense Block架構(gòu)[14]，在保證整體分割準(zhǔn)確率不變的情況下，能夠更好地分割出細(xì)小血管。該架構(gòu)使用Dense Block、PReLU激活函數(shù)、BN等解決梯度消失、“Dead ReLU”等問(wèn)題，同時(shí)更有效地利用圖片特征。此外，該架構(gòu)使用權(quán)值共享，降低了參數(shù)數(shù)量，提高了模型訓(xùn)練速度。

表2 DRIVE數(shù)據(jù)集各項(xiàng)實(shí)驗(yàn)結(jié)果

圖8為Dense U-net模型在DRIVE數(shù)據(jù)集上對(duì)眼底圖像血管分割的實(shí)驗(yàn)結(jié)果，第一列為輸入圖像，第二列為專家手動(dòng)分割的金標(biāo)準(zhǔn)，第三列為Dense U-net模型輸出結(jié)果。從實(shí)驗(yàn)結(jié)果和金標(biāo)準(zhǔn)對(duì)比可以看出，Dense U-net模型能夠更好地分割出細(xì)小血管，可對(duì)相關(guān)疾病的診斷提供參考。為了測(cè)試所提模型的泛化能力，使用Dense U-net模型在CHASE_DB1(https://blogs.kingston.ac.uk/retinal/chasedb1/)數(shù)據(jù)集進(jìn)行測(cè)試，該數(shù)據(jù)集包含28張分辨率為999×960的眼底圖像，測(cè)試準(zhǔn)確率為0.9464，特異性為0.9512，靈敏度為0.8989。CHAES_DB1數(shù)據(jù)集上各項(xiàng)指標(biāo)均較為理想，分割效果也較好。

圖8Dense U-net模型在DRIVE數(shù)據(jù)集上對(duì)眼底圖像血管分割的實(shí)驗(yàn)結(jié)果。第一列為輸入圖像，第二列為專家手動(dòng)分割的金標(biāo)準(zhǔn)，第三列為Dense U-net輸出結(jié)果

Fig.8Blood vessel segmentation results by the proposed Dense U-Net framework on the dataset DRIVE.Col1: the gray fundus images; Col2: the manual annotations; Col3: the result ofour proposed method

由于DRIVE數(shù)據(jù)集像素值較低，本研究后續(xù)會(huì)將該模型在高分辨率眼底圖像數(shù)據(jù)集上進(jìn)行優(yōu)化，進(jìn)一步提高血管分割的準(zhǔn)確率和靈敏度。

4 結(jié)論

眼底圖像中的視網(wǎng)膜血管分割可以幫助患者提前預(yù)防和治療干預(yù)眼部疾病，對(duì)延緩病情具有十分重要的臨床意義。本研究在U-net網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)上，提出了新的Dense U-net模型。通過(guò)在公開數(shù)據(jù)集DRIVE上與現(xiàn)有算法模型的分割性能相比，該模型不僅提高了血管分割的準(zhǔn)確率，同時(shí)對(duì)于細(xì)小血管，如視網(wǎng)膜毛細(xì)血管的分割也達(dá)到了較好的效果，特別是算法的靈敏度有明顯提高。