張利云，方智文，唐宇姣，楊 豐

南方醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院//廣東省醫(yī)學(xué)圖像處理重點(diǎn)實(shí)驗(yàn)室，廣東 廣州510515

糖尿病性視網(wǎng)膜病變（DR）是糖尿病的主要慢性并發(fā)癥之一，可導(dǎo)致雙眼不可逆性失明［1］。在DR的早期階段，很容易忽略患者視力障礙的癥狀，如果在此階段及時(shí)進(jìn)行診斷和治療，則能夠預(yù)防90%由DR導(dǎo)致的失明［2］。硬性滲出物（EX）是最常見(jiàn)的DR病理體征之一［3］，是視網(wǎng)膜毛細(xì)血管滲漏物逐漸吸收以后遺留的脂質(zhì)，呈大小不一的蠟黃色點(diǎn)片狀。EX出現(xiàn)在視網(wǎng)膜中央及中心凹處時(shí)可對(duì)視力產(chǎn)生嚴(yán)重影響［4］。因此，精確地分割EX在DR早期診斷和監(jiān)測(cè)治療進(jìn)展中具有重要的意義，也是本文研究的重點(diǎn)。

由于視盤(pán)與EX具有相似性，一些EX病灶難以被準(zhǔn)確分割，視盤(pán)附近與EX亮度、顏色相近的組織結(jié)構(gòu)也易被誤判為EX病灶。使用傳統(tǒng)方法［5-15］進(jìn)行EX分割，噪聲敏感性較高，且依賴(lài)于手動(dòng)設(shè)計(jì)并提取復(fù)雜的特征，無(wú)法在臨床中進(jìn)行大規(guī)模的推廣應(yīng)用。深度學(xué)習(xí)方法能夠自動(dòng)提取圖像更加抽象、深層的特征［16,17］，近年來(lái)在EX自動(dòng)分割領(lǐng)域也有所應(yīng)用［18-22］。這些方法［18-22］雖然通過(guò)深度神經(jīng)網(wǎng)絡(luò)提取眼底圖像特征，但未進(jìn)行視盤(pán)去除，難以精確分割EX?？紤]到視盤(pán)在EX分割過(guò)程中帶來(lái)的影響，Yu等［23］在預(yù)處理過(guò)程中手動(dòng)去除了視盤(pán)和血管，隨后使用CNN進(jìn)行訓(xùn)練以分割EX。這種人工手動(dòng)定位和分割視盤(pán)的方法雖然準(zhǔn)確度較高，但是步驟太過(guò)繁瑣，不利于實(shí)現(xiàn)病灶快速自動(dòng)化分割。因此，有學(xué)者提出使用深度學(xué)習(xí)網(wǎng)絡(luò)自動(dòng)分割視盤(pán)的方法，采用兩個(gè)并行網(wǎng)絡(luò)，分別進(jìn)行EX和視盤(pán)分割，并使用視盤(pán)的分割預(yù)測(cè)圖改善EX分割結(jié)果，但該方法未實(shí)現(xiàn)網(wǎng)絡(luò)端到端分割［24］。

針對(duì)人工定位并去除視盤(pán)的復(fù)雜性及尚未提出自動(dòng)去除視盤(pán)的端到端分割網(wǎng)絡(luò)的研究現(xiàn)狀，本文提出了一種Y-Net網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)區(qū)域分類(lèi)引導(dǎo)EX分割聯(lián)合實(shí)現(xiàn)了視盤(pán)區(qū)域檢測(cè)和EX分割，能夠有效地將視盤(pán)與EX自動(dòng)區(qū)分開(kāi)來(lái)，實(shí)現(xiàn)端到端分割。此外，有些EX病灶在分辨率較高的眼底圖像中占比較小，使用常規(guī)神經(jīng)網(wǎng)絡(luò)的下采樣操作極易造成病變信息不可逆丟失。這一問(wèn)題尚未有文獻(xiàn)提出較好的解決方法。本文提出使用離散小波變換（DWT）和離散小波逆變換（IDWT）取代常用的池化下采樣、線性插值上采樣方式防止丟失細(xì)節(jié)信息并捕獲圖像的頻率信息［25］，提升病灶分割正確率。同時(shí)，針對(duì)EX大小不一，分布不均勻等特點(diǎn)采用帶有殘差連接的Inception［26］模塊提取圖像中的多尺度信息以更準(zhǔn)確地進(jìn)行病變分割。在兩個(gè)數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)證明了本文方法的有效性。

1 材料和方法

1.1 實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)選用了兩個(gè)公開(kāi)的視網(wǎng)膜圖像數(shù)據(jù)集，分別是IDRiD［27］、e-ophtha EX［13］數(shù)據(jù)集。IDRiD數(shù)據(jù)庫(kù)包含81張帶有像素級(jí)標(biāo)注的彩色眼底圖像，分辨率為4288×2848像素，視場(chǎng)為50°。e-ophtha EX數(shù)據(jù)庫(kù)包含47張帶有像素級(jí)標(biāo)注的彩色眼底圖像，分辨率大小不一，在實(shí)驗(yàn)中統(tǒng)一大小至2544×1696像素。表1為本實(shí)驗(yàn)在兩個(gè)數(shù)據(jù)集中的數(shù)據(jù)劃分情況。其中IDRiD已經(jīng)劃分好訓(xùn)練集和測(cè)試集，在原有的訓(xùn)練集基礎(chǔ)上5∶1的比例再次劃分訓(xùn)練集和驗(yàn)證集，e-ophtha EX 數(shù)據(jù)集按照3∶1∶1的比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。

表1 數(shù)據(jù)集劃分Tab.1 Division of dataset

1.2 圖像預(yù)處理

為了獲取眼底圖像中的有效信息，排除黑色邊緣無(wú)效信息的干擾，通過(guò)閾值分割的方法將圖像中的感興趣區(qū)域提取出來(lái)。具體做法是先將彩色眼底圖像轉(zhuǎn)換為灰度圖像Igary，再通過(guò)閾值T進(jìn)行閾值分割得到二值化圖像Imask，即可得到眼底圖像的感興趣區(qū)域，如公式（1）所示。

其中T表示閾值分割時(shí)的閾值，在實(shí)驗(yàn)中取值為10。

眼底圖像數(shù)據(jù)采集過(guò)程中由于設(shè)備性能、光照等因素，會(huì)存在光照不均衡、對(duì)比度差等問(wèn)題。在預(yù)處理階段進(jìn)行亮度平衡，使得每個(gè)訓(xùn)練和測(cè)試圖像的平均像素強(qiáng)度相等。并將對(duì)比度受限的自適應(yīng)直方圖均衡應(yīng)用于8×8像素的圖像塊，在實(shí)驗(yàn)中對(duì)比度限制設(shè)置為40。使用對(duì)比度受限的自適應(yīng)直方圖均衡進(jìn)行對(duì)比度增強(qiáng)促使像素強(qiáng)度覆蓋較大范圍的值，從而更能凸顯細(xì)節(jié)。圖1為眼底圖像預(yù)處理示意圖，圖1A為原始圖像，圖1B為經(jīng)過(guò)閾值分割得到的二值化圖像，圖1C為經(jīng)過(guò)亮度均衡和對(duì)比度增強(qiáng)后的圖像。

圖1 眼底圖像預(yù)處理Fig.1 Fundus image preprocessing.A:Original image.B:Binarized image.C:Preprocessed image.

1.3 實(shí)驗(yàn)數(shù)據(jù)分塊處理與增強(qiáng)

EX病灶相對(duì)于整張眼底圖像占比較小。若將整張眼底圖像作為網(wǎng)絡(luò)的輸入，網(wǎng)絡(luò)將難以在全局圖像中關(guān)注局部病灶信息。眼底圖像通常分辨率很大，往往需要壓縮圖像大小才能滿足計(jì)算機(jī)顯卡的運(yùn)算能力，壓縮后的圖像常導(dǎo)致含有病灶的信息模糊或者丟失。因此，本實(shí)驗(yàn)將視網(wǎng)膜眼底圖像劃分為統(tǒng)一大小的圖像塊作為網(wǎng)絡(luò)的輸入，圖像塊大小設(shè)置為256×256。由于病灶分布不平衡且占比小，對(duì)訓(xùn)練集眼底圖像中含有病灶的區(qū)域通過(guò)大小為256×256的、帶有步長(zhǎng)的滑動(dòng)窗進(jìn)行重疊采樣以平衡數(shù)據(jù)集。不同的數(shù)據(jù)集采取不同的滑動(dòng)步長(zhǎng)，如表2所示。根據(jù)數(shù)據(jù)庫(kù)中眼底圖像的標(biāo)注，將含有EX病灶和不含有EX病灶的圖像塊分別作為正樣本塊和負(fù)樣本塊，用于小波Y-Net網(wǎng)絡(luò)的分類(lèi)訓(xùn)練。其中正樣本塊標(biāo)記為1，負(fù)樣本塊標(biāo)記為0。經(jīng)過(guò)滑動(dòng)窗口處理后每個(gè)數(shù)據(jù)集的訓(xùn)練集正樣本塊與負(fù)樣本塊比例約為2∶1，便于接下來(lái)的訓(xùn)練。在驗(yàn)證集和測(cè)試集上每張圖像采用與正樣本塊相同的滑動(dòng)步長(zhǎng)，并將得到的圖像塊預(yù)測(cè)結(jié)果拼接起來(lái)作為最終整幅圖像的預(yù)測(cè)結(jié)果。為防止過(guò)擬合，使用在線數(shù)據(jù)增強(qiáng)的方式擴(kuò)充數(shù)據(jù)，對(duì)訓(xùn)練集圖像塊進(jìn)行隨機(jī)90度旋轉(zhuǎn)、平移、伽馬校正、隨機(jī)對(duì)比度等增強(qiáng)操作，并對(duì)所有圖像進(jìn)行歸一化。

表2 數(shù)據(jù)集樣本塊數(shù)目及大小Tab.2 Number and size of dataset sample blocks

1.4 網(wǎng)絡(luò)架構(gòu)

本文提出了一種區(qū)域分類(lèi)引導(dǎo)的小波Y-Net網(wǎng)絡(luò)架構(gòu)（圖2），用于眼底圖像硬滲出物的分割。該架構(gòu)以U-Net［28］為主體，將預(yù)處理后的圖像塊作為輸入，在編碼器底端輸出圖像塊含有EX病灶的概率值，并在解碼器部分輸出二進(jìn)制圖像作為分割結(jié)果。輸入和輸出圖像的大小均為256×256。使用帶有殘差連接的Inception模塊取代普通卷積層模塊，并使用DWT和IDWT分別取代原始U-Net中最大池化下采樣和線性插值上采樣過(guò)程。

圖2 區(qū)域分類(lèi)引導(dǎo)的小波Y-Net網(wǎng)絡(luò)框架Fig.2 Regional classification-guided wavelet Y-Net framework.

1.4.1 Y-Net U-Net網(wǎng)絡(luò)是醫(yī)學(xué)圖像分割任務(wù)中常用的深度學(xué)習(xí)方法。本文結(jié)合了分割和分類(lèi)的方法，在U-Net編碼器底端部分引入全連接層，構(gòu)建Y-Net網(wǎng)絡(luò)結(jié)構(gòu)。將劃分好的圖像塊作為網(wǎng)絡(luò)的輸入，該網(wǎng)絡(luò)同時(shí)生成像素級(jí)分割預(yù)測(cè)圖和圖像塊是否含有病灶的概率預(yù)測(cè)值。盡管基于分類(lèi)的方法無(wú)法提供結(jié)構(gòu)和組織級(jí)別的信息，但能夠識(shí)別圖像內(nèi)部的感興趣區(qū)域，用于進(jìn)一步分析。

U-Net網(wǎng)絡(luò)由編碼器和解碼器兩部分組成。編碼器部分由卷積層和下采樣塊堆疊而成，編碼器主要用于捕捉上下文特征，在卷積和下采樣操作中會(huì)丟失空間信息。解碼器部分由卷積層和上采樣塊堆疊而成，卷積層和上采樣塊有助于補(bǔ)償解碼器部分丟失的空間信息。U-Net在編碼器和解碼器之間引入跳過(guò)連接，使得編碼器和解碼器之間能夠共享信息。本文提出的區(qū)域分類(lèi)引導(dǎo)的小波Y-Net網(wǎng)絡(luò)編碼器部分，先將輸入圖像通過(guò)引入殘差連接的Inception模塊進(jìn)行卷積操作以提取多尺度信息，然后使用DWT進(jìn)行四次下采樣；解碼器部分同樣采用帶有殘差連接的Inception模塊，并用IDWT進(jìn)行上采樣，以恢復(fù)下采樣階段丟失的細(xì)節(jié)信息。本文構(gòu)建的Y-Net在編碼器底端引入一個(gè)1×1的卷積層提取特征并降低維度，在卷積層后接入一個(gè)自適應(yīng)全局平均池化操作和兩個(gè)全連接層，全連接層神經(jīng)元個(gè)數(shù)分別為100和1。全局平均池化操作不需要參數(shù)，能夠避免在該層產(chǎn)生過(guò)擬合。相比全連接層而言，全局平均池化對(duì)于建立特征圖和類(lèi)別之間的關(guān)系是一種更樸素的卷積結(jié)構(gòu)。全局平均池化通過(guò)對(duì)空間信息進(jìn)行求和，對(duì)輸入空間變化的魯棒性更強(qiáng)。經(jīng)過(guò)全連接層得到圖像塊的概率值，若概率值大于0.5則將其視為含有病灶陽(yáng)性樣本，反之則將其視為不含病灶的陰性樣本。對(duì)概率預(yù)測(cè)值與解碼器部分的分割預(yù)測(cè)結(jié)果進(jìn)行加權(quán)。若概率值大于0.5，分割預(yù)測(cè)圖保持不變；反之將分割預(yù)測(cè)圖所有像素值置為0，即輸出為黑色背景圖。通過(guò)加權(quán)操作能夠在一定程度上抑制預(yù)測(cè)過(guò)程中出現(xiàn)的假陽(yáng)性。經(jīng)過(guò)加權(quán)操作的分割預(yù)測(cè)圖為該網(wǎng)絡(luò)的最終輸出結(jié)果，并通過(guò)與真實(shí)標(biāo)注計(jì)算損失，端到端地訓(xùn)練整個(gè)網(wǎng)絡(luò)。在測(cè)試階段，整幅圖像通過(guò)滑動(dòng)窗重疊采樣分解為若干圖像塊。圖像塊經(jīng)網(wǎng)絡(luò)的分類(lèi)支路得到概率預(yù)測(cè)值。令該圖像塊中所有像素值等于其概率預(yù)測(cè)值。由圖像塊拼接成整圖時(shí)，重疊區(qū)域的像素值取平均，即得到整個(gè)眼底圖像的分類(lèi)概率預(yù)測(cè)圖。

1.4.2 殘差I(lǐng)nception模塊 由于硬滲出物在眼底圖像中分布不均衡且占比較小，從不同的尺度提取特征非常重要。Inception模塊是于2014年提出的一種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，相比于通過(guò)增加網(wǎng)絡(luò)的深度以獲得更好訓(xùn)練效果的網(wǎng)絡(luò)結(jié)構(gòu)（如AlexNet、VGG）而言，Inception模塊能夠有效避免由于卷積層數(shù)的增加帶來(lái)的過(guò)擬合、梯度消失、梯度爆炸等問(wèn)題。Inception模塊的內(nèi)部結(jié)構(gòu)如圖3所示。在本文實(shí)驗(yàn)中設(shè)計(jì)了3個(gè)分支，分別使用了一個(gè)1×3，一個(gè)3×1和兩個(gè)3×3的卷積核進(jìn)行卷積以提取多尺度特征，然后將這些特征組合在一起，并使用1×1卷積核進(jìn)行降維。在Inception模塊中引入殘差連接，Inception模塊之后加入BN層以及ReLU激活函數(shù)。引入殘差連接的Inception模塊如圖4所示。將殘差的輸入表示為Xi，將卷積層操作表示為f（·）。加入殘差連接后的輸出為f（Xi）+Xi。另外，在兩個(gè)3×3卷積層之間使用了dropout操作，以避免過(guò)擬合，dropout率設(shè)置為0.5。

圖3 Inception模塊內(nèi)部結(jié)構(gòu)Fig.3 Internal structure of the nception module.

圖4 引入殘差連接的Inception模塊Fig.4 Inception module with residual connection.

1.4.3 離散小波變換與逆小波變換 在原始U-Net中為了縮小圖像尺寸，擴(kuò)大感受野，通常在編碼器部分采用最大池化的方式進(jìn)行下采樣，在解碼器部分通過(guò)線性插值或反卷積操作的方式進(jìn)行上采樣，以恢復(fù)圖像尺寸。EX病灶在眼底圖像中分布分散且大小不一，較小病灶的大小通常只有幾個(gè)像素。若通過(guò)最大池化進(jìn)行下采樣會(huì)丟失原始圖像中的細(xì)節(jié)信息，同時(shí)在上采樣的過(guò)程中無(wú)法還原。DWT在信號(hào)分解與重建過(guò)程中具有可逆性，有利于保留圖像的細(xì)節(jié)信息。2D-DWT變換的過(guò)程需要先對(duì)圖像的每一行進(jìn)行1D-DWT，然后對(duì)變換所得數(shù)據(jù)的每一列進(jìn)行1D-DWT，獲得原始圖像在水平和垂直方向上的低頻分量、水平方向上的低頻和垂直方向上的高頻分量、水平方向上的高頻和垂直方向上的低頻分量以及水平和垂直方向上的高頻分量。低頻分量能夠保留圖像的輪廓信息，而高頻分量能夠保留圖像的邊緣和細(xì)節(jié)信息。2×2區(qū)域內(nèi)采樣是指僅對(duì)圖像每一行、每一列進(jìn)行間隔采樣，可得到四張下采樣后的圖像，分別由原始圖像的奇數(shù)行、奇數(shù)列；奇數(shù)行、偶數(shù)列；偶數(shù)行、奇數(shù)列；偶數(shù)行、偶數(shù)列構(gòu)成。上采樣的時(shí)候根據(jù)下采樣的位置還原圖像大小。與DWT相比，僅對(duì)圖像進(jìn)行了采樣，而未在水平、垂直方向上進(jìn)行高通和低通濾波。圖5為不同采樣方式的圖像還原效果展示。圖5A為原始圖像，圖5B中使用最大池化下采樣和雙線性插值上采樣，這種方式會(huì)使得圖像變模糊。圖5C中對(duì)圖像在2×2區(qū)域內(nèi)進(jìn)行四次采樣并還原，能夠較好地保留圖像細(xì)節(jié)信息。圖5D中使用DWT、IDWT進(jìn)行下采樣和上采樣，能夠很好地還原圖像。根據(jù)圖5C和圖5D可以看到2×2區(qū)域內(nèi)采樣與DWT對(duì)圖像的還原效果相當(dāng)，均能較好地保存圖像的細(xì)節(jié)信息。然而DWT相對(duì)于2×2區(qū)域內(nèi)采樣的方法不僅能夠捕獲特征圖的位置信息，還能通過(guò)圖像的高頻分量捕獲更多圖像的邊緣和紋理細(xì)節(jié)信息，更適用于病灶分割任務(wù)。在本實(shí)驗(yàn)中使用DWT 的方式進(jìn)行下采樣，并在解碼器部分使用IDWT進(jìn)行上采樣以恢復(fù)圖像尺寸。經(jīng)過(guò)DWT下采樣后的特征圖尺寸會(huì)變?yōu)樵瓉?lái)的1/4，通道數(shù)變?yōu)樵瓉?lái)的四倍。

圖5 不同采樣方式的圖像還原效果Fig.5 Image restoration effects using different sampling methods.A:Original fundus image block.B:Four times downsampling using maxpooling and upsampling using bilinear interpolation.C:Four times sampling in 2×2 area and restoration.D:Four downsampling using DWT and upsampling using IDWT.

在DWT中，使用了四個(gè)濾波器，即fLL，fLH，fHL和fHH與圖像I進(jìn)行卷積。然后對(duì)卷積結(jié)果進(jìn)行下采樣以獲得四個(gè)子圖像ILL，ILH，IHL和IHH。由于DWT的雙正交特性，原始圖像I能夠通過(guò)IDWT準(zhǔn)確地重建，即I=IDWT（ILL，ILH，IHL，IHH）。實(shí)驗(yàn)中采用Haar小波進(jìn)行圖像下采樣操作，公式（2）為Haar小波的四個(gè)濾波器表達(dá)式。

1.5 損失函數(shù)

公式（3）～（4）分別代表分割損失函數(shù)、分類(lèi)損失函數(shù)。

由于前景背景分布嚴(yán)重不平衡，分割損失使用帶權(quán)重的交叉熵?fù)p失函數(shù)。其中N是輸入圖像的像素?cái)?shù)，yi表示第i個(gè)像素真實(shí)標(biāo)注。xi是第i個(gè)像素的預(yù)測(cè)值。陽(yáng)性樣本權(quán)重為w，在本實(shí)驗(yàn)中設(shè)置為50。

分類(lèi)損失使用二分類(lèi)交叉熵?fù)p失函數(shù)。其中Y是真實(shí)樣本標(biāo)簽，陽(yáng)性樣本標(biāo)簽為1，陰性樣本標(biāo)簽為0，Y為該樣本的預(yù)測(cè)值。

公式（5）為總損失函數(shù)。整個(gè)網(wǎng)絡(luò)的損失函數(shù)為分類(lèi)損失函數(shù)與分割損失函數(shù)的加權(quán)和。

本實(shí)驗(yàn)中a設(shè)置為2。

1.6 實(shí)驗(yàn)

使用5種不同的網(wǎng)絡(luò)算法分割EX，分別為U-Net網(wǎng)絡(luò)、引入殘差連接的Inception網(wǎng)絡(luò)（Ince+res）、引入殘差連接的Inception網(wǎng)絡(luò)，采樣方式為2×2區(qū)域內(nèi)采樣并還原(Ince+res+Sample)、引入殘差連接的Inception網(wǎng)絡(luò)，采樣方式為DWT、IDWT (Ince+res+DWT/IDWT)、引入殘差連接的Inception 網(wǎng)絡(luò)，使用DWT、IDWT 的采樣方式，并構(gòu)建分類(lèi)支路協(xié)同分割訓(xùn)練（Ince+res+DWT/IDWT+cls），Ince+res+DWT/IDWT+cls(NW)代表未與分割結(jié)果進(jìn)行加權(quán)，Ince+res+DWT/IDWT+cls（W）代表與分割支路結(jié)果進(jìn)行加權(quán)操作，即提出的區(qū)域分類(lèi)引導(dǎo)的小波Y-Net網(wǎng)絡(luò)。本文得出的所有實(shí)驗(yàn)結(jié)果均基于表1的數(shù)據(jù)劃分。

本文實(shí)驗(yàn)系統(tǒng)配置為L(zhǎng)inux操作系統(tǒng)，編程語(yǔ)言python3.6，基于pytorch 深度學(xué)習(xí)框架，在NVIDIA GeForce GTX 1080ti 顯卡上完成所有卷積運(yùn)算。實(shí)驗(yàn)使用Adam優(yōu)化器，訓(xùn)練200個(gè)epoch，batchsize設(shè)置為32，初始學(xué)習(xí)率0.001，并采用階梯式衰減方式，每隔10個(gè)epoch學(xué)習(xí)率衰減至當(dāng)前學(xué)習(xí)率的0.8倍。

1.7 評(píng)價(jià)標(biāo)準(zhǔn)

本實(shí)驗(yàn)采用基于像素標(biāo)準(zhǔn)的評(píng)估指標(biāo)。EX分割的常見(jiàn)指標(biāo)如下：敏感性（Sen）、特異性（Spec）、準(zhǔn)確率（Acc）、和受試者工作特征曲線下面積（AUC），如公式（6）～（10）所示。

其中TP為真陽(yáng)性，即正確分割的EX病灶像素點(diǎn)；FP為假陽(yáng)性，即被錯(cuò)誤分割為EX的非EX像素點(diǎn)；TN為真陰性，即正確分割的背景像素點(diǎn)；FN為假陰性，即被錯(cuò)誤分割為背景的EX病灶像素點(diǎn)。敏感性是被正確判斷為EX的像素個(gè)數(shù)與真實(shí)標(biāo)注中EX的像素個(gè)數(shù)的比值。特異性是被正確分割的背景點(diǎn)占總背景點(diǎn)的比例。此外，引入AUC驗(yàn)證所提出方法的有效性。受試者工作特征曲線橫坐標(biāo)為假陽(yáng)性率（FPR），縱坐標(biāo)為真陽(yáng)性率（TPR）。

2 結(jié)果

2.1 分類(lèi)支路協(xié)同訓(xùn)練結(jié)果

IDRiD 數(shù)據(jù)集上的損失函數(shù)收斂曲線如圖6 所示。圖6A為訓(xùn)練集上分割任務(wù)與分類(lèi)任務(wù)損失收斂曲線，分割任務(wù)損失（loss_seg）與分類(lèi)任務(wù)損失（loss_cls）在訓(xùn)練過(guò)程中均平穩(wěn)下降。圖6B 為訓(xùn)練集損失（loss_train）與驗(yàn)證集損失（loss_val）收斂曲線，訓(xùn)練集和驗(yàn)證集損失均收斂，無(wú)過(guò)擬合現(xiàn)象。

圖6 損失收斂曲線Fig.6 Loss convergence curve.A:Loss convergence curve of segmentation task and classification task on training set.B:Loss convergence curve of training set and validation set.

圖7為分類(lèi)概率預(yù)測(cè)圖和分割預(yù)測(cè)圖結(jié)果，其中第1行、第2行分別為IDRiD和e-ophtha EX數(shù)據(jù)集示例圖像結(jié)果。圖7A為兩個(gè)數(shù)據(jù)集的原始示例圖像。圖7B為示例圖像的真實(shí)標(biāo)注。圖7C為示例圖像的分類(lèi)概率預(yù)測(cè)圖。其中，分類(lèi)預(yù)測(cè)圖中視盤(pán)區(qū)域呈現(xiàn)黑色，代表預(yù)測(cè)值較低；EX病灶及疑似病灶部分呈現(xiàn)亮白色，代表預(yù)測(cè)值較高。圖7D為經(jīng)過(guò)分類(lèi)支路協(xié)同訓(xùn)練，但未與分類(lèi)支路預(yù)測(cè)結(jié)果進(jìn)行加權(quán)的分割預(yù)測(cè)圖。圖7D中紅圈部分為由視盤(pán)帶來(lái)的假陽(yáng)性。圖7E展示了與分類(lèi)支路的結(jié)果進(jìn)行加權(quán)之后的分割預(yù)測(cè)圖，由視盤(pán)帶來(lái)的假陽(yáng)性能夠被有效地去除。

圖7 IDRiD、e-ophtha EX示例圖像概率預(yù)測(cè)圖與分割預(yù)測(cè)圖Fig.7 IDRiD and e-ophtha EX example image probability prediction map and segmentation prediction map.A:Original image.B:Ground Truth.C:Classification probability prediction map.D:Unweighted segmentation branch prediction map.E:Weighted segmentation prediction map.

2.2 分割結(jié)果

圖8、9分別為IDRiD、e-ophtha EX測(cè)試集的示例分割結(jié)果。圖中的藍(lán)色、紅色、黃色、黑色分別代表TP、FN、FP、TN，其定義在1.7節(jié)中給出。通過(guò)圖8能夠發(fā)現(xiàn)本文方法對(duì)較大的EX病灶分割效果較好；通過(guò)圖9能夠看出本文方法在微小的區(qū)域也能夠進(jìn)一步提升EX病灶的檢出率，與數(shù)據(jù)集標(biāo)定結(jié)果較為接近。

圖8 IDRiD像素級(jí)分割Fig.8 IDRiD pixel-level segmentation.A:original image.B:U-Net segmentation prediction image.C:Ince+res segmentation prediction image.D:Ince+res+Sample segmentation prediction image.E:Ince+res+DWT/IDWT segmentation prediction image.F:Ince+res+DWT/IDWT+cls segmentation prediction image.

圖9 e-ophtha EX像素級(jí)分割Fig.9 e-ophtha EX pixel-level segmentation.A:original image.B:U-Net segmentation prediction image.C:Ince+res segmentation prediction image.D:Ince+res+Sample segmentation prediction image.E:Ince+res+DWT/IDWT segmentation prediction image.F:Ince+res+DWT/IDWT+cls segmentation prediction image.

表3、4為本文提出的Ince+res+DWT/IDWT+cls算法與其他幾種算法在靈敏度、特異度、準(zhǔn)確率、AUC指標(biāo)上的定量分析結(jié)果。通過(guò)表3、4能夠看到，本文方法在IDRiD數(shù)據(jù)集上特異度和AUC結(jié)果最好，特異度為0.9860、AUC為0.9880（表3）；在e-ophtha EX數(shù)據(jù)集上特異度、準(zhǔn)確率、AUC結(jié)果最好，特異度為0.9939、準(zhǔn)確率為0.9938、AUC為0.9986（表4）。本文方法在兩個(gè)數(shù)據(jù)集上特異度和AUC指標(biāo)均高于其他方法，未與分類(lèi)結(jié)果進(jìn)行加權(quán)時(shí)[Ince+res+DWT/IDWT+cls（NW）]靈敏度最高，但特異性較低。在與分類(lèi)結(jié)果進(jìn)行加權(quán)之后[Ince+res+DWT/IDWT+cls（W）]提升了特異性和準(zhǔn)確率。為了更直觀地觀察測(cè)試樣本的分割結(jié)果，對(duì)兩個(gè)數(shù)據(jù)集的測(cè)試集結(jié)果通過(guò)箱線圖的形式進(jìn)行統(tǒng)計(jì)（圖10）。通過(guò)圖10能夠觀察到，本文方法相較其他算法在AUC性能指標(biāo)得到了明顯提升。

圖10 實(shí)驗(yàn)數(shù)據(jù)結(jié)果的箱線圖Fig.10 Boxplots of experimental data results.A Boxplots of experimental data results on IDRiD dataset B Boxplots of experimental data results on e-ophtha EX dataset.

表3 評(píng)價(jià)指標(biāo)定量分析（IDRiD數(shù)據(jù)集）Tab.3 Quantitative analysis of evaluation indicators(IDRiD)

表4 評(píng)價(jià)指標(biāo)定量分析（e-ophtha EX 數(shù)據(jù)集）Tab.4 Quantitative analysis of evaluation indicators(e-ophtha EX)

2.3 與其他算法的比較

表5、6是本文提出的方法與其他文獻(xiàn)提出的EX分割方法的性能對(duì)比結(jié)果。在IDRiD數(shù)據(jù)集上，特異性、準(zhǔn)確率和AUC指標(biāo)均優(yōu)于其他文獻(xiàn)方法（表5）。在e-ophtha EX數(shù)據(jù)集上，準(zhǔn)確率和AUC指標(biāo)均優(yōu)于其他文獻(xiàn)方法（表6）。

表6 與其他文獻(xiàn)算法的比較（e-ophtha EX數(shù)據(jù)集）Tab.6 Comparison with other algorithms in literature(e-ophtha EX)

3 討論

EX在眼底圖像上具有大小不一、形態(tài)各異、與其他組織結(jié)構(gòu)的對(duì)比度低、強(qiáng)度變化不均勻等特點(diǎn)。傳統(tǒng)方法如閾值法［14］、區(qū)域增長(zhǎng)法［8］等難以區(qū)分與硬滲出物顏色、亮度相近的組織結(jié)構(gòu)，易導(dǎo)致過(guò)度分割，需要手動(dòng)去除視盤(pán)等組織結(jié)構(gòu)，且對(duì)噪聲敏感。傳統(tǒng)的機(jī)器學(xué)習(xí)方法［9］依賴(lài)于手動(dòng)設(shè)計(jì)并提取復(fù)雜的特征，不利于實(shí)現(xiàn)EX自動(dòng)化分割。基于深度學(xué)習(xí)的EX自動(dòng)分割算法中，尚未提出能夠自動(dòng)進(jìn)行視盤(pán)去除的端到端網(wǎng)絡(luò)。本文針對(duì)EX在分割過(guò)程中易受到視盤(pán)的影響等問(wèn)題，提出了一種區(qū)域分類(lèi)引導(dǎo)的小波Y-Net網(wǎng)絡(luò)硬滲出物自動(dòng)分割算法。該算法實(shí)現(xiàn)了EX端到端分割，經(jīng)過(guò)分割與分類(lèi)協(xié)同訓(xùn)練后能夠有效區(qū)分視盤(pán)和硬滲出物，避免了復(fù)雜的視盤(pán)定位與去除的預(yù)處理過(guò)程。網(wǎng)絡(luò)通過(guò)引入殘差連接的Inception模塊提取圖像多尺度信息，并使用DWT、IDWT進(jìn)行下采樣和上采樣，捕獲圖像的頻率和位置信息，以防止病灶細(xì)節(jié)信息不可逆丟失并改善分割結(jié)果。

從圖8、9及表3、4實(shí)驗(yàn)結(jié)果可以看出，Ince+res+DWT/IDWT算法的性能優(yōu)于U-Net算法、Ince+res算法以及Ince+res+Sample算法。這是因?yàn)橐霘埐铈湹腎nception模塊能夠加深網(wǎng)絡(luò)的寬度，在多個(gè)尺度上同時(shí)進(jìn)行卷積，引入更多的線性映射來(lái)提高網(wǎng)絡(luò)的表達(dá)能力［29］。因此，Ince+res算法相較單一尺度的U-Net網(wǎng)絡(luò)更能提取眼底圖像的多尺度特征，從而提高病灶分割的性能。通過(guò)2×2區(qū)域內(nèi)采樣并還原的方式能夠防止較小病灶的信息不可逆丟失，Ince+res+Sample算法進(jìn)一步提升了靈敏度和特異性。而Ince+res+DWT/IDWT算法相較僅能捕獲位置信息的Ince+res+Sample算法效果更好,這是因?yàn)镈WT、IDWT進(jìn)行下采樣和上采樣不僅能夠防止信息丟失，還能夠捕獲圖像的頻率信息，更有利于還原圖像的邊緣結(jié)構(gòu)［30］。圖10及表3、4實(shí)驗(yàn)結(jié)果表明本實(shí)驗(yàn)提出的區(qū)域分類(lèi)引導(dǎo)的小波Y-Net算法在5 種算法中性能最好。該算法在Ince+res+DWT/IDWT算法的基礎(chǔ)上添加分類(lèi)支路，通過(guò)分類(lèi)支路的訓(xùn)練，能夠較好地區(qū)分病灶與視盤(pán)。這是因?yàn)榉诸?lèi)支路更加關(guān)注圖像的高級(jí)語(yǔ)義信息，在與分割支路協(xié)同訓(xùn)練時(shí)，使得分割過(guò)程中能捕捉圖像中更多的結(jié)構(gòu)信息，從而提升靈敏度。分割預(yù)測(cè)圖通過(guò)與分類(lèi)結(jié)果加權(quán)，提升靈敏度的同時(shí)，消除了受視盤(pán)影響帶來(lái)的假陽(yáng)性，能夠在避免復(fù)雜的視盤(pán)定位與去除的情況下，提升病灶分割的準(zhǔn)確率。

本文提出的方法特異性較高，表明能夠精確地去除視盤(pán)等明亮區(qū)域。由表5、6能夠觀察到，相比于先去除視盤(pán)、血管等組織結(jié)構(gòu)，再使用傳統(tǒng)方法或者深度學(xué)習(xí)網(wǎng)絡(luò)提取特征進(jìn)行EX分割的方法［6,9,23］，本文提出的方法能夠自動(dòng)去除視盤(pán)，在靈敏度、準(zhǔn)確率、AUC評(píng)估指標(biāo)上都取得了更好的結(jié)果。與Zabihollahy等［24］采用兩個(gè)網(wǎng)絡(luò)，自動(dòng)分割EX和視盤(pán)的結(jié)果相比，本文的方法能端到端地優(yōu)化分割結(jié)果，且取得更高的準(zhǔn)確率。此外，與其他使用了Inception模塊的方法相比［21,22］，本實(shí)驗(yàn)在使用Inception模塊的基礎(chǔ)上通過(guò)DWT、IDWT進(jìn)行采樣操作，能防止細(xì)節(jié)信息丟失，進(jìn)一步改善分割效果，在準(zhǔn)確率和AUC指標(biāo)上均優(yōu)于前者。

綜上所述，本文算法通過(guò)區(qū)域分類(lèi)引導(dǎo)EX分割聯(lián)合實(shí)現(xiàn)了視盤(pán)區(qū)域檢測(cè)和EX分割，能夠有效地自動(dòng)區(qū)分EX和視盤(pán)等明亮結(jié)構(gòu)，實(shí)現(xiàn)端到端分割。同時(shí)提出使用DWT和IDWT取代常用的池化下采樣、線性插值上采樣方式防止丟失細(xì)節(jié)信息并捕獲圖像的頻率信息；使用帶有殘差連接的Inception模塊提取圖像中的多尺度信息以更準(zhǔn)確地進(jìn)行病變分割。在多個(gè)數(shù)據(jù)庫(kù)上體現(xiàn)了本算法的可行性和魯棒性，為自動(dòng)去除視盤(pán)并進(jìn)行端到端EX分割提供了一種新方法。但本研究?jī)H對(duì)圖像塊進(jìn)行含有EX病灶的概率值預(yù)測(cè)，對(duì)除視盤(pán)外其他一些明亮的病變或組織區(qū)分效果還有待提高，這些結(jié)構(gòu)的誤判使得本文提出的方法相較于不使用分類(lèi)協(xié)同分割的方法在特異性指標(biāo)上沒(méi)有較為明顯的提升。未來(lái)研究中將考慮對(duì)圖像塊進(jìn)行回歸預(yù)測(cè)，以更準(zhǔn)確地判斷EX病灶的位置。