岳丹陽(yáng)，羅健旭

(華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 200237)

0 引 言

基于深度學(xué)習(xí)的人工智能醫(yī)學(xué)圖像分析[1，2]需要大量標(biāo)注樣本，醫(yī)學(xué)標(biāo)注成本較高，很難獲取大量標(biāo)注樣本。針對(duì)糖網(wǎng)病標(biāo)注樣本少的問題，本文進(jìn)行基于深度學(xué)習(xí)的半監(jiān)督學(xué)習(xí)算法研究，并將其應(yīng)用到糖網(wǎng)病場(chǎng)景下的小樣本分類中。

在深度半監(jiān)督算法中，深度生成模型獲得了最廣泛的應(yīng)用[3]。常見的生成模型主要有自編碼模型[4]、深度卷積神經(jīng)網(wǎng)絡(luò)[5]和生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network，GAN)[6]等。由于GAN強(qiáng)大的概率擬合能力，在半監(jiān)督分類領(lǐng)域中獲得了許多進(jìn)展。Salimans等對(duì)判別器網(wǎng)絡(luò)輸出進(jìn)行調(diào)整[7]，同時(shí)進(jìn)行分類和真假判別。Ali-Gombe等提出多任務(wù)判別器[8]，對(duì)標(biāo)簽數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，對(duì)無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行無(wú)監(jiān)督學(xué)習(xí)。Fu等提出編碼生成對(duì)抗網(wǎng)絡(luò)用于半監(jiān)督分類[9]，在GAN中添加一個(gè)編碼器提取圖像特征用于分類?；贕AN的半監(jiān)督方法在醫(yī)學(xué)領(lǐng)域也取得了許多應(yīng)用，Li等結(jié)合DCGAN和FCM提出一種用于肺結(jié)節(jié)良惡性分類的半監(jiān)督學(xué)習(xí)方法[10]，Li等提出基于GAN的半監(jiān)督學(xué)習(xí)模型用于乳腺彩超圖像的良惡性分類[11]。現(xiàn)存的基于GAN的半監(jiān)督分類方法主要對(duì)判別器結(jié)構(gòu)調(diào)整，使其共同學(xué)習(xí)標(biāo)簽和無(wú)標(biāo)簽數(shù)據(jù)的分布，但是判別器同時(shí)分類和判別真假預(yù)測(cè)可能不相兼容，分類性能易受GAN穩(wěn)定性的影響。另外，未考慮GAN生成的數(shù)據(jù)對(duì)分類性能的輔助，也未考慮提升生成性能以提高模型的概率擬合能力。本文基于Triple-GAN[12]算法，使分類網(wǎng)絡(luò)與GAN既獨(dú)立又對(duì)抗訓(xùn)練，在標(biāo)簽少的情況下，利用大量無(wú)標(biāo)簽數(shù)據(jù)和生成數(shù)據(jù)共同提升分類器的泛化能力。

1 半監(jiān)督生成對(duì)抗網(wǎng)絡(luò)Triple-GAN

Triple-GAN算法提出一種引入分類器與生成器和判別器三者共同對(duì)抗訓(xùn)練的方法進(jìn)行半監(jiān)督學(xué)習(xí)。Triple-GAN的模型結(jié)構(gòu)如圖1所示，由3部分組成：分類器C、生成器G、判別器D。C為輸入數(shù)據(jù)提供標(biāo)簽信息，主要是從生成配對(duì) (xG,yG)、 真實(shí)配對(duì) (xL,yL) 和僅有圖片xC這3種數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)分布生成標(biāo)簽信息y，C表征著條件概率分布pC(y|x)， 產(chǎn)生的圖像標(biāo)簽對(duì) (xC,yC) 服從pC(x,y) 分布。G表征著條件分布pG(y|x)， 負(fù)責(zé)為輸入一對(duì)條件yG和先驗(yàn)分布z生成圖像標(biāo)簽對(duì)(xG,yG)， 服從pG(x,y) 分布。D唯一作用是判斷圖像標(biāo)簽對(duì) (x,y) 是否來(lái)自于真實(shí)數(shù)據(jù)分布p(x,y)。

圖1 Triple-GAN模型結(jié)構(gòu)

Triple-GAN總的優(yōu)化目標(biāo)函數(shù)如式(1)所示

(1)

其中，α為常數(shù)，平衡C和G之間的相關(guān)重要程度，考慮平衡因素，一般設(shè)為1/2，E為分布期望。理想中平衡為p(x,y)=pG(x,y)=pC(x,y)， 在實(shí)際訓(xùn)練中難以實(shí)現(xiàn)，故在分類器C上增加了一個(gè)標(biāo)準(zhǔn)監(jiān)督損失函數(shù)RL和偽判別損失Rp， 如式(2)和式(3)所示

RL=Ex,y～p(x,y)[-logpC(y|x)]

(2)

Rp=EpG[-logpC(y|x)]

(3)

RL計(jì)算pC(x,y) 與p(x,y) 分布之間的差異，Rp計(jì)算pC(x,y) 與pG(x,y) 分布之間的差異，通過(guò)共同對(duì)抗訓(xùn)練使C、G和D互相博弈互相提升。

2 改進(jìn)的Triple-GAN算法

Triple-GAN的生成性能和分類性能有限，網(wǎng)絡(luò)結(jié)構(gòu)比較單一，應(yīng)用場(chǎng)景有限。本文對(duì)Triple-GAN的結(jié)構(gòu)重新設(shè)計(jì)，提出改進(jìn)的Triple-GAN算法，其中分類器使用適用性更好的多尺度分類網(wǎng)絡(luò)。由于原Triple-GAN模型難以生成大尺度的圖像，提出能夠生成具有大范圍關(guān)聯(lián)性圖像的生成對(duì)抗網(wǎng)絡(luò)模型SEDA-GAN，即能提高生成質(zhì)量，亦能應(yīng)用在糖網(wǎng)病圖像上。

2.1 多尺度分類網(wǎng)絡(luò)

分類器使用殘差網(wǎng)絡(luò)ResNet-50作為主干網(wǎng)絡(luò)，殘差網(wǎng)絡(luò)不僅深度較高，還具有優(yōu)越的性能，解決了梯度消失和梯度爆炸的問題[13]。殘差網(wǎng)絡(luò)的結(jié)構(gòu)如圖2(a)所示，先經(jīng)過(guò)7x7卷積網(wǎng)絡(luò)、批歸一化、ReLU和最大池化初步提取淺層特征，然后經(jīng)過(guò)4個(gè)由瓶頸結(jié)構(gòu)組成的layer層進(jìn)行深層次特征提取，再使用平均池化和全連接層輸出結(jié)果。

每經(jīng)過(guò)一個(gè)layer層，獲取的特征圖包含著更深層次的語(yǔ)義特征，尺度縮小，但低層的特征所包含小目標(biāo)信息也會(huì)隨著下采樣缺失。由于眼底圖像上包含著許多小目標(biāo)信息，本文提出多尺度分類網(wǎng)絡(luò)(multi-scale classification network，MCN)，引入多層特征做預(yù)測(cè)。MCN結(jié)構(gòu)如圖2(b)所示，去除原來(lái)的全連接層，layer2、layer3的特征經(jīng)過(guò)3×3卷積和平均池化后與layer4層輸出的特征進(jìn)行融合，再經(jīng)過(guò)兩層全連接層進(jìn)行預(yù)測(cè)，可以根據(jù)3種不同尺度的特征存在的有益信息進(jìn)行類別預(yù)測(cè)。

圖2 殘差網(wǎng)絡(luò)結(jié)構(gòu)

2.2 生成對(duì)抗網(wǎng)絡(luò)

在Triple-GAN算法中生成圖像質(zhì)量越接近于目標(biāo)數(shù)據(jù)，生成的圖像標(biāo)簽對(duì)越有益于分類器的泛化能力。本文提出了一種壓縮激活雙注意力生成對(duì)抗網(wǎng)絡(luò)(squeeze-and-excitation dual-attention generative adversarial network，SEDA-GAN)，以BigGAN[14]模型為基礎(chǔ)，從通道的角度提升GAN的生成性能。BigGAN在生成具有復(fù)雜結(jié)構(gòu)的圖像時(shí)還存在著一些困難，生成圖像的目標(biāo)結(jié)構(gòu)分布不自然。SEDA-GAN從通道增強(qiáng)的角度做出兩個(gè)方面的改進(jìn)，詳細(xì)如下：

第一，引入壓縮激活[15](squeeze-and-excitation，SE)操作，對(duì)BigGAN中卷積塊ResBlock提取的特征進(jìn)行重校準(zhǔn)，提出新的卷積模塊SEResBlock。壓縮激活操作從通道的方向上學(xué)習(xí)通道關(guān)聯(lián)性信息，增強(qiáng)特征層中一些作用較強(qiáng)的特征層并削弱一些無(wú)用的特征層，使得網(wǎng)絡(luò)的中間層特征更具表達(dá)能力，進(jìn)而提升GAN的生成性能。

SEResBlock的結(jié)構(gòu)如圖3所示，圖3(a)、圖3(b)分別為生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)中的SEResBlock模塊，SEResBlock模塊在ResBlock結(jié)構(gòu)中增加了壓縮激活操作層SELayer，類別經(jīng)過(guò)批歸一化層共享嵌入到網(wǎng)絡(luò)中。SELayer對(duì)上層經(jīng)卷積塊提取的特征M∈C×H×W進(jìn)行平均池化，得到一個(gè)長(zhǎng)度為C的壓縮特征向量s。向量s經(jīng)過(guò)由兩個(gè)1×1卷積和激活函數(shù)ReLU、Sigmoid組成的兩層非線性層學(xué)習(xí)得到一個(gè)長(zhǎng)度為C的激活向量w∈(0,1)。 最后w經(jīng)過(guò)通道倍乘對(duì)原來(lái)的特征M進(jìn)行重校準(zhǔn)得到新特征通道倍乘計(jì)算如下

(4)

圖3 SEResBlock模塊結(jié)構(gòu)

第二，引入了雙注意力機(jī)制[16](dual-attention，DA)，使GAN的特征能同時(shí)從特征的位置和通道空間上捕獲大范圍的結(jié)構(gòu)關(guān)聯(lián)信息，獲取更加豐富廣泛的上下文語(yǔ)義信息。BigGAN中的自注意力機(jī)制[17](也稱位置注意力機(jī)制)建立的特征結(jié)構(gòu)信息有限，難以生成復(fù)雜結(jié)構(gòu)的圖像。在網(wǎng)絡(luò)的高級(jí)特征中，結(jié)構(gòu)間的關(guān)聯(lián)信息與特征通道也有關(guān)。DA結(jié)構(gòu)如圖4所示，由位置注意力和通道注意力兩部分構(gòu)成。其中特征A∈C×H×W同時(shí)進(jìn)行計(jì)算得到位置注意力特征S∈C×H×W和通道注意力特征T∈C×H×W， 最后經(jīng)過(guò)兩個(gè)3×3卷積J(x) 和K(x) 進(jìn)行融合，得到具有豐富結(jié)構(gòu)信息的新特征U∈C×H×W， 如式(5)所示

U=J(S)+K(T)

(5)

位置注意力特征S的計(jì)算：如圖4的Ⅰ部分所示，特征A經(jīng)過(guò)3個(gè)1×1卷積提取，得到尺寸不變通道數(shù)為C/8、C/8、C的3個(gè)特征B、R、V，B和R重組成二維矩陣 [b1,b2,…,bN]、 [r1,r2,…,rN]， 其中向量b和r長(zhǎng)度為C，N為H×W。 重組后的B的轉(zhuǎn)置與重組的R相乘并經(jīng)過(guò)Softmax運(yùn)算得到位置特征圖P，P的每個(gè)元素值pji的計(jì)算如式(6)所示

(6)

圖4 雙注意力機(jī)制結(jié)構(gòu)

其中，i,j=1、 2、 …、N，pji建立了bi和rj位置間的關(guān)聯(lián)信息。然后V重組后的特征 [v1,v2,…,vN] 與位置特征圖P的像素點(diǎn)相乘后重組成維度為C×H×W的特征，再乘以一個(gè)學(xué)習(xí)權(quán)重λ與特征A相加便得到了位置注意力特征S，計(jì)算過(guò)程如式(7)所示

(7)

其中，j=1、 2、 …、N， 可以看出位置注意力特征S的每個(gè)位置包含著特征A所有位置間的關(guān)聯(lián)信息。

通道注意力特征T的計(jì)算：如圖4的Ⅱ部分所示，特征A直接進(jìn)行重組得到二維矩陣A′=[a1,a2,…,aC]， 向量a長(zhǎng)度為N。然后A′與其轉(zhuǎn)置相乘并經(jīng)過(guò)Softmax運(yùn)算得到通道特征圖Q，Q的每個(gè)元素值qji的計(jì)算如式(8)所示

(8)

其中，i,j=1、 2、 …、C，qji建立了ai和aj通道間的關(guān)聯(lián)信息。然后通道特征圖Q的像素值與A′相乘后重組維度為C×H×W的特征，再乘以一個(gè)學(xué)習(xí)權(quán)重β與特征A相加便得到了通道注意力特征T，計(jì)算過(guò)程如式(9)所示

(9)

其中，j=1、 2、 …、C， 其中特征T的每個(gè)位置包含著特征A不同通道間的關(guān)聯(lián)信息。

SEDA-GAN的網(wǎng)絡(luò)框架如圖5所示。圖5(a)為生成

圖5 SEDA-GAN網(wǎng)絡(luò)框架

模型，輸入為噪聲向量z和類別y，z服從于標(biāo)準(zhǔn)正態(tài)分布，y嵌入到SEResBlock的批歸一化層中，ch為64，雙注意力機(jī)制DA放在網(wǎng)絡(luò)的中后級(jí)特征間。圖5(b)為判別模型，判別輸入的RGB圖像和標(biāo)簽y是否是真的，由SEResBlock和雙注意力機(jī)制構(gòu)成，結(jié)構(gòu)與生成器對(duì)稱，最終經(jīng)過(guò)線性變換和標(biāo)簽y嵌入融合進(jìn)行判斷輸入圖像-標(biāo)簽的真假。

2.3 半監(jiān)督網(wǎng)絡(luò)的優(yōu)化

GAN使用對(duì)數(shù)損失時(shí)， log(1-x) 在優(yōu)化的后期梯度變化較大，不利于網(wǎng)絡(luò)的平衡。使用鉸鏈損失(Hinge Loss)時(shí)，梯度計(jì)算穩(wěn)定，網(wǎng)絡(luò)收斂速度也比較穩(wěn)定[17]。改進(jìn)Triple-GAN使用Hinge損失函數(shù)，如下所示：

判別器D的損失

LD=-Ex,y～p(x,y)[min(0,-1+D(x,y))]- (1-α)Ex,y～pG(x,y)[min(0,-1-D(G(z,y),y))]-αEx,y～pC(x,y)[min(0,-1-D(x,y))]

(10)

生成器G的損失

LG=-Ex,y～pG(x,y)D(G(z,y),y)

(11)

分類器C的損失

LC=-αREx,y～pC(x,y)pC(y|x)[min(0,-1-D(x,y))]-RL-αpRp

(12)

LD中α用于平衡生成數(shù)據(jù)與無(wú)標(biāo)簽數(shù)據(jù)，一般為0.5。LC中的pC(y|x)[min(0,-1-D(x,y))] 為無(wú)標(biāo)簽數(shù)據(jù)的離散損失函數(shù)，用于學(xué)習(xí)無(wú)標(biāo)簽數(shù)據(jù)的分布，源于強(qiáng)化學(xué)習(xí)算法的離散損失。αR和αp均為權(quán)重參數(shù)，可根據(jù)其對(duì)應(yīng)損失對(duì)分類器性能的貢獻(xiàn)調(diào)整參數(shù)的大小。整個(gè)半監(jiān)督網(wǎng)絡(luò)的優(yōu)化分3個(gè)過(guò)程，如算法1所示。

算法1：使用最小批量隨機(jī)梯度下降算法優(yōu)化Triple-GAN的訓(xùn)練

fornumber of training iterationsdo

數(shù)據(jù)準(zhǔn)備:

(1)采樣mD個(gè)真實(shí)有標(biāo)簽的圖像-標(biāo)簽對(duì) (x,y)～p(x,y);

(2)從標(biāo)準(zhǔn)正態(tài)分布中采樣mG個(gè)噪聲z，使用G生成圖像-標(biāo)簽 (x,y)～pG(x,y);

(3)采樣mC個(gè)真實(shí)無(wú)標(biāo)簽數(shù)據(jù)，使用C生成圖像-標(biāo)簽 (x,y)～pC(x,y)

優(yōu)化D：使用梯度下降優(yōu)化判別網(wǎng)絡(luò)D，根據(jù)LD計(jì)算梯度更新參數(shù)θD

優(yōu)化G：使用梯度下降優(yōu)化生成網(wǎng)絡(luò)G，根據(jù)LG計(jì)算梯度更新參數(shù)θG

優(yōu)化C：使用梯度下降優(yōu)化分類網(wǎng)絡(luò)C，根據(jù)LC計(jì)算梯度更新參數(shù)θC

endfor

3 實(shí) 驗(yàn)

3.1 評(píng)價(jià)指標(biāo)

改進(jìn)Triple-GAN模型包含分類網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)部分，因此需要衡量分類精度和GAN生成圖像的質(zhì)量。分類精度常用錯(cuò)誤率(Error)評(píng)估，其計(jì)算如式(13)所示

(13)

GAN中常用Fréchet Inception Distance(FID)[18]指標(biāo)衡量生成數(shù)據(jù)與目標(biāo)數(shù)據(jù)分布之間的差異性來(lái)評(píng)價(jià)生成圖像的質(zhì)量。FID越小表示生成圖像質(zhì)量越接近真實(shí)圖像質(zhì)量，F(xiàn)ID計(jì)算如式(14)所示，生成圖像與真實(shí)圖像通過(guò)Inception-v3網(wǎng)絡(luò)提取得到特征向量，計(jì)算得到分布featx和featg， 然后再計(jì)算兩種分布之間的Wasserstein-2距離，得到質(zhì)量評(píng)估分?jǐn)?shù)

(14)

3.2 CIFAR-10數(shù)據(jù)驗(yàn)證

CIFAR-10是一個(gè)用于普通物體識(shí)別的數(shù)據(jù)集，共有60 000張彩色圖像，分辨率為32×32，分10個(gè)類，每類6000張圖，50 000張用于訓(xùn)練，10 000張用于測(cè)試。為便于與Triple-GAN模型對(duì)比，在CIFAR-10上進(jìn)行驗(yàn)證，驗(yàn)證MCN的分類性能、SEDA-GAN的生成性能和Triple-GAN半監(jiān)督性能。

3.2.1 MCN性能的驗(yàn)證

為驗(yàn)證MCN的有效性，使用相同的數(shù)據(jù)處理和訓(xùn)練參數(shù)對(duì)改進(jìn)前后的殘差網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)對(duì)比。在訓(xùn)練時(shí)對(duì)數(shù)據(jù)進(jìn)行隨機(jī)翻轉(zhuǎn)、旋轉(zhuǎn)，再標(biāo)準(zhǔn)化處理。訓(xùn)練的批量數(shù)為32，學(xué)習(xí)率初始為0.001，使用余弦退火學(xué)習(xí)率衰減策略調(diào)整學(xué)習(xí)率。

實(shí)驗(yàn)結(jié)果見表1，改進(jìn)后的模型比改進(jìn)前的模型錯(cuò)誤率下降了2.33%，引入多尺度特征后對(duì)分類網(wǎng)絡(luò)的性能有著一定的提升。

表1 ResNet-50改進(jìn)前后分類錯(cuò)誤率

3.2.2 SEDA-GAN的驗(yàn)證

為驗(yàn)證提出的SEDA-GAN的生成性能，與BigGAN在相同的實(shí)驗(yàn)參數(shù)下進(jìn)行對(duì)比實(shí)驗(yàn)。SEDA-GAN使用了與BigGAN模型的相同的損失，生成器和判別器的學(xué)習(xí)率設(shè)為0.0002，總迭代1 000 000次，每1000次迭代學(xué)習(xí)率以0.999的比率衰減，使用了頻譜歸一化[19]穩(wěn)定網(wǎng)絡(luò)訓(xùn)練。

本部分設(shè)計(jì)了5組不同的實(shí)驗(yàn)在FID指標(biāo)上評(píng)估，如圖6所示，NA為未使用注意力機(jī)制的BigGAN模型，SA為使用自注意力機(jī)制的BigGAN模型，SE將SELayer層應(yīng)用到NA組模型的ResBlock中，DA為應(yīng)用雙注意力機(jī)制的BigGAN模型，SE+DA為應(yīng)用了SELayer和雙注意力機(jī)制的模型SEDA-GAN。通過(guò)對(duì)比NA和SE組結(jié)果可以看出，應(yīng)用SELayer后模型的收斂速度加快，說(shuō)明SEResBlock的特征提取能力相比ResBlock更強(qiáng)；對(duì)比SA和DA組實(shí)驗(yàn)可以看出，使用了雙注意力機(jī)制，模型可以得到更低的FID結(jié)果，DA建模的結(jié)構(gòu)關(guān)聯(lián)性更加豐富；應(yīng)用了SELayer和雙注意力機(jī)制的SEDA-GAN獲得了更好的FID結(jié)果。經(jīng)過(guò)多次實(shí)驗(yàn)取均值，結(jié)果見表2，提出的方法均帶來(lái)了提升，SEDA-GAN模型的FID最低。

圖6 生成對(duì)抗網(wǎng)絡(luò)FID結(jié)果對(duì)比

表2 不同組實(shí)驗(yàn)的FID結(jié)果

3.2.3 改進(jìn)Triple-GAN算法的驗(yàn)證

將改進(jìn)的Triple-GAN在CIFAR-10上進(jìn)行實(shí)驗(yàn)，驗(yàn)證改進(jìn)模型的分類性能和生成性能。隨機(jī)采樣出N=2000和N=4000張數(shù)據(jù)作標(biāo)簽數(shù)據(jù)，剩余數(shù)據(jù)作無(wú)標(biāo)簽數(shù)據(jù)。

訓(xùn)練參數(shù)：標(biāo)簽數(shù)據(jù)、無(wú)標(biāo)簽數(shù)據(jù)、生成數(shù)據(jù)訓(xùn)練的批量數(shù)分別為32、128、128。分類器、生成器、判別器的學(xué)習(xí)率初始為0.0005、0.0002和0.0002，使用學(xué)習(xí)率衰減策略維持后期訓(xùn)練的穩(wěn)定，衰減率為0.999，1000次迭代衰減一次。損失函數(shù)的參數(shù)αR和αp初始設(shè)為0，迭代10 000次時(shí)設(shè)為0.2和0.1。GAN訓(xùn)練的后期會(huì)出現(xiàn)模式崩塌，生成的數(shù)據(jù)質(zhì)量變差會(huì)影響分類性能。為此在訓(xùn)練過(guò)程中增加了FID質(zhì)量評(píng)估機(jī)制，使用最優(yōu)模型的生成數(shù)據(jù)送入分類器中。

分類性能驗(yàn)證：在標(biāo)簽量N=2000和N=4000的情況下進(jìn)行多次實(shí)驗(yàn)，測(cè)得平均錯(cuò)誤率分別為10.65%和7.62%。原Triple-GAN算法在N=4000時(shí)錯(cuò)誤率為16.99%，改進(jìn)Triple-GAN的錯(cuò)誤率降低了9.37%。同樣在N=4000時(shí)，將αp一直設(shè)為0，去除生成數(shù)據(jù)的輔助，錯(cuò)誤率僅為14.40%，可見生成數(shù)據(jù)的加入對(duì)分類網(wǎng)絡(luò)的泛化作用較好，對(duì)分類性能的提升較高。為了對(duì)比改進(jìn)的Triple-GAN算法在半監(jiān)督算法中的優(yōu)勢(shì)，在N=2000和N=4000時(shí)與當(dāng)前主流的半監(jiān)督模型進(jìn)行對(duì)比，結(jié)果見表3，改進(jìn)Triple-GAN在標(biāo)簽量為2000和4000的情況下均取得最低的錯(cuò)誤率。

另外，設(shè)置了不同標(biāo)簽量情況下的實(shí)驗(yàn)，見表4。隨著標(biāo)簽量的增大錯(cuò)誤率越低，標(biāo)簽量等于10 000時(shí)錯(cuò)誤率已經(jīng)比較接近ResNet-50的錯(cuò)誤率，當(dāng)使用25 000張標(biāo)簽數(shù)據(jù)時(shí)，分類的錯(cuò)誤率比ResNet-50的錯(cuò)誤率更低。

表3 CIFAR-10數(shù)據(jù)集上半監(jiān)督模型分類錯(cuò)誤率/%

表4 不同標(biāo)簽數(shù)據(jù)量下的分類錯(cuò)誤率

生成性能驗(yàn)證：如圖7所示，在標(biāo)簽量N=4000時(shí)與原Triple-GAN的生成圖像對(duì)比，改進(jìn)的Triple-GAN生成的圖像更清晰，質(zhì)量更好，更加具有多樣性，且各類別間差異性比較明顯。與目前一些常見的生成對(duì)抗網(wǎng)絡(luò)模型進(jìn)行對(duì)比，結(jié)果見表5，改進(jìn)的Triple-GAN與提出的SEDA-GAN模型均獲得較低的FID，改進(jìn)后模型生成的數(shù)據(jù)分布與原數(shù)據(jù)分布更加相似。

圖7 Triple-GAN改進(jìn)前后生成圖像對(duì)比

3.3 糖網(wǎng)病數(shù)據(jù)上的應(yīng)用

糖網(wǎng)病，全稱糖尿病視網(wǎng)膜病變，是比較常見的一種糖尿病引起的視網(wǎng)膜微血管并發(fā)癥，嚴(yán)重可致人失明。國(guó)際標(biāo)準(zhǔn)中常將糖網(wǎng)病的嚴(yán)重程度分為5級(jí)：健康、輕度、中

表5 不同生成對(duì)抗網(wǎng)絡(luò)FID評(píng)分

度、重度、增殖。本文實(shí)驗(yàn)數(shù)據(jù)由上海社區(qū)醫(yī)院提供，共8000張圖片，標(biāo)注了2000張數(shù)據(jù)，分為dr0～dr4這5個(gè)等級(jí)。實(shí)驗(yàn)中隨機(jī)選取800張作測(cè)試集，剩余1200張作訓(xùn)練集，其余6000例為無(wú)標(biāo)簽數(shù)據(jù)。

原始圖像尺度規(guī)格不統(tǒng)一，進(jìn)行預(yù)處理并截取感興趣區(qū)域，調(diào)整尺寸為128×128，如圖8所示，從左到右分別對(duì)應(yīng)著dr0到dr4這5個(gè)等級(jí)的眼底圖像。dr0級(jí)為健康的眼底圖像；dr1級(jí)為輕度期，出現(xiàn)少量微血管瘤；dr2級(jí)為中度期，有一些眼底出血癥狀，視力衰退；dr3級(jí)為重度期，患者視力嚴(yán)重衰退，眼底出血較多；dr4級(jí)為增殖期，患者失明，有增殖血管形成，玻璃體出血。

圖8 糖尿病視網(wǎng)膜眼底病變

由于數(shù)據(jù)總量較少，對(duì)數(shù)據(jù)隨機(jī)水平垂直翻轉(zhuǎn)進(jìn)行增強(qiáng)。訓(xùn)練時(shí)標(biāo)簽、無(wú)標(biāo)簽、生成數(shù)據(jù)的批量數(shù)為16、32、32。分類器、生成器、判別器的初始學(xué)習(xí)率為0.0005、0.0001、0.0001。同時(shí)使用學(xué)習(xí)率衰減策略，衰減率0.99，每1000次迭代衰減一次。網(wǎng)絡(luò)權(quán)重使用頻譜歸一化方法以穩(wěn)定GAN訓(xùn)練，損失中的αR和αp初始為0，8000次迭代時(shí)設(shè)為0.2和0.1。

使用改進(jìn)的Triple-GAN和MCN進(jìn)行半監(jiān)督和全監(jiān)督實(shí)驗(yàn)，MCN的訓(xùn)練參數(shù)與章節(jié)3.2.1相同，多次實(shí)驗(yàn)的平均結(jié)果見表6。僅用標(biāo)簽數(shù)據(jù)進(jìn)行全監(jiān)督學(xué)習(xí)時(shí)，MCN的錯(cuò)誤率為32.00%，改進(jìn)Triple-GAN模型的錯(cuò)誤率為12.75%。相比之下，半監(jiān)督GAN方法利用無(wú)標(biāo)簽數(shù)據(jù)和生成數(shù)據(jù)可以大幅度提升分類器的泛化能力。同時(shí)在精確率、召回率和F1-score指標(biāo)上對(duì)各類別進(jìn)行測(cè)試，結(jié)果見表7，從中可知dr0和dr4級(jí)別的分類效果最好，dr2和dr3級(jí)的分類存在一些難度，分析病例圖像，dr2和dr3級(jí)之間的部分眼底特征變化比較微小。

表6 糖網(wǎng)病數(shù)據(jù)分類錯(cuò)誤率

表7 糖網(wǎng)病數(shù)據(jù)各分類指標(biāo)評(píng)估結(jié)果

圖9 隨機(jī)生成的眼底圖像

另外，也對(duì)改進(jìn)Triple-GAN生成的眼底圖像質(zhì)量進(jìn)行評(píng)估，多次測(cè)試的FID均值為20.43。圖9給出了隨機(jī)生成的眼底圖像，從左到右分別為dr0～dr5級(jí)，從中可以看出生成的眼底圖像紋理也比較清晰，圖像質(zhì)量較好，與原圖質(zhì)量比較接近。

4 結(jié)束語(yǔ)

為提高半監(jiān)督分類模型在糖網(wǎng)病分級(jí)上的精度，本文提出改進(jìn)的Triple-GAN算法，重新設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)與損失函數(shù)，將其應(yīng)用到糖尿病眼底圖像數(shù)據(jù)集上。改進(jìn)點(diǎn)主要分為3點(diǎn)：①在殘差網(wǎng)絡(luò)中引入多尺度特征預(yù)測(cè)，提升網(wǎng)絡(luò)分類性能，作為改進(jìn)Triple-GAN的分類器；②提出壓縮激活生成對(duì)抗網(wǎng)絡(luò)SEDA-GAN，提高GAN的生成性能，作為改進(jìn)Triple-GAN的生成對(duì)抗網(wǎng)絡(luò)部分；③將對(duì)數(shù)損失函數(shù)換成鉸鏈損失，提升網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性。在CIFAR-10上驗(yàn)證提出方法的有效性，并在糖網(wǎng)病分級(jí)上取得了較高的分類精度。