翁鵬濤，杜玉軍，張道奧，劉 青，王舒研，汪苑苑

(1.西安工業(yè)大學(xué) 光電工程學(xué)院，陜西 西安 710021；2.空軍軍醫(yī)大學(xué)第三附屬醫(yī)院 口腔粘膜科，陜西 西安 710032；3.軍事口腔醫(yī)學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室(國(guó)家口腔疾病臨床醫(yī)學(xué)研究中心)，陜西 西安 710032)

0 引 言

口腔圖像是基于深度神經(jīng)網(wǎng)絡(luò)的智能口腔醫(yī)學(xué)研究的基礎(chǔ)。由于病例隱私保護(hù)、醫(yī)學(xué)樣本圖像來(lái)源少等原因，臨床上口腔病灶圖像獲取難度大，難以建立完備的數(shù)據(jù)集[1]，因此深度學(xué)習(xí)在口腔醫(yī)學(xué)領(lǐng)域的研究相對(duì)較少。

傳統(tǒng)的數(shù)據(jù)增強(qiáng)算法可以從色彩和空間位置等方面有效地解決數(shù)據(jù)容量小的問(wèn)題，但提升數(shù)據(jù)多樣性的能力較弱[2,3]。區(qū)別于自然圖像，口腔圖像的病灶區(qū)域形態(tài)、顏色及紋理細(xì)節(jié)都影響著病情定性分析的結(jié)果。對(duì)于同一口腔疾病，其病灶特征個(gè)體差異較大，并且時(shí)常伴隨著多種疾病并發(fā)的情況，此時(shí)病癥判斷更為復(fù)雜，因此其數(shù)據(jù)集的建立和擴(kuò)增，必須以高質(zhì)量、高細(xì)節(jié)為前提，僅靠傳統(tǒng)數(shù)據(jù)增強(qiáng)算法無(wú)法勝任。

生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks, GAN)及其衍生模型正朝著更多樣化、更高質(zhì)量的圖像生成方向發(fā)展[4,5]，已經(jīng)廣泛應(yīng)用于圖像生成領(lǐng)域。Radford等[6]提出的深度卷積生成對(duì)抗網(wǎng)絡(luò)(deep convolutional generative adversarial networks，DCGAN)最先應(yīng)用于色彩鮮明、內(nèi)容區(qū)分度較大的自然圖像數(shù)據(jù)集擴(kuò)增，卻不適用于色彩單一的口腔醫(yī)學(xué)圖像。Shrivastava等[7]使用GAN對(duì)MPIIGaze數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，并提升了眼球角度預(yù)測(cè)和手勢(shì)識(shí)別的準(zhǔn)確率，鞏固了GAN在數(shù)據(jù)增強(qiáng)領(lǐng)域的重要地位。Arjovsky等[8]和Gulrajani等[9]解決了GAN的訓(xùn)練過(guò)程不穩(wěn)定、生成樣本多樣性差的問(wèn)題，并改進(jìn)出了Wasserstein GAN。Karras等[10]提出的漸進(jìn)增長(zhǎng)式生成對(duì)抗網(wǎng)絡(luò)(progressive growing of generative adversarial networks，PGGAN)在訓(xùn)練時(shí)大部分迭代都在小尺度下進(jìn)行，因此可以穩(wěn)定地生成高質(zhì)量、高細(xì)節(jié)的圖像。同時(shí)，PGGAN提出的小批量標(biāo)準(zhǔn)差(minibatch standard deviation)有效地緩解了Mode collapse問(wèn)題。但無(wú)法直接應(yīng)用于病灶特征區(qū)分度小、顏色單一，且對(duì)圖像細(xì)節(jié)要求嚴(yán)苛的口腔圖像。

為此，本文針對(duì)口腔白斑和口腔扁平苔蘚，研究了一種傳統(tǒng)數(shù)據(jù)增強(qiáng)和PGGAN算法結(jié)合的數(shù)據(jù)增強(qiáng)方法，解決了口腔圖像多樣性的問(wèn)題，融合輕量化的通道注意力突出了病損區(qū)域的特征，提升了圖像質(zhì)量。

1 PGGAN的網(wǎng)絡(luò)增長(zhǎng)模式

PGGAN由生成網(wǎng)絡(luò)(generator，G)和判別網(wǎng)絡(luò)(discriminator，D)構(gòu)成，其兩部分網(wǎng)絡(luò)結(jié)構(gòu)都是隨著訓(xùn)練進(jìn)行更新的，如圖1描述了其“網(wǎng)絡(luò)生長(zhǎng)”的思想。在圖1中， PGGAN的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)呈鏡像對(duì)稱分布，即生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的各級(jí)網(wǎng)絡(luò)模塊一一對(duì)應(yīng)。其中，“4×4”表示4×4像素級(jí)的生成(判別)網(wǎng)絡(luò)模塊，該模塊可以生成(判別)4×4像素的圖像。在訓(xùn)練初始，生成網(wǎng)絡(luò)的輸出和判別網(wǎng)絡(luò)的輸入均為4×4像素的口腔圖像；在完成當(dāng)前級(jí)網(wǎng)絡(luò)的訓(xùn)練后，添加新的網(wǎng)絡(luò)模塊，使當(dāng)前級(jí)的網(wǎng)絡(luò)更新為更高一級(jí)的網(wǎng)絡(luò)，此時(shí)生成網(wǎng)絡(luò)的輸出和判別網(wǎng)絡(luò)的輸入“生長(zhǎng)”至8×8像素級(jí)的口腔圖像，并將兩級(jí)模塊共同作為新的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練；以此類推，直至網(wǎng)絡(luò)“生長(zhǎng)”至256×256像素級(jí)，最終生成256×256像素的口腔圖像。

圖1 漸進(jìn)增長(zhǎng)式生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)

2 本文方法

2.1 網(wǎng)絡(luò)模型

本文的口腔圖像數(shù)據(jù)增強(qiáng)模型的主要結(jié)構(gòu)如圖2所示，模型由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩部分組成。生成網(wǎng)絡(luò)的輸入和輸出分別為隨機(jī)噪聲和生成圖像，其作用是將隨機(jī)噪聲生成為口腔圖像，判別網(wǎng)絡(luò)的目的是區(qū)分輸入的圖像是真實(shí)圖像還是生成圖像。其中，在生成網(wǎng)絡(luò)增長(zhǎng)時(shí)添加的上采樣模塊，而在判別網(wǎng)絡(luò)中添加下采樣模塊。生成對(duì)抗網(wǎng)絡(luò)在生成較高分辨率的圖像時(shí)訓(xùn)練會(huì)變得不穩(wěn)定，生成的圖像細(xì)節(jié)變得扭曲、不真實(shí)，因此本文模型在64×64像素級(jí)以上的網(wǎng)絡(luò)中融入了通道注意力機(jī)制，用以有效地獲取局部特征，把握全局有效信息，豐富生成圖像的語(yǔ)義信息。

圖2 本文方法的結(jié)構(gòu)

圖3 采樣模塊結(jié)構(gòu)

本文模型通過(guò)各級(jí)采樣模塊拼接從而形成更高級(jí)的網(wǎng)絡(luò)，如圖3為本文網(wǎng)絡(luò)模型在網(wǎng)絡(luò)增長(zhǎng)時(shí)添加的采樣模塊結(jié)構(gòu)圖。其中，Leaky ReLU是激活函數(shù)，Conv 3×3表示卷積核為3×3的卷積層，PixelNormalization是像素歸一化層，SE block是本文采用的輕量化通道注意力模塊。上采樣操作基于最鄰近插值實(shí)現(xiàn)，不僅可以減少網(wǎng)絡(luò)訓(xùn)練參數(shù)，提升訓(xùn)練效率，還可以一定程度上避免圖像生成中的“棋盤網(wǎng)格效應(yīng)”。而下采樣操作通過(guò)平均池化實(shí)現(xiàn)。生成網(wǎng)絡(luò)在42->322階段時(shí)，添加圖3(a)所示的上采樣模塊以更新網(wǎng)絡(luò)，在642->2562階段時(shí)，則添加圖3(b)中所示的加入通道注意力的上采樣模塊；而判別網(wǎng)絡(luò)在42->322和642->2562階段時(shí)，分別添加圖3(c)、圖3(d)所示的下采樣結(jié)構(gòu)。

圖4是本文方法用以生成256×256口腔圖像的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，此處的Conv 1×1、Conv 3×3和Conv 4×4分別表示卷積核大小為1×1、3×3和4×4卷積塊。生成網(wǎng)絡(luò)中的卷積塊由卷積層、激活函數(shù)和像素歸一化層構(gòu)成，判別網(wǎng)絡(luò)中沒(méi)有像素歸一化層。

2.2 增長(zhǎng)平滑機(jī)制

由于新添加的網(wǎng)絡(luò)層不含初始化參數(shù)，本文方法在網(wǎng)絡(luò)增長(zhǎng)階段增加的新卷積層和采樣層會(huì)引起網(wǎng)絡(luò)性能的“斷層式”下降，嚴(yán)重影響網(wǎng)絡(luò)的訓(xùn)練方向。這里的增長(zhǎng)平滑機(jī)制就是先訓(xùn)練一個(gè)低像素級(jí)的網(wǎng)絡(luò)，訓(xùn)練完成后再逐步過(guò)渡到更高像素級(jí)的網(wǎng)絡(luò)進(jìn)行訓(xùn)練；然后穩(wěn)定訓(xùn)練當(dāng)前像素級(jí)網(wǎng)絡(luò)，再逐步過(guò)渡到下一級(jí)更高像素級(jí)網(wǎng)絡(luò)。

圖5以4×4圖像到8×8圖像的過(guò)渡過(guò)程為例，其中圖5(a)和圖5(c)分別表示4×4圖像和8×8圖像的網(wǎng)絡(luò)結(jié)構(gòu)，圖5(b)是增長(zhǎng)平滑機(jī)制的網(wǎng)絡(luò)結(jié)構(gòu)。nearest的作用是通過(guò)最鄰近插值將圖像的長(zhǎng)和寬加倍，pooling的作用是通過(guò)平均池化把圖像的長(zhǎng)和寬減小一倍。此處，toRGB使用圖4(a)中的1×1卷積，表示將特征向量轉(zhuǎn)化為輸出的RGB口腔圖像；fromRGB使用的是圖4(b)中的1×1卷積，可以將輸入的RGB口腔圖像轉(zhuǎn)化為特征向量。

圖4 本文用以生成256×256口腔圖像的網(wǎng)絡(luò)結(jié)構(gòu)

圖5 增長(zhǎng)平滑機(jī)制原理

當(dāng)生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D的像素分辨率增加時(shí)，通過(guò)圖5(b)的網(wǎng)絡(luò)結(jié)構(gòu)逐漸平滑地加入新的網(wǎng)絡(luò)層，若把在更高像素級(jí)上操作的網(wǎng)絡(luò)層看作一個(gè)殘差塊，則wg和wd分別是生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D中新加入層的權(quán)重。增長(zhǎng)平滑機(jī)制充分利用了低像素級(jí)網(wǎng)絡(luò)的訓(xùn)練參數(shù)，當(dāng)該權(quán)重為0時(shí)，相當(dāng)于網(wǎng)絡(luò)中沒(méi)有加入新的網(wǎng)絡(luò)層，即當(dāng)前是低像素級(jí)的網(wǎng)絡(luò)；當(dāng)該權(quán)重為1時(shí)，表示當(dāng)前已經(jīng)過(guò)渡到更高像素級(jí)的網(wǎng)絡(luò)。在訓(xùn)練中，wg和wd同步從0線性增加到1，使得更高像素級(jí)的網(wǎng)絡(luò)訓(xùn)練更加穩(wěn)定。

2.3 通道注意力

生成對(duì)抗網(wǎng)絡(luò)在低像素級(jí)的訓(xùn)練任務(wù)中是比較穩(wěn)定的，如DCGAN可以比較穩(wěn)定的生成64×64像素的圖像；在128×128像素、256×256像素的圖像生成過(guò)程中，圖像質(zhì)量往往難以保證，且訓(xùn)練時(shí)間較長(zhǎng)；在256×256像素以上的高分辨率及超分辨率圖像生成任務(wù)中，訓(xùn)練過(guò)程不穩(wěn)定，會(huì)生成扭曲的圖像細(xì)節(jié)。高分辨率圖像蘊(yùn)含的高頻語(yǔ)義信息更加豐富，結(jié)構(gòu)較為簡(jiǎn)單的網(wǎng)絡(luò)無(wú)法學(xué)習(xí)和關(guān)聯(lián)像素之間的空間屬性，故難以生成高分辨率的圖像。

注意力機(jī)制是模擬人眼視覺(jué)處理機(jī)制的模型[11]，主要作用是對(duì)卷積提取的特征進(jìn)行校正，由注意力校正過(guò)的特征可以更好地突出病灶區(qū)域特征，其本質(zhì)就是加權(quán)。SE模塊(squeeze-and-excitation block，SE block)是Jie等[12]提出的一種輕量化的通道注意力機(jī)制。SE模塊在不引入新的空間維度的情況下，通過(guò)學(xué)習(xí)的方式捕獲每個(gè)特征通道的重要程度，以此為標(biāo)準(zhǔn)一致對(duì)當(dāng)前任務(wù)用處不大的特征。以很小的參數(shù)量和計(jì)算量換取注意力的加權(quán)計(jì)算，從而實(shí)現(xiàn)了性能的提升。

在本文方法中，當(dāng)網(wǎng)絡(luò)增長(zhǎng)至64×64像素及以上級(jí)別時(shí)，加入SE模塊使得網(wǎng)絡(luò)可以有效地提取局部特征、把握全局有效信息，增加生成圖像的語(yǔ)義信息。圖6是SE模塊的結(jié)構(gòu)示意圖。

圖6 SE模塊的結(jié)構(gòu)

在圖6中，SE模塊的核心步驟是特征壓縮Fsq和非線性激活Fex。定義SE模塊的輸入特征圖是X=[x1,x2,…,xC′]∈H′×W′×C′， 其中xk表示第k通道的特征向量，首先其通過(guò)卷積操作Ftr轉(zhuǎn)化為所需的多通道特征圖U=[u1,u2,…,uC]∈H×W×C， 其中uc∈H×W表示特征圖U中第c通道的特征向量。設(shè)V=[v1,v2,…,vC] 表示學(xué)習(xí)到的一組卷積核，其中是第c個(gè)卷積核，是2D空間核，表示k方向上的某個(gè)單通道vc。則uc可由式(1)計(jì)算

(1)

式中：*表示卷積。

特征壓縮解決了每個(gè)輸出利用不到卷積區(qū)域之外信息的問(wèn)題。SE模塊沿著空間維度(H×W)進(jìn)行特征壓縮，把每個(gè)通道上的特征圖壓縮生成通道表征符，即H×W×C維度的特征圖U通過(guò)式(2)轉(zhuǎn)換為1×1×C維度的通道表征符向量z=[z1,z2,…,zC]， 以表征c個(gè)通道的特征向量的分布情況，也稱全局信息。其中zc∈C表示經(jīng)壓縮后第c個(gè)通道特征向量的通道表征符，可由式(2)算得

(2)

為了建模和學(xué)習(xí)各特征通道間復(fù)雜的相關(guān)性，可以將壓縮得到的通道表征符進(jìn)行兩次非線性激活Fex。通道表征符向量z先進(jìn)行特征維度縮減，再將其特征維度增長(zhǎng)回原本維度，以增加網(wǎng)絡(luò)的非線性表達(dá)能力，最終求得數(shù)值區(qū)間為[0,1]的權(quán)重向量S=[s1,s2,…,sC]， 進(jìn)一步有效地利用全局信息。式(3)為Fex操作的表達(dá)式

S=Fex(z,W)=σ[W2δ(W1z)]

(3)

式中：δ表示ReLU激活函數(shù)，σ表示Sigmoid門函數(shù)，其中W1和W2分別是維度縮減和維度增長(zhǎng)參數(shù)。

因此，sc可以表征多通道特征圖U中各通道上特征向量的權(quán)重，再通過(guò)乘法逐通道加權(quán)到原有的特征向量上，將U進(jìn)行重新標(biāo)定作為SE模塊的輸出Y=[y1,y2,…,yC]∈H×W×C， 其中yc是第c通道的輸出特征向量，計(jì)算公式為式(4)

yc=Fscale(uc,sc)=sc·uc

(4)

式中：Fscale代表第c通道的特征uc與相應(yīng)通道的權(quán)重sc相乘。

2.4 目標(biāo)函數(shù)

WGAN-GP已被證實(shí)可以進(jìn)一步穩(wěn)定生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練過(guò)程[9]，因此本文模型使用其目標(biāo)函數(shù)，保證當(dāng)網(wǎng)絡(luò)增長(zhǎng)至較大像素級(jí)階段時(shí)，訓(xùn)練可以穩(wěn)步進(jìn)行。WGAN-GP就是使用梯度懲罰項(xiàng)的方法代替WGAN中的權(quán)重裁剪以確保判別網(wǎng)絡(luò)D滿足Lipschitz連續(xù)約束，即經(jīng)過(guò)訓(xùn)練后判別網(wǎng)絡(luò)D的梯度值在1附近。通過(guò)在WGAN的目標(biāo)函數(shù)中增加額外的梯度懲罰項(xiàng)，以表征其目標(biāo)函數(shù)的平滑性，保證了訓(xùn)練的穩(wěn)定性。

隨著訓(xùn)練進(jìn)行，生成數(shù)據(jù)的分布是向真實(shí)數(shù)據(jù)的分布靠近的，因此處于這兩個(gè)分布之間的樣本的梯度信息可以有效地指導(dǎo)訓(xùn)練過(guò)程。記生成數(shù)據(jù)的分布pg和真實(shí)數(shù)據(jù)的分布pr之間的數(shù)據(jù)分布為pχ，選取一個(gè)任意數(shù)ε∈[0,1]， 在一對(duì)真實(shí)數(shù)據(jù)x和生成數(shù)據(jù)y上隨機(jī)插值得到隨機(jī)采樣的數(shù)據(jù)x′，則有x′服從分布pχ。x′可通過(guò)式(5)算得

x′=εx+(1-ε)y

(5)

最終得到WGAN-GP的目標(biāo)函數(shù)為式(6)

(6)

式中：x是真實(shí)數(shù)據(jù)，y是生成網(wǎng)絡(luò)G生成的數(shù)據(jù)，y～pg表示y為生成數(shù)據(jù)的采樣，x～pr表示x為真實(shí)數(shù)據(jù)的采樣，x′～pχ表示x′為隨機(jī)采樣數(shù)據(jù)的采樣，E(·)是分布函數(shù)的期望值，D(·)是數(shù)據(jù)通過(guò)判別網(wǎng)絡(luò)D判斷其為真實(shí)樣本的概率，λ為梯度懲罰項(xiàng)的權(quán)重系數(shù)，文獻(xiàn)[9]中提出，梯度懲罰權(quán)重λ取10，可以最大程度上確保判別網(wǎng)絡(luò)D滿足Lipschitz連續(xù)約束,因此本文沿用λ取10。

3 分析與討論

3.1 實(shí)驗(yàn)數(shù)據(jù)集

近年來(lái)，深度學(xué)習(xí)在醫(yī)學(xué)影像領(lǐng)域取得眾多突破，網(wǎng)絡(luò)模型通過(guò)大容量的醫(yī)學(xué)影像學(xué)習(xí)特征參數(shù)，可以避免過(guò)擬合現(xiàn)象，也可以提高網(wǎng)絡(luò)性能[13-15]。口腔白斑和口腔扁平苔蘚是兩種常見(jiàn)的口腔粘膜斑紋類疾病，本文實(shí)驗(yàn)所用口腔樣本圖像由第四軍醫(yī)大學(xué)口腔醫(yī)院提供，在臨床上使用數(shù)碼相機(jī)在白光環(huán)境下采集的兩種病損樣本圖像如圖7所示。

圖7 口腔圖像樣本

3.2 傳統(tǒng)數(shù)據(jù)增強(qiáng)與數(shù)據(jù)集建立

臨床上收集到的這兩種病灶樣本數(shù)量較少，遠(yuǎn)遠(yuǎn)不足以支撐神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。因此，本文結(jié)合傳統(tǒng)數(shù)據(jù)增強(qiáng)算法和神經(jīng)網(wǎng)絡(luò)，研究口腔圖像的數(shù)據(jù)增強(qiáng)問(wèn)題。首先使用傳統(tǒng)算法進(jìn)行數(shù)據(jù)增強(qiáng)，再將增強(qiáng)過(guò)后的數(shù)據(jù)用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

圖8為使用傳統(tǒng)算法增強(qiáng)后的結(jié)果，圖示為本文使用到的方法，從左至右依次為：原圖、隨機(jī)對(duì)比度、90°旋轉(zhuǎn)、高斯噪聲、水平翻轉(zhuǎn)和隨機(jī)剪裁。在通過(guò)5種數(shù)據(jù)增強(qiáng)算法的隨機(jī)結(jié)合使用，實(shí)現(xiàn)了現(xiàn)有的兩種口腔病灶樣本數(shù)據(jù)量成倍增長(zhǎng)，在刪除一些相似和疑似數(shù)據(jù)后對(duì)口腔圖像數(shù)據(jù)進(jìn)一步處理。

圖8 傳統(tǒng)算法增強(qiáng)后的結(jié)果

臨床上收集的口腔病灶樣本受到采集方法、病損處的位置、形態(tài)和大小等原因影響。為了提高模型的生成效果，減少生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練的難度及所用時(shí)間，需進(jìn)一步對(duì)數(shù)據(jù)增強(qiáng)過(guò)后的口腔醫(yī)學(xué)數(shù)據(jù)(大小為5184×3456像素)進(jìn)行感興趣區(qū)域(即病灶區(qū)域)剪裁，其剪裁區(qū)域大小均為1024×1024像素，圖9為截取感興趣區(qū)域后的部分圖像，即用于本文神經(jīng)網(wǎng)絡(luò)訓(xùn)練的圖像。

圖9 本文建立的部分口腔圖像數(shù)據(jù)集

至此，可以建立本實(shí)驗(yàn)所用的口腔醫(yī)學(xué)數(shù)據(jù)集，兩種病損圖像的數(shù)目見(jiàn)表1。

表1 本文建立的口腔圖像集數(shù)目

3.3 實(shí)驗(yàn)參數(shù)

為驗(yàn)證本文網(wǎng)絡(luò)模型的圖像生成效果，實(shí)驗(yàn)設(shè)置在相同訓(xùn)練參數(shù)下與原始PGGAN進(jìn)行對(duì)比。本文網(wǎng)絡(luò)模型的訓(xùn)練是一個(gè)“網(wǎng)絡(luò)生長(zhǎng)”的過(guò)程，從4×4像素至256×256像素的訓(xùn)練一共經(jīng)歷7級(jí)“網(wǎng)絡(luò)生長(zhǎng)”階段。實(shí)驗(yàn)在每級(jí)網(wǎng)絡(luò)上訓(xùn)練輪次為500，受實(shí)驗(yàn)設(shè)備的限制，前6級(jí)網(wǎng)絡(luò)batch_size設(shè)置為16，steps_per_epoch設(shè)置為255，最后一級(jí)網(wǎng)絡(luò)batch_size設(shè)置為4，為了保證得到最好的訓(xùn)練效果，將steps_per_epoch設(shè)置為1020。本文所有實(shí)驗(yàn)均部署在Linux環(huán)境下，使用Tensorflow2.1的GPU版本，硬件配置為2塊NVIDIA RTX 2080Ti。

在訓(xùn)練期間，將真實(shí)口腔醫(yī)學(xué)圖像隨機(jī)翻轉(zhuǎn)并歸一化至[-1,1]輸入判別網(wǎng)絡(luò)，生成網(wǎng)絡(luò)的輸入為512維的噪聲向量。兩部分網(wǎng)絡(luò)均使用Adam優(yōu)化器，學(xué)習(xí)率設(shè)為2×10-4，生成網(wǎng)絡(luò)最終生成的口腔圖像大小為256×256像素。測(cè)試階段，將生成網(wǎng)絡(luò)輸入的隨機(jī)向量歸一化至[-1,1]，輸出為256×256像素的口腔圖像。

4 實(shí)驗(yàn)結(jié)果與評(píng)價(jià)

4.1 定性分析

4.1.1 網(wǎng)絡(luò)增長(zhǎng)及增長(zhǎng)平滑機(jī)制分析

分別在口腔白斑和口腔扁平苔蘚數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，共包含7級(jí)網(wǎng)絡(luò)增長(zhǎng)結(jié)構(gòu)，實(shí)驗(yàn)設(shè)置4×4階段為初始化網(wǎng)絡(luò)，其余各級(jí)網(wǎng)絡(luò)的訓(xùn)練均分為過(guò)渡階段和穩(wěn)定階段，因此整體上一共有13個(gè)階段，其中 42->82、82->162、162->322、322->642、642->1282和1282->2562為過(guò)渡訓(xùn)練階段。圖10是過(guò)渡階段生成圖像的部分。過(guò)渡階段新添加的網(wǎng)絡(luò)層不含初始化參數(shù)及權(quán)重，導(dǎo)致網(wǎng)絡(luò)性能下降，因此生成圖像中存在網(wǎng)格狀的偽圖，稱為Checkboard。由圖可以得出，該現(xiàn)象在162->322時(shí)最為嚴(yán)重，在642->1282時(shí)逐漸減弱，在1282->2562時(shí)偽圖基本消失。

圖10 過(guò)渡階段的部分生成結(jié)果

圖11是穩(wěn)定階段生成圖像的部分。由圖可以得出，隨著網(wǎng)絡(luò)結(jié)構(gòu)的逐漸增加，生成圖像的高頻語(yǔ)義特征逐漸清晰，圖像的質(zhì)量越來(lái)越高。其中，4×4和8×8像素的圖像內(nèi)容無(wú)法辨認(rèn)，圖像質(zhì)量差，僅能反映出圖像生成的趨勢(shì)；16×16和32×32像素級(jí)的網(wǎng)絡(luò)生成了病灶區(qū)域的大致輪廓和部分簡(jiǎn)單的病灶特征；在64×64和128×128像素的圖像中，病灶區(qū)域的形態(tài)和紋理細(xì)節(jié)較為模糊，整體圖像的質(zhì)量不高；256×256像素的圖像質(zhì)量較高，較為清晰地生成了原始圖像的病灶紋理、病灶顏色等高頻語(yǔ)義特征。

圖11 穩(wěn)定階段的部分生成結(jié)果

4.1.2 病灶圖像生成效果分析

本節(jié)通過(guò)對(duì)比CGAN、BEGAN、DCGAN、PGGAN和本文方法生成的兩種病灶圖像，以驗(yàn)證本文方法的性能。圖12是各網(wǎng)絡(luò)生成圖像的結(jié)果。可以直觀得到，CGAN不能很好地捕獲病灶特征的形態(tài)，其生成的白斑圖像的病灶邊緣呈現(xiàn)鋸齒狀偽圖，扁平苔蘚圖像病灶邊緣不清晰。BEGAN的生成結(jié)果保留了較為清晰的病損特征，但生成圖像中仍存在“棋盤網(wǎng)格”，呈現(xiàn)出偽圖。DCGAN的生成圖像較為模糊，無(wú)法觀察到具體的病灶形狀，整體圖像質(zhì)量較差。PGGAN的生成圖像較原圖而言，存在比較明顯的“棋盤網(wǎng)格”。本文方法生成的圖像基本保留了原始圖像中病灶區(qū)域的特征，其病灶區(qū)域輪廓和紋理清晰。由于原始口腔圖像是在臨床白光照射情況下進(jìn)行采集，因此部分訓(xùn)練圖像中存在有反射光和唾液泡的現(xiàn)象。在本文方法生成的白斑圖像中存在的較亮區(qū)域，推測(cè)為生成的強(qiáng)白光照射下的唾液反光現(xiàn)象；在扁平苔蘚圖像的左下角為生成的唾液泡現(xiàn)象。實(shí)驗(yàn)結(jié)果表明，本文方法較好地生成了256×256像素大小的口腔白斑病和口腔扁平苔蘚圖像，基本保留了原始圖像的病灶區(qū)域細(xì)節(jié)。

圖12 不同網(wǎng)絡(luò)生成圖像的結(jié)果

4.2 定量分析

生成模型的性能評(píng)價(jià)通常從兩個(gè)方面出發(fā)：生成圖像的清晰程度和多樣性。生成圖像的清晰度反映其圖像質(zhì)量的高低；多樣性是要求對(duì)生成圖像進(jìn)行分類，每個(gè)類別的圖像數(shù)目盡可能相等。

IS(inception score)是基于預(yù)訓(xùn)練的Inception網(wǎng)絡(luò)計(jì)算出的評(píng)價(jià)指標(biāo)，常用于評(píng)價(jià)生成模型的性能，其值表示生成數(shù)據(jù)集的圖像類別數(shù)[16,17]。在生成圖像清晰程度方面，記y是類別標(biāo)簽，預(yù)訓(xùn)練的Inception網(wǎng)絡(luò)能以很高的概率對(duì)生成圖像x進(jìn)行分類判斷，計(jì)算出條件概率p(y|x) 以表示生成圖像屬于某個(gè)類別的概率，該概率越高說(shuō)明圖像質(zhì)量越好，p(y|x) 的分布函數(shù)圖越尖銳；針對(duì)生成圖像的多樣性，若用p(y) 表示類別標(biāo)簽的分布，則生成圖像越多樣化，p(y) 越趨近于均勻分布。

KL散度可以衡量?jī)蓚€(gè)概率分布間的距離，其值越大，說(shuō)明兩個(gè)分布越不接近。因此IS通過(guò)KL散度綜合了以上兩個(gè)方面來(lái)評(píng)價(jià)生成模型，見(jiàn)式(7)

IS(G)=exp(Ex～PgDKL(p(y|x)‖p(y)))

(7)

式中：DKL是KL散度，Pg是生成圖像數(shù)據(jù)的分布，x～Pg表示x為生成數(shù)據(jù)的采樣，E是分布函數(shù)的期望。IS值越大，往往表明生成模型的性能越好。

FID(fréchet inception distance)是用來(lái)計(jì)算真實(shí)圖像與生成圖像的特征向量間的距離。使用預(yù)訓(xùn)練的Inception網(wǎng)絡(luò)提取真實(shí)圖像和生成圖像的特征向量，通過(guò)其均值和協(xié)方差計(jì)算兩張圖像之間的相似程度。計(jì)算公式如式(8)

(8)

式中：r是真實(shí)圖像，g是生成圖像，μr和μg分別是真實(shí)圖像和生成圖像的特征的均值， ∑r和∑g分別是真實(shí)圖像和生成圖像的特征的協(xié)方差矩陣，Tr是矩陣的跡。當(dāng)真實(shí)圖像和生成圖像的特征向量越相近時(shí)，F(xiàn)ID值越小，說(shuō)明生成模型效果越好，即生成圖像的清晰度更高，且多樣性更豐富。

雖然IS可以很好地評(píng)價(jià)生成模型的好壞，但其計(jì)算只考慮了生成圖像，即無(wú)法反應(yīng)生成圖像和真實(shí)圖像之間的關(guān)系，并且IS無(wú)法判斷同一類別中的生成圖像的多樣性(例如，同一類別中生成圖像全部相同)；FID是利用生成圖像與真實(shí)圖像之間的關(guān)系進(jìn)行判別，同時(shí)，從特征向量層面衡量?jī)烧咧g的距離，因此FID對(duì)于模型坍塌更加敏感，對(duì)噪聲具有更好的魯棒性。口腔圖像對(duì)病灶位置的形態(tài)、紋理等特征要求較高，因此本節(jié)使用IS和FID兩個(gè)評(píng)價(jià)指標(biāo)，可以更加全面、有效地表征本文算法性能。

本文實(shí)驗(yàn)中，網(wǎng)絡(luò)模型訓(xùn)練時(shí)所使用的學(xué)習(xí)率決定著生成模型是否取到全局最優(yōu)解，即算法性能是否達(dá)到最佳，因此在實(shí)驗(yàn)中先對(duì)其它參數(shù)進(jìn)行統(tǒng)一，分析不同學(xué)習(xí)率對(duì)本文算法性能的影響。訓(xùn)練完成后，使用IS和FID分別對(duì)各個(gè)學(xué)習(xí)率下生成的5000張口腔圖像進(jìn)行分析，其結(jié)果見(jiàn)表2。

從表2中可以看出，針對(duì)口腔白斑和扁平苔蘚數(shù)據(jù)集，

表2 不同學(xué)習(xí)率對(duì)算法性能的影響

當(dāng)學(xué)習(xí)率為2×10-4時(shí)，對(duì)應(yīng)本文算法性能最佳?；诖耍謩e使用CGAN、BEGAN、DCGAN和PGGAN在兩種口腔圖像數(shù)據(jù)集上進(jìn)行訓(xùn)練，各生成5000張口腔圖像，并計(jì)算其IS值和FID值與本文方法進(jìn)行對(duì)比，結(jié)果見(jiàn)表3。

表3 本文方法與不同網(wǎng)絡(luò)的算法性能分析

由表3可以得出，在口腔白斑和口腔扁平苔蘚數(shù)據(jù)集上，本文方法較未改進(jìn)的PGGAN在IS值上分別提升了0.32和0.07，F(xiàn)ID值分別降低了0.13和0.09，且優(yōu)于實(shí)驗(yàn)中其它的對(duì)比方法。由于實(shí)驗(yàn)環(huán)境限制，在計(jì)算IS值時(shí)沒(méi)有使用10次訓(xùn)練，生成求均值的通用方式，而是采用1次訓(xùn)練，10次生成后再計(jì)算的方式，因此存在一定的計(jì)算誤差。實(shí)驗(yàn)結(jié)果表明，本文方法相比于原始PGGAN在口腔圖像的生成上性能更優(yōu)，更適用于色差單一，內(nèi)容復(fù)雜的口腔圖像。其生成的病灶圖像有更高的質(zhì)量，且更加多樣化，可以有效地?cái)U(kuò)增口腔圖像的數(shù)據(jù)集。

5 結(jié)束語(yǔ)

本文聯(lián)合傳統(tǒng)數(shù)據(jù)增強(qiáng)算法與神經(jīng)網(wǎng)絡(luò)解決口腔圖像的數(shù)據(jù)增強(qiáng)問(wèn)題。研究了一種基于改進(jìn)PGGAN的數(shù)據(jù)增強(qiáng)算法，利用輕量化的通道注意力，生成了256×256像素大小的口腔圖像，生成圖像的質(zhì)量和多樣性均有所提升，滿足口腔圖像數(shù)據(jù)集增強(qiáng)的要求。但本文所用方法生成的口腔圖像仍存在部分病灶形態(tài)不合理、病灶顏色差異等問(wèn)題，下一步將針對(duì)該類問(wèn)題展開(kāi)研究和改進(jìn)。