丁柏楠， 王淏， 袁文翠， 吳圣潔

(1.東北石油大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，黑龍江 大慶 163319;2.吉林大學(xué) 物理學(xué)院，吉林 長(zhǎng)春 130012)

0 引言

在過(guò)去的幾年里，深度神經(jīng)網(wǎng)絡(luò)在具有充足數(shù)據(jù)的情況下在多種任務(wù)上取得了舉世矚目的進(jìn)展。它已經(jīng)被運(yùn)用到了各個(gè)領(lǐng)域，例如圖像分類、機(jī)器翻譯、自然語(yǔ)言處理、圖像合成、語(yǔ)音處理等。無(wú)論在哪個(gè)領(lǐng)域，都必須使用巨量的數(shù)據(jù)來(lái)訓(xùn)練網(wǎng)絡(luò)獲得令人滿意的結(jié)果。但在很多現(xiàn)實(shí)情況下，一些數(shù)據(jù)難以收集，或是收集大量數(shù)據(jù)的代價(jià)過(guò)于高昂，因此需要在有限的數(shù)據(jù)下達(dá)到期望的目標(biāo)。而數(shù)據(jù)不足會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)在訓(xùn)練集上出現(xiàn)過(guò)擬合，在測(cè)試集上出現(xiàn)較差的泛化能力的情況。

近些年，有許多技術(shù)被開(kāi)發(fā)出來(lái)幫助對(duì)抗訓(xùn)練時(shí)的過(guò)擬合問(wèn)題，例如Dropout、Batch Normalization、Layer Normalization等方法。但在樣本過(guò)少的訓(xùn)練中，即使使用了這些方法，也不能顯著地提升網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性。故為了應(yīng)對(duì)小樣本數(shù)據(jù)集訓(xùn)練問(wèn)題，一個(gè)主要措施就是數(shù)據(jù)增強(qiáng)方法。

數(shù)據(jù)增強(qiáng)[1]方法通常用于處理分類問(wèn)題，通過(guò)合成或者轉(zhuǎn)換的方式, 從已有的數(shù)據(jù)中生成新的數(shù)據(jù)，目前圖像領(lǐng)域的數(shù)據(jù)增強(qiáng)技術(shù)分為兩種，一種是有監(jiān)督的數(shù)據(jù)增強(qiáng)方法，采用預(yù)設(shè)的數(shù)據(jù)變換規(guī)則，例如隨機(jī)旋轉(zhuǎn)、隨機(jī)裁剪、色彩抖動(dòng)、添加高斯噪聲等，但這些改變只局限于當(dāng)前標(biāo)簽類別，沒(méi)有從根本上解決數(shù)據(jù)不足的問(wèn)題。另一種是無(wú)監(jiān)督的數(shù)據(jù)增強(qiáng)方法，通過(guò)使用模型學(xué)習(xí)現(xiàn)有數(shù)據(jù)的分布，生成與訓(xùn)練數(shù)據(jù)集分布一致的數(shù)據(jù)，例如基于生成對(duì)抗網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法[2]。這種基于模型的方法可以合成相比傳統(tǒng)數(shù)據(jù)增強(qiáng)方法更加多樣的新數(shù)據(jù)，但仍然只是針對(duì)單一類別進(jìn)行生成。本文展示的是基于無(wú)監(jiān)督的多模態(tài)圖像轉(zhuǎn)換(Multimodal Unsupervised Image-to-image Translation,MUNIT)的數(shù)據(jù)增強(qiáng)技術(shù)，并將其應(yīng)用于小樣本訓(xùn)練的分類任務(wù)中。

1 MUNIT模型

MUNIT是由Xun Huang等[3]提出的多模態(tài)圖像轉(zhuǎn)換模型，是基于UNIT[4]網(wǎng)絡(luò)經(jīng)過(guò)改進(jìn)后能夠生成非單一映射的圖像轉(zhuǎn)換網(wǎng)絡(luò)，其在圖像風(fēng)格轉(zhuǎn)換的多樣性和生成的圖像質(zhì)量上的表現(xiàn)十分出色。MUNIT的根本思想將圖像分解為域不變的內(nèi)容編碼和樣式編碼，將多個(gè)域圖像的內(nèi)容存放于一個(gè)共享空間C中，從目標(biāo)域捕獲樣式代碼，將內(nèi)容與樣式相組合，以此實(shí)現(xiàn)了將圖像轉(zhuǎn)換到另一個(gè)域的目標(biāo)。

MUNIT網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。其中圖1(a)圖像重構(gòu)網(wǎng)絡(luò)表示對(duì)應(yīng)每個(gè)圖像域，都有一組內(nèi)容編碼器和風(fēng)格編碼器，以及用于重構(gòu)圖像的解碼器；其中的圖1(b)交叉圖像域的圖像轉(zhuǎn)換網(wǎng)絡(luò)展示了從x1圖像域轉(zhuǎn)換成x2圖像域的過(guò)程，由x1的內(nèi)容編碼器，x2的風(fēng)格編碼器，和一個(gè)生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)[5]構(gòu)成。

(a)圖像重構(gòu)網(wǎng)絡(luò)

2 基于MUNIT的數(shù)據(jù)增強(qiáng)方法

在很多的圖像分類任務(wù)中，不同類別之間的底層特征十分相近，例如輪廓、大小等，但其高層特征會(huì)在很大程度上區(qū)分為不同的類別，例如不同的貓科動(dòng)物之間的分類任務(wù)。本文針對(duì)這類問(wèn)題，通過(guò)改進(jìn)MUNIT網(wǎng)絡(luò)的部分結(jié)構(gòu)和訓(xùn)練算法，設(shè)計(jì)了一種基于MUNIT的數(shù)據(jù)增強(qiáng)方法。

2.1 多模態(tài)無(wú)監(jiān)督圖像轉(zhuǎn)換數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)

將MUNIT應(yīng)用于數(shù)據(jù)增強(qiáng)的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)稱之為DA-MUNIT(Data Augmentation MUNIT)網(wǎng)絡(luò)，如圖2所示。

圖2 DA-MUNIT網(wǎng)絡(luò)結(jié)構(gòu)

該數(shù)據(jù)增強(qiáng)結(jié)構(gòu)首先將小樣本數(shù)據(jù)集中的不同標(biāo)簽類別的圖像分別經(jīng)自動(dòng)編碼器訓(xùn)練生成其內(nèi)容空間Ci和風(fēng)格空間Si，再針對(duì)每一個(gè)標(biāo)簽類別的內(nèi)容，以除此之外的標(biāo)簽圖像數(shù)據(jù)作為目標(biāo)域，從其風(fēng)格空間S中隨機(jī)采樣服從分布q(sj)～N(0,1)的風(fēng)格潛在編碼sj，經(jīng)生成器G生成新的合成圖像xi→j=G(ci,sj)，將所有新生成的圖像X的標(biāo)簽類別標(biāo)記為其風(fēng)格潛在編碼所在圖像域的標(biāo)簽類別。最后將所有新生成的已有標(biāo)簽的圖像分別加入到原數(shù)據(jù)集相同標(biāo)簽類別下，作為增強(qiáng)后的新數(shù)據(jù)集。新生成的圖像的底層特征是X1圖像域和X2圖像域共享的內(nèi)容空間，即該底層特征在兩個(gè)圖像域中的區(qū)分度不是很高，這可能造成分類器在通過(guò)未經(jīng)過(guò)數(shù)據(jù)增強(qiáng)的數(shù)據(jù)上訓(xùn)練時(shí)，于底層特征分類上的表現(xiàn)較差。而加入了新生成的圖像后，由于新生成的圖像的高層特征屬于X2圖像域，底層特征屬于X1圖像域，并且其標(biāo)簽類別與X2圖像相同，這就使分類器在底層內(nèi)容特征相似的數(shù)據(jù)中能夠更好地區(qū)別不同類別。

2.2 DA-MUNIT網(wǎng)絡(luò)的訓(xùn)練算法

DA-MUNIT網(wǎng)絡(luò)的訓(xùn)練分為2個(gè)階段，第一階段為原數(shù)據(jù)圖像重構(gòu)訓(xùn)練階段。該訓(xùn)練階段的實(shí)施過(guò)程如圖3所示。

圖3 圖像重構(gòu)訓(xùn)練過(guò)程

該階段的目的就是通過(guò)一個(gè)圖像重構(gòu)網(wǎng)絡(luò)的訓(xùn)練來(lái)得到數(shù)據(jù)集中各種類別的內(nèi)容代碼Ci和風(fēng)格代碼Si。在該階段，我們將原MUNIT網(wǎng)絡(luò)的下采樣和上采樣部分改為了Pix2Pix圖像轉(zhuǎn)換網(wǎng)絡(luò)[6]，最終的辨別器使用了Patch Discriminator，該辨別器用于使生成網(wǎng)絡(luò)更快地得到內(nèi)容編碼和風(fēng)格編碼。其中，內(nèi)容編碼器的下采樣塊我們使用了8個(gè)編碼塊，每塊包含一個(gè)卷積層，BatchNorm層和激活函數(shù)LeakyRelu。解碼器的上采樣塊也包含8個(gè)解碼塊，每塊包含一個(gè)Trans Conv層、BatchNorm層和激活函數(shù)Relu。編碼器的每塊都與對(duì)應(yīng)的解碼塊進(jìn)行了跳轉(zhuǎn)鏈接，以此來(lái)給解碼器提供更多的內(nèi)容信息。

第一階段的損失函數(shù)包括兩部分，即雙向重構(gòu)損失和潛在重構(gòu)損失。

雙向重構(gòu)損失(Bidirectional reconstruction loss)，即經(jīng)過(guò)重構(gòu)的圖像與原圖像像素距離損失，為式(1)。

(1)

潛在重構(gòu)損失(Latent reconstruction loss),分為目標(biāo)域生成圖像對(duì)要轉(zhuǎn)換的圖像的內(nèi)容損失函數(shù)和目標(biāo)域生成圖像對(duì)要采用的潛在風(fēng)格域?qū)?yīng)圖像的風(fēng)格損失函數(shù)，2個(gè)損失均使用L1損失，因其更支持輸出清晰的圖像。2個(gè)損失函數(shù)為式(2)。

(2)

訓(xùn)練的第二階段為使用第一階段得到的各種類圖片的風(fēng)格潛在編碼S和共享的內(nèi)容空間C來(lái)訓(xùn)練生成各個(gè)圖像域?qū)?yīng)轉(zhuǎn)換的圖像數(shù)據(jù)。為了得到Xi→j的轉(zhuǎn)換圖像，該階段從Xi下采樣得到Xi圖像域的內(nèi)容編碼，同時(shí)從Xj下采樣得到Xj圖像域的風(fēng)格編碼，最終通過(guò)生成對(duì)抗網(wǎng)絡(luò)生成Xi→j的轉(zhuǎn)換圖像。該階段的訓(xùn)練過(guò)程如圖4所示。其中風(fēng)格編碼器部分設(shè)計(jì)均和圖3相同。該部分將不使用跳轉(zhuǎn)鏈接和Patch Discriminator。

圖4 圖像轉(zhuǎn)換過(guò)程

該階段的損失函數(shù)為對(duì)抗損失(Adversarial loss)。最終使用GAN來(lái)匹配轉(zhuǎn)換后圖像的分布到目標(biāo)圖像域的分布。Xun Huang等提出的MUNIT網(wǎng)絡(luò)中該部分的對(duì)抗損失使用的是二元交叉熵BCE損失函數(shù)，而我們提出使用最小二乘損失函數(shù)，因?yàn)檫@樣可以在訓(xùn)練過(guò)程中增加一定的穩(wěn)定性[7]，并且相比使用BCE損失函數(shù)，生成的圖像更加真實(shí)。對(duì)抗損失函數(shù)為式(3)。

(3)

綜上，DA-MUNIT網(wǎng)絡(luò)的總損失為式(4)。

(4)

其中，λx、λc和λs為控制重構(gòu)項(xiàng)對(duì)輸出結(jié)果的影響性的權(quán)重。

3 實(shí)驗(yàn)分析

為了驗(yàn)證DA-MUNIT的新樣本生成能力以及生成的樣本能否在一定程度上提高小樣本分類器的分類準(zhǔn)確率，我們?cè)贗mageNet數(shù)據(jù)集上人工選取了2 000張貓科動(dòng)物圖片，其中1 400張作為訓(xùn)練集，600張為測(cè)試集數(shù)據(jù)。圖像分辨率為32×32，總共可分為5類。

3.1 ImageNet數(shù)據(jù)集驗(yàn)證試驗(yàn)

為了研究對(duì)于不同大小的小樣本數(shù)據(jù)集下數(shù)據(jù)增強(qiáng)方法的表現(xiàn)，我們?nèi)藶榈貜脑摂?shù)據(jù)集中抽取不同數(shù)量的子數(shù)據(jù)集, 每類從50到1 000不等。實(shí)驗(yàn)主要對(duì)比以下幾種不同的數(shù)據(jù)增強(qiáng)方式:(1)不采用任何的數(shù)據(jù)增強(qiáng)方式(D);(2)傳統(tǒng)的基于仿射變換和圖像操作的數(shù)據(jù)增強(qiáng)方式(D_aug);(3)本文所提出的基于MUNIT的數(shù)據(jù)增強(qiáng)方法(DA-MUNIT_aug)。實(shí)驗(yàn)對(duì)比了不同方法下訓(xùn)練出來(lái)的分類器在測(cè)試集上的分類準(zhǔn)確率(Acc),結(jié)果如表1所示。

表1 不同數(shù)據(jù)增強(qiáng)方法在ImageNet貓科動(dòng)物數(shù)據(jù)集上測(cè)試集的準(zhǔn)確率/%

從實(shí)驗(yàn)結(jié)果可以看出，DA-MUNIT_aug是所有方法中對(duì)分類器的分類結(jié)果準(zhǔn)確率提升效果最好的。于1 000張?jiān)瓟?shù)據(jù)和經(jīng)DA-MUNIT網(wǎng)絡(luò)數(shù)據(jù)增強(qiáng)后的訓(xùn)練集準(zhǔn)確率變化如圖5所示。在測(cè)試集上的準(zhǔn)確率變化如圖6所示，訓(xùn)練時(shí)的損失函數(shù)變化如圖7所示。

圖5 訓(xùn)練集準(zhǔn)確率對(duì)比圖

圖6 驗(yàn)證集準(zhǔn)確率對(duì)比圖

從圖5-圖7中可明顯看出經(jīng)DA-MUNIT網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)增強(qiáng)后的訓(xùn)練更加穩(wěn)定且測(cè)試準(zhǔn)確率更高，且在一定程度上減少了過(guò)擬合。

圖7 訓(xùn)練損失變化對(duì)比圖

上述1 000張數(shù)據(jù)實(shí)驗(yàn)結(jié)果說(shuō)明基于MUNIT的數(shù)據(jù)增強(qiáng)方法對(duì)一些小樣本的圖像分類任務(wù)中的模型進(jìn)行很大程度的提升，在一定程度上解決了數(shù)據(jù)過(guò)少導(dǎo)致的模型表現(xiàn)較差或過(guò)擬合問(wèn)題。

4 總結(jié)

以數(shù)據(jù)增強(qiáng)為目標(biāo), 本文通過(guò)使用和改進(jìn)MUNIT網(wǎng)絡(luò),設(shè)計(jì)了一種基于MUNIT的數(shù)據(jù)增強(qiáng)方法,以MUNIT生成的圖像做數(shù)據(jù)增強(qiáng)的方法相比于傳統(tǒng)的數(shù)據(jù)增強(qiáng)方法，生成的新樣本和原始數(shù)據(jù)的分布基本相同，還可以做到不同類之間圖像風(fēng)格交叉轉(zhuǎn)換，以此提供內(nèi)容相同但風(fēng)格不同的不同類別標(biāo)簽的新樣本，使小樣本分類器能夠在加上合成的新數(shù)據(jù)后很大程度地提升了訓(xùn)練穩(wěn)定性，減少了過(guò)擬合。