趙文倉 袁立鎮(zhèn) 徐長凱

(青島科技大學(xué)自動化與電子工程學(xué)院 青島 266061)

0 引 言

深度前饋架構(gòu)為計算機(jī)視覺及其他領(lǐng)域的各種任務(wù)帶來了深刻的先進(jìn)技術(shù)。 只有當(dāng)有大量標(biāo)記的訓(xùn)練數(shù)據(jù)可用時，才會出現(xiàn)這些性能上的飛躍。深度卷積網(wǎng)絡(luò)在大規(guī)模數(shù)據(jù)集上訓(xùn)練時，可以學(xué)習(xí)各種任務(wù)和視覺領(lǐng)域中通用的表示[1]。 然而，由于數(shù)據(jù)集偏差或域移位[2]的現(xiàn)象，在大型數(shù)據(jù)集上與這些表示一起訓(xùn)練的識別模型不能很好地推廣到新的數(shù)據(jù)集和任務(wù)[3]。

上述問題的解決方案是無監(jiān)督域自適應(yīng)方法。域自適應(yīng)方法試圖減輕域移位的有害影響。 最近的域自適應(yīng)方法學(xué)習(xí)深度神經(jīng)變換，將2個域映射到共同的特征空間。這通常通過優(yōu)化表示以最小化域移位的一些度量來實現(xiàn)，例如最大平均差異(maximum mean discrepancy, MMD)[4]或相關(guān)距離[5]。 另一種方法是從源表示中重建目標(biāo)域[6]。在機(jī)器翻譯中，丁亮等人[7]將Bi-LSTM用于構(gòu)建自動編碼器，有效翻譯系統(tǒng)的性能。曾遠(yuǎn)柔等人[8]通過優(yōu)化非線性映射函數(shù)來對齊子空間和目標(biāo)子空間，用界標(biāo)無人管理域自適應(yīng)法來實現(xiàn)。Ganin等人[9]引入梯度反轉(zhuǎn)層，將梯度乘以小的負(fù)數(shù)，以訓(xùn)練特征提取器使域分類器不能區(qū)分源域和目標(biāo)域。Tzeng等人[10]考察了用于半監(jiān)督域自適應(yīng)的類似設(shè)置。該方法不是采用梯度反轉(zhuǎn)層以直接最大化域分類器的損失，而是最大化域混淆以“最大程度地混淆”域分類器。當(dāng)域分類器在二進(jìn)制標(biāo)簽上輸出均勻分布時，它是“最大混淆的”，這表明域分類器不能確定輸入圖像的學(xué)習(xí)特征表示是來自源域還是目標(biāo)域，通過加入軟標(biāo)簽損失，用來保持源域和目標(biāo)域各類之間相對分布的一致性。

雖然這些方法已經(jīng)取得了良好的進(jìn)展，但它們?nèi)匀徊荒芘c僅在目標(biāo)領(lǐng)域進(jìn)行訓(xùn)練的純監(jiān)督方法相提并論。生成對抗網(wǎng)絡(luò)(generative adversarial network, GAN)[11]優(yōu)于其他生成方法的優(yōu)點(diǎn)是其在訓(xùn)練期間不需要復(fù)雜的采樣或推理，對抗性方法尋求通過關(guān)于域鑒別符的對抗性目標(biāo)來最小化近似域差異距離。針對上述問題，本文提出了一種基于鑒別模型和對抗損失的無監(jiān)督域適合方法，該方法在MNIST、MNIST-M和SVHN數(shù)字?jǐn)?shù)據(jù)集上實現(xiàn)了最先進(jìn)的視覺自適應(yīng)結(jié)果。為了更好地驗證對抗鑒別方法，本文將該方法在較復(fù)雜的2組遙感影像數(shù)據(jù)集上進(jìn)行適應(yīng)。對抗鑒別方法與現(xiàn)有方法相比具有的優(yōu)勢為與特定任務(wù)的體系結(jié)構(gòu)分離，跨標(biāo)簽空間的泛化以及訓(xùn)練穩(wěn)定等。

1 生成對抗網(wǎng)絡(luò)

根據(jù)生成對抗網(wǎng)絡(luò)對抗訓(xùn)練生成逼真圖像的思想，本文提出了基于對抗網(wǎng)絡(luò)的域自適應(yīng)框架，如圖1所示。首先使用源域中的標(biāo)簽學(xué)習(xí)鑒別表示，然后使用通過域-對抗性損失學(xué)習(xí)的非對稱映射將目標(biāo)數(shù)據(jù)映射到同一空間的單獨(dú)編碼。以無監(jiān)督的方式學(xué)習(xí)鑒別表示，運(yùn)用無權(quán)重共享、對抗性損失以及輔助分類任務(wù)。

圖1 結(jié)合鑒別模型的無監(jiān)督域自適應(yīng)方法

1.1 GAN架構(gòu)

使用Goodfellow等人的符號，定義了2個網(wǎng)絡(luò)之間的極小極大博弈所使用的值函數(shù)V(G,D)：

+Ez～pz(z)[log(1-D(G(z)))]

(1)

其中,x～pdata(x)從實數(shù)據(jù)分布中抽取樣本，z～pz(z)從輸入噪聲中抽取樣本，D(x;θd)是鑒別器，G(z;θg)是生成器。 如式(1)所示，目標(biāo)是找到參數(shù)θd，其最大化正確區(qū)分真樣本x和假樣本G(z)的對數(shù)概率，同時找到最小化對數(shù)概率1-D(G(z))的參數(shù)θg。表達(dá)式D(G(z))表示生成的數(shù)據(jù)G(z)被鑒別為真的概率。如果鑒別器正確地對假輸入進(jìn)行分類，則D(G(z))=0。目標(biāo)是使D(G(z))越大越好，即以假亂真。所以使數(shù)值1-D(G(z))最小化：當(dāng)D(G(z))=1時，或鑒別器將生成器的輸出錯誤分類為實際樣本時，會發(fā)生這種情況。 因此，鑒別器的任務(wù)是學(xué)習(xí)正確地將輸入分類為真實或假的，而生成器試圖欺騙鑒別器以認(rèn)為其生成的輸出是真實的，二者形成對抗關(guān)系。對抗能更好地學(xué)習(xí)，而對抗學(xué)習(xí)的關(guān)鍵就是如何表示和優(yōu)化對抗性損失。

1.2 對抗性損失

對于未標(biāo)記的目標(biāo)域，策略是通過最小化源和目標(biāo)特征分布之間的差異來指導(dǎo)特征學(xué)習(xí)[10,12,13]。為此目的，有幾種方法使用最大平均差異損失，計算2個域均值之間差異的范數(shù)。 除了源上的常規(guī)分類損失之外，深度域混淆(deep domain confusion, DDC)[14]方法使用MMD來學(xué)習(xí)既具有鑒別性又具有域不變性的表示。相比之下，相關(guān)對齊(correlation alignment, CORAL)[15]方法提出匹配2個分布的均值和協(xié)方差。

域自適應(yīng)的目標(biāo)是從源數(shù)據(jù)分布中學(xué)習(xí)在不同但相關(guān)的目標(biāo)數(shù)據(jù)分布上的良好性能模型。而生成對抗網(wǎng)絡(luò)的思想是通過對抗訓(xùn)練生成與真實圖像逼真的圖像。對抗性學(xué)習(xí)方法是訓(xùn)練健壯的深度網(wǎng)絡(luò)的有前景的方法，并且可以跨不同領(lǐng)域生成復(fù)雜樣本。

本文的對抗性損失定義為固定G的參數(shù)不變，優(yōu)化D的參數(shù)，即maxV(D,G)，等價于min[-V(D,G)]。因此D的損失函數(shù)等價為

J(D)(θD,θG)=-Ex～pdata(x)[logD(x)]

(2)

鑒別器認(rèn)為來自真實數(shù)據(jù)樣本的標(biāo)簽為1而來自生成樣本的標(biāo)簽為0。因此，其優(yōu)化過程是類似于Sigmoid的二分類，即Sigmoid的交叉熵。

在固定鑒別器參數(shù)不變的情況下，生成器的代價函數(shù)可表述為

(3)

當(dāng)pg=pdata時，生成器的損失為

(4)

引入JS散度(Jensen-Shannon divergence)，生成器的代價函數(shù)等價為

=-log(4)+2×JSD(pdata‖pg)

(5)

由于JS散度具有非負(fù)性，當(dāng)兩者分布相等時，其散度為0。因此，D(x)訓(xùn)練得越好，G(z)就越接近最優(yōu)，則生成器的損失越接近于生成樣本分布和真實樣本分布的JS散度。

用交替迭代的方法優(yōu)化參數(shù)，其優(yōu)化流程如下。

初始化:采用批隨機(jī)梯度下降進(jìn)行訓(xùn)練,超參數(shù)k=1;批大小Batchsize=m;for number of training iterations do fork steps do 抽樣出m個噪聲pz(z)樣本{z(1), z(2), z(3)…z(m)} 抽樣出m個數(shù)據(jù)px(x)樣本{x(1), x(2), x(3)…x(m)} 計算鑒別器的代價函數(shù): J(D)=1m∑mi=1[-logD(x(i))-log(1-D(G(z(i))))] 通過Adam梯度下降算法更新鑒別器參數(shù): θd=Adam(▽θd(J(D)),θd) end for 抽樣出m個噪聲pz(z)的樣本{z(1), z(2), z(3)…z(m)} 計算生成器的代價函數(shù): J(G)=1m∑mi=1[log(1-D(G(z(i))))] 通過Adam梯度下降算法更新生成器的參數(shù): θg=Adam(▽θg(J(G)), θg)end for

2 對抗鑒別的無監(jiān)督域自適應(yīng)方法

2.1 對抗性無監(jiān)督域自適應(yīng)

基于鑒別模型和對抗損失的無監(jiān)督適應(yīng)方法的一般框架如圖2所示。 在無監(jiān)督領(lǐng)域自適應(yīng)中，假設(shè)源圖像Xs，從源域分布ps(x,y)繪制的標(biāo)簽Ys，以及服從目標(biāo)分布pt(x,y)的目標(biāo)圖像Xt，沒有標(biāo)簽。目的是學(xué)習(xí)目標(biāo)表示即目標(biāo)特征映射Ft和分類器Ct，它可以在測試時將目標(biāo)圖像正確地分類為

圖2 本文方法的框架

N類別中的一個。由于目標(biāo)域無標(biāo)簽，不能對目標(biāo)進(jìn)行直接監(jiān)督學(xué)習(xí)，先域自適應(yīng)學(xué)習(xí)源特征映射Fs以及源分類器Cs，然后再學(xué)習(xí)使該模型適應(yīng)于目標(biāo)域。

最小化源域映射后的特征空間Fs(Xs)和目標(biāo)域映射后的特征空間Ft(Xt)之間的距離。由于源域有標(biāo)簽，可以學(xué)習(xí)源域的特征映射Fs和源域的分類器Cs來分類：

(6)

把Fs和Cs遷移到目標(biāo)域。為使實驗結(jié)果更為顯著，將源域分類器Cs直接作為目標(biāo)分類器Ct，即設(shè)置C=Cs=Ct。因此，只需要學(xué)習(xí)Ft，為了獲得Ft，需要優(yōu)化分類器D，借鑒第1節(jié)GAN網(wǎng)絡(luò)的思想，優(yōu)化D的目標(biāo)函數(shù)即域分類器損失為

-Ext～Xt[log(1-D(Ft(xt)))]

(7)

(8)

并且用它最普遍的約束，即源域的分層和目標(biāo)域的分層完全一致：

(9)

(10)

這個目標(biāo)函數(shù)與極大極小損失有相同的定點(diǎn)屬性，但其針對目標(biāo)特征映射Ft(xt)擁有更強(qiáng)的梯度。這種方式是將源特征映射Fs和目標(biāo)特征映射Ft獨(dú)立開來，并且僅僅去學(xué)習(xí)目標(biāo)特征映射Ft，因為源特征映射Fs可以通過直接訓(xùn)練得到。這模擬了GAN，其中真實圖像的分布保持固定，生成器G生成的分布來匹配真實圖像的分布。

在生成器試圖擬合1個不變的分布的時候，對抗損失是一個標(biāo)準(zhǔn)的選擇方案。但是，在2個分布都發(fā)生變化的情況下，當(dāng)Ft收斂到最優(yōu)的時候此目標(biāo)將會震蕩，鑒別器的變化會導(dǎo)致預(yù)測的符號發(fā)生反轉(zhuǎn) 。為確保Fs和Ft之間的獨(dú)立性并且避免震蕩的出現(xiàn)，采用使用交叉熵?fù)p失函數(shù)對統(tǒng)一分布訓(xùn)練特征映射：

(11)

2.2 輔助分類任務(wù)

在域自適應(yīng)應(yīng)用場景中，源域樣本中往往包含有目標(biāo)域中不存在的類別樣本。為了能夠充分利用到源域樣本，本文引入輔助分類任務(wù)，其思想源自多任務(wù)學(xué)習(xí)。結(jié)合輔助的任務(wù)學(xué)習(xí)共同的特征表示，這樣最大限度地豐富訓(xùn)練樣本，增強(qiáng)學(xué)習(xí)到特征的泛化性能，而且有效增大類間距離和減小類內(nèi)距離，有利于提高分類精度。

輔助損失函數(shù)定義為

(12)

2.3 算法流程

本文方法的參數(shù)更新流程如表1所示。

表1 算法流程

3 實 驗

3.1 MNIST、MNIST-M、SVHN數(shù)字?jǐn)?shù)據(jù)集適應(yīng)

本研究在MNIST[16]、MNIST-M[17]和SVHN[18]數(shù)字?jǐn)?shù)據(jù)集之間的無監(jiān)督域自適應(yīng)調(diào)整任務(wù)中驗證了本文方法，這些數(shù)據(jù)集都由10個數(shù)字(0～9)類組成，數(shù)據(jù)集示例見圖3。所有的實驗都在無監(jiān)督的設(shè)置中進(jìn)行，其中目標(biāo)域中的標(biāo)簽被隱藏，主要考慮在2個方向上進(jìn)行適應(yīng)，即MNIST到MNIST-M，SVHN到MNIST。

圖3 數(shù)字?jǐn)?shù)據(jù)集適應(yīng)示例

(1)從MNIST到MNIST-M。MNIST數(shù)據(jù)集的數(shù)字圖像作為源域，MNIST-M數(shù)據(jù)集的數(shù)字圖像作為目標(biāo)域。MNIST-M數(shù)據(jù)集是針對無監(jiān)督域自適應(yīng)提出的MNIST的變體。它的圖像是通過每個MNIST數(shù)字為二進(jìn)制掩碼和它的背景圖像反相創(chuàng)建的。背景圖像是隨機(jī)從伯克利分割數(shù)據(jù)集中(BSDS200)[19]均勻采樣。實驗遵循文獻(xiàn)[17]中建立的訓(xùn)練協(xié)議，從MNIST采樣2 000個圖像，從MNIST-M采樣1 000個圖像。

(2)從SVHN到MNIST。在2個不同的域上測試本文方法。SVHN為街景門牌號數(shù)據(jù)集，包含著現(xiàn)實世界的復(fù)雜因素。對SVHN的訓(xùn)練具有挑戰(zhàn)性，適應(yīng)比較困難。在訓(xùn)練的前期，分類錯誤仍然很高。由于SVHN更加多樣化，因此預(yù)計在SVHN上訓(xùn)練的模型將更加通用并且可以在MNIST數(shù)據(jù)集上合理地執(zhí)行。

對于上述實驗，使用簡單修改的LeNet架構(gòu)在tensorflow[20]中實現(xiàn)。對抗性鑒別器由3個完全連接層組成，前2層具有500個隱藏單元，第3層是最終鑒別器輸出。 每個500單元層使用ReLU激活功能。優(yōu)化使用Adam優(yōu)化器[21]進(jìn)行10 000次迭代，學(xué)習(xí)率為0.002，β1為0.5，β2為0.99，批量大小為256個圖像，即源域與目標(biāo)域各128個。 所有訓(xùn)練圖像都轉(zhuǎn)換為灰度，并重新縮放為28×28像素。

實驗結(jié)果如圖4和表2所示。根據(jù)圖表可以明顯看出，本文方法在“MNIST到MNIST-M”數(shù)據(jù)集上實現(xiàn)了比以前方法更好的結(jié)果，而且曲線上升趨勢良好，緊追“只有目標(biāo)域”的表現(xiàn)。此外，與其他方法相比，該方法在具有挑戰(zhàn)性的從SVHN到MNIST適應(yīng)任務(wù)上展現(xiàn)出令人信服的結(jié)果，也表明本文方法有可能推廣到其他各種設(shè)置。

圖4 各方法的精度隨訓(xùn)練批次的變化

表2 數(shù)字?jǐn)?shù)據(jù)集的分類精度

3.2 遙感影像數(shù)據(jù)集適應(yīng)

為了更好地驗證本文方法，將該方法在2組遙感影像數(shù)據(jù)集上適應(yīng)，示例圖像如圖5所示。

(a) NWPU VHR-10

(b) NWPU-XUAN10

NWPU VHR-10數(shù)據(jù)集是公開的10個對象類地理空間物體檢測數(shù)據(jù)集，這10類物體分別是飛機(jī)、艦船、油罐、棒球場、網(wǎng)球場、籃球場、操場、 港口、橋梁和車輛。該數(shù)據(jù)集包含800個非常高分辨率(VHR)的遙感影像。對圖像進(jìn)行人工切割尺寸為256×256，并人工分類標(biāo)注。

NWPU-RESISC45數(shù)據(jù)集含有45類場景的遙感影像，每類影像都包含有700張圖片，尺寸均為256×256。選出與NWPU VHR-10重疊的10個類每類隨機(jī)選用100張，共1 000張影像，命名為NWPU-XUAN10。

該實驗網(wǎng)絡(luò)的各個參數(shù)，如卷積核大小、步長和卷積層的層數(shù)如圖6所示。特征訓(xùn)練層使用了預(yù)訓(xùn)練的Alexnet網(wǎng)絡(luò)架構(gòu)，對抗性鑒別器由3個完全連接層組成，前2層具有4 096個隱藏單元，第3層是對抗性鑒別器輸出。除輸出外，這些層使用ReLU激活功能。 然后，使用與數(shù)字實驗中相同的超參數(shù)訓(xùn)練，再進(jìn)行10 000次迭代。

圖6 本文方法的網(wǎng)絡(luò)結(jié)構(gòu)

從NWPU VHR-10到NWPU-XUAN10的分類精度與批次關(guān)系以及最終結(jié)果如圖7和表3所示。同時進(jìn)行“僅源域”和本文方法監(jiān)督目標(biāo)模型的混淆矩陣到深度適應(yīng)實驗，并將NWPU VHR-10數(shù)據(jù)集的混淆矩陣列于圖8。

圖7 各方法的精度隨訓(xùn)練批次的變化

從表3可以看出，本文方法在精度上實現(xiàn)了更好的結(jié)果，優(yōu)于其他方法。在圖7中，本文方法逐漸趕超最優(yōu)的域分離網(wǎng)絡(luò)方法，并且還有上升的趨勢。圖8中，本文方法表現(xiàn)均衡，對于容易混淆的籃球場、操場和網(wǎng)球場這3類場景的辨識度也有了一定的提高。由此表明在域自適應(yīng)中對抗網(wǎng)絡(luò)和輔助任務(wù)可以很好地學(xué)習(xí)到域不變特征，并提高網(wǎng)絡(luò)的泛化能力與分類精度。

表3 遙感數(shù)據(jù)集的分類精度

圖8 NWPU VHR-10數(shù)據(jù)集混淆矩陣

4 結(jié) 論

本文提出了一種基于鑒別模型和對抗學(xué)習(xí)目標(biāo)的無監(jiān)督域自適應(yīng)方法，域自適應(yīng)網(wǎng)絡(luò)結(jié)合鑒別模型，無需權(quán)重共享、對抗性損失和輔助分類任務(wù)，并建立了基于深度卷積神經(jīng)網(wǎng)絡(luò)的分類框架，使源特征映射網(wǎng)絡(luò)與目標(biāo)特征映射網(wǎng)絡(luò)形成對抗的關(guān)系，引入輔助分類任務(wù)，擴(kuò)充訓(xùn)練樣本。這種對抗鑒別的無監(jiān)督域適應(yīng)方法在數(shù)字?jǐn)?shù)據(jù)集上實現(xiàn)了比以前方法更佳的結(jié)果，并在具有挑戰(zhàn)性的從SVHN到MNIST適應(yīng)任務(wù)上展現(xiàn)出良好的結(jié)果，也表明本文方法有可能推廣到其他各種設(shè)置。最后在遙感數(shù)據(jù)集上的實驗表明，對抗網(wǎng)絡(luò)和輔助任務(wù)可以很好地學(xué)習(xí)到域不變特征，并提高網(wǎng)絡(luò)的泛化能力與分類精度。