梅校杰，張 靈

廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣州 510006

深度神經(jīng)網(wǎng)絡(luò)擅長(zhǎng)從具有大量標(biāo)簽標(biāo)記的數(shù)據(jù)集中學(xué)習(xí)判別性特征表示，從而在各種機(jī)器學(xué)習(xí)任務(wù)中取得了空前的成功。但是，在實(shí)際應(yīng)用中DNN（deep neural networks，DNN）通常會(huì)遇到因?yàn)闃?biāo)記數(shù)據(jù)稀缺而導(dǎo)致的學(xué)習(xí)判別性特征表示能力不足的問(wèn)題。由于進(jìn)行數(shù)據(jù)標(biāo)定的工作代價(jià)高昂且費(fèi)時(shí)，這種困境導(dǎo)致了領(lǐng)域自適應(yīng)算法（domain adaptation，DA）的誕生[1-2]，領(lǐng)域自適應(yīng)可以在存在分布偏移的情況下，將學(xué)習(xí)到的知識(shí)從已標(biāo)記的數(shù)據(jù)集遷移到未標(biāo)記的數(shù)據(jù)集。對(duì)于封閉集的無(wú)監(jiān)督領(lǐng)域自適應(yīng)（unsupervised domain adaptation，UDA）問(wèn)題，目前有許多算法來(lái)解決這種源域和目標(biāo)域共用相同標(biāo)簽集跨域?qū)W習(xí)的情況。這些UDA方法通過(guò)學(xué)習(xí)共享特征進(jìn)行跨域或者通過(guò)加權(quán)的方式突出的顯示與目標(biāo)域更相關(guān)的源域樣本，在目標(biāo)域沒(méi)有標(biāo)簽的情況下努力擬合源域和目標(biāo)域之間的特征分布差距[3-4]。

基于矩匹配的領(lǐng)域自適應(yīng)相關(guān)算法目的在于最小化跨域的分布差異。例如，Deep Coral[5]算法通過(guò)對(duì)源域和目標(biāo)域之間的樣本特征進(jìn)行線性變換，使得兩者的二階統(tǒng)計(jì)量對(duì)齊。DDC[6]算法和DAN[7]算法是通過(guò)MMD（maximum mean discrepancy，MMD）來(lái)減小源域和目標(biāo)域之間特征分布差異。JAN[8]算法在DDC算法和DAN算法基礎(chǔ)上，在網(wǎng)絡(luò)結(jié)構(gòu)中聯(lián)合多層的特征分布差異，取得了更好的正遷移效果。SWD[9]算法利用特定任務(wù)的決策邊界和Wasserstein度量，在源域和目標(biāo)域之間進(jìn)行特征分布對(duì)齊。CAN[10]算法提出了一個(gè)對(duì)類內(nèi)域差異和類間域差異建模的新度量，來(lái)減少源域和目標(biāo)域之間特征分布差異。

受生成對(duì)抗網(wǎng)絡(luò)（generative adversarial nets，GAN）的啟發(fā)，在源域與目標(biāo)域之間使用對(duì)抗博弈，可以使兩個(gè)領(lǐng)域的圖像特征映射到相同的特征分布上，達(dá)到遷移學(xué)習(xí)的目的。在2016年提出的領(lǐng)域自適應(yīng)對(duì)抗神經(jīng)網(wǎng)絡(luò)（domain adaptive neural network，DANN）[11]，該網(wǎng)絡(luò)首次使用了域鑒別器這一概念，通過(guò)對(duì)源域與目標(biāo)域進(jìn)行對(duì)抗訓(xùn)練，當(dāng)達(dá)到納什均衡時(shí)，域鑒別器不能區(qū)分特征屬于源域還是目標(biāo)域，此時(shí)完成了共享特征的對(duì)齊。2018年提出的多模型對(duì)抗性域適應(yīng)算法（multiadversarial domain adaptation，MADA）算法[12]，彌補(bǔ)了DANN算法沒(méi)有利用多模式結(jié)構(gòu)分別對(duì)每個(gè)類進(jìn)行特征對(duì)齊，只使用單一域鑒別器對(duì)源域和目標(biāo)域的特征分布進(jìn)行對(duì)齊，從而造成了錯(cuò)誤特征對(duì)齊的缺陷。該算法使用多模式結(jié)構(gòu)，以支持基于多個(gè)域鑒別器的不同數(shù)據(jù)分布的細(xì)粒度特征對(duì)齊，有更好的正遷移學(xué)習(xí)能力。2019年提出的對(duì)抗性領(lǐng)域自適應(yīng)（adversarial domain adaptation being aware of class relationships，RADA）算法[13]，通過(guò)在多模型域鑒別器與分類器之間使用正則化約束項(xiàng)，來(lái)懲罰由域鑒別器和標(biāo)簽預(yù)測(cè)器的類間依賴關(guān)系的結(jié)構(gòu)差異，該方法使對(duì)抗性領(lǐng)域自適應(yīng)意識(shí)到類關(guān)系，進(jìn)一步提升了算法的正遷移能力，同時(shí)證明了通過(guò)解決類間依賴關(guān)系能夠提高算法在基準(zhǔn)數(shù)據(jù)集遷移學(xué)習(xí)的能力。該算法仍需要部署源域和目標(biāo)每個(gè)類的特征對(duì)齊，且在面對(duì)具有高相似的類別時(shí)，依然不能很好將它們區(qū)分。

有研究團(tuán)隊(duì)通過(guò)對(duì)目標(biāo)域的預(yù)測(cè)誤差分析，發(fā)現(xiàn)分類器在目標(biāo)域上區(qū)分正確類和不確定類時(shí)會(huì)產(chǎn)生混淆[14]。這個(gè)發(fā)現(xiàn)提供了新的視角來(lái)解決領(lǐng)域自適應(yīng)問(wèn)題：類混淆。它是一種分類器在對(duì)目標(biāo)域樣本的正確類和不確定類預(yù)測(cè)時(shí)會(huì)產(chǎn)生混淆預(yù)測(cè)的傾向。該團(tuán)隊(duì)通過(guò)對(duì)分類器預(yù)測(cè)目標(biāo)域樣本概率內(nèi)積它的轉(zhuǎn)置，揭示了不同類之間的混淆關(guān)系。從這個(gè)角度量化類混淆，從而僅基于分類器的預(yù)測(cè)就可以計(jì)算出類混淆。他們提出了最小化類混淆（minimum class confusion，MCC）損失函數(shù)，發(fā)現(xiàn)較少的類混淆會(huì)帶來(lái)更多的跨域正遷移效益。但是，在UDA場(chǎng)景中他們?nèi)匀粺o(wú)法解決共享特征稀疏帶來(lái)的分類器正遷移學(xué)習(xí)能力不足的問(wèn)題。

圖像的風(fēng)格遷移目的是將一個(gè)域的圖像特征轉(zhuǎn)換到另一個(gè)域。為了在非成對(duì)數(shù)據(jù)上訓(xùn)練圖像風(fēng)格遷移模型，CycleGAN[15]算法利用循環(huán)一致性損失解決缺少成對(duì)訓(xùn)練數(shù)據(jù)的問(wèn)題。PixelDA[16]算法基于GAN模型以無(wú)監(jiān)督的方式學(xué)習(xí)目標(biāo)域圖像風(fēng)格遷移到源域，在像素空間使得源域圖像轉(zhuǎn)換為目標(biāo)域圖像，同時(shí)保留源域原始內(nèi)容，實(shí)現(xiàn)像素級(jí)領(lǐng)域自適應(yīng)。CyCADA[17]算法將CycleGAN原理運(yùn)用到了領(lǐng)域自適應(yīng)上，實(shí)現(xiàn)了源域和目標(biāo)域樣本的特征級(jí)與像素級(jí)的對(duì)齊。Face-CycleGAN[18]算法基于CycleGAN模型在保留身份屬性的前提下，對(duì)源域中帶標(biāo)簽數(shù)據(jù)進(jìn)行了風(fēng)格遷移，使得其在背景、光照、皮膚材質(zhì)等方面能與監(jiān)控場(chǎng)景更接近，并通過(guò)聯(lián)合濾波對(duì)遷移后的圖像進(jìn)行處理。最終利用遷移得到的數(shù)據(jù)來(lái)優(yōu)化人臉識(shí)別算法，減小了域間差異帶來(lái)的負(fù)遷移。本文基于CycleGAN模型原理和最小化類混淆損失函數(shù)，通過(guò)對(duì)源域使用生成對(duì)抗網(wǎng)絡(luò)對(duì)每個(gè)類進(jìn)行圖像風(fēng)格遷移，擴(kuò)大了帶標(biāo)簽源域的特征空間分布，提供更多與目標(biāo)域有相關(guān)性的共享特征，加強(qiáng)了源域和目標(biāo)域上每個(gè)類的特征對(duì)齊，從而提升分類器的正遷移學(xué)習(xí)能力。在目標(biāo)域中引入不確定性權(quán)重機(jī)制，加重具有確定性樣本的預(yù)測(cè)概率權(quán)重。最小化分類器在目標(biāo)域上預(yù)測(cè)產(chǎn)生的類混淆，使得分類器能以高置信度預(yù)測(cè)出正確的類，抑制跨域的負(fù)遷移。

1 算法描述

1.1 基于生成對(duì)抗網(wǎng)絡(luò)的風(fēng)格遷移

在源域數(shù)據(jù)集中，將每個(gè)類分為子集A和子集B。使用GAN網(wǎng)絡(luò)進(jìn)行風(fēng)格遷移的目標(biāo)是學(xué)習(xí)一個(gè)映射函數(shù)Q，使得子集A中的一個(gè)樣本通過(guò)該映射函數(shù)得到一個(gè)服從子集B樣本分布的Q(x),x為子集A中樣本，反之亦然。在訓(xùn)練過(guò)程中，包含一個(gè)正向的生成器Q:A→B和一個(gè)反向的生成器Q0:B→A，用于生成轉(zhuǎn)換圖像。同時(shí)，為了判斷圖像風(fēng)格是否被正確的轉(zhuǎn)移到另一個(gè)子集域，引入兩個(gè)鑒別器DA和DB來(lái)分別判斷圖像所屬的子集域，并與對(duì)應(yīng)的生成器進(jìn)行對(duì)抗訓(xùn)練。根據(jù)GAN的博弈思想，正向生成器Q會(huì)盡可能擬合子集B的樣本分布以騙過(guò)判別器DB,DB盡可能判斷某個(gè)樣本是來(lái)自真實(shí)的子集B還是來(lái)自生成器Q生成的樣本，Q和DB交替更新，最終達(dá)到納什均衡[15]，Q生成的樣本足以騙過(guò)判別器DB，從而達(dá)到圖像遷移的目標(biāo)。同理，反向生成器Q0的訓(xùn)練過(guò)程也一樣。擴(kuò)大了源域中每個(gè)標(biāo)簽類的特征分布，為目標(biāo)域提供更多有相關(guān)性的共享特征。基于文獻(xiàn)[15]，本文定義生成對(duì)抗網(wǎng)絡(luò)的風(fēng)格遷移損失函數(shù)為公式（1）：

對(duì)抗損失：在公式（1）中的對(duì)抗損失函數(shù)LGAN(Q,DB,A,B)和LGAN(Q0,DA,B,A)分別為正向生成和反向生成的對(duì)抗損失。正向生成器的對(duì)抗訓(xùn)練損失函數(shù)如公式（2）所示：

其中，樣本x來(lái)自子集A，樣本y來(lái)自子集B。該公式的優(yōu)化目標(biāo)是找到一個(gè)Q*，使DB,A,B)。反向生成器Q0的對(duì)抗訓(xùn)練損失亦然。

循環(huán)一致性損失：僅使用對(duì)抗損失訓(xùn)練生成器，會(huì)發(fā)生在子集A中的任意樣本x，生成器Q可能會(huì)將它映射成子集B中同一個(gè)樣本的情況。同樣，對(duì)于子集B中的任意樣本y，生成器Q0也可能會(huì)將它映射成子集A中同一個(gè)樣本x。為了避免這種情況，采用循環(huán)一致性損失LCYC(Q,Q0)使Q0(Q(x))≈x及Q(Q0(y))≈y，在公式（1）中的循環(huán)一致性損失LCYC(Q,Q0)可表示為公式（3）：

公式（1）中，λ表示循環(huán)一致性損失LCYC(Q,Q0)的權(quán)重。

1.2 最小化類混淆領(lǐng)域自適應(yīng)學(xué)習(xí)

本文算法使用最小化類混淆作為目標(biāo)域的分類損失函數(shù)，在UDA場(chǎng)景下進(jìn)行領(lǐng)域自適應(yīng)實(shí)驗(yàn)。實(shí)驗(yàn)包含一個(gè)帶標(biāo)簽的源域和一個(gè)無(wú)標(biāo)簽的目標(biāo)域，其中xi為數(shù)據(jù)樣本，yi為對(duì)應(yīng)的標(biāo)簽。通過(guò)對(duì)分類器預(yù)測(cè)目標(biāo)域樣本概率內(nèi)積它的轉(zhuǎn)置來(lái)度量目標(biāo)域中的類混淆。與之前領(lǐng)域自適應(yīng)算法側(cè)重于特征對(duì)齊的方法不同[19]，本文方法注重最小化分類器在目標(biāo)域上誤差預(yù)測(cè)。將目標(biāo)域的分類器輸出表示為，其中，B為目標(biāo)數(shù)據(jù)的批量大小，||C為源域的類數(shù)量，F(xiàn)為特征提取器，G為分類器。

（1）類間相關(guān)性。根據(jù)論文所述[20]，在DNNs（deep neural networks）分類模型中，分類器對(duì)樣本進(jìn)行預(yù)測(cè)時(shí)會(huì)出現(xiàn)過(guò)度自信的情況。因此，本文采用溫度重標(biāo)度來(lái)解決算法模型分類預(yù)測(cè)時(shí)過(guò)度自信的負(fù)面影響[21]。對(duì)分類器G的樣本概率預(yù)測(cè)函數(shù)進(jìn)行溫度重標(biāo)度處理，得到對(duì)特征向量分類有高置信度的預(yù)測(cè)。由文獻(xiàn)[21]研究可將第i-th個(gè)樣本的特征向量屬于第j-th類的概率表示為，其中Zij是分類器層的logit層輸出（在softmax函數(shù)之前），T是用于縮放的溫度重標(biāo)度超參數(shù)。

分類器G對(duì)樣本的特征向量預(yù)測(cè)概率為表示第i-th個(gè)樣本的特征向量和第j-th個(gè)類之間的預(yù)測(cè)關(guān)系。因此，對(duì)文獻(xiàn)[14]中類j和j′之間的類間相關(guān)性重新定義為公式（4）：

在公式（4）中，表示每批量中B個(gè)樣本來(lái)自j-th類的概率。表示利用風(fēng)格遷移擴(kuò)展得到與目標(biāo)域特征空間匹配的共享特征對(duì)分類器G的跨域正確分類預(yù)測(cè)的提升值，δ為對(duì)角矩陣。類間相關(guān)性量化了分類器G對(duì)B個(gè)樣本進(jìn)行分類預(yù)測(cè)時(shí)，在第j-th類和第j′-th類之間的類混淆預(yù)測(cè)。這種成對(duì)的類關(guān)聯(lián)是可靠的，當(dāng)模型過(guò)度自信做出錯(cuò)誤的預(yù)測(cè)時(shí)，相應(yīng)的類間相關(guān)性仍然很低。利用公式（1）作為損失函數(shù)訓(xùn)練得到的生成器Q和Q0，加大了源域和目標(biāo)域每個(gè)類別的樣本特征空間分布中共享特征的對(duì)齊，特征提取器F提取風(fēng)格遷移得到的共享特征可表示為Z′,y′可由公式（5）得到：

Z′使得由帶標(biāo)簽的源域上訓(xùn)練得到的分類器G，在目標(biāo)域上跨域分類預(yù)測(cè)時(shí)，在正確類和不確定類之間產(chǎn)生的混淆預(yù)測(cè)降低。

（2）不確定性權(quán)重機(jī)制。樣本對(duì)量化類混淆的重要性是不同的，當(dāng)預(yù)測(cè)概率更接近均勻分布，而沒(méi)有出現(xiàn)明顯的峰值（對(duì)于某些類預(yù)測(cè)概率明顯較大）時(shí)，分類器G沒(méi)有注重這些樣本。相反，當(dāng)預(yù)測(cè)出現(xiàn)多個(gè)峰值時(shí)，證明分類器難以在這幾個(gè)不明確的類之間決策。而這些樣本會(huì)使得分類器G產(chǎn)生誤差預(yù)測(cè)，更能體現(xiàn)類混淆。根據(jù)公式（4）的定義，這些樣本可以在幾個(gè)峰值上以更高的概率值突出，本文使用了文獻(xiàn)[14]提出的基于不確定性的權(quán)重機(jī)制來(lái)更準(zhǔn)確量化類混淆。當(dāng)分類器進(jìn)行預(yù)測(cè)時(shí)，具有較高確定性的樣本，由分類器G做出的預(yù)測(cè)更容易出現(xiàn)類混淆。使用信息論中的熵函數(shù)作為概率分布p的不確定性測(cè)度，可定義分類器預(yù)測(cè)第i-th個(gè)樣本分類概率的熵（不確定性）為。熵是一種不確定性的度量，需要將它轉(zhuǎn)換成一個(gè)概率分布。便可以使分類器G在概率預(yù)測(cè)時(shí)，在具有更大確定性樣本的特征向量上加大它的預(yù)測(cè)概率。使用公式（6）將熵值轉(zhuǎn)換成概率：

其中，Wii是量化第i-th個(gè)樣本在計(jì)算類混淆時(shí)重要性的概率，W是相應(yīng)的對(duì)角矩陣。采用相反的熵值來(lái)反映確定性。拉普拉斯平滑（即在softmax函數(shù)添加常數(shù)1）用于形成更重的權(quán)重分布[22]，這適合于突出更多特定樣本，同時(shí)避免過(guò)度懲罰其他樣本。為了更好地進(jìn)行度量，將每個(gè)批量大小為B的所有樣本的概率重新調(diào)整為B，以使每個(gè)樣本的平均權(quán)重為1。

（3）最小化類混淆。通過(guò)公式（6）加權(quán)機(jī)制方式，類混淆初步定義為。當(dāng)類別標(biāo)簽數(shù)量較多時(shí)，在每批量中會(huì)出現(xiàn)嚴(yán)重的類別失衡。為了解決這個(gè)問(wèn)題，本文采用了隨機(jī)游走中廣泛使用的一種類別標(biāo)準(zhǔn)化技術(shù)[23]，可表示，標(biāo)準(zhǔn)化類混淆是為了解決當(dāng)兩個(gè)類混淆程度很高導(dǎo)致分類錯(cuò)誤的情況。度量了類j和j′之間的混淆，最小化目標(biāo)域上的類混淆，最理想的情況是目標(biāo)域樣本能被分類器準(zhǔn)確地區(qū)分預(yù)測(cè)，即j≠j′。最小化類混淆損失函數(shù)定義為公式（7）：

分類器G預(yù)測(cè)出第i-th個(gè)樣本的概率Yt，對(duì)其加權(quán)W量化樣本在計(jì)算類混淆時(shí)的重要性?；陲L(fēng)格遷移的最小化類混淆的過(guò)程如圖1所示。

1.3 基于風(fēng)格遷移的最小化類混淆領(lǐng)域自適應(yīng)（minimal class obfuscation domain adaptation based on style migration，MCCSM）

通過(guò)對(duì)源域數(shù)據(jù)集每個(gè)類進(jìn)行生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練，得到特征遷移的生成器Q,Q0，將子集A的特征映射到子集B中，并將子集B的特征映射到子集A中，增大源域XS可供匹配的共享特征，增強(qiáng)分類器G的正遷移能力。使用ResNet-50網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練共享特征提取器F和分類器G，結(jié)合在有標(biāo)記數(shù)據(jù)的源域上分類器G的交叉熵?fù)p失和未標(biāo)記目標(biāo)域Xt分類預(yù)測(cè)MCCSM損失，構(gòu)建最終的目標(biāo)函數(shù)為公式（8）：

圖1 基于風(fēng)格遷移的最小化類混淆的過(guò)程Fig.1 Process of minimizing class confusion based on style transfer

其中，LCE是交叉熵?fù)p失，G(F(xs+Q(xs)+Q0(xs)))表示在源域上分類器G對(duì)特征提取器F提取的特征進(jìn)行分類預(yù)測(cè)，ys為對(duì)應(yīng)的標(biāo)簽。而u是MCCSM損失重要性的超參數(shù)。在聯(lián)合損失的情況下，通過(guò)反向傳播端到端訓(xùn)練深度領(lǐng)域自適應(yīng)模型的特征提取器F和分類器G。實(shí)驗(yàn)流程如圖2所示，圖中藍(lán)色虛線部分為源域數(shù)據(jù)集各類通過(guò)生成對(duì)抗網(wǎng)絡(luò)的博弈訓(xùn)練，得到風(fēng)格遷移映射函數(shù)Q和Q0。生成得到的標(biāo)簽樣本與對(duì)應(yīng)訓(xùn)練的樣本構(gòu)成新的源域樣本數(shù)據(jù)集。圖2紅色虛線部分為使用ResNet-50網(wǎng)絡(luò)構(gòu)成的特征提取器F對(duì)源域S和目標(biāo)域T進(jìn)行特征提取過(guò)程。圖2青色虛線部分為源域樣本Xs利用標(biāo)簽完成樣本特征分布Zs的分類，目標(biāo)域樣本Xt的特征分布Zt利用與源域樣本特征分布的相關(guān)性，通過(guò)統(tǒng)一的共享特征完成分類的過(guò)程。圖2的黑色虛線部為在源域樣本上利用標(biāo)簽使用交叉熵作為損失函數(shù)和在目標(biāo)域上利用共享特征預(yù)測(cè)形成的類混淆作為損失函數(shù)，并利用反向傳播訓(xùn)練分類器G的過(guò)程。

圖2 MCCSM算法的結(jié)構(gòu)示意圖Fig.2 Structure of MCCSM algorithm

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集

本文通過(guò)兩個(gè)基準(zhǔn)數(shù)據(jù)集來(lái)評(píng)估模型的性能。第1個(gè)數(shù)據(jù)集是ImageCLEF-DA。所有的圖像都來(lái)自于3個(gè)公共數(shù)據(jù)集：Caltech256（C）、ImageNet ILSVRC 2012（I）和Pascal VOC 2012（P），3個(gè)數(shù)據(jù)集共有12個(gè)共同類別，每個(gè)類別50張圖像。用I→P，P→I，I→C，C→I，C→P，P→C的所有域組合來(lái)測(cè)試本文的遷移學(xué)習(xí)方法。另一個(gè)數(shù)據(jù)集是Office-31[24]，共包含31個(gè)類別的4 110幅圖像。所有的圖片都是從3個(gè)不同的領(lǐng)域收集的：Amazon（A）、DSLR（D）和Webcam（W）。A→B表示A作為源域、B作為目標(biāo)域的領(lǐng)域自適應(yīng)學(xué)習(xí)。

2.2 參數(shù)設(shè)置

本文實(shí)驗(yàn)是在Pytorch框架下完成的，在訓(xùn)練過(guò)程中，使用了ResNet-50作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，使用隨機(jī)梯度下降來(lái)最小化由公式（8）給出的損失函數(shù)。批量大小為49，學(xué)習(xí)率設(shè)置為0.001，動(dòng)量設(shè)置為0.9，權(quán)重衰減為0.000 5，使用SGD（stochastic gradient descent）進(jìn)行梯度更新。

2.3 領(lǐng)域自適應(yīng)實(shí)驗(yàn)計(jì)算過(guò)程

在P→I領(lǐng)域自適應(yīng)實(shí)驗(yàn)中，對(duì)源域數(shù)據(jù)集P的樣本xs使用生成對(duì)抗網(wǎng)絡(luò)對(duì)每個(gè)類進(jìn)行圖像風(fēng)格遷移，由特征提取器F提取擴(kuò)展特征空間后得到的特征為Zs，使用對(duì)其進(jìn)行分類概率預(yù)測(cè)為，使用交叉熵作為源域損失函數(shù)，損失計(jì)算表示為，其中ys為對(duì)應(yīng)的標(biāo)簽。

目標(biāo)域數(shù)據(jù)輸入batch設(shè)置為49。在訓(xùn)練至4 000次時(shí)，假設(shè)對(duì)目標(biāo)域數(shù)據(jù)集I中的12個(gè)類別中的49個(gè)樣本分別為，由特征提取器F提取與源域特征空間擴(kuò)展后匹配的共享特征為Zt，使用函數(shù)對(duì)Zt進(jìn)行分類概率預(yù)測(cè)得到分別為：

矩陣C各個(gè)元素之和表示為。對(duì)角矩陣各個(gè)元素之和表示為，最小化類混淆損失函數(shù)計(jì)算表示為。此時(shí)，本文算法的損失函數(shù)值為L(zhǎng)total=LCE+LMCCSM=0.054 7，目標(biāo)域識(shí)別精度為94.167%。再使用隨機(jī)梯度下降算法SGD最小化Ltotal。

相較于只使用交叉熵LCE作為損失函數(shù)的Resnet50領(lǐng)域自適應(yīng)，其分類精度只有83.9%，因此本文算法有很好的提升。

2.4 實(shí)驗(yàn)結(jié)果及分析

本文所使用的數(shù)據(jù)集Office-31和數(shù)據(jù)集ImageCLEFDA遵循UDA的標(biāo)準(zhǔn)評(píng)估協(xié)議，為了公平，本文使用了已公布論文的實(shí)驗(yàn)結(jié)果。本文比較了近年公布的RADA算法和近些年最先進(jìn)的基于ResNet-50網(wǎng)絡(luò)結(jié)構(gòu)的遷移學(xué)習(xí)方法：深度域混淆（DDC）、深度領(lǐng)域自適應(yīng)網(wǎng)絡(luò)（DAN）、殘差轉(zhuǎn)移網(wǎng)絡(luò)（RTN）[25]、域?qū)股窠?jīng)網(wǎng)絡(luò)（DANN）、對(duì)抗性鑒別領(lǐng)域自適應(yīng)（ADDA）[26]、聯(lián)合適應(yīng)網(wǎng)絡(luò)（JAN）、多個(gè)域?qū)咕W(wǎng)絡(luò)（MADA）、協(xié)同對(duì)抗性網(wǎng)絡(luò)（CAN）、聯(lián)合鑒別領(lǐng)域自適應(yīng)（JDDA）[27]。傳統(tǒng)的機(jī)器學(xué)習(xí)方法有：通過(guò)轉(zhuǎn)移成分分析的領(lǐng)域自適應(yīng)（TCA）[28]、無(wú)監(jiān)督領(lǐng)域自適應(yīng)的最短線流核（GFK）[29]，實(shí)驗(yàn)結(jié)果如表1、表2所示。

表1 在UDA場(chǎng)景下，數(shù)據(jù)集ImageCLEF-DA上的分類準(zhǔn)確度（ResNet-50）Table 1 Classification accuracy on ImageCLEF-DA dataset in UDA scenario（ResNet-50） %

表2 在UDA場(chǎng)景下，數(shù)據(jù)集Office-31上的分類準(zhǔn)確度（ResNet-50）Table 2 Classification accuracy on Office-31 dataset in UDA scenario（ResNet-50） %

采用t-SNE[30]方法對(duì)在數(shù)據(jù)集ImageCLEF-DA上的領(lǐng)域自適應(yīng)實(shí)驗(yàn)C→I和I→C訓(xùn)練過(guò)程中目標(biāo)域的特征空間進(jìn)行降維可視化，如圖3所示。

圖3 對(duì)C→I和I→C使用t-SNE可視化結(jié)果Fig.3 Using t-SNE to visualize results for C→I and I→C

通過(guò)圖3可以直觀地看出，本文提出的算法在領(lǐng)域自適應(yīng)實(shí)驗(yàn)訓(xùn)練過(guò)程中，使得目標(biāo)源中的同類樣本特征能夠很好地聚合，類與類之間樣本特征分布的距離加大。在數(shù)據(jù)集Office-31中對(duì)A→W進(jìn)行領(lǐng)域自適應(yīng)實(shí)驗(yàn)，與MADA，ResNet50在相同迭代次數(shù)下預(yù)測(cè)誤差變化如圖4所示。

圖4 ResNet、MADA和MCCSM隨迭代次數(shù)的測(cè)試誤差變化Fig.4 Test errors of ResNet，MADA and M-CCSM varying with number of iterations

從表1、表2和圖4中可以看出，對(duì)源域使用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行風(fēng)格遷移，提供更多可匹配目標(biāo)域特征分布Zt的共享特征，增強(qiáng)了在目標(biāo)域上利用共享特征進(jìn)行分類訓(xùn)練的分類器G的正遷移學(xué)習(xí)能力。分類器G利用擴(kuò)展后的共享特征在目標(biāo)域進(jìn)行樣本預(yù)測(cè)時(shí)，使用不確定性加權(quán)機(jī)制對(duì)目標(biāo)域中確定性更高的樣本的特征預(yù)測(cè)概率進(jìn)行加權(quán)，同時(shí)最小化類混淆，從而得到更好的遷移學(xué)習(xí)效果。在類間關(guān)系層面上，RADA算法是基于MADA算法，通過(guò)加入正則化項(xiàng)約束，使得分類器與多模型域鑒別器之間的特征一致，使得多模型域鑒別器不僅能對(duì)源域與目標(biāo)域進(jìn)行共享特征對(duì)齊，還具有了能意識(shí)到類間關(guān)系的能力。然而面對(duì)數(shù)據(jù)集中相似的類別，RADA算法依舊不能很好進(jìn)行區(qū)分。本文算法通過(guò)分類器G對(duì)樣本的預(yù)測(cè)概率與它的轉(zhuǎn)置內(nèi)積，量化出相似之間類混淆關(guān)系。在源域的各類樣本之間進(jìn)行風(fēng)格遷移，增加了源域樣本的特征空間中能與目標(biāo)域樣本的特征空間進(jìn)行匹配的共享特征，克服了因源域的樣本特征稀疏問(wèn)題帶來(lái)的跨域?qū)W習(xí)目標(biāo)域能力不足的問(wèn)題，同時(shí)增強(qiáng)了分類器跨域分類能力。并通過(guò)不確定性權(quán)重機(jī)制，當(dāng)分類器對(duì)樣本在幾個(gè)不確定的類別之間進(jìn)行概率預(yù)測(cè)時(shí)，能在幾個(gè)概率峰值上以更高的概率值突出，增大確定性樣本的預(yù)測(cè)概率。最小化目標(biāo)域預(yù)測(cè)時(shí)的類混淆，抑制了分類器跨域?qū)W習(xí)的負(fù)遷移。本文解決了這些問(wèn)題，因此有更好的遷移學(xué)習(xí)效果。由表1和表2可知，相較于RADA算法，本文提出的算法在數(shù)據(jù)集ImageCLEF-DA上平均識(shí)別精度提升了1.3個(gè)百分點(diǎn)，在數(shù)據(jù)集Office-31上提升了1.7個(gè)百分點(diǎn)。

3 結(jié)論

本文從一個(gè)新的角度分析數(shù)據(jù)集中類別間的關(guān)系，通過(guò)分類器對(duì)樣本的預(yù)測(cè)概率內(nèi)積其轉(zhuǎn)置量化出不同類之間的混淆關(guān)系。相較于RADA等算法，本文算法引用了生成對(duì)抗網(wǎng)絡(luò)的風(fēng)格遷移理論，在帶標(biāo)簽的源域特征空間上生成更多與目標(biāo)域特征空間有相關(guān)性的共享特征，彌補(bǔ)了源域樣本特征空間稀疏導(dǎo)致的分類器在目標(biāo)域進(jìn)行跨域分類學(xué)習(xí)的能力不足。并通過(guò)不確定性加權(quán)機(jī)制，加重了分類器對(duì)具有確定性樣本特征預(yù)測(cè)概率的權(quán)重，最小化正確類和不確定類之間的預(yù)測(cè)混淆，因此具有良好的遷移學(xué)習(xí)能力，能更好地勝任領(lǐng)域自適應(yīng)任務(wù)。實(shí)驗(yàn)選用了標(biāo)準(zhǔn)的公用領(lǐng)域自適應(yīng)數(shù)據(jù)集對(duì)本文算法進(jìn)行測(cè)試和評(píng)估，通過(guò)與其他算法的對(duì)比，展示了算法的可行性和高效性。