關(guān)新宇,孫 涵

(南京航空航天大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院/人工智能學(xué)院,江蘇 南京 211106)

0 引 言

近年來(lái),隨著深度學(xué)習(xí)的快速發(fā)展,計(jì)算機(jī)視覺(jué)領(lǐng)域中的域自適應(yīng)問(wèn)題在目標(biāo)檢測(cè)[1]、圖像分類(lèi)[2]、語(yǔ)義分割[3]等實(shí)際應(yīng)用中取得了巨大成就。域自適應(yīng)是在有標(biāo)注的源域數(shù)據(jù)集的幫助下,將訓(xùn)練好的模型遷移到新的領(lǐng)域,從而在未標(biāo)注的目標(biāo)域上達(dá)到不錯(cuò)的效果。然而,原始數(shù)據(jù)在很多情況下并不總是可訪問(wèn)的。一方面,數(shù)據(jù)往往包含了用戶(hù)的個(gè)人信息,共享這些數(shù)據(jù)將危及用戶(hù)的個(gè)人隱私,特別是在社交媒體和醫(yī)學(xué)領(lǐng)域。另一方面,共享傳輸源域數(shù)據(jù)是非常昂貴的,如視頻數(shù)據(jù)或高分辨率圖像。因此,在不能訪問(wèn)源域數(shù)據(jù)的情況下,只利用一個(gè)已經(jīng)訓(xùn)練好的源模型和沒(méi)有標(biāo)注的目標(biāo)域數(shù)據(jù)進(jìn)行無(wú)源域數(shù)據(jù)的域自適應(yīng)是非常必要的。

針對(duì)無(wú)源域數(shù)據(jù)的域自適應(yīng)問(wèn)題,Liang等人[4]提出凍結(jié)源分類(lèi)器,并通過(guò)最大化互信息和偽標(biāo)記來(lái)聚類(lèi)目標(biāo)特征,以獲得額外的監(jiān)督。Yang等人[5-6]提出了鄰域聚類(lèi),通過(guò)挖掘隱藏的鄰居特征等結(jié)構(gòu)信息得到偽標(biāo)簽,從而加強(qiáng)了局部鄰域之間的預(yù)測(cè)一致性。但由于源域和目標(biāo)域之間存在域差距,生成的偽標(biāo)簽會(huì)帶有噪聲,使用這些錯(cuò)誤的偽標(biāo)簽進(jìn)行訓(xùn)練會(huì)導(dǎo)致最終模型分類(lèi)不正確。為避免這個(gè)問(wèn)題,Li等人[7]提出利用條件對(duì)抗生成網(wǎng)絡(luò)直接生成帶有目標(biāo)風(fēng)格的訓(xùn)練樣本。CPGA[8]提出在對(duì)比學(xué)習(xí)框架中將樣本與類(lèi)別原型對(duì)齊。它們把源模型作為輔助監(jiān)督,以此控制生成數(shù)據(jù)的標(biāo)簽。但對(duì)抗生成網(wǎng)絡(luò)的訓(xùn)練不太穩(wěn)定,可能會(huì)出現(xiàn)模式崩潰的問(wèn)題,從而導(dǎo)致低質(zhì)量的圖像或特征,對(duì)域自適應(yīng)產(chǎn)生負(fù)面影響。

受文獻(xiàn)[9]啟發(fā),該文從源知識(shí)遷移的角度出發(fā),通過(guò)量化源知識(shí)在不同特征通道的可遷移性的不確定性來(lái)充分利用有效的源知識(shí),減少噪聲偽標(biāo)簽的生成。并同時(shí)考慮了目標(biāo)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)信息,通過(guò)高斯概率模型對(duì)目標(biāo)數(shù)據(jù)進(jìn)行聚類(lèi),將源知識(shí)和目標(biāo)數(shù)據(jù)聯(lián)合起來(lái)計(jì)算偽標(biāo)簽的置信度,進(jìn)一步降低噪聲偽標(biāo)簽的影響。最后對(duì)目標(biāo)樣本進(jìn)行插值訓(xùn)練,根據(jù)置信度得分對(duì)樣本進(jìn)行加權(quán),提升目標(biāo)模型的魯棒性。

該文的貢獻(xiàn)如下:

(1)提出了一種基于不確定性指導(dǎo)加權(quán)混合訓(xùn)練的無(wú)源域數(shù)據(jù)的域自適應(yīng)算法(Uncertainty-guided Weighted Hybrid Traing,UWHT),從可遷移源知識(shí)的不確定性和目標(biāo)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)2個(gè)方面生成高置信度的偽標(biāo)簽,并對(duì)目標(biāo)樣本進(jìn)行加權(quán)混合訓(xùn)練,提高目標(biāo)模型的泛化能力。

(2)提出在通道級(jí)計(jì)算目標(biāo)特征和源模型的不確定性距離,以保留有效的源知識(shí)。并在偽標(biāo)簽生成過(guò)程中,聯(lián)合考慮源模型和目標(biāo)數(shù)據(jù)的內(nèi)部結(jié)構(gòu),減少錯(cuò)誤偽標(biāo)簽。并對(duì)目標(biāo)樣本進(jìn)行加權(quán)混合訓(xùn)練,充分挖掘目標(biāo)知識(shí),提高目標(biāo)模型的魯棒性。

(3)通過(guò)在3個(gè)域自適應(yīng)基準(zhǔn)數(shù)據(jù)集上與其他方法進(jìn)行對(duì)比分析,證明了該方法的有效性。

1 相關(guān)工作

1.1 無(wú)源域數(shù)據(jù)的域自適應(yīng)

無(wú)源域數(shù)據(jù)的域自適應(yīng)方法是指在有標(biāo)注的源域數(shù)據(jù)缺失的情況下,僅通過(guò)在源域上訓(xùn)練好的源模型以及未被標(biāo)注的目標(biāo)域數(shù)據(jù)來(lái)實(shí)現(xiàn)域自適應(yīng)。源域數(shù)據(jù)的缺失使得跨域的特征級(jí)分布對(duì)齊具有挑戰(zhàn)性。近年來(lái),開(kāi)創(chuàng)性的工作[4,7]發(fā)現(xiàn),訓(xùn)練有素的源模型為接下來(lái)的目標(biāo)適應(yīng)階段隱藏了足夠的源知識(shí),通過(guò)把這些源知識(shí)遷移到目標(biāo)域上可以達(dá)到良好的效果?，F(xiàn)有的無(wú)源域數(shù)據(jù)的域自適應(yīng)方法大致可分為基于自監(jiān)督訓(xùn)練的方法和基于生成的方法。

前者主要是利用目標(biāo)樣本來(lái)改進(jìn)模型。SHOT[4]提出凍結(jié)源分類(lèi)器,利用自監(jiān)督偽標(biāo)記訓(xùn)練和信息最大化隱式地對(duì)齊目標(biāo)域數(shù)據(jù)和源域數(shù)據(jù)。Tang等人[10]提出基于幾何約束的語(yǔ)義一致性最近鄰方法,通過(guò)鼓勵(lì)局部幾何結(jié)構(gòu)上的最近鄰正確地移動(dòng)進(jìn)行聚類(lèi),獲得更為精準(zhǔn)的偽標(biāo)簽。Huang等人[11]則提出從整個(gè)模型的角度來(lái)進(jìn)行無(wú)源域數(shù)據(jù)的域自適應(yīng),設(shè)計(jì)了一種新穎的歷史對(duì)比學(xué)習(xí)技術(shù),利用歷史源模型來(lái)彌補(bǔ)源域數(shù)據(jù)的缺失為目標(biāo)數(shù)據(jù)生成偽標(biāo)簽。而基于生成的方法則是生成虛擬源域數(shù)據(jù)以進(jìn)行知識(shí)遷移?？紤]到源域中可能會(huì)存在類(lèi)別不平衡或某一類(lèi)數(shù)據(jù)不充足時(shí)源分類(lèi)器的泛化能力較低,Xia等人[12]從模型優(yōu)化的角度探索一種新的目標(biāo)分類(lèi)器實(shí)現(xiàn)無(wú)源域數(shù)據(jù)的域自適應(yīng)。這些方法主要針對(duì)偽標(biāo)簽的精確度的提升,而源模型中的知識(shí)未被充分挖掘。因此,文中方法從源模型知識(shí)的不確定性的角度出發(fā),實(shí)現(xiàn)無(wú)源域數(shù)據(jù)的域自適應(yīng)。

1.2 不確定性

不確定性是衡量一個(gè)深度模型是否穩(wěn)健的一條重要準(zhǔn)則[13]。給定一個(gè)有標(biāo)注的樣本(x,y)和一個(gè)在域(D)上訓(xùn)練參數(shù)為θ的模型,其不確定性可以分解為:

P(y|x,D)=

(1)

其中,μ=θ(x)為預(yù)測(cè)的標(biāo)簽分布,3個(gè)概率密度函數(shù)分別代表了數(shù)據(jù)的不確定性、模型的不確定性和分布的不確定性[14-15]。由于數(shù)據(jù)的自然復(fù)雜性,它的不確定性幾乎是不能簡(jiǎn)化的。模型的不確定性則是衡量了模型與訓(xùn)練分布的擬合程度。分布不確定性度量了從模型“不熟悉”的區(qū)域采樣的輸入樣例的概率。

2 文中方法

2.1 問(wèn)題定義

2.2 總體框架

在訓(xùn)練階段,目標(biāo)模型(ft)同源模型(fs)結(jié)構(gòu)一樣,由特征提取器(gt)和分類(lèi)器(ht)組成。其中,gt是由gs初始化而來(lái),ht=hs。網(wǎng)絡(luò)框架包含3個(gè)模塊,分別是:可遷移源知識(shí)的不確定性度量模塊(TUM)、模型和目標(biāo)數(shù)據(jù)結(jié)構(gòu)置信度聯(lián)合模塊(MaD)和權(quán)重混合訓(xùn)練模塊(WHT),具體流程如圖1所示。

圖1 UWHT框架

首先,將目標(biāo)樣本分別送入到gs和gt中,利用不確定性距離估計(jì)每個(gè)特征通道的源知識(shí)的可遷移性,通過(guò)Lkd將可遷移的源知識(shí)蒸餾到目標(biāo)特征提取器中。基于此,可以充分利用有效的源知識(shí),并丟棄無(wú)用的源知識(shí)。然后,為了同時(shí)利用源知識(shí)和目標(biāo)數(shù)據(jù)的內(nèi)部結(jié)構(gòu)對(duì)目標(biāo)樣本安排偽標(biāo)簽,MaD將提取的目標(biāo)特征分別輸入到源分類(lèi)器,及利用高斯混合建模目標(biāo)特征的分布,根據(jù)兩者得到的置信度得分對(duì)樣本進(jìn)行加權(quán),為目標(biāo)樣本分配魯棒的偽標(biāo)簽,但對(duì)于低置信度的目標(biāo)樣本并未參與訓(xùn)練。為了充分利用這些目標(biāo)樣本的特征分布知識(shí),額外進(jìn)行了權(quán)重混合訓(xùn)練,以此增強(qiáng)訓(xùn)練的目標(biāo)模型的有效性和魯棒性。

2.3 可遷移源知識(shí)的不確定性度量模塊

為了充分利用源模型中的源知識(shí),該文提出通過(guò)不確定性在通道級(jí)來(lái)衡量源知識(shí)的可遷移性。

2.3.1 不確定性度量

不確定性度量的是目標(biāo)樣本(xt)和源域(DS)之間的隱式距離。該距離越小,即xt越接近參數(shù)為θS的源域(DS),表明θS對(duì)于減少源域和目標(biāo)域之間的差異是有效的。θS能擬合的區(qū)域和源域(DS)訓(xùn)練分布的重合度即反映了模型的不確定性,而分布的不確定性則是指目標(biāo)樣本(xt)與θS能擬合的區(qū)域的距離。目標(biāo)樣本(xt)和源域(DS)之間的隱式距離由這兩個(gè)不確定性聯(lián)合表示。

(2)

其中,第1項(xiàng)是分布不確定性,第2項(xiàng)為模型不確定性。MD(·)代表不確定性度量函數(shù)。如蒙特卡羅Dropout[16]、深度集成[17]等。由于源域(DS)可以很好地由θS表示,故可將模型不確定性忽略不計(jì),如圖2所示。

圖2 目標(biāo)樣本與源域的不確定性度量

則目標(biāo)樣本與源域之間的不確定性可近似為xt與源參數(shù)(θS)的分布不確定性:

UD(xt,θS)=MD(P(θS(xt)|xt,θS))

(3)

2.3.2 通道級(jí)可遷移知識(shí)的不確定性

因?yàn)樵从蚝湍繕?biāo)域之間存在域差距,并不是所有的源知識(shí)對(duì)于目標(biāo)域都有用。因此,該文提出以細(xì)粒度的方式度量源知識(shí)的可遷移性,以確定學(xué)習(xí)到的源參數(shù)(θS)中哪部分是可以遷移到目標(biāo)域的。具體如圖3所示,gs可以提取源域特征,不同特征通道級(jí)的可遷移性就代表該通道特征的部分源知識(shí)的可遷移性。所有特征通道整合起來(lái)組成了源參數(shù)(θS)。

圖3 通道級(jí)不確定性度量

因此,可以度量源知識(shí)的可遷移性為:

(4)

(5)

其中,gs;times表示對(duì)特征提取器(gs)進(jìn)行times次隨機(jī)擾動(dòng)。針對(duì)通道級(jí)源知識(shí)的可遷移性,通過(guò)對(duì)gs的所有d維特征通道上的UTS(xt,gs)進(jìn)行積分來(lái)計(jì)算。

(6)

當(dāng)UM的值越小,通道源知識(shí)的可遷移性就越強(qiáng),對(duì)目標(biāo)模型也就越有效。然后,目標(biāo)模型根據(jù)所得到的有效可遷移性源知識(shí)進(jìn)行學(xué)習(xí),目標(biāo)函數(shù)通過(guò)一種可轉(zhuǎn)移性控制的知識(shí)蒸餾損失進(jìn)行計(jì)算。

Lkd=Ext～XT[‖σ(UM(gs))⊙[gs(xt)-

gt(xt)]‖2]

(7)

其中,σ(a)=sigmoid(-a),⊙表示Hadamard積。σ(UM(gs))用于對(duì)均方誤差項(xiàng)(‖gs(xt)-gt(xt)‖2)進(jìn)行加權(quán),以提取gs到gt的可遷移知識(shí),旨在對(duì)UM較低的特征分配大的權(quán)值,反之分配小的權(quán)值。引導(dǎo)目標(biāo)模型學(xué)習(xí)更多有效的可遷移源知識(shí)。

2.4 聯(lián)合置信度得分模塊

現(xiàn)有無(wú)源域數(shù)據(jù)的域自適應(yīng)方法大多是基于偽標(biāo)簽進(jìn)行聚類(lèi),但有噪聲的偽標(biāo)簽會(huì)使目標(biāo)模型性能下降。因此,為了保證目標(biāo)模型的穩(wěn)健性,應(yīng)該抑制偽標(biāo)簽中置信度較低的目標(biāo)樣本[19]。除此之外,考慮到目標(biāo)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)信息,該文提出將基于模型的置信度得分與基于目標(biāo)數(shù)據(jù)內(nèi)部結(jié)構(gòu)的置信度得分結(jié)合起來(lái),以提升偽標(biāo)簽的置信度,提升目標(biāo)模型的性能。

(8)

其中,p(0≤p≤1)代表了偽標(biāo)簽被分類(lèi)正確的概率。

2.4.1 基于內(nèi)在結(jié)構(gòu)的置信度得分

從目標(biāo)數(shù)據(jù)中獲得的目標(biāo)特征分布具有目標(biāo)域的特定知識(shí),因此提出結(jié)合目標(biāo)域的內(nèi)在結(jié)構(gòu)對(duì)目標(biāo)特征進(jìn)行聚類(lèi),以獲得每個(gè)樣本的偽標(biāo)簽。對(duì)于聚類(lèi)方法的選擇,結(jié)合目標(biāo)數(shù)據(jù)的內(nèi)在結(jié)構(gòu),該文使用高斯混合模型(GMM)對(duì)目標(biāo)特征進(jìn)行聚類(lèi),以提取目標(biāo)數(shù)據(jù)結(jié)構(gòu)的知識(shí),且能夠獲得每個(gè)樣本的對(duì)數(shù)似然性和偽標(biāo)簽。然后度量與目標(biāo)樣本距離第一近的類(lèi)和距離第二近的類(lèi)之間的距離,并將其最小化。

(9)

(10)

其中,i,j∈{1,2,…,nt}。scdis的值越大,即置信度得分越高,說(shuō)明該目標(biāo)樣本距離決策邊界越遠(yuǎn)。反之,該目標(biāo)樣本分布在決策邊界附近或邊界線上。

2.4.2 基于模型的置信度得分

上述僅考慮了目標(biāo)域的知識(shí),但由于其缺失真實(shí)標(biāo)簽,僅通過(guò)它訓(xùn)練目標(biāo)模型是不夠的。該文進(jìn)而提出將目標(biāo)數(shù)據(jù)通過(guò)由源模型初始化的目標(biāo)模型的概率得分也納入置信度得分當(dāng)中?；谀Ｐ偷闹眯哦鹊梅旨礊槟Ｐ皖A(yù)測(cè)的偽標(biāo)簽的概率。

(11)

雖然源域和目標(biāo)域存在一定的域差距,但是兩者之間具有一定的相似性。因此,對(duì)于那些域不變特征,scm的值越大,而對(duì)于目標(biāo)域特有特征,scm的值就越小。

2.4.3 聯(lián)合置信度得分

將基于目標(biāo)數(shù)據(jù)內(nèi)在結(jié)構(gòu)的置信度得分和基于模型的置信度得分結(jié)合起來(lái),就可以得到一個(gè)更具有置信度的偽標(biāo)簽,聯(lián)合置信度得分計(jì)算為:

(12)

它不僅包含了目標(biāo)域的結(jié)構(gòu)知識(shí),同時(shí)結(jié)合了源域中的域不變知識(shí)。使用該置信度得分對(duì)目標(biāo)樣本進(jìn)行加權(quán)以訓(xùn)練目標(biāo)模型,其損失函數(shù)為:

(13)

2.5 權(quán)重混合訓(xùn)練模塊

通過(guò)上述2個(gè)模塊對(duì)目標(biāo)數(shù)據(jù)進(jìn)行訓(xùn)練,可糾正錯(cuò)誤的偽標(biāo)簽,提升分類(lèi)的精確性。但置信度得分接近于0的目標(biāo)樣本并沒(méi)有參與到訓(xùn)練過(guò)程,這使得它們的特征分布所提供的目標(biāo)知識(shí)沒(méi)有得到利用。

針對(duì)該問(wèn)題,該文基于Mixup[21]提出一種權(quán)重混合訓(xùn)練模塊,對(duì)于使用低置信度樣本進(jìn)行混合后的圖像,在訓(xùn)練時(shí)應(yīng)該具有較低的權(quán)重,以保證目標(biāo)模型的魯棒性。具體來(lái)說(shuō),將目標(biāo)樣本和其對(duì)應(yīng)的偽標(biāo)簽進(jìn)行混合得到新的混合樣本,同時(shí)將其置信度得分也以相同的混合系數(shù)進(jìn)行計(jì)算,即為混合樣本對(duì)應(yīng)的置信度。

(14)

(15)

顯然,高置信度的樣本之間混合生成的樣本也具有高置信度,低置信度的樣本之間混合生成的樣本的置信度則較低,其權(quán)重也會(huì)較小。而一個(gè)高置信度樣本和一個(gè)低置信度樣本的混合則會(huì)生成一個(gè)中等置信度的樣本,能幫助目標(biāo)模型進(jìn)行有效地訓(xùn)練,同時(shí)目標(biāo)知識(shí)得到充分利用。

2.6 總損失

綜上所述,文中方法的總損失包括TUM、MaD和WHT。

Ltotal=λLkd+LMaD+LWHT

(16)

其中,λ是控制可遷移性源知識(shí)度量的權(quán)衡系數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與評(píng)估指標(biāo)

文中方法分別在3個(gè)通用的域自適應(yīng)基準(zhǔn)數(shù)據(jù)集(Office-31[22]、Office-Home[23]、VisDA-C[24])上進(jìn)行實(shí)驗(yàn)以驗(yàn)證其性能,對(duì)于Office-31和Office-Home,計(jì)算每個(gè)適應(yīng)任務(wù)的結(jié)果以及在所有任務(wù)上分類(lèi)的平均精確度(Avg.),而對(duì)于VisDA-C,則是計(jì)算每個(gè)類(lèi)別的分類(lèi)精確度(Per-class)來(lái)評(píng)估最終目標(biāo)模型的性能。

3.2 實(shí)驗(yàn)細(xì)節(jié)

為了與對(duì)比方法進(jìn)行公平比較,文中方法采用的主干網(wǎng)絡(luò)架構(gòu)與對(duì)比算法的架構(gòu)保持一致,即針對(duì)Office-31和Office-Home,采用ResNet50作為主干網(wǎng)絡(luò),對(duì)于更復(fù)雜的VisDA-C,則采用ResNet101作為主干網(wǎng)絡(luò)。源模型采用同SHOT一樣的策略進(jìn)行訓(xùn)練。在訓(xùn)練過(guò)程中,使用動(dòng)量為0.9的SGD優(yōu)化器進(jìn)行50個(gè)階段的迭代訓(xùn)練。在所有數(shù)據(jù)集上的批次大小設(shè)為32,對(duì)于Office-31和Office-Home的學(xué)習(xí)率置為0.01,對(duì)于VisDA-C的學(xué)習(xí)率設(shè)為0.001?？蛇w移性源知識(shí)度量的損失權(quán)重λ在初始時(shí)設(shè)為10,因?yàn)閯傞_(kāi)始需要遷移的源知識(shí)較多,隨著迭代訓(xùn)練,目標(biāo)模型漸漸學(xué)習(xí)足夠多的源知識(shí),因此,在迭代10個(gè)階段后,將λ置為0。

3.3 實(shí)驗(yàn)結(jié)果對(duì)比

表1～表3分別顯示了在Office-31、Office-Home和VisDA-C 3個(gè)數(shù)據(jù)集上的結(jié)果。

其中,SF表示無(wú)源域數(shù)據(jù)。且在無(wú)源域數(shù)據(jù)的域自適應(yīng)方法中,最佳結(jié)果以粗體字體顯示,次優(yōu)結(jié)果以下劃線顯示。

表1 與其他對(duì)比算法基于ResNet50在Office-31上的結(jié)果

在表1中,文中方法在Office-31上獲得了最先進(jìn)的性能,由SHOT的88.6%提升到了90.5%,且超出了第二佳的3C-GAN性能0.9百分點(diǎn)。這是因?yàn)镺ffice-31的域遷移任務(wù)較容易,文中方法對(duì)源模型中的可轉(zhuǎn)移性源知識(shí)進(jìn)行了度量,抑制了源特有知識(shí)的影響,并將有效的源知識(shí)集成到目標(biāo)模型中,以對(duì)目標(biāo)數(shù)據(jù)實(shí)現(xiàn)更好的適應(yīng)。同時(shí),使用聯(lián)合置信度得分可以綜合考慮源知識(shí)和目標(biāo)知識(shí),為適應(yīng)性能帶來(lái)極大提升。

如表2所示,文中方法在Office-Home上達(dá)到了極佳的分類(lèi)性能,特別是針對(duì)兩個(gè)困難的域遷移任務(wù)(Ar→Cl)和Re→Cl),分別比第二佳的方法高出1.2和2.4百分點(diǎn)。由此可得,對(duì)可遷移性源知識(shí)的度量發(fā)揮了很大的作用。且由于綜合考慮了源知識(shí)和目標(biāo)知識(shí),及對(duì)目標(biāo)數(shù)據(jù)結(jié)構(gòu)進(jìn)行挖掘,文中方法取得了非常好的性能,且超過(guò)了表中可以接觸源域數(shù)據(jù)的域自適應(yīng)方法的性能。

為進(jìn)一步證明文中方法的有效性,在具有挑戰(zhàn)性的VisDA-C上也進(jìn)行了評(píng)估實(shí)驗(yàn),對(duì)比結(jié)果如表3所示。直接使用ResNet101進(jìn)行無(wú)源域數(shù)據(jù)的域遷移時(shí),平均分類(lèi)精度僅有48.0%,且在個(gè)別類(lèi)上出現(xiàn)了嚴(yán)重的負(fù)遷移問(wèn)題。文中方法明顯改善了嚴(yán)重負(fù)遷移的問(wèn)題,且優(yōu)于SHOT方法3百分點(diǎn)。特別是對(duì)于具有挑戰(zhàn)性的sktbrd類(lèi)和person類(lèi),文中方法分別達(dá)到了94.7%和86.4%的分類(lèi)效果,比SHOT高出5.6和6.1百分點(diǎn)。可以發(fā)現(xiàn),它有效地將可以利用的源知識(shí)遷移到目標(biāo)模型中,并抑制了源特有知識(shí)的影響。且文中方法綜合考慮了源知識(shí)和目標(biāo)知識(shí),并對(duì)高置信度樣本進(jìn)行加權(quán),整體取得了最佳的性能,證明了文中方法的有效性。

表3 與其他對(duì)比算法基于ResNet101在VisDA-C上的結(jié)果

3.4 實(shí)驗(yàn)分析

3.4.1 不同模塊消融實(shí)驗(yàn)

表4展示了文中方法在Office-Home上不同模塊的消融實(shí)驗(yàn),驗(yàn)證各模塊的有效性。

表4 在Office-Home上不同模塊設(shè)置的 平均分類(lèi)精確度(Avg.)

從表中可以看出,僅使用源模型進(jìn)行域自適應(yīng)時(shí),平均分類(lèi)精度僅有59.6%。當(dāng)增加可遷移源知識(shí)的不確定性度量模塊(TUM)后,使得模型分類(lèi)精度提升到71.9%。新增聯(lián)合置信度得分模塊(MaD)將源知識(shí)和目標(biāo)知識(shí)聯(lián)合起來(lái)分配更精確的偽標(biāo)簽,使得模型的分類(lèi)精度達(dá)到72.5%。最后,為充分利用目標(biāo)結(jié)構(gòu)信息,額外對(duì)目標(biāo)數(shù)據(jù)進(jìn)行權(quán)重混合訓(xùn)練(WHT),使得最后的目標(biāo)模型分類(lèi)性能達(dá)到最佳為72.8%,證明了每個(gè)模塊的有效性。

3.4.2 可視化分析

為更加直觀地展示文中方法在無(wú)源域數(shù)據(jù)的域適應(yīng)的效果,采用可視化方法(t-SNE)對(duì)目標(biāo)數(shù)據(jù)在嵌入空間中的特征進(jìn)行可視化。如圖4所示,展示了在Office-31數(shù)據(jù)集上A→W的域遷移任務(wù)的特征可視化結(jié)果,并對(duì)Source-only、SHOT和UWHT 3種方法進(jìn)行了比較。其中,上邊的(a)、(b)和(c)3張圖片按照域整體進(jìn)行比較,下邊的(d)、(e)和(f)3張圖片則是代表目標(biāo)域數(shù)據(jù)在適應(yīng)前后的類(lèi)別變化。

圖4 Source-only、SHOT和UWHT的t-SNE可視化特征表示圖

可以看到,域適應(yīng)之后目標(biāo)特征呈現(xiàn)出明顯的簇狀,且和同類(lèi)的源域特征距離較近,實(shí)現(xiàn)很好的域?qū)R。這一結(jié)果證明了文中方法針對(duì)無(wú)源域數(shù)據(jù)的域自適應(yīng)問(wèn)題的有效性和優(yōu)越性。

4 結(jié)束語(yǔ)

該文提出了基于不確定性加權(quán)混合訓(xùn)練的無(wú)源域數(shù)據(jù)的域自適應(yīng)方法。該方法從源知識(shí)利用的角度出發(fā),解決了源知識(shí)利用不充分以及訓(xùn)練過(guò)程中偽標(biāo)簽具有噪聲的問(wèn)題。同時(shí),所提出的權(quán)重混和訓(xùn)練充分挖掘了目標(biāo)數(shù)據(jù)內(nèi)在結(jié)構(gòu)知識(shí),并對(duì)具有高置信度得分和中等置信度得分的混合樣本增加權(quán)重,增強(qiáng)了目標(biāo)模型的有效性和魯棒性。廣泛的實(shí)驗(yàn)證明了文中方法在多個(gè)域自適應(yīng)基準(zhǔn)數(shù)據(jù)集上都取得了很好的性能,一些甚至比起有源域數(shù)據(jù)的域自適應(yīng)方法的性能更好,證明了該方法的有效性。