馬娜，溫廷新，賈旭

1.遼寧工程技術(shù)大學(xué) 工商管理學(xué)院，遼寧 葫蘆島125105

2.遼寧工業(yè)大學(xué) 電子與信息工程學(xué)院，遼寧 錦州121001

在許多計(jì)算機(jī)視覺(jué)任務(wù)中，模型訓(xùn)練通常需要大量的標(biāo)注樣本，而標(biāo)注大規(guī)模樣本的工作是十分耗費(fèi)時(shí)間和人力的，因此，如何利用有限的標(biāo)注樣本即可獲得較好的識(shí)別結(jié)果已成為研究熱點(diǎn)。遷移學(xué)習(xí)可以通過(guò)降低不同域中同一類別樣本之間的差異，將知識(shí)很好地從源域中應(yīng)用到目標(biāo)域中?？梢哉f(shuō)，提出一種有效的域適應(yīng)方法，使得描述某一類目標(biāo)的特征能夠在不同域中同時(shí)適用，將具有重要的理論研究與實(shí)際應(yīng)用價(jià)值。

目前，深度學(xué)習(xí)已經(jīng)被驗(yàn)證在目標(biāo)識(shí)別問(wèn)題中可以取得良好的效果，因而深度域適應(yīng)方法在遷移學(xué)習(xí)中逐漸被更多人采用。已有的深度域適應(yīng)方法大致分為三類：（1）基于域間分布差異的域適應(yīng)方法，該類方法思想是通過(guò)減小域之間分布差異，來(lái)提高特征在不同域之間的通用性[1]。其中，具有代表性的衡量分布差異的測(cè)量準(zhǔn)則有最大均值差異（maximum mean discrepancy，MMD）[2-3]，即通過(guò)降低映射后特征均值的差異，實(shí)現(xiàn)特征的共享。而后，基于MMD 思想衍生出了多種改進(jìn)測(cè)度函數(shù)，如多核最大均值差異（multiple kernel variant of MMD，MK-MMD）[4]、聯(lián)合最大均值差異（joint MMD，JMMD）[5]、加權(quán)最大均值差異（weighted MMD，WMMD）[6]、Wasserstein 距離[7]、正交距離（orthogonal discrepancy）[8]、關(guān)聯(lián)對(duì)齊距離（correlation alignment discrepancy）[9-11]、中心矩距離[12-13]等。這些方法或者引入了特征核映射思想，或者選擇深度網(wǎng)絡(luò)的不同層特征，對(duì)特征相似性進(jìn)行約束，進(jìn)一步提升了特征的普適性。而后，針對(duì)源域與目標(biāo)域樣本分布結(jié)構(gòu)特征，基于網(wǎng)絡(luò)結(jié)構(gòu)相關(guān)性[14-16]、流形距離[17]、圖相似性[18-19]、集群距離[20]、Fisher 距離[21]、矩距離[22]等測(cè)度函數(shù)陸續(xù)被提出，同樣在不同程度上取得了一定的效果。（2）基于對(duì)抗的域適應(yīng)方法，該類方法的思想是通過(guò)欺騙域鑒別器學(xué)習(xí)獲得域間通用的特征[23]。其中，領(lǐng)域?qū)股窠?jīng)網(wǎng)絡(luò)（domain adversarial neural network，DANN）[24]通過(guò)域鑒別器混淆源域與目標(biāo)域特征，獲得域間通用的特征。而后，多對(duì)抗神經(jīng)網(wǎng)絡(luò)（multi-adversarial domain adaptation，MADA）[25]被提出，它采用多個(gè)域鑒別器結(jié)構(gòu)，目的是進(jìn)一步提高域間不同類別對(duì)齊的準(zhǔn)確性；而對(duì)抗判別適應(yīng)網(wǎng)絡(luò)（adversarial discriminative domain adaptation，ADDA）與生成適應(yīng)網(wǎng)絡(luò)（generate to adapt，GTA）[26-27]通過(guò)引入生成器，對(duì)生成器產(chǎn)生的數(shù)據(jù)同樣進(jìn)行域分類約束；條件領(lǐng)域?qū)咕W(wǎng)絡(luò)（conditional domain adversarial networks，CDAN）[28]的創(chuàng)新之處在于在訓(xùn)練過(guò)程中能夠依據(jù)樣本重要程度差異對(duì)每一樣本賦予不同的權(quán)重。此外，提出的帶有注意力機(jī)制的對(duì)抗網(wǎng)絡(luò)[29]、主動(dòng)對(duì)抗網(wǎng)絡(luò)[30]等模型也在不同程度取得了一定的效果。（3）基于重構(gòu)的域適應(yīng)方法，該類方法通過(guò)編碼與解碼來(lái)抑制信息的損失。包括傳統(tǒng)的自編碼器訓(xùn)練[31]、深度自編碼[32-33]、基于對(duì)抗的編碼[34-36]等。

以上方法取得效果的同時(shí)，仍存在一些關(guān)鍵問(wèn)題需要解決，例如，大多域適應(yīng)方法僅僅對(duì)源域與目標(biāo)域的總體特征分布進(jìn)行了相似性約束，事實(shí)上將源域與目標(biāo)域中每一類目標(biāo)特征分別對(duì)齊對(duì)于域適應(yīng)來(lái)說(shuō)更為重要，而對(duì)齊源域與目標(biāo)域中的不同類別是沒(méi)有意義的，反而有可能導(dǎo)致負(fù)遷移；此外，即使一些方法采用了多對(duì)抗網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)源域與目標(biāo)域每一類目標(biāo)的分別對(duì)齊，但對(duì)于無(wú)標(biāo)簽的樣本，如何在訓(xùn)練過(guò)程中對(duì)其指定合適的域鑒別器，即如何融合不同域鑒別器的損失并未給出較為合理的解釋，從而使類別對(duì)齊的準(zhǔn)確性難以保證；最后，除考慮識(shí)別準(zhǔn)確率以外，還應(yīng)盡可能增大相似類別特征之間的差異，目的是當(dāng)面對(duì)更大規(guī)模的樣本時(shí)，這些相似類特征之間仍然能夠具有足夠大的差異。

針對(duì)以上問(wèn)題，這里提出了一種帶有類間差異約束的域適應(yīng)模型。該模型采用了基于有監(jiān)督學(xué)習(xí)的目標(biāo)分類與基于對(duì)抗的域鑒別相結(jié)合的模型結(jié)構(gòu)，其創(chuàng)新之處主要體現(xiàn)在以下兩方面：（1）訓(xùn)練過(guò)程中，對(duì)提取的特征加以類間差異性約束，從而獲得具有足夠可區(qū)分性的目標(biāo)特征。（2）提出了一種目標(biāo)域樣本偽標(biāo)簽向量計(jì)算方法，并依據(jù)偽標(biāo)簽向量中的元素對(duì)相應(yīng)域鑒別器的損失進(jìn)行加權(quán)處理。

1 提出模型

1.1 參數(shù)定義

1.2 模型設(shè)計(jì)分析

提出算法的目標(biāo)在于實(shí)現(xiàn)源域與目標(biāo)域所有類別樣本能夠被準(zhǔn)確識(shí)別，即獲得對(duì)源域與目標(biāo)域都有效的特征提取器f=Gf(x)與特征分類器y=Gy(f)。而實(shí)現(xiàn)這個(gè)目標(biāo)的主要思路如下：首先，需要對(duì)源域中的樣本進(jìn)行有監(jiān)督學(xué)習(xí)，保證源域中樣本能夠被準(zhǔn)確識(shí)別；而后，實(shí)現(xiàn)源域與目標(biāo)域所有類別樣本分別準(zhǔn)確對(duì)齊，從而可以將源域中的特征提取器與特征分類器較好地遷移到目標(biāo)域中。

要解決域適應(yīng)以上兩個(gè)關(guān)鍵問(wèn)題，提出的模型需先后對(duì)這兩方面進(jìn)行分析及優(yōu)化。首先，傳統(tǒng)的用于有監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)通常將交叉熵作為模型訓(xùn)練的唯一損失函數(shù)，即僅僅考慮了分類的準(zhǔn)確性，并未考慮距離較近類別的邊界樣本是否可能彼此混淆，進(jìn)而被錯(cuò)誤分類，而良好的特征需要既能保證分類的準(zhǔn)確性，還可以具有較好的類別獨(dú)特性，因此，提出的模型需要增加類間差異約束，盡可能提升不同類別樣本特征之間的可區(qū)分性；其次，由于目標(biāo)域樣本在訓(xùn)練時(shí)是不包含標(biāo)簽信息的，無(wú)法一次性確定每一個(gè)目標(biāo)域樣本應(yīng)該與源域中哪一類樣本進(jìn)行對(duì)齊，因此，提出的模型需要針對(duì)每一類樣本設(shè)置相應(yīng)的域鑒別器網(wǎng)絡(luò)，并給出合理的偽標(biāo)簽估計(jì)方法，最終實(shí)現(xiàn)源域和目標(biāo)域每一類樣本的分別對(duì)齊。1.3節(jié)與1.4節(jié)將基于以上分析對(duì)模型進(jìn)行改進(jìn)與優(yōu)化。

1.3 最大類間差異約束

由于數(shù)據(jù)集中樣本數(shù)量有限，即使類間差異較小，通過(guò)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的特征提取器與分類器仍然可以較好地保證目標(biāo)識(shí)別的準(zhǔn)確性，如圖1（a）所示；而隨著數(shù)據(jù)集中樣本數(shù)量的增大，兩類目標(biāo)分布邊緣的樣本的差異有可能較小，那么有可能會(huì)使得具有相似類別的樣本特征難以被區(qū)分，如圖1（b）所示。

圖1 不同數(shù)據(jù)集規(guī)模條件下的特征分布Fig.1 Feature distribution under different dataset sizes

基于以上分析，當(dāng)對(duì)源域中有標(biāo)簽樣本進(jìn)行有監(jiān)督學(xué)習(xí)時(shí)，不僅要保證分類的準(zhǔn)確性，還要讓不同類特征的差異性盡可能增大，從而在樣本規(guī)模增大時(shí)提高特征的有效性與算法的泛化能力。因此，這里提出了一種衡量類間差異的測(cè)量函數(shù)，如式（1）所示：

1.4 加權(quán)多對(duì)抗域鑒別器

目前大多基于對(duì)抗的域適應(yīng)模型仍采用減小源域樣本與目標(biāo)域樣本之間總體分布的思想，然而，對(duì)于源域與目標(biāo)域中不同類別的兩類樣本，降低它們之間的特征分布差異是沒(méi)有必要的，而且有可能會(huì)引起負(fù)遷移。因此，減小源域與目標(biāo)域中同一類目標(biāo)樣本的特征分布差異才是更有意義的?；谝陨戏治?，提出的模型針對(duì)每一類目標(biāo)，都采用網(wǎng)絡(luò)結(jié)構(gòu)相同的域鑒別器，即K個(gè)域鑒別器，目的是對(duì)齊源域與目標(biāo)域之間每一類目標(biāo)的樣本特征分布，而不關(guān)注不同類別目標(biāo)樣本之間的關(guān)系。

隨著訓(xùn)練期數(shù)的增加，目標(biāo)域樣本預(yù)測(cè)標(biāo)簽也逐步趨于準(zhǔn)確和穩(wěn)定，對(duì)于域鑒別器的訓(xùn)練也具有更好的指導(dǎo)意義。綜上，在訓(xùn)練初期，目標(biāo)域樣本的偽標(biāo)簽更依賴于標(biāo)簽相似度向量，而隨著迭代次數(shù)的增加，目標(biāo)域樣本的預(yù)測(cè)標(biāo)簽將對(duì)獲取偽標(biāo)簽起到更加重要的作用。這里，目標(biāo)域樣本的偽標(biāo)簽計(jì)算如式（7）所示：

式中，nepoch為模型訓(xùn)練需要的期數(shù)，即Epoch 數(shù)目，而r為當(dāng)前迭代的期數(shù)。

在模型訓(xùn)練過(guò)程中，如果訓(xùn)練樣本為源域樣本，則其偽標(biāo)簽等同于其真實(shí)標(biāo)簽，即，并將其作為域鑒別器的權(quán)重；如果訓(xùn)練樣本為目標(biāo)域樣本，則采用其偽標(biāo)簽作為域鑒別器的權(quán)重，如式（7），從而形成新的域鑒別器損失函數(shù)，如式（8）所示。

1.5 模型結(jié)構(gòu)

基于1.2～1.4 節(jié)的分析，提出的多對(duì)抗深度域適應(yīng)模型如圖2所示。

圖2 提出的域適應(yīng)模型Fig.2 Proposed domain adaptation model

圖2中，Gf、Gy與分別表示特征提取器、特征分類器和域鑒別器，k=1,2,…,K，它們的參數(shù)分別由θf(wàn)、θy與來(lái)表示，GRL（gradient reversal layer）為梯度翻轉(zhuǎn)層。

為獲得較好的模型參數(shù)，需要設(shè)計(jì)一種合理的模型損失函數(shù)與訓(xùn)練方法。根據(jù)以上對(duì)域適應(yīng)問(wèn)題的分析，該損失函數(shù)與訓(xùn)練方法應(yīng)滿足以下要求：

（1）為提高源域樣本分類的準(zhǔn)確率，應(yīng)通過(guò)調(diào)整參數(shù)θf(wàn)與θy，盡可能減小分類損失Ly；

（2）為提高源域與目標(biāo)域樣本域鑒別準(zhǔn)確率，應(yīng)通過(guò)調(diào)整參數(shù)θf(wàn)，盡可能減小域分類損失Ld；

（3）為提高不同類別樣本特征的可區(qū)分性，應(yīng)通過(guò)調(diào)整參數(shù)θf(wàn)，盡可能減小類間差異損失Lf；

（4）為降低源域與目標(biāo)域同類樣本間的特征差異，應(yīng)通過(guò)調(diào)整參數(shù)，k=1,2,…,K，盡可能增大域分類損失Ld。

基于以上分析，提出的模型的損失函數(shù)可由式（9）表示：

式中，Le為交叉熵函數(shù)。

1.6 模型參數(shù)優(yōu)化求解

由以上分析，可以得出模型參數(shù)優(yōu)化的每一次迭代過(guò)程可分為兩個(gè)步驟：

（1）利用源域與目標(biāo)域中所有樣本對(duì)特征提取器參數(shù)θf(wàn)與特征分類器參數(shù)θy進(jìn)行優(yōu)化，降低特征分類器Gy與域鑒別器的錯(cuò)誤率，k=1,2,…,K，以及減小類間差異損失，如式（11）所示：

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本實(shí)驗(yàn)將采用以下四種數(shù)據(jù)集：“Office-31”數(shù)據(jù)集[37]、“ImageCLEF-DA”數(shù)據(jù)集[38]、“Office-Caltech-10”數(shù)據(jù)集[39]、“USPS-MNIST-SVHN”數(shù)據(jù)集[40-42]。每個(gè)數(shù)據(jù)集的具體屬性如下：

（1）“Office-31”數(shù)據(jù)集。該數(shù)據(jù)集包含3 個(gè)域，分別是“Amazon”（A31）、“Webcam”（W31）、“DSLR”（D31），每個(gè)域包含31個(gè)類別的目標(biāo)，部分“自行車”樣本如圖3所示。

圖3 “Office-31”數(shù)據(jù)集中的部分樣本Fig.3 Some samples in dataset“Office-31”

（2）“ImageCLEF-DA”數(shù)據(jù)集。該數(shù)據(jù)集包含3個(gè)域，分別是“Caltech-256”（C）、“ImageNet ILSVRC 2012”（I）、“Pascal VOC 2012”（P），每個(gè)域包含12 個(gè)類別目標(biāo)，部分“馬”樣本如圖4所示。

圖4 “ImageCLEF-DA”數(shù)據(jù)集中的部分樣本Fig.4 Some samples in dataset“ImageCLEF-DA”

（3）“Office-Caltech-10”數(shù)據(jù)集。該數(shù)據(jù)集包含4個(gè)域，分別是“Amazon”（A）、“Webcam”（W）、“DSLR”（D）、“Caltech”（C），每個(gè)域包含10個(gè)類別目標(biāo)，部分“杯子”樣本如圖5所示。

圖5 “Office-Caltech-10”數(shù)據(jù)集中的部分樣本Fig.5 Some samples in dataset“Office-Caltech-10”

（4）“USPS-MNIST-SVHN”數(shù)據(jù)集。該數(shù)據(jù)集包含3個(gè)子數(shù)據(jù)集，分別被認(rèn)為是3個(gè)域，分別是“USPS”（U）、“MNIST”（M）、“SVHN”（S），每個(gè)域包含10 個(gè)類別的數(shù)字圖像，部分樣本如圖6所示。

圖6 數(shù)字?jǐn)?shù)據(jù)集中的部分樣本Fig.6 Some samples in digital dataset

2.2 參數(shù)設(shè)定

在提出的模型中，對(duì)于“Office-31”“ImageCLEFDA”“Office-Caltech-10”數(shù)據(jù)集，有監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)采用ResNet50 網(wǎng)絡(luò)；對(duì)于“USPS-MNIST-SVHN”數(shù)據(jù)集，有監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)采用Alexnet 網(wǎng)絡(luò)。每個(gè)域鑒別器均選擇結(jié)構(gòu)相同的3 層全連接層(f→512 →512 →2)，由于訓(xùn)練數(shù)據(jù)集的樣本數(shù)量有限，如果隨機(jī)初始化模型參數(shù)進(jìn)行訓(xùn)練，那么很容易陷入局部最優(yōu)，這里將采用預(yù)訓(xùn)練好的模型參數(shù)作為初始化參數(shù)[39]。

基于小批量梯度下降的訓(xùn)練過(guò)程中，學(xué)習(xí)率η由式（13）獲得[25]：

式中，r為訓(xùn)練期數(shù)，α=10，β=0.75。而模型訓(xùn)練時(shí)的其他參數(shù)設(shè)置如表1所示。

表1 模型訓(xùn)練參數(shù)設(shè)置Table 1 Parameter setting during training model

此外，平衡因子λ1與λ2將依據(jù)實(shí)驗(yàn)結(jié)果獲得，選擇的依據(jù)為在4 個(gè)數(shù)據(jù)集上目標(biāo)域獲得識(shí)別最大平均準(zhǔn)確率的參數(shù)與為最優(yōu)參數(shù)，這里，λ1與λ2的取值范圍分別為λ1,λ2∈{0.05,0.10,0.50,1.00,10.00}，而不同參數(shù)組合條件下獲得識(shí)別的平均準(zhǔn)確率如表2所示。

表2 不同參數(shù)下的識(shí)別結(jié)果Table 2 Recognition results under different parameters

由表2可以看出，當(dāng)λ1=0.50，λ2=1.00時(shí)，可獲得最大的平均識(shí)別準(zhǔn)確率。

2.3 模型有效性提升分析

提出模型的創(chuàng)新之處主要體現(xiàn)在兩方面：一是提出了加權(quán)多對(duì)抗域鑒別器進(jìn)行同類樣本對(duì)齊；二是提出了特征類間差異約束，從而增大不同類樣本間的差異。為驗(yàn)證創(chuàng)新點(diǎn)的有效性，除提出的模型外，這里重新構(gòu)造兩個(gè)對(duì)比模型：

（1）模型1。將提出模型損失函數(shù)中的特征類間差異約束項(xiàng)刪除，并采用單個(gè)域分類器，如式（14）所示：

（2）模型2。保留特征類間差異約束項(xiàng)，將提出模型的多個(gè)域鑒別器改為單個(gè)域鑒別器，損失函數(shù)如式（15）所示：

2.3.1 同類樣本特征對(duì)齊分析

由表3 可以看出，經(jīng)過(guò)域適應(yīng)后，基于3 種模型獲得的源域與目標(biāo)域所有類別樣本特征分布中心距離都較小，提出的模型要略好于其他兩個(gè)模型；然而，提出的模型在目標(biāo)域不同類別樣本識(shí)別準(zhǔn)確率上要明顯優(yōu)于對(duì)比的兩個(gè)模型，從而說(shuō)明提出的模型更好地降低了源域與目標(biāo)域之間同類樣本的特征分布的差異。

表3 使用“ImageCLEF-DA”數(shù)據(jù)集時(shí)不同模型的與值Table 3 Obtained and values of different models when using dataset“ImageCLEF-DA”

表3 使用“ImageCLEF-DA”數(shù)據(jù)集時(shí)不同模型的與值Table 3 Obtained and values of different models when using dataset“ImageCLEF-DA”

2.3.2 類間差異約束有效性分析

為驗(yàn)證提出的類間差異約束函數(shù)的有效性，將對(duì)域適應(yīng)后不同類樣本的可區(qū)分性做進(jìn)一步的分析，這里，采用域適應(yīng)后目標(biāo)域中不同類樣本中心距離dcen(class1,class2)來(lái)對(duì)類間可區(qū)分性進(jìn)行衡量，結(jié)果如表4、表5所示，而dcen(class1,class2)計(jì)算如式（19）所示：

表4 C →I 條件下目標(biāo)域中5個(gè)最小類間中心距離Table 4 Five smallest center distances between different classes in target domain under C →I

由表4可以看出，通過(guò)在模型中增加類間差異約束，訓(xùn)練后目標(biāo)域中不同類別特征分布差異更加明顯，從而有效降低了相似類別被錯(cuò)誤分類的可能性；而由表5 可以看出，當(dāng)選擇不同的源域與目標(biāo)域時(shí)，提出的模型都會(huì)有效增大類間特征的分布差異，從而提高了不同類別特征的可區(qū)分性。

表5 使用“ImageCLEF-DA”數(shù)據(jù)集時(shí)目標(biāo)域中5個(gè)最小類間中心距離的平均值Table 5 Average values of five smallest center distances between different classes in target domain when using dataset“ImageCLEF-DA”

同樣以ImageCLEF-DA 數(shù)據(jù)集C→I為例，3 種模型的對(duì)比結(jié)果還可以通過(guò)t-SNE圖來(lái)進(jìn)行觀察，如圖7所示。

圖7 “ImageCLEF-DA”數(shù)據(jù)集特征t-SNE可視化Fig.7 t-SNE visualization of deep features on dataset“ImageCLEF-DA”

首先，由圖7（a）、圖7（b）可以看出，當(dāng)將損失函數(shù)中的類間差異約束項(xiàng)刪除后，不同類目標(biāo)特征的可區(qū)分度較小，雖然對(duì)源域進(jìn)行有監(jiān)督學(xué)習(xí)后，可以較好地保證分類準(zhǔn)確率，但目標(biāo)域中樣本的分類準(zhǔn)確率難以保證，尤其是特征相似度較高的目標(biāo)很容易被錯(cuò)誤分類。例如，對(duì)于“人”與“飛機(jī)”等與其他目標(biāo)具有較大差異的類別，不含類間差異約束的模型1 與提出的模型對(duì)于目標(biāo)域樣本都具有較好的識(shí)別效果；而對(duì)于“摩托車”與“自行車”具有較高相似性的類別，模型1訓(xùn)練后得到的兩類特征分布差異性較小，導(dǎo)致目標(biāo)域中“自行車”樣本被誤分類為“摩托車”，如圖8（a）所示；但提出的模型在訓(xùn)練時(shí)考慮了類間差異損失，可以將“自行車”樣本正確識(shí)別，如圖8（b）所示。

圖8 使用不同模型時(shí)部分樣本識(shí)別結(jié)果Fig.8 Recognition results of some samples when using different models

2.3.3 偽標(biāo)簽函數(shù)有效性分析

為驗(yàn)證提出的偽標(biāo)簽函數(shù)的有效性和必要性，這里將對(duì)基于不同偽標(biāo)簽函數(shù)的實(shí)驗(yàn)結(jié)果進(jìn)行分析，除提出的偽標(biāo)簽函數(shù)式（7）外，增加了兩種對(duì)比的偽標(biāo)簽獲取方式：一是直接采用樣本分類后預(yù)測(cè)的標(biāo)簽作為其偽標(biāo)簽，記為pseudo label 1；二是始終采用標(biāo)簽相似度向量作為其偽標(biāo)簽，記為pseudo label 2。在對(duì)比實(shí)驗(yàn)中，采用同一個(gè)模型結(jié)構(gòu)，如圖2，其他參數(shù)設(shè)定見2.2節(jié)，通過(guò)對(duì)比訓(xùn)練過(guò)程中目標(biāo)域樣本準(zhǔn)確率變化曲線，來(lái)驗(yàn)證提出的偽標(biāo)簽函數(shù)的有效性，如圖9所示。

圖9 C →I 訓(xùn)練過(guò)程中基于不同偽標(biāo)簽函數(shù)的準(zhǔn)確率變化曲線Fig.9 Accuracy variation curves based on different pseudo label functions during C →I training

由于目標(biāo)域樣本在訓(xùn)練初期的分類準(zhǔn)確率較低，如果采用分類后預(yù)測(cè)標(biāo)簽作為偽標(biāo)簽，可能會(huì)造成目標(biāo)域樣本被指定到錯(cuò)誤類別的域鑒別器，進(jìn)而導(dǎo)致知識(shí)的負(fù)遷移。由圖9 可以看出，基于偽標(biāo)簽1的準(zhǔn)確率曲線收斂慢，并且訓(xùn)練結(jié)束后目標(biāo)域樣本分類的準(zhǔn)確率相對(duì)較低；當(dāng)采用標(biāo)簽相似度向量作為偽標(biāo)簽時(shí)，訓(xùn)練初期目標(biāo)域樣本可以被更好地指定到正確類別的域鑒別器。由圖9可以看出，基于偽標(biāo)簽2的準(zhǔn)確率曲線收斂速度得到較好的提高；在訓(xùn)練的中后期，目標(biāo)域中樣本分類后預(yù)測(cè)標(biāo)簽的準(zhǔn)確率會(huì)得到大幅度提升，依據(jù)該特點(diǎn)，可以得到樣本偽標(biāo)簽在訓(xùn)練初期更依賴于標(biāo)簽相似度向量，而隨著訓(xùn)練次數(shù)的增加，樣本分類后預(yù)測(cè)的標(biāo)簽將對(duì)構(gòu)造偽標(biāo)簽發(fā)揮更大的作用。由圖9可以看出，無(wú)論是從收斂快速性，還是從最終目標(biāo)域樣本分類準(zhǔn)確率來(lái)看，基于提出的偽標(biāo)簽函數(shù)的模型具有更好的效果。

表6 選用“Office-31”數(shù)據(jù)集時(shí)識(shí)別準(zhǔn)確率比較Table 6 Comparison of recognition accuracy when using dataset“Office-31” 單位：%

表7 選用“ImageCLEF-DA”數(shù)據(jù)集時(shí)識(shí)別準(zhǔn)確率比較Table 7 Comparison of recognition accuracy when using dataset“ImageCLEF-DA” 單位：%

表8 選用“Office-Caltech-10”數(shù)據(jù)集時(shí)識(shí)別準(zhǔn)確率比較Table 8 Comparison of recognition accuracy when using dataset“Office-Caltech-10” 單位：%

2.4 不同模型實(shí)驗(yàn)結(jié)果比較與分析

分別基于“Office-31”“ImageCLEF-DA”“Office-Caltech-10”“USPS-MNIST-SVHN”4 個(gè)數(shù)據(jù)集，將提出的模型與部分已有的域適應(yīng)模型的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，對(duì)于不同的源域與目標(biāo)域，對(duì)比結(jié)果如表6～表9所示。

表9 選用“USPS-MNIST-SVHN”數(shù)據(jù)集時(shí)識(shí)別準(zhǔn)確率比較Table 9 Comparison of recognition accuracy when using“USPS-MNIST-SVHN”dataset 單位：%

由表6～表9 可以看出，針對(duì)使用的4 種數(shù)據(jù)集，提出域適應(yīng)方法相對(duì)于部分已有的模型具有更好的特征遷移性能。尤其是對(duì)于同樣具有多對(duì)抗域鑒別器結(jié)構(gòu)的模型，提出的模型在訓(xùn)練過(guò)程中對(duì)不同的域鑒別器賦予了更為合理的權(quán)重，使得識(shí)別準(zhǔn)確率得到了提高，進(jìn)一步驗(yàn)證了提出的偽標(biāo)簽向量獲取方法的重要性。

3 結(jié)束語(yǔ)

源域與目標(biāo)域每一類樣本都能夠準(zhǔn)確對(duì)齊是實(shí)現(xiàn)特征遷移的關(guān)鍵，針對(duì)該問(wèn)題，提出了一種加權(quán)多對(duì)抗域適應(yīng)模型。該模型的貢獻(xiàn)在于：（1）提出了一種偽標(biāo)簽計(jì)算方法，能夠在訓(xùn)練過(guò)程中讓目標(biāo)域中的樣本獲得更為合理的偽標(biāo)簽，從而讓域間同一類樣本實(shí)現(xiàn)準(zhǔn)確對(duì)齊；（2）提出了一種類間差異測(cè)量函數(shù)，在模型訓(xùn)練過(guò)程中，不僅要保證樣本的分類準(zhǔn)確率，而且盡可能增大相似類別樣本之間的特征分布差異，從而在更換數(shù)據(jù)集或增大數(shù)據(jù)集規(guī)模時(shí)，兩類樣本仍能較好地被區(qū)分。此外，設(shè)計(jì)更為合理及有效的類間差異函數(shù)，進(jìn)一步提升模型的性能將是未來(lái)需要研究的重要內(nèi)容。