姚明海 黃展聰

(浙江工業(yè)大學(xué)信息工程學(xué)院 杭州 310023)

0 引 言

自2006年Hinton等人[1]采用逐層初始化解決深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練以來，深度學(xué)習(xí)已廣泛用于模式識(shí)別、圖像理解、機(jī)器翻譯等領(lǐng)域。2016年，深度學(xué)習(xí)模型在ImageNet圖像集上的識(shí)別錯(cuò)誤率已經(jīng)低于人類[2]。然而，現(xiàn)有的深度學(xué)習(xí)模型訓(xùn)練都以監(jiān)督學(xué)習(xí)為主[3]，為了訓(xùn)練包含巨大參數(shù)量的模型，需要大量的人工標(biāo)注訓(xùn)練樣本，并假設(shè)訓(xùn)練和應(yīng)用場(chǎng)景數(shù)據(jù)屬于同一分布。但在實(shí)際中，由于許多因素(如照明、姿態(tài)和圖像質(zhì)量等)的影響，訓(xùn)練和應(yīng)用場(chǎng)景的樣本分布往往不一致，使訓(xùn)練好的模型在應(yīng)用場(chǎng)景下的性能嚴(yán)重降低。此時(shí)需要重新標(biāo)注應(yīng)用場(chǎng)景數(shù)據(jù)再進(jìn)行訓(xùn)練，而為新任務(wù)標(biāo)注數(shù)據(jù)集并重新訓(xùn)練是昂貴且耗時(shí)的過程，上述問題成為深層神經(jīng)網(wǎng)絡(luò)應(yīng)用中新的難題。

領(lǐng)域自適應(yīng)學(xué)習(xí)[4]是一種解決如何將分類器從訓(xùn)練場(chǎng)景遷移到與之不同的應(yīng)用場(chǎng)景的新型機(jī)器學(xué)習(xí)方法，其中訓(xùn)練場(chǎng)景稱為源域，應(yīng)用場(chǎng)景稱為目標(biāo)域。源域和目標(biāo)域的分布雖然不同，但是具有一定相關(guān)性，且只有源域數(shù)據(jù)具有標(biāo)簽信息，而目標(biāo)域數(shù)據(jù)沒有或者只有少量標(biāo)簽信息可用[5]。從領(lǐng)域自適應(yīng)學(xué)習(xí)提出至今，學(xué)者們已經(jīng)提出了許多方法。Fetzer等人[6]引入了深度域混淆(DDC)架構(gòu)來學(xué)習(xí)最后隱藏層中源域和目標(biāo)域的域不變特征。Long等人[7]不局限于僅適配單一層，提出了一種深度自適應(yīng)網(wǎng)絡(luò)(DAN)，進(jìn)行多層適配來學(xué)習(xí)2個(gè)領(lǐng)域間的可遷移特征。之后，Long等人[8]在DAN的基礎(chǔ)上，提出了聯(lián)合自適應(yīng)網(wǎng)絡(luò)(JAN)，基于聯(lián)合最大均值差異(JMMD)進(jìn)行多個(gè)領(lǐng)域特定層的聯(lián)合分布，使得源域和目標(biāo)域的分布更加可區(qū)分。

國內(nèi)方面，袁丁等人[9]在DAN[8]的基礎(chǔ)上引入了聚類輔助特征對(duì)齊，該方法通過聚類獲得目標(biāo)域數(shù)據(jù)偽標(biāo)記，并將聚類和域適應(yīng)2個(gè)過程訓(xùn)練的分類器進(jìn)行繼承學(xué)習(xí)，以提升模型的最終效果。蔡瑞初等人[10]提出類內(nèi)最大均值差異技術(shù)對(duì)齊2個(gè)領(lǐng)域的類內(nèi)分布，既保留分類信息，又減少了領(lǐng)域?qū)Ｓ眯畔⒌母蓴_。

文獻(xiàn)[6-10]方法共同特點(diǎn)是訓(xùn)練時(shí)同時(shí)輸入已標(biāo)注源域樣本和未標(biāo)注目標(biāo)域樣本，訓(xùn)練中除了利用源域樣本學(xué)習(xí)如何優(yōu)化分類器外，還學(xué)習(xí)源域和目標(biāo)域的數(shù)據(jù)關(guān)聯(lián)，進(jìn)而提取領(lǐng)域不變特征[5]，建立更優(yōu)秀的學(xué)習(xí)模型。由于這些方法在訓(xùn)練時(shí)不需要任何目標(biāo)域數(shù)據(jù)的標(biāo)簽信息，因此屬于無監(jiān)督學(xué)習(xí)范疇。雖然文獻(xiàn)[6-10]的方法取得了一定效果，但從結(jié)果上可以發(fā)現(xiàn)僅使用源域標(biāo)簽信息學(xué)習(xí)得到的模型仍然無法完全適配目標(biāo)域。

本文提出了一種基于主動(dòng)學(xué)習(xí)的半監(jiān)督領(lǐng)域自適應(yīng)方法，該方法與文獻(xiàn)[6-10]方法的主要差別在于利用了少量的目標(biāo)域標(biāo)簽信息輔助源域上學(xué)習(xí)得到的分類器更好地遷移到目標(biāo)域。為了實(shí)現(xiàn)上述目標(biāo)，首先用源域和未標(biāo)記的目標(biāo)域數(shù)據(jù)訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)作為初始模型，該模型可以通過提取領(lǐng)域不變特征讓源域上學(xué)習(xí)得到的特征分類器基本適用于目標(biāo)域。然后結(jié)合主動(dòng)學(xué)習(xí)進(jìn)一步加強(qiáng)領(lǐng)域自適應(yīng)效果，具體做法是通過特定的樣本選擇策略不斷挑選目標(biāo)域中最具代表性的樣本進(jìn)行人工標(biāo)注，然后迭代訓(xùn)練已有模型，直到預(yù)先設(shè)置終點(diǎn)。最后，在SVHN、MNIST和USPS數(shù)據(jù)集上分別進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，本文方法的領(lǐng)域自適應(yīng)能力優(yōu)于目前具有競爭力的同類方法。

1 主動(dòng)學(xué)習(xí)

在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型的時(shí)候，隨著訓(xùn)練數(shù)據(jù)的增加，網(wǎng)絡(luò)模型的精度會(huì)不斷提升。但是當(dāng)訓(xùn)練數(shù)據(jù)量達(dá)到臨界值時(shí)，精度基本不會(huì)產(chǎn)生變化，而這個(gè)臨界值和數(shù)據(jù)樣本本身有關(guān)。主動(dòng)學(xué)習(xí)[11]可以通過挑選更具代表性的樣本迭代訓(xùn)練模型使臨界值更早地到來，既提升了模型收斂的速度，同時(shí)節(jié)省了人力標(biāo)注的成本。

圖1是主動(dòng)學(xué)習(xí)的基本流程，主要包括“學(xué)習(xí)模塊”和“選擇策略”2個(gè)最基本的重要模塊?！皩W(xué)習(xí)模塊”通過不斷地迭代訓(xùn)練網(wǎng)絡(luò)模型來提高分類器的分類精度和魯棒性；“選擇策略”模塊通過某種選擇策略選擇出更具代表性的樣本進(jìn)行標(biāo)記之后送入“學(xué)習(xí)模塊”。

目前常見的領(lǐng)域自適應(yīng)方法，如文獻(xiàn)[6-10]僅利用已標(biāo)注源域樣本和未標(biāo)注目標(biāo)域樣本本身數(shù)據(jù)關(guān)聯(lián)性學(xué)習(xí)得到的模型仍然無法完全適配目標(biāo)域數(shù)據(jù)，因此可以考慮適當(dāng)利用少量的目標(biāo)域標(biāo)簽信息提升領(lǐng)域自適應(yīng)效果，主動(dòng)學(xué)習(xí)正是用于解決標(biāo)注樣本短缺條件下如何訓(xùn)練機(jī)器學(xué)習(xí)模型。文獻(xiàn)[12,13]的ALDA(active learning for domain adaptation)算法證明了這種結(jié)合的可行性，ALDA包括3部分，源域分類器Wsrc、目標(biāo)域分類器Wds和域判別器uφ。ALDA使用uφ從未標(biāo)記的目標(biāo)域樣本中選擇樣本然后決定是使用Wsrc獲取標(biāo)簽還是人工標(biāo)注，uφ不斷使用標(biāo)注后的樣本訓(xùn)練。

與ALDA不同，本文提出的方法使用了深層神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中的域判別器除了在訓(xùn)練中幫助減小源域和目標(biāo)域在特征空間上的差距外，還參與了樣本選擇。第2節(jié)將具體介紹本文算法。

圖1 主動(dòng)學(xué)習(xí)基本流程

2 基于主動(dòng)學(xué)習(xí)的半監(jiān)督領(lǐng)域自適應(yīng)方法

2.1 問題定義

本文以圖像分類問題為背景，問題中的輸入記為x∈X，x對(duì)應(yīng)的標(biāo)簽記為y∈Y，Y是一個(gè)有限的集合，Y={1,2,…,L}。假設(shè)在X?Y上存在2個(gè)分布PS(x,y)和PT(x,y)，代表源域數(shù)據(jù)分布和目標(biāo)域數(shù)據(jù)分布。上述兩者分布都是復(fù)雜且未知的，并存在一定差距。

根據(jù)源域和目標(biāo)域分布的邊緣分布PS(x)和PT(x)可以獲得大量的訓(xùn)練樣本集合{x1,x2,…,xN}。本文使用一個(gè)0或1的標(biāo)量di代表第i個(gè)樣本xi來自哪一個(gè)域，di等于0代表xi～PS(x)，反之di等于1代表xi～PT(x)。為了后續(xù)描述方便，源域樣本集合記為Ls，目標(biāo)域樣本集合記為UT。

在初始訓(xùn)練時(shí)，源域樣本的標(biāo)簽是已知的，而目標(biāo)域樣本的標(biāo)簽是未知的。之后的訓(xùn)練中，需要從目標(biāo)域中挑選樣本進(jìn)行人工標(biāo)注加入源域數(shù)據(jù)并重新訓(xùn)練模型。

本文最終的目標(biāo)是給定來自目標(biāo)域分布的輸入x時(shí)，能夠預(yù)測(cè)它的標(biāo)簽。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

現(xiàn)定義一個(gè)深層神經(jīng)網(wǎng)絡(luò)，其作用是對(duì)于每一個(gè)樣本x預(yù)測(cè)其分類標(biāo)簽y∈Y和領(lǐng)域標(biāo)簽d∈{0,1}。為了完成上述映射，網(wǎng)絡(luò)結(jié)構(gòu)分成3部分，如圖2所示。先讓輸入x通過一個(gè)特征提取網(wǎng)絡(luò)Gf，其把x映射成一個(gè)D維特征向量f∈RD。Gf由一系列卷積層和激活函數(shù)層組成，其參數(shù)記為θf，此時(shí)有f=Gf(x;θf)。然后，使用另一個(gè)卷積神經(jīng)網(wǎng)絡(luò)Gy作為標(biāo)簽預(yù)測(cè)網(wǎng)絡(luò)把f映射成分類標(biāo)簽y，Gy參數(shù)記為θy。同時(shí)，使用另一個(gè)卷積神經(jīng)網(wǎng)絡(luò)Gd作為域預(yù)測(cè)網(wǎng)絡(luò)把f映射成領(lǐng)域標(biāo)簽d，Gd參數(shù)記為θd。

在訓(xùn)練時(shí)，首先希望減小源域數(shù)據(jù)的標(biāo)簽預(yù)測(cè)損失，并基于此優(yōu)化Gf和Gy的參數(shù)。這使得不同類別的輸入訓(xùn)練得到的特征f具有區(qū)分性，并保證Gf和Gy的組合對(duì)于源域數(shù)據(jù)能成功地預(yù)測(cè)其標(biāo)簽。

同時(shí)，特征向量f應(yīng)具有領(lǐng)域不變性，即源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)都通過Gf映射到同一個(gè)特征空間，映射后的特征分布PS(f)和PT(f)盡量一致,從而讓標(biāo)簽分類網(wǎng)絡(luò)Gf適用于目標(biāo)域數(shù)據(jù)的特征圖，保證總體上源域和目標(biāo)域數(shù)據(jù)標(biāo)簽預(yù)測(cè)準(zhǔn)確率一致。

受到對(duì)抗神經(jīng)網(wǎng)絡(luò)[14](generative adversarial network，GAN)的啟發(fā)，本文使用額外的網(wǎng)絡(luò)Gd來衡量PS(f)和PT(f)一致性。在訓(xùn)練中，Gf盡量輸出讓Gd分辨不出來自源域還是目標(biāo)域的特征向量，Gd盡量分辨出數(shù)據(jù)來自于哪一個(gè)域，最終，Gf與Gd博弈的結(jié)果是源域和目標(biāo)域的數(shù)據(jù)在特征空間上分布一致，繼而可以用Gf來分類目標(biāo)域的數(shù)據(jù)。

為了實(shí)現(xiàn)上述訓(xùn)練目標(biāo)，本文設(shè)計(jì)損失函數(shù)如下，其中λ是權(quán)重系數(shù)，Lc是交叉熵。

E(θf,θy,θd)=λEx～PS(x)[Lc(Gy(Gf(x),y))]

+Ex～PS(x)[logGd(Gf(x))]

+Ex～PT(x)[log(1-Gd(Gf(x)))]

(1)

與GAN網(wǎng)絡(luò)的對(duì)抗訓(xùn)練方式一致，利用上述損失函數(shù)在訓(xùn)練中更新θf和θy時(shí)需固定θd，反之在更新θd時(shí)需固定θf和θy，即，

(2)

圖2 網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3 重要性分?jǐn)?shù)

通過訓(xùn)練上述網(wǎng)絡(luò)得到的模型M已經(jīng)具備對(duì)Ut樣本分類的能力，但訓(xùn)練過程中僅利用了源域標(biāo)簽，最終預(yù)測(cè)精度具有局限性，在實(shí)驗(yàn)分析部分可看到具體結(jié)果。因此本文選擇從Ut中選擇少量重要的樣本標(biāo)注后迭代訓(xùn)練M，以提升M分類精度，本小節(jié)介紹如何計(jì)算Ut中樣本重要性分?jǐn)?shù)用以后續(xù)選擇。

文獻(xiàn)[15]提出了一種帶權(quán)重的領(lǐng)域自適應(yīng)損失函數(shù)，如式(3)所示：

(3)

本文將上述2個(gè)特征用于目標(biāo)域樣本重要性分?jǐn)?shù)計(jì)算，但直接應(yīng)用存在困難，首先因?yàn)閣(x)計(jì)算時(shí)無法直接估計(jì)源域和目標(biāo)域2個(gè)高維分布，其次由于目標(biāo)域樣本沒有標(biāo)記導(dǎo)致無法計(jì)算其經(jīng)驗(yàn)風(fēng)險(xiǎn)。

(4)

針對(duì)第2個(gè)問題，本文使用目標(biāo)域樣本的熵近似交叉熵[16]。最終定義樣本的重要性分?jǐn)?shù)s(x)如下，其中H(·)代表熵值。s(x)越大表示該樣本越值得標(biāo)注。

(5)

2.4 主動(dòng)學(xué)習(xí)過程描述

輸入已標(biāo)記源域數(shù)據(jù)LS，未標(biāo)記目標(biāo)域數(shù)據(jù)Ut，已標(biāo)記目標(biāo)域數(shù)據(jù)LT，預(yù)設(shè)輪數(shù)b。

模型M={Gy,Gf,Gd}，具體結(jié)構(gòu)及目標(biāo)函數(shù)見2.2節(jié)。

步驟1利用LS和UT訓(xùn)練M，訓(xùn)練采用目前常見的小批量訓(xùn)練梯度下降(mini-batch gradient descen)法[17],每個(gè)批次從LS和UT中隨機(jī)采樣。

步驟2根據(jù)2.3節(jié)的方法，使用訓(xùn)練完成的M計(jì)算UT所有樣本的重要性分?jǐn)?shù)s(x)，降序排序選取前b個(gè)進(jìn)行人工標(biāo)注，其集合記為LT，此時(shí)UT=UT/LT。

步驟3使用LT、LS、UT重新訓(xùn)練M。與初始階段只有一個(gè)源域不同，現(xiàn)在有LS和LT2個(gè)源域。此類多源域領(lǐng)域自適應(yīng)問題的泛化邊界[18]如下：

(6)

εa(h)=atεT(h)+asεS(h)

(7)

因此，使用Ls、Lt、Ut重新訓(xùn)練模型M時(shí)可以把LS、LT看成整體，同樣采用步驟1的小批量訓(xùn)練梯度下降法，每個(gè)批次從Ls、Lt、Ut隨機(jī)采樣。

步驟4重復(fù)步驟2和3，直到M的總訓(xùn)練次數(shù)到達(dá)預(yù)設(shè)值b。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集介紹

本文選擇MNIST數(shù)據(jù)集，SVHN數(shù)據(jù)集和USPS數(shù)據(jù)集作為本文的實(shí)驗(yàn)對(duì)象。MNIST數(shù)據(jù)集[19]是一種廣泛使用的灰度手寫數(shù)字?jǐn)?shù)據(jù)集，包含60 000個(gè)訓(xùn)練圖像和10 000個(gè)測(cè)試圖像。USPS數(shù)據(jù)集[20]是美國郵政服務(wù)手寫數(shù)字識(shí)別庫，庫中共有9 298個(gè)手寫數(shù)字圖像，均為灰度圖像，灰度值已被歸一化。街景門牌號(hào)碼(SVHN)[21]則是包含來自Google Street View的各種房屋號(hào)碼，圖像具有一定的實(shí)際背景。 利用上述3個(gè)數(shù)據(jù)可以構(gòu)建以下3項(xiàng)任務(wù)： SVHN→MNIST、MNIST→USPS和USPS→MNIST。在每項(xiàng)任務(wù)中，左邊的數(shù)據(jù)集作為源域，右邊的數(shù)據(jù)集作為目標(biāo)域，其中所有圖像都重新調(diào)整為32×32的像素分辨率。

3.2 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)運(yùn)行在搭載GTX1080顯卡的機(jī)器上，使用Python語言編寫程序，其中圖像預(yù)處理的部分使用了OpenCV3.4庫，檢測(cè)算法使用Keras2.0搭建模型，TensorFlow1.4作為后端，使用Adam優(yōu)化算法訓(xùn)練網(wǎng)絡(luò)參數(shù)，初始學(xué)習(xí)率lr=2e-3，動(dòng)量參數(shù)β1=0.5，β2=0.999。

在主動(dòng)學(xué)習(xí)的每一輪訓(xùn)練中訓(xùn)練20個(gè)周期，其中每個(gè)批次的大小為128，λ=0.1，樣本選擇的數(shù)量為20，共進(jìn)行20輪。

3.3 結(jié)果分析

3.3.1 交叉實(shí)驗(yàn)

本文算法的目的是結(jié)合主動(dòng)學(xué)習(xí)讓源域上學(xué)習(xí)得到的分類器更好適配到目標(biāo)域，主要依賴解決以下2個(gè)問題：(1)選擇哪些目標(biāo)域樣本進(jìn)行標(biāo)注？(2)樣本標(biāo)注后如何訓(xùn)練模型？ 針對(duì)上面2個(gè)問題，本文選擇了一些其他方法展開交叉實(shí)驗(yàn)，實(shí)驗(yàn)中樣本的選擇策略如下：

(1)依據(jù)重要性分?jǐn)?shù)：如2.3節(jié)所述。

(2)K-Means聚類[22]：對(duì)特征向量Gf(x)， ?x∈Ut進(jìn)行聚類，共選擇b個(gè)聚類中心，對(duì)每個(gè)類選擇離其中心最近的類。

(3)BVSB法[23]：對(duì)于Ut的每個(gè)樣本，Gy會(huì)輸出其對(duì)應(yīng)每個(gè)分類標(biāo)簽的置信度，BVSB值是最大的置信度和第2大置信度之間的差值，代表該樣本的不確定性，BVSB值越大代表分類器對(duì)該樣本越不確定其屬于哪個(gè)類別。

(4)隨機(jī)選擇：從Ut中隨機(jī)選擇待標(biāo)注樣本。

對(duì)于標(biāo)注后的訓(xùn)練有如下選擇：

1)對(duì)抗訓(xùn)練：如2.4節(jié)所述，使用{Ls,Lt,Ut}重新訓(xùn)練。

2)微調(diào)[24]：固定特征提取網(wǎng)絡(luò)Gf、域判別網(wǎng)絡(luò)Gd，僅使用Lt更新標(biāo)簽分類器Gy的參數(shù)。

圖3是不同采樣策略的實(shí)驗(yàn)對(duì)比結(jié)果，訓(xùn)練方法都使用{Ls,Lt,Ut}重新訓(xùn)練，其中橫坐標(biāo)是標(biāo)注樣本的總數(shù)，縱坐標(biāo)是3個(gè)任務(wù)的平均準(zhǔn)確率。從圖4中看到本文方法的準(zhǔn)確率基本在每一輪都高于其他方法，此外在標(biāo)注樣本增多時(shí)能保證準(zhǔn)確率持續(xù)上升，而其他方法均不能保證。這是由于其他方法可能使某一類別的分類準(zhǔn)確率很高，而其他類別較低，從而整體平均準(zhǔn)確率反而下降。

圖4是不同訓(xùn)練方法實(shí)驗(yàn)對(duì)比結(jié)果，樣本選擇策略都依據(jù)2.3節(jié)。從圖中可以看到標(biāo)注數(shù)量小于300時(shí)，對(duì)抗訓(xùn)練效果明顯優(yōu)于微調(diào)。而在標(biāo)注數(shù)量超過300后，兩者準(zhǔn)確率提升都不明顯，微調(diào)方法的準(zhǔn)確率略高于對(duì)抗訓(xùn)練。整體上，采用對(duì)抗訓(xùn)練能比微調(diào)獲得更好的效果。

圖3 不同采樣策略的對(duì)比結(jié)果

圖4 不同訓(xùn)練方法對(duì)比結(jié)果

3.3.2 同類方法比較

除了上述實(shí)驗(yàn)外，本文與目前主流方法ALDA[12,13]進(jìn)行了對(duì)比。圖5是準(zhǔn)確率上的對(duì)比結(jié)果，可以看到本文算法整體效果都優(yōu)于ALDA，當(dāng)標(biāo)注樣本數(shù)達(dá)到340時(shí)，本文算法平均準(zhǔn)確率比ALDA高出7.8%。

為了進(jìn)一步對(duì)比，本文還統(tǒng)計(jì)了不同方法達(dá)到指定平均準(zhǔn)確率所需的人工成本和模型收斂時(shí)間，分別如圖7和圖8所示。結(jié)合主動(dòng)學(xué)習(xí)的領(lǐng)域自適應(yīng)方法的人工成本主要在于目標(biāo)域樣本的標(biāo)注，從表1可以看到，本文方法達(dá)到指定平均準(zhǔn)確率所需要的人工成本比ALDA分別減少了33.33%、54.54%、35.48%、26.53%。

圖5 與ALDA對(duì)比結(jié)果

表1 不同方法達(dá)到指定平均準(zhǔn)確率所需的標(biāo)注數(shù)量

另外，表2為不同方法不同標(biāo)注數(shù)量所需的收斂時(shí)間，其中標(biāo)注數(shù)量0對(duì)應(yīng)2.4節(jié)中步驟1所用的時(shí)間，由于本文方法參數(shù)數(shù)量大于ALDA，因此在初始訓(xùn)練時(shí)所花的時(shí)間大于ALDA方法。

其余標(biāo)注數(shù)量為100、200、300和400對(duì)應(yīng)2.4節(jié)中步驟4的時(shí)間，這部分中本文方法與ALDA所用時(shí)間相差不大，這是因?yàn)榇藭r(shí)訓(xùn)練時(shí)的初始參數(shù)是上一次收斂后的參數(shù)，因此都能較快收斂。同時(shí)，隨著標(biāo)注數(shù)量的增加，收斂時(shí)間逐漸減少，這是因?yàn)槟繕?biāo)域標(biāo)注數(shù)量增加時(shí)，準(zhǔn)確率提升的程度逐漸減小，從而模型參數(shù)變化程度減小，導(dǎo)致收斂越來越快?？傮w上，本文方法能更好地讓源域上學(xué)習(xí)得到的分類器適用于目標(biāo)域。

表2 不同方法不同標(biāo)注數(shù)量所需的收斂時(shí)間(s)

4 結(jié) 論

本文提出了一種基于主動(dòng)學(xué)習(xí)的半監(jiān)督領(lǐng)域自適應(yīng)方法，它可以解決機(jī)器學(xué)習(xí)應(yīng)用中由于訓(xùn)練場(chǎng)景和測(cè)試場(chǎng)景不一致帶來的性能下降問題。該方法利用深層神經(jīng)網(wǎng)絡(luò)對(duì)齊源域和目標(biāo)域的數(shù)據(jù)表示學(xué)習(xí)域不變特征，讓源域上學(xué)習(xí)得到的分類器在目標(biāo)域上基本可用。同時(shí)，結(jié)合主動(dòng)學(xué)習(xí)方法，不斷選取最重要的目標(biāo)域數(shù)據(jù)標(biāo)記，然后提升已有模型的精度。實(shí)驗(yàn)結(jié)果表明，本文提出的方法實(shí)現(xiàn)了具有較高準(zhǔn)確度的跨域分類性，通過標(biāo)記少量的目標(biāo)域樣本就可以獲得較好的領(lǐng)域自適應(yīng)效果。后續(xù)的研究主要會(huì)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行進(jìn)一步的優(yōu)化處理，改善整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，使其整體性能朝著更快更準(zhǔn)確方向發(fā)展。