汪云云，桂 旭，鄭濰雯，薛 暉

(1.南京郵電大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇南京 210023；2.南京郵電大學(xué)，江蘇省大數(shù)據(jù)安全與智能處理重點(diǎn)實(shí)驗(yàn)室，江蘇南京 210023；3.東南大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇南京 210023)

深度神經(jīng)網(wǎng)絡(luò)基于大規(guī)模標(biāo)注訓(xùn)練數(shù)據(jù)，在眾多機(jī)器感知任務(wù)上取得了優(yōu)秀的性能，然而大規(guī)模人工標(biāo)注意味著高昂的數(shù)據(jù)標(biāo)注代價(jià)，限制了深度神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)標(biāo)注不足任務(wù)上的應(yīng)用。近年來(lái)，備受關(guān)注的域適應(yīng)(Domain Adaptation,DA)學(xué)習(xí)嘗試采用標(biāo)簽豐富的源域來(lái)幫助標(biāo)簽稀缺的目標(biāo)域?qū)W習(xí)[1]，在許多任務(wù)上性能得到了顯著的提升。

近年來(lái)，域適應(yīng)學(xué)習(xí)方法相繼涌現(xiàn)，可大致分為3類(lèi)，分別為基于差異的方法、基于對(duì)抗的方法以及基于重構(gòu)的方法?；诓町惖挠蜻m應(yīng)方法旨在縮小域間的分布差異，常用的差異性度量包括最大均值差異(Maximum Mean Discrepancy，MMD)[2]、KL散度[3]和Wasserstein距離[4]等?；趯?duì)抗的方法通過(guò)對(duì)抗學(xué)習(xí)方式生成域不變特征。例如，DANN[5]和DA2NN[6]等采用特征提取器和域鑒別器間的博弈和對(duì)抗，而MCD[7]則利用兩個(gè)分類(lèi)器間的對(duì)抗學(xué)習(xí)產(chǎn)生域不變特征。基于重構(gòu)的方法通過(guò)對(duì)抗生成跨域樣本實(shí)現(xiàn)域遷移，如cycle-GAN[8]、CyCADA[9]等方法。盡管這些方法可有效提升目標(biāo)域的學(xué)習(xí)性能，但都假設(shè)存在大量正確標(biāo)記的源域數(shù)據(jù)，在許多真實(shí)學(xué)習(xí)任務(wù)中很難滿足。在含噪聲的DA學(xué)習(xí)中，噪聲源實(shí)例可能會(huì)導(dǎo)致負(fù)遷移現(xiàn)象[1]，限制了DA方法的實(shí)際應(yīng)用。有文獻(xiàn)研究從理論上證明了源域中的標(biāo)簽噪聲會(huì)給DA學(xué)習(xí)帶來(lái)嚴(yán)重的負(fù)遷移問(wèn)題[10]。也有學(xué)者研究了更通用的噪聲DA場(chǎng)景，包括標(biāo)簽噪聲、特征噪聲以及混合噪聲[11]。

DA方法通常假設(shè)存在一個(gè)已正確標(biāo)記的源域，然而在現(xiàn)實(shí)任務(wù)中，精確的人工標(biāo)注耗時(shí)耗力，通常很難收集大量帶有干凈標(biāo)簽的源實(shí)例。雖然很容易從網(wǎng)絡(luò)和社交媒體中采集數(shù)據(jù)，但是此類(lèi)數(shù)據(jù)集可能存在標(biāo)簽噪聲。帶有噪聲源標(biāo)簽的噪聲DA學(xué)習(xí)可能會(huì)損害目標(biāo)域的學(xué)習(xí)性能，但針對(duì)此問(wèn)題的研究仍然有限。

帶噪聲標(biāo)簽的魯棒學(xué)習(xí)目前已獲得廣泛研究。噪聲標(biāo)簽學(xué)習(xí)方法可大致分為3類(lèi)：基于無(wú)偏損失或風(fēng)險(xiǎn)最小化[12-15]、基于自助(Bootstrapping)損失[16]以及噪聲樣本重采樣方法[17-20]?；跓o(wú)偏損失或風(fēng)險(xiǎn)最小化方法旨在定義可有效抑制噪聲數(shù)據(jù)的損失函數(shù)。基于自助損失方法通過(guò)在訓(xùn)練過(guò)程中不斷修正數(shù)據(jù)標(biāo)簽來(lái)減輕噪聲標(biāo)簽實(shí)例對(duì)模型學(xué)習(xí)的影響。噪聲樣本重采樣方法則通過(guò)設(shè)計(jì)從訓(xùn)練損失到樣本權(quán)重的映射函數(shù)，根據(jù)損失計(jì)算樣本權(quán)重，最小化分類(lèi)器更新的加權(quán)實(shí)例損失。此外，根據(jù)是否使用轉(zhuǎn)移矩陣對(duì)標(biāo)簽噪聲進(jìn)行顯式建模，將帶標(biāo)簽噪聲的魯棒學(xué)習(xí)方法分為基于轉(zhuǎn)移矩陣法和無(wú)轉(zhuǎn)移矩陣法，本研究屬于第二類(lèi)，不同的是本研究場(chǎng)景更具挑戰(zhàn)性，旨在將含有噪聲標(biāo)簽的源域知識(shí)遷移至目標(biāo)域，以提升目標(biāo)域的學(xué)習(xí)性能。

針對(duì)源域存在噪聲標(biāo)簽的學(xué)習(xí)場(chǎng)景，本文提出基于自適應(yīng)噪聲校正的魯棒域適應(yīng)學(xué)習(xí)方法(Robust DA Method through Adaptive Noise Correction，RoDAC)。首先，通過(guò)自適應(yīng)噪聲檢測(cè)(Adaptive Noisy Label Detection,ANLD)識(shí)別噪聲源實(shí)例、加權(quán)實(shí)例損失以及減少噪聲實(shí)例對(duì)分類(lèi)學(xué)習(xí)的貢獻(xiàn)，同時(shí)劃分?jǐn)?shù)據(jù)集以進(jìn)一步減少其對(duì)域適應(yīng)學(xué)習(xí)的影響；接著，通過(guò)自適應(yīng)噪聲標(biāo)簽校正(Adaptive Noisy Label Correction,ANLC)修正噪聲實(shí)例，使噪聲實(shí)例獲得更為準(zhǔn)確的標(biāo)簽，并重新投入學(xué)習(xí)。

1 自適應(yīng)噪聲校正的魯棒域適應(yīng)學(xué)習(xí)方法

在源域標(biāo)簽存在噪聲的域適應(yīng)學(xué)習(xí)場(chǎng)景中，主要挑戰(zhàn)在于：①如何減少噪聲標(biāo)簽對(duì)分類(lèi)學(xué)習(xí)的影響；②如何減少噪聲標(biāo)簽對(duì)域間分布對(duì)齊的影響。因此，本文提出了一個(gè)系統(tǒng)的解決方案，主要包括兩個(gè)學(xué)習(xí)階段：自適應(yīng)噪聲標(biāo)簽檢測(cè)(ANLD)和自適應(yīng)噪聲標(biāo)簽校正(ANLC)。

1.1 符號(hào)定義和網(wǎng)絡(luò)結(jié)構(gòu)

進(jìn)一步地，采用數(shù)學(xué)符號(hào)來(lái)表述本文的研究目標(biāo)。將成對(duì)標(biāo)簽上的損失函數(shù)定義為L(zhǎng)：Y×Y→，多分類(lèi)任務(wù)的決策函數(shù)f:X→K，因而有假設(shè)函數(shù)對(duì)于X×Y上的任意分布D，定義假設(shè)函數(shù)h的經(jīng)驗(yàn)誤差為errD?E(x,y)～DL(h(x),y)。本文的研究目標(biāo)是采用源域的有標(biāo)簽噪聲樣本和目標(biāo)域的無(wú)標(biāo)簽樣本習(xí)得一個(gè)決策函數(shù)f，使得其在目標(biāo)域上的經(jīng)驗(yàn)誤差最小。圖1展示了標(biāo)簽噪聲DA學(xué)習(xí)過(guò)程。

RoDAC利用干凈實(shí)例的small-loss[21]基于元網(wǎng)絡(luò)自適應(yīng)地區(qū)分干凈和噪聲實(shí)例，同時(shí)，基于數(shù)據(jù)的聚簇特性，利用原型分類(lèi)器對(duì)檢測(cè)出的噪聲實(shí)例進(jìn)行自適應(yīng)校正，并重新投入域適應(yīng)學(xué)習(xí)中。RoDAC的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。其中，F(xiàn)為特征提取器，G為多層感知分類(lèi)器，源域和目標(biāo)域共享F和G。M為基于元網(wǎng)絡(luò)的自適應(yīng)噪聲檢測(cè)器，用于自適應(yīng)地檢測(cè)噪聲實(shí)例。P為原型分類(lèi)器，用于自適應(yīng)地校正噪聲實(shí)例。通過(guò)局部最大均值差異(Local Maximum Mean Discrepancy,LMMD)[22]計(jì)算源域與目標(biāo)域間的條件分布差異，并縮小域間的分布距離，實(shí)現(xiàn)源域知識(shí)遷移。

圖1 標(biāo)簽噪聲DA學(xué)習(xí)過(guò)程

圖2 RoDAC網(wǎng)絡(luò)結(jié)構(gòu)圖

1.2 自適應(yīng)噪聲標(biāo)簽檢測(cè)

1.2.1 實(shí)例損失加權(quán)

若僅考慮源域上的監(jiān)督分類(lèi)任務(wù)，分類(lèi)學(xué)習(xí)損失可表示為

(1)

式中，J是交叉熵?fù)p失函數(shù)，f是由θ參數(shù)化的假設(shè)函數(shù)。為減少噪聲標(biāo)簽對(duì)分類(lèi)學(xué)習(xí)的影響，RoDAC自適應(yīng)地對(duì)源域樣本加權(quán)，即基于損失對(duì)樣本重采樣，獲得加權(quán)的源域分類(lèi)損失Lwce描述如下：

(2)

式中，w是由α∈Bd參數(shù)化的權(quán)重函數(shù)，將實(shí)例映射至實(shí)例權(quán)重。

(3)

θ和α的求解是一個(gè)雙線性問(wèn)題。在域適應(yīng)學(xué)習(xí)中，θ的更新包括兩部分：源域分類(lèi)損失和域分布對(duì)齊損失。

1.2.2 源域數(shù)據(jù)劃分

(4)

1.3 自適應(yīng)噪聲標(biāo)簽校正

在ANLD中，RoDAC利用實(shí)例加權(quán)來(lái)減少噪聲實(shí)例對(duì)分類(lèi)學(xué)習(xí)的影響，同時(shí)將源域數(shù)據(jù)集劃分為干凈和噪聲實(shí)例集。在ANLC中，對(duì)噪聲實(shí)例集進(jìn)行標(biāo)簽校正并重新投入域適應(yīng)學(xué)習(xí)，而非簡(jiǎn)單丟棄，以充分利用源域知識(shí)。

通過(guò)可視化研究發(fā)現(xiàn)，即使將干凈實(shí)例和噪聲實(shí)例一同訓(xùn)練，干凈實(shí)例仍會(huì)聚簇在所屬類(lèi)別原型的周?chē)?。因此，RoDAC選擇原型分類(lèi)器[22]代替?zhèn)鹘y(tǒng)的多層感知器進(jìn)行噪聲校正，即使用干凈實(shí)例集中的樣本計(jì)算原型中心，并基于該原型中心校正噪聲實(shí)例集中的樣本。

(5)

接下來(lái)，對(duì)標(biāo)簽校正后的數(shù)據(jù)進(jìn)行域間條件分布對(duì)齊。對(duì)于干凈源實(shí)例，直接使用真實(shí)類(lèi)標(biāo)簽；而對(duì)于噪聲源實(shí)例，則使用原型分類(lèi)器的預(yù)測(cè)結(jié)果作為其軟標(biāo)簽，即

(6)

RoDAC將校正后的源域?qū)嵗匦峦度胗蜻m應(yīng)學(xué)習(xí)并采用LMMD度量[23]進(jìn)行條件分布對(duì)齊，LMMD可刻畫(huà)如下：

(7)

(8)

1.4 總體學(xué)習(xí)目標(biāo)和優(yōu)化

上述內(nèi)容已詳細(xì)闡明了RoDAC中的噪聲標(biāo)簽檢測(cè)和噪聲標(biāo)簽校正過(guò)程，RoDAC的總目標(biāo)函數(shù)刻畫(huà)如下：

(9)

此類(lèi)雙線性問(wèn)題的求解需要兩層嵌套的優(yōu)化循環(huán)，在幾何上降低了求解效率。為進(jìn)一步加速優(yōu)化，借鑒Meta-Weight-Net[24]和DS3L[25]的在線學(xué)習(xí)策略，分別通過(guò)單個(gè)優(yōu)化循環(huán)更新θ和α。為進(jìn)一步闡述優(yōu)化過(guò)程，將內(nèi)循環(huán)的更新標(biāo)記為L(zhǎng)inner(θ,α)，外循環(huán)α的更新標(biāo)記為L(zhǎng)outer(θ)。給定權(quán)重函數(shù)w的參數(shù)αt，θt+1的更新由以下梯度等式得到：

θt+1=θt-ηθ?θLinner(θt,αt)，

(10)

αt+1=αt-ηα?αLouter(θt+1)。

(11)

具體學(xué)習(xí)框架如算法1所示：

算法1RoDAC的學(xué)習(xí)框架

輸出：權(quán)重函數(shù)參數(shù)α和模型參數(shù)θ;

⑤由公式(2)和(7)分別計(jì)算加權(quán)監(jiān)督損失Lwce和Lalign;

⑥計(jì)算內(nèi)循環(huán)損失Linner(θ,α);

⑦更新參數(shù)θt+1←θt-ηθ?θLinner(θt,αt);

⑧由公式(3)計(jì)算外循環(huán)損失Louter(θ);

⑨更新參數(shù)αt+1←αt-ηα?αLouter(θt+1);

⑩end for

2 結(jié)果與分析

在本節(jié)中，分別在圖像識(shí)別和數(shù)字分類(lèi)任務(wù)上將RoDAC方法與SOTA域適應(yīng)學(xué)習(xí)方法進(jìn)行性能比較。

2.1 實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集：Office-31是無(wú)監(jiān)督域適應(yīng)的基準(zhǔn)數(shù)據(jù)集，用于圖像識(shí)別任務(wù)，包含3個(gè)域，共計(jì)31個(gè)類(lèi)別，4 110張圖像。其中Amazon (A)是從https://www.amazon.com下載的圖像，Webcam (W)和DSLR (D)分別包含由不同攝影設(shè)置的網(wǎng)絡(luò)相機(jī)和數(shù)碼單反相機(jī)拍攝的圖像。

Digits用于數(shù)字分類(lèi)任務(wù)，其中usps和mnist都是灰色手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集，包括0-9類(lèi)10個(gè)類(lèi)別。usps包含7 291張訓(xùn)練圖像和2 007張測(cè)試圖像，大小為16×16。mnist包含60 000張訓(xùn)練圖像和10 000張測(cè)試圖像，大小為28×28。svhn是彩色手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集，包含4 578張訓(xùn)練圖像和1 627張測(cè)試圖像，大小為32×32。

實(shí)驗(yàn)設(shè)置：為模擬噪聲標(biāo)簽的域適應(yīng)場(chǎng)景，手動(dòng)創(chuàng)建噪聲標(biāo)簽數(shù)據(jù)集。遵循無(wú)監(jiān)督域適應(yīng)(Unsupervised Domain Adaptation,UDA)的實(shí)驗(yàn)設(shè)置，訓(xùn)練中僅包含噪聲標(biāo)簽的源域數(shù)據(jù)和無(wú)標(biāo)簽的目標(biāo)域數(shù)據(jù)。所有對(duì)比方法都在pytorch深度學(xué)習(xí)框架中復(fù)現(xiàn)。為了公平比較，所有方法都設(shè)置相同的超參數(shù)、預(yù)處理和特征提取網(wǎng)絡(luò)，然后對(duì)每個(gè)學(xué)習(xí)任務(wù)詳細(xì)說(shuō)明實(shí)驗(yàn)設(shè)置。

對(duì)于圖像識(shí)別任務(wù)，將所有圖像縮放至256×256，同時(shí)通過(guò)隨機(jī)裁剪進(jìn)行數(shù)據(jù)增強(qiáng)，最終將圖片尺寸統(tǒng)一為224×224。使用resnet-50作為特征提取器，256輸出單元的瓶頸層和31類(lèi)分類(lèi)器層作為多層感知分類(lèi)器。

2.2 實(shí)驗(yàn)結(jié)果

在源域標(biāo)簽噪聲率為40%的場(chǎng)景中，將本文方法與經(jīng)典無(wú)噪聲的UDA方法進(jìn)行對(duì)比，在Office-31和Digits數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表1、表2所示。結(jié)果表明，RoDAC在源域存在噪聲標(biāo)簽的場(chǎng)景中有著明顯的性能提升，驗(yàn)證了其有效性。

表1 Office-31數(shù)據(jù)集上40%噪聲比的準(zhǔn)確率(%)

表2 Digits數(shù)據(jù)集上40%噪聲比的準(zhǔn)確率(%)

RoDAC包括兩個(gè)學(xué)習(xí)階段，分別為噪聲標(biāo)簽檢測(cè)LNLD和噪聲標(biāo)簽校正LNLC。為進(jìn)一步驗(yàn)證方法的有效性，在40%噪聲比的Digits數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。通過(guò)自適應(yīng)噪聲檢測(cè)器檢測(cè)噪聲實(shí)例，減少其對(duì)分類(lèi)和域適應(yīng)學(xué)習(xí)的負(fù)面影響，可有效提升目標(biāo)域的學(xué)習(xí)性能；與此同時(shí)，采用自適應(yīng)噪聲標(biāo)簽校正器對(duì)噪聲標(biāo)簽進(jìn)行校正，從而將噪聲實(shí)例重新投入訓(xùn)練而并非直接丟棄，可充分利用源域知識(shí)，進(jìn)一步提升學(xué)習(xí)性能。

表3 RoDAC的消融實(shí)驗(yàn)

在Digits數(shù)據(jù)集分類(lèi)任務(wù)上對(duì)3種不同噪聲比下的基準(zhǔn)方法和RoDAC方法的性能進(jìn)行比較，結(jié)果見(jiàn)圖3。在域適應(yīng)學(xué)習(xí)中，目標(biāo)域?qū)W習(xí)精度受噪聲比的影響很大，隨著噪聲比的增大，性能銳降。RoDAC的學(xué)習(xí)性能也隨著噪聲比的增加而下降，但相較于基準(zhǔn)方法下降程度較為平緩，特別是在噪聲比為60%時(shí),RoDAC的學(xué)習(xí)性能優(yōu)于噪聲比為40%時(shí)基準(zhǔn)方法的學(xué)習(xí)性能，進(jìn)一步驗(yàn)證了RoDAC的有效性。

圖3 不同噪聲比下的性能比較

3 結(jié)論

為解決源域數(shù)據(jù)中噪聲標(biāo)簽的域適應(yīng)問(wèn)題，本文提出兩階段的魯棒學(xué)習(xí)策略RoDAC，包含自適應(yīng)噪聲標(biāo)簽檢測(cè)和自適應(yīng)噪聲標(biāo)簽校正。首先，采用基于元網(wǎng)絡(luò)的自適應(yīng)噪聲檢測(cè)器識(shí)別噪聲源實(shí)例，以緩和其對(duì)訓(xùn)練過(guò)程的影響；其次，采用基于原型分類(lèi)器的自適應(yīng)噪聲標(biāo)簽校正方法，對(duì)檢測(cè)出的噪聲實(shí)例進(jìn)行自適應(yīng)校正，并重新投入學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明，與經(jīng)典的UDA方法相比，在源域數(shù)據(jù)存在噪聲標(biāo)簽的域適應(yīng)場(chǎng)景中，RoDAC的學(xué)習(xí)性能有顯著提升。