黃 露， 曾慶山

(鄭州大學 電氣工程學院 河南 鄭州 450001)

0 引言

我們正處在一個飛速發(fā)展的大數(shù)據(jù)時代，每天各行各業(yè)都產(chǎn)生海量的圖像數(shù)據(jù)。數(shù)據(jù)規(guī)模的不斷增大，使得機器學習的模型能夠持續(xù)不斷地進行訓練和更新，從而提升模型的性能。傳統(tǒng)的機器學習和圖像處理中，通常假設訓練集和測試數(shù)據(jù)集遵循相同的分布，而在實際視覺應用中相同分布假設很難成立，諸如姿勢、光照、模糊和分辨率等許多因素都會導致特征分布發(fā)生改變,而重新標注數(shù)據(jù)工作量較大，且成本較高，也就形成了大量的不同分布的訓練數(shù)據(jù)，如果棄之不用則會造成浪費。如何充分有效地利用這些不同分布的訓練數(shù)據(jù)，成為計算機視覺研究中的一個具有挑戰(zhàn)性的問題。而遷移學習是針對此類問題的一種有效解決方法，能夠將知識從標記的源域轉移到目標域，用來自舊域的標記圖像來學習用于新域的精確分類器。

目前，遷移學習已經(jīng)成為人工智能領域的一個研究熱點。其基本方法可以歸納為4類[1]，即基于特征、基于樣本、基于模型及基于關系的遷移。其中基于特征的遷移學習方法是指通過特征變換的方法，來盡可能地縮小源域與目標域之間的分布差異，實現(xiàn)知識跨域的遷移[2-8]。文獻[2]提出遷移主成分分析(transfer component analysis，TCA)，通過特征映射得到新的特征表示，以最大均值差異(maximum mean discrepancy，MMD)作為度量準則，將領域間的邊緣分布差異最小化。由于TCA僅對域間邊緣分布進行適配，故而有較大的應用局限性。文獻[3]提出的聯(lián)合分布自適應(joint distribution adaptation，JDA)在TCA的基礎上增加對源域和目標域的條件概率進行適配，聯(lián)合選擇特征和保留結構性質，將域間差異進一步縮小?；跇颖镜倪w移方法通常對樣本實例進行加權[9-10]，以此來削弱源域中與目標任務無關的樣本的影響，不足之處是容易推導泛化誤差上界，應用的局限性較大?；谀Ｐ偷倪w移方法則是利用不同域之間能夠共享的參數(shù)信息，來實現(xiàn)源域到目標域的遷移。而基于關系的遷移學習方法關注的是不同域的樣本實例之間的關系，目前相關方面的研究較少。

本文提出的基于平衡概率分布和實例的遷移學習算法(balanced distribution adaptation and instance based transfer learning algorithm，BDAITL)是一種混合算法，結合了上述的基于特征和樣本實例這兩種基本的遷移算法。在多個真實數(shù)據(jù)集上進行的多組相關實驗表明，BDAITL算法模型泛化性能良好。

1 問題描述

遷移學習就是把源域中學習到的知識遷移到目標域，幫助目標域進行模型訓練。領域和任務是遷移學習的兩個基本概念。下面從領域和任務的定義方面，對要解決的問題進行描述[1]。

定義1領域D是遷移學習中進行學習的主體，由特征空間χ和邊緣概率分布P(X)組成,可以表示為D={χ,P(X)}，其中：特征矩陣X={x1,x2,…,xn}∈χ。領域與領域之間的不同一般有兩種情況，特征空間不同或邊緣概率分布不同。

定義2給定一個領域D，任務T定義為由類別空間Y和一個預測函數(shù)f(x)構成，表示為T={Y,f(x)}，其中類別標簽y∈Y。

2 基于平衡概率分布和實例的遷移學習算法

BDAITL算法從特征和樣本實例兩個層面進行知識的遷移。首先，使用基于核的主成分分析法(Kernel principal component analysis，KPCA)，采用非線性映射將源域與目標域的高維數(shù)據(jù)映射到一個低維子特征空間。然后，在子空間內采用MMD方法聯(lián)合匹配域間的邊緣分布和條件分布。與JDA直接忽略兩者之間重要性不同的是，BDAITL算法采用平衡因子來評估每個分布的重要性[4]。另外，JDA在適配條件分布時，由于目標域無標簽，無法直接建模，采用了類條件概率來近似、隱含地假設每個域中該類的概率是相似的，而實際應用中通常是不成立的。而BDAITL算法在適配條件分布時，充分考慮類不平衡問題，采用加權來平衡每個域的類別比例，得出了更為穩(wěn)健的近似。最后，考慮源域中并不是所有的樣本實例都與目標任務的訓練有關，采用L2,1范數(shù)將行稀疏性引入變換矩陣A，選擇源域中相關性高的實例進行目標任務模型的訓練。BDAITL算法的具體過程在下文介紹。

2.1 問題建模

首先，針對源域和目標域特征維數(shù)過高的問題，對其進行降維重構，最大限度地最小化領域間的分布差異，從而利于判別信息從源域到目標域的遷移。記X=[Xs,Xt]=[x1,x2,…,xn]∈Rm×n表示源域和目標域的所有樣本組成的矩陣，中心矩陣表示為H=I-(1/n)1，其中：m表示樣本維數(shù)；n=ns+nt表示樣本總數(shù)；1∈Rn×n表示元素全為1的矩陣。PCA的優(yōu)化目標是找到正交變換V∈Rm×q，使樣本的協(xié)方差矩陣XHXT最大化，即

max tr(VTXHXTV), s.t.VTV=I，

(1)

其中：q為降維后特征子空間基向量的個數(shù)；新的特征表示為Z=VTX。

本文使用KPCA方法對源域和目標域數(shù)據(jù)降維。利用KPCA方法，應用核映射X→Ψ(X)對PCA進行非線性推廣，獲取數(shù)據(jù)的非線性特征，相應的核矩陣為K=Ψ(t)TΨ(t)∈Rn×n，對式(1)進行核化后可得

max tr(ATKHKTA), s.t.ATA=I，

(2)

其中：A∈Rn×q是變換矩陣；核化后的特征表示為Z=ATK。

其次，平衡概率分布。遷移學習需要解決的一個主要問題是減小源域與目標域之間的分布差異，包括邊緣分布和條件分布，將不同的數(shù)據(jù)分布的距離拉近。本文采用MMD方法來最小化源域與目標域之間的邊緣分布P(Xs)、P(Xt)以及條件分布P(ys/xs)、P(yt/xt)的距離。即

(3)

其中：μ∈[0,1]是平衡因子。當μ→0時，表示源域和目標域數(shù)據(jù)本身存在較大的差異性，邊緣分布更重要;當μ=0時，即為TCA；當μ→1時，表示域間數(shù)據(jù)集有較高的相似性，條件分布適配更為重要；當μ=0.5時，即為JDA。也就是說，平衡因子根據(jù)實際數(shù)據(jù)分布的情況，來動態(tài)調節(jié)每個分布的重要性。源域與目標域邊緣概率分布的MMD距離計算如下，Mo是MMD矩陣，

(4)

(5)

適配源域與目標域的條件概率分布時，采用加權來平衡每個域的類別比例。具體為

(6)

其中：αs、αt表示權值。故源域與目標域條件概率分布的MMD距離計算為

(7)

(8)

綜合式(2)、式(3)、式(7)和式(8)，可得源域和目標域的平衡概率分布

(1-μ)tr(ATKMoKTA)+μtr(ATKWcKTA),

(9)

最后，實例更新。源域中通常會存在一些特殊的樣本實例，對于訓練目標域的分類模型是沒有用的。由于變換矩陣A的每一行都對應一個實例，基于它們與目標實例的相關性，行稀疏性基本上可以促進實例的自適應加權，實現(xiàn)更新學習。故本文對變換矩陣中與源域相關的部分As引入L2,1范數(shù)約束, 同時對與目標域相關的部分At施加F范數(shù)約束，以保證模型是良好定義的。即

(10)

通過最小化式(10)使得式(2)最大化，與目標實例相關(不相關)的源域實例被自適應地重新加權，在新的特征表示Z=ATK中具有更大(更少)的重要性。

綜上所述，可得本文的最終優(yōu)化目標

(11)

其中：λ是權衡特征匹配和實例重新加權的正則化參數(shù)，能夠控制模型復雜度并保證模型正定。

2.2 目標優(yōu)化

式(11)所示目標函數(shù)是一個帶有約束的最優(yōu)化問題，利用Lagrange法進行求解，記

其中：ai是矩陣A的第i行。這樣將求解變換矩陣A歸結為求解特征分解，得到q個最小的特征向量。

3 實驗結果及分析

3.1 實驗數(shù)據(jù)集

為了研究和測試算法的性能，在不同的數(shù)據(jù)集上進行測試實驗。USPS和MNIST是包含0～9的手寫數(shù)字的標準數(shù)字識別數(shù)據(jù)集，分別包含訓練圖像60 000幅和7 291幅以及測試圖像10 000幅和2 007幅，示例如圖1所示。office由3個對象域組成：amazon(在線電商圖像)、webcam(網(wǎng)絡攝像頭拍攝的低解析度圖像)、DSLR(單反相機拍攝的高清晰度圖像)，共有4 652幅圖像，31個類別。caltech-256是對象識別的基準數(shù)據(jù)集，共有30 607幅圖像，256個類別，示例如圖2所示。

圖1 MINST和USPS數(shù)據(jù)集圖片示例Figure 1 Example of MINST and USPS dataset

圖2 office和caltech-256數(shù)據(jù)集圖片示例Figure 2 Example of office and caltech-256 dataset

本文實驗采用文獻[5]中的方法預處理數(shù)據(jù)集MNIST和USPS，以及文獻[6]中方法的預處理數(shù)據(jù)集office和caltech-256。其統(tǒng)計信息如表1所示，數(shù)據(jù)子集M和U分別作為源域和目標域，可構建M→U、U→M兩個跨域遷移學習任務。數(shù)據(jù)子集A、W、D和C中任意兩個作為源域和目標域，可構建12個跨域遷移學習任務，記為：D→W、D→C、…、A→C。

表1 實驗數(shù)據(jù)子集的統(tǒng)計信息Table 1 Dataset used in the experiment

3.2 實驗結果分析

實驗驗證環(huán)節(jié)，將BDAITL方法與用于圖像分類問題的6種相關方法進行了比較，即最近鄰算法(nearest neighbor,NN)、主成分分析法(principal component analysis,PCA)、TCA、基于核的測地流形法(geodesic flow kernel, GFK)、JDA以及轉移聯(lián)合匹配方法(transfer joint matching, TJM)。評價準則是目標域中的樣本分類準確率(accuracy)，具體計算為

如表2所示，BDAITL算法的分類準確率相較于傳統(tǒng)方法NN和PCA有明顯的提升。與經(jīng)典遷移學習算法TCA、GFK、JDA、TJM相比，BDAITL算法的分類準確率在大部分的跨域學習任務中有較大幅度的提高，其中在任務M→U中較其最佳基準算法(GFK)提高了8.78%，這表明BDAITL算法在適配條件概率時采用加權來平衡每個域的類別比例對算法的性能提升是有效的，是平衡域之間不同類別分布的有效方法。同時實例的更新學習也能夠削弱一些不相關實例的影響，一定程度上提升了算法的性能。

表2 7種算法在14個遷移任務中的平均準確率Table 2 Accuracy comparison of 7 algorithms on 14 cross-domain tasks

3.3 參數(shù)分析

在本文的BDAITL算法的優(yōu)化模型中，設置了3個參數(shù)，即平衡因子μ、正則化參數(shù)λ以及子空間緯度q。實驗中通過保持其中兩個參數(shù)不變，改變第3個參數(shù)的值來觀察其對算法性能的影響。

平衡因子μ可以通過分別計算兩個領域數(shù)據(jù)的整體和局部的分布距離來近似給出。為了分析μ在不同的取值下對BDAITL算法性能的影響，取μ∈{0,0.1,0.2,…,0.9}，實驗結果如表3所示。從表中可以看出，不同的學習任務對于μ的取值敏感度不完全相同，如D→W、W→D、C→D、M→U、U→M分別在0.6、0.4、0.6、0.2、0.3時取得最大的分類準確率，μ值越大說明適配條件概率分布越重要。它表明在不同的跨領域學習問題中，邊緣分布自適應和條件分布自適應并不是同等重要的，而μ起到了很好的平衡作用。

表3 μ的取值對BDAITL算法準確率的影響Table 3 Influence of μ on the accuracy of the BDAITL algorithm

表4是q分別取20、40、60、80、100、140、180、220、260、300時，BDAITL算法的分類準確率的變化情況。從表中可以看出，不同的遷移學習任務在達到最優(yōu)性能時，所對應的q是不同的，即不同任務的最優(yōu)子空間緯度是不同的，如D→W、W→D、C→D、M→U、U→M的最優(yōu)子空間緯度分別是80、100、80、60、60。

正則化參數(shù)λ取值為λ∈{0.001,0.01,…,100}時，對BDAITL算法性能的影響如表5所示?？梢钥闯觯捎诓煌倪w移任務中源域與目標域的樣本實例相差較大，導致不同的遷移學習任務在λ的不同取值下得到最優(yōu)分類性能，其中部分任務如D→W、W→D、C→D、M→U、U→M分別是在0.1、10、0.1、1、1時取得最優(yōu)性能。

表5 λ的取值對BDAITL算法準確率的影響Table 5 Influence of λ on the accuracy of the BDAITL algorithm

4 總結

本文提出基于平衡概率分布和實例的遷移學習算法，融合了特征選擇和實例更新兩種策略。它采用平衡因子來自適應地調節(jié)邊緣和條件分布適應的重要性，使用加權條件分布來處理域間的類不平衡問題，然后融合實例更新策略，進一步提升算法的性能。在4個圖像數(shù)據(jù)集上的大量實驗證明了該方法優(yōu)于其他幾種方法。但參數(shù)優(yōu)化方面仍有改進的空間，在下一步的研究中將著重探索多參數(shù)優(yōu)化方法，以期進一步提高算法的性能。未來將繼續(xù)探索遷移學習中針對類不平衡問題的處理方法，在傳遞式遷移學習和多源域遷移學習方向進行深入研究。