陶 洋，楊 雯，翁 善，林飛鵬

(重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065)

0 引 言

在實際應(yīng)用中，傳統(tǒng)機器學(xué)習(xí)算法面臨著缺乏標(biāo)簽樣本的困境。近年來，遷移學(xué)習(xí)和領(lǐng)域自適應(yīng)方法得到廣泛研究，這類方法將源域(訓(xùn)練集)豐富的知識遷移到目標(biāo)域(測試集)來解決缺乏標(biāo)簽問題[1-3]?；谔卣鞅磉_的領(lǐng)域適配方法通過原始空間或投影空間中的特征表示實現(xiàn)源域和目標(biāo)域之間的對齊[4-6]。Zhang等[7]提出了隱稀疏域遷移模型，在域之間聯(lián)合學(xué)習(xí)稀疏編碼和最優(yōu)子空間，挖掘子空間中源域和目標(biāo)域共有的隱藏結(jié)構(gòu)。B.Sun等[8]提出子空間分布對齊法，在子空間對齊的基礎(chǔ)上增加了概率分布自適應(yīng)，對源域和目標(biāo)域進行二階特征變換，實現(xiàn)源域和目標(biāo)域數(shù)據(jù)對齊。然而這些方法都沒有很好地利用樣本的標(biāo)簽信息提高分類性能，因此一些方法結(jié)合了分類器設(shè)計和特征表示算法的優(yōu)點，利用了樣本的標(biāo)簽信息增強了模型的判別性[9-11]，還有一些方法利用樣本標(biāo)簽，挖掘了重構(gòu)矩陣所包含的樣本之間的類內(nèi)與類間信息，提高模型的分類性能[12]。本文中，主要研究了基于特征表示的領(lǐng)域自適應(yīng)，并提出了基于遷移子空間的半監(jiān)督領(lǐng)域自適應(yīng)方法(semi-supervised domain adaptation via transfer subspace，SSDTS)。該方法利用類別標(biāo)簽先驗信息，進一步分析同類樣本之間的相似性和異類樣本之間的差異性，得到鑒別性共享子空間和具有塊對角結(jié)構(gòu)的類重構(gòu)矩陣，最終提高模型的分類性能。

1 相關(guān)理論

1.1 子空間學(xué)習(xí)

子空間學(xué)習(xí)(subspace learning，SL)是基于某一特定準(zhǔn)則，將原始高維的樣本變換到低維、有意義的子空間中，其目的是為了找出數(shù)據(jù)的內(nèi)在結(jié)構(gòu)[13,14]，得到能反映原始樣本分類本質(zhì)的低維特征。子空間學(xué)習(xí)的任務(wù)有兩個，一是尋找針對模式最具鑒別性的描述，用較低維度的特征描述原始樣本并保留分類所需的鑒別信息。二是原始數(shù)據(jù)進行維度約減后，能減少后續(xù)運算的計算量，提高運算速度。

1.2 稀疏表示和低秩表示

子空間學(xué)習(xí)方法中的兩大重要理論包括稀疏表示(sparse representation，SR)和低秩表示(low-rank representation，LRR)。其中稀疏問題來自域信號處理領(lǐng)域的壓縮感知(compressive sensing，CS)。稀疏性是指為了更好地對復(fù)雜的多維圖像進行描述，可以將圖像信號看成是由適當(dāng)選取的一組過完備基中少數(shù)幾個基的線性組合，即用最少基的線性組合來表達圖像信號，得到信號在這組基上的稀疏表示。稀疏表示能從大量樣本中發(fā)掘數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，具有良好的自適應(yīng)性和鑒別性，然而其在求解過程中缺乏對整體樣本結(jié)構(gòu)的全局約束，因此難以有效發(fā)掘樣本的全局結(jié)構(gòu)。矩陣的稀疏性可以通過秩來度量，具有很強的全局約束。低秩表示系數(shù)矩陣可以增強對噪聲的抵抗能力。當(dāng)數(shù)據(jù)來自多個獨立子空間時，低秩表示能夠準(zhǔn)確發(fā)現(xiàn)數(shù)據(jù)本身蘊含的多子空間結(jié)構(gòu)。此時獲得的低秩表示系數(shù)矩陣會呈現(xiàn)塊對角形式，每個塊對應(yīng)每個子空間。

2 基于遷移子空間的半監(jiān)督領(lǐng)域自適應(yīng)方法

2.1 方法概述

圖1 SSDTS算法整體框架

2.2 問題建模

遷移子空間學(xué)習(xí)的目標(biāo)是找到一個投影矩陣，通過投影矩陣將源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)投影到共享子空間，在子空間中源域和目標(biāo)域樣本分布大致相同。本文提出的方法假設(shè)在共享子空間中目標(biāo)域數(shù)據(jù)可以由源域數(shù)據(jù)線性重構(gòu)，可形式化的表示為

(1)

其中，φ(·)是原始特征空間到再生希爾伯特空間的非線性映射，P是投影矩陣，Z是重構(gòu)矩陣。稀疏表示是局部約束，能夠發(fā)現(xiàn)數(shù)據(jù)間的局部線性關(guān)系，對重構(gòu)矩陣Z施加稀疏約束，不僅可以保留數(shù)據(jù)的局部結(jié)構(gòu)，而且使每個目標(biāo)域樣本可以被少量源域樣本更好地重構(gòu)。低秩性不僅有利于揭示塊對角結(jié)構(gòu)，還能夠保留數(shù)據(jù)的全局結(jié)構(gòu)。對重構(gòu)矩陣Z施加低秩約束使矩陣具有塊對角結(jié)構(gòu)，獲得源域樣本和目標(biāo)域樣本的一致表示，使源域樣本和目標(biāo)域樣本在共享子空間中可以很好地對齊。對重構(gòu)矩陣Z同時施加稀疏和低秩約束后可得

(2)

(3)

(4)

(5)

利用樣本的先驗類別信息，將嚴格的二值標(biāo)簽矩陣松弛為變量矩陣，增大投影后不同類樣本之間的距離，挖掘樣本內(nèi)蘊含的鑒別信息，加強投影后子空間中樣本的判別性，以此提高分類性能。式(5)可以表示為

(6)

圖嵌入方法能夠保證相同類的樣本在轉(zhuǎn)換后能緊密地聚集在一起，避免過擬合。引入了類緊致圖(class compactness graph，CCG)作為正則項。在類緊致圖中，同一個類的兩個不同樣本通過無向邊連接，因此類緊致圖的權(quán)重定義為

(7)

其中，σ表示核參數(shù)，可以通過下式(8)使得轉(zhuǎn)換后的同類樣本緊密聚集在一起

(8)

其中，fi=xiP表示轉(zhuǎn)換后的第i個訓(xùn)練樣本xi，L表示拉普拉斯圖，定義為L=D-W，D為對角矩陣，對角元素為Dij=∑jWij。聯(lián)合式(6)和式(8)，最終定義的目標(biāo)函數(shù)如下

(9)

2.3 模型優(yōu)化求解

(10)

其中，k(·)是核函數(shù)，滿足條件k(xi,xj)=〈φ(xi),φ(xj)〉=φ(xi)Tφ(xj)。令K=φ(X)Tφ(X)，Ks=φ(X)Tφ(Xs)和Kt=φ(X)Tφ(Xt)表示核格列姆矩陣。通常最優(yōu)投影矩陣P可以直觀地表示為φ(X)的線性組合，即P=φ(X)Φ。將其代入到式(10)中，可以得到

(11)

為了求解式(11)，采取了變量交替優(yōu)化策略，即固定其它變量來迭代更新每個變量。通過對重構(gòu)矩陣Z引入兩個輔助變量J和T，將引入新輔助變量的最小化問題重新寫成

(12)

通過增強的拉格朗日乘數(shù)(augmented lagrange multiplier，ALM)，上述式(12)可以轉(zhuǎn)換為以下最小化問題

(13)

其中，Y1和Y2是拉格朗日乘子，μ>0是懲罰參數(shù)。上述式(13)問題可以通過不精確拉格朗日法(inexact augmented lagrange multiplier，IALM)解決，具體步驟如下所示：

步驟1更新Φ，固定變量Z，J，T和N，解決優(yōu)化式(14)來更新Φ

(14)

(15)

其中，式(15)中的A=Y+B⊙M。

步驟2更新J，去掉與J無關(guān)的項后，式(13)可以重新寫成下列形式

(16)

式(16)可以進一步寫成下列形式

(17)

通過奇異值閾值(SVT)算子可以有效地解決式(17)。

步驟3更新T，去掉與T無關(guān)的項后，式(13)可以重新寫成下列形式

(18)

式(18)可以進一步寫成下列形式

(19)

利用收縮算子對式(19)求解，結(jié)果如下所示

(20)

步驟4更新Z，去掉與Z無關(guān)的項后，式(13)可以重新寫成式(21)形式

(21)

通過式(21)很難得到Z的封閉解，根據(jù)梯度下降算子，可以得到解ZK+1的表達式

(22)

其中，Z的導(dǎo)數(shù)可以表示為式(23)

(23)

步驟5更新N，可以通過解決式(24)問題更新N

(24)

令ΦTK-Y=I，考慮N的第(i,j)項Nij，可以得到下式

(25)

Nij的最優(yōu)解是

Nij=max(IijHij,0)

(26)

因此，N的最優(yōu)解也可以改寫為

N=max(I⊙H,0)

(27)

表1中詳細總結(jié)了所提算法的迭代優(yōu)化過程。

表1 SSDTS算法迭代流程

3 實驗驗證與結(jié)果分析

本文使用的基準(zhǔn)數(shù)據(jù)集分別是：Office、Caltech256、COIL、MNIST和USPS數(shù)據(jù)集。為了驗證本論文提出算法的性能，在上述基準(zhǔn)數(shù)據(jù)集上進行實驗，并與多個相關(guān)的經(jīng)典領(lǐng)域自適應(yīng)算法，即SGF、GFK、JDA、LTSL、SA、LSDT、CORAL、LRSR算法進行對比。本文提出的SSDTS算法選擇K-最近鄰分類器作為分類器。由于SSDTS算法是半監(jiān)督遷移學(xué)習(xí)算法，目標(biāo)域中存在部分標(biāo)簽，故使用源域樣本與少量有標(biāo)簽?zāi)繕?biāo)域樣本訓(xùn)練分類器，然后使用無標(biāo)簽?zāi)繕?biāo)域樣本測試分類效果。文中所有實驗均重復(fù)了20次，最后記錄平均分類正確率。

3.1 數(shù)據(jù)集介紹

Office數(shù)據(jù)集是可視化領(lǐng)域適配的基準(zhǔn)數(shù)據(jù)，該數(shù)據(jù)集包括了來自亞馬遜(Amazon)、數(shù)碼單反(DSLR)和網(wǎng)絡(luò)攝像頭(Webcam)3個域中的常見對象類別。在Office數(shù)據(jù)集中，每個域包含31個不同的對象，共有4652張圖像。Caltech256數(shù)據(jù)集包含了256個類別，共有30 607幅圖像。Office和Caltech數(shù)據(jù)集的部分圖像樣例如圖2所示。將Amazon用符號A表示，DSLR用符號D表示，Webcam用符號W表示，Caltech256用符號C表示，利用這4個域中共有的10個類別進行實驗。任意選取兩個域作為源域和目標(biāo)域進行實驗，一共可以得到12組相關(guān)實驗。根據(jù)文獻[12]中的設(shè)置，實驗中，當(dāng)Amazon作為源域時，則從每類中隨機選擇20個樣本作為源域數(shù)據(jù)集，如果是DSLR、Webcam和Caltech256作為源域，則從每類中隨機選擇8個樣本作為源域數(shù)據(jù)集。當(dāng)4個域的樣本作為目標(biāo)域時，從每類中隨機選擇3個樣本作為目標(biāo)域數(shù)據(jù)集，剩下的作為測試數(shù)據(jù)集。對于Office和Caltech256數(shù)據(jù)集采用SURF特征和DeCAF6兩種特征進行實驗。

圖2 Office和Caltech256數(shù)據(jù)集圖像樣例

USPS和MNIST數(shù)據(jù)集都包含10個類，分別是數(shù)字0-9，兩個數(shù)據(jù)集的部分樣例如圖3所示。USPS數(shù)據(jù)集中，包含訓(xùn)練圖像7291張和測試圖像2007張，共有9298張圖像。MNIST數(shù)據(jù)集中，包含60 000張訓(xùn)練圖像和10 000張測試圖像，共有70 000張圖像。在實驗中，從兩個數(shù)據(jù)集中隨機選擇10 000張圖像分別作為實驗中的源域和目標(biāo)域，一共可以得到2組相關(guān)實驗。當(dāng)USPS和MNIST數(shù)據(jù)集作為源域時，則從每類中隨機抽取100個樣本作為源域數(shù)據(jù)集，當(dāng)USPS和MNIST數(shù)據(jù)集作為目標(biāo)域時，從每類中隨機抽取10個樣本，共100個樣本作為目標(biāo)域數(shù)據(jù)集，其余未抽取樣本作為測試數(shù)據(jù)集。

圖3 USPS和MNIST數(shù)據(jù)集樣例

COIL-20數(shù)據(jù)集包含了20類對象，共1440張圖片。該數(shù)據(jù)集中的部分樣例如圖4所示。

圖4 COIL數(shù)據(jù)集樣例

在本次實驗中，數(shù)據(jù)集被劃分為兩個子集C1和C2，兩個子集各有720張圖像。將C1和C2交替作為源域和目標(biāo)域可以得到2組實驗。當(dāng)C1和C2子集作為源域時，選取子集中的所有樣本作為源域數(shù)據(jù)集，當(dāng)C1和C2子集作為目標(biāo)域時，從所有類別的樣本中隨機抽取270個樣本作為目標(biāo)域數(shù)據(jù)集，剩余未抽取樣本作為測試數(shù)據(jù)集。

3.2 實驗結(jié)果對比

在Office+Caltech256(SURF)數(shù)據(jù)集上進行分類實驗的結(jié)果具體見表2，在Office-Caltech256(DeCAF6)數(shù)據(jù)集上進行分類實驗的結(jié)果見表3，在USPS和MNIST數(shù)據(jù)集上進行分類實驗的結(jié)果見表4，在COIL數(shù)據(jù)集上進行分類實驗的結(jié)果見表5。下面4個表中部分實驗結(jié)果引自文獻[12]和文獻[15]，粗體數(shù)字為每個任務(wù)的最優(yōu)分類結(jié)果。

表2 在Office+Caltech256數(shù)據(jù)集(SURF)上的分類結(jié)果

綜合以上各組實驗結(jié)果可以看出，SSDTS算法在上述4個數(shù)據(jù)集共28個任務(wù)中，有21個任務(wù)的分類正確率超過了其它對比算法。除了Office-Caltech256數(shù)據(jù)集(SURF)，SSDTS算法在其余的數(shù)據(jù)集中各任務(wù)的平均分類正確率均超過了其它算法，驗證了在對齊領(lǐng)域總體分布時考慮樣本的先驗類別信息有利于提高分類正確率。

如表4所示，在USPS和MNIST數(shù)據(jù)集上，任務(wù)“M->U”的分類準(zhǔn)確率都不同程度高于任務(wù)“U->M”，這是因為MNIST數(shù)據(jù)集規(guī)模大于USPS數(shù)據(jù)集，提供的分類信息更加充足。如表5所示，在COIL數(shù)據(jù)集中的兩個任務(wù)都取得了最優(yōu)分類結(jié)果，平均分類準(zhǔn)確率達到了94.3%，比最優(yōu)對比方法LRSR提高了2.6%。如表3和表4所示，在(DeCAF6)Office-Caltech256數(shù)據(jù)集、USPS和MNIST數(shù)據(jù)集上的任務(wù)中，SSDTS算法的分類準(zhǔn)確率均高于LRSR算法，這表明利用樣本類標(biāo)簽，逐類考慮同類樣本的相似性和異類樣本的差異性，挖掘重構(gòu)矩陣中所蘊含的判別信息的有效性。

表3 在Office+Caltech256數(shù)據(jù)集(DeCAF6)上的分類結(jié)果

表4 在USPS和MNIST數(shù)據(jù)集上的分類結(jié)果

表5 在COIL數(shù)據(jù)集上的分類結(jié)果

3.3 重構(gòu)矩陣可視化

引入樣本的類標(biāo)簽信息，獲得具有塊對角結(jié)構(gòu)的類重構(gòu)矩陣，可以進一步挖掘樣本中蘊含的鑒別信息，揭示同類樣本之間的相似性和不同類樣本之間的差異性，有助于提高分類性能。如圖5所示，在Office-Caltech256(DeCAF6)數(shù)據(jù)集的實驗中，對重構(gòu)矩陣Z進行可視化，可以看到重構(gòu)矩陣Z呈現(xiàn)出塊對角結(jié)構(gòu)，也就是說目標(biāo)數(shù)據(jù)中的第c類樣本可以很好地由同類的源域數(shù)據(jù)線性表示。

圖5 重構(gòu)矩陣可視化

3.4 參數(shù)敏感性分析

如式(10)所示，SSDTS算法模型有λ1和λ2兩個參數(shù)。為了驗證參數(shù)的有效性，本節(jié)實驗測試了λ1和λ2兩個參數(shù)不同值的組合下對SSDTS算法性能的影響。在Office-Caltech256(DeCAF6)數(shù)據(jù)集的A->D任務(wù)和USPS-MNIST數(shù)據(jù)集的M->U任務(wù)上進行實驗。參數(shù)λ1和λ2的取值范圍設(shè)置為{10-3,10-2,10-1,1,101,102}。不同參數(shù)組合對分類正確率的影響如圖6所示?？梢钥闯觯煌姆诸惾蝿?wù)中對于參數(shù)λ1、λ2取值的敏感度不同。在A->D任務(wù)中，當(dāng)參數(shù)λ1=0.01，λ2=0.1時，得到最大分類準(zhǔn)確率，在M->U任務(wù)中，當(dāng)參數(shù)λ1=100，λ2=10時，得到最大分類準(zhǔn)確率。表明在不同跨域任務(wù)中，相同類之間的類內(nèi)依賴和不同類之間的類間獨立并不是同等重要。

圖6 重構(gòu)矩陣可視化

3.5 算法運行時間對比

本節(jié)對比了SSDTS算法與GFK、JDA、LSDT和LTSL算法的運行時間。所有的測試都在一臺CPU為Intel 1.8 Ghz雙核處理器、內(nèi)存為8 GB的計算機上完成，軟件平臺選定為MATLAB R2018b。本節(jié)實驗在Office-Caltech256(DeCAF6)數(shù)據(jù)集的W->D任務(wù)和COIL數(shù)據(jù)集的C1->C2任務(wù)上進行實驗，各個算法的執(zhí)行時間見表6。其中LSDT算法的運行時間最短，其次是SSDTS算法。LTSL算法的運行時間最長，這是因為該算法的收斂速度相較于其它算法較慢。

表6 算法運算時間對比/s

4 結(jié)束語

針對領(lǐng)域自適應(yīng)在跨領(lǐng)域圖像識別中存在領(lǐng)域偏差、數(shù)據(jù)特征分布不一致的問題，本文提出了一種基于遷移子空間的半監(jiān)督領(lǐng)域自適應(yīng)方法(SSDTS)，通過投影矩陣將源域樣本和目標(biāo)域樣本投影到低維共享子空間中，使得目標(biāo)域樣本被同類別源域樣本線性重構(gòu)，從而減少源域和目標(biāo)域之間的差異。此外，為充分發(fā)掘同類樣本之間的相似性和異類樣本之間的差異性，利用樣本的標(biāo)簽信息，得到具有塊對角結(jié)構(gòu)的類重構(gòu)矩陣。不同于現(xiàn)有的遷移子空間算法，SSDTS模型能夠充分發(fā)掘和利用領(lǐng)域間共享標(biāo)簽先驗知識，同時考慮子空間的判別性以及重構(gòu)矩陣蘊含的判別信息。在4個領(lǐng)域自適應(yīng)公開數(shù)據(jù)集(COIL、USPS-MNIST、Office-Caltech-SURF、Office-Caltech-DeCAF6)上進行實驗，結(jié)果表明SSDTS算法優(yōu)于現(xiàn)有大多數(shù)方法。