楊?；?，應(yīng)文豪，龔聲蓉,+

(1.蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215006；2.常熟理工學(xué)院 計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 常熟 215500)

0 引 言

近年來，基于一個(gè)包含大量帶標(biāo)簽樣本的數(shù)據(jù)集(源域)，設(shè)計(jì)一種跨域圖像分類器算法來提高只有少量標(biāo)記樣本數(shù)據(jù)集(目標(biāo)域)上的分類準(zhǔn)確率引起了廣泛的關(guān)注[1]，跨域圖像分類方法主要分為兩類，一方面是對(duì)兩域間樣本數(shù)據(jù)的邊緣和條件做適配[2-7]，這類方法學(xué)習(xí)到的特征往往泛化能力較弱。另一方面，許多研究開始將深度學(xué)習(xí)和跨域圖像分類相結(jié)合，旨在學(xué)習(xí)更魯棒的特征。Rozantsev等[8]提出源域和目標(biāo)域的網(wǎng)絡(luò)框架中部分層使用不同的參數(shù)而非共享參數(shù)；Zhang等[9]將源域和目標(biāo)域分別輸入到兩個(gè)網(wǎng)絡(luò)，并且不分享參數(shù)以提取出更多的域特定特征；Shen等[10]利用同一網(wǎng)絡(luò)對(duì)源域和目標(biāo)域編碼，并優(yōu)化兩個(gè)編碼的相似性使源域和目標(biāo)域的數(shù)據(jù)分布在語義上對(duì)齊；Lee等[11]提出Sliced Wasserstein Discrepancy用于捕捉任務(wù)特定分類器輸出之間的自然差異；Ganin等[12]通過優(yōu)化網(wǎng)絡(luò)架構(gòu)最小化域間差異。上述方法都取得了較好的結(jié)果，但在提取特征時(shí)對(duì)兩域中圖像的域不變細(xì)節(jié)信息缺乏考慮。

綜上，為了充分利用數(shù)據(jù)中的細(xì)節(jié)信息，本文提出基于混合池化和樣本篩選機(jī)制的域不變細(xì)節(jié)特征提取方法(fine-tuned hybrid pooling for deep domain adaptation，F(xiàn)HPDDA)。首先，本文基于卷積神經(jīng)網(wǎng)絡(luò)提出混合池化策略，在原先的池化結(jié)果上進(jìn)一步提取全局特征和局部細(xì)節(jié)特征。其次，本文設(shè)計(jì)了一種樣本選擇機(jī)制，基于聚類思想從源域和目標(biāo)域中選取具有細(xì)節(jié)特征的樣本點(diǎn)，以學(xué)習(xí)兩域間的共有細(xì)節(jié)特征。

1 相關(guān)工作

WDGRL(wasserstein distance guided representation learning)的核心思想是將wasserstein距離作為距離度量函數(shù)，并通過減小域間距離來學(xué)習(xí)域不變特征表示。為了更好闡述該方法中的相關(guān)問題，下文中Ds表示源域，Xs表示源域中的樣本集合，Dt表示目標(biāo)域，Xt表示目標(biāo)域中的樣本集合。WDGRL的目標(biāo)函數(shù)如下

(1)

其中，Lc為判別器的數(shù)據(jù)損失部分，λ和γ為平衡參數(shù)，Lwd為WDGRL方法中的核心，表示源域和目標(biāo)域之間的差異程度，Lgrad為梯度懲罰項(xiàng)。

差異程度又可轉(zhuǎn)化為兩者之間的距離。針對(duì)不同的問題，研究人員提出不同的距離度量標(biāo)準(zhǔn)。WDGRL方法采用的wasserstein距離和其它距離相比，它的優(yōu)越性是，即使兩個(gè)分布沒有重疊，wasserstein距離仍然能夠反映它們之間的遠(yuǎn)近。給定一個(gè)度量空間 (M,ρ)，ρ(x,y) 是兩個(gè)樣本x和y間的距離函數(shù)，即wasserstein距離，表達(dá)式如下

(2)

其中，Phs，Pht是兩個(gè)領(lǐng)域中樣本的分布，fg(x) 為特征表示，fw(h) 為一個(gè)函數(shù)，該函數(shù)將特征表示fg(x) 轉(zhuǎn)換為所屬的類別編號(hào)。

如果 {fw} 滿足1 Lipschitz條件，wasserstein距離又可以轉(zhuǎn)化為求解模型的預(yù)測值與真實(shí)值之間的差值，即損失值。WDGRL方法中計(jì)算差值的損失函數(shù)如下

(3)

其中，xs表示源域中的樣本，xt表示目標(biāo)域中的樣本，ns為源域的樣本數(shù)，nt為目標(biāo)域的樣本數(shù)。

由式(3)可以看出，提取特征的好壞直接影響遷移效果。WDGRL模型利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)源域和目標(biāo)域中的樣本分別進(jìn)行卷積、池化等一系列操作，提取樣本的描述子特征。因?yàn)樘卣髦型幋a了某種模式或概念在特征圖的不同位置是否存在，而觀察不同特征的最大值能夠給出更多的信息[13]，所以WDGRL采用最大池化對(duì)卷積特征圖進(jìn)行處理，剔除無用且造成干擾的特征，僅保留能夠表征圖像內(nèi)容的全局特征。但是，在實(shí)際分類任務(wù)中，有些圖片的相似度很低，僅靠全局特征會(huì)造成機(jī)器的誤判，圖1(a)和圖1(b)可能會(huì)被誤判為車輪和眼鏡，但實(shí)際上它們和圖1(c)一樣，都屬于耳機(jī)這一類別。

圖1 共有特征不明顯的耳機(jī)類別

2 基于混合池化和樣本篩選的域不變細(xì)節(jié)特征提取算法

為了利用樣本數(shù)據(jù)中的細(xì)節(jié)信息提高分類器的性能，本文提出了基于混合池化和樣本篩選機(jī)制的域不變細(xì)節(jié)特征提取算法，算法過程見算法1。該算法的思路是首先為了提高分類器對(duì)細(xì)節(jié)特征的感應(yīng)程度，本文對(duì)卷積神經(jīng)網(wǎng)絡(luò)中的池化層進(jìn)行修改以優(yōu)化特征分布，使得全局特征和細(xì)節(jié)特征均勻分布。其次利用篩選算法對(duì)細(xì)節(jié)特征進(jìn)行聚類分析，挑選具有較強(qiáng)細(xì)節(jié)特征的樣本，然后將這些新樣本組成正樣本對(duì)以學(xué)習(xí)源域和目標(biāo)域兩域間的域不變細(xì)節(jié)特征，提高目標(biāo)域分類器對(duì)域不變細(xì)節(jié)特征的識(shí)別能力，從而提高識(shí)別準(zhǔn)確率。與其它跨域圖像分類算法相比，本文算法考慮了被忽略了的細(xì)節(jié)特征且通過適配正樣本對(duì)的細(xì)節(jié)特征以獲取域不變細(xì)節(jié)特征。具體網(wǎng)絡(luò)框架如圖2所示。

圖2 FHPDDA算法框架

2.1 基于混合池化的域間遷移學(xué)習(xí)

為了獲取圖像中的細(xì)節(jié)特征，本文首先利用卷積層M分別得到源域和目標(biāo)域的樣本xs和xt的特征表示fs和ft， 此時(shí)的特征存在許多無用特征，如背景特征。本小節(jié)提出的基于混合池化的域間遷移學(xué)習(xí)HPDDA(hybrid pooling for deep domain adaptation)首先對(duì)fs和ft進(jìn)行下采樣

(4)

(5)

其中，Nm是子區(qū)域的數(shù)量。αi、βi分別為源域和目標(biāo)域中的子區(qū)域。max*表示最大池化。最大池化篩選出了對(duì)分類有益的全局特征，同時(shí)減少了下一層數(shù)據(jù)的處理量。此時(shí)的特征集合包含的大多是圖像的全局特征，這導(dǎo)致最終用于目標(biāo)域分類的特征缺失具有關(guān)鍵性作用的細(xì)節(jié)特征，所以本文對(duì)特征集合進(jìn)一步處理并分類，一方面在全局特征中繼續(xù)篩選能詮釋全局的特征，一方面在全局特征中提取細(xì)節(jié)特征，這樣既能提高分類器對(duì)細(xì)節(jié)特征的敏感度，又能保證特征分布的均勻化。之所以會(huì)在全局特征的基礎(chǔ)上提取細(xì)節(jié)特征，是因?yàn)槿绻苯訉?duì)原始的圖像塊進(jìn)行細(xì)節(jié)特征提取，會(huì)有很多的干擾特征摻雜進(jìn)來，這在實(shí)驗(yàn)部分也做了驗(yàn)證實(shí)驗(yàn)。第二次的特征篩選結(jié)果如下

(6)

(7)

(8)

(9)

其中，N1為經(jīng)過第一次下采樣后的子區(qū)域的數(shù)量。由于平均池化和最大池化提取的特征對(duì)于最終的分類任務(wù)的有效程度不一，所以需要平衡兩者的關(guān)系。最終，我們通過合并上述池化結(jié)果的加權(quán)總和來制定最終的池化結(jié)果

(10)

(11)

然后將最終池化結(jié)果送入全連接層，得到最終的特征表示F(xs)，F(xiàn)(xt)， 并用第一小節(jié)提到的wasserstein距離來刻畫源域和目標(biāo)域之間的相似度，表示為

(12)

通過最小化LDA值來減小領(lǐng)域之間的差異，使得擁有相同標(biāo)簽但卻屬于不同分布的樣本能夠在映射空間中比較靠近或者分布相似。有許多工作只把焦點(diǎn)放在目標(biāo)域分類準(zhǔn)確率上，使得重新訓(xùn)練好的模型在目標(biāo)域上有較好的效果，但往往這些模型不再適用于源域。所以HPDDA在減小域間差異的同時(shí)也考慮了分類誤差最小化，實(shí)現(xiàn)過程及效果如圖3所示，圖中空心形狀表示源數(shù)據(jù)，實(shí)心形狀表示目標(biāo)數(shù)據(jù)。這種情況下模型得到的特征大多具備魯棒性，從而解決遷移中的泛化問題。實(shí)現(xiàn)細(xì)節(jié)是通過減小損失函數(shù)Lc來最小化分類誤差

圖3 HPDDA的兩個(gè)優(yōu)化目標(biāo)

(13)

本文算法創(chuàng)新點(diǎn)之一就是通過改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)中的池化層，這充分利用了源域和目標(biāo)域中樣本包含的重要細(xì)節(jié)信息。本文的實(shí)驗(yàn)分別對(duì)集成了最大池化的算法和集成了混合池化的算法進(jìn)行了實(shí)驗(yàn)，通過實(shí)驗(yàn)及分析，集成了混合池化的算法更能有效提高分類器的準(zhǔn)確率。

算法1： hybrid pooling for deep domain adaptation

輸入： source dataXs; target dataXt; learning rate for domain adapatationα; learning rate for classificationβ

輸出： accuracy on target data

(1) Initialize feature extractor, domain critic, discriminator with random weightsθg,θw,θc

(2) repeat

(3) Sample minibatch {xs,ys},{xt,yt} fromXsandXt

(4) fort=1,…,ndo

(5)hs←M(xs),ht←M(xt)

(6)f1(xs)←maxpooling(hs),f1(xt)←maxpooling(ht)

(8)

(10) end for

(13) untilθg,θw,θcconverge

2.2 訓(xùn)練樣本篩選和微調(diào)機(jī)制

針對(duì)域間細(xì)節(jié)特征缺失的問題，本小節(jié)通過篩選后的正樣本對(duì)預(yù)訓(xùn)練模型的參數(shù)進(jìn)行優(yōu)化，學(xué)習(xí)出源域和目標(biāo)域之間的域不變細(xì)節(jié)特征。

2.2.1 訓(xùn)練樣本篩選機(jī)制

2.1節(jié)用于學(xué)習(xí)細(xì)節(jié)特征表示的樣本都是隨機(jī)選擇的，但是，如果源域和目標(biāo)域所選擇的樣本不屬于同一類別，那么學(xué)習(xí)到的細(xì)節(jié)特征就不是域不變的。為了得到域不變的細(xì)節(jié)特征，本文提出另一個(gè)重要的創(chuàng)新點(diǎn)，對(duì)原來的樣本集進(jìn)行篩選，將符合條件的樣本組成新的樣本集，并利用新的樣本集合對(duì)2.1預(yù)訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行微調(diào)，詳細(xì)的新樣本集篩選算法過程如下：

(1)利用用k均值聚類算法對(duì)全連接層的特征進(jìn)行聚類，得到n個(gè)聚類中心 {c1,c2,…,cn};

(2)計(jì)算每個(gè)特征點(diǎn)與聚類中心點(diǎn)間的距離，記為Sfc， 我們認(rèn)為，在聚類中心輻射范圍內(nèi)的特征表示屬于同一特征表示，因它們?cè)谟成淇臻g中是不變的，所以包含這些特征的樣本具有相同的標(biāo)簽。本文將這個(gè)輻射范圍定義為λ， 距離小于等于λ的被認(rèn)為是正樣本，其余樣本則是負(fù)樣本；

(3)在篩選的過程中，依然分為源域和目標(biāo)域2個(gè)樣本集，記為Xs,Xt， 并按照標(biāo)簽將其分為m個(gè)子數(shù)據(jù)集，其中Xs={[Xs1,Xs2,…,Xsm]，Ys=[Ys1,Ys2,…,Ysm]}，Xt={[Xt1,Xt2,…,Xtm]，Yt=[Yt1,Yt2,…,Ytm]}，m表示類別數(shù)，將兩個(gè)域的樣本集統(tǒng)稱為DC。

至此，域不變細(xì)節(jié)特征學(xué)習(xí)中所用到的訓(xùn)練樣本篩選結(jié)束。

2.2.2 微調(diào)學(xué)習(xí)機(jī)制

2.1節(jié)預(yù)訓(xùn)練的HPDDA模型雖然能夠提取圖像包含的細(xì)節(jié)特征，但必須保證訓(xùn)練的樣本對(duì)屬于同一類別才能提取域不變的細(xì)節(jié)特征，這對(duì)于隨機(jī)選取樣本的策略來說有很大困難。本小節(jié)利用篩選后的新樣本集DC對(duì)預(yù)訓(xùn)練的模型進(jìn)行微調(diào)，微調(diào)后的模型稱作FHPDDA。FHPDDA保留HPDDA的卷積層C1-C2，對(duì)剩下的卷積層C3和全連接層FC1,FC2層的參數(shù)進(jìn)行優(yōu)化，訓(xùn)練流程如下：①對(duì)篩選后的樣本進(jìn)行數(shù)據(jù)增強(qiáng)；②每次從源域和目標(biāo)域數(shù)據(jù)集中選擇標(biāo)簽相同的樣本對(duì)送入模型進(jìn)行特征提??；③利用Softmax回歸層進(jìn)行有監(jiān)督的學(xué)習(xí)訓(xùn)練，迭代微調(diào)需要優(yōu)化層的訓(xùn)練參數(shù)，直至模型趨于收斂。

3 實(shí)驗(yàn)研究

為了驗(yàn)證所提方法的有效性，本節(jié)將在多個(gè)具有遷移學(xué)習(xí)場景的圖像數(shù)據(jù)集上設(shè)計(jì)多個(gè)學(xué)習(xí)任務(wù)：①討論改進(jìn)池化方法的有效性；②對(duì)超參數(shù)γ和聚類中心數(shù)n進(jìn)行了研究；③討論篩選后樣本對(duì)提取域不變細(xì)節(jié)特征的有效性；④在MNIST-USPS和Office-Caltech數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)。

3.1 數(shù)據(jù)集

MNIST-USPS數(shù)據(jù)集。該數(shù)據(jù)集是遷移學(xué)習(xí)領(lǐng)域里使用較頻繁的數(shù)據(jù)集，MNIST包含7萬張黑底白字手寫數(shù)字圖片，其中55 000張為訓(xùn)練集，5000張為驗(yàn)證集，10 000張為測試集。本文將數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)之前，先將圖像的像素用長度為784的一維數(shù)組來代替，再將該數(shù)組作為神經(jīng)網(wǎng)絡(luò)的輸入特征輸入神經(jīng)網(wǎng)絡(luò)。USPS數(shù)據(jù)集中的訓(xùn)練集有55 000張圖片，測試集有1860張。

Office-Caltech數(shù)據(jù)集。該數(shù)據(jù)集是域適配領(lǐng)域的一個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集。它包含了10個(gè)類別，橫跨了4個(gè)領(lǐng)域：Amazon, Webcam，DSLR和Caltech，分別記作A,W,D,C。本文利用這個(gè)數(shù)據(jù)集做了幾組實(shí)驗(yàn)。

3.2 實(shí)驗(yàn)環(huán)境

本文所有的實(shí)驗(yàn)都在TensorFlow框架上實(shí)現(xiàn)，所采用的軟硬件環(huán)境為：Inter Core I5-4 GHz CPU；3.4 GB RAM，Ubantu16.04；Python 3.5；如無特別說明，在所有實(shí)驗(yàn)中參數(shù)學(xué)習(xí)率lr的初始化為1e-4。所提出網(wǎng)絡(luò)框架中的卷積神經(jīng)網(wǎng)絡(luò)M是由3個(gè)卷積層組成，提取到的深度特征再送入本文提出的混合池化層，先經(jīng)由最大池化層得到整張圖像的全局結(jié)構(gòu)信息，然后在后面疊加由最大池化和平均池化級(jí)聯(lián)而成的級(jí)聯(lián)池化層。最大池化層能進(jìn)一步對(duì)圖像的全局特征進(jìn)行抽取，平均池化進(jìn)一步獲取特征圖中的局部細(xì)節(jié)特征，使得最終提取的特征既包含全局特征，也沒有忽略具有關(guān)鍵細(xì)節(jié)信息的局部特征。最后連接兩個(gè)全連接層，分別有1024和100個(gè)神經(jīng)元。

3.3 實(shí)驗(yàn)結(jié)果及分析

3.3.1 融合實(shí)驗(yàn)

為了驗(yàn)證混合池化的有效性，本部分將對(duì)池化部分做一個(gè)融合實(shí)驗(yàn)。表1是我們的實(shí)驗(yàn)結(jié)果，其中WDGRL表示對(duì)原先的特征提取器不做任何改變，WDGRL union mean-pooling表示在原有的最大池化層級(jí)聯(lián)一層平均池化，并通過一定比例的系數(shù)將兩者進(jìn)行加權(quán)得到最后的池化結(jié)果；WDGRL+mean-pooling表示在原有的最大池化層后增加一個(gè)平均池化層，將平均池化層的輸出作為最后的池化結(jié)果；HPDDA則是2.1提出的基于混合池化的域間遷移方法。從表1可以看出，當(dāng)直接與平均池化層級(jí)聯(lián)時(shí)，分類準(zhǔn)確率下降的很快，這是因?yàn)閷?duì)原有的特征圖進(jìn)行平均池化，會(huì)將很多的背景信息當(dāng)成是主要特征，而這些特征導(dǎo)致機(jī)器判斷錯(cuò)誤，準(zhǔn)確率下降。直接在最大池化層后增加平均池化層后，分類準(zhǔn)確率得到顯著提升，這是因?yàn)橥ㄟ^最大池化后，背景及其它噪聲已被剔除，再利用平均池化對(duì)局部特征提取的有效性，提取特征圖的主要特征及細(xì)節(jié)特征。而對(duì)于本文提出的混合池化，它在上一個(gè)方法的基礎(chǔ)上又級(jí)聯(lián)了一層最大池化連接最大池化后的結(jié)果，得到的特征既包括全局特征又有細(xì)節(jié)特征，這使得分類準(zhǔn)確率有了進(jìn)一步的提升。

表1 改進(jìn)池化方法的有效性評(píng)估

3.3.2 超參數(shù)的有效性分析

3.3.2.1 混合池化層的權(quán)重參數(shù)γ

因?yàn)橐獙?duì)兩個(gè)池化結(jié)果進(jìn)行加權(quán)求和，所以本小節(jié)的實(shí)驗(yàn)利用MNIST-USPS數(shù)據(jù)集對(duì)權(quán)重的選擇進(jìn)行了討論。如圖4所示，將最后一層為最大池化的權(quán)重設(shè)為γ， 最后一層平均池化的權(quán)重設(shè)為1-γ。

圖4 混合池化的過程

表2記錄了權(quán)重參數(shù)γ選取不同值時(shí)的分類準(zhǔn)確率。由表2可以看出，當(dāng)γ=0.6時(shí)，準(zhǔn)確率達(dá)到最高，說明雖然利用最大池化實(shí)現(xiàn)下采樣可以提取出圖像的主特征，但對(duì)于本文所要處理的任務(wù)來說，僅使用一層最大池化提取到的特征并不能使分類器達(dá)到最佳狀態(tài)，因?yàn)槿笔Я司植考?xì)節(jié)特征。當(dāng)γ<0.6時(shí)，準(zhǔn)確率不斷提升，而且提升最大的達(dá)到2%，這說明平均池化雖然可以得到細(xì)節(jié)信息，但是也會(huì)得到很多無用甚至干擾分類結(jié)果的信息，直接導(dǎo)致分類準(zhǔn)確率的下降。當(dāng)γ>0.6時(shí)，準(zhǔn)確率緩緩下降，這說明最大池化和平均池化是相輔相成的，并且最大池化占有主導(dǎo)地位。

表2 混合權(quán)重參數(shù)對(duì)分類準(zhǔn)確率的影響

3.3.2.2 聚類中心數(shù)n

聚類中心數(shù)對(duì)篩選后樣本的質(zhì)量有著直接影響，所以本小節(jié)的實(shí)驗(yàn)對(duì)聚類中心數(shù)n進(jìn)行了討論。圖5是HPDDA在MNIST-USPS數(shù)據(jù)集上超參數(shù)n取不同值對(duì)應(yīng)的分類精度圖。從圖5可以看出，當(dāng)聚類數(shù)n等于3時(shí)，HPDDA在MNIST-USPS數(shù)據(jù)集上的分類精度達(dá)到最高。當(dāng)n<3時(shí)，網(wǎng)絡(luò)的分類精度下降。可能的原因是每個(gè)類別的樣本都很大，因此會(huì)引入更多的噪聲。當(dāng)n>3時(shí)，分類精度也下降。其原因可以歸結(jié)為樣本量稀疏問題。

圖5 n值對(duì)分類準(zhǔn)確率的影響

3.3.3 樣本篩選有效性分析

本文主要是通過提取域間不變細(xì)節(jié)特征提高目標(biāo)域分類器的分類性能。2.1節(jié)的訓(xùn)練樣本是以隨機(jī)選擇的方式抽取的，這樣無法保證提取到的細(xì)節(jié)特征是域間不變的，所以2.2節(jié)提出利用樣本篩選機(jī)制篩選出具有顯著細(xì)節(jié)特征的樣本，并按標(biāo)簽從源域和目標(biāo)域抽取同一類別的樣本，送入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，為了驗(yàn)證本文提出的樣本篩選機(jī)制的有效性，本小節(jié)利用篩選后的樣本對(duì)2.1訓(xùn)練好的模型進(jìn)行微調(diào)，實(shí)驗(yàn)結(jié)果如下所示(黑色加粗?jǐn)?shù)據(jù)表示精度最高)。

HPDDA是集成了本文改進(jìn)后的混合池化的分類器模型，F(xiàn)HPDDA是對(duì)HPDDA進(jìn)行微調(diào)所得的分類器模型。從表3可以看出，F(xiàn)HPDDA的分類準(zhǔn)確率普遍比HPDDA高，因?yàn)楸疚牟捎脴颖竞Y選機(jī)制篩選出的樣本有助于域不變細(xì)節(jié)特征的提取，從而提高目標(biāo)域分類器對(duì)圖像中細(xì)節(jié)信息的敏感度。

表3 微調(diào)機(jī)制對(duì)分類準(zhǔn)確率的影響

3.3.4 FHPDDA與其它方法的性能比較

進(jìn)行實(shí)驗(yàn)對(duì)比的是近年來具有代表性的研究成果，包括Deep CORAL[3]、DANN[10]、WDGRL[14]。

S-only：制定一個(gè)最低的基準(zhǔn)。利用源域的標(biāo)簽數(shù)據(jù)訓(xùn)練一個(gè)識(shí)別網(wǎng)絡(luò)，該網(wǎng)絡(luò)由兩層卷積、兩層池化和兩層全連接層，再通過反向傳播算法訓(xùn)練網(wǎng)絡(luò)。最后將訓(xùn)練好的網(wǎng)絡(luò)直接用于目標(biāo)域。

Deep CORAL：通過減少源特征和目標(biāo)特征的二階統(tǒng)計(jì)量之間的距離來最小化域差異。

DANN：通過一個(gè)對(duì)抗模型來提高特征表示的質(zhì)量，該模型能夠區(qū)分源樣本和目標(biāo)樣本的學(xué)習(xí)特征，而特征抽取器試圖混淆域分類器。

WDGRL：將wasserstein距離作為模型的loss函數(shù)，并通過迭代對(duì)抗訓(xùn)練減小域間差異提高遷移效果。

從表4的結(jié)果可以看出，對(duì)于MNIST-USPS，本文提出的策略和其它幾種方法相比有較好的改善因?yàn)镸NIST和USPS兩個(gè)域的差異并不是特別大，所以大部分方法的遷移效果都比較好，而本文提出的混合池化因同時(shí)兼顧了全局信息和局部細(xì)節(jié)特征，使得提取的特征分布更均勻且更具魯棒性，所以最終分類準(zhǔn)確率提高了約2%。對(duì)于Office-Caltech數(shù)據(jù)集，與其它方法相比，本文提出的算法在分類效果上都有明顯的提升。其中，Webcam和Amazon兩個(gè)域之間的差異很大，以前的方法改善并不是很明顯，原因是對(duì)于這種差距比較大的數(shù)據(jù)集，很難學(xué)習(xí)到它們之間的共有特征，所以導(dǎo)致分類效果大打折扣。而本文提出的算法的準(zhǔn)確率提高了約2%，這表明該方法對(duì)于差異比較大的領(lǐng)域提取的特征是具有魯棒性的。

表4 FHPDDA與其它方法的性能比較

圖6、圖7分別為MNIST遷移到USPS的精度方差/標(biāo)準(zhǔn)差曲線圖和損失值曲線圖。圖6中的accvar_source，accvar_target 分別表示源域和目標(biāo)域中測試樣本的精度方差，accavg_source，accavg_target分別表示源域和目標(biāo)域

圖6 分類精度的標(biāo)準(zhǔn)差/方差

中測試樣本的精度標(biāo)準(zhǔn)差?？梢钥吹皆从蚝湍繕?biāo)域精度方差的波動(dòng)幅度差不多，前期波動(dòng)較大，說明該網(wǎng)絡(luò)框架并不是很穩(wěn)定，經(jīng)過10 000次迭代訓(xùn)練后，精度方差值趨于平穩(wěn)，且趨于0，這說明本文提出模型的精度已經(jīng)達(dá)到最好。圖7中源域和目標(biāo)域的loss值經(jīng)過10 000次迭代后趨于平穩(wěn)，這說明模型已經(jīng)收斂。

圖7 源域及目標(biāo)域的損失值

4 結(jié)束語

本文提出了一種基于混合池化的深度卷積特征提取方法。通過對(duì)最大池化后的特征進(jìn)行最大池化和平均池化的級(jí)聯(lián)，使得提取的特征在包含全局信息的基礎(chǔ)之上對(duì)細(xì)節(jié)信息更加敏感，并利用篩選后的正樣本提取圖像間的域不變細(xì)節(jié)特征，以獲取更具魯棒性的細(xì)節(jié)特征，最終提高分類器在目標(biāo)域上的準(zhǔn)確率。與最近針對(duì)域適配問題提出的算法相比，本文提出的策略不僅在目標(biāo)域上的分類準(zhǔn)確率有所提高，在源域上的準(zhǔn)確率也有小幅度提高。

實(shí)驗(yàn)結(jié)果雖然驗(yàn)證了混合池化策略的有效性，但依然有待改進(jìn)的地方，其中一個(gè)是可以對(duì)源域中的樣本進(jìn)行預(yù)處理，去除一些背景信息較多的圖像樣本；還有一點(diǎn)是實(shí)驗(yàn)中只在最后一個(gè)卷積層之后采取了混合池化策略，如果在每一個(gè)卷積操作后都采取該策略效果是否會(huì)更好。這兩點(diǎn)是以后工作研究的重點(diǎn)。