王 斌，李 昕

中國石油大學(xué)（華東）計算機科學(xué)與技術(shù)學(xué)院，山東 青島 266580

域自適應(yīng)也叫域遷移，主要研究在擁有已標記源域數(shù)據(jù)和未標記目標域數(shù)據(jù)的情況下學(xué)習(xí)目標模型[1]。域自適應(yīng)分為單源域和多源域算法。單源域算法是將模型從一個源域自適應(yīng)到一個目標域，常用的方法是最小化兩個域之間的散度。文獻[2]將一階和二階數(shù)據(jù)統(tǒng)計中定義的距離函數(shù)最小化。多源域自適應(yīng)問題主要的處理方法是從多樣化的輸入提取共性特征，并泛化到目標域，預(yù)測目標域中數(shù)據(jù)的標簽屬性。文獻[3]從一組假設(shè)中為多個域挑選性能最好的?；贖散度度量，文獻[4]推導(dǎo)出了目標域的分類錯誤上限。還有許多方法采用了深度學(xué)習(xí)的方法，例如文獻[5]使用了判別器來對齊源域和目標域的分布。盡管實現(xiàn)過程不同，但是上述算法都需要數(shù)據(jù)集的域標簽，即假設(shè)數(shù)據(jù)是按照任務(wù)或類別進行分類，并且進行了類別的編號。這樣的假設(shè)存在以下問題：一是大大增加了數(shù)據(jù)準備的工作量，二是實際場景中容易獲得數(shù)據(jù)，但是很難知道數(shù)據(jù)的域標簽并進行分類。在保證準確率的前提下，如果設(shè)計的網(wǎng)絡(luò)模型能夠無視域標簽，只是將數(shù)據(jù)分為源域和目標域兩個域。那么將會大大減小數(shù)據(jù)準備工作量，并且能夠簡化域?qū)R的模型設(shè)計復(fù)雜度，具有重要的現(xiàn)實意義。

1 動態(tài)模型的定義

已有神經(jīng)網(wǎng)絡(luò)模型大多基于如圖1（a）所示的靜態(tài)網(wǎng)絡(luò)，無論其主干網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)還是對抗生成網(wǎng)絡(luò)，都遵守著訓(xùn)練、預(yù)測的實施流程。網(wǎng)絡(luò)在訓(xùn)練結(jié)束后，測試和驗證數(shù)據(jù)經(jīng)過靜態(tài)參數(shù)生成分類結(jié)果。但是根據(jù)源數(shù)據(jù)訓(xùn)練出的網(wǎng)絡(luò)參數(shù)很難適應(yīng)只有少量參與或沒有參與訓(xùn)練過程的目標域數(shù)據(jù)。特別面對映射源域到隱藏空間，通過減小距離完成域?qū)R的算法，因為網(wǎng)絡(luò)輸入端域分布差異較大，損失函數(shù)進行的控制會被輸入端的分散平衡掉，讓聚集空間變得再次分散。這通常會讓網(wǎng)絡(luò)在優(yōu)化和退化間來回波動，嚴重影響網(wǎng)絡(luò)性能。

圖1 模型示意圖Fig.1 Schematic diagram of model

動態(tài)模型主要是基于塊[6]或信道[7]的架構(gòu)，這些塊或信道根據(jù)輸入樣本而變化。文獻[8]提出了依賴于輸入塊的決策路徑，該路徑?jīng)Q定了網(wǎng)絡(luò)塊應(yīng)該被保留還是丟棄。文獻[9]通過添加新的并行塊來拓寬網(wǎng)絡(luò)，并訓(xùn)練注意力模塊動態(tài)選擇最佳特征組合。本文提出了一種動態(tài)殘差塊網(wǎng)絡(luò)結(jié)構(gòu)，在靜態(tài)卷積核上短路連接一個與輸入相關(guān)的殘差矩陣，生成的動態(tài)參數(shù)與輸入相關(guān)，且能擬合數(shù)據(jù)域，實現(xiàn)動態(tài)多源域自適應(yīng)，結(jié)構(gòu)如圖1（b）所示。動態(tài)殘差塊在輸入樣本基礎(chǔ)上生成動態(tài)模型參數(shù)ΔW(x)。與靜態(tài)模型不同，首先，動態(tài)殘差塊貫穿了訓(xùn)練、測試、驗證過程，在經(jīng)過訓(xùn)練后已經(jīng)較好的擬合源數(shù)據(jù)。且始終能夠根據(jù)輸入數(shù)據(jù)調(diào)整參數(shù)，特別是對未參與訓(xùn)練的目標域數(shù)據(jù)，動態(tài)調(diào)整模型參數(shù)，達到擬合目標域數(shù)據(jù)分布的目的。其次，動態(tài)模型不需要定義域或收集域標簽，打破了域間壁壘，將多源域自適應(yīng)問題轉(zhuǎn)化為單源域問題。模型的輸入和輸出變?yōu)椋斎耄簕S1,S2,…,S N}，輸出：T。動態(tài)模型帶來了范數(shù)級的流程優(yōu)化，模型的引入讓映射更具彈性?；趧討B(tài)模型的域自適應(yīng)算法的設(shè)計重心從如何設(shè)計好的損失函數(shù)轉(zhuǎn)移到如何設(shè)計好的網(wǎng)絡(luò)結(jié)構(gòu)上。

動態(tài)殘差結(jié)構(gòu)在理論上能夠外接到所有的卷積核組上，但是這樣會讓網(wǎng)絡(luò)架構(gòu)變得格外臃腫，大大增加了網(wǎng)絡(luò)參數(shù)的存儲空間和訓(xùn)練時間。為了避免這種情況，本文的設(shè)計思路只在基于諸如Resnet、Densenet等網(wǎng)絡(luò)的每個卷積核組上添加一個動態(tài)參數(shù)殘差塊，讓靜態(tài)網(wǎng)絡(luò)具備動態(tài)模型調(diào)整性能。因為殘差塊的計算量比靜態(tài)塊小得多，由此產(chǎn)生的額外計算成本非常低（小于0.1%）[10]，且過擬合趨勢小。在提高效率的同時，動態(tài)殘差塊可以根據(jù)樣本數(shù)據(jù)模擬源域的域變化，在Digit-5數(shù)據(jù)集上，準確率比靜態(tài)的方法（例如：MCD算法[11]）提高了8.1%。與最好的多源域自適應(yīng)方法相比，除了具有損失函數(shù)復(fù)雜度低，模型結(jié)構(gòu)簡化的優(yōu)點外，增益也提升了3.9%。

2 動態(tài)殘差網(wǎng)絡(luò)的設(shè)計

本章將建立融合動態(tài)殘差塊的多源域自適應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)。訓(xùn)練過程中，模型顯式的是適應(yīng)輸入，但在本質(zhì)上是參數(shù)在隱式地適應(yīng)域分布。

2.1 定義

多源域自適應(yīng)的目標是將從多個源域S={S1,S2,…,S N}中學(xué)到的分布規(guī)律轉(zhuǎn)移到目標域T中。模型設(shè)計的目標是得到一個分類器W(x)=Wc+ΔW(x)，能夠?qū)D像x∈X映射為類y∈Y={1,2,…,C}，其中C代表樣本的類別總數(shù)，X代表輸入圖像。從數(shù)據(jù)的角度可以將源數(shù)據(jù)集表示為為源樣本x si的標簽編碼，S表示源數(shù)據(jù)分布。目標數(shù)據(jù)集沒有數(shù)據(jù)標簽，可被表示為：，式中表示符號定義同上。在最一般化問題描述中，源數(shù)據(jù)的域標簽是未知的，但是有很多文獻通過人工或其他方式加上了域標簽數(shù)據(jù)，這樣源數(shù)據(jù)集合就會包含源域標簽z i∈{1,2,…,N}，從而表示成：，稱這類算法為域監(jiān)督算法，而本文的算法不需要知道域標簽，因此是域無監(jiān)督多源域自適應(yīng)算法。

2.2 基于動態(tài)殘差塊（dynamic residual block，DRB）的模型設(shè)計

動態(tài)模型的主要困難是模型參數(shù)W的訓(xùn)練。受到算力的限制，很難為每個卷積核都連接上動態(tài)殘差塊，并且大規(guī)模的訓(xùn)練殘差塊中的參數(shù)。因此設(shè)計的關(guān)鍵是在網(wǎng)絡(luò)結(jié)構(gòu)中合理的添加動態(tài)模型，為此本文設(shè)計了兩個添加策略。首先，是以訓(xùn)練好的靜態(tài)網(wǎng)絡(luò)為主干，動態(tài)殘差短路連接到幾個卷積核組成的卷積組上。其次，為每個殘差塊添加了開關(guān)函數(shù)，動態(tài)的控制殘差塊的接入數(shù)量。具體描述如下：

其中，Wc表示靜態(tài)網(wǎng)絡(luò)參數(shù)，ΔW(x)表示依賴輸入x的動態(tài)殘差參數(shù)。通常，需要將殘差塊加到各個網(wǎng)絡(luò)層。因為組件Wc是訓(xùn)練好不變部分，所以靜態(tài)模型是動態(tài)網(wǎng)絡(luò)中殘差塊為0的特殊情況，即ΔW(x)=0。

本文采用了Resnet-50作為靜態(tài)模型的主干網(wǎng)絡(luò)，各層配置如表1所示。受到AlexNet網(wǎng)絡(luò)的設(shè)計啟發(fā)，將分類器稍作改變，進行了兩路并行全連接分類。這種改變一方面加快網(wǎng)絡(luò)的訓(xùn)練速度，再者采用雙路預(yù)測能夠增加準確率。第三，更容易進行源域和目標域的交叉對齊，如圖2所示。因為此處的源域是多個域的集合，數(shù)據(jù)域的分布就是多個域的集合，所以這里不再需要兩兩對齊，拉近源域和目標域就等價拉近了原有目標域和各個源域的距離。動態(tài)殘差塊短路連接在各層中的3×3卷積核上用來進行域間的特征提取。

圖2 網(wǎng)絡(luò)模型架構(gòu)圖Fig.2 Network model architecture

表1 模型主框架層構(gòu)成說明Table 1 Composition description of model’s main frame layer

在動態(tài)殘差塊的具體設(shè)計上，動態(tài)殘差需要映射數(shù)

據(jù)集中包含兩方面的信息：一是通道隱藏的數(shù)據(jù)特征信息；二是數(shù)據(jù)中的域空間相關(guān)信息。結(jié)構(gòu)設(shè)計如圖3所示，其內(nèi)部組件的功能描述如下：

通道注意力。采用全局平均池化和全連接的方式，動態(tài)殘差塊用如下公式重新調(diào)整了輸入數(shù)據(jù)的各個通道W0：

其中，Λ(x)是參數(shù)為輸入x的對角陣Cout×Cout，與輸出通道大小相同。這可以被看作基于注意力機制的動態(tài)特征提取。得到的通道經(jīng)過全局平均池化轉(zhuǎn)化成包含圖像特征信息的參數(shù)。

子空間路由。動態(tài)殘差塊包含n個大小為k×k的卷積核陣，核陣Φi的線性組合來模擬域所在的空間，可以被當作卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重空間的基：

動態(tài)系數(shù)θi(x)由通道注意力機制得到的參數(shù)經(jīng)過全連接生成，可以進行反向傳遞，但不一定線性無關(guān)。θi(x)可以被看作殘差矩陣在權(quán)重子空間內(nèi)的投影，通過與輸入相關(guān)的參數(shù)來選擇這些投影，網(wǎng)絡(luò)就能夠選擇不同的特征子空間參與運算，隱性的對應(yīng)選擇了輸入數(shù)據(jù)的域空間分布。為了減少參數(shù)和計算量，θi(x)可以進一步簡化為1×1卷積核，并應(yīng)用于ResNet中瓶頸架構(gòu)的最窄層。

開關(guān)函數(shù)。根據(jù)文獻[12]，殘差塊并不是都對最后的結(jié)果產(chǎn)生貢獻，通過計算殘差塊的貢獻度，對結(jié)果貢獻度低的塊可以斷開其與主干網(wǎng)絡(luò)的連接。這樣做可以大大節(jié)約運算的時間和空間。因為是殘差塊是通過短路的方式連接在網(wǎng)絡(luò)上，因此殘差塊的斷開不影響神經(jīng)網(wǎng)絡(luò)的正反向數(shù)據(jù)傳遞。在殘差塊的接入通路上，為每個塊加上一個開關(guān)函數(shù)，定義為：δj?[0,1]0≤j≤K，其中K為整個模型中殘差塊的數(shù)目。

合并。將上述各部分進行合并，動態(tài)殘差矩陣公式如下：

與SE（squeeze-and-excitation）塊[13]類似，動態(tài)系數(shù)Λ(x)和{θi(x)}由一個輕量級注意力分支實現(xiàn)，如圖3所示，該分支包括平均池化和全連接層，實際操作中需要用sigmoid歸一化Λ(x)，用softmax歸一化{θi(x)}[14]。與靜態(tài)模型相比，動態(tài)模型參數(shù)生成和殘差塊聚集需要的額外算力可以忽略不計（實際小于0.1%）。

圖3 基于動態(tài)殘差的多域自適應(yīng)模型結(jié)構(gòu)圖Fig.3 Structure diagram of multi-domain adaptive model based on dynamic residual

2.3 損失函數(shù)

與常見的域自適應(yīng)問題類似，動態(tài)模型的損失函數(shù)是由多部分組成，如下式所示：

η和γ是超參數(shù)，用來平衡各部分損失。

第一部分損失是由源數(shù)據(jù)DS產(chǎn)生的交叉熵損失：

第二部分是目標域數(shù)據(jù)DT的自損失：

第三部分是域間分布距離損失，用來對齊源域和目標域的分布，減小域間距離。

其中DT是目標數(shù)據(jù)，H是距離函數(shù)用來衡量源域和目標域的特征分布差異。H函數(shù)可以采用各種計算距離的公式，例如MMD[15]，生成對抗網(wǎng)絡(luò)[16]等。值得一提的是所有公式的運算過程中都不需要域標簽，單源域和多源域采用同樣的處理方式，對多源域問題，也不需要逐個的進行域間的對齊。

3 實驗分析

3.1 模型及參數(shù)

本文主要在Digit-5數(shù)據(jù)集上進行了驗證，數(shù)據(jù)集包含了5個域，分別為：Mnist（mt）、Synthetic（sy）、MINIST-m（mm）、SVHN（sv）以及USPS（up），括號中是縮寫。USPS域包含29 752張圖像作為訓(xùn)練集，1 860張圖像作為驗證集。其他4個域各有25 000張圖像作為訓(xùn)練集，9 000張圖像作為驗證集。單張圖像尺寸為32×32，總共有167 612張。模型采用了基于預(yù)訓(xùn)練參數(shù)的Resnet-50作為主框架，提出的動態(tài)殘差模塊放在每個子模塊3×3卷積核上進行短路連接。學(xué)習(xí)率為0.001，批處理大小16。

3.2 模擬核實驗

動態(tài)殘差塊中卷積核是模擬輸入域的數(shù)量以及分布，沒有任何公式能夠反映兩者在數(shù)學(xué)上的對應(yīng)關(guān)系。為了驗證卷積核數(shù)對模型準確率的影響，選取MNIST-m作為目標域，將殘差塊中的卷積核數(shù)目從1至7選擇進行驗證，每批圖像為15張，循環(huán)30周期。

由圖4的實驗結(jié)果可知，卷積核數(shù)據(jù)太少降低了模擬準確率，1個卷積核準確率為87.74%，這是因為卷積核組沒有很好的模擬目標數(shù)據(jù)域的分布。當卷積核個數(shù)達到4個，準確率最高，達到92.24%。第二高的是6個卷積核，結(jié)果也達到了91.69%。但是整體呈震蕩分布的趨勢。此外，通過后續(xù)實驗發(fā)現(xiàn)數(shù)據(jù)集的不同也可能對準確率產(chǎn)生影響。由此可見，卷積核的數(shù)據(jù)的確會對準確率產(chǎn)生一定影響，但這并非決定性的。在平衡準確率和存儲效率之后，本文后續(xù)卷積核個數(shù)采用準確率最高的4個和6個進行實驗。

圖4 動態(tài)殘差塊中卷積數(shù)目消融實驗Fig.4 Ablation experiment of convolution number in dynamic residual block

3.3 消融實驗

本文在每個動態(tài)殘差塊前加了開關(guān)，在開關(guān)兩種狀態(tài)下，分為包含4個卷積核和6個卷積核兩個場景，來測試加入開關(guān)對預(yù)測準確率的影響。實驗結(jié)果如表2所示。

表2 開關(guān)消融實驗Table 2 Ablation experiment for breakpoint %

實驗結(jié)果表明，在6個卷積核有開關(guān)的設(shè)置下，與4核無開關(guān)相比，除了以SVHN作為目標域，模型準確率有了5.19個百分點的下降外，在其他情況下準確率有大約0.1～6.0個百分點的提升。這是因為SVHN采用了復(fù)雜的背景作為干擾源，開關(guān)的加入在一定程度上排除了多余參數(shù)的干擾，從而提高了類別預(yù)測準確率。同時，也進一步優(yōu)化了模型計算需要的時間和空間。

3.4 準確率對比

為保證驗證的公平性，實驗輪換將每個域作為目標域，其他4個域數(shù)據(jù)混合作為源域數(shù)據(jù)（列標題是4domains，縮寫為4D），而卷積核組分別用4核和6核對動態(tài)殘差卷積的有效性進行了進一步驗證，實驗共進行10組，與作為基準的8個算法準確率進行了比較。這8個算法中，Resnet-50是主框架，沒有進行域?qū)R相關(guān)操作，與DANN[18]、ADDA[16]、MCD[10]、DCTN[5]等算法作為靜態(tài)算法的代表。其余3個都在網(wǎng)絡(luò)中加入了動量匹配組件、動態(tài)特征提取器等結(jié)構(gòu)設(shè)計，作為動態(tài)算法的對比。

而DRT算法中也采用了遷移的動態(tài)操作，是動態(tài)方法的代表，其他6個算法均為采用距離、生成對抗等方法進行了域?qū)R的靜態(tài)算法。

由表3數(shù)據(jù)可知，本文提出的動態(tài)殘差網(wǎng)絡(luò)在以Mnist-m為目標域的準確率比DRT算法有0.6個百分點的下降。這是因為Mnist-m數(shù)據(jù)集的背景較為復(fù)雜，卷積核在擬合未知復(fù)雜數(shù)據(jù)分布方面仍有不足。除此以外，在其他4個域上，采用4個卷積核和6個卷積核加開關(guān)的準確率都高于現(xiàn)有最好水平。特別是采用6個卷積核的情況下，在全部5個域的預(yù)測中，平均準確率比現(xiàn)有最好算法提高了2.38個百分點，充分說明了本文算法的優(yōu)越性。這其中，動態(tài)算法比靜態(tài)算法準確率高是因為基于樣本的參數(shù)真實反映了數(shù)據(jù)特征，而卷積核的窮舉又與數(shù)據(jù)集的域分布相對應(yīng)，兩者乘積更好地擬合了未知域特征。而DRB算法比同為動態(tài)算法準確率高的原因是因為并不是所有的殘差塊都對結(jié)果起到正向效果，開關(guān)函數(shù)較好地將反向作用殘差關(guān)閉，這樣做既節(jié)約了運行空間和時間，也更好地得到了擬合的結(jié)果，提高了準確率。

表3 模型準確率結(jié)果統(tǒng)計Table 3 Statistics of model accuracy results %

4 結(jié)束語

本文提出了基于動態(tài)殘差塊的多源域自適應(yīng)算法，模型參數(shù)采用了對輸入樣本自適應(yīng)的動態(tài)參數(shù)，而不是靜態(tài)的。動態(tài)殘差緩解了多個域之間的沖突，并將多源域問題統(tǒng)一到單源域中，簡化了模型設(shè)計的復(fù)雜度，而不需要域標簽的參與又降低了數(shù)據(jù)準備的工作量。實驗結(jié)果表明，與目前最先進的多源域自適應(yīng)方法相比，本文提出的算法具有更好的自適應(yīng)性能。