郭 輝，郭靜純，張 甜

(寧夏大學(xué) 信息工程學(xué)院，寧夏 銀川 750021)

0 引 言

傳統(tǒng)的機器學(xué)習(xí)、深度學(xué)習(xí)方法通常將注意力集中在單個任務(wù)上，在部分領(lǐng)域甚至能取得超越人類行為的優(yōu)異性能；但卻無法做到像人類一樣，利用不同任務(wù)之間的關(guān)聯(lián)信息，觸類旁通地掌握更多的知識技能?；蛘哒f，通過共享相關(guān)任務(wù)之間的表征，可以使模型更好地概括原始任務(wù)，這被稱為多任務(wù)學(xué)習(xí)。它是一種模仿人類泛化能力的方法，讓多個相關(guān)任務(wù)并行學(xué)習(xí)，在學(xué)習(xí)過程中，每個任務(wù)都會提供屬于自己特定領(lǐng)域但同時也有助于學(xué)習(xí)其他任務(wù)的信息，這可以有效提高網(wǎng)絡(luò)的泛化能力。因此，多任務(wù)學(xué)習(xí)方法的關(guān)鍵是在所有任務(wù)的聯(lián)合假設(shè)空間中引入歸納偏置，這種歸納偏置反映了網(wǎng)絡(luò)對任務(wù)相關(guān)性結(jié)構(gòu)的先驗認知[1]。如何更好地利用網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)共享是目前多任務(wù)學(xué)習(xí)面臨的主要挑戰(zhàn)之一[2]。

作為多任務(wù)學(xué)習(xí)最常用的一種深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，硬參數(shù)共享通過讓多個任務(wù)共享一些隱藏層來學(xué)習(xí)任務(wù)之間的聯(lián)合表示，而在輸出端根據(jù)每個任務(wù)的不同特性劃分出各自的分類器預(yù)測輸出層[3]。硬參數(shù)共享神經(jīng)網(wǎng)絡(luò)在設(shè)計共享層結(jié)構(gòu)時，不需要對任務(wù)之間的關(guān)系進行精確建模，這雖然簡化了網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，但是也導(dǎo)致網(wǎng)絡(luò)在訓(xùn)練的過程中無法根據(jù)任務(wù)的實際相關(guān)性調(diào)節(jié)共享量。此外，每個任務(wù)的分類器預(yù)測輸出層是相互獨立的，這會阻斷共享信息在該層的自適應(yīng)傳播，因此網(wǎng)絡(luò)也無法利用輸出層建立任務(wù)之間的相關(guān)關(guān)系。當(dāng)任務(wù)之間聯(lián)系不緊密時，這種結(jié)構(gòu)會增加負遷移的風(fēng)險；而且Yosinski J等學(xué)者指出，即使任務(wù)之間聯(lián)系緊密，負遷移的現(xiàn)象也會隨著網(wǎng)絡(luò)層數(shù)的增加而愈加明顯[4]。由此可知，硬參數(shù)共享神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計雖然簡單，但是只能建立在任務(wù)具有較高相關(guān)性約束條件的基礎(chǔ)上。

為了解決硬參數(shù)共享機制存在的問題，文獻[5-7]提出了不指定共享結(jié)構(gòu)的軟參數(shù)共享。該方法為每個任務(wù)設(shè)計了同樣的網(wǎng)絡(luò)結(jié)構(gòu)，在各層上通過范數(shù)約束表征任務(wù)的相似性，并取得了較好的結(jié)果。但是，隨著任務(wù)數(shù)量的增加，軟參數(shù)共享網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)都會變得非常復(fù)雜；而且，與硬參數(shù)共享神經(jīng)網(wǎng)絡(luò)一樣，它也無法根據(jù)任務(wù)的實際相關(guān)性調(diào)節(jié)共享層的共享量，以及對任務(wù)的分類器預(yù)測輸出層進行關(guān)系建模。

在上述參數(shù)共享機制研究的基礎(chǔ)上，為了實現(xiàn)對輸出分類層的關(guān)系建模，文獻[8]提出了一種可以加強各個任務(wù)分類層之間聯(lián)系的深度關(guān)系網(wǎng)絡(luò)。該網(wǎng)絡(luò)在全連接層和分類層之間額外增加了用于描述多個任務(wù)之間相關(guān)關(guān)系的全連接層；并通過引入張量正態(tài)分布學(xué)習(xí)網(wǎng)絡(luò)深層的共享特征以及任務(wù)之間的相關(guān)關(guān)系[9]，從而避免了硬參數(shù)共享和軟參數(shù)共享在共享層和分類層之間引起的負遷移現(xiàn)象。但是，張量的引入仍然建立在假定大多數(shù)任務(wù)之間存在整體相似度的基礎(chǔ)上[10]，因此這并沒有從根本上解決硬參數(shù)共享的問題。

在這之后，文獻[11-13]開始嘗試拆分任務(wù)之間的共享特征和各自特定特征，并調(diào)節(jié)共享層的共享量。據(jù)此先后設(shè)計了拆分縫合網(wǎng)絡(luò)、水閘網(wǎng)絡(luò)、自適應(yīng)層分堆網(wǎng)絡(luò)等結(jié)構(gòu)。其中，拆分縫合網(wǎng)絡(luò)和水閘網(wǎng)絡(luò)是自適應(yīng)層連接的兩種表現(xiàn)形式。拆分縫合網(wǎng)絡(luò)通過多個任務(wù)對應(yīng)層之間的連接單元控制特征參數(shù)信息的傳遞。在此基礎(chǔ)上，水閘網(wǎng)絡(luò)進一步擴展了這種結(jié)構(gòu)，在每個任務(wù)網(wǎng)絡(luò)輸出的末端整合了所有的連接單元，從而完整地描述了各個網(wǎng)絡(luò)層之間可能的信息傳遞。自適應(yīng)層分堆網(wǎng)絡(luò)是一種沒有連接單元的學(xué)習(xí)方法，自頂向下逐層擴展，自動尋求各層之間可能的參數(shù)共享結(jié)構(gòu)。上述三種方法都是依據(jù)各個任務(wù)在每層特征網(wǎng)絡(luò)上共享信息與特定信息的不同逐層改變網(wǎng)絡(luò)結(jié)構(gòu)。雖然它們在一定程度上緩解了任務(wù)高相似度的約束，但是結(jié)構(gòu)復(fù)雜，學(xué)習(xí)形式由一般的層參數(shù)共享演變到具體層之間的連接和切換，從簡單的整體相似性建模演變到共享和私有特征子空間的劃分[10,14]，使其失去了硬參數(shù)共享網(wǎng)絡(luò)結(jié)構(gòu)的簡潔性。

多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)通常采用交替訓(xùn)練和聯(lián)合訓(xùn)練兩種訓(xùn)練方式，如圖1所示。當(dāng)所有任務(wù)的訓(xùn)練集相互獨立時，網(wǎng)絡(luò)采用交替訓(xùn)練：先在輸入層為不同任務(wù)輸入各自的訓(xùn)練樣本，然后交替收斂每個任務(wù)的損失函數(shù)；這就要求每個任務(wù)的訓(xùn)練樣本數(shù)量基本均衡，否則網(wǎng)絡(luò)會偏向數(shù)據(jù)量較大的任務(wù)。當(dāng)所有任務(wù)共用一個帶有不同標(biāo)簽的訓(xùn)練集時，網(wǎng)絡(luò)采用聯(lián)合訓(xùn)練：在輸出層將每個任務(wù)的損失函數(shù)相加，讓所有任務(wù)共用一個優(yōu)化函數(shù)進行訓(xùn)練；在這種訓(xùn)練方式下，網(wǎng)絡(luò)需要合理地進行損失函數(shù)加權(quán)，使得所有任務(wù)的學(xué)習(xí)具有同等作用。

圖1 交替訓(xùn)練(a)與聯(lián)合訓(xùn)練(b)

這兩種訓(xùn)練方式都需要網(wǎng)絡(luò)將不同任務(wù)區(qū)分開，并給每個任務(wù)設(shè)定各自的損失函數(shù)。但由于目前對任務(wù)的相似性、關(guān)系、層次性等的理解非常有限，使得區(qū)分任務(wù)并不是一件能輕松完成的事情[15]；而且，即使實現(xiàn)了任務(wù)的區(qū)分與各自損失函數(shù)的設(shè)定，這仍然會出現(xiàn)讓網(wǎng)絡(luò)在所有任務(wù)的聯(lián)合假設(shè)空間中偏向某個任務(wù)的問題，進而導(dǎo)致網(wǎng)絡(luò)參數(shù)無法對全部任務(wù)等效收斂。

針對上述問題，提出了無需進行任務(wù)區(qū)分、不同任務(wù)數(shù)據(jù)一同參與的混合訓(xùn)練方法；并結(jié)合不同層次特征作用的差異，基于深層特征梯度變化進一步優(yōu)化網(wǎng)絡(luò)參數(shù)，提升網(wǎng)絡(luò)性能，并保持了硬參數(shù)共享網(wǎng)絡(luò)結(jié)構(gòu)的簡潔性。通過在UCI公開數(shù)據(jù)集中鳶尾花和天平秤數(shù)據(jù)上的實際應(yīng)用，以及與傳統(tǒng)的硬參數(shù)共享神經(jīng)網(wǎng)絡(luò)的縱向?qū)Ρ?，驗證了基于梯度優(yōu)化的多任務(wù)混合學(xué)習(xí)方法的有效性。

1 多任務(wù)混合學(xué)習(xí)方法

多任務(wù)混合學(xué)習(xí)方法具體實現(xiàn)過程可以分為混合訓(xùn)練與梯度優(yōu)化兩個步驟，如圖2所示。首先進行混合訓(xùn)練，根據(jù)多任務(wù)混合數(shù)據(jù)依次訓(xùn)練調(diào)節(jié)共享層到各個特定任務(wù)分支層的網(wǎng)絡(luò)參數(shù)；其次進行梯度優(yōu)化，根據(jù)不同任務(wù)在共享層梯度變化的不同優(yōu)化該層網(wǎng)絡(luò)參數(shù)，加快網(wǎng)絡(luò)訓(xùn)練速度。

圖2 多任務(wù)混合學(xué)習(xí)方法

1.1 混合訓(xùn)練

設(shè)硬參數(shù)共享神經(jīng)網(wǎng)絡(luò)從輸入層l=0、共享層l=1,…,L-1到輸出層l=L，共L+1層，Wl表示每層的連接權(quán)參數(shù)矩陣，bl表示每層的偏置或閾值，其中l(wèi)=0,1,…,L。

若每個任務(wù)的訓(xùn)練數(shù)據(jù)集為Zn={(xni,yni)}，其中n=1,2,…,N，表示二分類任務(wù)的種類數(shù)，i=1,2,…,S，表示每類任務(wù)的正樣本和負樣本數(shù)，則由N個二分類問題組成的多任務(wù)訓(xùn)練數(shù)據(jù)集為Z=Z1∪Z2∪…∪Zn。對于第n個任務(wù)而言，所有屬于這個任務(wù)的樣本為正樣本，而其他樣本則為負樣本。通過混合訓(xùn)練，實現(xiàn)將第n個任務(wù)的樣本從其他任務(wù)類型中正確地分離出來。為了避免區(qū)分不同任務(wù)的難題，在隨機初始化網(wǎng)絡(luò)參數(shù)之后，可以將N個任務(wù)的數(shù)據(jù)無差別地混合在一起，即訓(xùn)練數(shù)據(jù)集Z。將訓(xùn)練數(shù)據(jù)集Z通過輸入層W0直接送入硬參數(shù)共享神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練。輸入數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)的前向傳播過程中，若每層激活值為al,l=0,1,…,L，則其計算公式如下：

al=g(WlTal-1+bl)

(1)

其中,g(·)是激活函數(shù)。

多個任務(wù)進行混合訓(xùn)練時，網(wǎng)絡(luò)可以將它們看作一個任務(wù)進行學(xué)習(xí)，因此，無需為每個任務(wù)設(shè)定各自的損失函數(shù)。則此時的多任務(wù)混合學(xué)習(xí)網(wǎng)絡(luò)的損失函數(shù)計算公式為:

L(aL,y)=-(ylog(aL)+(1-y)log(1-aL))

(2)

其中，y表示混合任務(wù)的期望誤差。

在混合訓(xùn)練過程中，基于訓(xùn)練數(shù)據(jù)Z在網(wǎng)絡(luò)的共享層與第一個分支輸出層的反向誤差傳播調(diào)節(jié)相應(yīng)的網(wǎng)絡(luò)參數(shù)，當(dāng)?shù)谝粋€分支網(wǎng)絡(luò)輸出的損失函數(shù)L(aL,y)收斂到最小值時，結(jié)束本次網(wǎng)絡(luò)訓(xùn)練；并把此分支輸出層設(shè)定為第一個任務(wù)的特定分類層，同時將此時共享層的網(wǎng)絡(luò)參數(shù)作為第二次訓(xùn)練，即從共享層到第二個分支輸出層網(wǎng)絡(luò)結(jié)構(gòu)中共享層的初始化參數(shù)，而第二個分支輸出層仍為隨機初始化參數(shù)。采用同樣的訓(xùn)練調(diào)節(jié)策略，當(dāng)?shù)诙€分支網(wǎng)絡(luò)輸出的損失函數(shù)收斂到最小值時，結(jié)束第二次網(wǎng)絡(luò)訓(xùn)練。此時，第二個分支輸出層設(shè)定為第二個任務(wù)的特定分類層，同樣將共享層參數(shù)作為第三次訓(xùn)練中相應(yīng)網(wǎng)絡(luò)部分的初始化參數(shù)。依次類推展開后續(xù)網(wǎng)絡(luò)訓(xùn)練，直至所有任務(wù)在特定分類層上收斂到最小值時，混合訓(xùn)練結(jié)束。該網(wǎng)絡(luò)混合訓(xùn)練算法流程總結(jié)如下：

算法1：混合訓(xùn)練。

輸入：多任務(wù)混合訓(xùn)練數(shù)據(jù)集Z與相關(guān)參數(shù)(迭代次數(shù)Total，學(xué)習(xí)速率α，損失函數(shù)收斂閾值β)

輸出：N個任務(wù)的分類性能

1.硬參數(shù)共享網(wǎng)絡(luò)參數(shù)θ隨機初始化

2.for episode←1 to Total do//迭代

3.單個分支輸出層(即特定任務(wù)分類層)上計算相應(yīng)的混合任務(wù)損失誤差

4.if前后兩次混合損失誤差<βthen 收斂，且

N←N-1

5.else then返回步驟3

6.end if

7.ifN≠0 then當(dāng)前共享層參數(shù)作為下一次訓(xùn)練共享層的初始化參數(shù)，返回步驟2

8.else

9.end if

10.end for

由上述混合訓(xùn)練流程可知，它在輸入端混合了所有任務(wù)的訓(xùn)練集，并依次在每個任務(wù)的特定分類層上收斂混合任務(wù)的損失函數(shù)，從而避免了區(qū)分任務(wù)的難題。與此同時，所有任務(wù)共用一個損失函數(shù)可以平衡每個任務(wù)的訓(xùn)練，并通過前一次訓(xùn)練的共享層參數(shù)作為后一次訓(xùn)練的共享層初始化參數(shù)，可以讓全部任務(wù)的分類性能在損失函數(shù)誤差收斂的過程中逐漸趨于優(yōu)化。

1.2 梯度優(yōu)化

通過前面的混合訓(xùn)練可以得到較好的網(wǎng)絡(luò)參數(shù)，但由于在此訓(xùn)練過程中任務(wù)與參數(shù)之間的相互協(xié)調(diào)，使得對特征提取和任務(wù)分類影響非常顯著的部分關(guān)鍵參數(shù)并未達到最優(yōu)值，為此需要進一步調(diào)整與優(yōu)化。將硬參數(shù)共享神經(jīng)網(wǎng)絡(luò)的每一個學(xué)習(xí)任務(wù)的訓(xùn)練樣本作為自變量，共享層梯度變化作為因變量，根據(jù)影響因子權(quán)重分析方法，定量評價各個自變量對于因變量影響的重要性程度差異：當(dāng)訓(xùn)練樣本數(shù)據(jù)變化相同幅度時，共享層每一列梯度變化越大，則表明該列梯度在特征提取中越重要，也是影響任務(wù)分類性能的關(guān)鍵，據(jù)此選出需要進一步調(diào)節(jié)的相關(guān)重要參數(shù)。而且，從網(wǎng)絡(luò)訓(xùn)練速度的角度來看，當(dāng)這部分網(wǎng)絡(luò)參數(shù)對應(yīng)的梯度值相對最優(yōu)值過大時，表明訓(xùn)練速度過快；反之，則訓(xùn)練速度過慢。在反向傳播過程中的梯度值過大或過小時，都需要對相應(yīng)的網(wǎng)絡(luò)參數(shù)進行懲罰，只有當(dāng)它們以近似的速度進行訓(xùn)練時，才能使得網(wǎng)絡(luò)訓(xùn)練達到整體均衡或最優(yōu)[16]。

基于BP算法，網(wǎng)絡(luò)輸出層的反向傳播過程可表示為：

(3)

(4)

(5)

對網(wǎng)絡(luò)共享層第l=L-1層，當(dāng)輸出層向該層反向傳播時，其梯度計算公式為：

(6)

梯度優(yōu)化的主要操作步驟如下：首先，根據(jù)數(shù)據(jù)集Z混合訓(xùn)練的網(wǎng)絡(luò)參數(shù)和超參數(shù)，提取每個共享層的相應(yīng)梯度Δl,l=1,2,…,L-1；其次，按照影響因子權(quán)重分析方法，依次將每個任務(wù)的每個特征增加或減少自身數(shù)值的10%～20%，據(jù)此得到新數(shù)據(jù)集Z'進行混合訓(xùn)練，進而提取每個共享層相應(yīng)的梯度(Δl)'；再次，根據(jù)梯度Δl與(Δl)'計算兩者的差值矩陣(Δg)l，其中行為樣本個數(shù)，列為該層神經(jīng)元個數(shù)，表示隨著訓(xùn)練樣本特征值的變化每個網(wǎng)絡(luò)共享層的梯度變化大?。蛔詈?，按列計算每個任務(wù)的共享層梯度變化均值，并依據(jù)其絕對值大小排序，依次調(diào)節(jié)每個任務(wù)在各個共享層上梯度變化最大的所對應(yīng)位置的激活值，即該層激活值點乘調(diào)節(jié)系數(shù)矩陣[δn1,δn2,…,δnq]l，實現(xiàn)網(wǎng)絡(luò)參數(shù)的進一步優(yōu)化，提升所有任務(wù)的分類性能。其中n表示任務(wù)編號，q表示列數(shù)，l(l=1,2,…,L-1)表示共享層數(shù)。

(7)

其中，n=1,2,…,N。它可以衡量影響任務(wù)分類性能的關(guān)鍵參數(shù)的訓(xùn)練速度：損失率越低，則訓(xùn)練速度越快；反之則越慢。

(8)

(9)

(10)

根據(jù)上式調(diào)節(jié)系數(shù)矩陣δ。

由深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程可知，靠近輸入層一側(cè)的淺層網(wǎng)絡(luò)通常提取局部、具體的一般特征，而隨著網(wǎng)絡(luò)層數(shù)的增加，深層網(wǎng)絡(luò)提取全局、抽象的本質(zhì)特征[17]。并且，與前者的淺層特征相比，后者的深層特征對于任務(wù)分類的作用更重要。據(jù)此，可以簡化網(wǎng)絡(luò)梯度優(yōu)化過程，只調(diào)節(jié)共享層部分最后一層神經(jīng)元梯度變化最大所對應(yīng)的激活值，加強深層特征的關(guān)鍵作用，從而進一步提升網(wǎng)絡(luò)整體性能。與此同時，這種有針對性地忽略淺層特征、關(guān)注深層特征的簡化處理方法，不僅有助于保持硬參數(shù)共享網(wǎng)絡(luò)結(jié)構(gòu)的簡潔性特點；而且在一定程度上可以有效解決多任務(wù)學(xué)習(xí)中的非平衡問題，即在誤差反向傳播訓(xùn)練過程中，如果數(shù)據(jù)集中某個任務(wù)占據(jù)主導(dǎo)地位，必然會通過誘導(dǎo)具有較大的梯度來表達這種主導(dǎo)地位，從而使得整個網(wǎng)絡(luò)具有某種任務(wù)的偏好，導(dǎo)致其余任務(wù)的分類性能無法達到整體最優(yōu)[17]。因為它是根據(jù)每個任務(wù)在共享層的最大梯度變化所在位置調(diào)節(jié)相應(yīng)的激活值大小，所以具有明確的指向性，可以避免訓(xùn)練數(shù)據(jù)集中任務(wù)數(shù)量不均衡所帶來的影響。

在第一步混合訓(xùn)練的基礎(chǔ)上，根據(jù)梯度變化不同與層次特征作用差異進行第二步梯度優(yōu)化，其處理過程總結(jié)為算法2，如下所示：

算法2：梯度優(yōu)化。

輸入：多任務(wù)混合訓(xùn)練數(shù)據(jù)集Z與相關(guān)參數(shù)(迭代次數(shù)Total，學(xué)習(xí)速率α，損失函數(shù)收斂閾值β)

輸出 ：N個任務(wù)的分類性能

1.基于訓(xùn)練數(shù)據(jù)集Z，按照算法1進行混合訓(xùn)練，計算此時各個共享層的梯度Δl(l=1,2,…,L-1)

2.選取某個任務(wù)，逐一增加或減少訓(xùn)練樣本特征值的10%～20%，生成新的訓(xùn)練數(shù)據(jù)集Z'，同樣按照算法1計算相應(yīng)的各個共享層的梯度(Δl)'

3.計算梯度變化(Δg)l

4.if未改變所有任務(wù)訓(xùn)練樣本的特征值 then返回步驟2

5.else then//已改變所有任務(wù)訓(xùn)練樣本的特征值

6.end if

7.根據(jù)改變每個任務(wù)訓(xùn)練樣本特征值后的梯度變化，依次調(diào)節(jié)每個任務(wù)在各個共享層上梯度變化最大的一列對應(yīng)位置的激活值

8.測試網(wǎng)絡(luò)分類性能，if 所有任務(wù)分類準(zhǔn)確度提高 then 結(jié)束

9.else then//任務(wù)分類準(zhǔn)確度沒有全部提高

10.返回步驟7

11.end if

2 實驗研究

為了檢驗基于梯度優(yōu)化的多任務(wù)混合學(xué)習(xí)方法的實際效果，選取UCI公開數(shù)據(jù)集中的鳶尾花和天平秤數(shù)據(jù)為對象，進行具體的應(yīng)用實驗。

2.1 實驗設(shè)置

實驗數(shù)據(jù)中的鳶尾花數(shù)據(jù)分為三類，依次為Setosa、Versicolor和Virginica；每類共有50個正樣本，包含葉瓣長度、葉瓣寬度、花瓣長度和花瓣寬度四個特征。而其余的天平秤數(shù)據(jù)也包含四個特征，分別是左權(quán)重、左距離、右權(quán)重以及右距離。通過比較左右兩邊的權(quán)重與距離的乘積，可以將這部分?jǐn)?shù)據(jù)集分為天平秤平衡、天平秤偏左和天平秤偏右三類。其中天平秤平衡類共有49個正樣本，其余兩類都有288個正樣本。

根據(jù)上述兩個公開數(shù)據(jù)集的實際情況，文中新建了三個任務(wù)進行實驗。第一個任務(wù)是判斷天平秤是否偏向左邊，第二個任務(wù)是判斷天平秤是否偏向右邊，而第三個任務(wù)是判斷鳶尾花是否屬于Versicolor或Virginica。每個任務(wù)的樣本總數(shù)為150個，按7∶3的比例隨機初始化各個任務(wù)的訓(xùn)練集和測試集。

文中采用的硬參數(shù)共享神經(jīng)網(wǎng)絡(luò)共四層，即一個輸入層、兩個共享層和一個特定任務(wù)分類輸出層。其中兩個共享層的神經(jīng)元個數(shù)分別為4和5，且每層選用的激活函數(shù)都為Sigmoid函數(shù)。

2.2 實驗結(jié)果與分析

將設(shè)定的三個任務(wù)的混合訓(xùn)練集通過輸入層送入該神經(jīng)網(wǎng)絡(luò)進行基于梯度優(yōu)化的多任務(wù)混合學(xué)習(xí)實驗。

實驗結(jié)果發(fā)現(xiàn)，當(dāng)依次改變?nèi)蝿?wù)一、任務(wù)二和任務(wù)三的訓(xùn)練樣本的特征值時，相應(yīng)地對最后一個共享層的第二列、第一列和第三列的梯度影響最大。這表明不同任務(wù)在最后共享層的關(guān)鍵特征響應(yīng)不同。因此，對于任務(wù)一，可令第二列的激活值乘上一個調(diào)節(jié)系數(shù)，則任務(wù)一的準(zhǔn)確率會隨著調(diào)節(jié)系數(shù)的增大而提高。需要注意的是，調(diào)節(jié)系數(shù)存在一個上限，一旦超過這個上限，任務(wù)一的準(zhǔn)確率在達到最高值后下降。當(dāng)δ12=3時，任務(wù)一的準(zhǔn)確率能達到98%。同樣，當(dāng)δ21=2.3時，任務(wù)二的準(zhǔn)確率可以達到99%；當(dāng)δ33=2.4時，任務(wù)三的準(zhǔn)確率也能達到99%。而任務(wù)特征值的改變對其余列的梯度變化影響相對不大，為簡化處理，可以無需調(diào)節(jié)這部分激活函數(shù)。

在硬參數(shù)共享多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)中，當(dāng)一個任務(wù)的準(zhǔn)確率顯著提高時，由于任務(wù)之間的密切相關(guān)性和網(wǎng)絡(luò)自身結(jié)構(gòu)的約束，其余任務(wù)的準(zhǔn)確率通常會下降。因此，在不降低任何一個任務(wù)準(zhǔn)確率的前提下，采用基于梯度優(yōu)化的多任務(wù)混合學(xué)習(xí)方法所得到的多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，其在測試集上的實驗結(jié)果如表1所示。

表1 多任務(wù)混合學(xué)習(xí)測試結(jié)果

為了與傳統(tǒng)訓(xùn)練方法對比，可以將上述三個任務(wù)的數(shù)據(jù)集分別送入同樣的硬參數(shù)共享多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中，按照交替訓(xùn)練方法調(diào)節(jié)網(wǎng)絡(luò)參數(shù)，與文中提出的混合學(xué)習(xí)方法在測試集上進行實驗對比，結(jié)果如表2所示。

表2 傳統(tǒng)交替訓(xùn)練學(xué)習(xí)與混合學(xué)習(xí)測試結(jié)果對比

除此之外，在傳統(tǒng)的硬參數(shù)共享神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果中，也可以根據(jù)特征層次差異與梯度變化不同進一步優(yōu)化網(wǎng)絡(luò)參數(shù)。優(yōu)化前后的實驗對比結(jié)果如表3所示。梯度優(yōu)化后，在任務(wù)三準(zhǔn)確率保持不變的基礎(chǔ)上，準(zhǔn)確率最低的任務(wù)一從47%提升到69%。由于任務(wù)之間的密切相關(guān)性和網(wǎng)絡(luò)自身結(jié)構(gòu)的約束，任務(wù)二的準(zhǔn)確率只下降了0.01。梯度優(yōu)化后的整體效果較好。

表3 交替訓(xùn)練后是否梯度優(yōu)化參數(shù)實驗結(jié)果對比

3 結(jié)束語

文中提出的基于梯度優(yōu)化的多任務(wù)混合學(xué)習(xí)方法，首先通過混合多任務(wù)訓(xùn)練數(shù)據(jù)、一同送入網(wǎng)絡(luò)進行學(xué)習(xí)，避免了硬參數(shù)共享網(wǎng)絡(luò)訓(xùn)練過程中需要區(qū)分不同任務(wù)的難題；其次，根據(jù)共享層部分深層網(wǎng)絡(luò)所提取的全局本質(zhì)特征對于后續(xù)分類任務(wù)更重要的特點，以及響應(yīng)任務(wù)變化的梯度變化量不同，在保持硬參數(shù)共享網(wǎng)絡(luò)結(jié)構(gòu)簡潔性的基礎(chǔ)上，有針對性地優(yōu)化共享層網(wǎng)絡(luò)參數(shù)，提升網(wǎng)絡(luò)整體性能，同時還不受訓(xùn)練數(shù)據(jù)集中任務(wù)不均衡的影響，在一定程度上有效解決了硬參數(shù)共享網(wǎng)絡(luò)在訓(xùn)練過程中的非平衡問題。而且，該方法也可應(yīng)用于其他的多任務(wù)學(xué)習(xí)方法中。最后，通過在UCI公開數(shù)據(jù)集中鳶尾花和天平秤樣本上的應(yīng)用實驗，驗證了該方法的有效性。

基于梯度優(yōu)化的多任務(wù)混合學(xué)習(xí)方法在應(yīng)用過程中，如果不同類型的任務(wù)之間差別非常顯著、關(guān)聯(lián)較少，且某些任務(wù)的訓(xùn)練數(shù)據(jù)嚴(yán)重不足，會對硬參數(shù)共享多任務(wù)學(xué)習(xí)提出嚴(yán)峻挑戰(zhàn)，這些還有待后續(xù)研究工作的持續(xù)改進與完善。