龔澤凱，范兆倫，崔海波

(湖北大學(xué)計(jì)算機(jī)與信息工程學(xué)院， 湖北 武漢 430062)

0 引言

隨著機(jī)器學(xué)習(xí)的發(fā)展，出現(xiàn)了各種各樣的深度學(xué)習(xí)網(wǎng)絡(luò)，比如卷積神經(jīng)網(wǎng)絡(luò)，生成對抗網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)等.這些優(yōu)秀的神經(jīng)網(wǎng)絡(luò)模型在圖像方面取得了非常良好的效果，然而這些網(wǎng)絡(luò)都得益于大量帶標(biāo)簽的訓(xùn)練數(shù)據(jù).數(shù)據(jù)成本也是現(xiàn)在應(yīng)該關(guān)注的問題，對所有數(shù)據(jù)都進(jìn)行標(biāo)注是不經(jīng)濟(jì)的.例如，稀有生物的圖片和新型產(chǎn)業(yè)數(shù)據(jù)樣本非常少，所以讓機(jī)器自己學(xué)會學(xué)習(xí)是非常重要的一步.對于一個(gè)年紀(jì)不大的孩子，讓他去識別不認(rèn)識的動(dòng)物，只需給他少量的樣本，比如幾張熊貓和貓的圖片，他就能非常準(zhǔn)確地識別熊貓和貓.所以人工智能關(guān)鍵的一步就是如何像人一樣學(xué)會如何去識別未知的類別.元學(xué)習(xí)就是基于機(jī)器如何在類人學(xué)習(xí)的基礎(chǔ)上提出來的，即從少量帶有標(biāo)簽的數(shù)據(jù)中學(xué)習(xí)如何去區(qū)分類別.小樣本學(xué)習(xí)是元學(xué)習(xí)在監(jiān)督學(xué)習(xí)領(lǐng)域的應(yīng)用，實(shí)際上，很多元學(xué)習(xí)的問題都是小樣本學(xué)習(xí)的問題.

小樣本學(xué)習(xí)具有類人學(xué)習(xí)能力，減少了數(shù)據(jù)收集、成本開支、學(xué)習(xí)的樣本數(shù)量有限等特點(diǎn)[1].由于小樣本學(xué)習(xí)的任務(wù)樣本非常少，傳統(tǒng)的監(jiān)督學(xué)習(xí)非常容易過擬合.文獻(xiàn)[2]中提出了一種孿生神經(jīng)網(wǎng)絡(luò)，通過將圖片進(jìn)行向量化處理得到特征函數(shù)，然后通過比較余弦相似度來進(jìn)行判斷兩個(gè)圖片是否為同一類別，這種神經(jīng)網(wǎng)絡(luò)更適合于小樣本學(xué)習(xí)的領(lǐng)域.但是小樣本學(xué)習(xí)上可能有上百個(gè)學(xué)習(xí)任務(wù)，為了追求模型網(wǎng)絡(luò)更好的泛用性和快速適應(yīng)的效果，Vinyals等在建模上引入了注意力和記憶網(wǎng)絡(luò)提出了匹配網(wǎng)絡(luò)，并且在數(shù)據(jù)上要求測試集和訓(xùn)練集都相同的數(shù)據(jù)分布，以此來達(dá)到更好的效果.Finn等[3]提出了一種快速適應(yīng)的深度神經(jīng)網(wǎng)絡(luò)MAML，只需要更新模型初始化參數(shù)就可以在多個(gè)任務(wù)上表現(xiàn)出非常好的表現(xiàn).本研究在此基礎(chǔ)上，提出了使用任務(wù)特征嵌入的方式來達(dá)到追求更好的實(shí)驗(yàn)效果[4].

1 研究背景介紹

目前小樣本學(xué)習(xí)網(wǎng)絡(luò)主要分為基于循環(huán)神經(jīng)網(wǎng)絡(luò)的模型、基于度量方法的網(wǎng)絡(luò)和基于最優(yōu)化的參數(shù)網(wǎng)絡(luò)等3種網(wǎng)絡(luò).

1.1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法早期用于小樣本學(xué)習(xí)的方法是基于卷積神經(jīng)網(wǎng)絡(luò)模型的，比如RNN和LSTM.文獻(xiàn)[6]中提出的MANN，通過篩選權(quán)值的大小來記錄信息進(jìn)行記憶更新，但是經(jīng)過任務(wù)類別過多的時(shí)候，LSTM處理就顯得些許吃力，隨后文獻(xiàn)[7]中提出了SNAIL模型，SNAIL提出加入注意力的機(jī)制來提高網(wǎng)絡(luò)能力.

1.2 基于度量方法的網(wǎng)絡(luò)如果在小樣本學(xué)習(xí)的任務(wù)中用普通的神經(jīng)網(wǎng)絡(luò)分類，其結(jié)果就會導(dǎo)致過擬合，因?yàn)樯窠?jīng)網(wǎng)絡(luò)分類器中需要優(yōu)化的參數(shù)太多，而非參數(shù)的方法是不需要優(yōu)化參數(shù)的.通過對樣本數(shù)據(jù)間的距離建立模型，文獻(xiàn)[8]的匹配網(wǎng)絡(luò)提出訓(xùn)練和測試在同一個(gè)條件下進(jìn)行，在訓(xùn)練的時(shí)候不斷地讓網(wǎng)絡(luò)看觀察一個(gè)類別的少量樣本.文獻(xiàn)[9]中提出原型網(wǎng)絡(luò)將每個(gè)類別中的樣本數(shù)據(jù)映射到一個(gè)空間中，并且提取他們的“均值”來表示為該類的原型.使用歐幾里得距離作為距離度量，對數(shù)據(jù)類別距離判斷歸類.

1.3 基于最優(yōu)化的參數(shù)網(wǎng)絡(luò)基于最優(yōu)化的參數(shù)網(wǎng)絡(luò)方法通過之前大量的相似任務(wù)的學(xué)習(xí)，網(wǎng)絡(luò)模型學(xué)習(xí)到一個(gè)表現(xiàn)最好的參數(shù)作為初始值，然后再用于其他任務(wù)的訓(xùn)練，通常不需要或者微調(diào)幾次就可以在新任務(wù)上收斂，其中具有代表性的就是文獻(xiàn)[3]中的MAML.

2 算法設(shè)計(jì)

2.1 任務(wù)嵌入在目前的一些小樣本學(xué)習(xí)中，通常將圖像映射到嵌入空間，然后利用特征嵌入進(jìn)行后續(xù)的操作，存在通用的特征嵌入不適用于某些任務(wù)的問題，會影響預(yù)測的結(jié)果.而基于元學(xué)習(xí)的參數(shù)生成器將通用的圖片特征嵌入轉(zhuǎn)化為動(dòng)態(tài)的任務(wù)感知功能嵌入，如圖1所示.

圖1 動(dòng)態(tài)的任務(wù)感知功能嵌入

在同一個(gè)圖像邊界上，不同的任務(wù)分類處理不同.它采用一個(gè)簡單的二值分類器來學(xué)習(xí)一個(gè)獨(dú)立于任務(wù)的線性邊界，從而分開正負(fù)樣本，并且泛化到任務(wù)中[10].

2.2 基于任務(wù)特征的小樣本學(xué)習(xí)模型在網(wǎng)絡(luò)中有兩個(gè)子模塊組成，如圖2所示.任務(wù)感知元學(xué)習(xí)器G采用任務(wù)描述t∈T生成預(yù)測網(wǎng)絡(luò)中里特征層的權(quán)重.對于一個(gè)輸入圖像x，預(yù)測網(wǎng)絡(luò)根據(jù)F(x;θt)=y來預(yù)測二值標(biāo)簽y，表示輸入圖像和任務(wù)描述t的相似度，其中參數(shù)θt由權(quán)值生成器生成.雖然t作為任務(wù)描述并沒有直接作用于預(yù)測網(wǎng)絡(luò)的輸入，但是影響了網(wǎng)絡(luò)層的參數(shù)從而將任務(wù)信息注入到任務(wù)感知功能嵌入中.

圖2 基于任務(wù)特征的小樣本學(xué)習(xí)模型

在預(yù)測網(wǎng)絡(luò)中，用f代表學(xué)習(xí)模型，樣本x通過f得到輸出a.在訓(xùn)練階段，模型被訓(xùn)練后能夠快速適應(yīng)任務(wù).任務(wù)學(xué)習(xí)過程為T={L(x1,a1,x2,a2，…，xH,aH),q(x1),q(xt+1|xt,at),H}，L是損失函數(shù)，q(x1)是初始x服從的分布，q(xt+1|xt,at)是x過渡時(shí)期服從的分布，模型在t時(shí)刻選擇一個(gè)at輸出一個(gè)長度為H(在監(jiān)督學(xué)習(xí)中H=1)的樣本.在模型學(xué)習(xí)的時(shí)候，首先需要一個(gè)模型去適應(yīng)的任務(wù)分布p(T).在小樣本學(xué)習(xí)問題中，從任務(wù)分布中抽樣一個(gè)任務(wù)Ti，從qi中抽取N個(gè)樣本用于訓(xùn)練，得到任務(wù)Ti的損失L(Ti)，然后再抽取新樣本進(jìn)行測試.模型關(guān)注測試中誤差值的變化情況，并以此為依據(jù)來提高模型性能.實(shí)際上，在所有的抽樣任務(wù)Ti上的測試誤差構(gòu)成了學(xué)習(xí)訓(xùn)練階段的訓(xùn)練誤差，在最后階段，從p(T)中抽樣一些新的任務(wù)，每個(gè)任務(wù)含有N個(gè)樣本，通過這N個(gè)樣本的學(xué)習(xí)后，模型的性能作為訓(xùn)練階段的模型能力評估.

考慮一個(gè)用參數(shù)θ表示的模型f(θ)，當(dāng)在一個(gè)新任務(wù)Ti上學(xué)習(xí)時(shí)，參數(shù)θ是在任務(wù)Ti經(jīng)過一次或多次梯度下降更新得到的θ′i.在該方法中，模型梯度更新表示為：

(1)

其中，φ是模型初始化參數(shù)，β是用于更新初始化參數(shù)的超參數(shù)學(xué)習(xí)率.

2.3 任務(wù)權(quán)重分解在任務(wù)感知元學(xué)習(xí)器中，輸入一個(gè)任務(wù)后在任務(wù)嵌入中類似word2vec的方式將任務(wù)轉(zhuǎn)化為向量.在其中有3層FC網(wǎng)絡(luò)(2*(Linear+BatchNorm+ReLu)+(Linear+ReLu)).在權(quán)值生成器(generator)中有一個(gè)權(quán)重分解方案來簡化生成器的設(shè)計(jì)，如圖3所示.Wi∈Rk×k×Cin×Cout(k是卷積核大小，Cin和Cout分別是輸入和輸出通道數(shù))是第i個(gè)生成器生成的權(quán)重，Xi是圖片特征處理生成的image features，那么輸出Xi+1為：

圖3 任務(wù)權(quán)值生成

xi+1=Wi*xi

(2)

其中Wi是第i個(gè)生成器的輸出，它可以被分解為:

(3)

2.4 損失函數(shù)由于在元學(xué)習(xí)器上用于訓(xùn)練任務(wù)的數(shù)量遠(yuǎn)小于訓(xùn)練網(wǎng)絡(luò)的圖像數(shù)量，所以元學(xué)習(xí)器中設(shè)有一個(gè)嵌入損失防止退化，對于一個(gè)任務(wù)嵌入et=T(t)和任務(wù)感知功能嵌入TF(x;θt)投影到一個(gè)聯(lián)合嵌入空間中，如果樣本是正樣本，那么對應(yīng)的任務(wù)感知功能嵌入就和et接近，如果樣本是負(fù)樣本，那么對應(yīng)任務(wù)感知功能嵌入和et就遠(yuǎn)離.使用hinged cosine similarity作為距離的度量，那么損失公式L1為:

(4)

其中，xi是第i個(gè)樣本，yi∈{0,1}是標(biāo)簽的one-hot編碼,T是任務(wù)數(shù)量.

在預(yù)測網(wǎng)絡(luò)的分類過程中，預(yù)測出來的標(biāo)簽和真實(shí)值之間的誤差采用多分類交叉熵形式，那么其損失公式L2為:

(5)

故，總損失函數(shù)公式L為:

L=L1+L2

(6)

3 實(shí)驗(yàn)過程及結(jié)果

3.1 數(shù)據(jù)集介紹本次實(shí)驗(yàn)使用的數(shù)據(jù)集是Omniglot和MiniImagenet.

Omniglot是小樣本學(xué)習(xí)中常用的數(shù)據(jù)集，包含來自50個(gè)不同字母表的1 623類不同的手寫字符.1 623類字符中的每一個(gè)都是由20個(gè)不同的人通過亞馬遜的Turk平臺在線繪制的.

MiniImagenet從ImageNet數(shù)據(jù)集中隨機(jī)采樣的100個(gè)類別組成，其中每個(gè)類別具有600張尺寸為84×84的圖像.

3.2 實(shí)驗(yàn)過程在實(shí)驗(yàn)中，使用SGD(momentum=0.9)作為優(yōu)化方法，初始學(xué)習(xí)率設(shè)置為0.001，每經(jīng)過4 000次迭代學(xué)習(xí)率減半，預(yù)測網(wǎng)絡(luò)中卷積網(wǎng)絡(luò)大小設(shè)置均為3×3×32，每層用Batchnorm來增強(qiáng)收斂速度和穩(wěn)定性，激活函數(shù)為ReLu，作為對比實(shí)驗(yàn)組的模型均與參考文獻(xiàn)保持一致.在Omniglot數(shù)據(jù)集中，采用1 200類用于訓(xùn)練，423類用于測試，所有圖像均設(shè)置為28×28.MiniImagenet數(shù)據(jù)集分為3個(gè)部分，64類用于訓(xùn)練，16類用于驗(yàn)證，20類用于測試.Omniglot數(shù)據(jù)集上5-way1-shot和5-way5-shot設(shè)置15張圖片作為查詢圖像.20-way1-shot和20-way5-shot分類任務(wù)使用5張圖片作為查詢圖像，用隨機(jī)的一千個(gè)測試批次的平均值準(zhǔn)確率作為準(zhǔn)確率.MiniImagenet上用5-way1-shot和5-way5-shot設(shè)置15張圖片作為查詢圖像，隨機(jī)六百個(gè)測試批次的平均準(zhǔn)確率作為準(zhǔn)確率.

3.3 實(shí)驗(yàn)結(jié)果本文中實(shí)驗(yàn)結(jié)果如表1和表2所示，其中匹配網(wǎng)絡(luò)采用了文獻(xiàn)[8]的結(jié)構(gòu)，基于度量方法的網(wǎng)絡(luò)采用了文獻(xiàn)[2]的結(jié)構(gòu)，基于最優(yōu)化的參數(shù)網(wǎng)絡(luò)采用文獻(xiàn)[3]的結(jié)構(gòu).在Omniglot上，5-way1-shot，20-way1-shot，20-way5-shot取得了不錯(cuò)的分類準(zhǔn)確率.隨著分類任務(wù)的復(fù)雜度增加，本文中模型在準(zhǔn)確率上要高于其他模型.在MiniImagenet上的兩個(gè)分類任務(wù)，均設(shè)置了比較多的查詢圖像，保證模型的表現(xiàn)出了略優(yōu)于其他模型的分類準(zhǔn)確率.

表1 Omniglot上分類準(zhǔn)確率比較

表2 MiniImagenet上分類準(zhǔn)確率比較(95%置信區(qū)間)

4 結(jié)語

本研究提出了基于任務(wù)特征的小樣本學(xué)習(xí)方法，目前主流的模型方法類型有3種，即度量模型、匹配模型和參數(shù)模型，MAML是參數(shù)模型的代表.通過元學(xué)習(xí)的策略，引用任務(wù)特征嵌入來搭配快速學(xué)習(xí)的模型MAML，來提高應(yīng)對不同任務(wù)的能力,更好地提高了模型的泛化能力.實(shí)驗(yàn)結(jié)果證明在Omniglot和MiniImagenet上有提高分類結(jié)果的準(zhǔn)確性.待改進(jìn)的工作：(1)可以尋找更好的任務(wù)嵌入的方式，或許會有更好的效果；(2)小樣本學(xué)習(xí)樣本庫的規(guī)模變得復(fù)雜，學(xué)習(xí)模型執(zhí)行效率會有所降低.