甘 宏

(廣州南方學(xué)院，510970，廣州)

0 引言

近年來，將深度學(xué)習(xí)技術(shù)用于視覺識別任務(wù)取得了相當大的進展[1-5]。然而，有監(jiān)督的深度學(xué)習(xí)模型需要大量的標記樣本和迭代步驟來訓(xùn)練模型的參數(shù)，這嚴重限制了深度學(xué)習(xí)技術(shù)對新出現(xiàn)或罕見類別的適用性，同時收集并標記大量的樣本需要耗費大量的人力物力。相比之下，人類卻擅長通過少量甚至幾個樣本來識別物體，而深度學(xué)習(xí)技術(shù)難以用于每類僅有一個或幾個樣本的學(xué)習(xí)。受人類具備小樣本學(xué)習(xí)能力的啟發(fā)，使得小樣本學(xué)習(xí)問題引起了廣泛的關(guān)注。

現(xiàn)有的小樣本學(xué)習(xí)方法大致可以分成3類：度量學(xué)習(xí)、元學(xué)習(xí)以及基于數(shù)據(jù)增強方法。度量學(xué)習(xí)方法利用輔助數(shù)據(jù)集學(xué)習(xí)得到一個度量空間，使得在該度量空間中同一類樣本的特征向量彼此間的距離較近，而不同類樣本的特征向量距離則較遠，從而實現(xiàn)小樣本學(xué)習(xí)。文獻[6]將卷積孿生網(wǎng)絡(luò)用于單樣本圖像識別，通過有監(jiān)督的方式訓(xùn)練孿生網(wǎng)絡(luò)，然后重用網(wǎng)絡(luò)所提取的特征向量進行單樣本學(xué)習(xí)。文獻[7]提出了匹配網(wǎng)絡(luò)，該算法的核心是episode-based的訓(xùn)練策略，其基本思想是訓(xùn)練和測試是要在同樣條件下進行，即在訓(xùn)練的時候讓網(wǎng)絡(luò)模型只看每一類的少量樣本，使得訓(xùn)練和測試的過程保持一致。原型網(wǎng)絡(luò)的基本思想是每個類都存在一個原型表達，該類的原型是支撐集在利用度量空間中特征向量的均值作為類表示[8]。F Sung等[9]提出了關(guān)系網(wǎng)絡(luò)求解小樣本學(xué)習(xí)問題，該模型2個模塊：嵌入模塊和關(guān)系模塊。嵌入式模塊用于提取數(shù)據(jù)樣本的特征表示，而關(guān)系模塊用于估計2個特征表示之間的距離。D DAS等[10]添加了一個預(yù)訓(xùn)練階段，利用所有基類的分類任務(wù)預(yù)訓(xùn)練模型獲得參數(shù)的初始化。Li等[11]在分類損失函數(shù)中添加一個與任務(wù)相關(guān)的附加邊際損失，以更好地區(qū)分不同類別的樣本，從而提高分類性能。Zhou等[12]利用貪婪算法選擇與支持集樣本的相似基類，使得度量模型能對新的小樣本任務(wù)有較強的適應(yīng)性。元學(xué)習(xí)方法通過對多個任務(wù)的學(xué)習(xí)，以使元模型(meta-learner)能夠?qū)π碌娜蝿?wù)做出快速而準確的學(xué)習(xí)，該方法包含了2個關(guān)鍵問題：訓(xùn)練得到最優(yōu)初始化參數(shù)和學(xué)習(xí)有效的參數(shù)更新規(guī)則。FINN等[13]提出了MAML(Model-Agnostic Meta-Learning)的元學(xué)習(xí)方法，基本思想是訓(xùn)練一組初始化參數(shù)，通過在初始參數(shù)的基礎(chǔ)上進行一或多步的梯度調(diào)整，來達到僅用少量數(shù)據(jù)就能快速適應(yīng)新任務(wù)的目的。K Wang等[14]給出了結(jié)合概率推理和元學(xué)習(xí)的識別模型，以阻止元模型訓(xùn)練過程中偏向某些具體任務(wù)，從而提高元模型對新任務(wù)的泛化能力。Meta-SGD算法[15]對MAML算法進一步優(yōu)化，不僅對初始參數(shù)進行了學(xué)習(xí)，而且對元模型的更新方向和學(xué)習(xí)速率進行學(xué)習(xí)。文獻[16]提出了一階元學(xué)習(xí)算法，該算法采用一階導(dǎo)數(shù)近似表示二階導(dǎo)數(shù)，使得元參數(shù)更新過程中不需要像MAML算法一樣計算二階導(dǎo)數(shù)，從而提高元模型的訓(xùn)練效率。數(shù)據(jù)增強方法通過擴充樣本來提高小樣本學(xué)習(xí)的性能。然而，數(shù)據(jù)生成模型在僅有少數(shù)幾個訓(xùn)練數(shù)據(jù)時，往往表現(xiàn)不佳。

本文提出算法屬于元學(xué)習(xí)方法的范疇。針對現(xiàn)有元學(xué)習(xí)方法對部分訓(xùn)練任務(wù)存在有偏的不足，本文提出基于正則化元學(xué)習(xí)算法。通過在元學(xué)習(xí)的目標函數(shù)中添加正則化項，阻止元學(xué)習(xí)的初始模型偏向現(xiàn)有某些訓(xùn)練任務(wù)，提高元模型對新任務(wù)的泛化能力，從而提高小樣本圖像分類的性能。

1 小樣本圖像分類問題

小樣本分類的目標是找到參數(shù)θ，小樣本分類目標是學(xué)習(xí)得到參數(shù)θ使得分類器fθ在詢問集中的期望值最大

(1)

2 正則化元學(xué)習(xí)算法

為了減小元訓(xùn)練過程中產(chǎn)生有偏，提高元學(xué)習(xí)模型的泛化能力。本節(jié)提出了正則化元學(xué)習(xí)算法(Regularized Meta Learning，REML)。通過在元目標函數(shù)添加正則化約束項，使得模型對訓(xùn)練任務(wù)無偏。針對小樣本圖像分類問題，MAML算法的元目標函數(shù)為：

(2)

(3)

其中LTi(fθ)采用交叉熵損失函數(shù)，表示為：

(4)

因此，MAML算法的元目標函數(shù)可以表示為：

(5)

為盡量減小參數(shù)θ對訓(xùn)練任務(wù)有偏，提高元模型的泛化能力。本文引入交叉熵的約束條件，作為原目標函數(shù)的正則化項，使得參數(shù)θ對訓(xùn)練任務(wù)是無偏的。交叉熵表示為：

(6)

以交叉熵作為正則化項，則元目標函數(shù)表示為

(7)

(8)

元目標函數(shù)梯度更新表示為

(9)

(10)

求導(dǎo)涉及到二維求導(dǎo)問題，大大增加了算法的計算量。針對以上不足，利用一階導(dǎo)數(shù)近似二階導(dǎo)數(shù)得到

(11)

則元參數(shù)更新模型(9)可以簡化為

(12)

3 算法步驟

本節(jié)將給出算法的詳細步驟，詳見算法1。

算法1：正則化元學(xué)習(xí)算法。

1)While not done do；

2)抽取幾個任務(wù)Ti構(gòu)成任務(wù)塊Tbat；

3)for allTiinTbatdo；

4)從Ti中每類選取K個樣本記做D；

5)利用LTi(fθ)和D計算?θL(fθ)；

7)從Ti抽取Dval用于元參數(shù)學(xué)習(xí)；

8)End for；

9)利用Dval和元學(xué)習(xí)目標函數(shù)L(θ)學(xué)習(xí)元模型參數(shù)θ，

10)End while。

輸出：元模型參數(shù)θ。

4 實驗結(jié)果與分析

本節(jié)通過在miniImageNet、CUB-200和CIFAR-100這3個典型數(shù)據(jù)集上進行的小樣本分類實驗，來充分驗證本文算法性能，并與MAML、Reptile、Relation Networks和Prototypical Networks等先進算法比較。實驗1比較了不同算法在MiniImageNet數(shù)據(jù)集中的性能，并給出了參數(shù)λ對本文算法的影響；實驗2比較了不同算法在數(shù)據(jù)集CUB-200上的算法性能；實驗3給出了在數(shù)據(jù)集CIFAR-100上不同算法的性能比較。

為方便與其他算法進行比較，在后續(xù)的實驗中本文算法采用了與文獻[8-9,13,16]相同的網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)結(jié)構(gòu)由4個模塊組成，每個模塊包含1個3×3×64的卷積層和1個2×2的池化層，每個卷積層均采用歸一化處理。

4.1 MiniImageNet數(shù)據(jù)集

MiniImageNet數(shù)據(jù)集包含100個類，其中每個類包含600個樣本。采用與其他算法相同的拆分，其中64個類用于訓(xùn)練，16個類進行驗證，20個類用于測試。分別進行了5-way 1-shot和5-way 5-shot小樣本圖像分類實驗，表1給出不同算法的分類精度比較。

由表1可以看出，本文算法由于提高了模型對新任務(wù)的泛化能力，從而使分類精度得到了一定的提升。

表1 不同算法在數(shù)據(jù)集miniImagenet中分類精度的比較

4.2 CUB-200數(shù)據(jù)集

CUB-200數(shù)據(jù)集[14]包括了200種細分的類。參照文獻[15]中的劃分，隨機選取100個類用于元訓(xùn)練，50個類用于驗證，50個類進行測試，并將每幅圖像的尺寸大小調(diào)整為84×84。分別進行了5-way 1-shot和5-way 5-shot小樣本圖像分類實驗，表2比較了4種算法的分類精度。

由表2可以看出，本文算法相對于MAML算法的分類精度能有將近4%的提升。

4.3 CIFAR-100數(shù)據(jù)集

CIFAR-100數(shù)據(jù)集包括了100個類，每個類包含600張尺寸為32×32的圖形。隨機選取64個類進行元訓(xùn)練，16個類用于驗證，20個類用于小樣本分類性能測試。與其他實驗類似，分別進行了5-way 1-shot和5-way 5-shot小樣本圖像分類實驗，表3比較了不同算法的分類精度。由表3可以看出，本文算法相對于MAML算法精度有3%左右的精度提高。

表2 不同算法在數(shù)據(jù)集CUB-200中分類精度的比較

表3 不同算法在數(shù)據(jù)集CIFAR-100中的分類精度比較

4.4 平衡參數(shù)λ對算法性能的影響

本小節(jié)通過對以上3個數(shù)據(jù)庫的5-way 5-shot小樣本圖像分類實驗，分析平衡參數(shù)λ對算法性能的影響。圖1給出了本文算法(REML)在不同參數(shù)值時的分類精度。由圖1可以看出，當參數(shù)λ取值接近0時，算法識別精度與MAML算法接近；當參數(shù)λ取0.2～0.3之間時能獲得較高的識別精度；當參數(shù)λ大于0.3之后，隨著參數(shù)的增加算法性能逐步下降。

圖1 平衡參數(shù)λ不同時的算法分類精度

5 結(jié)論

針對小樣本學(xué)習(xí)問題，本文提出了正則化元學(xué)習(xí)算法(REML)用于求解小樣本圖像分類問題。該算法以交叉熵作為正則化項，以阻止元模型參數(shù)偏向某些具體任務(wù)，從而提高元模型的泛化能力，即提高元模型對新任務(wù)的適應(yīng)能力。此外，采用一階導(dǎo)數(shù)近似二階導(dǎo)數(shù)減小元學(xué)習(xí)模型訓(xùn)練所需計算量。在miniImageNet、CUB-200和CIFAR-100這3個數(shù)據(jù)集上進行的實驗表明，本文算法的分類性能優(yōu)于現(xiàn)有的同類算法，并表明平衡參數(shù)選擇在0.2～0.3之間時能獲得較高的識別精度。