祝鈞桃，姚光樂，張葛祥，李 軍，楊 強，王 勝，葉紹澤

1.成都理工大學 信息科學與技術學院，成都 610059

2.成都理工大學 人工智能研究中心，成都 610059

3.成都理工大學 環(huán)境與土木工程學院，成都 610059

4.成都理工大學 地質(zhì)災害防治與地質(zhì)環(huán)境保護國家重點實驗室，成都 610059

5.深圳市勘察研究院有限公司，廣東 深圳 518026

目前，深度神經(jīng)網(wǎng)絡在有監(jiān)督的視覺識別任務上取得了巨大成功[1-2]，但這些成功依賴于大量帶標注的樣本以及多次的迭代去訓練其大量的參數(shù)。隨著新類別的出現(xiàn)，當某些類別的樣本數(shù)據(jù)不足或帶標注樣本過少時，深度神經(jīng)網(wǎng)絡模型容易過度擬合[3]。相反，人類非常擅長從極少數(shù)樣本中成功學習并推廣，比如小朋友們通過書本上的幾幅圖片就能很快的分辨什么是“狗熊”，什么是“熊貓”。在人類這種快速學習能力的啟發(fā)下，希望深度學習的模型能夠在僅有少量樣本的情況下進行學習，即小樣本學習（Few Shot Learning）[4-5]。對于當前許多領域來說，比如人臉識別[6]、互聯(lián)網(wǎng)上的文本等，收集大量數(shù)據(jù)十分困難，同時一些隱私倫理等障礙也難以跨越。而比收集數(shù)據(jù)更難的還有對數(shù)據(jù)的標注等等。因此，小樣本學習的實踐價值不言而喻。

如何從少量的樣本中學習新的概念，是小樣本學習所面臨的挑戰(zhàn)。具體的，由于有監(jiān)督信息的樣本數(shù)量過少，深度學習模型在訓練時容易發(fā)生過擬合。如何解決面臨的過擬合難題，是研究小樣本學習的關鍵。對于深度神經(jīng)網(wǎng)絡下的小樣本學習，目前國內(nèi)外已經(jīng)有了一些相關的研究，如阿里巴巴智能服務事業(yè)部團隊[7]從模型的結(jié)構(gòu)，模型的分類方法和模型的優(yōu)化算法三個角度來綜述小樣本學習，將小樣本學習方法分為基于模型、基于度量和基于優(yōu)化三種。此外，李新葉等人[8]和趙凱琳等人[9]從跨任務學習知識的角度將基于元學習和基于遷移學習的方法也視為一種具體的小樣本學習模型。與現(xiàn)有研究不同的是，本文將從數(shù)據(jù)和模型兩個角度來劃分小樣本學習方法，從模型的角度來看，需要解決模型在訓練時面臨的過擬合問題，不論是在模型結(jié)構(gòu)上的改進還是對模型參數(shù)和算法的優(yōu)化，甚至是對模型分類方法的設計都可以視為是基于模型的方法。將基于模型作為一個具體的小樣本學習方法過于廣泛，因此在本文中進一步將基于模型的方法根據(jù)所采用技術的不同劃分成更加具體的三種學習策略：度量學習、外部記憶和參數(shù)優(yōu)化。從數(shù)據(jù)的角度來看，需要解決小樣本數(shù)據(jù)過少的問題，這方面與許多研究[8-10]類似，也將數(shù)據(jù)增強作為一種小樣本學習策略。同時，在本文中，元學習被視為一種高層次的跨任務學習策略，它可以應用在各種學習方法中，而不作為一種具體的學習方法，關于元學習將在下一節(jié)具體介紹。綜上所述，如表1 所示，從數(shù)據(jù)和模型兩個角度，根據(jù)解決方案所采用技術的不同，本文將在DNN 下的小樣本學習解決方案分為四種策略：數(shù)據(jù)增強、度量學習、外部記憶、參數(shù)優(yōu)化。

表1 在深度神經(jīng)網(wǎng)絡下的小樣本學習策略

1 小樣本學習問題定義

如圖1 所示，定義小樣本學習的基本模型為p=C(f(x|θ)|w)，它由特征提取器f(·|θ)和分類器C(·|w)組成，θ和w分別表示f和c的參數(shù)，x表示待識別的圖像，f(x|θ)表示對圖像x提取的特征，p表示對圖像x識別的結(jié)果。

圖1 小樣本學習基本模型

由于在小樣本學習問題中，其訓練集所包含的樣本數(shù)量過少，在該訓練集上訓練識別模型p所的到的參數(shù)θ和w會使模型過度擬合。因此，在通常情況下模型p=C(f(x|θ)|w)需要先在已有的基礎類別集Dbase上進行訓練（Dbase中包含多個類別，每個類別包含大量訓練樣本），學習到一個好的特征提取器參數(shù)θ和分類器參數(shù)w。接著給定一個包含N類新圖像的新類別集Dnovel，其中每個類別的訓練樣本數(shù)量一般不超過20個。模型p=C(f(x|θ)|w)通過在新類別集Dnovel上訓練，學習得到參數(shù)θ" 和w" 用于更新原始參數(shù)，更新后的模型p=C(f(x|θ")|w")能夠正確識別出這N類新圖像。

用于小樣本學習的深度神經(jīng)網(wǎng)絡主要有卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）和循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network，RNN）以及在其基礎上的變體，如ResNets[1]、VGG[11]、GoogleNet[12]、等，基礎的CNN 由卷積、激活和池化三種結(jié)構(gòu)組成。CNN 輸出的結(jié)果是每幅圖像的特征。當處理圖像分類任務時，會把CNN 輸出的特征作為全連接層的輸入，用全連接層來完成從輸入圖像到標簽集的映射，即分類。如上所述，在DNN 下的小樣本學習模型中，通常使用CNN 或RNN 來作為特征提取器，θ則對應網(wǎng)絡的參數(shù)。使用全連接層作為分類器，其參數(shù)為w。

同時，在小樣本學習問題中，常使用一種叫元學習（Meta Learning）的訓練策略。元學習的思想早在上世紀90年代就被提出[13]。隨著深度學習的快速發(fā)展，一些研究者提出利用元學習策略來學習優(yōu)化深度學習模型[14-15]。如圖2 所示，將被優(yōu)化的對象稱為基礎學習器（base learner），即深度神經(jīng)網(wǎng)絡模型，將元學習的過程（即訓練策略）稱為元學習器（meta learner）?；A學習器（模型）的目標是快速利用少量數(shù)據(jù)學習新任務。因此，基礎學習器也被稱為快速學習器，元學習器的目標是通過在大量不同學習任務上訓練基礎學習器，使得訓練后的基礎學習器可以僅使用少量的訓練樣本來解決新的學習任務，即小樣本學習任務。

圖2 元學習訓練思想

具體來說，元學習在處理小樣本問題時包括元訓練（meta-training）和元測試（meta-testing）兩個階段，如圖3所示。在元訓練階段，基礎學習器將面對元學習器提供的許多個獨立不同的監(jiān)督任務T ，任務之間所包含樣本的類別不完全相同。在每一個任務內(nèi)，從已有的基礎類別集Dbase中隨機抽取C 個類別，從每類樣本中抽取K 個樣本（共C×K 個樣本）組成支持集（Support Set，S）作為基礎學習器的輸入，再從這C 類的剩余樣本中隨機抽取一批作為查詢集（Query Set，Q）用于測試，其中K 一般不超過20 個，通常將這樣設置的任務稱為C-way K-shot問題。

圖3 元學習中任務的數(shù)據(jù)設置

所有任務都是從基礎類別集Dbase上隨機構(gòu)造的，且每一個任務的數(shù)據(jù)集DT={S,Q}設置相同。在元測試階段，新任務（即小樣本學習任務）的數(shù)據(jù)集Dnovel設置與訓練時的任務相同，并且新任務中的樣本類別是在之前學習過的任務中沒有出現(xiàn)過的。元學習的目標是為基礎學習器找到一個參數(shù)θ 來最小化在所有任務中的期望損失L(·|θ)：

基礎學習器在訓練過程中不斷學習新的任務，在經(jīng)歷大量的不同任務訓練之后，基礎學習器能夠更好地處理任務之間的不同并忽略特定任務的特征，因此能夠在遇到小樣本新任務的時候，有很好的效果。需要注意的是，元學習是一種高層次的跨任務學習策略[16]，可以應用在各種小樣本學習模型中，而不是一種特定的小樣本學習模型。

2 在DNN下的小樣本學習策略

2.1 采用數(shù)據(jù)增強的策略

小樣本學習所面臨的最主要難題是有監(jiān)督樣本數(shù)量過少，而深度學習模型需要足夠的數(shù)據(jù)支撐才能進行更好地訓練，然而在許多應用場景中，直接獲取大量的有標記數(shù)據(jù)很困難，而一些專業(yè)的數(shù)據(jù)采集和標注價格十分昂貴。因此，對小樣本學習的數(shù)據(jù)集進行數(shù)據(jù)增強是一種比較直接且簡單的解決方法。

數(shù)據(jù)增強也叫數(shù)據(jù)擴充，是指在輔助數(shù)據(jù)或輔助信息（即轉(zhuǎn)換規(guī)則）的幫助下向原有的小樣本數(shù)據(jù)集中增加新的數(shù)據(jù)，以生成一個更大的數(shù)據(jù)集，防止模型的過度擬合。如圖4 所示，通過利用輔助數(shù)據(jù)或輔助信息，我們對新類別集Dnovel中的樣本(xi,yi)按照一定規(guī)則轉(zhuǎn)換成多個樣本，轉(zhuǎn)換后的樣本具有與被轉(zhuǎn)換樣本相同的類別標簽，并加入到原數(shù)據(jù)集Dnovel中形成一個更大的數(shù)據(jù)集D"novel，這個更大的數(shù)據(jù)集由于包含較多的數(shù)據(jù)，可以直接在深度模型下進行訓練。

圖4 采用數(shù)據(jù)增強策略的小樣本學習方法基本結(jié)構(gòu)（以圖像旋轉(zhuǎn)為例）

在早期的工作中，通常對現(xiàn)有的小樣本數(shù)據(jù)集應用固定的轉(zhuǎn)換規(guī)則來生成新的樣本?？梢允菄@某一個樣本進行操作，如移位（translation）[17]、旋轉(zhuǎn)（rotation）[18]、縮放（scale）[19-20]、裁剪（crop）[19-21]、翻轉(zhuǎn)（flip）[21-22]等操作，也可以是同時針對多個樣本進行操作，如SMOTE[23]、SamplePairing[24]和Mixup[25]等算法。這些方法非常簡單，對原圖像的改動十分微小，但可以快速獲得大量新數(shù)據(jù)。并且對于這些修改后的圖像，這里的神經(jīng)網(wǎng)絡會認為是不同的圖像。

然而人為的構(gòu)建這些固定的數(shù)據(jù)轉(zhuǎn)換規(guī)則需要大量相關領域的知識，同時這些轉(zhuǎn)換規(guī)則不具有一般性，有的僅在作用于特定的數(shù)據(jù)集時有較好的表現(xiàn)，比如對于一個非正方形尺寸圖像的數(shù)據(jù)集，采用旋轉(zhuǎn)可會丟失圖像的尺寸，這又需要額外的工作去解決尺寸問題。因此，采用固定轉(zhuǎn)換規(guī)則的方式并不能完全解決小樣本學習問題。

更先進的擴充方法通過神經(jīng)網(wǎng)絡來學習生成新的數(shù)據(jù)。其中最具代表的是基于生成對抗網(wǎng)絡（Generative Adversarial Nets，GAN）合成數(shù)據(jù)的方法，最原始的GAN由Goodfellow等人[26-27]最早提出，GAN框架包含兩個不同的網(wǎng)絡，一個被稱為生成器（Generator，G(·|θG)），另一個被稱為判別器（Discriminator，D(·|θD)）。生成器G根據(jù)輸入的隨機噪聲z產(chǎn)生隨機的模擬樣本G(z|θG)。而判別器D的任務則是判斷輸入樣本是否真實，并輸出其為真實樣本的概率D(· |θD)。G的目標是盡可能生成真實的樣本去欺騙D，而D則要正確區(qū)分出真實樣本x與模擬樣本G(z|θG)。兩者構(gòu)成一種動態(tài)的博弈過程，并在對抗的過程中不斷改進自己的技術，最后達到一個平衡點，此時生成的模擬樣本能夠達到以假亂真的效果。其目標函數(shù)定義為：

一般而言，將GAN 應用于小樣本學習的基本思想是，通過利用基礎類別集Dbase來訓練GAN 網(wǎng)絡，再使用訓練后的GAN為新類別集Dnovel生成新數(shù)據(jù)，以產(chǎn)生一個更大的數(shù)據(jù)集D"novel。

基于上述思想，Mehrotra 等人[28]提出了一種用于單樣本學習的生成對抗殘差成對網(wǎng)絡，提出使用可學習的神經(jīng)網(wǎng)絡來度量樣本之間的相似性并進行分類，同時引入了GAN網(wǎng)絡，利用GAN生成器為輸入的支持集樣本生成假的查詢樣本，為了防止直接復制，對輸入的支持集樣本進行了隨機的“破壞”，而判別器不僅要能夠區(qū)分輸入的樣本是否是真實的查詢集樣本，而且對于判斷為真的查詢集樣本，還要評估他與對應的支持集樣本是否相似。最后，生成器與判別器的損失將作為正則化項，添加到分類損失后，來增強相似性匹配任務。劉宇飛等人[29]提出了一種結(jié)合W-GAN 和DNN 的小樣本學習方法，即利用W-GAN對新類別數(shù)據(jù)集Dnovel進行增強，再使用增強后的數(shù)據(jù)集D"novel訓練DNN 分類器。具體的，對于WGAN中生成器生成的模擬樣本，使用判別器進行過濾。當生成的模擬樣本騙過判別器被識別為真實樣本后，才被作為有效的模擬樣本用于訓練集擴充。與GAN相比，W-GAN采用Wasserstein距離而不是JS 差異來評估真實和模擬樣本之間的分布差異，同時，采用Wasserstein 距離可以使網(wǎng)絡的訓練速度更快、更穩(wěn)定[30]。

除了基于GAN 合成數(shù)據(jù)的方法外，研究者發(fā)現(xiàn)同一類別不同樣本之間的差異是能夠泛化到其他的類別中的，通過學習這種差異，Hariharan 等人[31]提出了一種為小樣本合成數(shù)據(jù)的新方法，該方法包括兩個階段：表征學習和小樣本學習。表征學習階段使用有大量訓練樣本的基類數(shù)據(jù)集Dbase訓練一個好的特征提取器參數(shù)θ。而在小樣本學習階段，則同時使用新類別數(shù)據(jù)集Dnovel與基類數(shù)據(jù)集Dbase對模型進行微調(diào)。為了解決小樣本學習階段新類別數(shù)據(jù)過少的問題，提出使用一個特征生成器G去學習同一類別中兩個不同樣本特征向量z1與z2之間的變化關系：f:z1→z2，并應用在新類別數(shù)據(jù)上，為新類別生成新的數(shù)據(jù)。類似的，Schwartz等人[32]提出了一個由編碼器和解碼器組成的網(wǎng)絡來生成新數(shù)據(jù)。編碼器學習提取當前數(shù)據(jù)集Dbase中同類別的成對樣本之間的可轉(zhuǎn)移變形，而解碼器學習如何將這些變形應用于Dnovel中的樣本，為其生成新的數(shù)據(jù)。該方法的神經(jīng)網(wǎng)絡模型采用VGG16 或ResNet18 作為特征提取器，對于一個輸出的2 048維特征向量，該方法可以在0.1 s 為新類別生成1 024 個新數(shù)據(jù)，能有效地對少樣本類進行擴充。而在文獻[33]中不再學習這種成對變量之間關系，而是利用從一組場景圖像中學習的一些獨立的連續(xù)瞬態(tài)屬性（如雨天，陽光，夜晚等）來定向地為單樣本任務場景類合成特征，通過在輔助場景類上學習一個線性映射軌跡，將屬性映射到特征，從而將原始的圖像x轉(zhuǎn)換成新圖像，并將x的標簽賦予新圖像。而在文獻[34]中進一步設計了一個編解碼器網(wǎng)絡，以與輸入特征不同的屬性強度將樣本的特征映射到另一個合成特征中，從而生成新的圖像。

總的來說，通過利用當前任務的輔助信息對數(shù)據(jù)進行擴充以增大小樣本數(shù)據(jù)集Dnovel來解決小樣本學習問題是非常簡單且容易理解的。但通過數(shù)據(jù)擴充來解決小樣本學習問題的局限性在于，擴充策略通常是針對每個數(shù)據(jù)集定制的，不容易遷移到其他數(shù)據(jù)集，尤其是來自其他域的數(shù)據(jù)集。除此之外，現(xiàn)有的方法主要是針對生成圖像的，這是由于圖像可以很容易地被人類視覺評價，相比之下，文本和音頻等涉及語法和結(jié)構(gòu)的數(shù)據(jù)，要更加難以生成。

2.2 采用度量學習的策略

度量學習[30]的目標是學習一個成對相似性度量S(·,·)，在該條件下，相似的樣本對可以獲得較高的相似分，而不相似的樣本對則獲得較低的相似分。所有采用度量學習策略的小樣本學習方法都遵循這一原則，如圖5所示，給出了這一解決策略的基本結(jié)構(gòu)。它采用元學習的訓練策略來學習期望在不同任務中可轉(zhuǎn)移的相似性度量，并將其推廣到新的小樣本學習任務中。其中f和g分別是將支持集樣本（用xj表示）與查詢集樣本（用xi表示）映射到特征空間的嵌入模型（通過），θf和θg分別對應其參數(shù)。S(·,·)則是用于度量支持集樣本與查詢集樣本之間的成對相似性的一個度量模塊，這可以是一個簡單的距離度量，也可以是一個可學習的網(wǎng)絡，只要它能夠估計樣本或特征之間的成對相似性。最后通過度量模塊輸出的相似度可用于對查詢樣本的分類預測。

圖5 采用度量學習策略的小樣本學習方法基本結(jié)構(gòu)

采用度量學習策略的小樣本學習方法主要有兩種：一是采用固定的度量，主要有原型網(wǎng)絡[35]和匹配網(wǎng)絡[39]；二是采用可學習的度量，如關系網(wǎng)絡[43]等。

適用于小樣本學習的原型網(wǎng)絡（prototypical networks）最早由Snell 等人[35]提出，如圖6 所示，它以同類支持樣本的特征表示中心作為該類的原型（圖中的黑色球），類原型PC的計算公式定義為：

其中SC表示支持集樣本中類別標簽為c的樣本集，xj表示類別標簽為c的第j個樣本。通過不斷訓練網(wǎng)絡，使得在嵌入空間（圖中的黑框）內(nèi)，同類別樣本特征到本類原形的距離較近，到其他類原形的距離較遠。測試時，通過計算待分類樣本xi的特征（圖中的白色球）與原型之間的歐幾里得距離，并使用Softmax 函數(shù)輸出對xi標簽的預測概率。同時，在原型網(wǎng)絡中f和g是參數(shù)共享的嵌入網(wǎng)絡（即θf =θg），這種框架也是許多后續(xù)此類小樣本學習方法的基石。TADAM[36]通過引入度量縮放因子α，進一步優(yōu)化原型網(wǎng)絡的相似性度量S(·,·)，并通過任務嵌入網(wǎng)絡（TEN）將原始任務無關型的f轉(zhuǎn)化為任務條件嵌入型。此外，AM3[37]還將額外的跨模態(tài)信息，如語義表示，集成到原型網(wǎng)和TADAM中，以增強度量學習過程。

圖6 原型網(wǎng)絡（黑色球表示類的原型，白色球表示待分類樣本）

Vinyals等人[38]提出的匹配網(wǎng)絡（Matching Networks）通過評估查詢集樣本xi的特征表示與每個支持集樣本xj的特征表示之間的余弦相似性來預測查詢樣本xi的標簽概率。匹配網(wǎng)絡的模型結(jié)構(gòu)類似于圖5 所示的基本結(jié)構(gòu)，都是以帶標簽的支持集樣本xj和無標簽查詢集樣本xi為輸入，分別將樣本映射到嵌入空間f(xj)和g(xi)中。不同的是，在分類階段，匹配網(wǎng)絡不直接通過度量距離來預測概率，而是引入了注意力機制來計算查詢樣本xi對每一個支持集樣本xj的注意力a(xi,xj)：

其中，c(·,·)表示余弦距離，最后使用式對查詢樣本的標簽進行預測，實現(xiàn)在只有少量樣本的條件下對無標注樣本的標簽預測。匹配網(wǎng)絡在兩個方面不同于原型網(wǎng)絡。首先，匹配網(wǎng)絡的嵌入f和g是兩個不同的網(wǎng)絡，即θf≠θg。其中f是CNN 和BiLSTM[39]的組合，目的是為少數(shù)的支持集樣本實現(xiàn)全上下文嵌入，而g是一個條件模型，它通過注意力機制為查詢樣本生成特征。其次，匹配網(wǎng)絡中的相似性度量采用余弦距離而不是歐氏距離。在MM-Net[40]中，進一步設計了一個內(nèi)存模塊用以產(chǎn)生特征嵌入，可用于生成g中的參數(shù)。而在文獻[41]中，則考慮了類標簽的語義多樣性和相似性，并利用預定抽樣的策略來促進匹配網(wǎng)的模型訓練。

與原型網(wǎng)絡和匹配網(wǎng)絡使用固定的非參數(shù)的度量（比如歐幾里德距離、余弦距離等）來估計成對特征之間的相似性不同。Sung 等人[42]提出的關系網(wǎng)絡（Relation Networks）采用了可學習的CNN 來評估成對樣本之間的相似性。類似的，關系網(wǎng)絡同樣包含一個嵌入模塊f和一個關系模塊g，以5-way 1-shot的小樣本學習問題為例（即支持集中樣本類別有五個且每一類只包含一個樣本），嵌入模塊將支持集中的樣本xj(j=1,2,3,4,5)和查詢集中待分類樣本xi通過嵌入函數(shù)f映射到特征空間，并將特征映射f(xi)和f(xj)通過級聯(lián)的方式連接起來輸入到關系模塊，在關系模塊中通過函數(shù)g(·)比較f(xi)和每一個f(xj)的余弦相似性并計算得到一個介于0和1的關系得分r(xi,xj)（0代表不相似，1代表完全相同）：

其中，θf =θg，h(·)表示可學習的CNN，θh表示其參數(shù)。C(·,·)表示將特征映射級聯(lián)。最后根據(jù)關系值對無標注新數(shù)據(jù)進行標簽預測?；陉P系網(wǎng)絡，DCN[43]通過將關系模塊部署到嵌入模型f的每一層來擴展關系網(wǎng)絡。SoSN[44]選擇在特征映射的二階表示上進行關系計算，而SARN[45]進一步在關系網(wǎng)中引入了一種自注意力機制，用于捕獲非局部的特征以及增強特征表示。SRPN[28]設計了一個更復雜的網(wǎng)絡，用于取代固定的距離度量函數(shù)，并通過跳躍連接實現(xiàn)了中間特征圖的充分融合。

除了以上的方法外，Kim等人[46]提出了基于變分自動編碼器（VAE）的原型圖像生成網(wǎng)絡，提出了原型圖像的概念，區(qū)別于原型網(wǎng)絡中的原型概念，這里的原型圖像指沒有任何形變和模糊的圖像，通過對輸入的圖像x進行重構(gòu)得到對應的原型圖像t，把圖像中的干擾信息排除，保留最直觀最重要的原型圖像，最后采用最近鄰算法進行分類。Li 等人[47]在度量學習算法的基礎上提出了一種特征學習模塊用于小樣本學習，為了改進原有算法特征提取網(wǎng)絡的表征能力，設計了一種類遍歷模塊（Category Traversal Module，CTM），CTM 模塊包含一個級聯(lián)器（Concentrator）和一個投影器（Projector）。原特征提取網(wǎng)絡f(·|θf)獲取支持集和查詢集的數(shù)據(jù)得到初始特征信息f(S|θf)和f(Q|θf)，級聯(lián)器獲取支持集的特征信息用于提取類內(nèi)共有特征，而投影器獲取級聯(lián)器的輸出用于提取類間的獨有特征，并在特征圖通道維度上使用softmax層得到各個特征圖對應的掩碼圖p。最后，將初始特征信息通過一個變形器（Reshaper）更改形狀得到變形后的特征圖r(S)和r(Q)用于與對應的掩碼圖p逐元素相乘得到改進的特征圖I(S)和I(Q)，改進后的特征圖可以用于各種基于度量學習的算法分類器中。同時CTM 的優(yōu)點在于它是一種即插即用的模塊，可以直接添加到原網(wǎng)絡中。

采用度量的策略的小樣本學習方法其關鍵在于學習一個好的特征嵌入f和g，能夠?qū)颖居成涞揭粋€良好的嵌入空間，在該空間中，來自不同類的樣本可以很好地分離，而這樣一個好的特征嵌入通常需要大量數(shù)據(jù)去訓練。因此，當存在一個包含足夠的各種類樣本的大規(guī)?；悢?shù)據(jù)集Dbase時，可以采用度量學習的策略。然而，當小樣本任務與其他任務不密切相關時，這種方法可能不能很好地工作。此外，更多的探索如何混合任務的不變信息和任務特定信息對基于度量學習的方法是非常有幫助的。

2.3 采用外部記憶的策略

采用外部記憶策略的小樣本學習方法，其主要思想是在模型中添加額外的記憶模塊來保存從支持集S中提取的一些信息，幫助網(wǎng)絡進行學習。而每個測試樣本則由從記憶模塊中讀取內(nèi)容的加權(quán)平均表示。

如圖7 所示，給出了這一類方法模型的基本結(jié)構(gòu)。在記憶模塊中通常采用鍵值對(key,value)的形式存儲支持集樣本的信息，具體而言，key表示支持樣本xj在f中的嵌入表示f(xj)，而value表示其對應的標簽yj（也可以是其他信息，這里以類別標簽為例，即(f(xj),yj)）。而測試樣本xi首先通過特征提取器f嵌入得到f(xi)，這里的f(xi)不直接用作xi的表示，而是作為查詢鍵值讀取記憶模塊中的內(nèi)容，通過一個度量S(·,·)比較f(xi)與記憶模塊中每一個key的相似性，根據(jù)相似性將key對應的值value進行線性組合得到xi的表示，并用于后續(xù)的分類器輸入。

圖7 采用外部記憶策略的小樣本學習方法基本結(jié)構(gòu)

由于每個測試樣本xi都表示為從內(nèi)存中提取的值的加權(quán)平均值，所以內(nèi)存中鍵值對的質(zhì)量是很重要的。根據(jù)記憶模塊的功能，該類別中的學習方法可主要可以分為兩種：一是細化表示，如MANN[18]、終身記憶模塊[46]等；二是細化模型參數(shù)，如Meta-Net[47]、MM-Net[48]等。同時，由于采用記憶模塊成本較高，模塊通常只有很小的尺寸。當記憶模塊未裝滿時，可以將輸入的支持樣本xj寫入空內(nèi)存。當記憶模塊已滿時，需要采用一定的方法決定更換哪些模塊內(nèi)的內(nèi)容。

Santoro 等人[18]提出的基于記憶增強的神經(jīng)網(wǎng)絡（Memory-Augmented Neural Network，MANN）借鑒了神經(jīng)圖靈機（Neural Turing Machine，NTM）的思想，采用顯示的外部記憶模塊保留樣本特征信息實現(xiàn)短期記憶，并利用元學習算法優(yōu)化NTM 的讀取和寫入過程，再結(jié)合神經(jīng)網(wǎng)絡自身具備的長期記憶能力共同實現(xiàn)小樣本學習任務。具體的，MANN 通過元學習得到嵌入表示f，將同一類的支持樣本映射到相同的鍵值，然后在記憶模塊中將它們的特征表示細化到一起，類似于原型網(wǎng)絡[30]中的類別原型。APL[48]設計了一個基于驚奇（surprise-based）的記憶網(wǎng)絡來記住它所遇到的信息最豐富的支持樣本，它在記憶模塊不能很好的表示輸入的支持樣本xj時才選擇更新模塊，這使得更新后的記憶模塊具有更好的表現(xiàn)，同時降低了計算成本。Kaiser等人[49]提出的終生記憶模塊（life-long memory module）將訓練時獲取到的所有類別樣本的特征信息與對應的標簽以鍵值對的形式存儲在記憶模塊。而測試時，采用KNN 的思想，選取記憶模塊中與測試樣本最近的k個樣本信息對新數(shù)據(jù)標簽進行預測。為了緩解記憶模塊中小樣本類別的信息容易被信息更豐富的類別樣本所替換的情況，該方法給記憶模塊內(nèi)的內(nèi)容增加了年齡參數(shù)，用于表示在內(nèi)存中的存儲時間，當內(nèi)存滿時，如果輸入的查詢向量q的真實標簽與記憶模塊中通過計算得到的對應的鍵的值相等時，則直接將該鍵的值進行更新，即細化表示。如果不相等，則會在年齡最大的內(nèi)容中隨機選擇一個被替換，更新或替換后將所有年齡清零。在這一策略下，所有的類別可能占用相同大小的內(nèi)存，從而保護了小樣本類。同時，該記憶模塊本身不具備網(wǎng)絡結(jié)構(gòu)，因此可以根據(jù)任務的不同，配合各種神經(jīng)網(wǎng)絡模型使用。

Munkhdalai 等人[50]基于元學習的訓練策略提出了一種帶有外部記憶模塊的網(wǎng)絡（Meta Networks，MN）。MN由Meta Learner和Base Learner以及一個外部記憶模塊組成。Base Learner可以獲取當前任務的輸入并分析，然后向Meta Learner 提供反饋。得到反饋后，Meta Learner 可以迅速地參數(shù)化自身和Base Learner 使得MN能夠識別輸入任務中的新概念。為了使小樣本學習能應用于各種神經(jīng)網(wǎng)絡，Cai 等人[40]提出的基于外部記憶的匹配網(wǎng)絡（Memory Matching Networks，MM-Net）使用一個內(nèi)存來細化在匹配網(wǎng)絡中學習的嵌入f ，它的輸出被用來參數(shù)化神經(jīng)網(wǎng)絡，在具體的實現(xiàn)過程中，還設計了記憶模塊的讀寫策略，并利用一個RNN 模型為查詢集的特征提取網(wǎng)絡g 生成參數(shù)θg。Mishra等人[51]在原型網(wǎng)絡[30]的基礎上提出了一種簡單通用的元學習器架構(gòu)SNAIL。該架構(gòu)結(jié)合了時序卷積網(wǎng)絡（Temporal Convolutional Network，TCN）和注意力機制，前者通過在時間維度上膨脹的一維卷積生成時序數(shù)據(jù)，使得模型可以從過去的經(jīng)驗中收集信息，而后者使用鍵值查詢的方式對之前的信息進行訪問，使模型能在上下文中精確的定位信息。

通過向網(wǎng)絡中引入外部記憶模塊來保存先前看到的一些有用的信息，采用外部記憶的策略可以很容易地應用于小樣本學習問題。同時，使用精心設計的記憶模塊更新規(guī)則，可以有選擇地保護模塊中記憶的內(nèi)容。但這種方法的缺點是它會產(chǎn)生額外的空間和計算成本，且這種成本會隨著外部內(nèi)存的大小的增大而增加，因此，目前采用的外部內(nèi)存的大小非常有限。

2.4 采用參數(shù)優(yōu)化的策略

深度學習在大數(shù)據(jù)集任務上取得的成功依賴于大量的有標注數(shù)據(jù)以及多次的迭代更新優(yōu)化其具有的大量參數(shù)，這種優(yōu)化在小樣本學習情況下會失效?；谔荻认陆档膬?yōu)化算法在小樣本問題上失效的原因在于小樣本少量參數(shù)的更新迭代無法使網(wǎng)絡學習到一個泛化能力強的特征表示，從而導致在分類器上分類效果很差。采用參數(shù)優(yōu)化策略的小樣本學習方法其核心思想是通過一個優(yōu)化器（即學習算法）的來優(yōu)化針對特定任務的基礎學習器（即模型）。如圖8所示，黑色實線部分表示正常的基于梯度下降的學習，這通常需要成百上千次的迭代才能得到最終模型。而參數(shù)優(yōu)化的策略可以是為基礎學習器元學習一個好的初始化參數(shù)θ 和w，使得模型能在少量樣本的支持下，通過幾次迭代就能快速適應新任務（如圖中藍色虛線流程）。也可以是為優(yōu)化器學習一個好的參數(shù)θo，即優(yōu)化學習算法，使得模型的參數(shù)更新規(guī)則更適合當前任務，以加速網(wǎng)絡的學習（如圖中紅色虛線流程）。

通常情況下，對于許多不同的學習任務，它們之間可能存在一些共同的特征，如果能夠獲取這些共同的特征，再進一步針對特定任務做出調(diào)整，那么模型應該可以很快的適應新任務?；谶@一思想，MAML[52]通過跨任務訓練策略為基礎學習器尋找一個良好的初始化參數(shù)θ，使得具有此初始化的基礎學習器能夠僅使用幾個支持樣本快速地適應新的任務。具體而言，整個學習過程包含兩步，首先，從基礎類別數(shù)據(jù)集Dbase中采樣得到多個任務Ti，然后在多個任務的訓練集上訓練網(wǎng)絡得到其參數(shù)θ，使其具備提取共有特征的能力，而不考慮特定的任務。其次，在各個任務的測試集上計算損失并使網(wǎng)絡在測試集上的損失之和最小，此時得到的參數(shù)θ"對新任務具備高度敏感性，將其作為模型的初始化，能使得模型在小樣本學習任務中快速適應。在MAML的基礎上，Li等人[53]提出了一種新型元學習優(yōu)化器（Meta-SGD）用于小樣本學習。與MAML相比，Meta-SGD除了訓練一個好的初始化參數(shù)θ 外，還訓練了參數(shù)的更新方向，以及學習速率α。MT-net[54]在MAML的基礎上引入了一個任務相關變換矩陣和掩碼矩陣得到掩碼變換網(wǎng)絡，使得每個任務的參數(shù)θ 能夠在任務對應的子空間中進行學習，且參數(shù)θ 更新過程會根據(jù)任務需求來設計。Rusu等人[55]基于MAML方法提出了一種的元學習算法（LEO），區(qū)別于其他方法在網(wǎng)絡高維參數(shù)上執(zhí)行MAML 的算法，LEO 的特點是直接在低維的表示空間上執(zhí)行MAML的算法。

圖8 采用參數(shù)優(yōu)化策略的小樣本學習方法基本結(jié)構(gòu)

受到MAML 的啟發(fā)，Jamal 等人[56]提出了一種與任務無關的元學習優(yōu)化算法（TAML），提出了TAML算法的兩種形式：基于熵減最大化的TAML和基于最小化不平等性的TAML?；陟販p最大化的TAML 方法針對具有離散輸出的分類任務，通過最大化初始模型與訓練后模型預測的熵之差來實現(xiàn)對任務的無偏性。這是由于初始模型熵越大則預測結(jié)果隨機性越高，使得學習到的初始模型參數(shù)θ對于各個類別沒有任何偏好，同時最小化訓練后模型的熵使得模型對于具有更高置信度的標簽更有確定性。而基于最小化不平等性的TAML方法針對一些連續(xù)性輸出的任務需求，通過最小化初始模型在不同任務上損失的不平等性，使元學習器學習到一個無偏的初始模型參數(shù)θ。這一思想來自于經(jīng)濟學上的不平等性概念，即把模型在每個任務上的損失看做這個在任務上的收入，為了保證模型對于每個任務都是無偏的，那就需要減少每個任務收入之間的不平等性。Elsken等人[57]將神經(jīng)架構(gòu)搜索（Neural Architecture Search，NAS）引入到小樣本學習算法中，提出了一種基于參數(shù)優(yōu)化的小樣本學習算法（Meta-NAS）。將經(jīng)典的NAS算法DARTS和小樣本學習算法進行了結(jié)合，在MAML 或Reptile算法的基礎上增加了對于網(wǎng)絡結(jié)構(gòu)權(quán)重參數(shù)αoi,j的學習，在任務學習階段和元學習階段同時更新的網(wǎng)絡的參數(shù)θ和結(jié)構(gòu)參數(shù)α。Guo等人[58]提出了一種基于權(quán)重生成的小樣本學習算法（AWGIM）。與其他相關算法只使用支持集數(shù)據(jù)生成固定的分類器權(quán)重w不同，AWGIM方法引入了互信息（Mutual Information，MI）和注意力機制?；バ畔⒈硎井斀o定的兩個隨機變量其中一個變量已知時，另一個變量不確定性的下降程度。因此，采用最大化權(quán)重與查詢集圖像和支持集圖像之間的互信息作為目標函數(shù)，使生成的分類器權(quán)重w與查詢集圖像和支持集圖像相關。具體的，從基礎類別數(shù)據(jù)集Dbase中隨即采樣N-wayK-shot 的小樣本學習任務T，T中包含支持集S與查詢集Q，其中xi為Q中的無標簽樣本。首先，任務T中的樣本經(jīng)過CNN提取特征后，通過兩條路徑（上下文路徑和注意力路徑）對任務的上下文以及單個的查詢樣本進行編碼。上下文路徑采用多頭自我注意網(wǎng)絡學習支持集圖像的特征，其輸出Xcp包含了關于任務上下文的豐富信息，用于后面的權(quán)重生成。而注意力路徑采用新的多頭自我注意網(wǎng)絡，對支持集編碼任務的全局信息，然后再利用一個交叉注意力網(wǎng)絡對查詢集和支持集樣本共同編碼，其輸出用Xap表示。其目的是讓單個查詢樣本能夠注意任務的上下文，使得生成的分類權(quán)重不但能夠適應不同的查詢樣例，而且知道任務上下文信息。接著將上下文路徑和注意力路徑的輸出進行拼接得到Xcp⊕ap，并作為權(quán)重生成器g的輸入，這時使用Xcp⊕ap生成的分類權(quán)重w是特定于查詢樣本xi的。

由于之前的優(yōu)化算法是針對大數(shù)據(jù)集的，在面對小樣本學習問題時優(yōu)化效果可能不好，為了解決這個問題，Andrychowicz 等人[14]提出了通過梯度下降來學習如何通過梯度下降學習（learning to learn by gradient descent by gradient descent）。使用LSTM 優(yōu)化器來代替?zhèn)鹘y(tǒng)的梯度下降優(yōu)化算法，使用梯度下降來優(yōu)化優(yōu)化器參數(shù)θo。而在訓練任務上學習得到的優(yōu)化器性能優(yōu)于通用人工設計的方法，并且可推廣到相似結(jié)構(gòu)的新任務中。Ravi 等人[59]提出使用一個基于LSTM 的元學習器來學習一個優(yōu)化算法，即優(yōu)化器參數(shù)θo。該優(yōu)化算法可用于訓練在小樣本情況下的基礎學習者的網(wǎng)絡參數(shù)θ和分類器權(quán)重w，用以解決小樣本圖像分類問題。由于LSTM 單元狀態(tài)的更新規(guī)則與元學習器參數(shù)更新規(guī)則很相似，因此，訓練一個基于LSTM 的元學習器去學習一個新的參數(shù)更新規(guī)則，作為分類器網(wǎng)絡的優(yōu)化算法，同時學習到的一個好的初始值能確定分類器網(wǎng)絡一個好的初始化參數(shù)，幫助優(yōu)化快速進行，使得分類器在小樣本數(shù)據(jù)上也能取得好的分類效果。

通過優(yōu)化模型或優(yōu)化器的初始參數(shù)可以減少模型在學習過程的中的參數(shù)迭代次數(shù)，使得模型能夠快速的適應新任務，特別是小樣本任務。使用一個好的參數(shù)θ"或w"作為初始化，可以有效地降低計算成本。而學習一個好的優(yōu)化器參數(shù)θo，可以使得模型現(xiàn)有參數(shù)θ能更快的朝著目標方向收斂。這類策略的重點是如何通過學習得到一個好的模型初始化參數(shù)θ"和w"或者學習一個好的優(yōu)化器參數(shù)θo，來更好地細化現(xiàn)有的參數(shù)θ與w。然而，對于前一種方法，由于θ"和w"是從不同于當前任務的類似任務中學習到的，這種策略可能會犧牲識別精度來提高學習速度。

3 在相關基準上的表現(xiàn)

在本章中，將介紹在小樣本圖像分類與識別任務中常用的數(shù)據(jù)集，為了進行比較，通過在這些數(shù)據(jù)集上實驗的分類與識別精度來說明各種學習策略的性能。

3.1 小樣本學習常用的數(shù)據(jù)集

在小樣本圖像分類與識別任務中，使用最廣泛的標準數(shù)據(jù)集是MiniImageNet[38]和Omniglot。除此之外，常用數(shù)據(jù)集還包括CIFAR-100、CUB 等。這里主要介紹使用最廣泛的前兩個數(shù)據(jù)集，并在下一節(jié)中給出著名的在DNN下的小樣本學習方法在這兩個數(shù)據(jù)集上的識別性能。

MiniImageNet：是 由Google DeepMind 團 隊Oriol Vinyals 等人在ImageNet 的基礎上所提取出的數(shù)據(jù)集。該數(shù)據(jù)集共包含100個類類別共記60 000張彩色圖片，其中每類有600 個樣本，每張圖片的規(guī)格為84×84。DeepMind團隊首次將MiniImageNet數(shù)據(jù)集用于小樣本學習研究，從此MiniImageNet成為了元學習和小樣本領域的基準數(shù)據(jù)集。在使用時，該數(shù)據(jù)集的訓練集和測試集的類別劃分一般為80∶20。相比于Omniglot 數(shù)據(jù)集，MiniImageNet 數(shù)據(jù)集更加復雜，適合進行原型設計和實驗研究，但由于類別較少，一般只做1-way和5-way的實驗。

Omniglot：包含32 460 個手寫字符的圖像。它由1 623個不同的字符組成，共有50個字母，從拉丁語、韓語等國際語言到不太為人所知的當?shù)胤窖?。每一個字符都是由20個不同的人通過亞馬遜的Mechanical Turk人手工繪制的，每個字符產(chǎn)生了20 幅圖像。相當于1 623個類，每類20 個樣本。在實驗時，通常采用文獻[38]中的數(shù)據(jù)設置與預處理，即取1 200個字符進行訓練，其余423個字符進行測試。此外，將每個圖像的大小調(diào)整為28×28像素，并以90度的倍數(shù)旋轉(zhuǎn)作為數(shù)據(jù)增強。

3.2 表現(xiàn)及結(jié)論

MiniImageNet 和Omniglot 這兩個數(shù)據(jù)集是用來評估最近的小樣本圖像分類與識別方法的最流行的基準，在表2中列出了部分基于DNN的小樣本學習方法在這兩個數(shù)據(jù)集上的表現(xiàn)。對于每一種方法，都指定了采用的解決策略，使用的DNN 結(jié)構(gòu)以及在數(shù)據(jù)集上的識別結(jié)果，所有的識別結(jié)果取自原文數(shù)據(jù)。

表2 中的結(jié)果表明，這些方法在Omniglot上1-shot/5-shot識別精度幾乎都達到了97%/98%以上，可提升的空間較小。然而同樣的方法在MiniImageNet 上的精度僅為50%/70%左右，這是由于MiniImageNet 上的圖像數(shù)據(jù)具有更復雜的類別、背景、特征以及形態(tài)變化。這也表明，現(xiàn)有的在DNN下的小樣本學習方法在MiniImageNet上仍然有很大的提升空間。同時在MiniImageNet數(shù)據(jù)集上，在采用度量學習和參數(shù)優(yōu)化策略的方法中，識別效果最好的模型[47，55]比效果最差的模型[38，59]在識別精度上的差距，在1-shot/5-shot情況下分別達到了18%/20%左右，這表明這兩種策略的方法還有很大的提升空間。例如，在采用度量學習策略的方法中，相較于采用固定度量的方法[35-36，38]，采用可學習度量的方法改進效果更好，例如DCN[43]和CTM[47]相較于關系網(wǎng)絡[42]提高了超過了10%的精度。這表明使用深度神經(jīng)網(wǎng)絡來進行成對樣本相似性的計算是非常有效的，這一模式也將成為今后度量學習方法的主流。

4 結(jié)束語

深度學習在大數(shù)據(jù)時代得到了的迅速發(fā)展，在大量數(shù)據(jù)的支持下，深度學習在許多任務上取得了成功。但由于深度學習模型包含大量的參數(shù)，需要大量有標簽的數(shù)據(jù)才能很好的訓練，這限制了其在許多實際場景中的應用。因此利用少量樣本就能訓練一個好模型的小樣本學習成為了深度學習的一個重要課題。

表2 DNN下的小樣本學習方法在相關數(shù)據(jù)集上的識別表現(xiàn)

總的來說，在深度神經(jīng)網(wǎng)絡的支持下，小樣本學習問題有了一定的發(fā)展。但目前對于深度神經(jīng)網(wǎng)絡還缺乏系統(tǒng)完整的理論，對于其提取的深層特征的含義仍然難以解釋。只有一些可視化技術能夠觀察中間特征層的功能和分類器的操作。另一方面，雖然最近基于DNN的小樣本學習工作在圖像分類與識別方面取得了突破的進展，但仍然存在一定的局限性，采用數(shù)據(jù)增強策略的方法，其優(yōu)點是步驟簡單且能快速獲得大量新數(shù)據(jù)，但這種方法不適合一些特定的任務，不能從根本上解決小樣本問題，同時這種方法可能會引入無用特征，對分類效果產(chǎn)生負面影響。采用度量學習策略的方法通過學習一個嵌入空間并借助一個度量采用類似最近鄰的無參分類法，省略了分類器的參數(shù)訓練，便于計算和公式化。但學習的嵌入空間容易過度擬合，需要額外的數(shù)據(jù)支持。采用外部記憶策略的方法能夠利用外部的存儲空間輔助網(wǎng)絡存儲學習的舊知識，幫助網(wǎng)絡學習新任務，但通常使用的外部內(nèi)存很小，需要設計巧妙的內(nèi)存替換規(guī)則，這會大大增加額外的計算成本。采用參數(shù)優(yōu)化策略的方法可以為模型學習一個好的初始化參數(shù)或好的參數(shù)更新策略加速學習，但這種策略可能會犧牲識別精度來提高學習速度，需要改進和發(fā)展的方面還有很多。此外，在小樣本學習的模型中使用元學習的訓練策略，可以從大量相關任務中學習可遷移的知識并將其應用在小樣本新任務中，加速網(wǎng)絡的學習，但這種策略對與大量相關任務關系不緊密的新任務效果不好，同時元學習的一個缺點是會選擇性的遺忘學習的舊任務知識。

針對現(xiàn)有技術存在的一些不足，就其在未來的發(fā)展方向提出一些展望：對于采用數(shù)據(jù)增強的策略，由于生成的數(shù)據(jù)與真實樣本相比，不具有很強的可解釋性，其特征表現(xiàn)能力遠遠不足。同時生成的數(shù)據(jù)可以能引入無用的特征，對分類效果產(chǎn)生負面影響。因此在今后的工作中，數(shù)據(jù)增強更多的應用是作為一個數(shù)據(jù)的預處理手段，再結(jié)合其他的學習方法，如度量學習[40]，可以得到更好的結(jié)果；對于采用度量學習的策略，由于采用固定距離度量的度量學習的方法目前已經(jīng)比較成熟，可改進的空間非常有限，而利用深度神經(jīng)網(wǎng)絡學習的度量能夠更加適應特定任務。因此，基于深度神經(jīng)網(wǎng)絡來估計成對樣本之間的相似性將成為未來主要的研究方向；對于采用外部記憶的策略，內(nèi)存中鍵值對的質(zhì)量十分重要，同時由于內(nèi)存大小有限，在更新內(nèi)存信息時，如何保留內(nèi)存中最有用的信息將成為此類方法的關鍵，此外，設計不依賴于具體模型的外部記憶模塊結(jié)合其他策略進行學習也是未來研究的一個方向，在此方面已有了一些工作[40]，并取得了不錯的效果；對于采用參數(shù)優(yōu)化的策略，通常依賴于元學習的訓練策略，通過從一組相關任務中學習的元知識來參數(shù)化初始模型或指導學習算法更快的更新參數(shù)，達到快速學習的目的，即元學習器充當優(yōu)化器。因此，更好地設計元學習器使其學習到更多或更有效的元知識，是今后一個重要的研究方向；同時，現(xiàn)有的工作大多針對計算機視覺中的小樣本問題，如字符識別和圖像分類，并且在相關數(shù)據(jù)集上取得了較好的表現(xiàn)。然而小樣本學習問題，在如文本識別、自然語言處理、語音識別等許多領域上也值得探索和研究。