韋世紅，劉紅梅，唐 宏，朱龍嬌

1.重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶400065

2.重慶郵電大學(xué) 移動通信技術(shù)重慶市重點實驗室，重慶400065

近年來，深度學(xué)習(xí)在計算機視覺、語音識別等領(lǐng)域得到廣泛應(yīng)用。圖像分類作為計算機視覺領(lǐng)域一項基礎(chǔ)性工作取得了突破性進展。盡管神經(jīng)網(wǎng)絡(luò)模型在圖像分類任務(wù)中取得了很好的效果，但對數(shù)據(jù)量的要求限制了其性能的發(fā)揮。當(dāng)訓(xùn)練樣本量不足時，深度學(xué)習(xí)模型不可避免地會出現(xiàn)過擬合問題，導(dǎo)致學(xué)習(xí)失敗。然而，人類擁有可以從少量的樣本中快速學(xué)習(xí)理解某一類事物，并將其識別泛化的能力。受此啟發(fā)，小樣本學(xué)習(xí)的概念應(yīng)運而生。小樣本學(xué)習(xí)旨在讓深度學(xué)習(xí)模型在數(shù)據(jù)量受限的情況下以人類的學(xué)習(xí)方式完成訓(xùn)練任務(wù)。由于在現(xiàn)實場景中很多數(shù)據(jù)都遵循長尾分布，獲取大量標(biāo)簽樣本費時費力，故小樣本學(xué)習(xí)的應(yīng)用范圍非常廣泛。例如，對農(nóng)作物葉片中罕見病害的智能識別，或者是輔助診斷醫(yī)學(xué)領(lǐng)域的罕見病例等。小樣本學(xué)習(xí)利用訓(xùn)練任務(wù)之間的共性，通過學(xué)習(xí)少量的標(biāo)簽樣本后可得到一個有效的分類器，極大地降低了數(shù)據(jù)集的獲取成本和難度。故此，如何充分發(fā)揮小樣本學(xué)習(xí)在圖像分類任務(wù)上的潛力，正逐漸成為業(yè)內(nèi)研究熱點。

小樣本學(xué)習(xí)領(lǐng)域有四種常用方法：數(shù)據(jù)增強、遷移學(xué)習(xí)、元學(xué)習(xí)以及度量學(xué)習(xí)。數(shù)據(jù)增強是解決小樣本圖像數(shù)據(jù)集不足最為直接的方法，通常包括旋轉(zhuǎn)、加噪、裁剪、壓縮等操作[1]。隨著技術(shù)的發(fā)展，更多的數(shù)據(jù)增強方法被提出以生成新的樣本。為了使生成樣本更加接近真實樣本圖像，文獻[2]提出了生成對抗模型（generative adversarial nets，GAN）。該模型由生成器和判別器兩部分組成。生成器用于盡可能生成判別器無法區(qū)分的新樣本，判別器用于判斷生成樣本與真實圖像的相似性，并將其進行區(qū)分。文獻[3]提出一種數(shù)據(jù)自適應(yīng)增強分類網(wǎng)絡(luò)模型（data adaptive enhancement and classification network，DA-ECNet）。該模型消除了訓(xùn)練時模型對真實噪聲和去噪聲圖像對的要求，采用域驅(qū)動的損耗函數(shù)進行圖像增強，得到數(shù)據(jù)自適應(yīng)圖像增強。盡管通過以上方式能擴充樣本并在一定程度上緩解過擬合問題，但生成樣本與真實圖像間具有視覺相似性，很難從根本上解決訓(xùn)練樣本匱乏帶來的模型訓(xùn)練過擬合問題。在許多真實應(yīng)用場景中，深度學(xué)習(xí)模型需要根據(jù)樣本分布的變化利用新數(shù)據(jù)從頭開始重建并訓(xùn)練參數(shù)和特征，但重建模型是昂貴且不可行的。為了減小模型訓(xùn)練的代價，遷移學(xué)習(xí)利用相似任務(wù)間有相同的學(xué)習(xí)規(guī)律可循的思想，將從源域中學(xué)習(xí)到的參數(shù)和特征進行調(diào)整并應(yīng)用到目標(biāo)域中，在經(jīng)驗信息的基礎(chǔ)上快速習(xí)得對指定類別的判斷泛化能力。從圖像分類流程來看，遷移學(xué)習(xí)作用于特征提取階段，具體有基于特征遷移、基于共享參數(shù)遷移、基于關(guān)系遷移三種學(xué)習(xí)方式。文獻[4]提出一種知識遷移網(wǎng)絡(luò)（knowledge transfer network，KTN）。該模型將視覺特征學(xué)習(xí)、知識推斷和分類器學(xué)習(xí)聯(lián)合在一個統(tǒng)一的框架中，自適應(yīng)地利用顯性視覺信息和隱性先驗知識。通過優(yōu)化基類訓(xùn)練數(shù)據(jù)的余弦相似度，訓(xùn)練基于卷積神經(jīng)網(wǎng)絡(luò)的視覺特征提取器，提取樣本的表示形式，生成基于視覺的新類別分類器。文獻[5]提出一種注意多對抗網(wǎng)絡(luò)的遷移學(xué)習(xí)方法（attentional multi-adversarial networks，AMAN）。該模型首先利用高級深度編碼器粗略地提取了跨域特征。之后在目標(biāo)域中注釋少量圖像，從而創(chuàng)建“活動標(biāo)簽”，為對抗學(xué)習(xí)提供指導(dǎo)。然后利用基于GAN的層次模型選擇跨領(lǐng)域類別，增強相關(guān)特征，以促進有效遷移。遷移學(xué)習(xí)的方法雖然提高了模型的泛化能力，但是模型極易遺忘經(jīng)驗信息，在訓(xùn)練過程中進行參數(shù)和特征遷移通常會造成嚴重的過擬合問題。同時遷移學(xué)習(xí)在不同復(fù)雜度的數(shù)據(jù)集上分類結(jié)果具有一定差異，普適性不強。元學(xué)習(xí)旨在讓機器學(xué)會學(xué)習(xí)，通過利用任務(wù)之間的共性使得模型從少量標(biāo)簽樣本中進行算法學(xué)習(xí)，確保元學(xué)習(xí)器能快速習(xí)得解決新學(xué)習(xí)任務(wù)的能力。最為典型的元學(xué)習(xí)模型為文獻[6]提出的模型無關(guān)元學(xué)習(xí)（model-agnostic metalearning，MAML）。它利用基礎(chǔ)學(xué)習(xí)器學(xué)習(xí)模型在各個任務(wù)上的初始化參數(shù)，并將優(yōu)化結(jié)果通過梯度信息傳遞給元學(xué)習(xí)器進行反向傳播，進而優(yōu)化元學(xué)習(xí)器參數(shù)以獲得最小梯度，最后用更新后的元學(xué)習(xí)器參數(shù)初始化基礎(chǔ)學(xué)習(xí)器來進行下一輪的迭代。為了克服監(jiān)督學(xué)習(xí)語義分割方法的局限性，文獻[7]提出了一種廣義的元學(xué)習(xí)框架（meta-seg）。它包括元學(xué)習(xí)器和基礎(chǔ)學(xué)習(xí)器。元學(xué)習(xí)器從分布的少量語義分割任務(wù)中學(xué)習(xí)到良好的初始化值和參數(shù)更新策略?；A(chǔ)學(xué)習(xí)器理論上可以是任何語義模型，并可以在元學(xué)習(xí)器的指導(dǎo)下實現(xiàn)快速適應(yīng)。元學(xué)習(xí)方法因其良好的分類效果而備受青睞，但復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)使得模型效率較低，訓(xùn)練模型需要花費大量的時間。度量學(xué)習(xí)旨在將樣本映射到一個公共特征空間，在學(xué)習(xí)的過程中目標(biāo)函數(shù)確保相似物體之間的距離減小，不同物體之間的距離增大，最后基于距離建立相似度并根據(jù)相似度將樣本劃分到正確類別中?；诙攘康男颖緦W(xué)習(xí)模型專注于研究在一個公共的特征空間下樣本間的分布規(guī)律。目前最為經(jīng)典的模型有匹配網(wǎng)絡(luò)（matching networks，MN）[8]、原型網(wǎng)絡(luò)（prototypical networks，PN）[9]以及關(guān)系網(wǎng)絡(luò)（relation network，RN）[10]這三種。文獻[11]在匹配網(wǎng)絡(luò)的基礎(chǔ)上提出了一種記憶匹配網(wǎng)絡(luò)（memory matching networks，MMN）。該網(wǎng)絡(luò)結(jié)合內(nèi)部存儲器和雙向長短期記憶網(wǎng)絡(luò)（long shortterm memory，LSTM）將記憶圖像特征壓縮進記憶間隙并進行編碼，不僅提高了圖像特征的表示能力，還降低了模型計算復(fù)雜度。文獻[12]提出一種可轉(zhuǎn)移原型網(wǎng)絡(luò)模型（transferrable prototypical networks，TPN）。該模型學(xué)習(xí)一個嵌入空間用于自適應(yīng)，使源域和目標(biāo)域中每個類的原型在嵌入空間中接近，并通過重構(gòu)每個類的原型距離來進行分類。相比于原型網(wǎng)絡(luò)，該模型不僅提高了分類準(zhǔn)確率還提高了模型的泛化能力。文獻[13]提出一種自注意關(guān)系網(wǎng)絡(luò)模型（self-attention relation network，SARN）。該網(wǎng)絡(luò)由嵌入模塊、注意模塊和關(guān)系模塊三個模塊組成。與現(xiàn)有關(guān)系網(wǎng)絡(luò)相比，SARN可以發(fā)現(xiàn)非局部信息，并允許遠程依賴，通過將支持集替換為語義向量，可以很容易地將SARN擴展到零樣本學(xué)習(xí)。度量學(xué)習(xí)不僅思想簡單直接，而且相較于其他小樣本學(xué)習(xí)方法能夠更加快速、有效地進行學(xué)習(xí)。

盡管度量學(xué)習(xí)效果十分顯著，但傳統(tǒng)的度量學(xué)習(xí)模型采用的都是圖像級全局特征。在數(shù)據(jù)樣本稀缺的情況下，這些全局特征并不能有效地表征類別分布，在一定程度上影響了最終的分類結(jié)果。另外，傳統(tǒng)的深度學(xué)習(xí)模型在利用神經(jīng)網(wǎng)絡(luò)進行特征提取時，由于逐層的卷積使得圖片特征尺寸減小，不可避免地會丟失部分有價值的信息，限制了卷積神經(jīng)網(wǎng)絡(luò)的性能。針對以上兩個問題，本文的工作如下：

（1）提出一種多級度量模塊，在傳統(tǒng)圖像級度量的基礎(chǔ)上融合圖像-類的度量。圖像-類的度量與樸素貝葉斯最近鄰方法（Naive-Bayes nearest-neighbor，NBNN）[14]相似，將查詢樣本特征與代表某一類別圖像的局部不變特征池進行相似性度量，能夠彌補圖像級度量不能有效表達一個類別分布的不足。同時，用一個inception模塊替換原有度量學(xué)習(xí)網(wǎng)絡(luò)中第一個卷積塊以增加網(wǎng)絡(luò)寬度，從而提高網(wǎng)絡(luò)效率。

（2）本文將第二層、第三層卷積所得特征描述子分別進行類別級度量，再將第四層卷積所得特征向量全連接后進行圖像級度量，最后再融合度量結(jié)果。該方法可有效解決圖像局部細節(jié)特征在量化過程中帶來的有效信息丟失的問題。

（3）不同于傳統(tǒng)訓(xùn)練方法，本文在模型訓(xùn)練過程中參考遷移學(xué)習(xí)的思想，以上層網(wǎng)絡(luò)訓(xùn)練結(jié)果作為下層網(wǎng)絡(luò)訓(xùn)練的初始值來訓(xùn)練模型，從而提高圖像級與類別級網(wǎng)絡(luò)融合度。

（4）由于不同卷積層的度量結(jié)果對最終的圖像分類結(jié)果貢獻不同，本文通過交叉驗證給不同卷積層所得圖像關(guān)系得分或圖像從屬概率賦權(quán)值再融合，以得到最佳的分類結(jié)果。

1 相關(guān)工作

1.1 原型網(wǎng)絡(luò)

原型網(wǎng)絡(luò)是由Snell等人提出的一種較為簡單有效的小樣本學(xué)習(xí)算法，旨在通過學(xué)習(xí)一個新的度量空間來進行類別劃分。在新度量空間中以支持集中某類標(biāo)簽樣本嵌入空間特征向量的均值為類原型，度量查詢集中樣本嵌入空間特征向量到各類原型的歐式距離，采用最近鄰的思想將查詢樣本劃分到正確的類別中去。

原型網(wǎng)絡(luò)會為支持集中每一類標(biāo)簽樣本計算出一個類原型Ck，通過映射函數(shù)fφ:RD→RM將標(biāo)簽樣本映射到M維嵌入空間中。如圖1所示，C1、C2、C3分別代表三個不同的類原型，X代表查詢集樣本嵌入空間特征向量。

圖1 原型網(wǎng)絡(luò)分類原理圖Fig.1 Prototype network classification schematic diagram

類原型Ck的計算如公式（1）：

其中，Sk代表支持集中第k個類別的數(shù)據(jù)集，xi表示支持集標(biāo)簽樣本D維特征向量，yi表示xi的樣本標(biāo)簽，

fφ()

xi表示支持集標(biāo)簽樣本嵌入空間特征向量。

為了得到查詢集樣本x的從屬概率Pφ(y=k|x)，將Softmax函數(shù)作用到查詢集樣本嵌入空間特征向量到類原型的歐式距離-d(fφ(x),Ck)。其概率分布如公式（2）：

1.2 關(guān)系網(wǎng)絡(luò)

關(guān)系網(wǎng)絡(luò)是Sung等人在2018年提出的一種小樣本學(xué)習(xí)算法，與傳統(tǒng)的度量學(xué)習(xí)方法不同，其首次在度量樣本間相似度上引入了神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)距離函數(shù)。如圖2所示，關(guān)系網(wǎng)絡(luò)由嵌入模塊和關(guān)系模塊兩部分組成。模型首先通過嵌入模塊來獲取支持集標(biāo)簽樣本和查詢集樣本的嵌入空間特征向量，再將兩者的特征向量進行拼接，最后利用關(guān)系模塊中的度量學(xué)習(xí)網(wǎng)絡(luò)來比較樣本間的相似性，并給出關(guān)系得分。

圖2 關(guān)系網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Relationship network structure diagram

關(guān)系得分ri,j的計算如公式（3）：

其中，fφ代表嵌入模塊，g?為度量學(xué)習(xí)網(wǎng)絡(luò)，fφ(xi)代表支持集標(biāo)簽樣本嵌入空間特征向量，fφ(xj)代表查詢集樣本嵌入空間特征向量，C(fφ(xi),fφ(xj))代表拼接后特征向量。

1.3 圖像-類的度量

傳統(tǒng)的大規(guī)模圖像分類設(shè)計都利用的是圖像級全局特征進行分類。然而，將一張圖像的局部細節(jié)特征進行量化編碼從而得到圖像級全局特征的過程中往往會丟失相當(dāng)一部分判別信息，這使得圖像級全局特征不能有效地表達一個類別的分布。樸素貝葉斯最近鄰方法（NBNN）以此為切入點，利用計算機視覺中同一類圖像的局部特征可打亂拼湊成一個全新的圖像的原理，提出了圖像-類的度量方式。該方法可以很好地表達一個類別的分布，且有效地避免了圖像局部特征利用不足的問題。圖像-類的度量旨在通過查詢樣本的局部特征描述子最近鄰搜索某一類別的圖像特征池來實現(xiàn)，即通過計算某一查詢樣本到某一類別的距離或相似度將圖像劃分到正確的類別中去。但是傳統(tǒng)的圖像分類任務(wù)包含大量的標(biāo)簽數(shù)據(jù)，在大量的局部描述子集合中進行最近鄰搜索費時費力，從而限制了該方法的應(yīng)用。因此，相較于傳統(tǒng)的大規(guī)模分類任務(wù)，圖像-類的度量方式更適合于解決小樣本分類問題。受此啟發(fā)，文獻[15]提出了一種由嵌入模塊和圖像-類的度量模塊組成的深度最近鄰神經(jīng)網(wǎng)絡(luò)（deep nearest neighbor neural network，DN4）。該網(wǎng)絡(luò)首次將圖像-類的度量運用到小樣本學(xué)習(xí)。不同于傳統(tǒng)手工提取特征的方式，其利用神經(jīng)網(wǎng)絡(luò)提取深度局部描述子，并與圖像-類的度量模塊進行結(jié)合，構(gòu)成了一個端到端的訓(xùn)練模型。該網(wǎng)絡(luò)模型分類效果顯著，為后續(xù)從類別級角度研究小樣本學(xué)習(xí)提供參考。

2 本文方法

2.1 問題定義

小樣本學(xué)習(xí)一般將數(shù)據(jù)集劃分為訓(xùn)練集Train、驗證集Val以及測試集Test三個部分。在以N-wayKshot為訓(xùn)練方式的小樣本學(xué)習(xí)中，每個任務(wù)由支持集S與查詢集Q組成。其中N代表支持集中所包含的類別數(shù)，并從每個類別中隨機抽取K個標(biāo)簽樣本來構(gòu)成支持集，再從每類剩余的樣本中抽取查詢集。在訓(xùn)練過程中采用廣泛應(yīng)用于小樣本學(xué)習(xí)的episodes訓(xùn)練策略來訓(xùn)練模型。最后通過大量的episodes學(xué)習(xí)來不斷優(yōu)化模型，最小化查詢集樣本預(yù)測損失。

2.2 多級度量網(wǎng)絡(luò)

基于度量的小樣本學(xué)習(xí)方法的核心思想是學(xué)習(xí)一個深度嵌入神經(jīng)網(wǎng)絡(luò)，并使得該網(wǎng)絡(luò)學(xué)到的特征能夠很好地泛化到新任務(wù)上。其中代表性的方法包括原型網(wǎng)絡(luò)和關(guān)系網(wǎng)絡(luò)。原型網(wǎng)絡(luò)為每個支持集都學(xué)習(xí)一個原型，即一組特征向量的均值。關(guān)系網(wǎng)絡(luò)也為每個支持集采用均值特征表示，但它更側(cè)重于如何度量查詢樣本和支持集樣本間的關(guān)系。具體地，關(guān)系網(wǎng)絡(luò)通過學(xué)習(xí)一個非線性的深度度量學(xué)習(xí)網(wǎng)絡(luò)來進行距離度量。但是，這些方法采用的都是圖像級全局特征，而在數(shù)據(jù)樣本稀缺的情況下，這些全局特征并不能非常有效地表征類別分布，使得最終的分類結(jié)果不準(zhǔn)確。為了解決以上現(xiàn)有技術(shù)存在的問題，本文嘗試引入圖像-類的度量來彌補圖像類別特征表達能力不足的問題。

如圖3所示，本文所提模型由嵌入模塊和多級度量模塊兩部分組成。其中，嵌入模塊采用基于前饋卷積神經(jīng)網(wǎng)絡(luò)的四個卷積塊標(biāo)準(zhǔn)架構(gòu)。每個卷積塊由一個含有64個3×3卷積的卷積層、一個批量歸一化層和一個Relu激活函數(shù)層構(gòu)成。前兩個卷積塊后各添加一個2×2最大池化層。多級度量模塊以原型網(wǎng)絡(luò)作為圖像-圖像的度量網(wǎng)絡(luò)，以融合DN4思想的關(guān)系網(wǎng)絡(luò)作為圖像-類的度量網(wǎng)絡(luò)。多級度量網(wǎng)絡(luò)首先通過嵌入模塊提取支持集和查詢集中樣本的特征向量；然后對經(jīng)過第二層卷積和第三層卷積后得到的特征描述子分別進行圖像-類的度量，對經(jīng)過第四層卷積后得到的特征向量進行全連接，并做圖像-圖像的度量；最后利用交叉驗證加權(quán)融合由多級度量模塊得出的圖像從屬概率以及關(guān)系得分，并給出最終預(yù)測結(jié)果。

圖3 多級度量網(wǎng)絡(luò)的小樣本學(xué)習(xí)方法整體框架圖Fig.3 Overall block diagram of multilevel metric networks for few-shot learning

具體地，圖像-類的度量由深度局部描述子連接空間L和度量學(xué)習(xí)網(wǎng)絡(luò)m?構(gòu)成。

深度局部描述子空間：

支持集與查詢集樣本在經(jīng)過嵌入模塊計算后分別得到特征圖S和Q。每個c×h×w大小的特征圖可看作包含h×w個c維深度局部描述子的深度局部描述子空間D,c為通道數(shù)，h為特征圖高度，w為特征圖寬度。公式（4）如下：

其中，m=h×w，代表的深度局部描述子的個數(shù)，di即為第i個深度局部描述子。

傳統(tǒng)的圖像-類的度量采用查詢集樣本的局部特征描述子最近鄰搜索某一類別的圖像特征池來實現(xiàn)，而文獻[16]將DN4思想與關(guān)系網(wǎng)絡(luò)結(jié)合，用度量學(xué)習(xí)網(wǎng)絡(luò)來判斷圖像和類別的關(guān)系。采用雙線性CNN（Bilinear CNN）[17]的思想，以支持集和查詢集特征圖之間兩兩點乘所得結(jié)果作為網(wǎng)絡(luò)特征連接，得到一個維度為m×m的深度局部描述子連接空間L。特征連接表達式（5）如下：

其中，DS為支持集深度局部描述子空間、DQ為查詢集深度局部描述子空間。

度量學(xué)習(xí)網(wǎng)絡(luò)：

該網(wǎng)絡(luò)將深度局部描述子連接空間L映射到一個新的度量空間，通過新的度量空間來度量類間相似性并給每個L生成一個關(guān)系得分。由于使用雙線性運算法對特征進行連接使得新合成的特征圖尺寸增大，需要通過增加網(wǎng)絡(luò)的深度或?qū)挾葋韺μ卣鬟M行映射，所以本文用一個inception塊來替換關(guān)系網(wǎng)絡(luò)中度量學(xué)習(xí)網(wǎng)絡(luò)的第一個卷積塊。改進后的度量學(xué)習(xí)網(wǎng)絡(luò)m?如圖4所示，該部分網(wǎng)絡(luò)由1個inception塊、1個卷積塊、1個2×2最大池化層和兩個全連接層組成，卷積塊的組成同嵌入模塊。其中inception模塊由三個分支組成，分別為一個3×3卷積模塊、一個3×3卷積加2×2最大池化模塊以及一個1×1卷積和兩個3×3卷積拼接模塊，最后將3個分支的輸出特征進行全連接。

圖4 度量學(xué)習(xí)網(wǎng)絡(luò)m?結(jié)構(gòu)圖Fig.4 Metric learning network m? structure diagram

通過度量學(xué)習(xí)網(wǎng)絡(luò)可得類別級度量關(guān)系得分Pi,j如公式（6）：

其中，xi為支持集標(biāo)簽樣本特征向量，xj為查詢集樣本特征向量，fφ為嵌入模塊，ψ(fφ(xi),fφ(xj))為深度局部描述子連接，m?為改進后的度量學(xué)習(xí)網(wǎng)絡(luò)。

圖像-類的度量模塊采用均方差損失函數(shù)來優(yōu)化網(wǎng)絡(luò)參數(shù)，損失函數(shù)L1如公式（7）：

其中，Pi,j為關(guān)系得分，yk為樣本標(biāo)簽，深度局部特征描述子匹配時為1，不匹配時為0。

在圖像-圖像的度量模塊，采用原型網(wǎng)絡(luò)來獲取圖像的從屬概率。

圖像-圖像的度量模塊采用交叉熵損失函數(shù)來優(yōu)化網(wǎng)絡(luò)參數(shù)，損失函數(shù)L2如公式（8）：

其中，Pφ(y=k|x)代表圖像的從屬概率。

最后通過交叉驗證得出各模塊權(quán)重，并對圖像從屬概率和關(guān)系得分進行加權(quán)融合從而給出模型最終預(yù)測結(jié)果。假設(shè)一個圖像-圖像的度量模塊對類別k的分類從屬概率為，兩個圖像-類的度量模塊對類別k的關(guān)系得分分別為看作三個以類別數(shù)為長度的概率向量，計算三個向量的加權(quán)和，并取其累積最大值為最終預(yù)測結(jié)果，如公式（9）：

其中，α、β、γ是各模塊權(quán)重，α+β+γ=1。

3 實驗

本章內(nèi)容為了驗證多級度量網(wǎng)絡(luò)對小樣本學(xué)習(xí)的有效性，在小樣本數(shù)據(jù)集上分別做了性能對比實驗、魯棒性分析以及時間復(fù)雜度分析。

3.1 數(shù)據(jù)集

Omniglot[18]作為小樣本學(xué)習(xí)的一個基準(zhǔn)數(shù)據(jù)集，共包含來自50種不同語言的1 623類手寫字符，每一類字符又包含20個樣本。本文分別以90°、180°及270°旋轉(zhuǎn)圖像來擴張數(shù)據(jù)集，每張圖片通過裁剪將尺寸統(tǒng)一為28×28像素。

miniImageNet是ImageNet[19]數(shù)據(jù)集的一個子集，包含100個類別，每類600張圖像，共計60 000張圖像。本文以其中64個類別作為訓(xùn)練集，16個類別作為驗證集，20個類別作為測試集，所有輸入圖像的尺寸統(tǒng)一裁剪為84×84像素。

CUB[20]是由加利福尼亞理工學(xué)院提供的鳥類數(shù)據(jù)集，包含200個類別，共計11 788張常見鳥類圖像。本文中的訓(xùn)練集、驗證集及測試集分別為100、50及50個類別，圖像尺寸統(tǒng)一裁剪為84×84像素。

3.2 模型參數(shù)設(shè)置

通過閱讀文獻[21-22]可知，相較于其他梯度下降算法，Adam算法能夠使深度學(xué)習(xí)模型快速收斂并取得更小的分類損失。所以本文采用Adam算法來優(yōu)化整個模型的參數(shù)，算法超參數(shù)設(shè)置具體如表1所示。

表1 模型算法超參數(shù)設(shè)置Table 1 Model hyperparameter

訓(xùn)練過程中，模型采用了5-way 1-shot和5-way 5-shot兩種實驗方式，每100個episodes計為一個epoch，每隔10個epoch學(xué)習(xí)率減半。在5-way 1-shot實驗中，模型中每一分支網(wǎng)絡(luò)共經(jīng)過600個epoch來訓(xùn)練參數(shù)。在5-way 5-shot實驗中，模型中每一分支網(wǎng)絡(luò)共經(jīng)過400個epoch來完成參數(shù)訓(xùn)練。

3.3 訓(xùn)練過程

與傳統(tǒng)的結(jié)果融合網(wǎng)絡(luò)分別單獨訓(xùn)練模型參數(shù)再融合圖像分類概率不同，本文引入遷移學(xué)習(xí)的思想進行模型訓(xùn)練。模型首先對第二層卷積部分采用類別級度量得出相似度得分，再用Adam算法對損失函數(shù)進行優(yōu)化，得到訓(xùn)練特征和參數(shù)；然后將第二層及其之前的卷積部分進行凍結(jié)，以當(dāng)前所得特征和參數(shù)作為第三層卷積的初始化參數(shù)和特征，再重復(fù)與第二層同樣的訓(xùn)練；最后凍結(jié)第三層及其之前部分，以其訓(xùn)練所得參數(shù)和特征作為第四層圖像級度量的初始化特征和參數(shù)，然后用Softmax函數(shù)對度量距離進行運算得到從屬概率，再用Adam算法對模型進行訓(xùn)練。不斷調(diào)整模型的參數(shù)，當(dāng)模型的損失函數(shù)值達到最小時，完成模型的訓(xùn)練。

3.4 實驗結(jié)果與分析

為了驗證本模型訓(xùn)練過程的有效性，將經(jīng)過傳統(tǒng)訓(xùn)練過程與本文訓(xùn)練過程所得圖像分類準(zhǔn)確率進行對比。如表2所示，在5-way 1-shot和5-way 5-shot實驗中，本文訓(xùn)練過程在Omniglot、CUB、miniImageNet三個數(shù)據(jù)集上準(zhǔn)確率都有一定的提高。實驗結(jié)果表明，結(jié)合遷移學(xué)習(xí)的思想進行模型融合相較于傳統(tǒng)方法更適合本模型的訓(xùn)練。

表2 訓(xùn)練過程對比實驗Table 2 Contrastive experiment of training process

為了驗證本模型在小樣本圖像分類上的有效性，將本模型與其他模型在Omniglot、CUB、miniImageNet三個數(shù)據(jù)集上的分類準(zhǔn)確率進行對比。如表3所示，本模型在Omniglot數(shù)據(jù)集上相較于傳統(tǒng)的方法準(zhǔn)確率有一定的提高。在5-way 5-shot實驗中，與MMN相比存在0.09個百分點的差距。相較于FPN、STANet-S、Spot and Learn及TPN這四個模型，本模型在5-way 1-shot實驗中準(zhǔn)確率分別提高了1.23、0.84、1.97、0.27個百分點，在5-way 5-shot實驗中準(zhǔn)確率分別提高了0.08、0.09、0.03、0.24個百分點。如表4所示，在CUB數(shù)據(jù)集上，本模型相較于MN、PN、RN這三個經(jīng)典模型的準(zhǔn)確率有顯著提高。與CovaMNet相比，本模型在5-way 1-shot實驗中，準(zhǔn)確率提高了2.92個百分點，在5-way 5-shot實驗中，準(zhǔn)確率提高了12.56個百分點。與DN4相比，本模型在5-way 1-shot實驗中，準(zhǔn)確率提高了8.50個百分點，在5-way 5-shot實驗中，準(zhǔn)確率提高了1.40個百分點。與FAN相比，本模型在5-way 1-shot實驗中，準(zhǔn)確率提高了1.04個百分點，在5-way 5-shot實驗中，準(zhǔn)確率提高了5.62個百分點。如表5所示，在miniImageNet數(shù)據(jù)集上，本模型分類準(zhǔn)確率相較于MN、PN、MN、MAML這四個模型有顯著提高。本模型與元學(xué)習(xí)LSTM、MMN、TPN、DN4、FAN、CovaMNet及FEAT相比，在5-way 1-shot實驗中，準(zhǔn)確率分別提高了13.33、3.40、2.33、5.53、5.27、5.58及1.62個百分點，在5-way 5-shot實驗中，準(zhǔn)確率分別上升了15.23、8.86、8.87、4.81、5.43、8.18、4.22個百分點。與MNE相比，本模型在5-way 1-shot實驗中存在3.43個百分點的差距，在5-way 5-shot實驗中，本模型準(zhǔn)確率提高了3.67個百分點。通過準(zhǔn)確率對比實驗可得，本文方法可以有效提高小樣本圖像分類準(zhǔn)確率。

表3 不同模型在Omniglot數(shù)據(jù)集上準(zhǔn)確率對比Table 3 Accuracy comparison of different models on Omniglot dataset 單位：%

表4 不同模型在CUB數(shù)據(jù)集上準(zhǔn)確率對比Table 4 Accuracy comparison of different models on CUB dataset 單位：%

表5 不同模型在miniImageNet數(shù)據(jù)集上準(zhǔn)確率對比Table 5 Accuracy comparison of different models on miniImageNet dataset 單位：%

3.5 魯棒性分析

為了進一步驗證本模型的魯棒性，本文在CUB和miniImageNet兩個數(shù)據(jù)集上保證驗證集和測試集不變的情況下，對比驗證了5-way 5-shot和5-way 1-shot實驗中模型的分類準(zhǔn)確率隨訓(xùn)練集類別數(shù)的變化情況。在miniImageNet數(shù)據(jù)集上，以8類為間隔，依次改變訓(xùn)練集的類別數(shù)為64類、56類、48類、40類、32類、24類以及16類。在CUB數(shù)據(jù)集上，以10類為間隔，依次改變訓(xùn)練集的類別數(shù)為100類、90類、80類、70類、60類以及50類。

由圖5～8可知，在CUB和miniImageNet兩個數(shù)據(jù)集上，本模型的分類準(zhǔn)確率隨訓(xùn)練集類別數(shù)的減少逐漸降低。但在5-way 5-shot實驗中最終仍能保持50%以上的分類準(zhǔn)確率，在5-way 1-shot實驗中最終能保持30%以上的分類準(zhǔn)確率。本模型的魯棒性明顯優(yōu)于PN和RN，和DN4相比也存在一定優(yōu)勢。

圖5 miniImageNet數(shù)據(jù)集上5-shot魯棒性測試圖Fig.5 5-shot robustness test graph on miniImageNet dataset

圖8 CUB數(shù)據(jù)集上1-shot魯棒性測試圖Fig.8 1-shot robustness test graph on CUB dataset

3.6 時間復(fù)雜度分析

傳統(tǒng)的小樣本學(xué)習(xí)模型時間復(fù)雜度分析都是基于模型迭代一次所花費的時間來進行比較。由于本文在模型訓(xùn)練過程中引入遷移學(xué)習(xí)的思想，以前一個網(wǎng)絡(luò)訓(xùn)練所得參數(shù)作為下一個網(wǎng)絡(luò)的初始值，所以在模型時間復(fù)雜度的計算上以三個網(wǎng)絡(luò)分別迭代一次花費時間的累加作為整個模型迭代一次的訓(xùn)練時間。本文在miniImageNet數(shù)據(jù)集上采用5-way 1-shot實驗對模型效率進行了對比分析。

如表6所示，本文方法與PN、DN4、MN相比耗時較高，但是分類準(zhǔn)確率分別提高了7.35、5.53、13.21個百分點。本文方法耗時為RN的0.7倍，但分類準(zhǔn)確率也有明顯提高。元學(xué)習(xí)LSTM方法耗時為本文的1.3倍，同時分類準(zhǔn)確率與本文相差13.33個百分點。通過以上分析可知本文方法在達到較高分類性能的同時，分類效率也能保持在一定的水平。

表6 不同模型在miniImageNet數(shù)據(jù)集上效率對比Table 6 Efficiency comparison of different models on miniImageNet dataset

4 結(jié)束語

本文提出了一種多級度量網(wǎng)絡(luò)的小樣本學(xué)習(xí)方法，這是首次將圖像-圖像的度量與圖像-類的度量進行結(jié)合，從多個角度考慮圖像的表達分布以有效挖掘圖像語義信息的研究。不同數(shù)據(jù)集上的仿真實驗結(jié)果表明，本模型在小樣本分類任務(wù)上相較于傳統(tǒng)方法有較好的分類性能，從而也進一步證明了模型能有效表達圖像特征分布并有效挖掘圖像的語義信息。本文研究思路雖然為小樣本學(xué)習(xí)提供了另一種可能，但仍然有改進的空間。下一步工作重點是改進圖像-圖像的度量模塊以減小圖像級度量誤差，優(yōu)化嵌入模塊和度量學(xué)習(xí)網(wǎng)絡(luò)以提高模型效率。