謝少軍 袁鑫攀 曾志高

摘? 要：小樣本學(xué)習(xí)的核心問題是將學(xué)習(xí)過程中不可靠的經(jīng)驗(yàn)風(fēng)險最小化，優(yōu)化這一問題的關(guān)鍵是在學(xué)習(xí)過程中如何獲取蘊(yùn)含在少量樣本中更多的先驗(yàn)知識，以使得模型最終獲取的特征更加準(zhǔn)確和穩(wěn)定。為了充分挖掘先驗(yàn)知識，文章提出了關(guān)聯(lián)語義和對比語義聯(lián)合的注意力機(jī)制，來指導(dǎo)模型在視覺特征中更好地學(xué)習(xí)和區(qū)分共性與個性。對比實(shí)驗(yàn)和消融實(shí)驗(yàn)證明，文中這種注意力指導(dǎo)機(jī)制提升了模型的性能，尤其在5way-1shot的情況下，模型達(dá)到了最優(yōu)。

關(guān)鍵詞：小樣本學(xué)習(xí)；注意力機(jī)制；多模態(tài)；關(guān)聯(lián)語義；對比語義

中圖分類號：TP18；TP391? 文獻(xiàn)標(biāo)識碼：A? 文章編號：2096-4706（2023）10-0088-04

Abstract： The core problem of small sample learning is to minimize the unreliable empirical risk in the learning process. The key to optimizing this problem is how to obtain more prior knowledge contained in a small number of samples during the learning process， in order to make the final features obtained by the model more accurate and stable. In order to fully explore prior knowledge， this paper proposes an attention mechanism that combines associative semantics and contrastive semantics to guide the model in better learning and distinguishing commonalities and personalities in visual features. Comparative experiments and ablation experiments have shown that this attention guidance mechanism proposed in this paper improves the performance of the model， especially in the case of 5way-1shot， the model reaches its optimal performance.

Keywords： small sample learning; attention mechanism; multi-modal; associative semantic; contrastive semantic

0? 引? 言

目前的深度學(xué)習(xí)模型從大量帶標(biāo)簽的基類數(shù)據(jù)集中學(xué)習(xí)后，在面對屬于基類樣本的分類測試中，其性能已經(jīng)非常優(yōu)秀了，甚至在ILSVRC（ImageNet Large Scale Visual Recognition Challenge）比賽中超過了人類平均水平（例如：ResNet[1]）。然而，當(dāng)模型在面對從未見過的類別（新類）樣本時，特別是在這類樣本數(shù)量非常少，不足以提供豐富的信息支持模型訓(xùn)練時，此時模型表現(xiàn)的分類能力就顯得不盡人意。

但對比于人類學(xué)習(xí)，以一個學(xué)齡小孩為例，他只需要在原有知識儲備基礎(chǔ)上，通過幾個樣本就能學(xué)會一個知識點(diǎn)。例如：當(dāng)小孩在學(xué)會加法運(yùn)算之后，通過幾個簡單的乘法例

子，就能領(lǐng)悟乘法運(yùn)算（如：2×3=2+2+2，1×3=1+1+1）。還如：當(dāng)給小孩一張陌生人照片，小孩可以很容易從一些人像照片中快速識別出這個陌生人是否包含其中。

上述兩個例子體現(xiàn)了目前深度學(xué)習(xí)與人類學(xué)習(xí)在學(xué)習(xí)過程中樣本數(shù)量這個因素上之間的差距，為了縮小這種學(xué)習(xí)能力的差距，計算機(jī)視覺領(lǐng)域提出了小樣本學(xué)習(xí)（Few-ShotLearning， FSL）來研究和模擬這種行為。小樣本學(xué)習(xí)旨在預(yù)訓(xùn)練模型的基礎(chǔ)上，通過對新類的少量樣本進(jìn)行學(xué)習(xí)后，獲得這些新類的豐富特征，以便進(jìn)行下游任務(wù)，例如分類任務(wù)。這種研究是非常具有應(yīng)用價值的，并且也非常符合現(xiàn)實(shí)生活場景，因?yàn)橛行╊悇e樣本存在倫理、安全、法律、隱私等各種因素難以獲取。

為了縮小模型與人類的學(xué)習(xí)能力差距，計算機(jī)視覺領(lǐng)域提出了小樣本學(xué)習(xí)（Few-ShotLearning， FSL）來研究和模擬這種行為?，F(xiàn)在的小樣本學(xué)習(xí)大都是將預(yù)訓(xùn)練模型學(xué)到提取特征的能力轉(zhuǎn)移到?jīng)]見過的新類別上來，即都是考慮如何將先驗(yàn)知識從基類轉(zhuǎn)移到新類上，Wang[2]指出這種轉(zhuǎn)移在小樣本情景下是不可靠的經(jīng)驗(yàn)風(fēng)險最小化過程。為了縮小這種不可靠性，Yang提出了SEGA[3]機(jī)制，認(rèn)為語義先驗(yàn)知識在人類學(xué)習(xí)中也起著關(guān)鍵作用，于是提出了基于類標(biāo)簽的語義注意力指導(dǎo)模塊，來指導(dǎo)視覺特征，以便獲得更加準(zhǔn)確的特征。

但家長在教孩子認(rèn)識新類別的過程中，除了對樣本和樣本標(biāo)簽做一對一的語義解釋之外，在不同樣本間，還有聯(lián)系和比較等學(xué)習(xí)總結(jié)過程，例如在對動物進(jìn)行學(xué)習(xí)時，會比較和聯(lián)系身體、眼睛等同類屬性，在對動物與植物類別學(xué)習(xí)時，會比較動物與植物的區(qū)別，使得小孩對物體是否有生命狀態(tài)進(jìn)行思考。因此，我們不應(yīng)該忽略在學(xué)習(xí)過程中對不同物體的聯(lián)系與比較過程。所以，在SEGA機(jī)制的基礎(chǔ)上，我們提出了關(guān)聯(lián)語義和對比語義指導(dǎo)注意力（Associative and Contrastive Semantics Guided Attention， AC-SEGA）的小樣本學(xué)習(xí)。SEGA與AC-SEGA的區(qū)別如圖1所示，可以看出，SEGA是單點(diǎn)的，離散的，沒有關(guān)系的，而AC-SEGA通過豐富樣本標(biāo)簽，形成了關(guān)聯(lián)的，有聯(lián)系的語義。

綜上所述，我們的貢獻(xiàn)主要有以下幾點(diǎn)：1）提出了關(guān)聯(lián)語義和對比語義聯(lián)合的注意力機(jī)制來指導(dǎo)小樣本學(xué)習(xí)；2）設(shè)計了關(guān)聯(lián)語義和對比語義的語義特征提取器；3）模型在兩個著名的小樣本學(xué)習(xí)訓(xùn)練集上性能表現(xiàn)突出。

1? 近期相關(guān)工作

從如何優(yōu)化模型訓(xùn)練時不可靠的經(jīng)驗(yàn)風(fēng)險最小化過程，以及利用先驗(yàn)知識的不同方式，近期工作可以分為三類，分別是對模型進(jìn)行改進(jìn)，對算法進(jìn)行優(yōu)化以及引入多模態(tài)信息。

在模型改進(jìn)方面，目前關(guān)于嵌入/度量學(xué)習(xí)研究比較熱門，在嵌入/度量學(xué)習(xí)中，通過將樣本嵌入到低維空間中，使得相似的距離近，不相似的距離遠(yuǎn)。比較典型的三種網(wǎng)絡(luò)結(jié)構(gòu)為MatchNetwork及其變種[4，5]、Prototype Network及其變種[6，7]和RelationNetwork[8]。在此基礎(chǔ)之上，有的還通過注入各種注意力機(jī)制或以任務(wù)為導(dǎo)向來改進(jìn)模型[9，10]。我們的方法在學(xué)習(xí)視覺特征層面屬于這一類型。

在優(yōu)化算法方面，大都是基于隨機(jī)梯度下降算法（Stochastic gradient descent， SGD）演化而來。目前比較熱門的是基于模型未知的元學(xué)習(xí)（Model-Agnostic Meta-Learning， MAML）及其變種[11，12]。不像經(jīng)典的學(xué)習(xí)范式，在計算損失后通過求梯度對模型直接更新，MAML有兩次更新，可以把第一次認(rèn)為是臨時模型參數(shù)更新，第二次則是對模型的參數(shù)更新。我們方法中的元學(xué)習(xí)屬于這一類型。

近年來，隨著多模態(tài)融合和自然語言處理的發(fā)展，將語義這一模態(tài)融入小樣本學(xué)習(xí)也非常火熱。AM3[13]使用標(biāo)簽嵌入生成語義原型，用于與視覺原型進(jìn)行融合，形成最終的類表示。此除了來自語言的語義知識外，還可以從知識圖（如NEIL[14]、WordNet[15]等）中獲得的先驗(yàn)知識。我們的方法因?yàn)槿谌肓藰?biāo)簽語義性這一模態(tài)，所以也屬于這一類別。

2? 方? 法

2.1? 符號描述與小樣本問題定義

Dbase表示預(yù)訓(xùn)練模型的數(shù)據(jù)集，它的每個類包含了大量樣本；Dnovel表示元學(xué)習(xí)階段的數(shù)據(jù)集；Dtest表示測試數(shù)據(jù)集；這些數(shù)據(jù)集分別對應(yīng)的標(biāo)簽集合為C base、C novel和C test，其約束條件為C base ∩ C novel ∩ C test=?。在小樣本學(xué)習(xí)過程中，模型的輸入是以任務(wù)（Task）為單位的，用T={T base， T novel， Ttest}中的元素分別表示從訓(xùn)練集，驗(yàn)證集和測試集中抽樣得到的任務(wù)集合，其中任務(wù)Ti ={S， Q}，S表示這個任務(wù)的訓(xùn)練集或支持集（supportset），Q表示這個任務(wù)的測試集或查詢集（query set）。，n表示從對應(yīng)數(shù)據(jù)集中任取n個類別，k表示在對應(yīng)類別中任取k個樣本，通常在小樣本學(xué)習(xí)的任務(wù)配置中，n與k的取值都非常小，例如n=5、k=1or5，這種配置被稱為n-way k-shot。Q表示在S對應(yīng)的n個類別中隨機(jī)抽取的一些樣本。

小樣本學(xué)習(xí)過程為首先在Dbase數(shù)據(jù)集上進(jìn)行主干模型進(jìn)行預(yù)訓(xùn)練，公式為：

其中，Θ0表示預(yù)訓(xùn)練模型參數(shù)，?表示交叉熵?fù)p失函數(shù)。然后再在Dnovel數(shù)據(jù)集上進(jìn)行元學(xué)習(xí)，公式為：

其中，Θ表示元學(xué)習(xí)階段學(xué)到的參數(shù)。最后小樣本學(xué)習(xí)問題可以定義為元學(xué)習(xí)者在對從未見過的新類別的分類映射能力，即：fΘ：{S， Q}∈T test?C test。

2.2? 語義聯(lián)系與語義對比的標(biāo)簽構(gòu)建

對于S中的樣本，在SEGA基礎(chǔ)上分別找標(biāo)簽的一個上義詞和一個隨機(jī)噪聲詞進(jìn)行樣本標(biāo)簽擴(kuò)充。上義詞指的是標(biāo)簽所從屬的類別詞，例如老虎屬于動物，則老虎的上義詞即為動物。這樣，，其中ylabel、yassociative和ycontrastive分別屬于樣本x的原類別標(biāo)簽，上義詞標(biāo)簽和噪聲標(biāo)簽，這樣（ylabel， yassociative）就形成了語義聯(lián)系標(biāo)簽對，（ylabel， yassociative）就形成了語義對比標(biāo)簽對。我們使用WordNet這個工具來對標(biāo)簽進(jìn)行構(gòu)建，然后使用Glove[16]語義嵌入模型將一個標(biāo)簽對轉(zhuǎn)換為對應(yīng)語義向量Slabel、Sassociative、Scontrastive。

2.3? 語義聯(lián)系與語義對比的特征提取

對于一個樣本語義信息，我們分別設(shè)計兩個多層感知機(jī)（MLP）來分別對（ylabel， yassociative）與（ylabel， ycontrastive）提取語義特征。MLP是由全連接層，Leak ReLU激活函數(shù)層，Dropout層，全連接層和Sigmoid層組成，最后Sigmoid層使得輸出的每個維度都在[0， 1]之間。S1=MLP（[Slabel， Sassociative]）∈Rs，S2=MLP（[Slabel， Scontrastive]）∈Rs，最終的語義向量通過對這兩個向量取均值得到，即：S=（S1+S2） / 2 ∈ Rs。

2.4? 語義特征與視覺特征融合

對于一個樣本圖像信息，我們使用卷積神經(jīng)網(wǎng)絡(luò)來對x提取視覺特征V，即。V=Conv（x） ∈ Rv=Rs。這樣當(dāng)語義特征S與視覺特征V都獲取到后，將兩者通過Hadamard積運(yùn)算，得到該樣本的最終特征Feat=S?V。模型框架圖如圖2所示，在關(guān)聯(lián)語義和特征語義特征提取器中（Associative and Contrastive Semantic feature extractor），左邊從上到下分別是關(guān)聯(lián)語義詞向量和對比語義詞向量。“?”表示向量相加，“?”表示向量做Hadamard積，“cos”代表余弦分類器。

3? 實(shí)驗(yàn)分析

3.1? 數(shù)據(jù)集描述

miniImageNet數(shù)據(jù)集是ImageNet數(shù)據(jù)集子集，從中隨機(jī)抽取100個類別，每個類包含600張圖像，按照64、16、20的類別數(shù)量分為訓(xùn)練集、驗(yàn)證集和測試集。tieredImageNet數(shù)據(jù)集也是ImageNet的子集，但它比miniImagenet更大，tieredImageNet將類別與ImageNet層次結(jié)構(gòu)中的節(jié)點(diǎn)相對應(yīng)，它共有34個大類別，其中20個用于訓(xùn)練（351個子類），6個用于驗(yàn)證（97個子類）和8個用于測試（160個子類）。它共計608個子類，而miniImageNet則為100個類。

3.2? 實(shí)驗(yàn)過程

模型的所有實(shí)現(xiàn)都是在PyTorch深度學(xué)習(xí)框架下實(shí)現(xiàn)的，模型的所有訓(xùn)練和測試都是在一張NVIDIA 3060 GPU上運(yùn)行的。訓(xùn)練分為兩個階段。第一階段是訓(xùn)練主網(wǎng)絡(luò)中提取不同特征的卷積核參數(shù)，與SEGA一樣，這階段模型訓(xùn)練周期是60個epoch（tieredImageNet為90個），其中每個epoch由1 000個episode組成。在第二階段訓(xùn)練與標(biāo)準(zhǔn)的元學(xué)習(xí)過程一樣，訓(xùn)練周期是20個epoch，每個epoch中包含1 000個episode。注意，在第二階段開始訓(xùn)練我們提出的語義對比和語義關(guān)聯(lián)注意力模塊。同時，我們在訓(xùn)練過程中與大多數(shù)現(xiàn)有工作一樣，采用了隨機(jī)裁剪等方式來避免過擬合，期間還采用了經(jīng)驗(yàn)學(xué)習(xí)率調(diào)度器。模型在miniImagenet數(shù)據(jù)集上兩個階段訓(xùn)練的損失與準(zhǔn)確率折線圖如圖3所示。

4? 實(shí)驗(yàn)結(jié)果

表1和表2數(shù)據(jù)都是在5 000 episodes的測試階段中，對新類的分類平均準(zhǔn)確率（%）。“Semantic列”代表模型是否加入了語義，“base”代表基模型。

4.1? 對比實(shí)驗(yàn)

我們分別在miniImagenet數(shù)據(jù)集和tieredImageNet數(shù)據(jù)集上進(jìn)行了大量的實(shí)驗(yàn)，實(shí)驗(yàn)表明我們的結(jié)果都優(yōu)于我們的基模型SEGA，尤其在5way-1shot情景下，我們的模型性能達(dá)到了最優(yōu)。實(shí)驗(yàn)數(shù)據(jù)如表1所示。

4.2? 消融實(shí)驗(yàn)

我們也在miniImagenet數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)，通過控制變量法，分別在只有語義關(guān)聯(lián)、只有語義對比和兩者都有的情況下進(jìn)行了從5way-1shot到5way-5shot的實(shí)驗(yàn)，實(shí)驗(yàn)數(shù)據(jù)如表2所示。

4.3? 實(shí)驗(yàn)總結(jié)

通過對比實(shí)驗(yàn)數(shù)據(jù)可以發(fā)現(xiàn)，加入關(guān)聯(lián)語義和對比語義的注意力指導(dǎo)小樣本學(xué)習(xí)模型在性能上提升比較大。而通過消融實(shí)驗(yàn)數(shù)據(jù)可以看到，在僅只有關(guān)聯(lián)語義或僅只有對比語義的注意力指導(dǎo)情況下，模型性能表現(xiàn)效果不如基模型。這說明我們加入的這兩種語義是在一起疊加相互后，使得模型最終性能提升。另外，從消融實(shí)驗(yàn)結(jié)果來看，隨著shot值增加，即同一類樣本數(shù)增加，準(zhǔn)確率的增長率越來越慢，這說明隨著視覺樣本數(shù)增加，模型在視覺層面獲取的可分類特征越來越準(zhǔn)確，語義指導(dǎo)作用慢慢減弱，但在1shot或2shot情況下，語義指導(dǎo)是非常有用的。

5? 結(jié)? 論

在本文中，我們通過分析認(rèn)為人類在學(xué)習(xí)新概念時，關(guān)聯(lián)和對比能力非常重要，因此提出了關(guān)聯(lián)語義和對比語義聯(lián)合的注意力機(jī)制來指導(dǎo)視覺特征學(xué)習(xí)。與基模型僅引入樣本標(biāo)簽這種單點(diǎn)語義不同，我們對樣本的標(biāo)簽做了擴(kuò)充，構(gòu)造了關(guān)聯(lián)語義和對比語義標(biāo)簽，設(shè)計了對應(yīng)的語義特征提取器，然后將語義特征與視覺特征融合來進(jìn)行分類任務(wù)，通過對比和消融實(shí)驗(yàn)可以得出，我們加入的關(guān)聯(lián)語義與對比語義在聯(lián)合作用下，使得模型的性能得到了提升，從而證明了我們提出的機(jī)制有效性。

參考文獻(xiàn)：

[1] HE K M，ZHANG X Y，REN S Q，et al. Deep Residual Learning for Image Recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：770-778.

[2] WANG Y Q，YAO Q M，KWOK J T，et al. Generalizing from a Few Examples： A Survey on Few-Shot Learning [J].ACM Computing SurveysVolume，2021，53（3）：1-34.

[3] YANG F Y，WANG R P，CHEN X L. SEGA： Semantic Guided Attention on Visual Prototype for Few-Shot Learning [J/OL].arXiv：2111.04316 [cs.CV].[2022-11-28].https：//arxiv.org/abs/2111.04316.

[4] VINYALS O，BLUNDELL C，LILLICRAP T，et al. Matching Networks for One Shot Learning [J/OL].arXiv：1606.04080 [cs.LG].[2022-11-29].https：//arxiv.org/abs/1606.04080v1.

[5] CHOI J，KRISHNAMURTHY J，KEMBHAVI A，et al. Structured Set Matching Networks for One-Shot Part Labeling [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：3627-3636.

[6] SNELL J，SWERSKY K，ZEMEL R. Prototypical Networks for Few-shot Learning [J/OL].arXiv：1703.05175 [cs.LG].[2022-11-28].https：//arxiv.org/abs/1703.05175.

[7] LAENEN S，BERTINETTO L. On Episodes，Prototypical Networks，and Few-Shot Learning [J/OL].arXiv：2012.09831 [cs.LG].[2022-11-29].https：//arxiv.org/abs/2012.09831.

[8] SUNG F，YANG Y X，ZHANG L，et al. Learning to Compare： Relation Network for Few-Shot Learning [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake：IEEE，2018：1199-1208.

[9] HOU R B，CHANG H，MA B P，et al. Cross Attention Network for Few-shot Classification [J/OL].arXiv：1910.07677[cs.CV].[2021-12-17].https：//arxiv.org/abs/1910.07677v1.

[10] HONG J，F(xiàn)ANG P F，LI W H，et al. Reinforced Attention for Few-Shot Learning and Beyond [C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Nashville：IEEE，2021：913-923.

[11] FINN C，ABBEEL P，LEVINE S. Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks [J/OL].arXiv：1703.03400[cs.LG].[2022-11-29].https：//arxiv.org/abs/1703.03400v1.

[12] YE H J，CHAO W L. How to Train Your MAML to Excel in Few-Shot Classification [J/OL].arXiv：2106.16245[cs.LG].[2022-11-30].https：//arxiv.org/abs/2106.16245v3.

[13] XING C，ROSTAMZADEH N，ORESHKIN B N，et al. Adaptive Cross-Modal Few-Shot Learning [J/OL].arXiv：1902.07104 [cs.LG].[2023-02-08].https：//arxiv.org/abs/1902.07104.

[14] MITCHELL T，COHEN W，HRUSCHKA E，et al. Never-Ending Learning [C]//Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence. Austin：AAAI Press.2015：2302–2310.

[15] MILLER A G. WordNet： A Lexical Database for English [J].Communications of the ACM，1995，38（11）：39-41.

[16] PENNINGTON J，SOCHER R，MANNING C. Glove： Global Vectors for Word Representation [C]//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing （EMNLP）.Doha：Association for Computational Linguistics，2014：1532-1543.

作者簡介：謝少軍（1995—），男，漢族，湖南衡陽人，碩士研究生在讀，研究方向：計算機(jī)視覺、小樣本學(xué)習(xí)。