王彩玲，魏清晨，仇 真，蔣國平

(1.南京郵電大學(xué) 自動化學(xué)院、人工智能學(xué)院，江蘇 南京 210023 2.蘇州科技大學(xué) 電子與信息工程學(xué)院，江蘇 蘇州 215000)

深度神經(jīng)網(wǎng)絡(luò)（DNN）在廣泛的應(yīng)用中取得了顯著的成果，如圖像分類［1］、機(jī)器翻譯［2］、目標(biāo)檢測［3］等。 深度學(xué)習(xí)模型在大量已標(biāo)注樣本中進(jìn)行學(xué)習(xí)，利用梯度更新策略不斷更新網(wǎng)絡(luò)權(quán)重的參數(shù)，網(wǎng)絡(luò)模型利用從圖像上學(xué)習(xí)到的表征知識，用于圖像識別和分類任務(wù)。 但是從大規(guī)模數(shù)據(jù)集上訓(xùn)練深度模型存在著一些問題，例如模型訓(xùn)練不僅需要大量的已標(biāo)注的訓(xùn)練樣本，并且每次訓(xùn)練新的模型需要很大的時間成本。 另外，已訓(xùn)練好的模型不能識別新類，即模型面對新的分類任務(wù)時，往往需要重新訓(xùn)練適合于當(dāng)前任務(wù)的模型。 而在實(shí)際情況下，無法獲得大量標(biāo)注好的樣本，或者獲得所需樣本的代價過高。 由于傳統(tǒng)的圖像分類任務(wù)存在以上的局限性，受到人類能夠快速適應(yīng)少量樣本學(xué)習(xí)能力的啟發(fā)，研究人員開始逐漸關(guān)注小樣本學(xué)習(xí)（Few?shot Learning）［4］。 小樣本學(xué)習(xí)的研究緩解了上面出現(xiàn)的問題，網(wǎng)絡(luò)模型從少量的樣本中快速地抽象出圖像中具有代表性的特征，并使得網(wǎng)絡(luò)模型在遇見相似任務(wù)時能夠快速地對比出圖像的重要信息，從而完成對新類別的分類，不需要重新訓(xùn)練模型。 具體而言，小樣本學(xué)習(xí)也是圖像分類問題的一個分支，首先在具有相似任務(wù)的大量樣本上預(yù)訓(xùn)練深度網(wǎng)絡(luò)，使模型不斷學(xué)習(xí)圖像的公共知識，然后利用已訓(xùn)練好的模型對當(dāng)前小樣本任務(wù)進(jìn)行微調(diào)，考慮到訓(xùn)練樣本與當(dāng)前任務(wù)分布的不平衡性，并具有很大的差異性，所以在訓(xùn)練中需要快速地提高模型的適應(yīng)能力。

小樣本學(xué)習(xí)方法與傳統(tǒng)的深度學(xué)習(xí)不同的是，該方法對包含少量類別的樣本數(shù)據(jù)也能獲得較好的分類結(jié)果，而不需要對大規(guī)模的標(biāo)注標(biāo)簽樣本進(jìn)行訓(xùn)練，小樣本學(xué)習(xí)關(guān)注的是圖像之間的通用特征，因此能夠更好地適應(yīng)新的分類任務(wù)。 對于小樣本學(xué)習(xí)任務(wù)，遷移學(xué)習(xí)（Transfer Learning）［5－6］是比較常用的方法，即神經(jīng)網(wǎng)絡(luò)在大量樣本上進(jìn)行訓(xùn)練，最后再遷移到當(dāng)前任務(wù)的數(shù)據(jù)集上，通過微調(diào)訓(xùn)練好的網(wǎng)絡(luò)，最終得到一個能夠快速適應(yīng)目標(biāo)任務(wù)的模型。然而，由于實(shí)際小樣本分類任務(wù)中目標(biāo)樣本集中每類的樣本數(shù)量較少，無法很好地利用模型微調(diào)方法［7］來學(xué)習(xí)實(shí)際樣本中的類別信息。

據(jù)此小樣本領(lǐng)域出現(xiàn)了很多常用的方法，例如數(shù)據(jù)增強(qiáng)（Data Augmentation）［8］、元學(xué)習(xí)（Meta Learning）［9］、度量學(xué)習(xí)（Metric Learning）［5］。 針對小樣本分類任務(wù)中樣本不足的問題，最直接的方式是對圖像進(jìn)行旋轉(zhuǎn)、加噪、裁剪、壓縮等［10］來擴(kuò)充樣本的數(shù)量，以此來達(dá)到擴(kuò)充樣本的目的。 為了更好地使數(shù)據(jù)樣本服從真實(shí)的樣本分布，利用生成對抗網(wǎng)絡(luò)（Generative Adversarial Nets， GAN）［11］來增加目標(biāo)數(shù)據(jù)集的樣本，GAN 主要分為生成器網(wǎng)絡(luò)和鑒別器網(wǎng)絡(luò)兩部分。 主要思想就是利用生成器不斷模仿已知樣本，生成與真實(shí)樣本無法區(qū)分的樣本。 鑒別器則用來區(qū)分輸入樣本中的生成樣本和真實(shí)樣本。 雖然上述方法都在一定的程度上擴(kuò)充了訓(xùn)練樣本，但是當(dāng)前任務(wù)的數(shù)據(jù)分布較少，即可學(xué)習(xí)的樣本數(shù)很少，導(dǎo)致可擴(kuò)充的樣本空間比較有限，使得增強(qiáng)的樣本仍然不能夠覆蓋真實(shí)的樣本分布，從而很難從根本上解決因訓(xùn)練樣本不足帶來的過擬合現(xiàn)象。元學(xué)習(xí)的方法是讓網(wǎng)絡(luò)模型從少量的標(biāo)簽樣本中學(xué)習(xí)任務(wù)之前的共性，確保元學(xué)習(xí)能夠快速地解決新任務(wù)的能力，這種方法比較適合小樣本的訓(xùn)練任務(wù)，受到研究者的青睞。 模型利用學(xué)習(xí)好的模型權(quán)重，對任務(wù)層面上的模型更新策略［12］或者RNN（Recurrent Neural Network）［13］構(gòu)建外部記憶存儲器（External Memory）［14］來學(xué)習(xí)大量樣本的經(jīng)驗(yàn)，以此在測試時比對出真實(shí)的類別信息。 元學(xué)習(xí)模型（Model?Agnostic Meta?Learning，MAML）［15］提 出 的是一種與模型無關(guān)的元學(xué)習(xí)方法。 元學(xué)習(xí)網(wǎng)絡(luò)通過構(gòu)建元學(xué)習(xí)器和基學(xué)習(xí)器（基學(xué)習(xí)器用于預(yù)測，元學(xué)習(xí)器用于訓(xùn)練基學(xué)習(xí)器）使得模型訓(xùn)練出一組初始化參數(shù)。 通過大量的先驗(yàn)知識不斷修正初始化的參數(shù)，使其能夠在不同種類的樣本上快速收斂。 度量學(xué)習(xí)［16］的方法主要是在學(xué)習(xí)樣本數(shù)據(jù)和網(wǎng)絡(luò)所提取特征之間的映射關(guān)系，將樣本數(shù)據(jù)特征向量映射到特征空間上。 訓(xùn)練過程使得相同類別的樣本之間距離不斷縮小，不同類別之間的樣本距離逐漸增大，最后利用距離函數(shù)計(jì)算圖像數(shù)據(jù)之間相似度，并根據(jù)相似度將查詢集樣本劃分到正確的支持集中。

基于度量學(xué)習(xí)在小樣本分類任務(wù)上取得了很好的效果，本文也采用基于度量學(xué)習(xí)方法，主要采用episode 方法來模擬小樣本學(xué)習(xí)［16－17］。 圖像在分類過程中使用頂層的特征進(jìn)行度量學(xué)習(xí)，從特征提取的角度來看，頂層的樣本特征分辨率較低，圖像的通道信息和位置信息等細(xì)節(jié)信息基本丟失，導(dǎo)致小樣本分類的精度較差［18］。 因此如何能夠豐富圖像的頂層特征，使之能夠更好地融合圖像的位置信息和通道信息成為了研究的重點(diǎn)。

本文主要的貢獻(xiàn)：

（1） 分析了小樣本學(xué)習(xí)的現(xiàn)狀，提出了一種基于多角度學(xué)生子注意力網(wǎng)絡(luò)框架MCP。 從不同的角度出發(fā)構(gòu)建不同的學(xué)生分支，迫使網(wǎng)絡(luò)關(guān)注圖像的全局表征信息。 驗(yàn)證了MCP 能夠挖掘出圖像的細(xì)節(jié)信息，增強(qiáng)了網(wǎng)絡(luò)的特征提取能力，有利于提升小樣本的分類準(zhǔn)確性。

（2） 本文將互學(xué)習(xí)思想應(yīng)用到網(wǎng)絡(luò)模型中。迫使兩個分支預(yù)測的概率分布能夠相互監(jiān)督，相互學(xué)習(xí)，防止單角度的注意力網(wǎng)絡(luò)過早地出現(xiàn)過擬合。

（3） 在多個基準(zhǔn)測試集上進(jìn)行了大量實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果優(yōu)于已有算法，驗(yàn)證了框架的有效性。

1 相關(guān)工作

1.1 問題定義

小樣本學(xué)習(xí)方法在訓(xùn)練階段構(gòu)造出多個不同的元任務(wù)，通過在這些元任務(wù)上的學(xué)習(xí)，學(xué)習(xí)到一個能夠快速適應(yīng)新任務(wù)的模型。 與傳統(tǒng)的分類任務(wù)不同，小樣本學(xué)習(xí)的訓(xùn)練集Dtrain和測試集Dtest由來自同一類的樣本組成，小樣本學(xué)習(xí)旨在解決Dtrain和Dtest之間標(biāo)簽空間不相交的問題。 遵循Vinyals 等人定義的標(biāo)準(zhǔn)N?way k?shot 分類場景來研究少鏡頭學(xué)習(xí)問題。 為了能夠構(gòu)建不同的新任務(wù)，支持集和查詢集都會隨機(jī)產(chǎn)生不同類別組合，通過不斷進(jìn)行周期性迭代訓(xùn)練的方式，使之任務(wù)更加具有普遍性，使得網(wǎng)絡(luò)能夠提取出圖像之間的通用特征，更能適應(yīng)新的測試任務(wù)。

支持集和查詢集的公式定義為

式中，Ssupport表示支持集，Squery表示查詢集，x與y分別表示支撐集中圖像以及其對應(yīng)的標(biāo)簽，N×K與C分別表示支撐集與查詢集中圖像的總數(shù)量。

每次從目標(biāo)數(shù)據(jù)集合Cbase中隨機(jī)選出N個類別，再從已有的N個類別中隨機(jī)選取k個樣本作為支持集Ssupport，即為N?way k?shot 再從已選的N個類別中隨機(jī)選出m個樣本組成查詢集Squery，一組查詢集和一組支持集組成一個task 任務(wù)。 學(xué)習(xí)不同的task 分類，不同的task 之間類別不同，訓(xùn)練任務(wù)與測試的類別不相交。

1.2 相關(guān)理論

注意力機(jī)制（Attention Mechanism）［19］的提出是源自于人類著重關(guān)注視覺場景中的一部分，使網(wǎng)絡(luò)在全面觀察整張圖像時快速關(guān)注圖像的重點(diǎn)區(qū)域，把主要的視覺資源投入到圖像的重點(diǎn)區(qū)域中，對圖像的焦點(diǎn)區(qū)域信息著重處理，從而加強(qiáng)網(wǎng)絡(luò)的特征提取能力。

通道注意力機(jī)制：通道注意力機(jī)制在SENet［20］網(wǎng)絡(luò)中被提出，關(guān)注圖像的通道信息旨在找出圖像每個通道之間的內(nèi)部依賴性，通過給圖像不同的通道賦予不同的注意力權(quán)重的方式，得到通道注意力權(quán)重向量，從而豐富了圖像的全局信息。

位置注意力機(jī)制：關(guān)注圖像中位置信息，對圖像每一個位置的特征進(jìn)行加權(quán)聚合得到位置注意力權(quán)重向量，使之能夠更加關(guān)注圖像的特征分布。

互學(xué)習(xí)［21］是近年來在許多領(lǐng)域興起的一種新的蒸餾模式，它打破了傳統(tǒng)的“師生”結(jié)構(gòu)，即固定的監(jiān)督方向。 通過對不同的分支子網(wǎng)絡(luò)采用隨機(jī)初始化，利用KL（Kullback?Leibler）散度使分支間預(yù)測的差異性減小。 網(wǎng)絡(luò)在初期階段監(jiān)督損失較大，分支間的交互損失較小，每個分支都受到監(jiān)督損失和其余分支之間的交互損失的約束。

2 本文方法

2.1 整體架構(gòu)

在實(shí)際的生活中，不同的人面對相同的問題，由于考慮的角度不同，解決問題的方法也不會相同。受到此現(xiàn)象的啟發(fā)，我們提出了一種基于多角度學(xué)生子注意力分支網(wǎng)絡(luò)的互學(xué)習(xí)網(wǎng)絡(luò)以便于從不同的注意力角度來求解小樣本分類問題。 如圖1 所示，多角度學(xué)生子注意力網(wǎng)絡(luò)框架MCP 主要包含3 個部分：基礎(chǔ)特征提取器、多角度學(xué)生子注意力模塊、互監(jiān)督學(xué)習(xí)模塊。

圖1 多角度學(xué)生子注意力網(wǎng)絡(luò)架構(gòu)示意圖（MCP）

在MCP 中將Conv64 所提取的特征視為后續(xù)子注意力分支學(xué)習(xí)網(wǎng)絡(luò)的先驗(yàn)知識，進(jìn)而利用通道注意力和位置注意力著重從不同的角度關(guān)注圖像的全局信息，并生成兩個學(xué)生分支，最后利用不同角度的注意力預(yù)測的概率分布進(jìn)行互監(jiān)督學(xué)習(xí)，迫使分支網(wǎng)絡(luò)能夠相互模仿，相互學(xué)習(xí)，從而抑制網(wǎng)絡(luò)在訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象。

2.2 多角度學(xué)生子注意力模塊

多角度學(xué)生子注意力模塊包含了位置局部子注意力學(xué)生分支以及通道局部子注意力學(xué)生分支。

2.2.1 位置局部子注意力分支

圖像中的物體是由各個位置的像素點(diǎn)拼接而成，提取越豐富的圖像細(xì)節(jié)信息對于圖像分類的準(zhǔn)確性越重要，考慮到高維圖像特征的位置細(xì)節(jié)信息逐漸丟失，不利于圖像的分類，使用的局部特征不能使網(wǎng)絡(luò)關(guān)注圖像的位置信息。 為了在圖像局部特征上建立豐富的上下文關(guān)系模型，考慮到注意力可能會集中于不重要的對象特征上，我們添加了一個位置注意力模塊，能夠從全局的角度適應(yīng)地整合圖像的相似信息，著重關(guān)注圖像的位置信息，作為分類的參考依據(jù)。 對于特定位置的特征進(jìn)行加權(quán)求和，有選擇地聚合每一位置的特征，相似的特征彼此相互關(guān)聯(lián)，根據(jù)兩個位置之間的相似度來確定權(quán)重，能夠在一定的程度上解決上述問題。 如圖2 所示，圖像的位置空間上下文信息獲取包含以下步驟：

圖2 位置局部子注意力流程

給定一個局部特征B∈RC×H×W，首先將其輸入到卷積層中，分別生成新的特征圖矩陣C、D和E，對特征圖矩陣C進(jìn)行調(diào)整使得m＝H×W，然后與特征圖矩陣D進(jìn)行矩陣乘法，接著再通過softmax得到位置注意力圖Q即

由式（4）可知，最終的輸出特征是原始特征和注意力圖的加權(quán)和，因此生成的特征圖B′具有上下文信息的全局視圖，根據(jù)位置注意力矩陣可以選擇性地聚合上下文信息，使得圖像相似的語義特征相互促進(jìn)，從而豐富了圖像的表征信息。

2.2.2 通道局部子注意力分支

圖像的高維特征都可以看作是類的響應(yīng)，圖像經(jīng)過卷積運(yùn)算后都會產(chǎn)生新的特征圖，每個新的通道特征向量都是局部區(qū)域特征的表達(dá)，我們構(gòu)建了一個通道全局子注意模塊來對圖像通道信息進(jìn)行建模。 從通道信息的角度出發(fā)，關(guān)注圖像之間的通道依賴關(guān)系，作為另一個求解問題的判別方法。 本文采用壓縮的方式對圖像進(jìn)行全局池化，把每一個通道的特征向量映射成全局特征向量，以此獲得全局的圖像描述特征，在經(jīng)過激發(fā)后，可以進(jìn)一步抓取通道之間的關(guān)系，網(wǎng)絡(luò)能夠獲得各個通道之間的非線性關(guān)系，保證通道之間的關(guān)系不互斥。 我們利用特征圖在各個通道的信號來獲取通道信息的映射，采用的全局池化去除了空間的影響，讓網(wǎng)絡(luò)只關(guān)注通道間的依賴信息。 對圖像的每一個通道賦予一個權(quán)重來代表該通道與關(guān)鍵信息的相關(guān)程度，通過網(wǎng)絡(luò)學(xué)習(xí)出的權(quán)重來表示圖像的相關(guān)性大小。 通道全局子注意力模塊的結(jié)構(gòu)如圖3 所示。

圖3 通道局部子注意力流程

通道注意力模塊與位置注意力模塊的計(jì)算方式不同，直接對輸入的初始特征A∈RC×H×W進(jìn)行計(jì)算獲得通道注意力圖X，通道注意力矩陣依靠通道之間的依賴關(guān)系生成。 注意力矩陣X通過一個softmax 計(jì)算生成，即

式（4）中的系數(shù)β從0 開始逐漸學(xué)習(xí)，生成的E′就是全局通道的上下文信息的特征圖。 每個通道獲得的特征來自于通道注意力特征和原始特征的加權(quán)和，這有助于提高通道全局子注意力對圖像信息的表征能力。

2.3 互學(xué)習(xí)模塊

互學(xué)習(xí)模塊通過位置子注意力分支和通道子注意力分支進(jìn)行互監(jiān)督學(xué)習(xí)來抑制單個網(wǎng)絡(luò)容易出現(xiàn)的過擬合現(xiàn)象。 在其一個分支中，利用圖像的監(jiān)督信息計(jì)算出該分支的分類損失，同時利用兩個分支各自的網(wǎng)絡(luò)預(yù)測概率分布之間的KL 散度來使得兩個分支互相模擬對方網(wǎng)絡(luò)的概率分布，從而增加自身模型的魯棒性。 將位置注意力分支預(yù)測的概率分布記為Pposition，另一個分支預(yù)測的概率分布記為Pchannel，分支在計(jì)算自己監(jiān)督損失的同時，也會受到其余分支對它的約束，即需要衡量兩個分支之間對同一種樣本的預(yù)測值之間的距離，則互監(jiān)督損失記為

式中，LSSL表示小樣本分類的監(jiān)督損失，LKL則表示不同分支之間的互監(jiān)督損失。

多角度學(xué)生子注意力網(wǎng)絡(luò)的核心在于多角度學(xué)生子注意力模塊和互學(xué)習(xí)模塊，其中不同的注意力從不同的角度提取圖像表征，使得提取的特征富含了不同角度的信息。 融入位置和通道注意力的特征還能從不同的粒度上反映圖像的潛在特征，豐富了圖像特征的表達(dá)［7］。 網(wǎng)絡(luò)將特征映射到高維空間，對不同的角度注意力所提取的特征進(jìn)行了相似性度量，查詢集和支持集之間的距離越小，表明兩者同屬于一個類別。 考慮到添加的注意力會使得圖像出現(xiàn)過擬合，引入互學(xué)習(xí)模塊，讓單一分支受到其余分支的監(jiān)督，最終的分類結(jié)果受到分類和互監(jiān)督共同作用，進(jìn)一步提升了網(wǎng)絡(luò)的分類能力。

3 實(shí)驗(yàn)與分析

我們在常用的數(shù)據(jù)集Mini?ImageNet 和Tiered?ImageNet 上對設(shè)計(jì)的網(wǎng)絡(luò)框架在解決小樣本分類問題上的性能進(jìn)行了實(shí)驗(yàn)驗(yàn)證并和先進(jìn)的方法進(jìn)行比較。 同時，進(jìn)行了消融實(shí)驗(yàn)，驗(yàn)證了模型中相關(guān)模塊的有效性。

3.1 數(shù)據(jù)集介紹

Mini?ImageNet 是ImageNet 的子集，常用于小樣本分類任務(wù)中。 它包含100 個類，每個類別包含600張圖像，把樣本集分為64，16 和20 個類，分別用于訓(xùn)練、驗(yàn)證和測試。 Tiered?ImageNet 總共有608 個類別，每個類有1 281 圖像。 在該數(shù)據(jù)集上，對它進(jìn)行了拆分，對351、97 和160 個類分別用于小樣本學(xué)習(xí)的訓(xùn) 練、驗(yàn) 證 和 測 試。 對Mini?ImageNet 和Tiered?ImageNet，所有圖像的分辨率都調(diào)整為84×84。

3.2 實(shí)驗(yàn)細(xì)節(jié)與實(shí)驗(yàn)設(shè)置

本文所有的實(shí)驗(yàn)均在Ubuntu18 的環(huán)境下測試，由于深度學(xué)習(xí)的特點(diǎn)，模型的性能很大程度上取決于網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)和參數(shù)的初始化。 為了公平，選擇了Conv64 作為特征提取器。 在訓(xùn)練和測試階段按照標(biāo)準(zhǔn)的元學(xué)習(xí)方法，即在訓(xùn)練和測試的每一個任務(wù)中，數(shù)據(jù)嚴(yán)格按照N?way k?shot 形式。 小樣本分類任務(wù)的目標(biāo)是判斷查詢集圖像和支持集中的哪一張圖像屬于同一類別。 和其他論文一樣，均采用5?way 1?shot 和5?way 5?shot 的形式來衡量模型的準(zhǔn)確率。 在訓(xùn)練過程中，本文選用Adam 作為優(yōu)化器，設(shè)置網(wǎng)絡(luò)學(xué)習(xí)率為0.001，每訓(xùn)練10 000 次，學(xué)習(xí)率減半。 參數(shù)采用Normal 方式進(jìn)行初始化，其余參數(shù)都采用默認(rèn)方式。 從訓(xùn)練集中隨機(jī)抽取10 000 個任務(wù)作為一個Epoch，訓(xùn)練50 個epoch。 每次新任務(wù)都隨機(jī)抽取5個類別，每個類別的訓(xùn)練數(shù)據(jù)只有1 個樣本，再從已選擇的每個類別中隨機(jī)抽取15 張作為支持集，共75張支持集即組成一個5?way 1?shot 任務(wù)，判斷這75 張圖片所屬于5 個類別中的哪一類。 5?way 5?shot 和5?way 1?shot 類似，不同的是每個隨機(jī)抽取的5 個類別都有5 個樣本，在測試過程中，在測試數(shù)據(jù)集中隨機(jī)抽取600 個任務(wù)，以top1 的平均準(zhǔn)確率作為當(dāng)次的模型準(zhǔn)確率，并重復(fù)5 次，最終5 次的平均值記為最后的模型精度。

3.3 實(shí)驗(yàn)結(jié)果與分析

對提出的MCP 方法和當(dāng)前最先進(jìn)的小樣本學(xué)習(xí)方法在Mini?ImageNet 和Tiered?ImageNet 上進(jìn)行了對比，結(jié)果分別如表1 和表2 所示。 實(shí)驗(yàn)結(jié)果表明，與其他的先進(jìn)方法相比，本文在分類任務(wù)上的準(zhǔn)確率有較大的提升，說明本文模型能夠更加有效地用于小樣本的分類任務(wù)。 遵循上述實(shí)驗(yàn)設(shè)置的描述，本文對5?way 1?shot 和5?way 5?shot 這兩個規(guī)模進(jìn)行了比較，準(zhǔn)確率是3 000 個任務(wù)的場景的平均值。

3.3.1 Mini?ImageNet 數(shù)據(jù)集

為了評估模型的性能，將MCP 模型與其他的優(yōu)秀的小樣本分類模型在Mini?ImageNet 數(shù)據(jù)集上進(jìn)行比較，本文模型在5?way 1?shot、5?way 5?shot 任務(wù)上都獲得了不錯的表現(xiàn)，實(shí)驗(yàn)結(jié)果如表1 所示。

表1 Mini?ImageNet 上的5?way 任務(wù)的分類精度

續(xù)表

從表1 中可以發(fā)現(xiàn)，本文提出的基于多角度學(xué)生子注意力網(wǎng)絡(luò)MCP 與其他的小樣本分類方法相比，在Mini?ImageNet 數(shù)據(jù)集上的精度提升比較顯著。 在5?way 1?shot 任務(wù)上，與ATLNet 相比，準(zhǔn)確率 提 高 了2. 24%。 在5?way 5?shot 任 務(wù) 上， 比ATLNet 準(zhǔn)確率提高0.65%。 由于Mini?ImageNet 是一個多種類的數(shù)據(jù)集，所以在該數(shù)據(jù)集上有好的效果，可以從側(cè)面驗(yàn)證本文的模型具有較好的魯棒性。

3.3.2 Tiered?ImageNet 數(shù)據(jù)集

為了驗(yàn)證模型的泛化能力，將基于多角度學(xué)生子注意力網(wǎng)絡(luò)MCP 模型在Tiered?ImageNet 數(shù)據(jù)集上采取了5?way 1?shot、5?way 5?shot 兩種實(shí)驗(yàn)方式，實(shí)驗(yàn)結(jié)果如表2 所示。

表2 Tiered?ImageNet 上的5?way 任務(wù)的分類精度

從表2 中可以看出，基于多角度學(xué)生子注意力網(wǎng)絡(luò)MCP 在5?way 1?shot、5?way 5?shot 任務(wù)上，與其他的小樣本分類方法相比，MCP 在Tiered?ImageNet數(shù)據(jù)集上取得了較好的效果。 在5?way 1?shot 任務(wù)上，與ADM 相比，準(zhǔn)確率提高了3.51%。 在5?way 5?shot 任務(wù)上比ADM 準(zhǔn)確率提高了2.78%。 通過分析可知，本文提出的基于多角度學(xué)生子注意力網(wǎng)絡(luò)從不同角度上提取圖像更細(xì)致的特征信息，利用互學(xué)習(xí)的方法使各個子分支網(wǎng)絡(luò)相互監(jiān)督學(xué)習(xí)，此舉能夠有效地緩解網(wǎng)絡(luò)在訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象，在不同數(shù)據(jù)集中仍然具有較強(qiáng)的表示能力，使模型具有良好的泛化能力。

3.4 消融實(shí)驗(yàn)

為了分析每個模塊對網(wǎng)絡(luò)模型產(chǎn)生的影響，本文使用控制變量法在Mini?ImageNet 數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)：我們的模型MCP 消去位置注意力分支僅保留通道注意力分支，與消去通道注意力分支僅保留位置注意力分支和MCP。 消融實(shí)驗(yàn)的最終結(jié)果如表3 所示。

表3 提出的網(wǎng)絡(luò)在單一注意力網(wǎng)絡(luò)下的情況

結(jié)果表明，同時使用兩個不同角度的學(xué)生子注意力模塊對于模型的分類精度會有很大程度的提升；若僅僅使用單一注意力，會導(dǎo)致模型對于圖像的抗噪聲能力較弱，模型的分類精度不高。 因此，本文在5?way 1?shot、5?way 5?shot 任務(wù)上引入互監(jiān)督學(xué)習(xí)方法，將同時使用兩個模塊使得網(wǎng)絡(luò)的提升作用更大，從而極大地抑制了網(wǎng)絡(luò)的過擬合現(xiàn)象。

4 結(jié)束語

在實(shí)際的生活中，不同的人面對相同的問題，由于考慮的角度不同，解決問題的方法也不會相同。本文提出的多角度學(xué)生子注意力網(wǎng)絡(luò)框架MCP，從不同角度來求解小樣本的分類問題；學(xué)生子注意力網(wǎng)絡(luò)從位置和通道特性角度出發(fā)，有針對性地提取圖像之間的位置和通道信息，豐富了網(wǎng)絡(luò)提取圖像特征的能力；引入了互學(xué)習(xí)的思想，有效地抑制了子注意力分支網(wǎng)絡(luò)在訓(xùn)練過程中出現(xiàn)的過擬合現(xiàn)象，提高了小樣本分類的準(zhǔn)確率。 在未來的研究中，可以考慮添加不同的提取圖像特征的角度，構(gòu)建多組學(xué)生分支，通過更多角度的學(xué)生分支來提升分類的準(zhǔn)確率。