魏勝楠，張景異，陳 亮，耿俊香，王中洲

(沈陽(yáng)理工大學(xué) 自動(dòng)化與電氣工程學(xué)院，沈陽(yáng) 110159)

近年來(lái)，深度學(xué)習(xí)在計(jì)算機(jī)視覺任務(wù)中的多個(gè)方面均取得了巨大的進(jìn)步[1]，同時(shí)也為日常生活帶來(lái)智能便捷的體驗(yàn)[2]。但深度學(xué)習(xí)的成功有賴于大量的有監(jiān)督數(shù)據(jù)，對(duì)于一些無(wú)法收集到大量數(shù)據(jù)的情況，如醫(yī)學(xué)影像的獲取、稀有動(dòng)植物的采集等[3]，深度學(xué)習(xí)并不具備足夠的優(yōu)勢(shì)。基于此，小樣本學(xué)習(xí)[4]應(yīng)勢(shì)而生。小樣本學(xué)習(xí)是在只給出少量標(biāo)注數(shù)據(jù)的情況下對(duì)其進(jìn)行識(shí)別分類[5]，即給定一組帶有足夠標(biāo)記量的基類數(shù)據(jù)和一組從未見過(guò)的新穎類別，通過(guò)對(duì)基類的學(xué)習(xí)訓(xùn)練實(shí)現(xiàn)對(duì)新穎類別的分類。

現(xiàn)階段小樣本學(xué)習(xí)研究多通過(guò)元學(xué)習(xí)來(lái)完成。元學(xué)習(xí)從一組訓(xùn)練數(shù)據(jù)中提取可遷移的知識(shí)，一個(gè)好的初始條件[6]、一種優(yōu)化方法[7]或一個(gè)度量空間[4，8-9]都可以成為遷移的對(duì)象，將這些知識(shí)推廣并應(yīng)用到新的測(cè)試任務(wù)中。元訓(xùn)練階段的任務(wù)設(shè)置通常與元測(cè)試階段保持一致，以減少訓(xùn)練和測(cè)試之間的差距，提高模型的泛化能力。

基于元學(xué)習(xí)的度量方法[3，10]由于其突出的便捷高效性已受到諸多關(guān)注，該方法一般通過(guò)episode[8]的訓(xùn)練方式對(duì)測(cè)試的環(huán)境進(jìn)行模擬，從而學(xué)習(xí)一個(gè)嵌入空間(將數(shù)據(jù)轉(zhuǎn)換成一個(gè)特征向量，相似樣本之間的特征向量距離小，不相似樣本之間的特征向量距離大)，確保來(lái)自同一類別的樣本聚集在一起，不同類的樣本彼此分離，測(cè)試集的圖像則通過(guò)學(xué)習(xí)到的嵌入空間實(shí)現(xiàn)精確分類。Vinyals O等[8]提出的匹配網(wǎng)絡(luò)是該度量方法的典型代表，其用一種帶有嵌入特征提取器的最近鄰方法實(shí)現(xiàn)了小樣本分類。Li W等[11]認(rèn)為考慮圖像-圖像級(jí)別的比較存在困難，故引入了局部描述子的概念，提出深度最近鄰網(wǎng)絡(luò)，實(shí)現(xiàn)小樣本分類，但基于最近鄰方法幾乎不可能通過(guò)少量示例學(xué)習(xí)到一個(gè)包含各種復(fù)雜表象的真正概念。Sung F等[9]提出通過(guò)學(xué)習(xí)一種可遷移的深度度量方式比較圖像之間的關(guān)系，從而實(shí)現(xiàn)小樣本學(xué)習(xí)，但由于其嵌入模塊需要滿足測(cè)試集中沒(méi)有見過(guò)的新穎類別，導(dǎo)致網(wǎng)絡(luò)泛化能力較弱。

本文提出一種自適應(yīng)局部關(guān)系網(wǎng)絡(luò)的小樣本學(xué)習(xí)研究方法。該方法利用自注意力機(jī)制[12]使網(wǎng)絡(luò)能夠有針對(duì)性地提取到特定任務(wù)的信息，達(dá)到增強(qiáng)網(wǎng)絡(luò)泛化性的目的；將任務(wù)相關(guān)的局部描述子采用add的連接方式[13]構(gòu)成復(fù)數(shù)連接空間，輸入到非線性度量函數(shù)中，提取局部特征相似性的同時(shí)有效減少參數(shù)；在關(guān)系模塊中加入SENet結(jié)構(gòu)，確保網(wǎng)絡(luò)能夠抑制無(wú)效信息，更加關(guān)注特征通道上的有效信息；最后通過(guò)改進(jìn)的損失函數(shù)得到高效準(zhǔn)確的分類模型。

1 自適應(yīng)局部關(guān)系網(wǎng)絡(luò)

1.1 問(wèn)題定義

小樣本學(xué)習(xí)目前廣泛應(yīng)用的元學(xué)習(xí)方法又被稱為學(xué)會(huì)學(xué)習(xí)，該方法在訓(xùn)練階段構(gòu)造多個(gè)不同的元任務(wù)，通過(guò)這些元任務(wù)學(xué)習(xí)到一個(gè)具備良好泛化能力的網(wǎng)絡(luò)，使其面對(duì)新的測(cè)試任務(wù)時(shí)無(wú)需改變現(xiàn)有模型便可進(jìn)行分類。每個(gè)元任務(wù)都在訓(xùn)練集中隨機(jī)采樣C個(gè)類，每個(gè)類由K個(gè)樣本生成，總共C×K個(gè)樣本，將該數(shù)據(jù)作為模型的支持集，再?gòu)腃個(gè)類剩余的樣本中抽取一批數(shù)據(jù)作為模型的預(yù)測(cè)對(duì)象。期望模型能從C×K個(gè)數(shù)據(jù)中學(xué)會(huì)如何區(qū)分C個(gè)類別，該問(wèn)題一般稱為C-wayK-shot問(wèn)題。

為驗(yàn)證改進(jìn)算法的性能，本文在MiniImagenet和Omniglot兩個(gè)數(shù)據(jù)集上分別對(duì)5-way 1-shot和5-way 5-shot兩種情況進(jìn)行實(shí)驗(yàn)驗(yàn)證。

1.2 局部描述子

局部描述子是計(jì)算機(jī)視覺中一個(gè)基本的研究問(wèn)題，文獻(xiàn)[14]在1999年提出尺度不變特征轉(zhuǎn)換(Scale Invariant Feature Transform)的局部描述子概念。假設(shè)有一張大小為h×w的圖像，圖像經(jīng)過(guò)卷積后，輸出的特征圖可表示為一個(gè)h×w×c的張量T，其中c是通道數(shù)。如將每個(gè)長(zhǎng)度為c的特征向量看成一個(gè)局部描述子xi，則該張量可以表示為m個(gè)局部描述子，m=h×w，每個(gè)局部描述子對(duì)應(yīng)圖片中的一個(gè)區(qū)域。局部描述子結(jié)構(gòu)如圖1所示。

圖1 局部描述子結(jié)構(gòu)

1.3 自注意力機(jī)制

自注意力機(jī)制是注意力機(jī)制的變體，其減少了對(duì)外部信息的依賴，更加擅長(zhǎng)捕獲到數(shù)據(jù)或特征的內(nèi)部相關(guān)性。利用自注意力機(jī)制構(gòu)建一個(gè)轉(zhuǎn)換器，使網(wǎng)絡(luò)產(chǎn)生特定于任務(wù)的嵌入信息。轉(zhuǎn)換器處理流程如圖2所示。

圖2 轉(zhuǎn)換器處理流程

對(duì)于自注意力機(jī)制來(lái)說(shuō)，其存儲(chǔ)一種三元信息，即一組查詢點(diǎn)Q、鍵K、值V。為計(jì)算接近度和返回值，該點(diǎn)會(huì)先線性映射到某個(gè)空間上，映射方法為

(1)

(2)

將計(jì)算得到的相似度作為權(quán)重，用于計(jì)算和任務(wù)相關(guān)的局部描述子信息，計(jì)算式為

(3)

(4)

引入局部描述子和自注意力機(jī)制后的嵌入網(wǎng)絡(luò)整體結(jié)構(gòu)如圖3所示。

圖3 嵌入網(wǎng)絡(luò)結(jié)構(gòu)圖

由自注意力機(jī)制構(gòu)成的轉(zhuǎn)換器可實(shí)現(xiàn)網(wǎng)絡(luò)的自適應(yīng)，即滿足式(5)。

{ψx;?x∈χtrain∪xtest}=
T({φx;?x∈χtrain∪xtest})

(5)

1.4 特征提取模塊和關(guān)系模塊

本文的特征提取模塊采用和關(guān)系網(wǎng)絡(luò)相同的設(shè)置。采用四個(gè)卷積塊，每個(gè)卷積塊都包含64個(gè)3×3的濾波器、一個(gè)批處理歸一化、一個(gè)Relu非線性層。為使需要輸出的特征信息能夠在關(guān)系模塊中進(jìn)一步卷積，對(duì)前兩個(gè)卷積塊應(yīng)用2×2的最大池化層，后兩個(gè)卷積塊則不采用。為更好地建立局部描述子特征通道之間的相互依賴關(guān)系，提升有用特征的同時(shí)抑制對(duì)當(dāng)前任務(wù)貢獻(xiàn)較小的特征，提出在關(guān)系模塊中引入SENet結(jié)構(gòu)。改進(jìn)后的關(guān)系模塊由三個(gè)卷積塊和兩個(gè)全連接層構(gòu)成，每個(gè)卷積塊包含64個(gè)3×3的濾波器、一個(gè)批歸一化、一個(gè)非線性Relu層。對(duì)前兩個(gè)卷積塊應(yīng)用2×2最大池化，最后一個(gè)卷積塊應(yīng)用全局平均池化。兩個(gè)全連接層后接sigmoid函數(shù)和縮放函數(shù)，網(wǎng)絡(luò)的整體架構(gòu)如圖4所示。

圖4 自適應(yīng)局部關(guān)系網(wǎng)絡(luò)結(jié)構(gòu)框圖

1.5 局部描述子連接

支持集S和查詢集Q的圖像通過(guò)嵌入網(wǎng)絡(luò)后，得到任務(wù)相關(guān)的局部描述子信息。每一張支持集都能夠得到一個(gè)由m(m=h×w)個(gè)局部描述子構(gòu)成的特征向量，即

D=[x1,x2,...,xm]∈Rc×m

(6)

式中xi為第i個(gè)局部描述子。選擇add的連接方式，對(duì)支持集和查詢集的局部描述子進(jìn)行連接，該方法能夠有效地把不同的特征信息進(jìn)行加權(quán)，保留中心處最強(qiáng)的信息，同時(shí)有效減少參數(shù)數(shù)量，連接表示為

H(DFi,Dq)=DFi+jDq(i=1,2,…,k)

(7)

式中：j為虛數(shù)單位；DFi和Dq分別為支持集和查詢集的局部描述子構(gòu)成的特征向量；H為特征向量構(gòu)成的復(fù)數(shù)連接空間，其維數(shù)是1×m。查詢集圖像與支持集中的每張圖像分別連接，構(gòu)成k個(gè)連接空間H1,H2,…,Hk。局部描述子連接方式如圖5所示。

圖5 局部描述子連接方式

1.6 距離度量函數(shù)與損失函數(shù)

本文采用卷積神經(jīng)網(wǎng)絡(luò)去擬合一種非線性的度量方式，從而確定距離度量函數(shù)，該方法更具靈活性，也更能捕獲到特征信息之間的相似度[9]。得到復(fù)數(shù)空間后，將復(fù)數(shù)空間輸入到關(guān)系模塊中，提取兩個(gè)局部描述子之間的局部不變性，對(duì)構(gòu)成的k個(gè)復(fù)數(shù)連接空間分別給出一個(gè)分?jǐn)?shù)，分?jǐn)?shù)高的被判為屬于同一類別。整體網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 網(wǎng)絡(luò)整體模型

將要解決的問(wèn)題看成一種回歸問(wèn)題，基于此，損失函數(shù)可采用均方誤差的形式，計(jì)算式為

(8)

式中

ri,j=gφ(C(fφ(xi),fφ(xj))),i=1,2,…,C

(9)

(10)

將模型預(yù)測(cè)出的相似性得分ri,j和標(biāo)簽y進(jìn)行比較，并累加求和得到最終損失值。對(duì)于小樣本來(lái)說(shuō)，由于每個(gè)測(cè)試任務(wù)只有少量示例，極易出現(xiàn)過(guò)擬合現(xiàn)象，因此提出在原損失函數(shù)的基礎(chǔ)上，添加L2正則化項(xiàng)，增強(qiáng)模型的魯棒性，改進(jìn)之后的分類器的損失函數(shù)為

(11)

式中γ為正則化懲罰系數(shù)，反向傳播的求導(dǎo)公式為

(12)

未加入正則化項(xiàng)時(shí)梯度下降公式為

φ,φ=φ,φ-η?LMSE(φ,φ)

(13)

加入L2正則化項(xiàng)后的梯度下降公式為

φ,φ=φ,φ-η(?LMSE(φ,φ)+γ(φ,φ))=
(1-ηγ)(φ,φ)-η?LMSE(φ,φ)

(14)

式中：φ、φ為整個(gè)網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù)；η為學(xué)習(xí)率。經(jīng)過(guò)損失函數(shù)訓(xùn)練得到的網(wǎng)絡(luò)最終會(huì)達(dá)到相同類別的樣本分?jǐn)?shù)接近1，不同類別的樣本分?jǐn)?shù)接近0的效果，正則化項(xiàng)的加入也會(huì)使網(wǎng)絡(luò)的權(quán)值不斷衰減，最終可解釋變量數(shù)量減少，保證分類準(zhǔn)確性的同時(shí)提高模型抗干擾能力，有效地避免過(guò)擬合現(xiàn)象。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

MiniImageNet數(shù)據(jù)集由文獻(xiàn)[8]于2016 年提出，是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要基準(zhǔn)數(shù)據(jù)集，其來(lái)源于圖像網(wǎng)，從圖像網(wǎng)中隨機(jī)抽取100個(gè)類，每個(gè)類由600張圖片構(gòu)成；Omniglot數(shù)據(jù)集是Lake等提出的語(yǔ)言文字?jǐn)?shù)據(jù)集[15]，其 中包含來(lái)自50個(gè)不同字母的1623個(gè)字符(類)，每個(gè)類包含不同的人繪制的20個(gè)樣本。

2.2 實(shí)驗(yàn)設(shè)置

在Windows操作系統(tǒng)下，基于PyTorch深度學(xué)習(xí)框架進(jìn)行實(shí)驗(yàn)，所有實(shí)驗(yàn)中使用初始率為10-3的Adam算法進(jìn)行訓(xùn)練，每10000次迭代學(xué)習(xí)率減半，最大迭代次數(shù)為100000。MiniImageNet數(shù)據(jù)集中64個(gè)類別用于訓(xùn)練，16個(gè)類別用于驗(yàn)證，20個(gè)類別用于測(cè)試，所有圖像的大小設(shè)置為84×84，將測(cè)試集上隨機(jī)生成的600個(gè)批次的分類準(zhǔn)確率的均值作為最終識(shí)別準(zhǔn)確率；Omniglot數(shù)據(jù)集分為三個(gè)部分，其中1200類用于訓(xùn)練，123類用于驗(yàn)證，300類用于測(cè)試，所有圖像的大小設(shè)置為28×28，同時(shí)通過(guò)對(duì)Omniglot數(shù)據(jù)集進(jìn)行90°、180°和270°旋轉(zhuǎn)來(lái)達(dá)到數(shù)據(jù)增強(qiáng)的目的[3]，將測(cè)試集上隨機(jī)生成的1000個(gè)批次的分類準(zhǔn)確率的均值作為最終識(shí)別準(zhǔn)確率。本文在5-way 1-shot、5-way 5-shot兩種情況下進(jìn)行實(shí)驗(yàn)。

2.3 實(shí)驗(yàn)結(jié)果

2.3.1 MiniImageNet數(shù)據(jù)集

將本文改進(jìn)算法在MiniImageNet數(shù)據(jù)集上的結(jié)果與小樣本學(xué)習(xí)的一些經(jīng)典網(wǎng)絡(luò)算法進(jìn)行比較，結(jié)果如表1所示。由表1可以看出本文的改進(jìn)算法在兩種情況下均效果良好。

表1 MiniImageNet數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

在MiniImageNet數(shù)據(jù)集上的5-way 1-shot和5-way 5-shot情況下不同算法的迭代次數(shù)和分類準(zhǔn)確率的關(guān)系如圖7所示。

由圖7可以看出，在訓(xùn)練的前20000次，模型的準(zhǔn)確率隨著訓(xùn)練次數(shù)的增加而增加，在訓(xùn)練進(jìn)行到40000次時(shí)準(zhǔn)確率基本趨于平穩(wěn)。本文的改進(jìn)算法在5-way 1-shot問(wèn)題下達(dá)到52.34%的準(zhǔn)確率，比RN提高1.9%，比DN4提高1.1%；在5-way 5-shot問(wèn)題下達(dá)到73.08%的準(zhǔn)確率，比RN提高7.76%，比DN4提高2.06%。

圖7 兩種情況下的分類準(zhǔn)確率

2.3.2 Omniglot數(shù)據(jù)集

本文改進(jìn)算法與其他經(jīng)典的小樣本學(xué)習(xí)方法在Omniglot數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2所示。由表2可以看出，本文算法在5-way 1-shot 、5-way 5-shot情況下均獲得較好的性能，MAML方法在5-shot情況下的分類準(zhǔn)確率最高，其原因是模型進(jìn)行了微調(diào)。

模型(算法)微調(diào)5-way分類準(zhǔn)確率/%1-shot5-shotMATCHING NETSY97.998.7MANNN82.894.9MAMLY98.7±0.499.9±0.1PROTOTYPICAL NETSN98.899.7RELATION NETS(RN)N99.6±0.299.8±0.1OURSN99.699.7OURS(L2正則化)N99.7±0.2199.8±0.21

2.4 實(shí)驗(yàn)分析

2.4.1 自注意力機(jī)制實(shí)驗(yàn)分析

為進(jìn)一步說(shuō)明自注意力機(jī)制的引入對(duì)分類準(zhǔn)確率的影響，在MiniImageNet數(shù)據(jù)集上對(duì)帶有自注意力機(jī)制模塊的網(wǎng)絡(luò)和普通卷積神經(jīng)網(wǎng)絡(luò)兩種情況進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表3所示。

表3 MiniImageNet數(shù)據(jù)集上自注意力機(jī)制方法對(duì)比

由表3可知，在1-shot情況下帶有自注意力機(jī)制的網(wǎng)絡(luò)分類準(zhǔn)確率比普通卷積神經(jīng)網(wǎng)絡(luò)提高0.46%，在5-shot情況下提升4.74%。改進(jìn)算法能有效地增強(qiáng)網(wǎng)絡(luò)的泛化能力，滿足測(cè)試集中的新樣本，達(dá)到提高分類準(zhǔn)確率的目的。

2.4.2 add連接方式實(shí)驗(yàn)分析

本文特征連接方式從簡(jiǎn)單的特征向量間的串聯(lián)變成局部描述子之間的add連接，相比于DN4和RN在MiniImageNet數(shù)據(jù)集的5-way 1-shot 、5-way 5-shot情況下的分類準(zhǔn)確率均有所提升。為進(jìn)一步說(shuō)明連接方式對(duì)分類準(zhǔn)確率的影響，在MiniImageNet數(shù)據(jù)集上分別對(duì)不同方法的連接方式進(jìn)行實(shí)驗(yàn)，結(jié)果如表4所示。

表4 MiniImageNet數(shù)據(jù)集上局部描述子連接方式對(duì)比

由表4可知，局部描述子的add連接方式的準(zhǔn)確率最高，其原因是并行的連接方式能夠有效地對(duì)特征信息進(jìn)行加權(quán)，保留其中最重要的特征，濾掉相對(duì)無(wú)關(guān)的信息，從而提高分類準(zhǔn)確率。

2.4.3 關(guān)系模塊實(shí)驗(yàn)分析

為進(jìn)一步說(shuō)明加入SENet對(duì)信息進(jìn)行篩選后分類準(zhǔn)確率有所提升，在MiniImageNet數(shù)據(jù)集上對(duì)兩種情況分別進(jìn)行實(shí)驗(yàn)，結(jié)果如表5所示。

表5 MiniImageNet數(shù)據(jù)集上關(guān)系模塊方法對(duì)比

由表5可知，加入SENet結(jié)構(gòu)后網(wǎng)絡(luò)的分類準(zhǔn)確率在1-shot情況下提升0.76%，在5-shot情況下提升5.74%，原因是SENet結(jié)構(gòu)使網(wǎng)絡(luò)更加關(guān)注特征通道間的相關(guān)性，從而達(dá)到提高分類準(zhǔn)確率的效果。

2.4.4 距離度量函數(shù)實(shí)驗(yàn)分析

本文的距離度量函數(shù)采用非線性度量，在MiniImageNet數(shù)據(jù)集上將其與現(xiàn)有人為設(shè)計(jì)的常見度量方式(如余弦距離或歐氏距離等)進(jìn)行比較，實(shí)驗(yàn)結(jié)果如表6所示。

表6 MiniImageNet數(shù)據(jù)集上度量方法對(duì)比

由表6可見，非線性度量方式的分類效果最好，因歐式距離或余弦距離為設(shè)定好的固定的度量方式，很大程度上依賴于提取的特征信息，本文采用的利用網(wǎng)絡(luò)自行獲取度量距離的方法更為靈活，更能夠捕獲到特征之間的相似程度，故更大程度地提高分類準(zhǔn)確率。

3 結(jié)論

應(yīng)用一個(gè)自注意力機(jī)制使嵌入網(wǎng)絡(luò)能夠有針對(duì)性地提取與任務(wù)相關(guān)的特征信息，提升網(wǎng)絡(luò)的泛化能力；引入局部描述子的思想，關(guān)注圖像-類別的比較，局部描述子的連接由串聯(lián)方式變?yōu)橐环N并行策略，將局部描述子連接后構(gòu)成的復(fù)數(shù)連接空間應(yīng)用普通卷積神經(jīng)網(wǎng)絡(luò)加SENet的結(jié)構(gòu)去擬合一種非線性度量，有效地抑制通道中的無(wú)用信息，提高度量的準(zhǔn)確率。通過(guò)在兩個(gè)小樣本學(xué)習(xí)常用的MiniImageNet數(shù)據(jù)集和Omniglot數(shù)據(jù)集上的實(shí)驗(yàn)，證明改進(jìn)算法可高效提高分類準(zhǔn)確率。