強(qiáng)夢(mèng)燁，陸琴心，晏明昊

(國(guó)網(wǎng)江蘇省電力有限公司無(wú)錫供電分公司，江蘇 無(wú)錫 214000)

0 引言

在現(xiàn)實(shí)應(yīng)用場(chǎng)景中，計(jì)算機(jī)視覺(jué)任務(wù)的研究首先會(huì)遇到難以獲取理想的數(shù)據(jù)集的問(wèn)題[1-6]。目前，圖卷積網(wǎng)絡(luò)(GCN)已經(jīng)被成功應(yīng)用在少樣本學(xué)習(xí)任務(wù)上，但這類方法存在著明顯的缺陷。隨著圖卷積網(wǎng)絡(luò)層數(shù)的加深，模型容易出現(xiàn)過(guò)擬合的現(xiàn)象[7-9]?；趫D卷積網(wǎng)絡(luò)的少樣本研究通常在模型學(xué)習(xí)過(guò)程中僅使用了圖像的全局特征，忽略了圖像中具有類別判別性的細(xì)節(jié)信息。為了解決上述問(wèn)題，本文提出了基于自適應(yīng)細(xì)節(jié)特征增強(qiáng)網(wǎng)絡(luò)(ADFRN)與語(yǔ)義對(duì)齊圖卷積網(wǎng)絡(luò)(SAGCN)的少樣本學(xué)習(xí)方法。

1 任務(wù)設(shè)定

少樣本學(xué)習(xí)通過(guò)構(gòu)造一系列N-way, K-shot的學(xué)習(xí)任務(wù)來(lái)模擬缺少數(shù)據(jù)的場(chǎng)景。每個(gè)學(xué)習(xí)任務(wù)包含兩部分：支持集和查詢集。支持集包含N個(gè)不同類別的數(shù)據(jù)，每一類由K張帶標(biāo)簽圖像組成。查詢集和支持集擁有相同的類別空間，但是每一類包含M個(gè)不帶標(biāo)簽的圖像。支持集和查詢集不能有相同的數(shù)據(jù)。模型先在支持集上進(jìn)行學(xué)習(xí)，然后給查詢集中的數(shù)據(jù)預(yù)測(cè)類別。在模型訓(xùn)練和測(cè)試時(shí)，分別在訓(xùn)練集和測(cè)試集上構(gòu)造學(xué)習(xí)任務(wù)，模型會(huì)在這些學(xué)習(xí)任務(wù)上進(jìn)行學(xué)習(xí)。

2 模型

2.1 ADFRN

少樣本學(xué)習(xí)方法大多僅對(duì)圖像進(jìn)行簡(jiǎn)單的卷積操作，利用全局特征預(yù)測(cè)圖像類別。這些方法忽略了圖像中具有類別特點(diǎn)的局部細(xì)節(jié)信息對(duì)于分類的幫助。為了有效地利用這些局部細(xì)節(jié)，本研究設(shè)計(jì)了ADFRN。網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。整個(gè)ADFRN網(wǎng)絡(luò)可以概括為：

圖1 自適應(yīng)細(xì)節(jié)特征增強(qiáng)網(wǎng)絡(luò)(ADFRN)結(jié)構(gòu)

r(x)=Rf(g(x),b(g(x),E))

其中，x是輸入圖像，g是全局特征圖，E是指導(dǎo)模型對(duì)于輸入圖像進(jìn)行細(xì)節(jié)特征強(qiáng)化的經(jīng)驗(yàn)知識(shí)，b是根據(jù)g(x)和E學(xué)習(xí)到的強(qiáng)化基準(zhǔn)，Rf表示特征強(qiáng)化函數(shù)，r為細(xì)節(jié)強(qiáng)化特征圖。

由于同類別的物體帶有類別鑒別性的局部特征是相似的，因此本研究利用模型已經(jīng)學(xué)習(xí)到的關(guān)于此類別局部增強(qiáng)特征的知識(shí)去指導(dǎo)對(duì)新樣例進(jìn)行特征增強(qiáng)。在ADFRN中，類別特征庫(kù)專門(mén)用來(lái)存儲(chǔ)模型已學(xué)習(xí)到的知識(shí)結(jié)構(gòu)，里面的類別i的對(duì)應(yīng)知識(shí)可以表示為：

Qi={Ei,Lci,Ni}

其中，Ei∈Rc×h×w是類別i的平均增強(qiáng)特征圖，Lci為類別i的標(biāo)簽，Ni表示已學(xué)習(xí)到的類別i的樣例的數(shù)量。在對(duì)輸入圖像進(jìn)行卷積后，從類別特征庫(kù)選擇和它距離最近的知識(shí)作為經(jīng)驗(yàn)知識(shí)。在每次分類后，模型都會(huì)計(jì)算新的類別平均增強(qiáng)特征。

得到全局特征圖g(x)∈Rc×w×h和經(jīng)驗(yàn)知識(shí)E后，利用卷積層對(duì)E進(jìn)行卷積操作，得到一個(gè)張量sφ(E)∈Rcp2×h×w，φ是卷積層參數(shù)。卷積層的作用是用來(lái)學(xué)習(xí)捕獲局部細(xì)節(jié)信息的卷積核，每個(gè)卷積核的邊長(zhǎng)都為p。對(duì)于g(x)中c個(gè)通道的同一位置g(x):,i,j，都可以根據(jù)sφ(E)去生成一組包含c個(gè)可學(xué)習(xí)的卷積核：

ki,j=Sigmoid(sφ*n3(E:,i,j))

其中，sφ表示卷積層，n3表示以E中位置(i,j)為中心，邊長(zhǎng)為3的領(lǐng)域，*是卷積操作。

考慮到同類別的圖像受到客觀拍攝條件的影響，導(dǎo)致目標(biāo)差異較大，為了能夠更靈活地捕捉細(xì)節(jié)的周邊信息，受到可變卷積的啟發(fā)設(shè)計(jì)了一種自動(dòng)采樣策略。

利用一個(gè)卷積層sθ對(duì)g(x)和E進(jìn)行卷積：

O=sθ(con(g(x),E))

其中，con是級(jí)聯(lián)操作，O∈R18×h×w是根據(jù)g(x)和E學(xué)習(xí)到的垂直和水平方向上的偏移量圖。對(duì)于位置(i,j)上根據(jù)O生成邊長(zhǎng)為3的領(lǐng)域：

利用ki,j對(duì)以g(x):,i,j為中心的區(qū)域進(jìn)行卷積可以得到對(duì)應(yīng)位置的強(qiáng)化基準(zhǔn)特征：

b(g(x),E):,i,j=ki,j*np(g(x):,i,j)

利用從E學(xué)習(xí)到的卷積核對(duì)g(x)從通道和空間維度對(duì)細(xì)節(jié)信息進(jìn)行了捕獲和增強(qiáng)。特征圖的增強(qiáng)可以用殘差網(wǎng)絡(luò)進(jìn)行增強(qiáng)：

g(x)t+1=g(x)t+b(g(x)t,E),t=0,...,T-1

r(x)=g(x)T

超參數(shù)t的選擇將影響到網(wǎng)絡(luò)的深度，而且學(xué)習(xí)中涉及了不同種類的數(shù)據(jù)，使用同一個(gè)t是不合適的。因此，本研究引入Neural ODE，將離散化的殘差操作轉(zhuǎn)變?yōu)镺DE方程的求解問(wèn)題：

最終的強(qiáng)化特征圖r(x)可以視作上述方程的解。

圖2 SAGCN語(yǔ)義對(duì)齊示意

2.2 SAGCN

得到輸入圖像的強(qiáng)化特征圖以后，利用這些增強(qiáng)特征構(gòu)造圖結(jié)構(gòu)數(shù)據(jù)，將圖結(jié)構(gòu)數(shù)據(jù)作為語(yǔ)義對(duì)齊圖卷積網(wǎng)絡(luò)的輸入。圖結(jié)構(gòu)數(shù)據(jù)的初始結(jié)點(diǎn)特征和初始邊特征表示為：

初始的結(jié)點(diǎn)特征與邊特征構(gòu)成了輸入SAGCN的初始任務(wù)特征圖:

tg0={node0,edge0}

任務(wù)特征圖在SAGCN中每經(jīng)過(guò)一個(gè)圖卷積層都會(huì)對(duì)結(jié)點(diǎn)特征和邊特征進(jìn)行迭代更新：

其中，μ是激活函數(shù)，I是單位矩陣，Y是圖卷積層中的可學(xué)習(xí)的參數(shù)，D=diag(di,...dH)是對(duì)角矩陣，該矩陣中的每一項(xiàng):

為了進(jìn)行語(yǔ)義對(duì)齊操作，本研究還需要輸入語(yǔ)義指導(dǎo)圖到網(wǎng)絡(luò)中，生成用于語(yǔ)義對(duì)齊的語(yǔ)義指導(dǎo)結(jié)點(diǎn)特征。初始的語(yǔ)義指導(dǎo)圖中僅有sg0={node0}。這些語(yǔ)義參考結(jié)點(diǎn)特征在每一層的更新迭代可以表示為：

sgl+1=μ(I(sgl)Yl+1)

其中，I是單位矩陣。

2.3 損失函數(shù)

整個(gè)模型的損失函數(shù)可分為兩部分，一個(gè)是語(yǔ)義對(duì)齊損失Ls，另一個(gè)是分類損失Lc。整個(gè)模型的損失函數(shù)Lm可以表示為：

Lm=Lc+αLs

其中，l是SAGCN網(wǎng)絡(luò)層數(shù)，z表述種類數(shù)量，Cz(x)表示x中屬于類別z的結(jié)點(diǎn)特征中心，ω為歐式距離的平方，λ表示softmax函數(shù)，δz是類別z對(duì)應(yīng)的標(biāo)簽指示向量。在本文中，參數(shù)α取值均為1。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)定

為了驗(yàn)證本文提出的模型的有效性，本研究在常用的少樣本學(xué)習(xí)數(shù)據(jù)集miniImageNet上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)過(guò)程中使用Adam SGD優(yōu)化器對(duì)模型的參數(shù)進(jìn)行優(yōu)化，權(quán)重衰減設(shè)為5e-4，模型的初始學(xué)習(xí)率設(shè)為0.35。

3.2 實(shí)驗(yàn)分析

在數(shù)據(jù)集miniImageNet上的實(shí)驗(yàn)結(jié)果如圖3所示。本文方法在數(shù)據(jù)集miniImageNet上的表現(xiàn)要好于現(xiàn)有的方法。在處理5-way，5-shot學(xué)習(xí)任務(wù)時(shí)，本文方法的優(yōu)勢(shì)更加明顯。當(dāng)使用WRN-28作為Backbone時(shí)，在數(shù)據(jù)集miniImageNet上取得的準(zhǔn)確率比現(xiàn)有方法中表現(xiàn)最好的文獻(xiàn)[1]還要高出1.03%。當(dāng)使用Res-12作為Backbone時(shí)，在數(shù)據(jù)集miniImageNet上的準(zhǔn)確率和文獻(xiàn)[6]以及文獻(xiàn)[7]相比高出了3.15%。

圖3 miniImageNet數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

經(jīng)消融性實(shí)驗(yàn)可得，GCN的深度為4層，SAGCN深度為8層。在對(duì)特征不進(jìn)行強(qiáng)化時(shí)，在數(shù)據(jù)集miniImageNet上使用SAGCN的準(zhǔn)確率比使用一般GCN的準(zhǔn)確率分別高出了5.82%和6.93%，證明了語(yǔ)義對(duì)齊操作能夠防止過(guò)擬合現(xiàn)象。當(dāng)僅使用GCN進(jìn)行分類時(shí)，對(duì)局部細(xì)節(jié)加強(qiáng)后，在數(shù)據(jù)集miniImageNet上準(zhǔn)確率提升了2.71%，表明對(duì)細(xì)節(jié)信息的增強(qiáng)對(duì)分類能起到一定的促進(jìn)效果。當(dāng)同時(shí)對(duì)圖像的局部細(xì)節(jié)特征進(jìn)行加強(qiáng)并在GCN中引入語(yǔ)義對(duì)齊的操作，本研究提出的模型才能發(fā)揮最大的優(yōu)勢(shì)。和GCN相比，引入語(yǔ)義對(duì)齊能夠在結(jié)點(diǎn)特征的迭代更新過(guò)程中始終讓同類別的結(jié)點(diǎn)具有相似的特征分布，較好地克服了過(guò)擬合問(wèn)題。

4 結(jié)語(yǔ)

本文提出的基于ADFRN與SAGCN的少樣本學(xué)習(xí)方法，能夠根據(jù)已經(jīng)學(xué)習(xí)到的經(jīng)驗(yàn)知識(shí)，自動(dòng)預(yù)測(cè)能夠從空間和通道維度捕獲有價(jià)值的具有類別特點(diǎn)的局部細(xì)節(jié)信息的卷積核，強(qiáng)化其捕獲局部細(xì)節(jié)信息的能力。利用Neural ODE根據(jù)每一類數(shù)據(jù)的特點(diǎn)，來(lái)求解其強(qiáng)化特征圖。通過(guò)構(gòu)建圖結(jié)構(gòu)數(shù)據(jù)，在SAGCN中對(duì)結(jié)點(diǎn)與邊特征進(jìn)行迭代優(yōu)化，同時(shí)利用語(yǔ)義對(duì)齊過(guò)擬合。