冀 中,王思迪,于云龍

(1. 天津大學(xué) 電氣自動(dòng)化與信息工程學(xué)院, 天津 300072; 2. 浙江大學(xué) 信息與電子工程學(xué)院, 浙江 杭州 310027)

近年來,深度學(xué)習(xí)技術(shù)在人工智能領(lǐng)域取得了令人矚目的成績(jī),例如圖像分類[1-2]、目標(biāo)檢測(cè)[3-4]和行人重識(shí)別[5-6]等。這些方法大多都依賴于大量的標(biāo)注數(shù)據(jù)。然而,人類可以通過少量的樣本學(xué)習(xí)到新知識(shí),這種“舉一反三”的能力極大地啟發(fā)了研究人員,少樣本學(xué)習(xí)[7-8]就是其中一類有代表性的技術(shù),其目的是從有限數(shù)量的標(biāo)注數(shù)據(jù)中快速學(xué)習(xí)類別知識(shí)。

本文針對(duì)圖像少樣本分類技術(shù)展開研究,現(xiàn)有方法通常通過有限樣本學(xué)習(xí)一個(gè)可遷移模型,利用少量視覺樣本識(shí)別新的類別[9-10]。然而,現(xiàn)有方法更多地關(guān)注樣本視覺表征較為單一的類別,當(dāng)樣本視覺表征多樣化時(shí),較難準(zhǔn)確分類。

具體地,在少樣本學(xué)習(xí)中由于可用于訓(xùn)練的標(biāo)注樣本數(shù)量極為有限,因此這些樣本較難完全反映類別的多樣性視覺表征。這本質(zhì)是由于一些類別具有多元屬性。例如“蘋果”同時(shí)具有“紅色”和“黃色”屬性。屬性多元化會(huì)造成視覺表征復(fù)雜度的提高,從而損害屬性無關(guān)視覺特征的提取,本文將這種問題稱為“多元屬性問題”。如圖1所示,當(dāng)有限標(biāo)注的樣本都是紅色蘋果時(shí),該類別特征將會(huì)突顯其“紅色”視覺表征,而當(dāng)測(cè)試樣本是黃色蘋果時(shí),此時(shí)由于香蕉常帶有“黃色”表皮屬性,因此少見的“黃色”蘋果易被錯(cuò)分為香蕉。

圖1 多元屬性樣本分布Fig.1 Distribution of diverse attribute samples

如何從有限樣本中提取到屬性無關(guān)的類別特征是解決上述問題的關(guān)鍵所在。在少樣本學(xué)習(xí)中,視覺特征往往受到對(duì)應(yīng)屬性的影響,容易偏向?qū)W習(xí)表層屬性而忽略類別本質(zhì)。相比之下,樣本的類別和屬性信息易于獲取,并能指導(dǎo)視覺特征的提取。因此,一些少樣本學(xué)習(xí)方法[11-12]借鑒多模態(tài)學(xué)習(xí)的思想,通過利用輔助模態(tài)如類別屬性、文本描述等來幫助分類,在一定程度上可緩解多元屬性問題的影響。例如,自適應(yīng)跨模態(tài)(adaptive modality mixture mechanism, AM3)方法[11]自適應(yīng)地將語義和視覺信息組合起來,通過語義中的類別信息指導(dǎo)視覺特征提取。屬性引導(dǎo)注意力模塊(attributes-guided attention module, AGAM)[12]使用類別語義信息引導(dǎo)特征提取,與視覺信息結(jié)合進(jìn)行注意力對(duì)齊。然而,這些方法均側(cè)重于使用單一的類別語義信息促進(jìn)視覺特征的提取,忽視了類別中存在屬性的多樣性以及不同屬性間的差異對(duì)正確識(shí)別樣本類別作用的不同[11-12]。

針對(duì)這一問題,本文提出一種多模態(tài)交叉解耦(multimodal cross-decoupling, MCD)的少樣本圖像分類方法,通過學(xué)習(xí)樣本的視覺特征、類別語義特征和屬性語義特征,解耦出樣本的多元屬性,來減少屬性多樣化帶來的分類差異,緩解多元屬性問題對(duì)分類的影響。

現(xiàn)有的少樣本學(xué)習(xí)方法大致可以分為三個(gè)類別:基于優(yōu)化的方法、基于生成的方法和基于度量的方法。

基于優(yōu)化的少樣本學(xué)習(xí)方法通過學(xué)習(xí)一個(gè)元學(xué)習(xí)器和調(diào)整優(yōu)化算法的參數(shù)來適應(yīng)少樣本分類任務(wù)。這些方法通常在基類樣本上進(jìn)行訓(xùn)練,得到一個(gè)學(xué)習(xí)模型,然后在新類樣本的少樣本任務(wù)中進(jìn)行微調(diào)。與模型無關(guān)的元學(xué)習(xí)(model-agnostic meta-learning, MAML)方法[2]通過在元訓(xùn)練階段讓模型學(xué)習(xí)一個(gè)較好的初始化參數(shù),并在新類少樣本任務(wù)上經(jīng)過幾步梯度更新優(yōu)化模型參數(shù)。具有潛在嵌入優(yōu)化(latent embedding optimization, LEO)的元學(xué)習(xí)方法[13]改進(jìn)了MAML方法,通過編碼器將特征表達(dá)映射到低維隱空間,并使用解碼器將隱向量轉(zhuǎn)化為高維模型參數(shù),通過優(yōu)化隱向量來進(jìn)行參數(shù)更新。

基于生成的少樣本學(xué)習(xí)方法,其思路是通過對(duì)樣本進(jìn)行變換以達(dá)到數(shù)據(jù)增強(qiáng)的目的,或是使用生成對(duì)抗網(wǎng)絡(luò)來擴(kuò)大樣本空間,從而彌補(bǔ)類別樣本數(shù)量少的不足。Chen等[14]提出的圖像變形元網(wǎng)絡(luò)(image deformation meta-networks, IDeMe-Net)使用網(wǎng)絡(luò)學(xué)習(xí)生成不同的變換圖形來擴(kuò)充數(shù)據(jù),并提取特征信息。Li等[15]提出的對(duì)抗性特征幻覺網(wǎng)絡(luò)(adversarial feature hallucination networks, AFHN)利用生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks, GAN)生成多樣性樣本,并引入分類和反崩潰正則項(xiàng)。

基于度量的少樣本學(xué)習(xí)方法通過將支持集和查詢集的特征映射到一個(gè)新的度量空間,并學(xué)習(xí)可遷移的距離度量來進(jìn)行分類。原型網(wǎng)絡(luò)(prototypical networks, PN)[7]將同類別樣本特征均值作為類原型,并使用歐氏距離計(jì)算查詢樣本與類原型之間的距離來分類。關(guān)系網(wǎng)絡(luò)(relation network, RN)[8]通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)動(dòng)態(tài)的度量模型,并利用該模型計(jì)算查詢樣本與支持樣本之間的相似度。Li等[16]提出的深度最近鄰網(wǎng)絡(luò)(deep nearest neighbor neural network, DN4)方法通過使用局部描述子來比較查詢圖像與支持集之間的相似度。

多模態(tài)學(xué)習(xí)研究不同模態(tài)數(shù)據(jù)的機(jī)器學(xué)習(xí)問題,通過挖掘模態(tài)間的互補(bǔ)性或獨(dú)立性來表征多模態(tài)數(shù)據(jù)。多模態(tài)表示學(xué)習(xí)應(yīng)用于編碼不同模態(tài)數(shù)據(jù)中的語義信息,并學(xué)習(xí)各模態(tài)的特征與映射關(guān)系,其在跨模態(tài)檢索[17-18]、圖文匹配[19-20]、零樣本學(xué)習(xí)[21-22]等任務(wù)中都有著較為重要的作用。

多模態(tài)少樣本學(xué)習(xí)方法通過引入語義信息,聯(lián)合訓(xùn)練文本和視覺特征,提升少樣本分類任務(wù)性能。例如,AM3方法[11]利用語義表征提供先驗(yàn)知識(shí)來補(bǔ)充視覺信息,通過凸組合將視覺和語義表征結(jié)合起來進(jìn)行分類。模態(tài)交替?zhèn)鞑ゾW(wǎng)絡(luò)(modal-alternating propagation network, MAP-Net)[23]利用圖傳播指導(dǎo)語義圖更新,通過計(jì)算視覺特征相似性彌補(bǔ)缺失的語義特征。屬性指導(dǎo)特征學(xué)習(xí)(attribute-guided feature learning, AGFL)方法[24]通過屬性相關(guān)表示建立聯(lián)系,增強(qiáng)相同屬性在不同類別的表達(dá)。

本文所提方法是一種基于度量學(xué)習(xí)的多模態(tài)少樣本學(xué)習(xí)方法。與以往方法不同,本文方法針對(duì)少樣本多元屬性問題,能夠識(shí)別帶有相似屬性的同類樣本,同時(shí)還能夠具備識(shí)別出有不同屬性的該類樣本的能力。

1 方法實(shí)現(xiàn)

1.1 問題定義

假設(shè)存在一個(gè)給定數(shù)據(jù)集D={Dtrain,Dtest},其中訓(xùn)練集Dtrain和測(cè)試集Dtest在樣本空間中不相交。訓(xùn)練集樣本Dtrain包含了大量的類別,其標(biāo)簽空間為Cbase={c1,c2,…,cn},n表示總類別數(shù)量。標(biāo)準(zhǔn)的少樣本分類任務(wù)(每一個(gè)任務(wù)包含N個(gè)類別、每個(gè)類別包含K個(gè)樣本)被稱作N-wayK-shot任務(wù),一般K是比較小的整數(shù),如1或5。

在少樣本分類任務(wù)中K值較小導(dǎo)致訓(xùn)練樣本不足,元學(xué)習(xí)方法通過使用大量訓(xùn)練集數(shù)據(jù)Dtrain合理解決這一問題。常見的基于度量學(xué)習(xí)的少樣本分類方法基于episode的形式實(shí)現(xiàn)元學(xué)習(xí)的訓(xùn)練與測(cè)試,并通過episode隨機(jī)采樣形成上述的N-wayK-shot任務(wù)。通常情況下,每一個(gè)episode包含一個(gè)支持集XS和一個(gè)查詢集XQ。在支持集XS中所有樣本x都是標(biāo)注數(shù)據(jù),通過特征提取器f得到樣本特征f(x),同時(shí)可以利用原型網(wǎng)絡(luò)[7]計(jì)算類別原型P作為支持集類別的樣本特征。而在查詢集XQ中每個(gè)樣本都是無標(biāo)注數(shù)據(jù)。

1.2 整體框架

針對(duì)多元屬性問題提出的多模態(tài)交叉解耦的少樣本分類方法整體框架如圖2所示。模型方法由多模態(tài)交叉解耦和特征重建兩個(gè)部分組成。在元訓(xùn)練階段,多模態(tài)交叉解耦模塊將樣本的視覺特征、多種語義特征進(jìn)行解耦,以得到解耦后的類別特征和屬性特征。為保證解耦出來的特征能夠準(zhǔn)確地表示原樣本,利用特征重建模塊將解耦后的特征重新進(jìn)行融合,并與原本的全局視覺特征進(jìn)行約束。在元測(cè)試階段,因?yàn)椴樵兗瘺]有語義信息,所以使用自解耦來代替交叉解耦,并與支持集樣本解耦后的類別特征進(jìn)行分類損失判別。

圖2 所提多模態(tài)交叉解耦的少樣本分類方法框架Fig.2 Proposed framework of multimodal cross-decoupling few-shot classification

1.3 多模態(tài)交叉解耦

為了緩解多元屬性問題,提出利用信息交叉解耦的思想,從多模態(tài)信息中學(xué)習(xí)有效的類別信息,弱化屬性特征對(duì)分類效果的影響。

圖3 交叉解耦示意圖Fig.3 Illustration of cross-decoupling

(1)

(2)

(3)

(4)

(5)

(6)

通過上述過程,模型將重點(diǎn)關(guān)注視覺特征中與語義特征相關(guān)性較高的部分,通過交叉注意力機(jī)制提取視覺特征中與類別相關(guān)的特征和與屬性相關(guān)的特征,并分別與原類別語義特征和原屬性語義特征進(jìn)行融合,從而進(jìn)一步強(qiáng)化語義信息對(duì)視覺特征的指導(dǎo)作用,實(shí)現(xiàn)了視覺特征中類別與屬性的解耦。

與支持集樣本不同的是,查詢集樣本xq不具備語義信息,因此采用自解耦的方法對(duì)查詢集的視覺特征進(jìn)行訓(xùn)練得到解耦后的類別特征。具體地,在利用交叉注意力機(jī)制時(shí)對(duì)于計(jì)算查詢集樣本的Q′、K′和V′分別表示為:

(7)

(8)

(9)

(10)

(11)

1.4 特征重建

在此階段,為保證支持集解耦后的類別特征與屬性特征仍可準(zhǔn)確表示原樣本,采用特征重建的方式,通過將解耦后的特征進(jìn)行融合得到重建后的特征,與原樣本的全局特征進(jìn)行約束。

(12)

式中,β=h(ZSA)同樣是一個(gè)可學(xué)習(xí)的參數(shù)。

同時(shí),原樣本的全局特征由f(xi)池化得到:

(13)

(14)

因此模型學(xué)習(xí)特征信息時(shí)將繼續(xù)朝著貼近樣本本質(zhì)的方向進(jìn)行優(yōu)化。

冬天，感冒幾乎是寶寶們最常得的疾病了。感冒的癥狀一般有流涕、咳嗽、發(fā)燒、喉嚨疼等，爸爸媽媽對(duì)癥做好家庭護(hù)理很重要。另外，如果病情較重，需要就醫(yī)用藥，爸爸媽媽也需要知道一些用藥誤區(qū)，以減輕對(duì)寶寶的傷害。

1.5 少樣本訓(xùn)練

對(duì)于一個(gè)N-wayK-shot的少樣本分類任務(wù),當(dāng)K值不為1時(shí),每個(gè)類別的支持集樣本均采用原型網(wǎng)絡(luò)[7]的方法,計(jì)算每個(gè)類別樣本視覺特征、解耦后的類別特征和屬性特征的向量均值作為對(duì)應(yīng)的特征原型。以樣本解耦的類別特征為例,對(duì)于類別c,其解耦類別特征原型為:

(15)

式中,XSc表示支持集樣本中屬于類別c的數(shù)據(jù),|XSc|代表屬于類別c的樣本數(shù)量。

(16)

這里,p(y=c|xq)表示查詢集樣本xq屬于類別c的概率值,c′表示任一類別,d(·)為歐氏距離的相似度度量。

利用交叉熵?fù)p失作為其分類損失函數(shù)進(jìn)行訓(xùn)練:

Lcls=-lgp(y=c|xq)

(17)

合并所有損失函數(shù)得到最終的目標(biāo)函數(shù):

Lobj=arg minLcls+γLrec

(18)

式中,γ為超參數(shù),用來平衡最終的損失函數(shù)。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)設(shè)置

2.1.1 數(shù)據(jù)集

本文所提方法在MIT-States[25]和C-GQA[26]兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。MIT-States數(shù)據(jù)集[25]由53 155張現(xiàn)實(shí)世界圖像組成,其中每個(gè)圖像都包含它的形容詞屬性和名詞類別,例如“黃色的蘋果”。對(duì)該數(shù)據(jù)集按名詞進(jìn)行劃分后,一共有243個(gè)名詞類別,其中160個(gè)名詞用作訓(xùn)練、40個(gè)名詞用于驗(yàn)證、43個(gè)名詞用來測(cè)試。此外,一共有115種形容詞屬性。同時(shí),由屬性和類別組成的詞共1 761對(duì),分別用在訓(xùn)練集、驗(yàn)證集和測(cè)試集的對(duì)數(shù)分別為1 179、271和311。

C-GQA[26]數(shù)據(jù)集源于Stanford GQA數(shù)據(jù)集[27],具備更清晰的標(biāo)簽和更大的標(biāo)簽空間,挑戰(zhàn)性更大。該數(shù)據(jù)集共有27 062張圖像,按名詞劃分后得到訓(xùn)練集、驗(yàn)證集和測(cè)試集的圖像數(shù)量分別為20 786、3 511和2 765。相應(yīng)地,其名詞類別數(shù)量分別為120、30、31。C-GQA的訓(xùn)練集包含153種形容詞屬性。這里,由屬性和類別組成的詞共931對(duì)。數(shù)據(jù)集MIT-States和C-GQA的具體信息見表1。

表1 數(shù)據(jù)集劃分

2.1.2 實(shí)驗(yàn)細(xì)節(jié)

在實(shí)驗(yàn)中,數(shù)據(jù)集MIT-States和C-GQA的圖像均調(diào)整為224×224的尺寸,其類別和屬性的語義向量通過word2vec[28]得到,維度為600。并且,在兩個(gè)數(shù)據(jù)集上訓(xùn)練并測(cè)試了5-way 1-shot和5-way 5-shot任務(wù)的準(zhǔn)確率。首先,使用Adam優(yōu)化器進(jìn)行預(yù)訓(xùn)練,在訓(xùn)練集樣本上訓(xùn)練60個(gè)批次。這里初始學(xué)習(xí)率設(shè)置為0.001。之后,采用元訓(xùn)練的方式進(jìn)行微調(diào)。在微調(diào)時(shí),利用隨機(jī)梯度下降(stochastic gradient descent, SGD)優(yōu)化器[29]訓(xùn)練30個(gè)批次,每個(gè)批次隨機(jī)采樣1 000個(gè)episode;初始學(xué)習(xí)率設(shè)置為0.000 1,并且每隔10個(gè)批次學(xué)習(xí)率減小至原來的1/10;此時(shí)動(dòng)量參數(shù)設(shè)置為0.9,權(quán)重衰減率為0.001。在訓(xùn)練和測(cè)試時(shí),視覺特征的提取均采用ResNet18[30]作為主干網(wǎng)絡(luò),特征提取器的輸出維度為512;語義特征的提取則采用多層感知機(jī)(multilayer perceptron,MLP),其輸出維度也為512。對(duì)于超參數(shù)γ,在5-way 1-shot的任務(wù)中取0.4,在5-way 5-shot任務(wù)中取0.3。所有對(duì)比方法都使用相同的視覺和語義特征,并且調(diào)整參數(shù)達(dá)到其最優(yōu)性能。

2.2 實(shí)驗(yàn)結(jié)果

與常見少樣本分類工作的測(cè)試設(shè)置不同,將測(cè)試集分成兩個(gè)部分:與支持集屬性相同的查詢集樣本和與支持集屬性不同的查詢集樣本。首先,在測(cè)試集中隨機(jī)采樣2 000個(gè)episode,每個(gè)episode中的每個(gè)類別包含2個(gè)無標(biāo)注的查詢樣本用來測(cè)試,即與支持集屬性相同的測(cè)試樣本(same support attribute, SSA)和與支持集屬性不同的測(cè)試樣本(different support attribute, DSA)各一個(gè)。然后,對(duì)2 000個(gè)episode上的SSA和DSA分別求平均準(zhǔn)確率。最后,求所提方法對(duì)多元屬性樣本準(zhǔn)確率,即求兩種準(zhǔn)確率的調(diào)和平均數(shù)(harmonic mean, HM)作為最終評(píng)價(jià)指標(biāo):

(19)

本文選取了7種對(duì)比方法,包括3種不使用語義信息的方法(ProtoNet[7]、RelationNet[8]和MatchingNet[31])以及4種使用語義信息的方法(AM3[11]、AGAM[12]、MAP-Net[23]和SGAP[32])。表2和表3為本文方法在2個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果?？梢悦黠@地看出,本文方法性能均較為顯著地優(yōu)于所有對(duì)比算法。另外,在SSA上的分類性能整體較DSA上的分類性能高,這表明多元屬性問題確實(shí)會(huì)影響模型的分類性能。

表2 在MIT-States數(shù)據(jù)集上的測(cè)試結(jié)果

表3 在C-GQA數(shù)據(jù)集上的測(cè)試結(jié)果

具體地,在MIT-States數(shù)據(jù)集上,與結(jié)果第二高的比較方法AM3或MAP-Net相比,對(duì)于5-way 1-shot少樣本分類任務(wù),本文方法在SSA的結(jié)果上提升了1.75%,在DSA上的測(cè)試結(jié)果提高了5.64%,并且調(diào)和平均數(shù)HM也有了4.31%的提升效果;在5-way 5-shot任務(wù)中,本文方法在SSA上比方法MAP-Net提高了1.34%,在DSA上比方法AM3提高了3.10%,在HM上也有3.12%的提升效果。在C-GQA數(shù)據(jù)集上,針對(duì)5-way 1-shot的分類結(jié)果,本文方法比結(jié)果第二高的方法AM3均有明顯的提高,在SSA上提高1.99%,在DSA上有3.44%的提升,并且在HM上也有2.80%的提升效果;而在5-way 5-shot任務(wù)中,本文方法仍比結(jié)果第二高的方法MAP-Net有較高的提升,其中在SSA上提升了2.01%,在DSA上提高了4.02%,在HM上也有3.20%的明顯提升。

通過實(shí)驗(yàn)結(jié)果還可以發(fā)現(xiàn),本文方法在DSA上較對(duì)比方法的提升效果明顯比在SSA上顯著,這說明對(duì)比方法難以很好地對(duì)具有未見屬性的同類樣本進(jìn)行準(zhǔn)確識(shí)別,本文方法在一定程度上有效地緩解了這一問題。同時(shí),與5-way 5-shot提升結(jié)果相比,5-way 1-shot的分類任務(wù)中,DSA的提升效果在兩個(gè)數(shù)據(jù)集上都更為明顯。主要的原因在于當(dāng)支持集樣本極少時(shí),模型更難學(xué)習(xí)樣本的類別表示信息,并且當(dāng)屬性差異較大時(shí),更容易因?qū)傩圆煌煜举|(zhì)的類別表征,加劇識(shí)別類別錯(cuò)誤的情況。本文方法能夠有效地解耦出無關(guān)的屬性信息,保留樣本本質(zhì)的類別特征,提高樣本極少情況下的分類性能。

2.3 消融實(shí)驗(yàn)

如前所述,本文方法通過交叉解耦和特征重建兩個(gè)關(guān)鍵模塊提升多元屬性少樣本分類性能。接下來,為了探究每個(gè)模塊對(duì)實(shí)驗(yàn)結(jié)果的影響,在MIT-States和C-GQA數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)研究,結(jié)果如表4和表5所示。采用原型網(wǎng)絡(luò)作為基準(zhǔn)即第一行結(jié)果,第二行為僅增加支持集類別語義特征(support category features, SCF),第三行的結(jié)果為在此基礎(chǔ)上增加支持集屬性語義特征(support attribute features, SAF)形成交叉解耦模塊,第四行為繼續(xù)增加特征重建模塊形成本文最終方法。從表中結(jié)果可以發(fā)現(xiàn)交叉解耦與特征重建兩個(gè)模塊分別對(duì)少樣本的分類性能起到促進(jìn)作用。

表4 在MIT-States數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果

具體地,當(dāng)僅引入類別語義信息時(shí),與基準(zhǔn)原型網(wǎng)絡(luò)方法相比,測(cè)試結(jié)果幾乎都有顯著的提升,這表明增加類別語義特征能夠彌補(bǔ)模型學(xué)習(xí)視覺特征的不足,對(duì)模型學(xué)習(xí)準(zhǔn)確分類起到了積極的指導(dǎo)作用。

當(dāng)加入屬性語義信息使用交叉融合模塊時(shí),可以發(fā)現(xiàn)交叉融合的方法在SSA、DSA和HM上的分類性能大部分都比僅加入類別語義特征SCF時(shí)有較明顯的提升,其提升效果能達(dá)到0.84%～3.28%。特別地,當(dāng)測(cè)試樣本的屬性特征與支持集樣本相同時(shí),SSA的結(jié)果反映出交叉解耦模型可以更好學(xué)習(xí)出解耦后的類別特征和屬性特征,分離出正確的類別特征用以分類,有效地提高少樣本任務(wù)分類的準(zhǔn)確率,其性能能夠達(dá)到0.84%～3.28%的提升。同時(shí),即使在測(cè)試樣本的屬性特征與支持集樣本不同時(shí),模型也能學(xué)習(xí)出未見屬性特征并解耦出類別特征。在此基礎(chǔ)上當(dāng)繼續(xù)引入特征重建模塊時(shí),SSA、DSA和HM的性能均存在進(jìn)一步的提升。通過結(jié)果可以發(fā)現(xiàn),在解耦過程中,可能會(huì)出現(xiàn)解耦出來的特征偏離原樣本真實(shí)特征的情況。因此,特征重建模塊將解耦后的類別特征和屬性特征重新融合,并利用原樣本視覺特征進(jìn)行約束,使模型學(xué)習(xí)特征信息時(shí)沿著樣本類別內(nèi)在特征的方向進(jìn)行優(yōu)化。

2.4 進(jìn)一步分析

2.4.1 參數(shù)實(shí)驗(yàn)

在此部分,研究超參數(shù)γ對(duì)模型性能的影響。不同γ值在MIT-States數(shù)據(jù)集和C-GQA數(shù)據(jù)集的結(jié)果如圖4所示,其中圖4(a)和圖4(c)表示MIT-States數(shù)據(jù)集的結(jié)果,圖4(b)和圖4(d)表示C-GQA數(shù)據(jù)集的結(jié)果。藍(lán)色和黃色折線分別代表5-way 1-shot和5-way 5-shot少樣本分類任務(wù),采用調(diào)和平均數(shù)HM作為判別指標(biāo)。

表5 在C-GQA數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果

(a) MIT-States數(shù)據(jù)集在5-way 1-shot的結(jié)果(a) Results of 5-way 1-shot on the MIT-States dataset

(b) C-GQA數(shù)據(jù)集在5-way 1-shot的結(jié)果(b) Results of 5-way 1-shot on the C-GQA dataset

(c) MIT-States數(shù)據(jù)集在5-way 5-shot的結(jié)果(c) Results of 5-way 5-shot on the MIT-States dataset

(d) C-GQA數(shù)據(jù)集在5-way 5-shot的結(jié)果(d) Results of 5-way 5-shot on the C-GQA dataset

通過實(shí)驗(yàn)發(fā)現(xiàn),兩種數(shù)據(jù)集上的超參數(shù)γ均是先升后降。在5-way 1-shot分類任務(wù)中,當(dāng)γ=0.4時(shí),網(wǎng)絡(luò)性能達(dá)到最優(yōu),HM的結(jié)果最佳;而在5-way 5-shot少樣本任務(wù)中,當(dāng)γ=0.3時(shí),模型能達(dá)到最佳性能,此時(shí)HM的值為最高。這表明特征重建模塊能夠在一定程度上有效地提升分類性能,但是當(dāng)參數(shù)γ的值過大時(shí),分類性能反而會(huì)下降,其原因可能在于重建約束較強(qiáng)時(shí)會(huì)影響屬性解耦的效果,加重了屬性對(duì)類別特征的影響。

2.4.2 可視化實(shí)驗(yàn)

為了驗(yàn)證本文方法的效果,采用t-SNE[33]方法在MIT-States數(shù)據(jù)集的嵌入空間進(jìn)行可視化實(shí)驗(yàn),結(jié)果如圖5所示。隨機(jī)可視化一個(gè)測(cè)試任務(wù),這個(gè)任務(wù)包含5個(gè)類別共60個(gè)樣本,每個(gè)類別的樣本數(shù)為12。不同顏色的圓點(diǎn)代表不同的類別。這里,選用原型網(wǎng)絡(luò)(ProtoNet)作為基準(zhǔn)方法進(jìn)行比較,結(jié)果如圖5(a)所示;為了驗(yàn)證本文方法的可行性,圖5(b)為僅引入類別語義信息的方法結(jié)果,圖5(c)為本文方法結(jié)果。

從t-SNE的可視化結(jié)果可以看出,增加類別語義信息,能夠有效地提高類別辨識(shí)的能力,使測(cè)試樣本按照預(yù)測(cè)類別整齊規(guī)則分布。本文方法進(jìn)一步增強(qiáng)了同類別樣本的分布密度,使類內(nèi)樣本分布更加緊湊,同時(shí)提高類別間的距離,可降低多元屬性問題帶來的識(shí)別誤差。

(a) ProtoNet

(b) ProtoNet+SCF

(c) MCD

3 結(jié)論

本文針對(duì)少樣本學(xué)習(xí)中的多元屬性問題,提出一種多模態(tài)交叉解耦的方法,可有效解耦出樣本類別特征和類別屬性語義特征,并能利用特征重建保留樣本內(nèi)在的類別特征信息,極大地緩解了多元屬性問題對(duì)少樣本分類造成的識(shí)別錯(cuò)誤。所提方法也提出一種特征重建方法,將解耦后的類別特征和屬性特征重新融合,通過原樣本的視覺特征進(jìn)行約束,使模型學(xué)習(xí)特征信息時(shí)沿著貼近樣本本質(zhì)類別的方向進(jìn)行優(yōu)化。在兩個(gè)類內(nèi)屬性差異較大的標(biāo)準(zhǔn)數(shù)據(jù)集上的大量實(shí)驗(yàn)驗(yàn)證了所提方法的有效性和先進(jìn)性,結(jié)果顯示本文方法能夠有效提升少樣本分類任務(wù)的準(zhǔn)確性,即使在屬性未知的待測(cè)樣本中也具有良好的分類性能。