吳冠榮，李元祥，王藝霖，陸雨寒，陳秀華

（上海交通大學(xué)航空航天學(xué)院，上海 200240）

0 引言

對(duì)金屬表面存在的損傷進(jìn)行分類(lèi)是金屬類(lèi)工業(yè)產(chǎn)品質(zhì)量檢驗(yàn)和反饋工作中不可或缺的一環(huán)，通常需要有專業(yè)知識(shí)的人借助電鏡等器材進(jìn)行判斷［1］。但是損傷類(lèi)型多、視覺(jué)疲勞、工業(yè)流水線的壓力等因素容易影響主觀判斷，人工分類(lèi)的準(zhǔn)確率忽高忽低。隨著機(jī)器視覺(jué)技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)對(duì)視覺(jué)特征的強(qiáng)大學(xué)習(xí)能力可以彌補(bǔ)人工分類(lèi)的不足。

基于機(jī)器學(xué)習(xí)的金屬損傷分類(lèi)按照是否使用初始化參數(shù)，分為遷移學(xué)習(xí)方法和深度學(xué)習(xí)方法。遷移學(xué)習(xí)方法希望從ImageNet 等大型訓(xùn)練集中學(xué)習(xí)到最通用的特征，在目標(biāo)數(shù)據(jù)集上進(jìn)行微調(diào)［2］。而深度學(xué)習(xí)方法通過(guò)調(diào)整模型參數(shù)來(lái)擬合當(dāng)前數(shù)據(jù)的特征分布［3］，或者通過(guò)加深模型層數(shù)，提高模型對(duì)多維特征的表達(dá)能力［4］。但金屬損傷的紋理特征和常見(jiàn)的大型數(shù)據(jù)集差異很大，公開(kāi)的預(yù)訓(xùn)練模型遷移效果有限，并且金屬損傷種類(lèi)繁多，一些偶發(fā)性、新產(chǎn)生的損傷不滿足神經(jīng)網(wǎng)絡(luò)對(duì)訓(xùn)練數(shù)據(jù)量的需求，若直接使用神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練，模型易于過(guò)擬合、泛化性能差。因此，在很多應(yīng)用場(chǎng)景下需要考慮小樣本問(wèn)題。

較早的小樣本問(wèn)題解決方案通常是學(xué)習(xí)合成偽數(shù)據(jù)［5］。這類(lèi)方法依賴于擴(kuò)充樣本的質(zhì)量，如果合成器效果一般，則容易引入噪聲數(shù)據(jù)，效果有時(shí)不升反降［6］。目前，小樣本分類(lèi)研究聚焦于如何學(xué)習(xí)1 個(gè)更好的特征表示，使下游任務(wù)中即使只有少量標(biāo)注信息，分類(lèi)模型也能表現(xiàn)良好［7］。常見(jiàn)方法包括元學(xué)習(xí)框架［8-10］、度量學(xué)習(xí)［11-12］、知識(shí)蒸餾［13-14］等，目的都是為了找到更好構(gòu)造特征空間的方式。ProtoNet［8］使用度量手段進(jìn)行原型學(xué)習(xí)，由于其具有一定的靈活性和高效性，因此仍廣泛應(yīng)用在目前算法中。文獻(xiàn)［9］在通用的兩階段微調(diào)訓(xùn)練機(jī)制基礎(chǔ)上，增加了一步預(yù)訓(xùn)練，利用DINO 機(jī)制在額外的無(wú)標(biāo)簽數(shù)據(jù)上訓(xùn)練主干網(wǎng)絡(luò)的特征提取能力，再在ProtoNet 上訓(xùn)練模型，實(shí)現(xiàn)了小樣本分類(lèi)任務(wù)的SOTA（State-Of-The-Art）效果。

文獻(xiàn)［15］首先將小樣本解決方案引入金屬損傷分類(lèi)，利用生成對(duì)抗網(wǎng)絡(luò)（GAN）生成大量無(wú)標(biāo)注的鋼材表面損傷樣本，在擴(kuò)充樣本量后，再用殘差網(wǎng)絡(luò)進(jìn)行分類(lèi)。文獻(xiàn)［16］利用Wasserstein 距離的生成對(duì)抗網(wǎng)絡(luò)（WGAN）有效擴(kuò)充鋼板氣泡損傷，提高檢測(cè)精度。然而，生成偽樣本的方法容易模式固化，尤其對(duì)于金屬表面損傷問(wèn)題，金屬材料種類(lèi)多，損傷種類(lèi)更多，這些方法僅擴(kuò)充某種材料或某類(lèi)損傷的數(shù)據(jù)量，因此算法的適用性不高。文獻(xiàn)［17］針對(duì)鋁材常見(jiàn)損傷類(lèi)別各提取一種特征圖CCMs，并利用注意力模塊生成小樣本類(lèi)別的建議特征圖（RCMs），對(duì)CCMs 和RCMs 進(jìn)行映射和轉(zhuǎn)化，分類(lèi)結(jié)果由CCMs和RCMs 共同決定。該方法基于原型學(xué)習(xí)思路，將類(lèi)內(nèi)共性作為區(qū)分標(biāo)準(zhǔn)，預(yù)測(cè)時(shí)衡量當(dāng)前樣本與各個(gè)類(lèi)別原型特征的相似度，最相似的類(lèi)別作為分類(lèi)結(jié)果，構(gòu)造原型的范式在一定程度上緩解了模型泛化性差的問(wèn)題。但是，金屬損傷紋理細(xì)微、多變決定了特征分布的類(lèi)間距離小、類(lèi)內(nèi)距離大，現(xiàn)有方法局限于在弱區(qū)分度的特征分布基礎(chǔ)上根據(jù)類(lèi)內(nèi)共性完成分類(lèi)，導(dǎo)致少樣本、新類(lèi)別分類(lèi)精度低。

為此，本文提出一種基于對(duì)比學(xué)習(xí)的小樣本金屬表面損傷分類(lèi)方法CLFS。該方法在元學(xué)習(xí)機(jī)制下，以外層模型對(duì)比、內(nèi)層模型度量作為元任務(wù)，引入類(lèi)別標(biāo)簽嵌入作為外模型對(duì)比不同類(lèi)別圖像特征的監(jiān)督信號(hào)，使得在新的特征空間下，類(lèi)內(nèi)特征距離近，類(lèi)間特征距離遠(yuǎn)，視覺(jué)特征相似的類(lèi)別中心距離近。在金屬損傷分類(lèi)任務(wù)中，外模型對(duì)比學(xué)習(xí)代理任務(wù)可以間接使得原有特征空間中不同損傷類(lèi)別之間的差異更加明顯，從而增強(qiáng)了內(nèi)模型的度量學(xué)習(xí)能力，有效提高分類(lèi)精度；引入類(lèi)別信息作為監(jiān)督信號(hào)可以減少對(duì)比學(xué)習(xí)過(guò)程中樣本噪聲的影響，提高小樣本原型向量估計(jì)的魯棒性，從而提升對(duì)新類(lèi)別的泛化能力。

1 小樣本學(xué)習(xí)描述

關(guān)于小樣本問(wèn)題的任務(wù)設(shè)定，本文采用最常見(jiàn)的目標(biāo)因子分析（TFA）數(shù)據(jù)劃分方法（TFA-split）和全類(lèi)別測(cè)試方案［18］。TFA-split 將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集：訓(xùn)練集選取具有較高資源的基礎(chǔ)類(lèi)別（Cbase），共Mb類(lèi)；測(cè)試集包含訓(xùn)練集中未出現(xiàn)的新類(lèi)別（Cnovel），新類(lèi)別是低資源的小樣本問(wèn)題，新類(lèi)別數(shù)共Mn類(lèi)。TFA-split 在迭代過(guò)程中保持訓(xùn)練集和測(cè)試集固定不變。不同于僅測(cè)試Cnovel的狹義小樣本問(wèn)題，本文同時(shí)測(cè)試模型對(duì)Cbase和Cnovel的分類(lèi)性能。

本文模型的訓(xùn)練采用元學(xué)習(xí)模式。元學(xué)習(xí)模式在訓(xùn)練過(guò)程中將傳統(tǒng)的單個(gè)循環(huán)多批次的訓(xùn)練任務(wù)拆分成數(shù)個(gè)元任務(wù)。每個(gè)元任務(wù)目標(biāo)一致、構(gòu)成一致，從所有類(lèi)別中選取K個(gè)類(lèi)別，每個(gè)類(lèi)別各選N個(gè)樣本作為元任務(wù)輸入。1個(gè)元任務(wù)又稱K-wayN-shot任務(wù)，1 個(gè)元任務(wù)的工作周期為1 個(gè)episode。在訓(xùn)練過(guò)程中多次迭代元任務(wù)使得模型滿足最終的小樣本測(cè)試任務(wù)要求。元學(xué)習(xí)模式實(shí)現(xiàn)了從以數(shù)據(jù)為中心向以任務(wù)為中心的轉(zhuǎn)變，從而減少對(duì)樣本量的依賴，并提高小樣本學(xué)習(xí)的性能。

本文根據(jù)資源高低將1 個(gè)金屬損傷樣本集按類(lèi)別區(qū)分為Cbase和Cnovel，并將Cbase樣本劃分出訓(xùn)練集Dtrain和測(cè)試子集樣本作為測(cè)試子集則測(cè)試集樣本為由于所有樣本需要被統(tǒng)一為元任務(wù)的輸入格式，因此按照K-wayN-shot格式重構(gòu)Dtrain和Dtest。

在訓(xùn)練階段，每個(gè)元任務(wù)先從Cbase中抽取K（K≤Mb）個(gè)類(lèi)別，針對(duì)抽出來(lái)的每個(gè)類(lèi)別對(duì)應(yīng)從Dtrain中抽取N張圖片作為訓(xùn)練樣本，稱這K×N張樣本為1個(gè)元任務(wù)的支持集S。對(duì)同樣的K個(gè)類(lèi)別再?gòu)腄train取N張不同的圖片作為驗(yàn)證樣本，稱為1 個(gè)元任務(wù)的查詢集Q。S和Q的類(lèi)別相同、樣本不同，合在一起作為1 個(gè)元任務(wù)的輸入樣本。元學(xué)習(xí)過(guò)程是指在每次元任務(wù)中利用S的信息對(duì)Q進(jìn)行分類(lèi)，從而更新模型參數(shù)。Dtrain被重構(gòu)成m個(gè)元任務(wù)，即Dtrain=本文采用2 種常用的K、N設(shè)定，即5-way 5-shot 和5-way 1-shot。

在測(cè)試階段，將Dtest按照K-wayN-sho（tK≤Mb+Mn）格式重構(gòu)成多個(gè)元任務(wù)，模型在多個(gè)元任務(wù)上的平均分類(lèi)性能即最后的性能。

2 網(wǎng)絡(luò)架構(gòu)

雖然元學(xué)習(xí)模式能夠讓模型快速適應(yīng)新的任務(wù)，但是因金屬損傷的類(lèi)內(nèi)方差大、類(lèi)間相似度大等特性，使得很多小樣本學(xué)習(xí)方法的效果明顯下降。為提高模型的泛化能力，本文提出引入類(lèi)別標(biāo)簽信息作為對(duì)比學(xué)習(xí)的監(jiān)督信號(hào)。利用對(duì)比損失函數(shù)懲罰不同類(lèi)別特征之間的距離，能有效地劃分外模型特征空間的類(lèi)間區(qū)域，間接優(yōu)化內(nèi)模型的特征分布，使得內(nèi)模型在分類(lèi)時(shí)可以不受無(wú)規(guī)律特征分布的影響。

2.1 訓(xùn)練模型

CLFS 分類(lèi)模型在訓(xùn)練階段分為內(nèi)模型和外模型，內(nèi)模型負(fù)責(zé)圖像分類(lèi)，外模型負(fù)責(zé)優(yōu)化特征分布的代理任務(wù)，內(nèi)外模型聯(lián)合訓(xùn)練。圖1 所示為在K-wayN-shot設(shè)定下CLFS 的網(wǎng)絡(luò)架構(gòu)，原始樣本經(jīng)過(guò)預(yù)處理分為圖像輸入和類(lèi)別標(biāo)簽嵌入作為整個(gè)訓(xùn)練模型的輸入信號(hào)。圖1中Query set即所須訓(xùn)練的樣本編碼得到的向量集合。內(nèi)模型主要包括利用ResNet 18的特征提取模塊F和原型向量（包括支持向量和查詢向量）生成模塊。外模型除了與內(nèi)模型共用的特征提取模塊F之外，主要由類(lèi)別標(biāo)簽嵌入、特征轉(zhuǎn)譯（特征編碼和類(lèi)別標(biāo)簽編碼）和對(duì)比分支3個(gè)部分組成。

圖1 在訓(xùn)練階段K-way N-shot 設(shè)定下CLFS 的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of CLFS network with the K-way N-shot setting in the training phase

2.1.1 內(nèi)模型

本文使用ResNet 18作為特征提取模塊，ResNet 18由4層殘差模塊構(gòu)成，選擇特征層8倍下采樣結(jié)果作為F的輸出向量。支持集樣本和訓(xùn)練集樣本分別經(jīng)過(guò)F映射得到支持向量和查詢向量，以計(jì)算原型向量集，并采取度量學(xué)習(xí)的方式完成分類(lèi)任務(wù)［8］。

元任務(wù)的內(nèi)模型工作流程的輸入為X：K×N張支持集圖片；X'：K×N張查詢集圖片，輸出為K*查詢集分類(lèi)結(jié)果。工作流程如下：

1）第k類(lèi)的N張支持集圖片Xk經(jīng)過(guò)特征提取模塊F的投影后，形成支持向量子集Sk=F(Xk)；

3）查詢集圖片X'經(jīng)過(guò)特征提取模塊F的投影后，形成查詢向量集

4）根據(jù)S計(jì)算每個(gè)類(lèi)別的原型向量

5）計(jì)算查詢向量和每個(gè)原型向量之間的歐氏距離Dk=‖Q-ck‖2；

6）第i個(gè)查詢向量qi距離最近的原型向量所代表的類(lèi)別為qi對(duì)應(yīng)查詢圖片分類(lèi)結(jié)果

2.1.2 外模型

在訓(xùn)練階段增加的外模型中，利用類(lèi)別標(biāo)簽嵌入信息作為確定的類(lèi)別中心，減少對(duì)比學(xué)習(xí)過(guò)程中樣本噪聲的影響，從而間接提高內(nèi)模型原型向量估計(jì)的魯棒性。

1）類(lèi)別標(biāo)簽嵌入。CLFS 所用的3 個(gè)數(shù)據(jù)集標(biāo)簽如表1 所示。本文的類(lèi)別標(biāo)簽嵌入流程：當(dāng)前數(shù)據(jù)集的所有類(lèi)別標(biāo)簽經(jīng)過(guò)獨(dú)熱編碼后，按照類(lèi)別順序存儲(chǔ)為Hash 表，在每次元任務(wù)中對(duì)用到的類(lèi)別進(jìn)行Hash 映射，得到初始類(lèi)別嵌入向量。

表1 數(shù)據(jù)集標(biāo)簽信息Table 1 Label information of datasets

2）特征轉(zhuǎn)譯。該部分包括2 個(gè)模塊：（1）特征編碼器，通過(guò)特征提取模塊得到的結(jié)果向量在進(jìn)入對(duì)比空間前也須經(jīng)過(guò)1 層多層感知機(jī)（MLP）映射；（2）類(lèi)別標(biāo)簽編碼器，在預(yù)處理階段嵌入的初始類(lèi)別標(biāo)簽向量先經(jīng)過(guò)1 層可學(xué)習(xí)的MLP 映射，再進(jìn)行有監(jiān)督對(duì)比學(xué)習(xí)。本文設(shè)計(jì)2 個(gè)特征轉(zhuǎn)譯模塊主要是為了解決在對(duì)比學(xué)習(xí)中不同模態(tài)之間的差異性問(wèn)題，提升對(duì)比特征空間的一致性，同時(shí)，構(gòu)建輔助特征空間使得對(duì)比學(xué)習(xí)過(guò)程不影響內(nèi)模型的度量空間。此外，在特征轉(zhuǎn)譯模塊提供的新特征空間下，對(duì)比學(xué)習(xí)的動(dòng)態(tài)性［22］讓類(lèi)別標(biāo)簽嵌入和圖像特征互相影響。類(lèi)別標(biāo)簽嵌入的結(jié)果作為類(lèi)別中心監(jiān)督特征分布，通過(guò)反傳損失給特征編碼器、特征提取模塊逐步優(yōu)化分類(lèi)邊界。圖像特征信息通過(guò)反傳給可學(xué)習(xí)的類(lèi)別標(biāo)簽編碼器，類(lèi)別中心的分布位置可以繼承視覺(jué)特征相似性。類(lèi)別標(biāo)簽監(jiān)督不同類(lèi)別之間的特征分布情況如圖2 所示。從圖像紋理層面鋼材油斑類(lèi)別（oil_spot）和鋼材夾雜物（inclusion）損傷類(lèi)別相較于油斑和折痕（crease）更相似，則訓(xùn)練后油斑類(lèi)別的特征分布更接近夾雜物而不是折痕。

圖2 類(lèi)別標(biāo)簽監(jiān)督不同類(lèi)別之間的特征分布情況Fig.2 Features distribution among different categories in category labels supervise

3）對(duì)比分支。對(duì)比學(xué)習(xí)過(guò)程結(jié)合2 個(gè)可學(xué)習(xí)的特征轉(zhuǎn)譯模塊，在訓(xùn)練過(guò)程中拉近2 個(gè)新映射的特征空間距離，可以有效減小不同模態(tài)特征之間的差異。經(jīng)過(guò)相同結(jié)構(gòu)的特征轉(zhuǎn)譯模塊，類(lèi)別標(biāo)簽和圖像2 種模態(tài)的特征被映射到同一空間，主要目標(biāo)是在新的特征空間下，利用離散的類(lèi)別標(biāo)簽先驗(yàn)信息對(duì)圖像特征分布進(jìn)行有監(jiān)督對(duì)比學(xué)習(xí)，使得同類(lèi)別的特征分布聚合性更好，不同類(lèi)別的特征區(qū)分度更高。對(duì)比分支示意圖如圖3所示。

圖3 對(duì)比分支示意圖Fig.3 Schematic diagram of contrasting branches

在特征轉(zhuǎn)譯后的圖像特征和類(lèi)別標(biāo)簽嵌入經(jīng)過(guò)歸一化（Normalization）和點(diǎn)積（dot product）操作，得到余弦相似度矩陣。

2.1.3 損失函數(shù)

損失函數(shù)分為度量損失和對(duì)比損失，分別是內(nèi)模型對(duì)小樣本元任務(wù)分類(lèi)結(jié)果的監(jiān)督和外模型對(duì)特征分布情況的監(jiān)督。

度量損失Ldistance是指在1 次元任務(wù)的訓(xùn)練過(guò)程中，攜帶真值的K×N張查詢圖片，經(jīng)過(guò)特征提取形成查詢向量集對(duì)于查詢向量qi，計(jì)算其與對(duì)應(yīng)真值類(lèi)別原型之間的Softmax 負(fù)概率分布，即懲罰當(dāng)前所得特征與真值類(lèi)別的原型向量之間的距離［8］：

受SimCLR［22］的啟發(fā)，本文選取余弦相似度作為轉(zhuǎn)譯后的圖片特征和類(lèi)別標(biāo)簽特征之間的對(duì)比損失Lcontrast。圖3 中最終構(gòu)成的余弦相似度矩陣分別從標(biāo)簽特征維度和圖像特征維度懲罰同類(lèi)別之間的距離，從而間接增大類(lèi)間距離。假設(shè)1個(gè)episode由2N張樣本組成，包括N張支持樣本和N張查詢樣本，標(biāo)準(zhǔn)化后標(biāo)簽特征向量表示為vj，對(duì)應(yīng)真值為。查詢圖片和支持圖片所得到的標(biāo)準(zhǔn)化向量均表示為wi，對(duì)應(yīng)真值為，l 表示當(dāng)｛｝中條件為真時(shí)，則取值為1，反之為0。則1 個(gè)episode 的對(duì)比損失表達(dá)式如下：

其中：溫度系數(shù)τ用來(lái)調(diào)節(jié)對(duì)比學(xué)習(xí)中的分類(lèi)細(xì)粒度，τ越大，對(duì)不同樣本間差異性的重視程度越高。

總的損失函數(shù)表達(dá)式如下：

通過(guò)一定的權(quán)重系數(shù)α將內(nèi)外模型的損失函數(shù)進(jìn)行統(tǒng)一，外模型的轉(zhuǎn)譯層參數(shù)由外模型對(duì)比損失單獨(dú)更新，其他模塊的可學(xué)習(xí)參數(shù)由整體損失函數(shù)共同優(yōu)化。

2.2 預(yù)測(cè)模型

經(jīng)過(guò)訓(xùn)練后，多模態(tài)對(duì)比學(xué)習(xí)模塊加強(qiáng)了內(nèi)模型對(duì)不同類(lèi)別特征分布的區(qū)分能力，元學(xué)習(xí)模式也使得內(nèi)模型提前適應(yīng)小樣本任務(wù)。因此測(cè)試階段只需要內(nèi)模型進(jìn)行前向推理，不需要外模型進(jìn)行監(jiān)督和輔助。整個(gè)測(cè)試推理過(guò)程與訓(xùn)練階段內(nèi)模型的1 次前向傳播步驟一致，1次K-wayN-shot 的全類(lèi)別測(cè)試任務(wù)包括訓(xùn)練階段未涉及的新類(lèi)別Cnovel，體現(xiàn)了CLFS 小樣本分類(lèi)的泛化性能。預(yù)測(cè)模型架構(gòu)如圖4 所示。預(yù)測(cè)模型為訓(xùn)練模型的內(nèi)模型，最終的分類(lèi)結(jié)果k*由距離查詢向量最近的原型向量的所屬類(lèi)別決定。

圖4 預(yù)測(cè)模型架構(gòu)Fig.4 Framework of prediction model

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)選取金屬表面損傷常用的3 個(gè)數(shù)據(jù)集：GC10 鋼板表面損傷數(shù)據(jù)集［19］、東北大學(xué)鋼材損傷分類(lèi)數(shù)據(jù)集（NEU）［20］、天池鋁型材料表面損傷數(shù)據(jù)集（APSD）［21］。

GC10 數(shù)據(jù)集包括10 種類(lèi)型的鋼材表面缺陷，每個(gè)類(lèi)別的樣本數(shù)量不等，共3 570 張灰度圖。由于從生產(chǎn)線統(tǒng)一采集，因此GC10 樣本尺寸均為2 048×1 000 像素。NEU 數(shù)據(jù)集由東北大學(xué)機(jī)器視覺(jué)與機(jī)器人團(tuán)隊(duì)發(fā)布，包括6 類(lèi)常見(jiàn)鋼材表面損傷，每類(lèi)有300 張灰度 圖，尺寸固定為200×200 像素。APSD 數(shù)據(jù)集來(lái)自天池2018 鋁材表面瑕疵識(shí)別比賽，本文選取其中9 個(gè)類(lèi)別用于訓(xùn)練，每個(gè)類(lèi)別的樣本量從50 到200 不等，尺寸統(tǒng)一為256×256 像素。本文實(shí)驗(yàn)將原始RGB 圖像統(tǒng)一轉(zhuǎn)為灰度圖。

為統(tǒng)一輸入圖像尺寸對(duì)骨干網(wǎng)絡(luò)的影響，在預(yù)處理階段將所有樣本保持初始的長(zhǎng)寬比壓縮至150×150 像素左右，再用背景像素填充成方陣。CLFS 采用ResNet 18 作為圖像特征提取層，1 層MLP 作為轉(zhuǎn)譯層，所有網(wǎng)絡(luò)使用Adam 優(yōu)化器，設(shè)定的初始學(xué)習(xí)率為0.001，每20 輪減小1 次學(xué)習(xí)率，設(shè)置對(duì)比損失中溫度系數(shù)τ=2，度量損失占整體損失的權(quán)重α=0.2。

實(shí)驗(yàn)軟件配置包括Python 3.8.10、PyTorch 1.7.0、OpenCV 4.6、Numpy 1.21，硬件平臺(tái)為GPUNVIDIA GeForce RTX 3090 和CPU-Intel?Xeon?Platinum 8255C。

3.2 實(shí)驗(yàn)結(jié)果與分析

本文重復(fù)10 組對(duì)比實(shí)驗(yàn)，取所有分類(lèi)精度結(jié)果的標(biāo)準(zhǔn)差作為偏差范圍。所選取的比較對(duì)象不僅包括傳統(tǒng) 的兩階 段微調(diào)（TFA）［23］，而且包 括MatchingNet［24］、RelationNet［25］、ProtoNet［8］等主流 的小樣本分類(lèi)方法。同時(shí)，在全類(lèi)別測(cè)試的基礎(chǔ)上，通過(guò)混淆矩陣比較新類(lèi)的分類(lèi)性能，并進(jìn)行特征分布可視化分析。

3.2.1 分類(lèi)精度對(duì)比

CLFS 在5-way 5-shot 和5-way 1-shot 設(shè)定下，全類(lèi)別測(cè)試的分類(lèi)精度都得到了較大幅度的提升，如表2 所示，加粗表示最優(yōu)數(shù)據(jù)。

表2 不同方法的分類(lèi)精度比較（全類(lèi)別測(cè)試）Table 2 Classification accuracy comparison among different methods（full category test）%

在5-way 5-shot 設(shè)定下，CLFS 的分類(lèi)精度明顯優(yōu) 于TFA，而 且CLFS 比ProtoNet、MatchingNet、RelationNet 3 個(gè)主流小樣本方法的分類(lèi)精度至少提高了5.24、1.39 和6.37 個(gè)百分點(diǎn)（與次優(yōu)結(jié)果比），分類(lèi)錯(cuò)誤下降率分別為36.00%、17.94%和66.15%。對(duì)于5-way 1-shot 設(shè)定，CLFS 相較于3 個(gè)主流小樣本方法，分類(lèi)精度提升效果更顯著，分別至少提高8.34、3.01 和4.61 個(gè)百分點(diǎn)（與次優(yōu)結(jié)果比），分類(lèi)錯(cuò)誤下降率分別為28.32%、23.37%和46.57%以上。

3.2.2 混淆矩陣分析

在GC10 數(shù)據(jù)集5-way 5-shot 下ProtoNet 與CLFS 分類(lèi)混淆矩陣如圖5 所示。前7 行（列）類(lèi)別為此次實(shí)驗(yàn)中設(shè)置的Cbase，最后3 行（列）為小樣本的Cnovel，混淆矩陣以行為單位包括真正例（TP）和假反例（FN）類(lèi)結(jié)果，以列為單位包括TP 和假正例（FP）類(lèi)結(jié)果。從全類(lèi)別測(cè)試結(jié)果中可以看出，對(duì)于GC10 數(shù)據(jù)集，ProtoNet 不僅對(duì)Cnovel的分類(lèi)效果較差，而且對(duì)Cbase漏報(bào)率和誤報(bào)率也較高。CLFS 在同樣情況下Cbase的FN 類(lèi)、FP 類(lèi)結(jié)果基本清零，即真值為Cbase的類(lèi)別基本分類(lèi)正確。特別地，CLFS 有效提高模型對(duì)小樣本Cnovel的泛化性，相較于ProtoNet，Cnovel分類(lèi)精度由36.53%大幅提升至69.12%。針對(duì)NEU 數(shù)據(jù)集和APSD 數(shù)據(jù)集，Cnovel分類(lèi)精度分別由82.43%提升至91.57%，31.89%提升至48.23%。

圖5 在GC10 數(shù)據(jù)集上5-way 5-shot 下ProtoNet 與CLFS 分類(lèi)混淆矩陣Fig.5 Classification confusion matrix for ProtoNet and CLFS in 5-way 5-shot on GC10 dataset

3.2.3 特征分布可視化

為動(dòng)態(tài)監(jiān)督特征分布，本文采取t-SNE 對(duì)統(tǒng)一Backbone 后的ProtoNet 和CLFS 的同一特征層進(jìn)行降維映射。在GC10 數(shù)據(jù)集5-way 5-shot 下ProtoNet和CLFS 的特征分布對(duì)比如圖6 所示（彩色效果見(jiàn)《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。從圖6（a）～圖6（c）可以看出，ProtoNet 的特征分布中大多數(shù)類(lèi)別的特征點(diǎn)互相穿插，Cbase和Cnovel都沒(méi)有區(qū)分度。圖6（d）～圖6（f）所示為同樣條件下CLFS 在測(cè)試過(guò)程中前向預(yù)測(cè)得到的特征分布，類(lèi)別之間的間距明顯、類(lèi)內(nèi)聚合度也顯著提高。特別地，將Cbase和Cnovel分開(kāi)分析，Cbase的特征邊界清晰，類(lèi)別分布的相鄰關(guān)系保留了視覺(jué)特征的相似性。由于測(cè)試階段才引入Cnovel，因此CLFS 模型對(duì)于Cbase和Cnovel之間的區(qū)分度下降，但是與圖6（c）的Cnovel分布對(duì)比可以看出，CLFS 有效提高了類(lèi)內(nèi)聚合性。實(shí)驗(yàn)結(jié)果表明，CLFS 利用外模型雙模態(tài)對(duì)比學(xué)習(xí)，有效地解決了類(lèi)間相似性較高的金屬損傷分類(lèi)問(wèn)題。

圖6 在GC10 數(shù)據(jù)集5-way 5-shot 下ProtoNet 和CLFS 的特征分布對(duì)比Fig.6 Comparison of feature distribution between ProtoNet and CLFS under 5-way 5-shot for GC10 dataset

3.3 消融實(shí)驗(yàn)

為了分別驗(yàn)證對(duì)比學(xué)習(xí)和引入類(lèi)別標(biāo)簽信息能否提升模型對(duì)小樣本的分類(lèi)能力，本文使用ProtoNet 作 為baseline，拆 分CLFS 的外模型為baseline+對(duì)比損失、baseline+標(biāo)簽嵌入，在3 個(gè)數(shù)據(jù)集上完成5-way 5-shot 的消融實(shí)驗(yàn)。

消融實(shí)驗(yàn)結(jié)果如表3 所示。加入對(duì)比損失和引入類(lèi)別標(biāo)簽嵌入的方法相較于baseline 分別提升了1%～2%的分類(lèi)精度，驗(yàn)證了對(duì)比損失項(xiàng)和類(lèi)別標(biāo)簽嵌入的有效性。CLFS 所設(shè)計(jì)的外模型通過(guò)構(gòu)造輔助特征空間，將對(duì)比損失和標(biāo)簽嵌入2 種方法組合，對(duì)分類(lèi)效果有更顯著的提升，單個(gè)數(shù)據(jù)集的分類(lèi)精度相較于baseline 分別提升5.24、3.03 和14.00 個(gè)百分點(diǎn)，分類(lèi)錯(cuò)誤下降率分別為36.00%、32.27% 和81.11%。CLFS 的內(nèi)外模型機(jī)制具有一定的有效性。

表3 消融實(shí)驗(yàn)結(jié)果Table 3 Results of ablation experiment %

3.4 超參數(shù)分析

CLFS 涉 及2 個(gè)超參數(shù)τ和α，GC10 數(shù)據(jù)集 在5-way 5-shot 設(shè)定下進(jìn)行超參數(shù)分析，根據(jù)經(jīng)驗(yàn)［22］確定超參數(shù)τ和α的取值范圍分別為［0.1，1，2，5］和［0.1，0.2，0.5，2］。本文使用網(wǎng)格法對(duì)每組參數(shù)重復(fù)3 次實(shí)驗(yàn)。超參數(shù)對(duì)模型性能的影響如表4 所示，在合適的超參數(shù)范圍內(nèi)，分類(lèi)性能對(duì)超參數(shù)的敏感度較低，超參數(shù)優(yōu)化空間較為平緩，峰值處的誤差范圍更小，因此魯棒性更好。從表4 可以看出，當(dāng)τ=2、α=0.2 時(shí)，模型性能最佳。

表4 超參數(shù)對(duì)模型性能的影響Table 4 The impact of hyperparameters on model performance %

4 結(jié)束語(yǔ)

針對(duì)小樣本金屬損傷特征分布聚合性低、新?lián)p傷類(lèi)別泛化性差的問(wèn)題，本文通過(guò)設(shè)計(jì)內(nèi)外模型機(jī)制，提出一種基于對(duì)比學(xué)習(xí)的小樣本金屬表面損傷分類(lèi)方法。內(nèi)模型以傳統(tǒng)度量學(xué)習(xí)為目標(biāo)，完成小樣本分類(lèi)的任務(wù)；外模型構(gòu)造輔助特征空間，在該空間下利用類(lèi)別標(biāo)簽嵌入信息，動(dòng)態(tài)對(duì)比不同類(lèi)別的特征分布，從而實(shí)現(xiàn)聚合同類(lèi)別特征，得到明確清晰的分類(lèi)邊界，提高模型對(duì)base 類(lèi)別的分類(lèi)精度，而且在較大程度上提升對(duì)novel 類(lèi)別的泛化能力。在3 個(gè)常見(jiàn)的金屬損傷數(shù)據(jù)集上驗(yàn)證本文方法的有效性，特征分布的可視化進(jìn)一步展現(xiàn)了本文方法在增加類(lèi)間距離、聚合類(lèi)內(nèi)特征的任務(wù)上具有顯著的提升效果。目前，小樣本金屬損傷分類(lèi)研究尚處于探索階段，可參考的數(shù)據(jù)集和實(shí)驗(yàn)結(jié)果有限。本文僅初步探索了對(duì)比學(xué)習(xí)結(jié)合多模態(tài)優(yōu)化特征分布在小樣本分類(lèi)算法方面的可行性，下一步將完善標(biāo)簽嵌入模型，便于從語(yǔ)義相似性角度補(bǔ)充小樣本金屬損傷的先驗(yàn)信息，進(jìn)一步優(yōu)化分類(lèi)性能，同時(shí)使得結(jié)果具有可解釋性。