杜彥東，馮林*，陶鵬，龔勛，王俊

1.四川師范大學計算機科學學院，成都 610101；2.西南交通大學計算機與人工智能學院，成都 610031；3.四川師范大學商學院，成都 610101

0 引言

得益于強力的計算設備、豐富的數(shù)據(jù)及先進的模型與算法，深度學習在圖像識別（He 等，2016；陳碩 等，2021）、目標跟蹤（Bertinetto 等，2016；王蒙蒙等，2022）、自然語言處理（Ren 和Lu，2022）等領域取得了極大成功，同時也推動了人工智能的飛速發(fā)展。

深度學習模型要想獲得最優(yōu)效果，需要在大規(guī)模標注數(shù)據(jù)中進行訓練。然而，在軍事、醫(yī)療、金融等一些特定領域，由于涉及數(shù)據(jù)隱私和安全性等問題，數(shù)據(jù)獲取困難且標注代價高昂。與機器相反，人類擁有從有限樣本中快速學習的能力。受人類學習方式的啟發(fā)，人們提出了少樣本學習（few-shot learning，F(xiàn)SL）的概念，目的是使機器也能像人類一樣，僅靠少量標注的樣本通過一兩次的示范，就可以學會一類問題的解決。

元學習是少樣本學習的重要應用場景，目標是使機器學會學習。元學習通過多任務的學習范式積累多任務的“共性知識”，利用這些“共性知識”指導模型在新任務中快速學習（趙凱琳 等，2021）。同樣，遷移學習也是解決少樣本學習問題的另一種經(jīng)典方法，基于遷移學習的方法旨在利用大量標注數(shù)據(jù)集進行預訓練學習知識，并將這些知識遷移到監(jiān)督信息有限的目標任務中以完成對少量標注樣本的學習（張玲玲 等，2021）。

現(xiàn)有的少樣本學習方法只考慮到訓練階段的源任務和測試階段的目標任務服從相同或相似分布的情況，當源域任務與目標域任務數(shù)據(jù)分布相差較大時，傳統(tǒng)的少樣本圖像分類模型在目標任務中表現(xiàn)較差。圖1 為少樣本跨域示例，在圖1（a）—（d）中，用于訓練的基類來自源域自然數(shù)據(jù)集mini-ImageNet，而測試的新類數(shù)據(jù)來自目標域醫(yī)療數(shù)據(jù)集Chest-X。為解決上述問題，少樣本跨域學習引起了研究者的關注（Guo 等，2020）。少樣本跨域學習旨在利用源域中大量標注樣本訓練模型，使模型能夠快速、準確地泛化到與源域數(shù)據(jù)分布差異較大的目標域任務中。

圖1 少樣本跨域示例Fig.1 Cross-domain example with few-shot（（a）training sample；（b）domain adaptation；（c）few-shot learning；（d）cross-domain few-shot learning）

對于少樣本跨域學習的研究，起源于域適應學習，目的是將源域數(shù)據(jù)中的知識遷移到具有不同數(shù)據(jù)分布的目標域中。為解決域適應問題，研究者探索出基于域差異的方法（Long 等，2017；Sun 等，2016；Kang等，2019；Kumar等，2018），旨在對齊源域和目標域之間的邊緣分布?；趯沟姆椒ǎ═zeng等，2017；Ganin等，2016）主要思想是依靠生成器、鑒別器相互作用促進域相關特征的學習?；谥貥嫷姆椒ǎ╖hu 等，2017；Hoffman 等，2018）通常使用encoder-decoder 模型或生成對抗網(wǎng)絡來重新構建目標域中的數(shù)據(jù)。但上述關于域適應的方法均只適用于目標域與源域類別有交集的情況（如圖1（a）—（c））。而現(xiàn)實應用場景中，廣泛存在源域和目標域的類別交集為空，且目標域中可用樣本數(shù)量少的跨域學習問題，如罕見的皮膚病病理圖像、失事飛機殘骸圖像、衛(wèi)星遙感圖像，而利用其他帶標注數(shù)據(jù)充足的域信息（如自然數(shù)據(jù)集ImageNet）來解決這些域上的子任務是一種很有效的解決方法。因此，如何提升少樣本跨域圖像分類性能具有重大的理論研究意義和應用價值。

已有的少樣本跨域相關研究表明，當目標域任務與源域任務的數(shù)據(jù)分布相差較小時，元學習方法表現(xiàn)更好。反之，遷移學習方法表現(xiàn)更好（Chen 等，2019）。因此，融合遷移學習和元學習的思想，本文提出一種簡潔的元遷移學習模型（compressed meta transfer learning，CMTL），以解決少樣本學習中源域與目標域之間分布差異大的跨域分類問題。

本文主要貢獻如下：1）在模型預訓練和微調(diào)階段，使用Wang 等人（2020）提出的自壓縮損失函數(shù)（self-compression softmax loss，SSL），通過最小化自壓縮損失函數(shù)，調(diào)整基類數(shù)據(jù)原型之間的分布位置，促使基類樣本在嵌入空間中更為集中，為新類樣本預留部分嵌入空間，有效提升了模型的特征提取能力。2）提出一種數(shù)據(jù)增強策略，利用現(xiàn)有目標任務中有限的支持集樣本構建新的輔助任務，微調(diào)模型參數(shù)，以獲取適應當前測試任務的網(wǎng)絡參數(shù)，解決當源任務與目標任務數(shù)據(jù)分布差異較大時，“元知識”的普適性不佳、泛化能力弱的問題。3）融合遷移學習和元學習策略提升跨域分類精度。以mini-ImageNet 作為源域數(shù)據(jù)集訓練，并在4 個少樣本跨域學習標準評估數(shù)據(jù)集 EuroSAT（European Satellite）、ISIC（International Skin Imaging Collaboration）、CropDiseas（Crop Diseases）和Chest-X（Chest X-Ray）上驗證了CMTL方法的有效性。

1 相關研究

1.1 少樣本學習

少樣本學習方法主要分為基于梯度優(yōu)化的方法、基于度量學習的方法和基于遷移學習的方法3類。

1.1.1 基于梯度優(yōu)化的方法

基于梯度優(yōu)化的方法通常包括內(nèi)外兩個循環(huán)階段，內(nèi)循環(huán)階段基模型學習器快速適應于只有少量樣本的新任務，外循環(huán)階段元模型學習器學習跨任務的知識以得到好的泛化性能。Finn等人（2017）提出的模型無關元學習方法，通過在多個任務中學習，以找到最適合模型的一組初始化參數(shù)，使模型在新的任務上能夠快速泛化。Nichol 等人（2018）提出Reptile方法，使用一階梯度優(yōu)化，從而簡化模型無關元學習方法的微分計算。Ravi 和Larochelle（2017）提出基于長短期記憶網(wǎng)絡的元學習器模型，通過學習模型參數(shù)的更新規(guī)則來調(diào)整不同訓練任務之間的差異，促使模型擁有更好的性能。

1.1.2 基于度量的方法

基于度量的方法通常分為基于歐氏空間度量和非歐氏空間度量兩種。其中，基于歐氏空間經(jīng)典的度量方法有如下幾種：由Vinyals 等人（2016）提出的匹配網(wǎng)絡引入注意力機制和記憶機制，將樣本映射到高維空間，使用余弦相似度衡量相似性。Snell 等人（2017）提出的原型網(wǎng)絡通過計算待分類樣本與類原型之間的歐氏距離完成分類。Sung 等人（2018）提出的關系網(wǎng)絡也是基于歐氏空間的自適應的關系度量模塊，將支持集和查詢集的特征向量拼接輸入可計算關系得分完成分類。余游等人（2019）在關系網(wǎng)絡的基礎上，利用半監(jiān)督學習方法生成偽標簽的策略參與訓練。Garcia 和Bruna（2018）提出的圖神經(jīng)網(wǎng)絡（graph neural network，GNN）應用于少樣本學習問題，首次關注非歐氏空間在度量模型中的運用，利用向量拼接嵌入的方式完成圖像數(shù)據(jù)到圖結構數(shù)據(jù)的轉換，繼而在圖神經(jīng)網(wǎng)絡模塊中進行距離度量和關系推導。

1.1.3 基于遷移學習的方法

基于遷移學習的方法首先利用大量標注數(shù)據(jù)的基類預訓練一個優(yōu)質(zhì)的特征嵌入網(wǎng)絡，然后遷移到新類任務中，微調(diào)預訓練階段的分類器，使模型適用于當前任務。Chen 等人（2019）提出了baseline 及其變體baseline++，多組對照實驗發(fā)現(xiàn)，在相同的實驗參數(shù)設定上，baseline 和baseline++方法明顯優(yōu)于基于元學習的少樣本學習方法。Wang 等人（2020）證明了遷移學習中使用自壓縮損失函數(shù)訓練模型能夠獲得性能較好的特征嵌入網(wǎng)絡。Rajasegaran 等人（2021）提出自監(jiān)督學習結合知識蒸餾最小化原始增強對距離，通過教師學生網(wǎng)絡約束模型，提升基于遷移學習方法的少樣本分類性能。

1.2 少樣本跨域學習

少樣本跨域學習包括基于元學習的方法和基于遷移學習的方法。

1.2.1 基于元學習的方法

為解決少樣本跨域問題，Yeh 等人（2020）提出在測試任務中構建偽查詢集的方法對元學習模型進行微調(diào)，提升少樣本跨域分類能力。Wang 和Deng（2021）直接以參與訓練的任務為研究對象，利用隨機卷積方法構造更具“挑戰(zhàn)性”的任務，從而在源域上模擬分布相對復雜的目標域任務。Tseng 等人（2020）引入特征變化層對卷積網(wǎng)絡獲取的特征進行仿射變換，以提高模型對不同域的適配性。Sun 等人（2021）提出基于層相關性傳播的解釋方法，能夠知悉樣本中對分類結果有貢獻的區(qū)域，適當增大這些區(qū)域的權重系數(shù)，以提取更好的樣本特征。

1.2.2 基于遷移學習的方法

Phoo 和Hariharan（2021）提出利用源域數(shù)據(jù)訓練獲取的教師學生網(wǎng)絡對部分目標域無標簽數(shù)據(jù)集構造偽標簽、結合源域數(shù)據(jù)共同訓練教師學生網(wǎng)絡，以提升跨域分類精度。Fu 等人（2021）通過mix-up算法構造輔助數(shù)據(jù)集，并使用編碼器學習與域無關的特征，以指導網(wǎng)絡能快速泛化到域跨度較大的目標任務。Li 等人（2021）提出將源域、目標域各自特定領域的特征映射到相同的共享空間，從而實現(xiàn)與領域無關的通用特征表示。

綜上所述，以上方法只是單獨地從元學習、遷移學習層面分析并解決少樣本跨域圖像分類問題，卻沒有考慮到在跨域任務上元學習與遷移學習方法各自的優(yōu)勢?，F(xiàn)有方法缺乏有效融合元學習、遷移學習策略提升跨域分類精度的模型與方法。所以本文提出了CMTL 模型，以完成對少樣本跨域任務的推理分類。

2 少樣本跨域學習定義

目前，少樣本跨域學習多是基于元學習架構。架構通常將任務作為訓練和測試的基本單元。元學習通過學習大量源域訓練任務，使模型獲得“元知識”，具有快速適應少樣本目標任務的能力，完成對目標任務的分類。其學習過程如下：

2）測試階段。在目標域測試任務集中隨機抽取一個元測試任務Te∈Tte，利用測試任務的支持集St，生成樣本級分類函數(shù)(λ)=F*(θ*；St)，然后使用測試任務查詢集Qt完成對(λ)分類效果的評估。

3 CMTL模型

3.1 基本思路和總體分析

首先，將源域數(shù)據(jù)集分別以批次、任務作為訓練數(shù)據(jù)的基本單元進行劃分。然后，在預訓練階段，將源域數(shù)據(jù)輸入特征嵌入網(wǎng)絡，先后以元學習和傳統(tǒng)的深度學習方式在源域任務上預訓練模型；在微調(diào)階段，對目標域中的同一測試任務，分別利用元學習方法、遷移學習方法獲取其對應模型的預測分數(shù)。最后，將兩者模型的預測分數(shù)融合。利用遷移學習和元學習方法各自在跨域任務上的優(yōu)勢，完成少樣本跨域任務的推理分類。

基于上述思路，CMTL 的總體結構如圖2 所示。主要包括特征提取模塊、BL-SSL（baseline-selfcompression softmax loss）模塊、度量模塊和分類策略融合模塊。

圖2 CMTL模型Fig.2 CMTL model

3.1.1 特征提取模塊

在少樣本跨域學習中常采用卷積神經(jīng)網(wǎng)絡（convolutional neural network，CNN）中的殘差網(wǎng)絡ResNet10（residual network10）和ResNet18（residual network18）作為特征提取網(wǎng)絡。對于圖像樣本xi，經(jīng)特征提取網(wǎng)絡后獲得樣本特征fθ(xi)∈RC×H×W，其中，C、H和W分別代表圖像通道數(shù)、樣本特征高度和寬度。本文使用的ResNet10 如圖3 所示，由初始的1 個64 通道的7 × 7 卷積層、批歸一化層、3 × 3 最大池化層和之后4個卷積塊組成。其中，第1個卷積塊包含2 個3 × 3 卷積層、2 個批歸一化層和2 個ReLU（rectified linear unit）激活層，后續(xù)3 個卷積塊中每個卷積塊中包含2 個3 × 3 卷積層，2 個批歸一化層，2 個ReLU 激活層，2 個下采樣層。每個卷積塊之間的差別在于卷積層的通道數(shù)不同，依次為64、128、256、520。

圖3 ResNet10網(wǎng)絡結構Fig.3 ResNet10 network backbone

3.1.2 BL-SSL模塊

由于傳統(tǒng)監(jiān)督學習沒有考慮到少樣本學習中訓練測試階段樣本類別不一致的問題，未能為新類樣本留下足夠的特征嵌入空間。本文使用SSL 損失函數(shù)代替?zhèn)鹘y(tǒng)的SL（softmax loss）損失函數(shù)，能夠保證在基類可分的情況下，盡可能拉近基類之間的距離，為新類樣本預留更多的嵌入空間。受此啟發(fā)，為提升遷移學習方法跨域分類性能，本文將SSL 損失函數(shù)應用于遷移學習的訓練測試過程。

在訓練階段，SSL 損失函數(shù)在保證基類可分、拉近類原型之間距離的雙重優(yōu)化目標下，模型盡可能壓縮來自源域的基類數(shù)據(jù)所占據(jù)的嵌入空間，便于測試階段對來自目標域的新類數(shù)據(jù)的特征提取。

BL-SSL 模塊中，通過計算樣本經(jīng)特征嵌入網(wǎng)絡獲取的高維特征向量與基類類原型向量在嵌入空間中的余弦相似性，調(diào)整基類類原型在嵌入空間中的分布位置。

調(diào)整基類類原型的過程如圖4 所示，根據(jù)向量加法的平行四邊形法則，完成類原型向量wc與wi的相加操作，以遍歷調(diào)整非c類樣本的類原型在嵌入空間中的分布位置。調(diào)整過后的非c類樣本原型向量可表示為

圖4 類原型調(diào)整過程Fig.4 Adjust the class prototype

利用調(diào)整后的類原型向量與樣本特征向量計算當前樣本屬于i類的概率，記為p=i|xj)，具體為

式中，γ為特征嵌入網(wǎng)絡參數(shù)，C為基類的樣本類別總數(shù)為當前樣本xj的預測值為調(diào)整過后的類原型向量。

通過計算當前樣本屬于c類的概率，SSL 損失函數(shù)可表示為

式中，C為基類的樣本類別總數(shù)，γ為特征嵌入網(wǎng)絡參數(shù)，Nc為第c類中的樣本數(shù)量為當前樣本xj的預測值。

通過不斷壓縮基類類原型之間的距離，促使嵌入空間中基類數(shù)據(jù)的特征分布更為集中。通過最小化式（3）損失函數(shù)，采用隨機梯度下降（stochastic gradient descent，SGD）的方法反向傳播更新參數(shù)。

3.1.3 度量模塊

度量學習中，根據(jù)度量方式的不同，主要以歐氏空間、馬氏距離、余弦相似度和非歐氏空間的圖神經(jīng)網(wǎng)絡作為度量策略。為簡化實驗，本文從以原型網(wǎng)絡為代表的歐氏空間度量和圖神經(jīng)網(wǎng)絡為代表的非歐氏空間度量的兩種網(wǎng)絡模型出發(fā)，僅探索兩種度量方式對少樣本跨域模型的影響。

基于歐氏空間度量的原型網(wǎng)絡假設每個類別在向量空間都有一個類原型，通過計算待分類樣本與每個類的類原型之間的歐氏空間，根據(jù)距離衡量待分類樣本與各類的類原型之間的相似性，完成對待分類樣本的正確分類。

由于基于歐氏空間的少樣本度量學習方法不能有效捕捉到樣本特征和樣本標簽之間的聯(lián)系，嚴重限制了少樣本跨域學習模型的表達能力。針對這一問題，Garcia 和Bruna（2018）提出利用圖神經(jīng)網(wǎng)絡來構建少樣本分類模型，結構如圖5 所示。GNN 由兩階段構成，第1 階段是圖像數(shù)據(jù)場到圖結構數(shù)據(jù)場的轉換，為利用圖神經(jīng)網(wǎng)絡創(chuàng)造前提；第2 階段是將圖結構數(shù)據(jù)輸入到以基于空間的圖卷積網(wǎng)絡（graph convolutional network，GCN）為基礎架構的信息傳遞網(wǎng)絡訓練，以指導生成最優(yōu)模型完成對未知類別圖像進行推理判斷，進而達到分類的目的。

圖5 圖神經(jīng)網(wǎng)絡Fig.5 Graph neural network

3.1.4 分類策略融合模塊

元學習通常將任務作為訓練和測試的基本單元。為適應元學習的學習過程，使模型適用于當前任務，本文對測試任務中的支持集進行顏色變換、隨機裁剪等一系列數(shù)據(jù)增強操作，如圖6所示。

圖6 數(shù)據(jù)增強Fig.6 Data augmentation（（a）original image；（b）gamma transform；（c）random cutting；（d）color change）

經(jīng)過數(shù)據(jù)增強后獲取的輔助任務記為Taux，具體為

輔助任務生成的流程如算法1所示。

算法1：輔助任務Taux的生成。

利用生成的輔助任務Taux進行微調(diào)，使得微調(diào)后的度量模塊參數(shù)更加適應于當前任務。

式中，θm代表訓練階段度量模塊的網(wǎng)絡參數(shù)，α為訓練期間的學習率，Lm(Taux；θm)代表度量模塊在輔助任務上的交叉熵損失函數(shù)。

在測試階段，將目標域任務中有限的支持集通過上述算法構建輔助任務，以元訓練方式繼續(xù)微調(diào)度量網(wǎng)絡Metric。其中，本文選用基于非歐氏空間度量的圖神經(jīng)網(wǎng)絡和基于歐氏空間的原型網(wǎng)絡分別作為Metric 網(wǎng)絡，最后使用微調(diào)過的度量網(wǎng)絡Metric 對查詢級推理獲取其對應預測分數(shù)。具體為

在遷移學習中，為簡化運算，對任務中的樣本不做任何數(shù)據(jù)增強操作。由于預訓練階段，使用自壓縮損失函數(shù)，源域基類樣本占據(jù)的空間得以壓縮，此時目標域新類樣本特征嵌入空間相對充裕。所以，固定BL-SSL 模塊中預訓練階段的特征提取網(wǎng)絡fθ，僅利用同一目標域任務中的支持集微調(diào)線性分類器SSL，以獲取適應當前測試任務的分類器參數(shù)θssl，最后通過分類器SSL 對查詢級分類并獲取其對應預測分數(shù)，具體為

在測試階段，將目標域的同一任務中樣本分別喂入BL-SSL 模塊和度量模塊，得到其對應預測分數(shù)Sb和Sm，將兩者預測分數(shù)分別通過softmax 函數(shù)進行歸一化，確保在預測中兩者的模型能被賦予相同的權重，最后將同一目標域測試任務經(jīng)兩種模塊推理預測分數(shù)融合作為最終預測分數(shù)。

3.2 算法流程

根據(jù)上述討論，在預訓練階段將源域數(shù)據(jù)輸入特征嵌入網(wǎng)絡，先后以元學習和遷移學習方法預訓練模型。在微調(diào)階段，基于預訓練模型，聯(lián)合遷移學習和元學習方法共同對目標域測試任務進行分類預測。微調(diào)階段流程如算法2所示。

算法2：CMTL學習算法。

4 實 驗

4.1 數(shù)據(jù)集和實驗細節(jié)

本文在5 個經(jīng)典的少樣本跨域圖像分類數(shù)據(jù)集上進行跨域分類測試，驗證CMTL模型的有效性。

1）mini-ImageNet。是用于訓練的源域數(shù)據(jù)集，是ImageNet 數(shù)據(jù)集（Russakovsky 等，2015）中抽離的子數(shù)據(jù)集，涵蓋動物、植物等生活中常見的100 個類別，每個類包含600 幅圖像，為了滿足少樣本跨域學習任務的需要，通常將100個類劃分為64個訓練類、16 個驗證類和20 個測試類，圖像規(guī)格為224 × 224像素。

2）EuroSAT（Helber等，2019）。是用于測試的目標域數(shù)據(jù)集，為衛(wèi)星遙感圖像，涵蓋高速公路、農(nóng)田等10 個類，共20 000 幅圖像，圖像規(guī)格為224 × 224像素。

3）CropDiseas（Mohanty 等，2016）。是用于測試的目標域數(shù)據(jù)集，為農(nóng)作物病害數(shù)據(jù)集，包含38 個類，共54 300幅圖像，圖像規(guī)格為224 × 224像素。

4）ISIC（Codella 等，2019）。是用于測試的目標域數(shù)據(jù)集，為皮膚病黑色素瘤相關數(shù)據(jù)集，包含9 個類，共23 000幅圖像，圖像規(guī)格為224 × 224像素。

5）Chest-X（Wang 等，2017）。是用于測試的目標域數(shù)據(jù)集，為胸部X光圖像，包含14個類，共112 120幅圖像，圖像規(guī)格為224 × 224像素。

在實驗中，元學習方法的訓練過程采用Adam優(yōu)化器，學習率α=0.001；在遷移學習BL-SSL 模塊的訓練、微調(diào)過程采用SGD 優(yōu)化器，學習率β=0.01。本文采用少樣本跨域標準評估5-way 1-shot 及5-way 5-shot，同時從每一類采樣15 幅圖像樣本作為查詢集。在訓練階段，元學習以任務為基本單元參與訓練，從源域數(shù)據(jù)集中隨機采樣100 個任務作為一個epoch，共訓練400 次。遷移學習以監(jiān)督學習的方式參與訓練，從源域數(shù)據(jù)集中每一次隨機抽取64幅圖像作為一個epoch，共訓練400次。在測試階段，隨機從目標域數(shù)據(jù)中抽取2 000個任務參與測試，其中，在BL-SSL 模塊的微調(diào)階段，使用任務中的支持集微調(diào)分類器，微調(diào)次數(shù)為100，每次微調(diào)圖像樣本批次大小為4，而在元微調(diào)階段利用任務中的支持集生成輔助任務，微調(diào)模型的過程中，超參數(shù)λ1為0.5，λ2為0.8。訓練次數(shù)為20，生成新的樣本數(shù)量為25。最終，取全部測試任務的平均Top-1 準確率作為最終準確率。

本文采用的硬件環(huán)境為 NVIDIA RTX 3090 GPU 平臺；操作系統(tǒng)為ubuntu 20.0.3、Pytorch框架。

4.2 實驗結果與分析

為測試CMTL 方法的性能，選擇mini-ImageNet作為源域，分別以EuroSAT、CropDiseas、ISIC 和Chest-X 作為目標域完成跨域分類測試。其中，選擇原型網(wǎng)絡作為度量模塊記為CMTL（PRO），選擇圖神經(jīng)網(wǎng)絡作為度量模塊記為CMTL（GNN）。實驗結果如表1所示。

表1 與不同跨域分類算法對比實驗結果Table 1 Compare with the different cross-domain classification algorithms

4.2.1 定量評估

從表1 可以看出，CMTL 方法在5-way 1-shot 和5-way 5-shot 跨域圖像分類任務設定上都有較好的表現(xiàn)，并且與現(xiàn)階段經(jīng)典的少樣本跨域圖像分類模型比較，本文提出的CMTL 方法更具有優(yōu)勢。其中，基于5-way 1-shot 的任務設定，與最新的少樣本跨域圖像分類GNN+ATA 方法相比較，本文提出的CMTL方法在EuroSAT、ISIC、CropDiseas 和Chest-X 數(shù)據(jù)集上分別提升了7.52%、1.26%、7.45%和0.12%。相較于最新的遷移學習STARTUP 方法，除了在Chest-X 數(shù)據(jù)集上表現(xiàn)稍落后前者，CMTL 方法分別在EuroSAT、ISIC 和CropDiseas 數(shù)據(jù)集上提升了5.97%、2.13%和1.62%。而基于5-way 5-shot 的任務設定，與少樣本跨域GNN+ATA 方法相比，本文方法在EuroSAT、ISIC、CropDiseas 和Chest-X 數(shù)據(jù)集上分別提升了4%、4.8%、2.78%和1.08%。與最新的遷移學習STARTUP 方法比較，除了在Chest-X 數(shù)據(jù)集上表現(xiàn)稍落后前者，CMTL 方法在EuroSAT、ISIC和CropDiseas 數(shù)據(jù)集上分別提升了5.93%、3.23%和1.68%。實驗結果表明提出的CMTL 方法的有效性。

4.2.2 定性評估

從表1的跨域分類結果可以看出，提出的CMTL方法能很好地解決少樣本跨域圖像分類問題，其中BL-SSL 模塊中的特征嵌入網(wǎng)絡能充分提取更為豐富的特征信息。對于元學習，提出數(shù)據(jù)增強的策略生成輔助任務，能夠進一步微調(diào)模型，以捕獲到適合當前任務的合適參數(shù)。將二者對于相同任務的預測分數(shù)融合，可以使模型結合遷移學習和元學習方法各自的優(yōu)點，促使少樣本跨域圖像分類更加準確。另外，除了在Chest-X上的跨域分類表現(xiàn)欠佳，CMTL（GNN）模型總體的跨域分類性能高于CMTL（PRO）模型。這是由于在跨域圖像分類任務中，非歐氏空間的度量方式有效利用了樣本特征與樣本標簽之間的聯(lián)系，而歐氏空間度量的方法僅關注查詢集樣本與支持集樣本的相似性，未考慮標簽間的聯(lián)系。由此可以看出，基于非歐氏空間的度量方式更適用于少樣本跨域圖像分類任務。

4.3 消融實驗

為了研究CMTL 方法中多種因素對于少樣本跨域分類準確率的影響，消融實驗采用控制變量法的研究方法。

4.3.1 SSL使用階段對跨域分類準確率的影響

為了研究BL-SSL 模塊中SSL 使用階段對于實驗分類準確率的影響，分別在5-way 1-shot 和5-way 5-shot任務上，以4個標準數(shù)據(jù)集上平均跨域分類準確率作為評估標準，進行消融實驗，結果如圖7所示，其中SL代表使用softmax loss，SSL代表使用自壓縮損失函數(shù)。SL+SSL 代表預訓練階段使用softmax loss，微調(diào)階段使用自壓縮損失函數(shù)，在5-way 1-shot 和5-way 5-shot 任務設定下，在EuroSAT、ISIC、CropDiseas 和Chest-X 數(shù)據(jù)集上的平均跨域分類準確率為42.5%和56.3%。實驗結果表明，在預訓練階段和微調(diào)階段均使用SSL能達到最好跨域分類準確率。

圖7 SSL使用階段平均跨域分類準確率Fig.7 Average accuracy at different stages of the SSL

另外，從EuroSAT 中隨機選擇5 個類別的數(shù)據(jù)特征進行T-SNE（T-distributed stochastic neighbor embedding）可視化，結果如圖8所示。T-SNE 可視化表明，使用SSL 后更有利于新類樣本的特征提取，提取的新類樣本特征在保證類間可分的前提下，拉近了類間的距離，同樣證明了基于遷移學習的少樣本模型中引入SSL 損失函數(shù)能有效提升模型的跨域圖像分類能力。

圖8 EuroSAT數(shù)據(jù)集的T-SNE可視化Fig.8 T-SNE plot of EuroSAT（（a）SL；（b）SSL）

4.3.2 單個模塊對跨域分類準確率的影響

為了證明本文使用分類模塊融合的有效性，分別使用圖神經(jīng)網(wǎng)絡微調(diào)模塊（GNN-FT）、BL-SSL 模塊以及將兩者分類預測結果的融合完成跨域圖像分類實驗，結果如表2 所示?？梢钥闯?，目標域與源域跨度較小，目標域數(shù)據(jù)集為EuroSAT 和CropDiseas時，GNN-FT 模塊的跨域分類準確率優(yōu)于BL-SSL 模塊，反之BL-SSL 模塊的跨域分類準確率優(yōu)于GNNFT模塊。兩個模塊分類融合的方法在4個標準數(shù)據(jù)集的平均分類準確率在5-way 1-shot 任務中，相較BL-SSL 和GNN-FT 模塊分別高出4.2%和1.8%；在5-way 5-shot 任務中，跨域分類準確率最高，相較BLSSL 和GNN-FT 模塊分別高出4.3%和2.1%。實驗結果表明，融合兩者分類預測結果是提升少樣本跨域圖像分類準確率的有效方法。

表2 消融實驗：單個模型對于分類準確率的影響Table 2 Ablation experiment：a single model on experimental classification

4.3.3 輔助任務對跨域分類的影響

為了測試微調(diào)過程中產(chǎn)生新的輔助任務是否必要，并進一步探索不同數(shù)據(jù)增強策略對于跨域分類實驗的影響，本文對目標域測試任務利用隨機裁剪、顏色變換和伽馬變換操作，兩兩隨機組合形成輔助任務。實驗中，將圖神經(jīng)網(wǎng)絡和BL-SSL 模塊兩者分類結果的融合視為最終的預測分類結果。其中，None表示不使用輔助任務參與微調(diào)，僅利用BL-SSL模塊和圖神經(jīng)網(wǎng)絡推理；CC+RC 表示輔助任務經(jīng)顏色變換和隨機裁剪策略生成；CC+GT表示輔助任務經(jīng)顏色變換和伽馬變換策略生成；RC+GT表示輔助任務經(jīng)隨機裁剪和伽馬變換策略生成；本文算法1表示輔助任務由本文算法1 中提出的方法生成。實驗結果如表3 所示，實驗結果表明，相較于本文算法1 提出的輔助任務生成方法，隨機裁剪、顏色變換和伽馬變換任意兩種數(shù)據(jù)增強策略組合形成的輔助任務對最終的跨域分類準確率并無顯著提升，實驗結果進一步凸顯了本文方法對于跨域圖像分類的有效性。

表3 消融實驗：輔助任務對于分類準確率的影響Table 3 Ablation experiment：auxiliary tasks on experimental classification

5 結論

元學習、遷移學習是解決少樣本跨域問題的兩項前沿理論和方法，為提升模型在有限標注樣本困境下的跨域圖像分類能力，本文提出了CMTL 方法，并通過大量實驗證實了本文方法的有效性。

本文的主要工作分為3 個方面：1）基于元學習，通過構建輔助任務，用于微調(diào)模型參數(shù)；2）基于遷移學習，提出的BL-SSL 模塊更利于目標任務的特征提??；3）融合遷移學習和元學習預測分數(shù)的方法能有效處理跨域圖像分類任務。

本文提出的CMTL 方法雖然能極大緩解少樣本跨域圖像分類精度差等困境，但對構建輔助任務階段的探索還不夠全面，融合兩者模塊預測分數(shù)的研究也不夠深入。未來工作將會繼續(xù)圍繞如何生成更為合適的輔助任務、如何有效融合兩者模塊預測分數(shù)這兩大重點展開研究，促使少樣本跨域圖像分類模型具有更好的泛化能力。