唐義承，紀(jì)惠芬

(浙江理工大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州 310018)

0 引言

在計算機(jī)視覺領(lǐng)域，傳統(tǒng)的機(jī)器學(xué)習(xí)逐步向深度學(xué)習(xí)方向發(fā)展。監(jiān)督學(xué)習(xí)模型在有大量標(biāo)記數(shù)據(jù)的情況下已經(jīng)能夠取得卓越的表現(xiàn)。但是，由于有標(biāo)簽的數(shù)據(jù)收集費(fèi)時費(fèi)力，同時對每個類別的圖片都需要人工來標(biāo)注，這將大大提高深度學(xué)習(xí)的成本。為此，零樣本學(xué)習(xí)成為了近年來的熱門課題，已被廣泛用于解決現(xiàn)實任務(wù)中出現(xiàn)的難題。在傳統(tǒng)的零樣本學(xué)習(xí)設(shè)定中，我們利用語義信息建立可見類與不可見類的聯(lián)系，將可見類中學(xué)習(xí)到的知識轉(zhuǎn)移到不可見類中，進(jìn)而，完成對訓(xùn)練過程中沒有出現(xiàn)過的不可見類的識別。然而，在現(xiàn)實的分類情境中，需要同時對可見類和不可見類進(jìn)行分類，這被稱為廣義零樣本學(xué)習(xí)(Generalized zero-shot learning，GZSL)。

最近，越來越多的方法采用了基于對抗生成網(wǎng)絡(luò)(GAN)[1]或變分自編碼器(VAE)[2]生成模型來解決廣義零樣本學(xué)習(xí)的問題。這種方法通過生成不可見類的合成樣本，將零樣本學(xué)習(xí)任務(wù)轉(zhuǎn)化為傳統(tǒng)的監(jiān)督學(xué)習(xí)任務(wù)，從而緩解了可見類與不可見類之間的數(shù)據(jù)差異，提高了準(zhǔn)確率。然而，GAN 生成模型易出現(xiàn)特征混淆問題，也無法保證每次訓(xùn)練的穩(wěn)定性。相比之下，VAE 生成模型將視覺特征和語義屬性映射到潛在空間中，使用潛在空間嵌入進(jìn)行分類。但是VAE 模型可能導(dǎo)致域偏移問題，影響分類結(jié)果。此外，基于預(yù)分類的方法近期也成為熱門研究方向。在測試階段，將測試樣本分為可見類和不可見類樣本，然后對這兩類樣本使用特定的監(jiān)督學(xué)習(xí)分類器或零樣本分類器進(jìn)行訓(xùn)練。但是由于訓(xùn)練集中沒有不可見類樣本，預(yù)分類可能不能取得很好的效果。

為了提高視覺特征與語義信息之間的關(guān)聯(lián)性，緩解領(lǐng)域偏移問題，如圖1 所示本文提出一種基于嵌入對比學(xué)習(xí)的廣義零樣本預(yù)分類模型。首先，利用超球面變分自編碼器[3]將視覺特征和語義屬性映射到一個統(tǒng)一的球形潛在空間中。提取出一個能夠同時表達(dá)視覺模態(tài)和語義模態(tài)的潛在空間。然后潛在空間中，對齊兩個模態(tài)的潛在特征，并且對潛在特征進(jìn)行嵌入對比學(xué)習(xí)。最后，利用超球面空間中的分布流形對測試樣本預(yù)分類，根據(jù)預(yù)分類的結(jié)果將測試樣本分配給對應(yīng)的專家分類器。

圖1 基于嵌入對比學(xué)習(xí)的廣義零樣本預(yù)分類模型基本框架

本文所提出的預(yù)分類模型可以與任何的ZSL方法相結(jié)合。核心思想非常簡單，易于實現(xiàn)。在四個最常見的基準(zhǔn)數(shù)據(jù)集（CUB、SUN、AWA1、AWA2）上評估了本文的模型。實驗結(jié)果表明，本文的方法在數(shù)據(jù)集上可以得到優(yōu)秀的分類效果。

1 方法

本文提出了一種基于潛在空間對比的廣義零樣本預(yù)分類模型，模型架構(gòu)如圖2所示，該模型可以劃分為三個階段：嵌入階段、潛在特征對比階段和分類識別階段。

圖2 模型具體框架

⑴在嵌入階段，利用超球面變分自編碼器，為視覺特征和語義屬性構(gòu)造統(tǒng)一的球形潛在空間。

⑵在潛在特征對比階段，使用分布對齊約束、分類約束、對比約束三種約束條件，將視覺特征的分布與語義屬性分布進(jìn)行對齊，并加強(qiáng)同一類別類內(nèi)聯(lián)系和同一類別不同模態(tài)之間的聯(lián)系。

⑶在分類階段，通過對潛在空間中可見類分布情況的分析，判斷測試樣本是否屬于可見類，并據(jù)此將其分配給相應(yīng)的分類器進(jìn)行分類。

1.1 嵌入階段

在嵌入階段，利用兩個獨(dú)立的球面自編碼器將視覺和語義信息投影到潛在空間中。在球面自編碼器中，編碼器將視覺特征x 嵌入到潛在空間中得到潛在向量z，并且解碼器重構(gòu)視覺特征以保證模態(tài)一致性。同時，通過潛在向量z 的分布計算出視覺特征的vMF分布，使用另一球面自編碼器預(yù)測的vMF 分布作為先驗分布，計算分布差異。每個球面編碼器需優(yōu)化重構(gòu)誤差和vMF分布差異，球面編碼器的優(yōu)化函數(shù)如下：

其中，Eq(z|x)[log pΦ(x|z)]表示重構(gòu)誤差。DEMD代表了兩個球面編碼器預(yù)測的vMF分布之間的差異。λ表示加權(quán)差異項的超參數(shù)。由于兩個分布支持區(qū)域不完全重合時，KL 散度可能失敗，因此本文采用推土機(jī)距離（Earth Mover’s Distance，EMD）表示兩個分布之間的相似程度。

1.2 潛在特征對比階段

為了在球形潛在空間中，對齊視覺模態(tài)與語義模態(tài)，并且使?jié)撛诳臻g中的向量分布更加緊湊，同時提高可見類之間的差異度。在潛在特征對比階段采用交叉對齊約束、分類約束、對比約束三種約束。

交叉對齊約束將某個特定模態(tài)的嵌入向量通過其他模態(tài)的解碼器進(jìn)行重構(gòu)，得到重構(gòu)特征，然后計算該重構(gòu)特征與真實語義樣本之間的誤差。交叉對齊損失為：

其中，Eqθa(z|a)[log p?f(x|z)]和Eqθf(z|x)[log p?a(a|z)]代表重構(gòu)誤差。交叉對齊約束學(xué)習(xí)的是兩種不同模態(tài)的共享潛在空間中的嵌入向量，因此需要捕獲模態(tài)不變的信息，以確保不同模態(tài)之間的嵌入向量具有相似的表示。

分類約束引入softmax 分類器對潛在空間向量進(jìn)行分類，使?jié)撛谧兞扛哂袇^(qū)別性，分類損失如下：

其中，?cls代表了線性softmax 分類器的參數(shù)。分類約束的引入對于可見類與不可見類之間的關(guān)聯(lián)性可能會產(chǎn)生一定的影響，但他同時降低了將不可見類特征誤判為可見類的風(fēng)險，這有助于提高模型的二分類性能。本文模型的重點(diǎn)是分離可見特征和不可見特征，而不是將不可見特征分類到具體的不可見類中。

對比約束中構(gòu)造正例的方法，不同于傳統(tǒng)的對比學(xué)習(xí)方法，并不是通過簡單的數(shù)據(jù)增強(qiáng)方式來構(gòu)造數(shù)據(jù)對，而是利用類別標(biāo)簽來確定潛在空間中哪些向量可以作為正例，從而增加正例的數(shù)量。相較于傳統(tǒng)的對比學(xué)習(xí)方法，不僅可以增加正例數(shù)量，還可以增加類內(nèi)一致性。同時，該方法還具有較好的可解釋性，能夠更好的理解模型的決策過程。

對比約束在對潛在空間向量后添加一個共享權(quán)重的神經(jīng)網(wǎng)絡(luò)模塊h(?)，將潛在空間向量映射到一個更深層的空間當(dāng)中。在更深層的空間中，通過計算余弦相似度來測量潛在向量的相似性。公式如下：

其中，τ >0 表示對比嵌入的溫度參數(shù)，N 表示樣本的個數(shù)。l[k≠i]是一個指示函數(shù)，當(dāng)且僅當(dāng)k=i 時，取0，否則為1。

為了降低對比損失，模型將正樣本對特征距離拉近，負(fù)樣本對特征對拉遠(yuǎn)。對比約束能夠捕獲同類樣本中共享的強(qiáng)判別信息和結(jié)構(gòu)，并且因為增加了正對的數(shù)量，可以更好的刻畫類內(nèi)相似性，使得類內(nèi)投影更加緊湊。

綜上所述，訓(xùn)練模型的損失函數(shù)可以表示為：

其中，α、β、γ是用于加權(quán)的超參數(shù)。

1.3 分類階段

在潛在特征對比收斂后，視覺特征和語義屬性在潛在空間中呈現(xiàn)出按照類對齊的特點(diǎn)。這種按照類對齊的特性，使得在球面潛在空間中每個類的流形都是單獨(dú)的一個簇，因此，可以用可見類流形的中心和流形的邊界來推斷測試樣本是否屬于可見類或不可見類。這個方法的優(yōu)點(diǎn)是不需要建立傳統(tǒng)的分類器模型，直接使用可見類樣本的流形信息，可以實現(xiàn)對可見類和不可見類的魯棒分類。

對于每個類，通過語義信息找到該類中心，然后通過訓(xùn)練樣本的統(tǒng)計數(shù)據(jù)計算類的流形邊界。將訓(xùn)練樣本嵌入到潛在空間，計算它們與類中心的余弦相似度并進(jìn)行排序，使用分類精度δ來計算類邊界值。取所有類邊界值的最大值作為可見類的閾值N。

給定一個測試樣本x，首先將其編碼為潛在向量z。然后計算z 與所有可見類中心的余弦相似度，找到距離z 最近的可見類流形。使用事先計算的閾值N，判斷z 是否屬于可見類，如果余弦相似度大于等于閾值，則將x 歸類到可見類中；否則，將其歸類到不可見類中。根據(jù)這個分類結(jié)果，將訓(xùn)練樣本分配給相應(yīng)的可見類分類器或不可見類分類器進(jìn)行訓(xùn)練。

2 實驗及結(jié)果分析

2.1 實驗數(shù)據(jù)集

本文在零樣本學(xué)習(xí)領(lǐng)域常用的四個基準(zhǔn)數(shù)據(jù)集上進(jìn)行實驗來對模型進(jìn)行評估，這四個數(shù)據(jù)集分別是Caltech-USCD Birds-200-2011(CUB)、SUN Attribute(SUN)、Animals With Attributes 1(AWA1)、Animals With Attributes 2(AWA2)。所有數(shù)據(jù)集都為每個樣本提供對應(yīng)都屬性信息。本文按照標(biāo)準(zhǔn)劃分[4]將數(shù)據(jù)集劃分為可見類樣本和不可見類樣本，實驗數(shù)據(jù)集如表1所示。

表1 實驗數(shù)據(jù)集

2.2 評價指標(biāo)

對于預(yù)分類器，可見類的流形分布內(nèi)樣本被視為可見樣本，分布外樣本被視為不可見樣本。其本質(zhì)上就是一個二分類問題，因此主要通過掃描閾值來計算受試者工作特征曲線下的面積(Area-Under-Curve,AUC)來判斷二分類的效果。在廣義零樣本圖像分類的情況下，依據(jù)文獻(xiàn)[4]中提出的評估方法，S和U 分別代表可見類與不可見類的平均精度。廣義零樣本圖像分類的性能通過調(diào)和平均值H=2*S*U/(S+U)衡量。調(diào)和平均值可以同時反映識別可見類與不可見類圖像的能力。

2.3 對比模型

將本文提出的模型與以下相關(guān)模型進(jìn)行對比實驗：ReViSE[5]、SYNC[6]、DeViSE[7]、CVAE[8]、SP-AEN[9]、f-CLSWGAN[1]、COSMO[10]。

上述模型采用不同的方式來提高廣義零樣本的分類性能。其中ReViSE、SYNC、DeViSE 學(xué)習(xí)嵌入模型，將視覺特征和語義屬性統(tǒng)一起來用于相似度度量。CVAE、SP-AEN、f-CLSWGAN 采用生成模型的方法，利用GAN 或者VAE 生成不可見類的合成特征。COSMO 使用門控模型來學(xué)習(xí)預(yù)分類器，以劃分可見類特征與不可見類的特征。

2.4 實驗結(jié)果對比

為了驗證本文提出的預(yù)分類模型的分類性，本文在三個數(shù)據(jù)集上將其與四個近些年提出的門控方法進(jìn)行對比，結(jié)果如表2所示。

表2 各模型在三個數(shù)據(jù)集上AUC分類指標(biāo)

最佳結(jié)果用黑體加粗表示。根據(jù)表2 可以看出，本文提出的模型在衡量二分類的重要指標(biāo)AUC 上，在AWA2 數(shù)據(jù)集上達(dá)到了90.3%的優(yōu)異結(jié)果，超過了其他任何模型。

為進(jìn)一步驗證本文模型在廣義零樣本分類中的準(zhǔn)確率，與上述的模型作為基準(zhǔn)(baseline)進(jìn)行實驗。實驗結(jié)果如表3 所示。表中黑體表示每列的最優(yōu)值，“-”表示原文沒有該數(shù)據(jù)集的實驗結(jié)果。其中，S表示分類可見類的準(zhǔn)確率，U表示分類不可見類的準(zhǔn)確率，H表示調(diào)和平均值。本實驗與基準(zhǔn)模型采用相同的基準(zhǔn)數(shù)據(jù)集的劃分標(biāo)準(zhǔn)。根據(jù)表3 數(shù)據(jù)，在AWA1 和AWA2 數(shù)據(jù)集上，本文模型的調(diào)和準(zhǔn)確率分別達(dá)到了61.0%和62.9%，超過了表3 中列出的其他所有模型。值得注意的是，本文模型在U 的指標(biāo)上表現(xiàn)不如嵌入模型的方法，這可能是因為可見類和不可見類之間不存在交集，存在域偏差的問題。當(dāng)模型提高不可見類的精度時，會降低可見類的精度。然而，本文模型在S的指標(biāo)上遠(yuǎn)遠(yuǎn)超過嵌入模型的方法，這表明在某些方面本文模型比嵌入模型更優(yōu)秀。盡管與其他模型針對可見類或不可見類的性能單獨(dú)比較時，本文模型并非總是最優(yōu)的，但就最重要的調(diào)和準(zhǔn)確率這一指標(biāo)而言，基于嵌入對比學(xué)習(xí)的廣義零樣本預(yù)分類模型具有一定競爭力。

表3 各模型在四個數(shù)據(jù)集上性能對比

實驗證明，本文模型在廣義零樣本分類任務(wù)中取得了較高的分類準(zhǔn)確率，有效緩解了可見類與不可見類之間沒有交集所產(chǎn)生的域偏差問題。同時，本文模型還能夠降低視覺特征中冗余信息對分類的影響，使得廣義零樣本分類任務(wù)的精度得到了進(jìn)一步提高。

2.5 實驗結(jié)果可視化

本文模型在AWA2 數(shù)據(jù)集上類別樣本的t-SNE(t-Distributed Stochastic Neighbor Embedding)投影的可視化結(jié)果如圖3、圖4所示。

圖3 AWA1原始特征與嵌入后的特征對比圖

圖4 AWA2原始特征與嵌入后的特征對比圖

由圖3、圖4中的對比可以看出，在對比嵌入之后，可見類之間的簇更加緊密，并且與其余的可見類之間也更加遠(yuǎn)。

3 結(jié)論

廣義零樣本學(xué)習(xí)是一個有挑戰(zhàn)性的問題，具有廣泛的應(yīng)用前景。本文提出了一種基于嵌入對比學(xué)習(xí)的廣義零樣本預(yù)分類模型，采用超球面自編碼器將視覺特征映射到潛在空間中，利用對比學(xué)習(xí)縮小可見類的流形邊界。利用每個可見類流形邊界和中心，將測試樣本分為可見類樣本和不可見類樣本，之后使用兩個專家分類器分別對可見類與不可見類分類。從而將廣義零樣本問題轉(zhuǎn)化為傳統(tǒng)的零樣本學(xué)習(xí)和有監(jiān)督學(xué)習(xí)問題。因為可以在不使用不可見類樣本的情況下，將可見類與不可見類分類，所以可以緩解廣義零樣本中領(lǐng)域偏移的問題。但是，本文模型非常依賴于可見類樣本在訓(xùn)練集中的質(zhì)量。因此，盡管本文模型在AWA1 及AWA2 上獲得了比基準(zhǔn)方法更好的實驗結(jié)果，但不能完美適用于CUB 和SUN 數(shù)據(jù)集。今后需要進(jìn)一步研究在樣本數(shù)據(jù)較少的情況下采用數(shù)據(jù)增強(qiáng)等方法，以獲得更好的信息表示并提高模型的性能。