司明悅,齊斌,張文勝*,張雷

(1.山東大學(xué)信息科學(xué)與工程學(xué)院山東省無線通信技術(shù)重點實驗室,山東 青島 266237;2.同濟大學(xué)上海自主智能無人系統(tǒng)科學(xué)中心,上海 200092)

0 引言

近年來,隨著大數(shù)據(jù)、大模型的興起,多維異構(gòu)數(shù)據(jù)的處理和分析成為熱點問題。多維異構(gòu)數(shù)據(jù)是指在數(shù)據(jù)集中存在多個不同類型的數(shù)據(jù),這些數(shù)據(jù)具有不同的格式、結(jié)構(gòu)和含義,而張量作為一種多維數(shù)組的數(shù)據(jù)結(jié)構(gòu),可以用來表示多維異構(gòu)數(shù)據(jù)。在張量中,每個維度對應(yīng)數(shù)據(jù)中的1個特征或者屬性,而張量元素則對應(yīng)數(shù)據(jù)中的具體數(shù)值。使用張量計算可以將多維異構(gòu)數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一的數(shù)據(jù)結(jié)構(gòu),為后續(xù)的數(shù)據(jù)分析提供支持。

同時,深度學(xué)習(xí)在許多領(lǐng)域取得了巨大成功[1-3]。然而,深度學(xué)習(xí)網(wǎng)絡(luò)需要大量的訓(xùn)練數(shù)據(jù)和多次迭代來訓(xùn)練模型參數(shù),現(xiàn)實世界中的許多場景往往受限于標(biāo)注成本,導(dǎo)致許多類別只有少數(shù)的標(biāo)注數(shù)據(jù)。面對以上場景,傳統(tǒng)的深度學(xué)習(xí)模型不能很好的應(yīng)對,因此小樣本學(xué)習(xí)[4]以及零樣本學(xué)習(xí)[5]被提出。

小樣本學(xué)習(xí)的概念最初源自計算機視覺領(lǐng)域[6],并在圖像處理領(lǐng)域得到了廣泛應(yīng)用[7]。近年來,小樣本學(xué)習(xí)也逐漸應(yīng)用于自然語言處理[8]、生物醫(yī)學(xué)[9]和工業(yè)零件故障檢測[10]等領(lǐng)域,并發(fā)展出了許多優(yōu)秀的算法。當(dāng)前的小樣本學(xué)習(xí)算法通?；诹己玫某跏蓟瘲l件[11]、嵌入網(wǎng)絡(luò)[7,12]和優(yōu)化策略[13]進(jìn)行訓(xùn)練,然后將學(xué)習(xí)后的模型應(yīng)用于新的任務(wù)中,并通過微調(diào)得到良好的泛化結(jié)果。

在智慧交通系統(tǒng)中存在數(shù)據(jù)樣本稀缺的場景,例如,由于車輛異常行為的發(fā)生不可預(yù)測性和數(shù)據(jù)稀疏性,車輛的異常行為檢測難以實現(xiàn)或檢測準(zhǔn)確度不高,因此在實際應(yīng)用中車輛異常行為檢測面臨著數(shù)據(jù)稀缺、異常定義的不確切性、遮擋和實時性較差等問題。針對此類場景,可以運用小樣本學(xué)習(xí)提高模型計算的可靠性和魯棒性。

本文提出一種張量計算與小樣本學(xué)習(xí)相結(jié)合的綜合模型,主要工作如下:1)提出基于智慧交通數(shù)據(jù)的多維綜合計算通用模型,通用模型采用張量計算對智慧交通多維異構(gòu)數(shù)據(jù)中存在的顯著問題進(jìn)行處理,基于數(shù)據(jù)的時空相關(guān)性獲得融合數(shù)據(jù)張量,其中,利用張量分解將數(shù)據(jù)統(tǒng)一分解為低維數(shù)據(jù),解決數(shù)據(jù)的多維異構(gòu)問題,利用張量補全,補全因突發(fā)事件缺失的數(shù)據(jù),解決數(shù)據(jù)缺失問題;2)利用融合數(shù)據(jù)張量,改進(jìn)現(xiàn)有的小樣本學(xué)習(xí)模型,提出基于張量計算的小樣本學(xué)習(xí)模型,根據(jù)不同的張量融合策略,將融合數(shù)據(jù)張量輸入小樣本學(xué)習(xí)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練,改變小樣本學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu),比較基于度量的訓(xùn)練網(wǎng)絡(luò)和基于元學(xué)習(xí)的訓(xùn)練網(wǎng)絡(luò)的性能優(yōu)劣,根據(jù)消融實驗的結(jié)果分析性能最優(yōu)的基于張量計算的小樣本學(xué)習(xí)模型;3)采用智慧交通的仿真數(shù)據(jù)集,通過大量模擬實驗和對比實驗驗證多維綜合計算模型的可行性以及張量小樣本學(xué)習(xí)模型的可靠性和有效性。

1 預(yù)備知識

1.1 張量計算

張量計算可以劃分為張量分解、張量補全和張量特征值。張量分解是一種將高階張量映射為低階張量的技術(shù),主要用于提取數(shù)據(jù)中的潛在特征和結(jié)構(gòu)。張量補全是通過已知的部分張量數(shù)據(jù),推斷和填補缺失的部分張量,恢復(fù)完整張量的技術(shù),主要用于解決因傳感器故障、數(shù)據(jù)采集錯誤、數(shù)據(jù)傳輸丟失等造成的數(shù)據(jù)缺失問題。張量特征值則是用來描述張量的內(nèi)在特征和性質(zhì)的數(shù)值,用來表征張量內(nèi)在屬性。

1.1.1 張量分解基礎(chǔ)

張量分解的概念最早由HITCHCOCK在1927年提出[14],后被廣泛地應(yīng)用于信號處理[15-16]、推薦系統(tǒng)[17]、無線通信[18-19]、深度學(xué)習(xí)[20]等領(lǐng)域。張量分解有許多不同的類別,如高階奇異值分解(HOSVD)[21]、張量鏈?zhǔn)椒纸鈁22]、張量環(huán)式分解[23]等,其中HOSVD基于不同的奇異值分解形式,定義還可以進(jìn)一步細(xì)分,如平行因子分解(CPD)、Tucker分解等。

對于1個任意M階N維張量 A∈N1×N2×…×NM,CPD的定義如下:

(1)

其中:“·”表示向量外積;因子向量xm,i∈Nm;因子矩陣Xm=[xm,1,xm,2,…,xm,R]∈Nm×R,而R被稱為CP秩。Tucker分解的定義如下:

an1,n2,…,nM=

(2)

A=G×1X1×2X2×…×MXM

(3)

1.1.2 張量補全基礎(chǔ)

張量補全的應(yīng)用領(lǐng)域相比于張量分解更為廣泛,需要使用張量數(shù)據(jù)的情景均存在張量補全的需求,如大數(shù)據(jù)處理[24]、視覺圖像處理[25]、傳感器系統(tǒng)[26]等。

張量補全可以依據(jù)不同的補全參考量劃分成2大類:1)基于張量分解的補全[27],如基于CPD的張量補全、基于Tucker的張量補全等,這種補全方式也可以被稱作秩約束張量補全;2)基于最小秩的補全[28],如最小Tucker秩張量補全[25]、最小張量鏈秩張量補全[29]等。前者以基于CPD的補全為例,對應(yīng)的優(yōu)化問題如下:

s.t.XΘ=AΘ

(4)

其中:X表示補全張量;Θ表示未缺失索引集,即A中非零元素的集合。約束條件保證未缺失元素在補全后保持不變。

基于張量分解的補全也可以稱作固定張量秩的補全。因為這類補全方案在限制非零元素不變的基礎(chǔ)上,對張量秩做出了隱性約束。由于優(yōu)化問題非凸,因此利用塊坐標(biāo)下降法求解時受到局部最小值的影響,初始值對求解效果影響較大。不好的初始值會導(dǎo)致迭代次數(shù)增加,甚至不收斂,嚴(yán)重影響算法性能。為解決這一問題,本文提出基于最小秩的補全概念,并使用最小跡范數(shù)優(yōu)化的凸問題取代最小秩優(yōu)化的非凸問題,以獲得穩(wěn)定的求解方案。因此,第2類也可以稱作最小跡范數(shù)張量補全。

以最小Tucker秩補全為例,原優(yōu)化問題為:

(5)

利用最小跡范數(shù),問題可以修改為:

(6)

張量補全是基于張量數(shù)據(jù)之間的時空相關(guān)性驅(qū)動的,其中時空相關(guān)性即張量數(shù)據(jù)之間存在潛在關(guān)聯(lián)。不同的補全方案對于潛在關(guān)系的定義不同,如以基于CPD的補全,將這種潛在關(guān)系定義為CPD的因子矩陣唯一性,利用塊坐標(biāo)下降法對待補全張量進(jìn)行CPD,利用分解產(chǎn)生的誤差填補缺失數(shù)據(jù),循環(huán)此操作直到因子矩陣穩(wěn)定。而最小跡范數(shù)張量補全則是認(rèn)為潛在關(guān)系為數(shù)據(jù)之間跡范數(shù)最小,利用交替方向乘子法,更新各階展開矩陣,直到各階展開矩陣的秩穩(wěn)定。

1.2 小樣本學(xué)習(xí)

小樣本學(xué)習(xí)可以分為2類:1)基于數(shù)據(jù)增強的方式[30],這種方法借助輔助數(shù)據(jù)或輔助信息對現(xiàn)有的少量樣本進(jìn)行數(shù)據(jù)合成[31]或特征增強[32];2)基于遷移學(xué)習(xí)的方式[33],在新任務(wù)的數(shù)據(jù)相對較少或者難以獲取的情況下,遷移學(xué)習(xí)將已學(xué)到的模型、特征或知識遷移到新的問題領(lǐng)域,旨在提高模型在新任務(wù)上的性能[34]。

基于遷移學(xué)習(xí)的小樣本學(xué)習(xí)通常被分為基于度量[35]和基于元學(xué)習(xí)的方式[36]。度量也叫距離函數(shù),用于衡量2個元素之間的距離關(guān)系。因此,基于度量小樣本學(xué)習(xí)的主要思想是將目標(biāo)樣本和測試樣本映射到向量空間中,根據(jù)計算出的相似度進(jìn)行比較判斷。采用此種分類思想的優(yōu)秀算法有原型網(wǎng)絡(luò)[7]和匹配網(wǎng)絡(luò)[12],原型網(wǎng)絡(luò)是依據(jù)本類別數(shù)據(jù)與原型中心的歐幾里得距離來進(jìn)行分類的,其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,其中cn代表原型中心。而匹配網(wǎng)絡(luò)選取了余弦相似度作為距離函數(shù)。

圖1 原型網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of prototype network

元學(xué)習(xí)也稱學(xué)會學(xué)習(xí),旨在通過學(xué)習(xí)模型的初始化參數(shù)、網(wǎng)絡(luò)架構(gòu)等,指導(dǎo)模型更高效快速地適應(yīng)新任務(wù)或新環(huán)境。模型無關(guān)的元學(xué)習(xí)(MAML)[11]是元學(xué)習(xí)領(lǐng)域十分出色的算法,通過微調(diào)神經(jīng)網(wǎng)絡(luò)中對每個任務(wù)較為敏感的參數(shù),使模型的損失函數(shù)達(dá)到快速收斂。除此以外,基于記憶增強的神經(jīng)網(wǎng)絡(luò)[37]和元網(wǎng)絡(luò)[38]等算法也基于元學(xué)習(xí)的思想,利用歷史經(jīng)驗指導(dǎo)模型快速收斂。

本文主要研究基于遷移學(xué)習(xí)的小樣本學(xué)習(xí),并選取原型網(wǎng)絡(luò)、匹配網(wǎng)絡(luò)和MAML 3種網(wǎng)絡(luò)進(jìn)行可行性分析。

2 系統(tǒng)模型

2.1 模型的總體結(jié)構(gòu)

基于張量計算和小樣本學(xué)習(xí)的綜合計算模型整體架構(gòu)如圖2所示。該模型主要包括基于張量計算的多維綜合計算模塊和基于通用模型參數(shù)的小樣本學(xué)習(xí)模塊。首先,針對智慧交通場景中的多維異構(gòu)數(shù)據(jù)建立張量模型,對數(shù)據(jù)模型中的缺失數(shù)據(jù)進(jìn)行數(shù)據(jù)補全,并將異構(gòu)數(shù)據(jù)轉(zhuǎn)換成相同結(jié)構(gòu)、類型的數(shù)據(jù)形式,即進(jìn)行數(shù)據(jù)同構(gòu)化;然后,對多模態(tài)數(shù)據(jù)進(jìn)行融合;最后,將融合數(shù)據(jù)作為小樣本學(xué)習(xí)網(wǎng)絡(luò)的輸入樣本集,對其進(jìn)行特征提取,將樣本映射到向量空間;最終,采用不同的小樣本學(xué)習(xí)網(wǎng)絡(luò)作為分類器進(jìn)行訓(xùn)練,根據(jù)訓(xùn)練結(jié)果的準(zhǔn)確率和F1值評估模型性能優(yōu)劣。

圖2 綜合模型結(jié)構(gòu)Fig.2 Structure of the comprehensive model

2.2 多維綜合計算通用模型

針對智慧交通場景下產(chǎn)生的多維異構(gòu)數(shù)據(jù),從缺失數(shù)據(jù)補全、數(shù)據(jù)同構(gòu)化、多模態(tài)數(shù)據(jù)融合3個維度搭建多維綜合計算通用模型。

2.2.1 缺失數(shù)據(jù)補全

缺失數(shù)據(jù)補全是指利用已有的數(shù)據(jù)信息,對數(shù)據(jù)中的缺失值進(jìn)行估計、預(yù)測。傳統(tǒng)的數(shù)據(jù)補全方案由插值補全、基于模型的補全、矩陣分解補全、基于深度學(xué)習(xí)的補全,而對于多維數(shù)據(jù)可以建立張量模型,并直接借由張量補全完成,以完成缺失數(shù)據(jù)補全。

2.2.2 基于CPD的異構(gòu)數(shù)據(jù)同構(gòu)化

異構(gòu)數(shù)據(jù)是因智慧交通中不同傳感器產(chǎn)生的數(shù)據(jù)類型不同導(dǎo)致的,如音頻、圖像、視頻等以時間、空間序列排列產(chǎn)生不同尺寸的張量數(shù)據(jù)。異構(gòu)數(shù)據(jù)同構(gòu)化在保持時空相關(guān)性的前提下,將異構(gòu)數(shù)據(jù)轉(zhuǎn)換成相同結(jié)構(gòu)、類型的數(shù)據(jù)形式,而張量分解可以實現(xiàn)該目標(biāo),如CPD、TR等均滿足該要求。然而,TR分解更適用于大尺寸高階張量的分解,將大尺寸高階張量分解為若干三階張量的積,對于智慧交通中數(shù)據(jù)階次相對較小、維度較大的場景,CPD是更為恰當(dāng)?shù)摹?/p>

假設(shè)1個圖像傳感器,每秒拍攝1張J×K的灰度圖像。在Is的時間內(nèi),會產(chǎn)生I×J×K的圖像數(shù)據(jù)張量,記作P。以P為例說明數(shù)據(jù)同構(gòu)化實現(xiàn)步驟,具體算法如下。

算法1基于CPD的數(shù)據(jù)同構(gòu)算法

輸入異構(gòu)數(shù)據(jù)張量P∈I×J×K,匹配系數(shù)γ0和CP秩R

輸出同構(gòu)矩陣P1∈I×R,P2∈J×R,P3∈K×R

1)隨機初始化P1,P2,P3。

6)如果γ<γ0,返回步驟2;否則,輸出結(jié)果。

在算法中,“⊙”“*”“(·)+”分別表示哈達(dá)瑪積(Hadamard Product)、KR積(Khatri-Rao Product)和MP逆(Moore-Penrose Pseudoinverse)。

2.2.3 多模態(tài)數(shù)據(jù)融合

為緩解智慧交通中樣本數(shù)據(jù)較少的問題,本文對多模態(tài)數(shù)據(jù)進(jìn)行融合,挖掘數(shù)據(jù)的時空信息,以提取更全面、準(zhǔn)確的信息。多模態(tài)數(shù)據(jù)融合基于相似數(shù)據(jù)的潛在關(guān)系相似假設(shè),將利用張量分解的逆過程對來自不同傳感器的經(jīng)過異構(gòu)數(shù)據(jù)同構(gòu)化的數(shù)據(jù)進(jìn)行特征映射。

算法2多模態(tài)數(shù)據(jù)融合算法

輸入同構(gòu)矩陣P1,P2,P3,A1,A2,A3

輸出融合數(shù)據(jù)張量F

2)計算融合數(shù)據(jù)張量F=I×1P1×2P2×3P3×4A1×5A2×6A3。

算法2中的單位張量I是1個6階R維的,除對角線以外元素為零且對角元素為1的張量。將數(shù)據(jù)同構(gòu)算法產(chǎn)生的同構(gòu)因子矩陣,通過數(shù)據(jù)映射重新生成融合矩陣,實際上是完成了數(shù)據(jù)擴展,恢復(fù)多模態(tài)數(shù)據(jù)之間的結(jié)構(gòu)關(guān)系。該融合方案可以借由CPD還原原始數(shù)據(jù),在保證原始信息不丟失的前提下,擴展可用數(shù)據(jù)。

對于數(shù)據(jù)同構(gòu)算法的輸出,同構(gòu)矩陣擁有相同的列數(shù)?；趥鹘y(tǒng)的數(shù)據(jù)拼接進(jìn)行數(shù)據(jù)融合,產(chǎn)生融合數(shù)據(jù)矩陣,本質(zhì)上是僅對原始的多維異構(gòu)數(shù)據(jù)進(jìn)行數(shù)據(jù)補全后,將多模態(tài)數(shù)據(jù)進(jìn)行簡易組裝來完成數(shù)據(jù)融合。為了區(qū)別2種基于張量計算的多模態(tài)數(shù)據(jù)融合方案,前者被稱為“逆分解張量融合模型”,后者被稱為“CPD數(shù)據(jù)融合模型”。

2.3 基于通用模型參數(shù)的小樣本學(xué)習(xí)

針對張量計算模型處理后的融合數(shù)據(jù)張量,本文采用不同的小樣本學(xué)習(xí)方法對此進(jìn)行處理訓(xùn)練,包括基于度量的小樣本學(xué)習(xí)網(wǎng)絡(luò)和基于元學(xué)習(xí)的小樣本學(xué)習(xí)網(wǎng)絡(luò),其中原型網(wǎng)絡(luò)和匹配網(wǎng)絡(luò)是度量學(xué)習(xí)中十分經(jīng)典的網(wǎng)絡(luò)模型。元學(xué)習(xí)的思想與度量學(xué)習(xí)存在著明顯差異,本文選取MAML作為訓(xùn)練模型。

2.3.1N-wayK-shot問題

小樣本學(xué)習(xí)致力于尋求能使模型從少數(shù)帶有標(biāo)簽的樣本中快速學(xué)習(xí)的方法,并要求對訓(xùn)練集中的新類具有較好的泛化能力。小樣本學(xué)習(xí)的數(shù)據(jù)集可以分為訓(xùn)練集和測試集,訓(xùn)練集和測試集又各自包含支持集和查詢集,用來支撐任務(wù)的訓(xùn)練和測試。本文中的小樣本學(xué)習(xí)是一種N-wayK-shot的問題,N代表類別數(shù)量,K代表每一類別中的樣本數(shù)量。

假定訓(xùn)練集中有N個類別,每個類別有K個樣本。本文設(shè)置NS為每次迭代從支持集所取的類別數(shù)量,每一類別取KS個樣本,其中NS

2.3.2 基于度量的小樣本學(xué)習(xí)網(wǎng)絡(luò)

給定含有M個樣本的支持集S={(y1,l1),…,(yM,lM)},其中yi為支持集樣本,li∈{1,2,…,N}為N類樣本各自對應(yīng)的標(biāo)簽,在公式中使用Sn表示第n類標(biāo)簽的樣本集。

原型網(wǎng)絡(luò)通過求和平均的方式生成每一類原型點,根據(jù)計算該原型點和目標(biāo)樣本映射在向量空間中的特征向量之間的歐氏距離進(jìn)行比較分類。原型點通過式(7)得到:

(7)

其中:θ為可學(xué)習(xí)參數(shù);f(·)代表樣本通過編碼得到特征向量的過程函數(shù),即嵌入函數(shù)。通過歸一化指數(shù)函數(shù)計算查詢集中目標(biāo)樣本屬于各類的概率分布來計算損失函數(shù)。概率分布如下:

(8)

(9)

其中:d(·)是距離函數(shù),這里使用余弦函數(shù)。在計算出注意力后,使用核密度估計函數(shù)輸出預(yù)測標(biāo)簽:

(10)

2.3.3 基于元學(xué)習(xí)的小樣本學(xué)習(xí)網(wǎng)絡(luò)

MAML通過指導(dǎo)基本學(xué)習(xí)器的初始化參數(shù)不斷優(yōu)化模型在新任務(wù)上的泛化能力。假設(shè)模型用初始化參數(shù)為φ的參數(shù)化函數(shù)fφ表示,當(dāng)適用到任務(wù)Ti時,模型參數(shù)通過1次或幾次梯度下降更新為φ′i,當(dāng)更新次數(shù)為1時,表達(dá)式為:

φ′i=φ-γ?φLTi(fφ)

(11)

更新步長γ可以是固定的超參數(shù),也可以通過元學(xué)習(xí)獲得。模型的損失函數(shù)為i個任務(wù)的損失函數(shù)之和,模型參數(shù)φ以最小化損失函數(shù)為目標(biāo)進(jìn)行更新。該目標(biāo)可以寫為:

(12)

模型參數(shù)φ根據(jù)損失函數(shù)進(jìn)行更新:

(13)

其中:β是元更新步長。

3 實驗結(jié)果與分析

3.1 評價指標(biāo)

本文采用準(zhǔn)確率(A)和F1值(F1)評價模型性能。準(zhǔn)確率為正確預(yù)測出來的樣本數(shù)量占所有的樣本的比例,如式(14)所示:

(14)

其中:NTP代表被模型預(yù)測為正類的正樣本;NTN代表被模型預(yù)測為負(fù)類的負(fù)樣本;NFP代表被模型預(yù)測為正類的負(fù)樣本;NFN代表被模型預(yù)測為負(fù)類的正樣本。

F1值是精準(zhǔn)度和召回率的調(diào)和平均數(shù),認(rèn)為召回率和精確度同等重要。精準(zhǔn)度(P)、召回率(R)以及F1值的定義為:

(15)

(16)

(17)

3.2 數(shù)據(jù)集與參數(shù)調(diào)優(yōu)

模型使用PyTorch框架來實現(xiàn),計算機型號為 Intel?Xeon?Platinum 8255C CPU@2.50 GHz。仿真實驗采用Omniglot 數(shù)據(jù)集來完成。Omniglot數(shù)據(jù)集是小樣本學(xué)習(xí)領(lǐng)域常用的數(shù)據(jù)集,包含了1 623類字符圖片,每類字符包含20張樣本圖片,共32 460張圖片。

參數(shù)調(diào)優(yōu)對模型的訓(xùn)練結(jié)果至關(guān)重要,本文針對學(xué)習(xí)率和迭代次數(shù)進(jìn)行了調(diào)優(yōu)嘗試,下面給出3種小樣本學(xué)習(xí)的調(diào)試結(jié)果,如圖3～圖5所示。

圖3 原型網(wǎng)絡(luò)的參數(shù)調(diào)優(yōu)結(jié)果Fig.3 Parameter tuning results of the prototype network

圖4 匹配網(wǎng)絡(luò)的參數(shù)調(diào)優(yōu)結(jié)果Fig.4 Parameter tuning results of the matching network

圖5 MAML的參數(shù)調(diào)優(yōu)結(jié)果Fig.5 Parameter tuning results of MAML

本實驗圍繞5-way 1-shot問題展開。從圖3～圖5可以看出,當(dāng)?shù)螖?shù)設(shè)置為40次時,3種小樣本學(xué)習(xí)方法均可以達(dá)到較好的性能。根據(jù)調(diào)試結(jié)果選擇最優(yōu)的學(xué)習(xí)率,將原型網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為0.01,匹配網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為0.001,MAML的學(xué)習(xí)率設(shè)置為0.5,使模型訓(xùn)練效果達(dá)到最佳。

3.3 小樣本學(xué)習(xí)的性能對比

為評估3種小樣本學(xué)習(xí)的性能,本文分別對3種方法進(jìn)行比較分析。表1所示為基于無融合數(shù)據(jù)和采用不同張量融合策略輸出的融合張量數(shù)據(jù),原型網(wǎng)絡(luò)、匹配網(wǎng)絡(luò)和MAML作為訓(xùn)練網(wǎng)絡(luò),得到模型最終的訓(xùn)練結(jié)果。其中“√”表示對應(yīng)的張量融合策略和訓(xùn)練網(wǎng)絡(luò)的組合。從表1可以看到,3種小樣本學(xué)習(xí)對非融合數(shù)據(jù)進(jìn)行訓(xùn)練,原型網(wǎng)絡(luò)和MAML的準(zhǔn)確率分別達(dá)到了91.6%和91.0%,優(yōu)于匹配網(wǎng)絡(luò)達(dá)到的89.6%準(zhǔn)確率。當(dāng)采用逆分解張量融合模型時,MAML作為訓(xùn)練網(wǎng)絡(luò)輸出的準(zhǔn)確率為95.5%,相較于基于無融合數(shù)據(jù)提升了4.5個百分點,而原型網(wǎng)絡(luò)和匹配網(wǎng)絡(luò)訓(xùn)練的準(zhǔn)確率有不同程度的降低,分別降低了17和6.5個百分點。當(dāng)采用CPD數(shù)據(jù)融合模型時,相較于基于無融合數(shù)據(jù)的MAML和匹配網(wǎng)絡(luò)的準(zhǔn)確率分別提高1.3和1.1個百分點,原型網(wǎng)絡(luò)則降低了7.9個百分點。綜合以上結(jié)果,基于張量融合策略的不同小樣本學(xué)習(xí)方法中,MAML得到了不同程度的提升,而原型網(wǎng)絡(luò)和匹配網(wǎng)絡(luò)的訓(xùn)練結(jié)果并不理想。

表1 不同方法的實驗結(jié)果對比Table 1 Comparison of experimental results among different methods

圖6所示為不同方法的實驗結(jié)果。從圖6可以看出,實線代表原網(wǎng)絡(luò),虛線和點畫線分別代表基于CPD數(shù)據(jù)融合模型和逆分解張量融合模型的小樣本學(xué)習(xí)方法的訓(xùn)練結(jié)果。MAML的收斂速度優(yōu)于原型網(wǎng)絡(luò)和匹配網(wǎng)絡(luò),基于張量融合策略的MAML模型訓(xùn)練曲線較原MAML網(wǎng)絡(luò)更加平滑,且準(zhǔn)確率更優(yōu)。而原型網(wǎng)絡(luò)針對融合張量數(shù)據(jù)的訓(xùn)練結(jié)果不太理想,基于2種融合策略的準(zhǔn)確率有不同程度的下降,且基于逆分解張量融合的訓(xùn)練曲線在收斂時變得震蕩曲折。匹配網(wǎng)絡(luò)的收斂速度較慢,在結(jié)合了張量融合策略后,收斂速度變慢,且在最優(yōu)解附近的震蕩幅度變大。

圖6 不同方法的實驗結(jié)果Fig.6 Experimental results among differnet methods

3.4 基于張量計算的元學(xué)習(xí)模型

從第3.3節(jié)的結(jié)果可得出,在結(jié)合多維綜合計算通用模型的小樣本學(xué)習(xí)方法中,MAML的性能最優(yōu)。因此,本節(jié)針對基于2種張量融合策略的元學(xué)習(xí)算法MAML展開分析。

圖7和圖8分別所示為采用2種張量融合方案的元學(xué)習(xí)模型和不采用融合策略的元學(xué)習(xí)模型在準(zhǔn)確率和F1值的性能對比。散點圖中的每個點對應(yīng)1個任務(wù),在圖7和圖8中,散點圖大多位于坐標(biāo)軸的右上方,這表明MAML在大多數(shù)現(xiàn)有的任務(wù)上表現(xiàn)優(yōu)良。

圖7 基于不同張量融合方案的MAML模型準(zhǔn)確率Fig.7 Accuracy of MAML model based on different tensor fusion schemes

圖8 基于不同張量融合方案的MAML模型F1值Fig.8 F1 values of MAML model based on different tensor fusion schemes

以實線為基準(zhǔn),在圖7的45個任務(wù)中,基于逆分解的MAML模型在42個任務(wù)的準(zhǔn)確率優(yōu)于原模型,基于CPD的MAML模型在29個任務(wù)的準(zhǔn)確率優(yōu)于原模型。在圖8中,基于逆分解的MAML模型在41個任務(wù)上的F1值優(yōu)于原模型,基于CPD的MAML模型在29個任務(wù)上的F1值優(yōu)于原模型。因此,在大多數(shù)任務(wù)上,基于逆分解張量融合方案比基于CPD融合方案的元學(xué)習(xí)模型的結(jié)合度更好。

4 結(jié)束語

針對現(xiàn)有智慧交通系統(tǒng)中在小樣本場景下數(shù)據(jù)缺失的問題,本文設(shè)計一種基于張量計算和小樣本學(xué)習(xí)的通用計算模型。采用張量計算對多維異構(gòu)數(shù)據(jù)進(jìn)行處理,基于數(shù)據(jù)的時空相關(guān)性獲得融合數(shù)據(jù)張量。為應(yīng)對因數(shù)據(jù)稀缺導(dǎo)致傳統(tǒng)模型性能下降的現(xiàn)象,引入小樣本學(xué)習(xí),并分析了基于度量學(xué)習(xí)和元學(xué)習(xí)2類小樣本學(xué)習(xí)方法與張量計算通用模型融合后的綜合模型可信度的相關(guān)問題。實驗結(jié)果表明,相較于2種基于度量的小樣本學(xué)習(xí)模型:原型網(wǎng)絡(luò)和匹配網(wǎng)絡(luò),基于元學(xué)習(xí)的小樣本學(xué)習(xí)模型MAML和多維綜合計算通用模型結(jié)合后的可信度更高,并且基于不同的張量融合方案,元學(xué)習(xí)模型性能會得到不同程度的提升。由于特征提取網(wǎng)絡(luò)對模型的訓(xùn)練結(jié)果有很大的影響,因此后續(xù)將對特征提取網(wǎng)絡(luò)進(jìn)行改進(jìn),以進(jìn)一步提高通用計算模型的性能。