王 松,買日旦·吾守爾,古蘭拜爾·吐爾洪,段淑敏

(新疆大學(xué) 信息科學(xué)與工程學(xué)院,新疆 烏魯木齊 830046)

0 引言

機(jī)器學(xué)習(xí)指計(jì)算機(jī)在數(shù)據(jù)中自動學(xué)習(xí),獲取某種知識[1]。機(jī)器學(xué)習(xí)方法通過樣本X,Y～P估計(jì)固定概率分布P,P稱為一個(gè)任務(wù),方法從樣本中學(xué)習(xí)到關(guān)于P的參數(shù)θ被稱為知識,利用學(xué)到的知識可以構(gòu)建模型f。一個(gè)模型對應(yīng)一個(gè)任務(wù)成為機(jī)器學(xué)習(xí)主流范式,但這種學(xué)習(xí)范式難以適應(yīng)持續(xù)的學(xué)習(xí)過程: 知識無法在學(xué)習(xí)新任務(wù)時(shí)逐漸積累,也難以在不同任務(wù)間遷移利用,因此被稱為孤立學(xué)習(xí)[2]。而人能夠持續(xù)學(xué)習(xí),積累并利用知識幫助學(xué)習(xí)新任務(wù)。受此啟發(fā)Thrun等人[3]提出終身學(xué)習(xí)(Lifelong Learning,LL)概念。旨在順序地學(xué)習(xí)一系列任務(wù),每學(xué)習(xí)一個(gè)任務(wù)之后,知識被保留下來,用于幫助后續(xù)新任務(wù)的學(xué)習(xí)[2-3]。

終身學(xué)習(xí)方法很適合運(yùn)用在自然語言處理(Natural Language Processing,NLP)任務(wù)中[2]。從自然語言本身特性看: 語言的含義、句法和語法在大多數(shù)領(lǐng)域和任務(wù)中是相似的;NLP任務(wù)大都以文字為載體,不同的任務(wù)之間也存在相關(guān)的語義、語法、句法信息。終身學(xué)習(xí)方法能夠在不同任務(wù)間積累和利用這些相關(guān)信息,實(shí)現(xiàn)知識積累與遷移。從NLP應(yīng)用場景看: 現(xiàn)實(shí)中熱點(diǎn)事件、話題不斷產(chǎn)生,表達(dá)方式、詞義也在不斷變化。情感分類的數(shù)據(jù)集通常來自社交媒體或電商平臺,這種現(xiàn)象更加顯著。孤立學(xué)習(xí)方法在模型訓(xùn)練完成后難以持續(xù)更新,終身學(xué)習(xí)方法能夠不斷學(xué)習(xí)以應(yīng)對變化。Xia[4]提出終身投票方法LLV(Lifelong Voting),Chen[5]提出終身情感分類方法LSC(Lifelong Sentiment Classification),Hong[6]提出半監(jiān)督終身情感分類方法,這些方法都在一定程度上克服了傳統(tǒng)孤立情感分類方法的局限,實(shí)現(xiàn)了任務(wù)的持續(xù)學(xué)習(xí)和知識積累與遷移。但以上方法僅能實(shí)現(xiàn)從舊任務(wù)到新任務(wù)的知識遷移,即正向知識遷移。同時(shí)我們注意到中文領(lǐng)域尚無終身情感分類研究。針對上述問題,本文構(gòu)建了中文終身情感分類數(shù)據(jù)集,該數(shù)據(jù)庫包含21個(gè)不同領(lǐng)域的商品評論,作為21個(gè)不同的情感分類任務(wù),并將具備雙向知識遷移能力的終身情感分類算法LNB[7]用于中文情感分類。本文提出領(lǐng)域注意力概念,用于改進(jìn)LNB算法,根據(jù)任務(wù)間的情感相似度為知識庫中的知識賦予不同權(quán)重,改進(jìn)知識遷移能力,改進(jìn)后的方法記為LNB-DA。

與孤立學(xué)習(xí)方法一個(gè)任務(wù)一個(gè)模型的設(shè)定不同,終身學(xué)習(xí)研究任務(wù)間的知識遷移,故將不同領(lǐng)域的情感分類任務(wù)組成一個(gè)任務(wù)序列S1,S2,…,St-1,St,其中每個(gè)任務(wù)Si～Pi,對序列中的任務(wù)依次進(jìn)行學(xué)習(xí)。這些任務(wù)間存在相關(guān)的語義信息,但部分詞也存在情感傾向的差異,例如,“快”這個(gè)字在“電腦運(yùn)行快”和“電池消耗快”兩句評價(jià)中情感傾向是不同的。孤立學(xué)習(xí)方法會為每個(gè)任務(wù)單獨(dú)構(gòu)建分類器,任務(wù)間的相關(guān)信息無法被利用。LNB則依次學(xué)習(xí)序列中的每一個(gè)任務(wù),將學(xué)習(xí)過程中獲得的相關(guān)信息存儲起來,并從中搜尋合適的知識來幫助新任務(wù)學(xué)習(xí)(正向知識遷移)。知識在學(xué)習(xí)過程中不斷積累,使得舊任務(wù)的性能也進(jìn)一步提升(反向知識遷移)。實(shí)驗(yàn)表明,LNB在中文數(shù)據(jù)集上能夠積累知識并實(shí)現(xiàn)正向知識遷移和反向知識遷移。本文方法LNB-DA在新任務(wù)評估中負(fù)類F1值提升了0.15%～23.41%。

本文貢獻(xiàn): ①介紹了終身學(xué)習(xí)的相關(guān)概念和研究現(xiàn)狀; ②建立了一個(gè)中文終身情感分類數(shù)據(jù)集; ③將LNB用于中文,并提出本文方法LNB-DA; ④在實(shí)驗(yàn)中對比了多種深度學(xué)習(xí)方法并指出其中的不足。

1 研究現(xiàn)狀

關(guān)于知識分享、遷移的研究已經(jīng)開展多年并形成了幾個(gè)獨(dú)立的領(lǐng)域,如圖1所示。

圖1 四種學(xué)習(xí)范式示意

(1) 遷移學(xué)習(xí)[圖1(d)]是目前機(jī)器學(xué)習(xí)中一個(gè)熱門研究主題,通常涉及源領(lǐng)域和目標(biāo)領(lǐng)域: 源領(lǐng)域有大量的訓(xùn)練數(shù)據(jù)而目標(biāo)領(lǐng)域訓(xùn)練數(shù)據(jù)較少。遷移學(xué)習(xí)利用源領(lǐng)域數(shù)據(jù)幫助目標(biāo)領(lǐng)域?qū)W習(xí)[8]。與終身學(xué)習(xí)的不同在于: 遷移學(xué)習(xí)只進(jìn)行從源領(lǐng)域到目標(biāo)領(lǐng)域的一次知識遷移,其中并不涉及知識積累,這個(gè)遷移通常是單向的。終身學(xué)習(xí)則能夠積累知識,并將知識在任務(wù)間雙向遷移[9]。

(2) 多任務(wù)學(xué)習(xí)[圖1(c)]能同時(shí)學(xué)習(xí)幾個(gè)相關(guān)聯(lián)的任務(wù),利用任務(wù)間的相關(guān)信息提升性能[10]。它和終身學(xué)習(xí)都希望利用任務(wù)間的相關(guān)信息提升學(xué)習(xí)性能,但多任務(wù)學(xué)習(xí)僅研究一次性學(xué)習(xí)多個(gè)任務(wù)的情況,而終身學(xué)習(xí)則要求持續(xù)地學(xué)習(xí)新任務(wù)。

(3) 在線學(xué)習(xí)[圖1(b)]是相較離線學(xué)習(xí)而提出的學(xué)習(xí)范式。離線學(xué)習(xí)中數(shù)據(jù)集通常在訓(xùn)練開始前全部準(zhǔn)備好,在線學(xué)習(xí)則在一個(gè)持續(xù)產(chǎn)生新數(shù)據(jù)的數(shù)據(jù)流上進(jìn)行學(xué)習(xí),模型在學(xué)習(xí)中根據(jù)數(shù)據(jù)流的變化進(jìn)行持續(xù)調(diào)整[11]。它假設(shè)所有的數(shù)據(jù)均來自一個(gè)分布(任務(wù)),終身學(xué)習(xí)則能學(xué)習(xí)多個(gè)任務(wù)。

終身學(xué)習(xí)方法根據(jù)任務(wù)形式可分兩類[12]:

(1)類增加方法: 如圖2(a)所示,假設(shè)有一個(gè)數(shù)據(jù)流,它從一個(gè)會隨時(shí)間緩慢或突然變化的分布P上采樣,訓(xùn)練階段需要持續(xù)地在數(shù)據(jù)流上進(jìn)行學(xué)習(xí)。

圖2 終身學(xué)習(xí)方法中不同的任務(wù)形式

(2)任務(wù)增加方法: 如圖2(b)所示,假設(shè)有一個(gè)任務(wù)序列,其中每個(gè)任務(wù)的分布P都不同。訓(xùn)練階段依次學(xué)習(xí)任務(wù)序列上的每個(gè)任務(wù)。

終身學(xué)習(xí)又被深度學(xué)習(xí)研究者稱為持續(xù)學(xué)習(xí)(Continual Learning,CL)。當(dāng)神經(jīng)網(wǎng)絡(luò)持續(xù)地學(xué)習(xí)任務(wù)時(shí),新任務(wù)會調(diào)整網(wǎng)絡(luò)權(quán)重,從而影響網(wǎng)絡(luò)對舊任務(wù)的表示,降低網(wǎng)絡(luò)在舊任務(wù)上的性能,這種現(xiàn)象稱為災(zāi)難遺忘(Catastrophic Forgetting,CF)[13-14]。

很多終身學(xué)習(xí)方法都致力于減輕CF現(xiàn)象: Rebuffi等人[15]提出類增加方法iCaRL(Incremental Classifier and Rerpreseneation Learning),在學(xué)習(xí)過程中將每個(gè)類中有代表性的樣本存儲下來,并將存儲的樣本與新任務(wù)樣本一同訓(xùn)練。此類方法僅存儲了訓(xùn)練樣本,沒有顯式的知識積累,這類方法性能上限是將所有原始數(shù)據(jù)聯(lián)合訓(xùn)練,同時(shí)僅存儲部分樣本時(shí)容易出現(xiàn)過擬合。Shin等人[16]提出類增加方法DGR(Deep Generative Replay),它不存儲訓(xùn)練樣本,而是利用任務(wù)樣本訓(xùn)練生成器,再用生成器生成偽樣本,與新任務(wù)樣本一同訓(xùn)練。但隨著任務(wù)數(shù)量增加,訓(xùn)練生成器會變得越發(fā)復(fù)雜。Lopez-Paz等人[17]提出任務(wù)增加方法GEM(Gradice Episodic Memory),通過將新任務(wù)梯度更新方向限制在舊任務(wù)梯度劃定的范圍內(nèi),約束新任務(wù)的參數(shù)更新盡量不影響舊任務(wù)。Li等人[18]提出類增加方法LwF(Learning without Foryeetry),通過知識蒸餾來增加輸出的穩(wěn)定性,在學(xué)習(xí)新任務(wù)的同時(shí)保持模型在舊任務(wù)上的準(zhǔn)確率。Kirkpatrick等人[19]提出EWC(Elastic Weight Consolidation),它對損失函數(shù)進(jìn)行改進(jìn),在學(xué)習(xí)過程中記錄每個(gè)參數(shù)的費(fèi)雪信息,在學(xué)習(xí)新任務(wù)時(shí)根據(jù)費(fèi)雪信息有選擇地對重要的參數(shù)進(jìn)行約束從而減輕對舊任務(wù)的遺忘。Rusu等人[20]提出任務(wù)增加方法PNN(Progressive Neural Networks),通過動態(tài)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)的方式將參數(shù)的不同子集分配給不同的任務(wù)。

另一些終身學(xué)習(xí)研究則聚焦于知識遷移,通過顯式地構(gòu)造出各個(gè)模塊,實(shí)現(xiàn)知識積累、知識挖掘等功能: Chen等人[5]提出任務(wù)增加方法LSC(Lifelong Sentiment Classification),用于情感分類,構(gòu)建了知識庫、知識挖掘器、基于知識的學(xué)習(xí)器三大組件,實(shí)現(xiàn)知識的積累與利用,但LSC只能實(shí)現(xiàn)正向知識遷移。Wang等人[7]提出任務(wù)增加方法LNB(Lifelong Naive Bayes),它在LSC基礎(chǔ)上改進(jìn)知識挖掘策略,具有正向知識遷移和反向知識遷移能力。Hong等人[6]提出任務(wù)增加方法SLLSC(Lifelong Semi-supervied Learning for Sentiment Classification),充分利用終身學(xué)習(xí)架構(gòu),在新任務(wù)上實(shí)現(xiàn)了半監(jiān)督學(xué)習(xí)。Lv 等人[21]提出了任務(wù)增加方法SRK(Sentiment Classification by Leveraging the Retained Knowledge),利用GRU分別構(gòu)建出知識保留網(wǎng)絡(luò)和特征提取網(wǎng)絡(luò),利用融合組件進(jìn)行知識可塑性和穩(wěn)定性權(quán)衡。Ke等人[12]提出任務(wù)增加方法KAN,它包含持續(xù)學(xué)習(xí)網(wǎng)絡(luò)和可達(dá)性網(wǎng)絡(luò),知識存儲在持續(xù)學(xué)習(xí)網(wǎng)絡(luò)中,可達(dá)性網(wǎng)絡(luò)根據(jù)任務(wù)決定哪些知識將被使用。

近幾年,終身學(xué)習(xí)方法運(yùn)用于情感分類,取得了相當(dāng)?shù)倪M(jìn)展: Xia等人[4]提出基于單任務(wù)分類器投票的LLV方法,用于大規(guī)模社交媒體情感分析,同時(shí)作者發(fā)現(xiàn)在大規(guī)模社交媒體情感分析上并不是訓(xùn)練數(shù)據(jù)越多模型性能越好。Sun等人[22]提出任務(wù)增加方法LAMOL,在預(yù)訓(xùn)練語言模型上應(yīng)用終身學(xué)習(xí)方法,通過在訓(xùn)練新任務(wù)時(shí)加入生成的偽樣本,使BERT能同時(shí)在情感分類、閱讀理解、機(jī)器問答任務(wù)上保持良好性能,僅比理論性能上限(多任務(wù)學(xué)習(xí))低2%～3%。本節(jié)介紹的EWC 、LSC、LNB、SLLSC、SRK、KAN也都能夠用來解決情感分類問題。與傳統(tǒng)情感分類方法相比,終身學(xué)習(xí)情感分類研究相對較少。但在“如何讓機(jī)器持續(xù)地學(xué)習(xí)”這一全新的命題下,終身學(xué)習(xí)概念與主流方法飛速融合,涌現(xiàn)出一批全新的架構(gòu)、方法。這些終身學(xué)習(xí)方法探索著情感分類的發(fā)展方向,為情感分類中可能出現(xiàn)的挑戰(zhàn)做好了準(zhǔn)備。

2 終身樸素貝葉斯

2.1 LNB架構(gòu)

LNB由Wang[7]于2019年提出并應(yīng)用在英文領(lǐng)域,是一種任務(wù)增加的終身學(xué)習(xí)方法,將各品類的商品評價(jià)視為不同的情感分類任務(wù)依次學(xué)習(xí),重點(diǎn)研究任務(wù)間的知識遷移,使用Chen等人[2]提出的終身學(xué)習(xí)架構(gòu)來解決知識的獲取、存儲、搜索、利用。該架構(gòu)包含三個(gè)組件: 基于知識的學(xué)習(xí)器、知識庫、知識挖掘器。其中,學(xué)習(xí)器實(shí)現(xiàn)知識獲取使用,知識庫負(fù)責(zé)存儲,知識挖掘器搜尋對當(dāng)前學(xué)習(xí)有幫助的知識。

2.1.1 任務(wù)管理器

現(xiàn)有任務(wù)序列S1、S2、…、St-1、St,其中每個(gè)任務(wù)代表一個(gè)品類的商品評論;在訓(xùn)練樣本X、C中,X代表一條用戶評論;詞匯表Vi為X中不相同詞w的集合,C為評論的情感標(biāo)簽,本文探討二分類情感分類,C∈+,-,分別代表積極情感與消極情感。任務(wù)序列中的任務(wù)S依次輸入基于知識的學(xué)習(xí)器。當(dāng)前正在學(xué)習(xí)的任務(wù)St稱為新任務(wù)或當(dāng)前任務(wù),而學(xué)習(xí)過的任務(wù)Sp(1≥p≥n-1)稱為舊任務(wù)或歷史任務(wù)。

2.1.2 基于知識的學(xué)習(xí)器

基于知識的學(xué)習(xí)器(Knowledge Based Learner,KBL)采用樸素貝葉斯文本分類(Na?ve Bayesian,NB)算法[23],它與終身學(xué)習(xí)有著天然的契合。通過計(jì)算每個(gè)詞w∈V在情感類別c中的條件概率P(w|cj)和每個(gè)類的先驗(yàn)概率P(cj),得到一個(gè)基于多重正態(tài)分布的分類器,如式(1)所示。

(1)

其中,d為一個(gè)樣本,條件概率P(w|cj)由當(dāng)前任務(wù)中詞計(jì)數(shù)進(jìn)行估計(jì),如式(2)所示。

(2)

其中,λ用于平滑以解決零頻詞問題,Nc,w是詞w在c類中出現(xiàn)次數(shù),通過這種統(tǒng)計(jì),我們可以知道每個(gè)詞在各情感類別中出現(xiàn)的次數(shù),從而得知其情感傾向。Nc,w是構(gòu)建分類器的關(guān)鍵參數(shù),LNB通過調(diào)整Nc,w使其他任務(wù)中的詞計(jì)數(shù)能夠以先驗(yàn)的形式傳遞給當(dāng)前任務(wù)。

2.1.3 知識庫

知識庫(Knowledge Base,KB)是LNB的關(guān)鍵組件,每個(gè)任務(wù)在訓(xùn)練時(shí)學(xué)到的知識被存儲進(jìn)知識庫,知識庫中包含了當(dāng)前任務(wù)知識和歷史任務(wù)知識。當(dāng)前任務(wù)St的訓(xùn)練數(shù)據(jù)到達(dá)KBL,KBL在訓(xùn)練中統(tǒng)計(jì)兩類信息作為當(dāng)前任務(wù)的知識并存儲:

(1) 訓(xùn)練數(shù)據(jù)中每一個(gè)詞w∈Vt在正類和負(fù)類中的詞計(jì)數(shù)N+,w、N-,w;

2.1.4 知識挖掘器

KM在知識庫的基礎(chǔ)上進(jìn)一步搜尋三種知識:

(3)

(4)

KM將利用以上三種知識找出兩類情感詞:

表1 知識挖掘器調(diào)整詞計(jì)數(shù)過程

2.1.5 LNB學(xué)習(xí)過程

2.2 領(lǐng)域注意力機(jī)制

相關(guān)研究[24-26]已經(jīng)證明了注意力機(jī)制在情感分類任務(wù)中的有效性。本文利用領(lǐng)域注意力機(jī)制對LNB進(jìn)行改進(jìn),提出基于領(lǐng)域注意力機(jī)制的終身樸素貝葉斯LNB-DA。

我們注意到,在知識挖掘時(shí)LNB為每個(gè)領(lǐng)域(不同領(lǐng)域的情感分類任務(wù))的知識賦予相同的權(quán)重,但在實(shí)際中領(lǐng)域間的相似度也存在差異,而相似的領(lǐng)域間可共享的知識較多,反之較少。例如,手機(jī)和電視較為相似,其評價(jià)的用詞與表達(dá)也較為相似,而冷凍食品和化妝品間不相似,二者評論差異較大。因此可以在知識挖掘時(shí)為每個(gè)領(lǐng)域的知識根據(jù)與當(dāng)前領(lǐng)域的相似度分配對應(yīng)權(quán)重,這種做法類似于注意力機(jī)制,因此我們稱其為領(lǐng)域注意力機(jī)制。

LNB-DA在KB和KM之間加入了領(lǐng)域注意力模塊(Domain Attention,DA),如圖4所示。KB將知識傳遞給DA,DA分別計(jì)算當(dāng)前任務(wù)知識和每個(gè)歷史任務(wù)知識的相似度,并以此為每個(gè)歷史任務(wù)知識分配權(quán)重。

2.2.1 情感分布

最后,兩個(gè)任務(wù)SD間的余弦相似度,式(5)可以視為相似度。

(5)

2.2.2 領(lǐng)域注意力

本文將知識庫中當(dāng)前任務(wù)知識與歷史任務(wù)知識分別比較相似度,若某個(gè)歷史任務(wù)SD與當(dāng)前任務(wù)SD差較大,那么這個(gè)歷史任務(wù)的參考價(jià)值較小;反之某個(gè)歷史任務(wù)SD與當(dāng)前任務(wù)SD相差較小,那么這個(gè)歷史任務(wù)的參考價(jià)值較大,因此根據(jù)SD相似度為每個(gè)歷史任務(wù)知識分配權(quán)重αi,t,如式(6)所示。

αi,t=Sim(SDi,SDt)

(6)

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

本文構(gòu)建了一個(gè)適用于終身學(xué)習(xí)設(shè)定的中文情感分類數(shù)據(jù)集(1)https://github.com/ws719547997/LNB-DA: 數(shù)據(jù)采集自京東網(wǎng)21個(gè)不同品類的商品評論,作為21個(gè)不同領(lǐng)域的二分類情感分類任務(wù)。每個(gè)任務(wù)的評論數(shù)、長度分布、差評占比見表2與圖5。

表2 數(shù)據(jù)集信息

圖5 數(shù)據(jù)集評論字?jǐn)?shù)分布

數(shù)據(jù)集利用商品評分作為標(biāo)簽,根據(jù)網(wǎng)民的評價(jià)特點(diǎn),將一三星標(biāo)記為消極,四星和五星標(biāo)記為積極,數(shù)據(jù)采集于2020年8—9月和2021年3—4月,預(yù)處理使用Jieba工具分詞后人工校準(zhǔn),去除標(biāo)點(diǎn)、英文、數(shù)字、特殊符號與表情,只保留漢語字符。在品類選擇中,既選擇了智能手機(jī)、筆記本電腦這樣相近的領(lǐng)域,也選取了食品、日用品這樣差距較大的領(lǐng)域,方便對領(lǐng)域之間的關(guān)系做進(jìn)一步研究。數(shù)據(jù)集保留了網(wǎng)絡(luò)商品評論的特點(diǎn): 字?jǐn)?shù)較少且正負(fù)類不均衡。

3.2 實(shí)驗(yàn)設(shè)置

為全面對比LNB和本文方法LNB-DA的學(xué)習(xí)效果,本文設(shè)置新任務(wù)評估和舊任務(wù)評估兩項(xiàng)實(shí)驗(yàn),分別評估前向知識傳遞能力和反向知識傳遞能力。

實(shí)驗(yàn)與機(jī)器學(xué)習(xí)方法NB、SVM[27],深度學(xué)習(xí)方法FastText[28]、TextCNN[29]、TextRNN[30]、DPCNN[31]、Transformer[32],終身學(xué)習(xí)方法EWC、LLV、LSC、SRK進(jìn)行對比。

3.2.1 針對中文語料庫的調(diào)整

不同于英文,中文在詞與詞之間沒有顯式的分隔,需要用啟發(fā)式的分詞方法對句子進(jìn)行切割。在LNB和本文方法上的實(shí)驗(yàn)結(jié)果顯示以詞為單位比以字為單位準(zhǔn)確率提升4%。

同時(shí)本文針對中文商品評論中字?jǐn)?shù)少、詞匯含義多的特點(diǎn),通過網(wǎng)格搜索調(diào)整了知識挖掘器中的歷史情感詞閾值σ=6、領(lǐng)域情感詞閾值γ=5。

3.2.2 參數(shù)設(shè)置

在機(jī)器學(xué)習(xí)方法中: NB參數(shù)設(shè)置同本文方法,SVM參數(shù)設(shè)置遵循文獻(xiàn)[5]。在神經(jīng)網(wǎng)絡(luò)方法中: FastText隱藏層節(jié)點(diǎn)數(shù)為256,提取unigram、bigram、trigram作為特征。其余神經(jīng)網(wǎng)絡(luò)方法均采用預(yù)訓(xùn)練詞向量[33](sgns.char.300d),Dropout設(shè)為0.5。TextCNN設(shè)置256個(gè)卷積核,長度分別為2、3、4以捕捉上下文信息。TextRNN隱藏層節(jié)點(diǎn)為128個(gè),DPCNN為3層,250個(gè)卷積核,Transformer使用5個(gè)注意力頭,兩個(gè)編碼器單元。

在終身學(xué)習(xí)方法中,EWC損失函數(shù)的費(fèi)雪信息正則項(xiàng)權(quán)重設(shè)置為0.4,LLV參數(shù)設(shè)置遵循文獻(xiàn)[5],LSC參數(shù)設(shè)置同本文方法,SRK采用與上文相同的預(yù)訓(xùn)練詞向量。

3.3 新任務(wù)評估

在新任務(wù)評估中,對于終身學(xué)習(xí)方法: 將數(shù)據(jù)集中21個(gè)任務(wù)分別作為當(dāng)前任務(wù),其余20個(gè)任務(wù)作為歷史任務(wù)依次進(jìn)行學(xué)習(xí)。分別計(jì)算模型在當(dāng)前任務(wù)測試集上的準(zhǔn)確率和負(fù)類F1值,將平均值作為結(jié)果。因數(shù)據(jù)集正負(fù)樣本數(shù)不平衡,因此相比準(zhǔn)確率,負(fù)類F1更具參考價(jià)值。

對非終身學(xué)習(xí)方法: 為了對比分析,在實(shí)驗(yàn)中的訓(xùn)練數(shù)據(jù)做了三種劃分:

源領(lǐng)域(Source domain,S): 僅使用當(dāng)前任務(wù)的訓(xùn)練集,可視為常規(guī)的孤立學(xué)習(xí)。

目標(biāo)領(lǐng)域(Target domain,T): 使用所有歷史任務(wù)的訓(xùn)練集。

目標(biāo)領(lǐng)域和源領(lǐng)域(Source domain and Target domain,ST): 使用當(dāng)前任務(wù)和所有歷史任務(wù)的訓(xùn)練集,可視為一種特殊的樣本重復(fù)的終身學(xué)習(xí)方法。

新任務(wù)評估實(shí)驗(yàn)結(jié)果見表3,分析結(jié)果得到如下結(jié)論:

表3 新任務(wù)評估實(shí)驗(yàn)結(jié)果 (單位: %)

(1) LNB與僅使用T訓(xùn)練數(shù)據(jù)的方法對比,負(fù)類F1提升了1.94%～14.17%。特別是LNB優(yōu)于NB-T,說明LNB架構(gòu)內(nèi)知識庫的知識能夠幫助當(dāng)前任務(wù)的學(xué)習(xí),實(shí)現(xiàn)了前向知識遷移。

(2) LNB將歷史任務(wù)的知識存于知識庫中,使用ST訓(xùn)練數(shù)據(jù)的對比方法則可以視作保存了全部歷史任務(wù)訓(xùn)練樣本的終身學(xué)習(xí)方法,LNB的負(fù)類F1比FastText-ST低0.04%,優(yōu)于其他ST方法0.13%～9.82%,特別是LNB優(yōu)于NB-ST,說明LNB的架構(gòu)能夠在歷史任務(wù)中積累和挖掘有用知識。

(3) 本文方法LNB-DA與LNB方法對比(2)在文獻(xiàn)[5]的英文數(shù)據(jù)集上,LNB-DA負(fù)類F1比LNB提升0.22%。,負(fù)類F1提升0.15%,說明領(lǐng)域注意力機(jī)制能夠進(jìn)一步提升模型前向知識遷移的能力。新任務(wù)評估實(shí)驗(yàn)中領(lǐng)域注意力組成的矩陣見圖6(序號見表2),領(lǐng)域注意力機(jī)制能夠度量歷史任務(wù)知識與當(dāng)前任務(wù)知識間的相關(guān)性。

(4) 本文方法LNB-DA的負(fù)類F1高于對比終身學(xué)習(xí)方法0.15%～23.41%,比使用ST訓(xùn)練集的方法高0.11%～9.97%。

3.4 舊任務(wù)評估

為衡量學(xué)習(xí)新任務(wù)時(shí)是否影響模型在舊任務(wù)上的表現(xiàn),文獻(xiàn)[17]提出評價(jià)指標(biāo)BWT(Backward Transfer,BWT)。假設(shè)我們能接觸到任務(wù)序列中所有任務(wù),每當(dāng)學(xué)習(xí)完一個(gè)任務(wù)后測試該模型在所有任務(wù)測試集上的性能表現(xiàn),直至任務(wù)序列中的T個(gè)任務(wù)全部學(xué)習(xí)完成,可以得到一個(gè)矩陣R∈RT×T,矩陣中的每一項(xiàng)Ri,j代表學(xué)習(xí)完任務(wù)S1至Si后模型在任務(wù)Sj測試集上的準(zhǔn)確率,BWT定義如式(6)所示。

(6)

其中,RT,i表示模型已經(jīng)學(xué)習(xí)完全部的T個(gè)任務(wù)在Si上的準(zhǔn)確率。Ri,i表示模型學(xué)習(xí)完S1至Si后,在Si上的準(zhǔn)確率。BWT度量了模型在首次學(xué)習(xí)任務(wù)Si和學(xué)完全部任務(wù)后,在Si測試集上的性能變化。若BWT為負(fù),說明學(xué)習(xí)新任務(wù)降低了模型在舊任務(wù)上的性能,也就是發(fā)生了災(zāi)難遺忘。若BWT為正,說明學(xué)習(xí)新任務(wù)提升了模型在舊任務(wù)上的性能,稱之為發(fā)生了反向知識遷移。

在舊任務(wù)評估中,實(shí)驗(yàn)將評估每種方法在學(xué)習(xí)同一個(gè)任務(wù)序列時(shí)的反向知識遷移能力,BWT結(jié)果如表4。實(shí)驗(yàn)中未加入機(jī)器學(xué)習(xí)方法NB、SVM,LSC因不具備反向知識遷移能力未加入實(shí)驗(yàn)。

LNB的BWT為0.115%,本文方法LNB-DA為0.284%,大于0說明在學(xué)習(xí)完新任務(wù)后,模型能夠利用新任務(wù)知識改善舊任務(wù)性能,具備反向知識遷移能力。由于領(lǐng)域注意力機(jī)制的加入,本文方法的反向知識遷移能力強(qiáng)于LNB。作為對比,神經(jīng)網(wǎng)絡(luò)方法的BWT均為負(fù)值,說明發(fā)生了不同程度的災(zāi)難遺忘現(xiàn)象,學(xué)習(xí)新任務(wù)影響了模型在舊任務(wù)上的表現(xiàn)。終身學(xué)習(xí)方法LLV和SRK的BWT大于傳統(tǒng)神經(jīng)網(wǎng)絡(luò),減輕了災(zāi)難遺忘現(xiàn)象。同時(shí)注意到EWC發(fā)生了嚴(yán)重的災(zāi)難遺忘,說明僅憑借簡單的參數(shù)約束方法難以在復(fù)雜的模型和任務(wù)上達(dá)到理想效果。

在介紹新任務(wù)評估的3.3節(jié)中,結(jié)論(1)、結(jié)論(2)驗(yàn)證了LNB模型終身學(xué)習(xí)架構(gòu)的前向知識遷移能力,結(jié)論(3)、結(jié)論(4)說明了本文方法LNB-DA的優(yōu)勢。在介紹舊任務(wù)評估的3.4節(jié)中,實(shí)驗(yàn)結(jié)果證明了LNB具備反向知識遷移能力和本文方法LNB-DA的提升,驗(yàn)證神經(jīng)網(wǎng)絡(luò)方法在持續(xù)學(xué)習(xí)時(shí)出現(xiàn)的災(zāi)難遺忘現(xiàn)象,證明終身學(xué)習(xí)方法能夠減輕災(zāi)難遺忘,但僅僅通過參數(shù)更新時(shí)的約束無法在復(fù)雜任務(wù)中取得好的效果。

通過兩組對比實(shí)驗(yàn)證明了LNB在中文終身情感分類任務(wù)上的可行性,LNB架構(gòu)能夠?qū)崿F(xiàn)知識的存儲與遷移,具備前向知識遷移、反向知識遷移能力,本文提出的方法LNB-DA在領(lǐng)域注意力機(jī)制的作用下性能進(jìn)一步提升。

4 總結(jié)

在情感分類領(lǐng)域,很多研究都圍繞終身學(xué)習(xí)架構(gòu)展開,LNB作為本文的基礎(chǔ)方法,使用任務(wù)管理器、學(xué)習(xí)器、知識挖掘器、知識庫四個(gè)組件構(gòu)成了一種終身學(xué)習(xí)架構(gòu),有利于幫助研究者理解終身學(xué)習(xí)的概念。同時(shí)因?yàn)槠鋵儆诜巧窠?jīng)網(wǎng)絡(luò)方法,知識庫中的內(nèi)容、知識挖掘的參數(shù)都是直觀的,具備良好的可解釋性。

同時(shí)我們發(fā)現(xiàn),在終身學(xué)習(xí)領(lǐng)域,中外研究存在很大的差距。為了減少這種差距,本文簡單介紹了終身學(xué)習(xí)概念、類別、面臨的問題和解決方法。創(chuàng)建了一個(gè)適用于終身學(xué)習(xí)的多領(lǐng)域中文情感分類數(shù)據(jù)集,驗(yàn)證了終身學(xué)習(xí)方法LNB在中文情感分類任務(wù)上的可行性,并根據(jù)LNB提出基于領(lǐng)域注意力機(jī)制的改進(jìn)方法LNB-DA,進(jìn)一步提升了性能。