王松，買日旦·吾守爾，古蘭拜爾·吐爾洪，薛源，2

（1.新疆大學 信息科學與工程學院，烏魯木齊 830046；2.清華大學 電子工程系，北京 100084）

0 概述

機器學習模型在學習多個任務時通常會出現(xiàn)災難遺忘現(xiàn)象，災難遺忘現(xiàn)象是指在新任務中學習的知識會影響模型原有參數(shù)，降低模型在舊任務上的性能。因此，模型需要訓練完成后才能進行部署應用，然而隨著時間的推移，在訓練集中未出現(xiàn)的新樣本越來越多，導致模型無法正確分類，性能逐漸下降，此時需要在新舊數(shù)據(jù)集上重新訓練模型，但該過程又消耗大量能源、計算資源與人力資源，也給項目管理帶來了巨大挑戰(zhàn)，更重要的是遵循這種孤立的學習方式，難以使模型將新舊知識融會貫通，實現(xiàn)通用人工智能。為解決上述問題，THRUN［1］于1995 年提出持續(xù)學習（Continual Learning，CL）概念。自提出以來，持續(xù)學習已經(jīng)在計算機視覺（Computer Vision，CV）、自然語言處理（Natural Language Processing，NLP）、強化學習等領(lǐng)域得到廣泛應用。由于情感分類是NLP 中的基礎(chǔ)任務，因此很多研究圍繞情感分類任務開展，主流網(wǎng)絡均能應用于該任務并在測試中取得了較好的性能表現(xiàn)［2］，但在實際應用中效果并不理想，面臨知識的保留與遷移、領(lǐng)域適應等難題。CHEN等［3］嘗試將持續(xù)學習與情感分類相結(jié)合來解決這些問題，并且之后幾年國內(nèi)外涌現(xiàn)出了一系列相關(guān)領(lǐng)域的研究成果。

在情感分類和圖片分類這兩種任務中，對于任務序列中分類任務的定義是不同的，根據(jù)任務的定義不同發(fā)展出類持續(xù)學習（Class Continual Learning，CCL）和任務持續(xù)學 習（Task Continual Learning，TCL）［4-5］。類增加學習假設任務序列中每個任務包含不同的類別。系統(tǒng)僅使用一個分類器來學習所有任務，當新的任務到來時，模型需要能夠分類迄今為止在訓練集中未出現(xiàn)的所有樣本。任務增加學習假設任務序列中的每一個任務都是獨立的分類任務。這些分類任務的類別可以是相同的也可以是不同的，每一個任務都有對應的分類器，在測試時測試樣本包含任務序列的標識，以幫助模型使用對應的分類器對其進行分類。因為分類器的設置不同，所以進一步產(chǎn)生了研究目標的差異。CCL 研究在分類器上不斷增加新的類別，因此側(cè)重減輕學習過程中的災難遺忘。TCL 為每個任務訓練獨立的分類器，因此側(cè)重分類器的知識積累與分類器之間的知識遷移。根據(jù)持續(xù)學習在計算機視覺和自然語言處理領(lǐng)域現(xiàn)有的研究成果，將其主要分為基于樣本重復、基于正則化、基于動態(tài)網(wǎng)絡結(jié)構(gòu)和基于知識架構(gòu)4 類持續(xù)學習方法［2，6-7］。

基于樣本重復的持續(xù)學習方法在學習過程中會存儲舊任務的部分樣本或者關(guān)于樣本的信息，在學習新任務時進行重復學習。該類方法根據(jù)任務樣本如何產(chǎn)生又可分為兩類：第一類將任務樣本直接存儲以備后用；第二類利用任務樣本訓練生成模型，在需要樣本時利用生成模型輸出偽樣本。iCaRL［8］直接保存代表性樣本，并在學習新任務時將這些樣本進行重復學習。GEM［9］使用存儲的樣本來限制新模型中梯度更新的方向。MBPA++［10］存儲所有訓練樣本，并在推理時尋找N個最相似的樣本重新微調(diào)模型。DGR［11］和LAMOL［12］都使用舊任務數(shù)據(jù)訓練一個生成模型，然后在新任務訓練時利用生成模型生成偽樣本。

基于正則化的持續(xù)學習方法會在損失函數(shù)中增加額外的正則項，通過限制參數(shù)更新的方式在學習新任務的同時保留舊任務參數(shù)，代表方法如EWC［13］、IMM［14］、LwF［15］和LFL［16］。EWC根據(jù)損失函數(shù)中的Fisher 信息正則項有選擇地更新模型參數(shù)，并使模型傾向于保留對舊任務重要的參數(shù)。IMM 訓練新模型并根據(jù)不同策略將新舊模型合并。LwF 將新舊模型的Softmax 層相加取平均值并計算知識蒸餾損失。LFL［16］將網(wǎng)絡最后一層抽取出來，用歐氏距離作為正則項度量特征之間的差別。

基于動態(tài)網(wǎng)絡結(jié)構(gòu)的持續(xù)學習方法也被稱為參數(shù)隔離方法［2］，因為其目的是根據(jù)不同的任務動態(tài)調(diào)節(jié)網(wǎng)絡結(jié)構(gòu)，從而實現(xiàn)任務間部分參數(shù)的隔離。該類方法根據(jù)網(wǎng)絡規(guī)模是否固定分為兩類。PathNet［17］和任務門控注意力（Hard Attention on Task，HAT）機制［18］都使用固定的網(wǎng)絡規(guī)模，并且為每個任務動態(tài)地分配部分網(wǎng)絡，在學習新任務時，先前任務的參數(shù)會被Mask 屏蔽，其中PathNet 對參數(shù)進行屏蔽，HAT 對神經(jīng)元進行屏蔽。PNN［19］會為每個新任務單獨訓練一列網(wǎng)絡，網(wǎng)絡規(guī)模會不斷擴大，當新任務到來時就會新增一列，原有列的輸出也會作為先驗知識輸入給新的列。

基于知識架構(gòu)的持續(xù)學習方法主要應用在情感分類中。LSC［3］將終身學習用于情感分類任務，并設計終生機器學習架構(gòu)，包含任務管理器、學習器、知識庫和知識挖掘器。LNB［20］改進了LSC 的知識庫內(nèi)容和知識挖掘策略。LNB-DA［21］在中文數(shù)據(jù)集上進行了擴展，并在知識挖掘中提出領(lǐng)域注意力機制。SRK［22］使用門控循環(huán)單元（Gated Recurrent Unit，GRU）構(gòu)建知識保留網(wǎng)絡、特征提取網(wǎng)絡和銜接兩者的融合網(wǎng)絡。KAN［5］擁有一個持續(xù)學習主網(wǎng)絡和一個基于動態(tài)網(wǎng)絡架構(gòu)的知識庫控制網(wǎng)絡。BLAN［23］將LNB 中的知識庫和層次注意力網(wǎng)絡相結(jié)合。

本文基于文獻［21］研究成果，提出一種基于知識架構(gòu)的持續(xù)學習中文情感分類方法，并構(gòu)建了知識保留網(wǎng)絡（Knowledge Retention Network，KRN）和知識挖掘網(wǎng)絡（Knowledge Mining Network，KMN）。

1 基于知識保留與挖掘的持續(xù)學習方法

在情感分類任務中，單一模型難以適應多個特定的領(lǐng)域，因此將不同領(lǐng)域的商品評論數(shù)據(jù)視為不同的任務組成一個任務序列。模型依次學習任務序列中的每一個任務，利用持續(xù)學習方法緩解災難遺忘現(xiàn)象，實現(xiàn)知識遷移。

知識保留與挖掘網(wǎng)絡（Knowledge Retention and Mining network，KRM）設置了知識保留和知識挖掘兩個子網(wǎng)絡。在任務數(shù)據(jù)被輸入模型后，首先使用參數(shù)固定的BERT 模型轉(zhuǎn)化為特征向量，然后將向量和任務標志t一起輸入知識保留網(wǎng)絡，網(wǎng)絡中包含兩個改進的Transformer［24］編碼器層，使用任務自注意力機制替換原有自注意力機制，從而為每個任務單獨保留一組注意力矩陣參數(shù)，輸出被傳入知識挖掘網(wǎng)絡，該子網(wǎng)絡將HAT 機制與TextCNN［25］中三層全連接層相結(jié)合，最后得到分類結(jié)果。KRM 結(jié)構(gòu)如圖1 所示。

圖1 KRM 結(jié)構(gòu)Fig.1 KRM structure

1.1 知識保留網(wǎng)絡

知識保留網(wǎng)絡由兩個相同的Transformer 編碼器層組成，每層又包含兩個子層：任務自注意力層（Self-Attention）和全連接層。每個子層的輸出如式（1）所示：

輸入數(shù)據(jù)首先經(jīng)過自注意力子層，輸出結(jié)果和輸入相加再做層正則化，然后作為全連接層的輸入，最后在全連接層后做殘差連接與層正則化后輸出，如圖2 所示。

圖2 知識保留網(wǎng)絡結(jié)構(gòu)Fig.2 Knowledge retention network structure

知識保留網(wǎng)絡中的Transformer編碼器層進行了以下改進：1）移除了最初的位置編碼；2）為每個任務設置了獨立的參數(shù)矩陣，也就是任務自注意力機制。因為模型的輸入是BERT 最后一層的輸出，所以不必再重復嵌入位置信息。每個任務獨立的參數(shù)矩陣有助于模型根據(jù)任務的不同，有針對性地使用符合任務特性的注意力，提高檢索效率。

改進后的Transformer 編碼器層首先使用任務自注意力機制，自注意力層內(nèi)包含3 個參數(shù)矩陣，根據(jù)不同的任務t∈[T1，T2，…，Tn]，模塊會存儲對應的，將任務輸入的向量x轉(zhuǎn)換成相對應的Q、K、V向量，如式（2）所示：

然后使Q和K的點積計算注意力得分，為保持梯度穩(wěn)定為注意力得分做歸一化處理，除以因子。經(jīng)過Softmax 激活函數(shù)后再點乘V得到加權(quán)評分V。最后將所有V相加得到結(jié)果，如式（3）所示：

在實際運算過程中通常會由一組索引組成矩陣Q方便同時計算，對應的鍵和值也被打包成K和V，其中KT為K的轉(zhuǎn)置。在引入多頭注意力機制后的運算過程如式（4）所示：

任務自注意力機制會為每個任務的每個注意力頭均保留對應的矩陣。

1.2 知識挖掘網(wǎng)絡

知識挖掘網(wǎng)絡是一個經(jīng)過改進的TextCNN網(wǎng)絡，其中將任務門控注意力機制加入全連接層，知識挖掘網(wǎng)絡結(jié)構(gòu)如圖3 所示。

圖3 知識挖掘網(wǎng)絡結(jié)構(gòu)Fig.3 Knowledge mining network structure

1.2.1 TextCNN

這部分沿用文獻［25］中的設置，假設知識保留網(wǎng)絡的輸出為x∈Rn×k，其中n為網(wǎng)絡設置的最大文本長度，k為詞向量維度。首先采用窗口長度s為2、3、4 的filter 來生成特征c，如式（5）所示：

其中：b∈R；f為非線性函數(shù)。

然后利用MaxPooling獲得特征=max{c}，將3個filter 的特征做拼接得到最終的輸出如式（6）所示：

1.2.2 任務門控注意力機制

任務門控注意力機制［18］最初運用于CV 領(lǐng)域，考慮到卷積層作為特征提取部分，應該在各個任務間盡可能地保持特征選擇的穩(wěn)定性，因此僅將HAT 用于全連接層。

門控注意力機制就像為全連接層的每一個神經(jīng)元配置了一個開關(guān)，根據(jù)不同的任務t控制每一個神經(jīng)元的開閉：打開對任務t重要的神經(jīng)元而關(guān)閉其他的神經(jīng)元，使網(wǎng)絡的連接方式隨任務的變化而變化。當學習任務t時，記全連接層為hl，經(jīng)過門控注意力，輸出為，門控注意力機制作用于全連接層的過程如式（7）所示：

HAT 正向傳播過程如圖4 所示。

圖4 HAT 正向傳播過程Fig.4 Procedure of HAT forward propagation

在全連接層中，首先根據(jù)任務t生成hl層的任務嵌入，再乘以一個正的縮放參數(shù)s，利用Sigmoid函數(shù)來模擬開關(guān)。不同于軟注意力機制（soft attention）是一個概率的分布，更像是開關(guān)，被稱為硬注意力機制（hard attention）。hl中的每一個神經(jīng)元都有其對應的，全連接層的輸出為hl的每個元素與對應位置的元素相乘，由此網(wǎng)絡可以確定哪些神經(jīng)元對任務t更重要。

由于在網(wǎng)絡中的值接近0 或1 且反向傳播過程中是可導的，在Sigmoid 函數(shù)中，當輸入很大或很小時，輸出則會接近0 或1，因此HAT 利用超參數(shù)smax?1 使Sigmoid 函數(shù)來模擬單位躍階函數(shù)：當s→∞時，at→{0，1}；當s→0時，at→0.5。使 用式（8）更新s模擬Sigmoid 函數(shù)的退火過程：

其中：b代表batch；B代表一個epoch 中batch 的總數(shù)。在訓練剛開始時，s很小，因此注意力還是軟注意力，隨著訓練s越來越大，注意力變成了硬注意力。由于參數(shù)s的變化，因此在訓練完成時更加傾向于0或者1，以表示一個神經(jīng)元的開和關(guān)。

為任務門控注意力機制提供任務信息，并且是可訓練的參數(shù)，然而退火機制的加入影響了參數(shù)的更新，因此HAT 引入嵌入梯度補償，將梯度ql除以退火后Sigmoid 函數(shù)的導數(shù)，再乘以補償系數(shù)，如式（9）所示：

此外，為在學習新任務時保留舊任務已經(jīng)學到的參數(shù)，在學習完任務T并且獲得了后，HAT 會按照式（10）遞歸地計算所有的：

通過對注意力值的比較能夠保留對舊任務重要的神經(jīng)元，并且在學習新任務時起到一定的限制作用。當學習新任務時，根據(jù)已有的注意力值對梯度gl的更新進行修改，如式（11）所示：

在全連接層上，梯度首先經(jīng)過式（11）的處理后，將傳遞給全連接層，同時梯度補償接收梯度ql、s和smax，由式（9）計算補償后梯度傳遞給任務嵌入。

HAT 反向傳播過程如圖5 所示。

圖5 HAT 反向傳播過程Fig.5 Procedure of HAT back propagation

2 實驗與結(jié)果分析

本節(jié)將介紹實驗中所使用的數(shù)據(jù)集、評價指標、對比方法等內(nèi)容并對實驗結(jié)果進行分析。實驗相關(guān)源代碼參見https：//github.com/ws719547997/KRM。

2.1 數(shù)據(jù)集

文獻［21］構(gòu)建持續(xù)學習中文情感分類數(shù)據(jù)集JD21（https：//github.com/ws719547997/LNB-DA），其中包含京東官方網(wǎng)站上21 個不同品類的商品評論，其被視為21 個不同的情感分類任務，在實驗中被看作1 個任務序列。在JD21 數(shù)據(jù)集中，一星～三星的評論被視為負類，四星和五星的評論被視為積極。在JD21 數(shù)據(jù)集中的評論字數(shù)多數(shù)為10 字～30字，且消極占比較低，屬于不平衡數(shù)據(jù)集，符合實際情況。JD21 數(shù)據(jù)集詳細信息見表1。

表1 JD21 數(shù)據(jù)集信息 Table 1 JD21 dataset information

2.2 實驗設置

2.2.1 評價標準

為了度量持續(xù)學習模型的性能，實驗引入準確率矩陣并計算First ACC、Last ACC 和反向轉(zhuǎn)移（Backward Transfer，BWT）指標。假設有一個矩陣R∈RT×T，矩陣中的元素Ri，j表示模型在學習完任務T1至Ti后在任務Tj上的準確率。3 個度量指標定義如式（12）所示：

其中：Ri，i表示模型學習完T1至Ti后在Ti上的準確率；RT，i表示模型學習完全部任務后在Ti上的準確率；First ACC 度量模型首次學習任務時的準確率；Last ACC 度量模型在學習全部學習完成后，在舊任務上的準確率；BWT度量Last ACC 和First ACC 之間的差值，用于評估知識遷移的程度，是持續(xù)學習性能評估的重要指標：值越大，說明知識遷移越多，值越低，說明災難遺忘越嚴重。根據(jù)已有研究，以Last ACC 作為主要評價指標，因為負類占比少，更難分類，所以也使用負類F1 值（F1-NEG）作為參考，計算方法類似于Last ACC。

2.2.2 模型參數(shù)

在本文模型中，經(jīng)實驗發(fā)現(xiàn)當知識保留網(wǎng)絡中Transformer 設置為2 層、知識挖掘網(wǎng)絡中全連接層設置為3 層時效果最佳，HAT 參數(shù)設置與文獻［18］保持一致，其余參數(shù)設置與其他對比實驗保持一致。

對比實驗參數(shù)遵從原論文中的設置。TextCNN［25］中3 個卷積核的滑動窗口長度分別為2、3、4，輸出通道為100，使用最大池化策略，LSTM［5］隱藏層維度為768，Transformer［24］中有8個注意力頭，Q、K、V變換矩陣為64維，全連接層為2 048維。LNB-DA［21］使用Unigram 生成特征。實驗使用參數(shù)固定的BERT 模型bert-base-chinese（https：//hugging face.co/bert-base-chinese/tree/main）的輸出作為特征向量。

2.2.3 實驗設置

實驗采用固定的任務序列順序，依次學習每一個任務，每學習一個任務都在新舊任務上做一遍測試。待所有任務學習完成后，準確率矩陣R為一個下三角矩陣，根據(jù)R計算評價指標。在訓練過程中，設置epoch 為50、batch_size 為64，learning_rate 為0.005 并且隨訓練動態(tài)調(diào)整。

2.3 實驗結(jié)果

實驗結(jié)果如表2 所示，其中：RNN、KRM-RM（Transformer）、MLP-Mixer［26］為非持續(xù)學習（Non-CL）方法；LNB 和LNB-DA 基于傳統(tǒng)機器學習方法，也被稱為終生機器學習方法；MBPA++是一種樣本重復方法，只有該方法會對整個BERT 網(wǎng)絡參數(shù)進行調(diào)整，其他方法都是以參數(shù)固定的BERT 的輸出作為輸入；UCL［27］是TCL方法；OWM［28］是CCL 方法；KAN、SRK 都是專門針對持續(xù)學習情感分類所提出的方法；HAT、PNN、PathNet 是基于動態(tài)網(wǎng)絡結(jié)構(gòu)的方法；EWC、LwF、IMM、LFL 是基于正則化的方法；將各個指標中的前三進行加粗。

由表2 可以看出，本文KRM 方法在Last ACC、F1-NEG 上取得最佳值，F(xiàn)irst ACC 為第三，BWT 為第四，具體分析如下：

表2 基于JD21 數(shù)據(jù)集的持續(xù)學習方法實驗結(jié)果 Table 2 Experimental results of continual learning method based on JD21 dataset %

1）通過觀察Last ACC 可知，在學習完任務序列中所有的任務后，KRM 在所有舊任務上都保持了良好的分類性能，災難遺忘的程度較輕。KRM 的Last ACC 和F1-NEG 優(yōu)于其他對比方法，比HAT 方法提升了0.37 和0.09 個百分點。

2）通過對KRM 刪去部分網(wǎng)絡得到了兩種對比方 法：KRM-RM 和KRM-M，其中，KRM-RM是在KRM 的基礎(chǔ)上去除了知識保留網(wǎng)絡中的任務自注意力機制與知識挖掘網(wǎng)絡，KRM-M 是在KRM 的基礎(chǔ)上去除了知識挖掘網(wǎng)絡。實驗結(jié)果表明，和非持續(xù)學習方法KRM-RM 相比，KRM 與KRM-M的BWT 分別提高了1.59 和1.02 個百分點，說明了本文方法中的兩個網(wǎng)絡都對減輕災難遺忘有幫助，也驗證了任務自注意力機制和任務門控注意力機制的有效性。

3）Non-CL 方法在持續(xù)學習場景下表現(xiàn)較差，KRM-RM、MLP-Mixer、RNN的BWT分別為-2.41%、-4.22%、-5.04%，神經(jīng)網(wǎng)絡都出現(xiàn)了較為嚴重的災難遺忘現(xiàn)象，說明了災難遺忘現(xiàn)象的存在。

4）LNB 與LNB-DA 是以樸素貝葉斯文本分類算法為基礎(chǔ)的學習器，經(jīng)過分詞后直接以unigram 作為特征進行學習，BWT 為正，說明知識遷移的效果超過了災難遺忘，且占用資源少，訓練速度極快，但在準確率等指標上略遜于部分神經(jīng)網(wǎng)絡方法。兩種方法均使用知識架構(gòu)的設計思想，后續(xù)方法SRK、KAN 以及本文方法也沿襲了這一設計思路，加入神經(jīng)網(wǎng)絡后這類方法的性能不斷提升，是一個很有潛力的研究方向。

5）MBPA++在訓練過程中會調(diào)整BERT 模型的參數(shù)，并在測試時選擇部分與測試集相似的樣本重新微調(diào)網(wǎng)絡，因此BWT 為正，且需要明確的任務指示符來指明樣本來自哪個任務，但運算時間極長，不太符合情感分類的使用場景。同時需要注意的是，雖然MBPA++效果不佳，但將持續(xù)學習方法與預訓練語言模型相結(jié)合將是未來發(fā)展的趨勢。

6）基于動態(tài)網(wǎng)絡結(jié)構(gòu)和基于知識架構(gòu)的方法性能普遍優(yōu)于基于正則化的方法，尤其是對比方法中提出較早的LwF、LFL、EWC，雖然此類方法最初提出時使用網(wǎng)絡相比BERT 結(jié)構(gòu)相對簡單，且任務數(shù)量通常為3～5，但是最新的OWM 就具有良好的性能，很多基于正則化的思想也被運用在一些新方法中。在現(xiàn)在的持續(xù)學習方法中，通常會將融合多種方法來提升整體模型性能。

3 結(jié)束語

本文提出一種基于知識架構(gòu)的持續(xù)學習中文情感分類方法。采用任務自注意力機制，為Transformer中每個任務單獨設置注意力變換矩陣，以保存任務特有的注意力參數(shù)，實現(xiàn)知識保留。將任務門控注意力機制應用于TextCNN 中的全連接層，為全連接層中每個神經(jīng)元配置一個開關(guān)，以便于根據(jù)任務調(diào)整網(wǎng)絡結(jié)構(gòu)，加強知識挖掘。實驗結(jié)果表明，該方法的Last ACC和F1-NEG 相比于基于HAT 的持續(xù)學習方法提升了0.37 和0.09 個百分點，相比于基于PathNet 的持續(xù)學習方法提升了0.17 和0.59 個百分點，災難遺忘現(xiàn)象相比于同類方法也得到了有效緩解，BWT 僅為-0.82%。下一步可將基于任務自注意力機制、任務門控注意力機制的持續(xù)學習方法應用于預訓練語言模型的Transformer 編碼層中，使模型參數(shù)也加入訓練過程，進一步緩解災難遺忘現(xiàn)象，提升知識遷移效率。