徐 超，葉 寧，2，徐 康，2，王汝傳，2

1.南京郵電大學(xué) 計(jì)算機(jī)學(xué)院，南京 210000

2.江蘇省無線傳感網(wǎng)高技術(shù)研究重點(diǎn)實(shí)驗(yàn)室，南京 210000

微博是一種分享和評論的平臺，越來越多的用戶通過微博自由地表達(dá)自己的觀點(diǎn)和情感。而如今，微博已經(jīng)成為人們溝通及情感交流的重要途徑之一，產(chǎn)生的海量數(shù)據(jù)為文本情感分類提供了數(shù)據(jù)基礎(chǔ)，如何分析微博中用戶的情感傾向已被越來越多的研究者關(guān)注，同時(shí)成為了自然語言處理的研究熱點(diǎn)。文本情感分析的概念最早由Nasukawa等[1]提出，是對帶有情感色彩的主觀性文本進(jìn)行分析、推理和歸納的過程，目的是挖掘文本信息中用戶的情感極性。對用戶微博進(jìn)行情感分析，有助于了解公眾的情感狀態(tài)，及時(shí)獲取公眾的觀點(diǎn)態(tài)度，可以廣泛應(yīng)用于商品評價(jià)、電影評價(jià)和新聞推薦等領(lǐng)域，同時(shí)對于輿情控制、民意調(diào)查等工作具有重大意義。

傳統(tǒng)的情感分類技術(shù)主要為基于規(guī)則的方法和基于機(jī)器學(xué)習(xí)的方法?；谝?guī)則的方法主要通過經(jīng)驗(yàn)或者專家意見得到統(tǒng)計(jì)特征、情感詞典等來對文本進(jìn)行情感分類；基于機(jī)器學(xué)習(xí)的方法首先通過人工標(biāo)注一部分?jǐn)?shù)據(jù)建立訓(xùn)練集，然后通過對訓(xùn)練集數(shù)據(jù)進(jìn)行特征提取和學(xué)習(xí)來構(gòu)建一個(gè)分類模型，最后使用分類模型對未知標(biāo)簽的數(shù)據(jù)進(jìn)行情感分類。但隨著數(shù)據(jù)量的激增，文本信息的特征越來越復(fù)雜，這兩種方法的缺點(diǎn)也逐漸暴露出來，他們過于依賴復(fù)雜的特征工程。而深度學(xué)習(xí)的出現(xiàn)為自然語言處理任務(wù)提供了新的手段。例如，Socher等[2]基于遞歸神經(jīng)網(wǎng)絡(luò)提出了RNTN（recursive neural tensor network）模型進(jìn)行情感二分類；Wang等[3]利用長短期記憶網(wǎng)絡(luò)對文本情感極性進(jìn)行分析；Jiang等[4]提出了MANs（mutual attention neural networks）模型用于方面級情感分類；Zhao等[5]基于GCN（graph convolutional networks）建模情感依賴關(guān)系，進(jìn)而進(jìn)行情感分類。深度學(xué)習(xí)模型可以針對目標(biāo)問題自動學(xué)習(xí)良好的特征，在文本情感二分類任務(wù)中取得了很好的效果，但在多分類任務(wù)中仍有改進(jìn)的余地。

考慮到情感分類任務(wù)的多樣性，而深度學(xué)習(xí)模型遇到新的分類任務(wù)時(shí)往往需要大量數(shù)據(jù)重新訓(xùn)練才能取得明顯的效果，本文將能夠在小樣本情況下快速適應(yīng)新任務(wù)的元學(xué)習(xí)與深度學(xué)習(xí)方法結(jié)合，提出了一種基于MAML與BiLSTM的微博負(fù)面情感多分類方法，本文的主要貢獻(xiàn)如下：（1）通過利用現(xiàn)有的微博語料庫和爬取的微博數(shù)據(jù)構(gòu)建了一個(gè)新的微博負(fù)面情感數(shù)據(jù)集用于實(shí)驗(yàn)。（2）提出一種基于MAML與BiLSTM的微博負(fù)面情感多分類方法。該模型在傳統(tǒng)的BiLSTM的基礎(chǔ)上添加了MAML元學(xué)習(xí)框架。通過設(shè)計(jì)相關(guān)實(shí)驗(yàn)驗(yàn)證了新模型在微博情感多分類任務(wù)中的有效性。（3）通過設(shè)計(jì)相關(guān)實(shí)驗(yàn)，驗(yàn)證了在微博情感分類任務(wù)中引入MAML，對情感分類任務(wù)性能的提升作用。實(shí)驗(yàn)結(jié)果表明，本文模型的性能超過一般的深度學(xué)習(xí)模型。

1 相關(guān)工作

1.1 元學(xué)習(xí)

是否具有快速學(xué)習(xí)的能力是區(qū)分人類智能和人工智能的關(guān)鍵特征。雖然傳統(tǒng)深度學(xué)習(xí)在數(shù)據(jù)挖掘中已經(jīng)獲得了很大的成功，但用這種方法訓(xùn)練出來的分類器，在遇到只有少量數(shù)據(jù)可用或者需要適應(yīng)任務(wù)變化時(shí)，通常表現(xiàn)不佳。這主要是因?yàn)樵趯W(xué)習(xí)新任務(wù)時(shí)缺乏有效的先驗(yàn)知識。元學(xué)習(xí)的概念最早由Schmidhuber[6]提出，元學(xué)習(xí)通過從許多任務(wù)的學(xué)習(xí)經(jīng)驗(yàn)中獲取元知識來解決上述問題[7-9]。元學(xué)習(xí)獲得的元知識提供了歸納偏差[10]，使得模型可以在多個(gè)任務(wù)之間泛化，從而產(chǎn)生了高效采樣的快速學(xué)習(xí)算法。

以往基于元學(xué)習(xí)的深度學(xué)習(xí)工作已經(jīng)很多，例如，Graves等[11]研究了使用遞歸神經(jīng)網(wǎng)絡(luò)（RNNs）來解決算法任務(wù)。他們用一個(gè)由LSTM實(shí)現(xiàn)的元學(xué)習(xí)器進(jìn)行了實(shí)驗(yàn)，但是他們的結(jié)果表明LSTM架構(gòu)不適合這類任務(wù)。然后，他們設(shè)計(jì)了一個(gè)更復(fù)雜的RNN架構(gòu)，其中LSTM控制器被連接到一個(gè)外部存儲庫，它可以讀寫，并證明這些記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)（MANNs）實(shí)現(xiàn)了比LSTMs更好的性能。Santoro等[12]對LSTM和MANN元學(xué)習(xí)者的few-shot圖像分類進(jìn)行了評價(jià)，證實(shí)了LSTM架構(gòu)的不足。但是同時(shí)也發(fā)現(xiàn)MANNs具有復(fù)雜的內(nèi)存尋址體系結(jié)構(gòu)，很難訓(xùn)練。Ravi和Larochelle[13]在一個(gè)少樣本分類設(shè)置中使用了一個(gè)類似的LSTM元學(xué)習(xí)器，傳統(tǒng)的學(xué)習(xí)器是一個(gè)基于卷積網(wǎng)絡(luò)的分類器。將元學(xué)習(xí)算法分解為兩部分：對傳統(tǒng)的學(xué)習(xí)器初始參數(shù)進(jìn)行訓(xùn)練，使其適應(yīng)于快速的梯度變化；LSTM元學(xué)習(xí)器被訓(xùn)練成適應(yīng)元學(xué)習(xí)任務(wù)的優(yōu)化算法。Finn等[14]研究了一個(gè)特殊的情況，元學(xué)習(xí)器必須使用梯度下降方法來更新分類器，并證明了這個(gè)簡化模型（稱為MAML）可以實(shí)現(xiàn)等效的性能。Munkhdalai和Yu[15]探索了一種更復(fù)雜的權(quán)重更新方案，在少樣本分類上獲得了較小的性能改進(jìn)。在最新的研究中，Xu等[16]提出了一種全新的編碼器-解碼器模式的元學(xué)習(xí)方法，他們開發(fā)了一種學(xué)習(xí)迭代更新的方法將上下文信息編碼到任務(wù)表示中，元學(xué)習(xí)器在更新過程中優(yōu)化模型，最終的表示用于約束解碼器對未標(biāo)記數(shù)據(jù)進(jìn)行預(yù)測，實(shí)驗(yàn)證明該方法在基準(zhǔn)數(shù)據(jù)集tieredImageNet[17]取得了最好的結(jié)果。Collins等[18]在MAML的基礎(chǔ)上提出了“任務(wù)魯棒性”的概念，他們認(rèn)為元學(xué)習(xí)方法僅在某些特定分布的任務(wù)中表現(xiàn)良好，因此他們使用新公式重構(gòu)了MAML，使模型成為任務(wù)穩(wěn)健的。

1.2 微博情感分類

微博出現(xiàn)后，以其獨(dú)特的特性吸引著廣大學(xué)者紛紛投入文本情感分析的研究。研究工作大多仍是基于規(guī)則的方法、基于機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法。例如，栗雨晴等[19]利用相似度計(jì)算的方法對情感詞語知識庫進(jìn)行擴(kuò)展，構(gòu)建了一個(gè)雙語情感詞典，并采用Gauss混合模型和對稱相對熵的k近鄰算法實(shí)現(xiàn)對微博文本的情感分類；劉志明等[20]研究微博文本信息的特征，將機(jī)器學(xué)習(xí)算法和特征選擇結(jié)合對微博文本的褒貶進(jìn)行分類，實(shí)驗(yàn)結(jié)果表明，在特征選擇時(shí)使用信息增益的方法，微博情感分類的效果最好。但是由于這些方法過于依賴特征工程，耗費(fèi)大量人力，越來越多的研究者開始使用深度學(xué)習(xí)的方法解決情感分類問題。Santos等[21]以構(gòu)成單詞的字母為單位，提出基于單詞構(gòu)造的CharSCNN模型（character to sentence convolutional neural network）。CharSCNN模型以CNN為基礎(chǔ)，采用兩個(gè)并行的卷積層分別學(xué)習(xí)單詞的構(gòu)造特征和句子的語義特征，充分體現(xiàn)了CNN對文本局部特征抽象和提取能力。該模型在短文本情感二分類時(shí)展示了良好的效果。Yao等[22]提出基于Attention的BiLSTM神經(jīng)網(wǎng)絡(luò)，定性捕捉其中有用的語義信息。從句子的兩個(gè)方向?qū)W習(xí)語義特征對短文本進(jìn)行情感分析，在斯坦福樹圖數(shù)據(jù)集與電影評論數(shù)據(jù)集上實(shí)驗(yàn)，證明該模型較無注意力模型的LSTM性能提高3%。Abdi等[23]構(gòu)建了以統(tǒng)計(jì)知識、語言知識、情感知識、情感轉(zhuǎn)換規(guī)則和詞語嵌入方面為特征向量的新特征集，并證明了使用該特征集可以有效地提升神經(jīng)網(wǎng)絡(luò)模型的分類準(zhǔn)確率。Chen等[24]提出了新模型Tran-sCap（傳輸膠囊網(wǎng)絡(luò)）用于方面級情感分類，膠囊網(wǎng)絡(luò)已廣泛應(yīng)用分類任務(wù)和特征提取，相較于CNN，膠囊網(wǎng)絡(luò)可以保留更多的信息，在該模型中，他們開發(fā)了一種動態(tài)路由方法，將句子級語義表示封裝為來自方面級和文檔級數(shù)據(jù)的語義膠囊，并使其能夠自適應(yīng)遷移學(xué)習(xí)框架。

上述深度學(xué)習(xí)方法在二分類的情感分類任務(wù)上表現(xiàn)良好，但是由于情感多分類問題更細(xì)膩，許多情感詞含義之間的區(qū)別十分微妙，深度學(xué)習(xí)方法在情感多分類問題上仍需改進(jìn)。并且在實(shí)際應(yīng)用中，情感分類任務(wù)多樣，在面對新任務(wù)時(shí)深度學(xué)習(xí)模型往往需要大量樣本重新訓(xùn)練模型。受此啟發(fā)，本文將元學(xué)習(xí)方法引入情感分類任務(wù)，考察元學(xué)習(xí)分類器在小樣本微博情感多分類任務(wù)中的效果，構(gòu)建了一種基于MAML與BiLSTM的微博負(fù)面情感多分類方法，同時(shí)使用微博負(fù)面情感數(shù)據(jù)集構(gòu)建了情感多分類任務(wù)，并設(shè)置了多個(gè)對比實(shí)驗(yàn)，對本文提出的模型進(jìn)行驗(yàn)證。

2基于MAML與BiLSTM的模型框架

2.1 微博負(fù)面情感數(shù)據(jù)集構(gòu)建

為滿足實(shí)驗(yàn)需求，構(gòu)建了一個(gè)新的數(shù)據(jù)集：微博負(fù)面情感數(shù)據(jù)集。本文將通過爬蟲程序獲取的微博文本數(shù)據(jù)和網(wǎng)絡(luò)上現(xiàn)有的微博數(shù)據(jù)資源整合，共獲得了120 566條原始數(shù)據(jù)。然后采用人工標(biāo)注的方法對新浪微博文本數(shù)據(jù)進(jìn)行標(biāo)注，標(biāo)注小組共為8人，均為實(shí)驗(yàn)室成員，具有相關(guān)的專業(yè)知識和正常的認(rèn)知能力。為了確保數(shù)據(jù)的可用性，采用二輪交叉標(biāo)注，即每人負(fù)責(zé)標(biāo)注一類標(biāo)簽數(shù)據(jù)，標(biāo)注完成后由第二位成員檢驗(yàn)，當(dāng)對標(biāo)注結(jié)果出現(xiàn)異議時(shí)，由第三位成員進(jìn)行確認(rèn)，最終構(gòu)建了一個(gè)19 500條數(shù)據(jù)的多標(biāo)簽數(shù)據(jù)集。

2.2 具體算法與模型架構(gòu)

本文在BiLSTM雙向長短期記憶網(wǎng)絡(luò)的基礎(chǔ)上引入元學(xué)習(xí)方法，構(gòu)建了基于MAML與BiLSTM的微博負(fù)面情感多分類方法，整體架構(gòu)如圖1所示。

圖1 模型架構(gòu)Fig.1 Model architecture

2.2.1 詞向量表示層

詞向量表示層為整個(gè)模型的輸入，在將實(shí)驗(yàn)需要的數(shù)據(jù)向量化之前，首先要根據(jù)few-shot learning中的實(shí)驗(yàn)設(shè)置隨機(jī)抽取樣本。例如5-way 5-shot的設(shè)置，需要從數(shù)據(jù)集中抽取5個(gè)類別的樣本，每個(gè)類別中的樣本個(gè)數(shù)要超過5個(gè)。這些樣本將之稱為一個(gè)Task，然后將一個(gè)Task分為support set和query set。support set包含中5類樣本并且每類樣本個(gè)數(shù)為5個(gè)，而query set中擁有剩余的所有5類樣本并且通常個(gè)數(shù)超過5個(gè)以此提高模型的泛化能力。接下來就是數(shù)據(jù)向量化表示階段，此階段需要一個(gè)詞典Dd×N，詞典由大規(guī)模語料庫經(jīng)過詞向量化訓(xùn)練之后得到，可直接使用。其中d為詞向量的維度，N為詞語的個(gè)數(shù)。而本文的詞向量化表示就是通過預(yù)處理將每條數(shù)據(jù)變成文本序列T={w1,w2,…,wn}，然后根據(jù)T中的每個(gè)詞w比照詞典中的詞向量，最終獲得整個(gè)文本序列的詞向量表示。

2.2.2 BiLSTM層

對于微博文本數(shù)據(jù)，需要考慮詞語之間的依賴關(guān)系。因此，本文采用BiLSTM算法，這樣既可以同時(shí)獲取上下文的語義信息，也可以更充分提取文本中所包含的特征。

LSTM恰好對于長期依賴信息具有很強(qiáng)的學(xué)習(xí)能力，但一般的LSTM模型僅能捕捉文本中正向的語義關(guān)系，對于反向的語義信息無法獲取。因此，本文采用了BiLSTM模型。BiLSTM由正反兩個(gè)LSTM模型組成，假設(shè)輸入的文本序列為X={x1,x2,…,xn}，其中xi(i=i1,i2,…,in)為詞向量。正向的LSTM可以學(xué)習(xí)到由x1到xn的語義關(guān)系，反LSTM同理，這樣就能夠同時(shí)獲得上下文信息。LSTM由一個(gè)個(gè)細(xì)胞單元組成，并有三個(gè)門結(jié)構(gòu)來控制網(wǎng)絡(luò)中的數(shù)據(jù)，它們分別為遺忘門、輸入門和輸出門。具體過程中，首先經(jīng)過的是遺忘門，它用于有選擇地保留上個(gè)隱藏狀態(tài)的信息，公式為：

其中，σ為softmax激活函數(shù)，Wf為遺忘門權(quán)值，ht-1為t-1時(shí)刻的隱藏狀態(tài)，xt為t時(shí)刻的輸入。接下來是輸入門，用于決定當(dāng)前輸入需要保留多少信息，公式為：

其中，Wi、Wc為輸入門權(quán)值。最后為輸出門，獲得輸出以及當(dāng)前時(shí)刻的隱藏狀態(tài)，公式為：

其中，Wo為輸出門權(quán)值，ct為當(dāng)前時(shí)刻的細(xì)胞單元狀態(tài)。在雙向長短時(shí)記憶網(wǎng)絡(luò)中，輸入n維詞向量，分別通過前后兩個(gè)細(xì)胞單元，每個(gè)時(shí)刻的輸出信息都由兩個(gè)細(xì)胞單元的輸出連接表示，表示為，并且同時(shí)考慮上下文的語義信息。在本模型中，由每個(gè)Task中support set的數(shù)據(jù)經(jīng)過BiLSTM層訓(xùn)練，不斷學(xué)習(xí)并更新學(xué)習(xí)器參數(shù)。更新后，再由query set的數(shù)據(jù)經(jīng)過該層訓(xùn)練并計(jì)算損失。通過以上的訓(xùn)練過程，可以為元學(xué)習(xí)器的學(xué)習(xí)過程提供所需的信息。

2.2.3 元訓(xùn)練層

元學(xué)習(xí)層目的是使模型可以從少量的新數(shù)據(jù)中快速學(xué)習(xí)新任務(wù)。通過元學(xué)習(xí)，可以用以前的經(jīng)驗(yàn)指導(dǎo)新的學(xué)習(xí)任務(wù)，從而擁有學(xué)會學(xué)習(xí)的能力。MAML是很適合的算法，它可以很容易地與神經(jīng)網(wǎng)絡(luò)結(jié)合，也可以用于其他各種損失函數(shù)。

MAML直接優(yōu)化學(xué)習(xí)器的初始化參數(shù)，使得學(xué)習(xí)器在面對新任務(wù)時(shí)，僅使用少量數(shù)據(jù)計(jì)算的一步或多步梯度下降步驟更新參數(shù)后，就可以在新任務(wù)上達(dá)到最大泛化性能，也就是擁有了學(xué)會學(xué)習(xí)的能力。具體過程為，從數(shù)據(jù)集中抽取數(shù)據(jù)并分為多個(gè)Task，稱為Ti。在T1的support set上經(jīng)過一次梯度下降得到當(dāng)前最適應(yīng)任務(wù)的參數(shù)θ，然后在T1的query set上進(jìn)行測試，從而得到當(dāng)前任務(wù)的損失LT1f(θ)。接下來，在抽取第二個(gè)任務(wù)，得到相應(yīng)任務(wù)的損失，直到得到任務(wù)Tn的損失，并取這些任務(wù)的損失總和：

其中f(θ)為損失函數(shù)，本文使用的為交叉熵?fù)p失函數(shù)。最后使用不同任務(wù)上獲得的測試誤差之和作為元學(xué)習(xí)器的優(yōu)化對象，通過梯度下降的方法更新參數(shù)，最終獲得一組初始化參數(shù)，將其運(yùn)用在fine-tune上，以此獲得本文預(yù)想的模型，使其在微博負(fù)面情感分類任務(wù)上，可以僅適用少量數(shù)據(jù)經(jīng)過一次或多次梯度下降就可以達(dá)到很好的性能。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

本文使用的實(shí)驗(yàn)數(shù)據(jù)為自行標(biāo)注的新數(shù)據(jù)集：微博負(fù)面情感數(shù)據(jù)集。數(shù)據(jù)集分為訓(xùn)練集和測試集兩部分，每條數(shù)據(jù)包括情感標(biāo)簽以及文本內(nèi)容。情感標(biāo)簽總共分為13種，每類標(biāo)簽擁有1 500條數(shù)據(jù)，共計(jì)19 500條。各類情感標(biāo)簽和數(shù)據(jù)樣例如表1所示。本文在不同模型和數(shù)據(jù)集不同劃分比例兩個(gè)維度進(jìn)行了對比實(shí)驗(yàn)。

表1 微博負(fù)面情感數(shù)據(jù)集樣例表Table 1 Sample of microblog negative sentiment data set

首先，根據(jù)以往元學(xué)習(xí)研究的實(shí)驗(yàn)設(shè)置，在模型對比實(shí)驗(yàn)中，設(shè)置的訓(xùn)練集包括8類數(shù)據(jù)，共計(jì)12 000條。測試集包括5類，共計(jì)7 500條。在此基礎(chǔ)上進(jìn)行不同模型的對比實(shí)驗(yàn)。

另外，因?yàn)閿?shù)據(jù)集中包含的類別較少，在本文方法的基礎(chǔ)上采用了不同的類別比例隨機(jī)抽取數(shù)據(jù)分別作為訓(xùn)練集和測試集進(jìn)行比較實(shí)驗(yàn)，研究當(dāng)前數(shù)據(jù)集不同類別比例對實(shí)驗(yàn)結(jié)果的影響。

將微博文本數(shù)據(jù)構(gòu)建成詞向量時(shí)，本文使用IMDB數(shù)據(jù)集作為預(yù)訓(xùn)練的詞向量詞典，訓(xùn)練過程使用GloVe模型，參數(shù)均為默認(rèn)設(shè)置。在對微博數(shù)據(jù)進(jìn)行分詞時(shí)，使用了python中文分詞組件jieba分詞，此外本文還進(jìn)行了一系列微博文本預(yù)處理，例如繁簡轉(zhuǎn)換、去停用詞、剔除無意義符號等。最終進(jìn)過詞嵌入過程，得到一個(gè)包含46 357個(gè)詞的詞向量空間，每個(gè)詞的詞向量維度為300。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

本文兩種實(shí)驗(yàn)使用了相同的參數(shù)，具體的實(shí)驗(yàn)參數(shù)設(shè)置如表2所示。

表2 模型參數(shù)表Table 2 Model parameter table

3.3 實(shí)驗(yàn)對比模型

MNB模型（multinomial naive Bayes）[25]：是傳統(tǒng)機(jī)器學(xué)習(xí)代表，曾在大量多分類任務(wù)中取得優(yōu)秀的效果。

MCNN模型（multichannel convolutional neural network）[26]：MCNN模型使用多通道的卷積神經(jīng)網(wǎng)絡(luò)對文本詞向量的表征進(jìn)行學(xué)習(xí)，從而實(shí)現(xiàn)對文本情感的分類，它是較早將神經(jīng)網(wǎng)絡(luò)應(yīng)用于情感分析任務(wù)的模型。

BiLSTM模型：該模型采用Zaremba等[27]描述的LSTM網(wǎng)絡(luò)結(jié)構(gòu)，基于文本的詞向量表示，結(jié)合雙向長短時(shí)記憶網(wǎng)絡(luò)捕獲上下文信息進(jìn)行分類。

Matching nets模型[28]：該模型結(jié)合比較流行的attention結(jié)構(gòu)和記憶網(wǎng)絡(luò)搭建的快速學(xué)習(xí)網(wǎng)絡(luò)，包括特征提取網(wǎng)絡(luò)、記憶網(wǎng)絡(luò)、距離度量網(wǎng)絡(luò)和使用attention模塊的分類網(wǎng)絡(luò)。在訓(xùn)練階段就直接去模仿測試階段時(shí)只有少量已標(biāo)注樣本的情況，模型訓(xùn)練的過程中會將單個(gè)support set和一個(gè)測試樣本作為輸入同時(shí)進(jìn)行特征提取，之后通過記憶網(wǎng)絡(luò)進(jìn)一步處理，然后通過距離度量和attention模塊獲得最終預(yù)測值，是few-shot learning中常見的模型。

Meta-learn LSTM模型[13]：該模型作者發(fā)現(xiàn)LSTM的更新規(guī)則與一般的梯度下降算法更新規(guī)則類似，因此訓(xùn)練了一個(gè)元學(xué)習(xí)器LSTM，利用LSTM的單元狀態(tài)更新公式，來學(xué)習(xí)參數(shù)更新規(guī)則，從而訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

3.4 實(shí)驗(yàn)結(jié)果分析

3.4.1 模型對比實(shí)驗(yàn)分析

本文算法與其他算法在相同數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如圖2、圖3所示。

圖2 5-way 1-shot實(shí)驗(yàn)結(jié)果Fig.2 5-way 1-shot experimental results

圖3 5-way 5-shot實(shí)驗(yàn)結(jié)果Fig.3 5-way 5-shot experimental results

從圖2和圖3的結(jié)果來看，神經(jīng)網(wǎng)絡(luò)模型相較于傳統(tǒng)機(jī)器學(xué)習(xí)整體上更加適合微博負(fù)面情感分類任務(wù)。通過對比MCNN和BiLSTM模型的實(shí)驗(yàn)結(jié)果，表明在樣本數(shù)量過少情況下，兩者的性能相近，而BiLSTM可以通過后向傳播同時(shí)獲得文本數(shù)據(jù)上下文信息，相比MCNN更適用于本任務(wù)。Matching nets是few-shot learning中常見的模型，在情感多分類任務(wù)中擁有不錯(cuò)性能，相較于BiLSTM在5-way 5-shot實(shí)驗(yàn)中準(zhǔn)確率、召回率和F1值分別提高了3.19個(gè)百分點(diǎn)、3.87個(gè)百分點(diǎn)和4.68個(gè)百分點(diǎn)，說明了在文本情感多分類任務(wù)中，記憶增強(qiáng)網(wǎng)絡(luò)可以保留重要信息，但同時(shí)一個(gè)好的學(xué)習(xí)策略可以使性能繼續(xù)提升。

Meta-learn LSTM在微博負(fù)面情感數(shù)據(jù)集上兩次實(shí)驗(yàn)的準(zhǔn)確率、召回率和F1值均排在第二位，整體上來說，Meta-learn LSTM的性能明顯超過了前面四種模型，說明元學(xué)習(xí)思想對于微博負(fù)面情感分類任務(wù)更加有效。對比BiLSTM-MAML和Meta-learn LSTM模型的實(shí)驗(yàn)結(jié)果，表明BiLSTM-MAML模型在本數(shù)據(jù)集上擁有最好的性能，在5-way 5-shot實(shí)驗(yàn)中擁有明顯的性能提升，準(zhǔn)確率、召回率和F1值分別提高了1.68個(gè)百分點(diǎn)、2.86個(gè)百分點(diǎn)和2.27個(gè)百分點(diǎn)。可見，在數(shù)據(jù)集樣本為情感類文本數(shù)據(jù)時(shí)，學(xué)習(xí)器使用BiLSTM模型可以更加有效地促進(jìn)元學(xué)習(xí)器學(xué)習(xí)過程，同時(shí)也充分證明本文方法的有效性。

3.4.2 數(shù)據(jù)集比例劃分的實(shí)驗(yàn)分析

數(shù)據(jù)集不同類別比例及實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 數(shù)據(jù)集劃分實(shí)驗(yàn)Fig.4 Data set division experiment

經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)訓(xùn)練集樣本類別數(shù)量過少時(shí)分類準(zhǔn)確率明顯下降，訓(xùn)練集與測試集數(shù)據(jù)比例為6∶7時(shí)準(zhǔn)確率僅有60.48%，相較于其他比例有明顯的下降，在比例為8∶5及以上時(shí)，隨著訓(xùn)練集樣本類別的增加，準(zhǔn)確率有小幅的提升，最高提升了0.66個(gè)百分點(diǎn)。從總體實(shí)驗(yàn)結(jié)果來看，在訓(xùn)練樣本充足的情況下，多個(gè)比例下的分類準(zhǔn)確率趨近，數(shù)據(jù)集類別個(gè)數(shù)對實(shí)驗(yàn)影響較小，模型具有一定的穩(wěn)定性。

4 總結(jié)

本文提出了一種基于MAML與BiLSTM的微博負(fù)面情感多分類方法，利用現(xiàn)有的情感分析資源和數(shù)據(jù)，構(gòu)建了一個(gè)包含13個(gè)類別的微博負(fù)面情感數(shù)據(jù)集，引入了BiLSTM模型對微博負(fù)面情感文本數(shù)據(jù)進(jìn)行編碼，構(gòu)建語義表示并訓(xùn)練參數(shù)。本文通過將BiLSTM與MAML結(jié)合，有效地提升了小樣本學(xué)習(xí)情況下，模型對于微博文本的情感分析性能。在微博負(fù)面情感數(shù)據(jù)集上，本文提出的模型表現(xiàn)出了優(yōu)越的性能和一定的穩(wěn)定性，并在多個(gè)指標(biāo)上超過了當(dāng)前較好的模型，證明了本文在微博負(fù)面情感分析方面的有效性。