潘東行，袁景凌，李 琳，盛德明

(武漢理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,湖北 武漢 430070)

1 引言

隨著社交媒體用戶的爆發(fā)式增長，網(wǎng)絡(luò)上積累了海量的文本信息。針對這些文本數(shù)據(jù)進(jìn)行情感分析可以幫助挖掘網(wǎng)民行為規(guī)律[1]、幫助決策機(jī)構(gòu)了解輿情傾向[2]和改善商家服務(wù)質(zhì)量[3]。因而，針對社交媒體的文本數(shù)據(jù)情感分析已經(jīng)成為國內(nèi)外研究領(lǐng)域的熱點(diǎn)話題。

情感分類作為情感分析基礎(chǔ)性的研究任務(wù)，可以根據(jù)不同特點(diǎn)進(jìn)行劃分。根據(jù)任務(wù)目標(biāo)，情感分類可以分為常見的極性分類和多元情緒分類[4]。根據(jù)情感詞的出現(xiàn)與否，情感分類任務(wù)可分為顯式情感分類和隱式情感分類2種。由于帶有顯式情感詞的文本表述在日常生活中占有極高的比例，顯式文本情感分類任務(wù)在自然語言處理NLP(Natural Language Processing)領(lǐng)域中已取得了豐富的研究成果[5]，而隱式情感分類的相關(guān)任務(wù)還處于起步階段。對多個(gè)領(lǐng)域多個(gè)主題網(wǎng)絡(luò)文本進(jìn)行研究可以發(fā)現(xiàn)，隱式情感表達(dá)占有一部分比例。與顯式情感表達(dá)相比，隱式情感表達(dá)多采用比較含蓄的方式，如中立性事實(shí)描述和諷刺等等。如微博“再訪故地可能還會(huì)有別樣的風(fēng)景，別樣的感受哦！”中，博主并沒有采用明顯的顯式情感詞如“開心”“快樂”等來表達(dá)重游故地的開心，但采用了中立性事實(shí)表述表達(dá)自己內(nèi)心積極的感受；如博客“是啊，被瘋狗咬了，反正咱們不能再去咬瘋狗了。”中，博主采用諷刺的手法表達(dá)內(nèi)心的消極感受。隱式情感分類作為情感分析的重要組成部分，其研究成果將有助于更全面、更精確地提升在線文本情感分析的性能，可為文本表示學(xué)習(xí)、自然語言理解、用戶建模、知識(shí)嵌入等方面的研究起到積極的推動(dòng)作用，也可進(jìn)一步促進(jìn)基于文本情感分析相關(guān)領(lǐng)域的應(yīng)用和產(chǎn)業(yè)的快速發(fā)展。

然而針對中文的隱式情感分類任務(wù)還存在諸多困難。首先在句子語義特征提取上，隱式情感文本采用了較為含蓄的陳述，這給基于詞袋模型的特征提取方法帶來極大的困難。在表達(dá)載體上，中文缺乏一些詞形態(tài)上的變化，其語義關(guān)系和社會(huì)、文化等因素密切相關(guān)[6]，因而在底層語義關(guān)系的捕捉上更加困難。其次，在分類方法選擇上，隱式主觀文本缺乏情感詞，這使得傳統(tǒng)基于詞典的情感分類方法不再適用。在分類模型學(xué)習(xí)句子有效特征時(shí)，情感詞的存在可以直觀地判別整個(gè)句子的傾向，如文本“今天天氣真好，我喜歡這樣的天氣。”中，顯式情感詞“喜歡”暗示了整個(gè)句子積極的情感傾向。在學(xué)習(xí)句子特征表示時(shí)，對顯式情感詞特征突出表示，可以提升整個(gè)句子分類效果。采用注意力機(jī)制的分類模型也采用類似的思想，增加句子中情感詞的比重，從而達(dá)到提升分類效果的目的。隱式情感文本不存在顯式情感詞，這對分類模型有了更高的要求。最后，隱式情感表達(dá)中事實(shí)性情感表達(dá)更加依賴上下文的信息，如主觀表達(dá)“桌子上有一層灰”，不包含任何情感詞，但在情感類別中傾向于貶義。查詢句子上下文信息，篇章內(nèi)部表述中包含諸如“簡直太臟了”和“床鋪也不整潔”等重要信息，上下文特征可以輔助中立性表達(dá)的情感判別。

word2vec[7]作為底層的詞嵌入技術(shù)，可以從海量的語料庫中訓(xùn)練出合適的詞向量，這些詞向量可以捕捉詞與詞的語義關(guān)系，如詞語之間的相似性和差異性。作為一種詞預(yù)訓(xùn)練方法，word2vec已經(jīng)被廣泛應(yīng)用于各種NLP任務(wù)[8]。相關(guān)研究顯示，高質(zhì)量的詞向量特征可以提高分類的性能。以預(yù)訓(xùn)練技術(shù)為基礎(chǔ)，可以更好地對中文文本特征進(jìn)行表示，同時(shí)使用該技術(shù)提取上下文語義特征，將其融入到分類模型中，從而為句子的判別提供更多的特征。

本文采用底層的詞嵌入技術(shù)獲取了句子及其上下特征表示，以TextCNN[9]、長短期記憶神經(jīng)網(wǎng)絡(luò)LSTM(Long Short-Term Memory)和雙向門控循環(huán)BiGRU(Bidrection Gated Recurrent Unit)神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)對中文隱式情感文本進(jìn)行傾向分類研究，在各個(gè)模型基礎(chǔ)上還研究了融合注意力機(jī)制的分類模型。針對句子上下文可以輔助隱式情感分類的特點(diǎn)，設(shè)計(jì)了一種融合上下文特征與注意力機(jī)制的分類模型，采用GRU對標(biāo)簽句子特征進(jìn)行編碼，使用BiGRU+Attention的結(jié)構(gòu)組合對上下文語句中的重要特征進(jìn)行編碼。由于在最終對句子進(jìn)行分類時(shí)，會(huì)通過Softmax層獲得各個(gè)類別的概率，特征數(shù)值越大概率越高，因而在獲得2者特征編碼后，獲取各維度取值最高的特征，再通過一個(gè)Softmax層獲取該句子各個(gè)類別最終情感傾向。通過監(jiān)督學(xué)習(xí)的方式不斷完善模型內(nèi)部結(jié)構(gòu)，從而達(dá)到當(dāng)句子本身情感傾向分明時(shí)，依靠句子本身進(jìn)行傾向判別；當(dāng)句子本身情感傾向不明確時(shí)，通過Attention機(jī)制對句子上下文進(jìn)行重要信息提取，從而輔助句子情感傾向性判別。本文的主要貢獻(xiàn)如下:

(1)從情感計(jì)算的角度出發(fā)對隱式情感句的情感計(jì)算資源進(jìn)行了分析，發(fā)現(xiàn)隱式情感句本身具備較小比例的情感計(jì)算資源。針對隱式情感分類任務(wù)困難與研究不足的問題，探索了TextCNN、LSTM和BiGRU基礎(chǔ)模型的中文隱式情感分類效果。

(2)在分類模型基礎(chǔ)上，研究了為輸入分配權(quán)重的注意力機(jī)制思想，發(fā)現(xiàn)在顯式情感句分類研究中取得效果提升的注意力機(jī)制模型無法明顯地提升隱式情感分類效果。

(3)使用Attention機(jī)制對句子上下文重要特征進(jìn)行編碼，提出了一種融合注意力機(jī)制與上下文特征的分類模型，為上下文特征在隱式情感分類任務(wù)中的應(yīng)用提供了一種新思路。SMP2019評(píng)測數(shù)據(jù)結(jié)果顯示，在3個(gè)評(píng)價(jià)指標(biāo)上，本文提出的模型取得了最優(yōu)的綜合分類性能。同時(shí)還發(fā)現(xiàn)了在隱式情感句中，褒義的情感類別分類任務(wù)相對于其它2個(gè)類別的分類任務(wù)更加困難的現(xiàn)象。

2 相關(guān)工作

根據(jù)顯式情感詞的有無，情感分析可分為隱式情感分析與顯式情感分析。顯式情感分析已經(jīng)在多個(gè)方面取得了顯著的成就，而隱式情感分析還處于起步階段.在以往的研究中，大多數(shù)研究忽視了隱式情感分析與顯式情感分析的差別，將2者的分析任務(wù)無差別對待。相關(guān)統(tǒng)計(jì)數(shù)據(jù)顯示，在不同主題領(lǐng)域中，隱式情感句占據(jù)不同的比例。由于情感分類是情感分析的基礎(chǔ)研究領(lǐng)域，本文從隱式情感句分類入手，主要研究社交媒體中隱式情感句的褒貶中三元傾向性分類任務(wù)。

用于情感分類的方法大體上可以分為3種：基于情感知識(shí)的分類方法、基于特征提取的機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法。基于情感知識(shí)的分類方法，大多數(shù)通過對文本中情感詞的識(shí)別實(shí)現(xiàn)整個(gè)句子的情感傾向性判別。由于隱式情感文本缺乏顯式情感詞，傳統(tǒng)的基于情感知識(shí)的分類方法不再適用?；谔卣魈崛〉臋C(jī)器學(xué)習(xí)方法，需要選取有意義的特征，通過搭建分類器的形式實(shí)現(xiàn)情感句的傾向性分類[10]。機(jī)器學(xué)習(xí)方法存在著文本特征不易提取、很難處理文字長度不一的問題以及模型不容易擴(kuò)展的特點(diǎn)?；谏疃葘W(xué)習(xí)的方法在情感分類任務(wù)中取得了廣泛的應(yīng)用。首先，深度學(xué)習(xí)模型在結(jié)構(gòu)上更加靈活，可以更便捷地將多種關(guān)系融入到分類模型中。文獻(xiàn)[11]設(shè)計(jì)了一種結(jié)合區(qū)域卷積神經(jīng)網(wǎng)絡(luò)和分層長短期記憶網(wǎng)絡(luò)的深度分層網(wǎng)絡(luò)模型，有效獲取了句子中的局部特征和整個(gè)評(píng)論中的長距離依賴關(guān)系，解決了情感極性表達(dá)不清晰、難句的情感極性判斷問題。文獻(xiàn)[12]提出了融合區(qū)域卷積神經(jīng)網(wǎng)絡(luò)和LSTM網(wǎng)絡(luò)的混合模型，有效獲取了句子的時(shí)序關(guān)系以及整個(gè)評(píng)論的長距離依賴關(guān)系。在特征融合上，基于深度學(xué)習(xí)的情感分類方法要比基于機(jī)器學(xué)習(xí)的分類方法更加便捷。為了將上下文特征融入到分類模型中，本文開展了基于深度學(xué)習(xí)的分類模型研究。其次，深度學(xué)習(xí)模型可以更好地學(xué)習(xí)詞語之間的聯(lián)系、局部特征或者全局特征?；贚STM網(wǎng)絡(luò)的分類模型[13]可以把握詞語之間的時(shí)序關(guān)系，獲取不同詞語之間的依賴關(guān)系。文獻(xiàn)[13]首次將TextCNN應(yīng)用于情感分類任務(wù)中，采用不同長度的filter對文本矩陣進(jìn)行一維卷積操作，以獲取不同詞語長度的特征信息，并通過最大池化層完成句子特征的提取。文章還研究了不同詞嵌入技術(shù)對分類結(jié)果的影響以及靜態(tài)(Static)方式和非靜態(tài)(Non-static)方式對訓(xùn)練過程的影響。在后續(xù)的研究中，詞嵌入技術(shù)與深度學(xué)習(xí)模型的組合[9,14]成為了情感分類任務(wù)中的主流方法。本文以該研究思路為基礎(chǔ)，探索了LSTM模型、靜態(tài)方式的TextCNN和非靜態(tài)方式的TextCNN對隱式情感句的分類效果。

在顯式情感分類領(lǐng)域中，結(jié)合注意力機(jī)制的分類模型可以在不同應(yīng)用方向取得更好的應(yīng)用效果。文獻(xiàn)[15]最早在NLP領(lǐng)域中應(yīng)用注意力機(jī)制。文獻(xiàn)[16]提出了一種簡化版本的注意力機(jī)制。文獻(xiàn)[17]針對文章中重要的句子和句子中重要的詞語，提出了句子級(jí)和詞語級(jí)2種注意力機(jī)制模型。這種注意力機(jī)制模型采用BiGRU對不同級(jí)別的輸入進(jìn)行編碼，并為每個(gè)輸出分配了不同的權(quán)重，從而突出更有價(jià)值的特征信息。本文以該思路為基礎(chǔ)，首先搭建了基于BiGRU的基礎(chǔ)分類模型，其次通過句子級(jí)的注意力機(jī)制為編碼后的特征輸入分配不同權(quán)重。

針對中文在語義規(guī)則和社會(huì)特征因素上有較大差異的特點(diǎn)，文獻(xiàn)[18]以word2vec技術(shù)為基礎(chǔ)，將 n-gram 特征引入上下文中，使用詞-詞和詞-字符的共現(xiàn)統(tǒng)計(jì)來學(xué)習(xí)詞向量。由于詞向量的質(zhì)量會(huì)影響到分類的性能，本文以該文獻(xiàn)在維基百科訓(xùn)練的詞向量為基礎(chǔ)開展中文隱式情感的分類研究。

在中文隱式情感分類領(lǐng)域，文獻(xiàn)[19]對中文隱式情感領(lǐng)域做了基礎(chǔ)性的研究工作。在隱式情感分類方向，該文獻(xiàn)將上下文顯式情感語義背景融入到構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)中，并突出了上下文語義特征在隱式情感分類中的重要作用。文獻(xiàn)[20]采用句子內(nèi)部詞語上下文語境和注意力機(jī)制融合的思想來對不同語境的詞特征進(jìn)行學(xué)習(xí)。上述研究文獻(xiàn)缺乏循環(huán)神經(jīng)網(wǎng)絡(luò)對隱式情感句分類的相關(guān)研究，因此本文進(jìn)行基于循環(huán)神經(jīng)網(wǎng)絡(luò)及其變體的隱式情感分類模型研究。循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以捕捉句子內(nèi)部時(shí)序關(guān)系，并為句子分類提供重要的特征信息。在上下文研究中，文獻(xiàn)[19]將句子內(nèi)部上下文語義信息融入到模型中，文獻(xiàn)[20]對不同語境下句子內(nèi)部詞語特征進(jìn)行學(xué)習(xí)，本文則從句子外部所在的上下文特征入手，構(gòu)建了融合句子外部上下文語義特征的分類模型。

3 模型描述

本節(jié)主要介紹應(yīng)用到的基礎(chǔ)模型、注意力機(jī)制以及融合注意力機(jī)制與上下文特征的分類模型。

3.1 隱式情感分類

人們的情感表達(dá)是豐富而抽象的，人們在社交媒體中表達(dá)直觀感受時(shí)，除采用顯式情感詞表達(dá)情感外，還會(huì)采用客觀陳述或者修辭方式來隱式地表達(dá)自己的情感。相關(guān)研究顯示，隱式情感句占總情感句的15%～20%。在隱式情感句中，句子本身不含有顯式情感詞，但表達(dá)了主觀情感。對隱式情感句進(jìn)行劃分，可以分為事實(shí)型隱式情感和修辭型隱式情感。修辭型隱式情感又可劃分為隱喻型、比喻型、反問型和反諷型。本文研究目標(biāo)是對隱式情感句的情感傾向性進(jìn)行分類，與以往的顯式情感句分類的區(qū)別如表1所示。

隱式情感句與顯式情感句最主要的差別在于顯式情感詞的有無。在情感計(jì)算中，大規(guī)模的情感詞匯本體資源可以輔助文本情感識(shí)別。由于隱式情感句中不包含顯式情感詞，本文采用大規(guī)模情感詞匯本體庫[21]對隱式情感句中的詞語進(jìn)行分析。采用分詞技術(shù)對隱式情感句進(jìn)行分詞，查詢各個(gè)詞語在情感詞匯本體庫中的詞性、詞語強(qiáng)度以及情感分類。隱式情感句來源于SMP2019中文隱式情感分析評(píng)測提供的數(shù)據(jù)集。數(shù)據(jù)來源主要包括微博和論壇等媒體，主要領(lǐng)域或者主題包括傳統(tǒng)文化、時(shí)事熱點(diǎn)和生活等多個(gè)方面。情感詞匯本體庫從詞語詞性種類、情感類別、情感強(qiáng)度及極性等維度對中文詞匯或短語進(jìn)行了描述。中文隱式情感分析評(píng)測數(shù)據(jù)集中隱式情感句包含的情感詞匯本體，統(tǒng)計(jì)結(jié)果如表2所示。

Table 1 Sentiment sentence difference comparison 表1 情感句差異對比

Table 2 Statistical results on implicit sentiment vocabulary ontology 表2 隱式情感句詞匯本體統(tǒng)計(jì)結(jié)果

根據(jù)句子中是否包含標(biāo)記的情感詞匯，句子可以分為2大類：一類為句子中包含1個(gè)及以上數(shù)量的標(biāo)記詞匯，另一類為句子中完全不包含標(biāo)記的情感詞匯。對統(tǒng)計(jì)結(jié)果進(jìn)行分析，含有1個(gè)及以上數(shù)量標(biāo)記詞匯的句子約占總體的28%，這也證明了傳統(tǒng)的基于情感詞典的分類方法對于隱式情感分類領(lǐng)域并不適用。同時(shí)由于含有情感詞匯的句子比例較小，在情感計(jì)算中這一特點(diǎn)會(huì)加大情感傾向判別的難度。

標(biāo)記的詞匯所擁有的情感強(qiáng)度從強(qiáng)到弱大小不一，同時(shí)詞匯不帶有明顯情感傾向。將情感詞匯的類別與句子整體類別進(jìn)行比較，當(dāng)輔助情感詞傾向與句子整體傾向相同時(shí)，該詞匯的特征在一定程度上可以幫助句子情感傾向的判別，其中褒義類別詞匯的輔助情感詞傾向與句子整體傾向一致比例最高為25.89%，其中還存在著某情感詞被用于相反的情感表達(dá)的情況，如“對法樂第未來而言，在近期遭遇一系列困難之后，這處總部代表了新的未來?！敝校瑯?biāo)記詞匯為遭遇，詞語極性為貶義，詞語強(qiáng)度為5，句子整體表達(dá)了褒義的傾向。不含顯式情感詞、句子中較低比例的情感計(jì)算資源、標(biāo)記詞匯類別與句子標(biāo)簽不一致等問題的出現(xiàn)給隱式情感句的傾向性分類帶來了極大的困難。

在社交媒體中，用戶的表達(dá)方式存在口語化和用詞不規(guī)范的問題。隱式表達(dá)的情感傾向在某種程度上和表情符號(hào)的情感傾向具有一致性，如句子“[good]當(dāng)然還有蔭姐，一直等你回來！”的情感傾向?yàn)榘x，表情“[good]”在情感上偏向于褒義情感。同時(shí)，由于表達(dá)的不規(guī)范性，還存在隱式表達(dá)的情感傾向與表情符號(hào)情感不一致的特點(diǎn)，如句子“[酷]樂視員工的悲劇在于沒有選擇中國銀行的信用卡?！北磉_(dá)的傾向?yàn)橘H義，而表情符號(hào)“[酷]”更多地應(yīng)用在褒義或者中性的詞語表達(dá)中，如何處理文本中的表情符號(hào)和不規(guī)范用詞對于隱式情感文本分析有較為重要的影響。

本文在文本處理的基礎(chǔ)上，使用深度學(xué)習(xí)模型和添加注意力機(jī)制的分類模型對隱式情感分類任務(wù)進(jìn)行研究。

3.2 GRU神經(jīng)網(wǎng)絡(luò)

GRU神經(jīng)網(wǎng)絡(luò)是長短期記憶網(wǎng)絡(luò)(LSTM)的一種變體結(jié)構(gòu)[22]，可以有效解決循環(huán)神經(jīng)網(wǎng)絡(luò)中出現(xiàn)的梯度消失或者爆炸問題，同時(shí)保留了LSTM較長距離記憶的能力，并簡化了LSTM結(jié)構(gòu)，縮短了模型訓(xùn)練的時(shí)間。在NLP領(lǐng)域，GRU可以捕獲詞語在句子中的長短依賴關(guān)系，被廣泛應(yīng)用于機(jī)器翻譯等任務(wù)中。

GRU[23]簡化了LSTM的網(wǎng)絡(luò)結(jié)構(gòu)，其主要包括2種門控：循環(huán)單元更新門和重置門。GRU使用更新門結(jié)構(gòu)代替了LSTM中的遺忘門和輸入門，使用該結(jié)構(gòu)實(shí)現(xiàn)對數(shù)據(jù)的丟棄和更新，使用重置門結(jié)構(gòu)儲(chǔ)存遺忘信息的步長。如圖1所示，GRU包含重置門和更新門2個(gè)門控單元。

Figure 1 Structure of GRU unit圖1 GRU單元結(jié)構(gòu)

在不同時(shí)間步內(nèi)，GRU對輸入信息的計(jì)算如式(1)～式(4)所示:

有非常多的案例都是青少年在初次接觸毒品的時(shí)候并不知道毒品為何物，不但沒有遠(yuǎn)離，反而對它充滿好奇，直到在好奇心的推動(dòng)下開始吸毒，從此走上不歸路。因此當(dāng)社會(huì)上、學(xué)校里介紹關(guān)于毒品的知識(shí)時(shí)，一定要認(rèn)真學(xué)習(xí)、牢記于心。平時(shí)也可以通過上網(wǎng)、翻閱書籍等方式了解與毒品相關(guān)的知識(shí)?？傊?，一定要充分了解毒品的特性以及危害，這樣才能讓自己時(shí)刻保持警惕，遠(yuǎn)離毒品。

zt=σ(Wz·[ht-1,xt])

(1)

rt=σ(Wr·[ht-1,xt])

(2)

(3)

(4)

3.3 注意力機(jī)制網(wǎng)絡(luò)

注意力機(jī)制可以從眾多信息中選取對當(dāng)前任務(wù)最有價(jià)值的信息，在機(jī)器翻譯[24]、文本分類等自然語言處理領(lǐng)域中，注意力機(jī)制在提升模型效果的同時(shí)，還可以對內(nèi)部有價(jià)值的信息進(jìn)行可視化。在文本分類任務(wù)中，注意力機(jī)制可以凸顯決定句子傾向分類詞語的重要性。本文使用的注意力機(jī)制思想來源于文獻(xiàn)[17]提出的2種分層注意力模型。原文是對文檔級(jí)別的句子進(jìn)行分類，提出的模型可以簡化為如下4個(gè)部分：詞語序列編碼器、詞語級(jí)別注意力層、句子序列編碼器和句子級(jí)別注意力層。在對隱式情感句進(jìn)行分類時(shí)，僅采用了詞語級(jí)別的注意力機(jī)制。句子情感分類任務(wù)也可簡化為2個(gè)部分，詞向量編碼器和Softmax處理層。詞向量編碼器可以對詞向量特征進(jìn)行提取與編碼。Softmax處理層則可以計(jì)算各個(gè)類別的概率。添加注意力層的句子分類模型主要包括3個(gè)部分：詞向量編碼器、Attention注意力層和Softmax處理層。添加的Attention注意力層用于強(qiáng)化句子中有價(jià)值信息的權(quán)重。在詞向量編碼器部分采用TextCNN、LSTM和BiGRU等不同的神經(jīng)網(wǎng)絡(luò)對句子的向量表示進(jìn)行編碼。以分類模型中的Attention+BiGRU組合為例，闡述注意力層分配權(quán)重的方法，預(yù)測模型網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

Figure 2 Structure of Attention+BiGRU圖2 Attention+BiGRU結(jié)構(gòu)圖

圖2中，wt代表一個(gè)句子中每個(gè)單詞的詞向量表示，We代表BiGRU結(jié)構(gòu)的權(quán)重矩陣，T代表句子的長度，經(jīng)過式(5)的計(jì)算，得到BiGRU結(jié)構(gòu)的輸入xt。

xt=Wewt,t∈[1,T]

(5)

(6)

(7)

μt=tanh(Wwht+bw)

(8)

(9)

s=∑tαtht

(10)

其中，Ww代表注意力層的權(quán)重矩陣，bw代表注意力層的偏置項(xiàng)，μw為隨機(jī)初始化的數(shù)值，在訓(xùn)練學(xué)習(xí)階段不斷改變，αt為每個(gè)輸入分配的獨(dú)立權(quán)重，s為分配權(quán)重后的輸出。

3.4 融合模型

隱式情感句的上下文信息可以輔助情感分類。如情感句“桌子上有一層灰”是貶義的，對該句進(jìn)行情感分類，由于該句屬于事實(shí)性陳述，會(huì)被誤判成中性標(biāo)簽，而該句的上下文“很不高興”則可以輔助該情感句的極性判別。當(dāng)句子中不存在有直接情感傾向的詞語時(shí)，可以尋找篇章內(nèi)部與目標(biāo)句相似的語句，如上下文“簡直太臟了”“床鋪也不整潔”等。文獻(xiàn)[17]證明了BiGRU+Attention的組合在較長語句中獲取重要特征的有效性，本文以此為出發(fā)點(diǎn)，采用BiGRU+Attention的組合對標(biāo)簽句的上下文重要特征進(jìn)行提取。融合注意力機(jī)制與上下文特征的分類模型如圖3所示。

Figure 3 Classification model combining context and attentional mechanisms圖3 融合上下文特征與注意力機(jī)制的分類模型圖

(11)

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)集

本文采用第八屆全國社會(huì)媒體處理大會(huì)(SMP2019)舉辦的“拓爾思杯”中文隱式情感分析評(píng)測數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。由于無法獲得測試集的標(biāo)注信息，僅采用了測評(píng)任務(wù)提供的訓(xùn)練集和驗(yàn)證集，將訓(xùn)練集按照4∶1的比例進(jìn)行劃分，用于模型的訓(xùn)練過程，將官方提供的驗(yàn)證集作為測試集，用于評(píng)估各個(gè)深度學(xué)習(xí)模型的性能。數(shù)據(jù)涉及微博、旅游網(wǎng)站、產(chǎn)品論壇等多個(gè)領(lǐng)域，主要的主題又包括春晚、霧霾、樂視、國考、旅游、端午節(jié)等。情感標(biāo)簽總共包含褒義、貶義和中性3種，標(biāo)記的數(shù)據(jù)詳細(xì)數(shù)量以及相關(guān)上下文信息如表3所示。其中，測評(píng)提供的訓(xùn)練集和驗(yàn)證集中包含共現(xiàn)的句子33個(gè)，本文選擇在測試集中將其移除。

Table 3 Experimental data statistics 表3 實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)

4.2 基礎(chǔ)實(shí)驗(yàn)

在神經(jīng)元的輸出部分采用Dropout機(jī)制[25]來減弱網(wǎng)絡(luò)的過擬合現(xiàn)象，共搭建了如下所述的幾種基礎(chǔ)分類模型:

(1)TextCNN。文獻(xiàn)[9]首次將CNN網(wǎng)絡(luò)應(yīng)用在情感分類中。論文采用了拼接詞向量的方法，將1個(gè)句子表示成為1個(gè)矩陣，矩陣的每1行表示1個(gè)word，構(gòu)建不同尺寸的filter獲取不同步長的詞語特征，并將卷積后的特征通過最大池化層來進(jìn)一步編碼。本文在編碼器部分采用了該文獻(xiàn)提出的Static TextCNN和Non-static TextCN 2種模型。

(2)LSTM。由于長短期記憶網(wǎng)絡(luò)可以獲取詞語之間的時(shí)序關(guān)系，文獻(xiàn)[26]將該結(jié)構(gòu)應(yīng)用到aspect-level的情感分析中。本文采用基礎(chǔ)的LSTM對詞向量特征進(jìn)行編碼。

(3)BiGRU。雙向GRU模型可以更好地獲取句子雙向編碼特征，本文以其結(jié)構(gòu)為基礎(chǔ)，探索該結(jié)構(gòu)在隱式情感傾向性分類中的表現(xiàn)。

(4)Attention-model。本文為各個(gè)基礎(chǔ)模型添加了注意力機(jī)制，用于探索添加權(quán)重的注意力機(jī)制思想是否可以明顯提升隱式情感句的分類效果。Model代表先前提到的Static TextCNN、Non-static TextCNN、LSTM和BiGRU模型。

4.3 實(shí)驗(yàn)流程

4.3.1 文本預(yù)處理

對實(shí)驗(yàn)得到的數(shù)據(jù)集進(jìn)行初步的規(guī)則識(shí)別，分別提取出標(biāo)簽句子以及上下文，由于文本內(nèi)容來源于網(wǎng)絡(luò)，原始數(shù)據(jù)集中包含大量網(wǎng)絡(luò)用語。在實(shí)驗(yàn)中發(fā)現(xiàn)，不合理的數(shù)據(jù)處理方式會(huì)降低各個(gè)模型的分類準(zhǔn)確率，為了最大程度保留原始句子的語義信息，預(yù)處理階段僅采用固定規(guī)則提取目標(biāo)句子和句子上下文信息。在句子提取完成后，采用“結(jié)巴”分詞工具對句子進(jìn)行分詞處理。

4.3.2 文本特征表示

使用文獻(xiàn)[18]提供的具有Word+Character+Ngram特征的詞向量集，該詞向量的語料庫來源于維基百科。在使用該向量表示時(shí)，未在詞向量集中出現(xiàn)的文本統(tǒng)一用0填充。本文提出的模型輸入為句子以及上下文，當(dāng)單獨(dú)句子無上下文信息時(shí)，用句子本身填充上下文。

4.3.3 模型參數(shù)設(shè)置

官方提供的數(shù)據(jù)集為訓(xùn)練集和測試集，訓(xùn)練集和測試集的比例大約為3∶1。將訓(xùn)練集按照4∶1的比例劃分訓(xùn)練集和驗(yàn)證集，驗(yàn)證集用于判斷分類模型的訓(xùn)練效果及調(diào)整參數(shù)。對所有模型進(jìn)行3次重復(fù)實(shí)驗(yàn)，取平均值評(píng)估各模型的分類效果。模型中還包括一些超參數(shù)設(shè)置，如表4所示，其余參數(shù)均為默認(rèn)值。

Table 4 Parameter setting表4 參數(shù)設(shè)置

4.3.4 評(píng)價(jià)標(biāo)準(zhǔn)

模型評(píng)估使用文本分類中常用到的準(zhǔn)確率(P)、召回率(R)及F1值。在進(jìn)行重復(fù)實(shí)驗(yàn)后，求得3個(gè)評(píng)價(jià)指標(biāo)的平均值，并將其作為各個(gè)分類模型的最終評(píng)價(jià)標(biāo)準(zhǔn)。

4.4 實(shí)驗(yàn)結(jié)果

4.4.1 模型的訓(xùn)練

在模型訓(xùn)練過程中，為了選取泛化性較高的分類模型，采用不同的Epoch值訓(xùn)練各分類模型。首選對各模型進(jìn)行較大數(shù)值Epoch的訓(xùn)練，根據(jù)模型訓(xùn)練日志確定大致的Epoch取值和模型在驗(yàn)證集上的準(zhǔn)確率。在確定Epoch數(shù)值后，丟棄欠擬合與過擬合的訓(xùn)練模型，進(jìn)行3次重復(fù)實(shí)驗(yàn)獲取每個(gè)分類模型的平均性能。以其中1個(gè)分類模型為例，訓(xùn)練過程如圖4所示。

Figure 4 Model training process圖4 模型訓(xùn)練過程

在第1次訓(xùn)練時(shí)，將Epoch數(shù)值設(shè)置為20。重復(fù)多次實(shí)驗(yàn)，發(fā)現(xiàn)當(dāng)模型經(jīng)過9次迭代后，驗(yàn)證集的準(zhǔn)確率和損失率穩(wěn)定在一個(gè)區(qū)間范圍內(nèi)。將模型Epoch取值設(shè)定為9，多次訓(xùn)練模型，舍棄其中欠擬合、過擬合以及未達(dá)到較好訓(xùn)練效果的分類模型。在獲得訓(xùn)練結(jié)果較好的3個(gè)模型后，在測試集上對該分類模型進(jìn)行測試，取各類別評(píng)價(jià)標(biāo)準(zhǔn)的平均值。

4.4.2 實(shí)驗(yàn)結(jié)果

本文使用基礎(chǔ)分類模型、在基礎(chǔ)模型上添加注意力的分類模型和融合模型對隱式情感句進(jìn)行三元傾向性分類實(shí)驗(yàn)。情感傾向類別分別為褒義、中性和貶義。實(shí)驗(yàn)結(jié)果如表5所示，其中Static TextCNN和Non-static TextCNN為基礎(chǔ)實(shí)驗(yàn)(1)中提到的模型，Attention-Static TextCNN 和Attention-non-static TextCNN 分別為在上述2種基礎(chǔ)模型后添加注意力機(jī)制層；LSTM和BiGRU分別為基礎(chǔ)實(shí)驗(yàn)(2)和(3)中提到的模型，Attention-LSTM和Attention-BiGRU分別為在上述2種基礎(chǔ)模型后添加注意力機(jī)制層；Model proposed則為本文提出的模型。

從表5中可以看出，褒義類別的分類相較于其它2個(gè)類別更加困難。對比所有的分類模型可以發(fā)現(xiàn)，本文的融合上下文特征與注意力機(jī)制的分類模型在褒義類別分類上擁有最優(yōu)的召回率與F1值，其它評(píng)價(jià)指標(biāo)雖未達(dá)到最優(yōu)，但均有良好的表現(xiàn)。對比結(jié)合注意力機(jī)制模型與對應(yīng)的基礎(chǔ)分類模型實(shí)驗(yàn)結(jié)果，可以發(fā)現(xiàn)當(dāng)為句子分配不同權(quán)重后，句子的分類效果并未取得較明顯的提升，在基礎(chǔ)分類模型融合注意力機(jī)制后，部分評(píng)價(jià)指標(biāo)有所提升。為了進(jìn)一步研究各分類模型對褒義類別識(shí)別效果較差的原因，對所有分類模型的預(yù)測結(jié)果進(jìn)行混淆矩陣的研究，僅列舉提出的融合模型混淆矩陣，如表6所示。

Table 5 Experiment results of classification model 表5 分類模型實(shí)驗(yàn)結(jié)果

Table 6 Confusion matrix of classification model 表6 分類模型混淆矩陣

從表6中可以發(fā)現(xiàn)，褒義類別被誤分成其它2個(gè)類別的比例大致相同。在實(shí)際的研究中發(fā)現(xiàn)，所有的分類模型盡管在數(shù)值上有所差異，但在褒義類別的識(shí)別上有相似的特點(diǎn)，即被誤分成其它2個(gè)類別的比例大致相同。對具體的褒義文本進(jìn)行研究，發(fā)現(xiàn)句子本身所帶的褒義情感特征不是很明顯，如表7所示，所有的分類模型在該類別特征識(shí)別上都未取得良好的效果。

為了更加直觀地比較各模型的性能，統(tǒng)計(jì)各分類模型的平均準(zhǔn)確率、召回率和F1值，實(shí)驗(yàn)結(jié)果如表7所示。

Table 7 Macro average accuracy,recall rate and F1 value of each classification model 表7 各分類模型宏平均準(zhǔn)確率、召回率和F1值

從表7中可以看出，提出的融合上下文和注意力機(jī)制的分類模型在準(zhǔn)確率、召回率和F1值上取得了最優(yōu)的效果，在準(zhǔn)確率上比最優(yōu)的基礎(chǔ)分類模型提升了0.72%，在召回率上提升了0.83%，在F1值上提升了1.27%，從而驗(yàn)證了融合上下文特征和注意力機(jī)制分類模型的有效性。

4.4.3 典型難句分析

為了進(jìn)一步分析本文的融合模型在提取上下文特征輔助隱式情感分類的有效性，從數(shù)據(jù)集中抽取一些典型的難句進(jìn)行分類結(jié)果對比分析，如表8所示。

表8中，其它模型代表大部分模型識(shí)別出的結(jié)果，差異結(jié)果代表占較小比例分類模型識(shí)別的結(jié)果。從表8中可以看出，所提出的模型具備一定的優(yōu)勢與不足。在模型學(xué)習(xí)過程中，融合模型對句子進(jìn)行判別時(shí)吸納了更多的信息，因而在對某一類別進(jìn)行判定時(shí)可以擁有更好的識(shí)別性能，如ID為1、2、4的結(jié)果。當(dāng)標(biāo)簽句子的上下文與標(biāo)簽句子類別不同時(shí)，上下文內(nèi)容會(huì)對標(biāo)簽句子的判別產(chǎn)生一定的誤導(dǎo)作用，如ID為3、5的結(jié)果。融合模型的兩處設(shè)計(jì)對這一誤導(dǎo)現(xiàn)象產(chǎn)生一定的抑制作用。在上下文特征與注意力機(jī)制思想的融合部分，所使用的注意力機(jī)制思想會(huì)為上下文特征分配一定比例的權(quán)重，其次在Maximum層會(huì)取2個(gè)特征層中的最大值，當(dāng)標(biāo)簽句子特征大于上下文的特征時(shí)，上下文特征會(huì)被舍棄。實(shí)驗(yàn)結(jié)果也表明了本文模型在一定程度上可以提升隱式情感文本的分類效果。

5 結(jié)束語

本文提出了一種融合上下文特征與注意力機(jī)制的分類模型，并基于TextCNN、LSTM和BiGRU和注意力機(jī)制對隱式情感句的分類進(jìn)行了研究。由于隱式情感句與顯式情感句在表達(dá)上的差異，所提出的模型可以提升隱式情感句的分類效果。與普通的分類模型和注意力機(jī)制模型相比，本文的融合模型可以提取更多有價(jià)值的信息。在公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文的融合模型在準(zhǔn)確率、召回率和F1值上優(yōu)于已有的基礎(chǔ)分類模型和注意力機(jī)制模型。從實(shí)驗(yàn)結(jié)果可以看出，盡管本文模型提升了基礎(chǔ)分類模型的預(yù)測效果，但在上下文特征輔助標(biāo)簽句情感判別上仍具備一定的局限性。所以，接下來的工作將著重研究基于上下文特征語義相似度的分類模型，以達(dá)到更好的分類效果。

Table 8 Typical difficult examples表8 典型難句舉例