袁景凌，丁遠(yuǎn)遠(yuǎn)，潘東行，2*，李 琳

（1.武漢理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，武漢 430070；2.中國(guó)建設(shè)銀行股份有限公司運(yùn)營(yíng)數(shù)據(jù)中心，武漢 430070）

0 引言

隨著網(wǎng)絡(luò)媒體的迅速普及，大量含有主觀評(píng)論的文本信息迅速傳播。這些評(píng)論文本信息具有數(shù)量大、涉及范圍廣、傳播速度快等特點(diǎn)，給當(dāng)代社會(huì)經(jīng)濟(jì)發(fā)展帶來(lái)了深遠(yuǎn)的影響。針對(duì)網(wǎng)絡(luò)文本的情感分析，可以幫助研究人員更加細(xì)致了解用戶對(duì)日常事件的意見和情感傾向［1］，幫助商家提高服務(wù)質(zhì)量以及為用戶提供個(gè)性化推薦內(nèi)容［2］。

在文本情感分析任務(wù)中，根據(jù)表達(dá)中是否包含顯式情感詞，情感分析可分為顯式情感分析和隱式情感分析［3］。包含顯式情感詞的顯式情感分析已經(jīng)取得了豐富研究成果，而采用含蓄表達(dá)的隱式情感分析還處于起步階段。隱式情感文本在互聯(lián)網(wǎng)文本中占有較高比例的特點(diǎn)［4］使得針對(duì)隱式情感分析的研究不容忽視。中文隱式情感分類任務(wù)存在諸多困難，主要體現(xiàn)在如下幾個(gè)方面：

1）在隱式情感分類中，句子大部分為事實(shí)型描述以及不存在關(guān)鍵情感特征［5］。隱式情感文本主要包含事實(shí)型和修辭型兩個(gè)類別，統(tǒng)計(jì)結(jié)果顯示，事實(shí)型隱式情感文本占比為70%以上［4］。顯式與隱式的情感分類任務(wù)對(duì)比如表1所示。

表1 情感分類任務(wù)對(duì)比Tab.1 Comparison of sentiment classification tasks

2）隱式情感分類任務(wù)對(duì)分類方法有較高要求。隱式情感句中情感詞的缺乏使得部分顯式情感分類方法不再適用，如基于情感詞典分類方法；另外，基于機(jī)器學(xué)習(xí)的情感分類方法很難獲取有效情感特征對(duì)情感類別進(jìn)行判斷［4］。

3）與其他語(yǔ)言的隱式情感分類任務(wù)相比，中文隱式情感分類任務(wù)更加困難。在表達(dá)載體上，中文缺乏形態(tài)上的變化，只能通過(guò)字或者詞語(yǔ)的組合表達(dá)特定語(yǔ)義。在獲取文本特征表示時(shí)，錯(cuò)誤的劃分會(huì)使語(yǔ)義發(fā)生改變，另外，中文的語(yǔ)義關(guān)系又和社會(huì)、文化等因素密切相關(guān)。以上因素使得中文語(yǔ)義更難獲取。

在中文隱式情感分類任務(wù)中，已有的研究方法以卷積神經(jīng)網(wǎng)絡(luò)為主［4］，缺乏循環(huán)神經(jīng)網(wǎng)絡(luò)的相關(guān)研究。卷積神經(jīng)網(wǎng)絡(luò)的最大池化層會(huì)丟失詞語(yǔ)的位置特征。而在隱式情感分類中，詞語(yǔ)的位置特征對(duì)分類結(jié)果有重要影響，如隱式情感句“你們公司一年的銷售額也趕不上我們一個(gè)月的?！卑x情感色彩。當(dāng)調(diào)換“你們”和“我們”兩個(gè)主語(yǔ)位置時(shí)，句子包含貶義情感色彩。卷積神經(jīng)網(wǎng)絡(luò)在處理該特征文本時(shí)，僅能保留主語(yǔ)編碼后的特征，無(wú)法獲得主語(yǔ)的位置特征。循環(huán)神經(jīng)網(wǎng)絡(luò)在處理距離較長(zhǎng)的特征時(shí)，容易丟失關(guān)鍵信息。在已有的隱式情感分類任務(wù)中，分類模型的輸入僅包含情感句本身［4］。相關(guān)研究顯示，隱式情感句的上下文語(yǔ)句往往蘊(yùn)含較為明顯的情感色彩，對(duì)隱式情感的判別有重要指導(dǎo)作用［6］。

針對(duì)中文隱式情感分類任務(wù)更加困難和已有研究?jī)?nèi)容存在的部分缺陷，本文采用門控卷積神經(jīng)網(wǎng)絡(luò)（Gated Convolutional Neural Network，GCNN）對(duì)局部特征進(jìn)行提取和篩選，在此基礎(chǔ)上采用門控循環(huán)單元（Gated Recurrent Unit，GRU）獲取單詞之間的時(shí)序關(guān)系及更高層的語(yǔ)義特征?？紤]到上下文語(yǔ)句在隱式情感判別的重要作用，采用雙向門控循環(huán)單元（Bidirectional Gated Recurrent Unit，BiGRU）和注意力（Attention）機(jī)制從上下文語(yǔ)句中提取重要情感特征，在融合層將提取到的上下文特征融入到隱式情感判別中，提出了一種融合詞語(yǔ)時(shí)序和上下文特征的中文隱式情感分類模型GGBA（GCNN-GRU-BiGRU-Attention）。本文的主要貢獻(xiàn)如下：

1）對(duì)隱式情感句文本特征和情感詞匯資源進(jìn)行了分析。隱式情感文本存在字符分布集中、語(yǔ)句長(zhǎng)度與數(shù)量之間滿足冪律分布等特點(diǎn)。隱式情感句缺乏情感詞匯資源，上下文語(yǔ)句蘊(yùn)含豐富的情感詞匯資源，并且情感詞匯情感傾向和隱式情感句情感傾向相同占比達(dá)63%以上。

2）針對(duì)基礎(chǔ)分類模型容易忽略目標(biāo)句子中的時(shí)序信息的缺陷，本文通過(guò)GCNN 對(duì)目標(biāo)句子中的局部特征信息進(jìn)行提取與篩選后，將輸出通過(guò)GRU 提取句子中的時(shí)序信息，提出了一種融合局部信息和時(shí)序信息的中文隱式情感分類模型GCNN-GRU，該模型為未融合上下文特征的中間模型。

3）針對(duì)隱式情感分類任務(wù)依賴隱式情感句上下文的特點(diǎn)，在采用GCNN-GRU 模型提取隱式情感句基礎(chǔ)上，使用BiGRU+Attention 的組合對(duì)提取句子的上下文重要特征，提出了一種融合時(shí)序和上下文特征的中文隱式情感分類模型GGBA（GCNN-GRU-BiGRU-Attention），并在中文隱式情感分析評(píng)測(cè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果顯示，在3 個(gè)評(píng)價(jià)指標(biāo)上，本文提出的模型均取得了最優(yōu)的綜合分類性能。

1 相關(guān)工作

情感分類是指根據(jù)文本所表達(dá)的含義和情感信息將文本劃分成褒揚(yáng)的或貶義的兩種或幾種類型，是對(duì)文本作者傾向性和觀點(diǎn)、態(tài)度的劃分［7］。觀點(diǎn)態(tài)度可以包括常見的褒、貶、中情感傾向或者喜、怒和哀等多個(gè)情緒類別［8］?，F(xiàn)有的文本情感分類技術(shù)主要分為3 類：基于詞典的情感分類方法、基于機(jī)器學(xué)習(xí)的情感分類方法和基于深度學(xué)習(xí)的情感分類方法［9］。

基于詞典的情感分類方法主要是指，通過(guò)文本中情感詞典和規(guī)則的組合判斷整個(gè)句子的情感類別。這種方法依賴于人工設(shè)計(jì)的本體知識(shí)庫(kù)和判斷規(guī)則，無(wú)法解決不同領(lǐng)域的類似問(wèn)題［10］。基于機(jī)器學(xué)習(xí)的情感分類方法從文本中提取不同特征組合，通過(guò)訓(xùn)練機(jī)器學(xué)習(xí)模型實(shí)現(xiàn)情感的分類。這種方法不易提取文本特征，難以處理文字長(zhǎng)短不一的問(wèn)題且模型不容易擴(kuò)展?；谝陨辖Y(jié)論，本文在開展中文隱式情感分類研究時(shí)舍棄了基于詞典和機(jī)器學(xué)習(xí)的情感分類方法。

基于深度學(xué)習(xí)的情感分類方法主要包括3 個(gè)類別，分別為擅長(zhǎng)局部特征提取的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、擅長(zhǎng)時(shí)序特征提取的循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）以及相關(guān)的變體結(jié)構(gòu)，相關(guān)研究如下：

1）CNN。CNN采用了局部連接、權(quán)值共享及池化操作，在局部特征提取、魯棒性和容錯(cuò)能力上更具備優(yōu)勢(shì)［11］。Kim［12］首次將CNN 應(yīng)用于文本情感分類任務(wù)，采用多個(gè)窗口的卷積核提取句子的局部特征，提出了用于句子情感分類的卷積神經(jīng)網(wǎng)絡(luò)。Zhang 等［13］對(duì)卷積神經(jīng)網(wǎng)絡(luò)中單層CNN 的敏感性進(jìn)行了分析，研究了超參數(shù)對(duì)分類的影響。Dauphin等［14］在對(duì)長(zhǎng)文本建模時(shí)，提出了一種包含門控機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)。

2）RNN。在網(wǎng)絡(luò)結(jié)構(gòu)上，RNN 適合處理不定長(zhǎng)文本序列。在反向傳播計(jì)算梯度時(shí)，基礎(chǔ)循環(huán)神經(jīng)網(wǎng)絡(luò)會(huì)出現(xiàn)梯度消失或梯度爆炸的問(wèn)題。Wang 等［15］采用LSTM 結(jié)構(gòu)實(shí)現(xiàn)了Twitter的情感預(yù)測(cè)。

3）CNN 和RNN 的融合結(jié)構(gòu)。卷積神經(jīng)網(wǎng)絡(luò)可以有效提取句子局部特征，但無(wú)法獲取詞語(yǔ)的時(shí)序關(guān)系以及詞語(yǔ)間依賴關(guān)系。循環(huán)神經(jīng)網(wǎng)絡(luò)擅長(zhǎng)獲取特征的長(zhǎng)短期依賴關(guān)系。合理利用兩種網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)點(diǎn)，可以實(shí)現(xiàn)更好的分類效果。Wang［16］針對(duì)CNN 和RNN 存在的缺陷，提出中斷循環(huán)神經(jīng)網(wǎng)絡(luò)（Disconnected Recurrent Neural Network，DRNN）。實(shí)驗(yàn)結(jié)果表明，DRNN 可以同時(shí)獲取長(zhǎng)距離依賴關(guān)系和關(guān)鍵短語(yǔ)信息。

4）融合注意力機(jī)制的深度學(xué)習(xí)模型。當(dāng)文本序列較長(zhǎng)和文本較為復(fù)雜時(shí)，深度學(xué)習(xí)模型會(huì)丟失重要關(guān)鍵信息。Devlin 等［17］采用自注意力機(jī)制（Self-Attention）、Mask 方法和Transformer 編碼結(jié)構(gòu)設(shè)計(jì)了具備更高泛化能力的BERT 模型。Liu 等［18］改進(jìn)了BERT 模型在預(yù)訓(xùn)練時(shí)的策略，提出了RoBERTa 隱式情感分類模型。Yang 等［19］采用雙向門控循環(huán)單元（BiGRU）和層級(jí)注意力機(jī)制，提出了用于文檔情感分類的模型，其中注意力機(jī)制包括詞語(yǔ)級(jí)和句子級(jí)兩個(gè)部分。

綜上所述，CNN、RNN以及變體結(jié)構(gòu)在特征提取上具有不同的優(yōu)勢(shì)，合理組合兩種結(jié)構(gòu)在特征提取上的優(yōu)勢(shì)可以提升情感分類效果。注意力機(jī)制可以為句子中的重要情感特征賦予更大權(quán)重。深度學(xué)習(xí)模型更容易擴(kuò)展，可以容納更多特征信息。

2 特征分析

在已有的中文隱式情感分類任務(wù)研究中，隱式情感句缺乏關(guān)鍵情感特征、隱式情感句和上下文語(yǔ)句在情感類別上具有高度一致性特點(diǎn)備受相關(guān)學(xué)者的關(guān)注，本文從文本長(zhǎng)度和情感詞匯資源的角度對(duì)隱式文本的特征進(jìn)行了分析。

2.1 文本特征

句子長(zhǎng)度對(duì)不同分類模型情感分類效果有較大影響［20］，本節(jié)對(duì)隱式情感句的句子長(zhǎng)度進(jìn)行了統(tǒng)計(jì)分析。首先，本文將測(cè)評(píng)任務(wù)公布的訓(xùn)練集和驗(yàn)證集文本進(jìn)行了合并；其次，從合并后的文本中根據(jù)句子的標(biāo)簽信息提取了隱式情感句；最后，統(tǒng)計(jì)了隱式情感句的句子長(zhǎng)度信息，統(tǒng)計(jì)結(jié)果如表2所示。

表2 句子長(zhǎng)度統(tǒng)計(jì)結(jié)果Tab.2 Sentence length statistics

為了更加直觀地觀察句子的文本特征，繪制了隱式情感句句子長(zhǎng)度和頻數(shù)的分布圖。將句子長(zhǎng)度和頻數(shù)取以10 為底的對(duì)數(shù)后，采用機(jī)器學(xué)習(xí)庫(kù)（Sklearn）的線性回歸模型對(duì)句子長(zhǎng)度和頻數(shù)關(guān)系進(jìn)行了擬合，擬合結(jié)果如圖1 所示，其中，黑色圓點(diǎn)代表句子長(zhǎng)度對(duì)應(yīng)的頻數(shù)。在對(duì)數(shù)坐標(biāo)系下，隱式情感句長(zhǎng)度和頻數(shù)滿足冪律分布，函數(shù)關(guān)系式為y=-1.983 3x+4.834 8，指標(biāo)R2為0.582 3。

圖1 句子長(zhǎng)度和頻數(shù)關(guān)系Fig.1 Relationship between sentence length and frequency

由圖1可以發(fā)現(xiàn)：情感句長(zhǎng)度分布較為集中，由圖1（a）可以看出，本文隱式情感句子長(zhǎng)度多數(shù)集中在［20，160］，在部分子區(qū)間內(nèi)會(huì)出現(xiàn)峰值，句子長(zhǎng)度較長(zhǎng)（>160）和較短（<20）的數(shù)量較少。在文本研究領(lǐng)域，句子長(zhǎng)度低于160 個(gè)字符被定義為短文本［21］。隱式情感句長(zhǎng)度低于160 個(gè)字符占比約為99%，因而隱式情感分類屬于短文本分類研究領(lǐng)域。在采用循環(huán)神經(jīng)網(wǎng)絡(luò)提取隱式情感特征時(shí)，預(yù)測(cè)模型擅長(zhǎng)獲取句子的距離依賴和位置特征，但模型每一時(shí)刻的隱層狀態(tài)都和前面所有詞語(yǔ)相關(guān)，會(huì)忽略關(guān)鍵的短語(yǔ)特征［21］。隱式情感句中詞語(yǔ)的位置特征對(duì)分類結(jié)果有重要影響。在采用卷積神經(jīng)網(wǎng)絡(luò)提取隱式情感特征時(shí)，預(yù)測(cè)模型擅長(zhǎng)獲取句子的關(guān)鍵短語(yǔ)特征，但模型的池化操作會(huì)丟失句子的位置特征［22］。根據(jù)兩種模型的特點(diǎn)，本文采用GCNN 和GRU 的組合提取隱式情感句特征。

2.2 情感詞匯資源特征

本文采用如下步驟對(duì)隱式情感句和上下文語(yǔ)句詞匯資源進(jìn)行分析：

步驟1 構(gòu)建表情符號(hào)詞典。微博平臺(tái)用戶會(huì)使用表情符號(hào)來(lái)表達(dá)部分隱式情感［23］。在采用分詞工具對(duì)句子進(jìn)行切分時(shí)，表情符號(hào)作為新詞會(huì)被錯(cuò)誤切分，如表情符號(hào)“［嘻嘻］”會(huì)被分成“［”“嘻嘻”“］”三部分。在隱式情感研究中，本文將完整的表情符號(hào)作為單獨(dú)詞語(yǔ)。在分詞工具中，本文通過(guò)自定義表情符號(hào)詞典的方式將表情符號(hào)進(jìn)行完整保留。本文從微博平臺(tái)上收集了常用的1 691個(gè)表情符號(hào)，具有代表性的表情符號(hào)與情緒類別對(duì)應(yīng)關(guān)系如圖2所示。

圖2 表情符號(hào)與情緒類別對(duì)應(yīng)Fig.2 Emoticons correspond to emotional categories

步驟2 將隱式情感句與上下文情感詞匯進(jìn)行分詞。采用帶有自定義表情符號(hào)詞典的jieba 分詞工具將隱式情感句劃分為單獨(dú)的詞語(yǔ)。

步驟3 查詢與統(tǒng)計(jì)。查詢?cè)~語(yǔ)組中的詞語(yǔ)在詞匯本體庫(kù)中是否出現(xiàn)，統(tǒng)計(jì)出現(xiàn)過(guò)詞語(yǔ)的情感類別和強(qiáng)度等信息。

采用算法1 對(duì)隱式情感句與上下文進(jìn)行識(shí)別，統(tǒng)計(jì)結(jié)果如表3所示。

在表3 中，“句子總數(shù)”代表隱式情感句（上下文）的總數(shù)；“含有情感詞匯的句子總數(shù)”代表隱式情感句（上下文）中含有情感詞匯的句子。由于并非所有的隱式情感句（上下文）都含有情感詞匯，“含有情感詞匯”代表隱式情感句（上下文）中含有情感詞匯的句子數(shù)?！半[式情感類別/情感詞匯類別”用于記錄隱式情感句（上下文）情感詞匯與句子情感傾向相同的數(shù)量。

表3 隱式情感句與上下文詞匯資源統(tǒng)計(jì)結(jié)果Tab.3 Statistical results of implicit sentiment sentences and context lexical resources

對(duì)統(tǒng)計(jì)結(jié)果進(jìn)行分析，在占比上，隱式情感缺乏情感詞匯資源，訓(xùn)練集中含有一個(gè)及以上數(shù)量標(biāo)記詞匯的句子約占總體的29.18%，驗(yàn)證集中含有一個(gè)及以上數(shù)量標(biāo)記詞匯的句子約占總體的29.26%。而在上下文中，含有情感詞匯的句子占總數(shù)的比例較高，分別為訓(xùn)練集73.55%與驗(yàn)證集72.29%。在占比上，上下文語(yǔ)句的情感詞匯資源明顯高于隱式情感句，這一特點(diǎn)說(shuō)明了上下文語(yǔ)句中蘊(yùn)含豐富的情感詞匯資源。

情感詞匯擁有的情感強(qiáng)度較弱，即詞匯不帶有明顯情感傾向。為了直觀衡量標(biāo)記詞傾向與句子整體傾向，本文統(tǒng)計(jì)了情感詞匯分別與隱式情感句和上下文語(yǔ)句情感傾向相同的句子，統(tǒng)計(jì)結(jié)果見表4。

表4 情感詞匯與隱式情感句和上下文語(yǔ)句相同情感傾向統(tǒng)計(jì) 單位：%Tab.4 Statistics on the same tendency of sentimental words，implicit sentiment sentences and contextual sentences unit：%

由表3～4 可以得出以下結(jié)論：情感詞匯占比低、情感詞匯和隱式情感句情感傾向不一致這兩個(gè)特點(diǎn)會(huì)使句子情感判別更加困難；上下文語(yǔ)句中蘊(yùn)含豐富的情感詞匯資源，并且情感傾向和情感句情感傾向相同占比平均達(dá)63%以上?；A(chǔ)模型輸入僅包括隱式情感句，未利用到上下文語(yǔ)句中豐富的情感資源，且有實(shí)驗(yàn)證明詞語(yǔ)的時(shí)序關(guān)系以及詞語(yǔ)間依賴關(guān)系對(duì)分類結(jié)果有提升作用。針對(duì)以上問(wèn)題，本文采用GRU 提取隱式情感句中的時(shí)序關(guān)系及詞語(yǔ)間的依賴關(guān)系，用BiGRU+Attention 的組合結(jié)構(gòu)提取句子外的上下文特征，在融合層使用特征向量點(diǎn)乘的方式，融合時(shí)序特征與上下文特征，從而提升中文隱式情感分類效果。

3 隱式情感分類模型

本章主要介紹本文提出的融合時(shí)序與上下文特征的隱式情感分類模型。

3.1 任務(wù)定義

隱式情感分類任務(wù)與傳統(tǒng)的情感分類任務(wù)相同。為了更加直觀地表示本文采用的上下文特征對(duì)隱式情感分類的影響，對(duì)包含上下文的隱式情感分類任務(wù)進(jìn)行了定義：

其中：采用Sl代表任意隱式情感句，Sl可表示為Sl=(wl1，wl2，…，wlm)，其中wlm表示Sl第m個(gè)詞語(yǔ)特征，m代表句子中詞語(yǔ)的數(shù)量；Sc代表隱式情感句對(duì)應(yīng)的上下文語(yǔ)句，Sc可表示為Sc=(wc1，wc2，…，wcm)，其中wcm表示Sc第m個(gè)詞語(yǔ)特征。pli代表情感類別的概率，隱式情感類別可表示為Pl=(pl1，pl2，pl3)，其中pl1、pl2和pl3代表中性、褒義和貶義隱式情感類別的概率。包含上下文信息的隱式情感分類任務(wù)可定義為：對(duì)于給定的任意隱式情感句Sl及其對(duì)應(yīng)的上下文語(yǔ)句Sc，判定Sl和Sc對(duì)應(yīng)的Pl，即計(jì)算Sl和Sc在Pl中各元素上的極大似然概率分布。

3.2 模型描述

本文提出的模型總共包含4 個(gè)部分，分別為輸入層、編碼層、融合層和輸出層。整體模型結(jié)構(gòu)分為4 層（見圖3），輸入層主要負(fù)責(zé)將隱式情感句和上下文語(yǔ)句轉(zhuǎn)換為定長(zhǎng)的特征向量并輸入進(jìn)模型；編碼層主要負(fù)責(zé)對(duì)輸入層表示的特征向量進(jìn)行編碼，并輸出編碼后的特征值；融合層為包含計(jì)算節(jié)點(diǎn)的網(wǎng)絡(luò)結(jié)構(gòu)，用于融合隱式情感句中的時(shí)序信息和上下文特征中重要的情感信息；輸出層根據(jù)融合后的特征計(jì)算各個(gè)情感類別的概率。

3.2.1 輸入層

1）對(duì)隱式情感句的處理。

步驟1 文本預(yù)處理。由于數(shù)據(jù)來(lái)源于網(wǎng)絡(luò)，文本數(shù)據(jù)包含較多的標(biāo)點(diǎn)符號(hào)和“臟數(shù)據(jù)”?！芭K數(shù)據(jù)”指和官方測(cè)評(píng)任務(wù)描述不同的語(yǔ)句，主要指標(biāo)簽后帶有“"”符號(hào)的句子。為使隱式情感句數(shù)量與官方測(cè)評(píng)任務(wù)保持一致，本文去除了“臟數(shù)據(jù)”。

步驟2 對(duì)隱式情感句進(jìn)行分詞。采用帶有自定義表情符號(hào)詞典的jieba分詞工具將隱式情感句劃分為單獨(dú)的詞語(yǔ)。

步驟3 定長(zhǎng)處理。為方便進(jìn)行特征編碼，設(shè)定使用句子最大長(zhǎng)度對(duì)隱式情感句進(jìn)行補(bǔ)齊或者截?cái)嗵幚?。設(shè)定最大長(zhǎng)度閾值為n，采用Sl代表任意隱式情感句，采用wlm表示Sl第m個(gè)詞語(yǔ)特征，則任意隱式情感句可表示為Sl=(wl1，wl2，…，wlm)，采用式（2）對(duì)句子進(jìn)行定長(zhǎng)處理：

其中：當(dāng)詞語(yǔ)數(shù)量大于n時(shí)，對(duì)詞語(yǔ)順序大于n的詞語(yǔ)進(jìn)行截?cái)啵瑱M向拼接前n個(gè)詞語(yǔ)作為句子的特征表示；當(dāng)詞語(yǔ)數(shù)量小于n時(shí)，對(duì)詞語(yǔ)進(jìn)行補(bǔ)齊，用n-m個(gè)特定標(biāo)志[padding]進(jìn)行左補(bǔ)全。

步驟4 詞向量表示。查詢隱式情感句Sl每個(gè)詞語(yǔ)在詞嵌入模型中的向量表示，將詞語(yǔ)特征轉(zhuǎn)化為定長(zhǎng)維度的實(shí)數(shù)向量。假設(shè)預(yù)訓(xùn)練詞向量表為N∈RV×d，其中N為向量表的詞典大小，d為詞向量的維度大小。對(duì)任意隱式情感句Sl=(wl1，wl2，…，wln)，采用維度為1×N的向量N(wln)∈R1×N表示wln在N中的位置，其中，wln對(duì)應(yīng)的位置數(shù)值為1，其余位置為0，采用式（3）將每一個(gè)隱式情感句Sl轉(zhuǎn)換成N×d維度的實(shí)數(shù)向量。

對(duì)于不在詞典中的詞匯和[padding]標(biāo)志，采用相同維度大小的全0 向量進(jìn)行初始化。任意隱式情感句Sl對(duì)應(yīng)的向量表示為wl=，其中wl維度大小為n×d。

2）對(duì)上下文語(yǔ)句的處理。

上下文語(yǔ)句不需要進(jìn)行“臟數(shù)據(jù)”處理，其余操作同隱式情感句處理操作。

3.2.2 編碼層

1）對(duì)隱式情感句進(jìn)行編碼。

隱式情感句的編碼層包括3個(gè)部分：?jiǎn)螌覩RU單元塊、門控循環(huán)單元及Dropout機(jī)制。

與普通CNN 結(jié)構(gòu)不同的是，GCNN 結(jié)合了門控機(jī)制和卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)，在建模時(shí)能簡(jiǎn)化學(xué)習(xí)方式，減少非線性計(jì)算量。GCNN 能分層次地對(duì)輸入的語(yǔ)言特征進(jìn)行分析，根據(jù)輸入特征建立不同粒度的句法樹結(jié)構(gòu)。本文提出了GCNNGRU 隱式情感分類模型，該模型為GGBA 未融合上下文特征的中間模型。本文對(duì)GCNN結(jié)構(gòu)進(jìn)行如下處理：

①由于本文數(shù)據(jù)集中的隱式情感句屬于短文本，本文采用單個(gè)門控卷積神經(jīng)網(wǎng)絡(luò)塊對(duì)隱式情感文本特征進(jìn)行提取，這樣既保留了GCNN 獨(dú)特的特征篩選和提取能力，同時(shí)又簡(jiǎn)化了模型。

②由于本文采用了單層GCNN 結(jié)構(gòu)，分類模型不會(huì)出現(xiàn)詞表巨大的現(xiàn)象，為了使輸出層和其他分類模型保持一致，在輸出層部分采用普通的Softmax 代替Adaptive Softmax。本文采用的單層GCNN結(jié)構(gòu)如圖4所示。

圖4 GCNN結(jié)構(gòu)示意圖Fig.4 Schematic diagram of GCNN structure

GCNN卷積部分主要分為兩部分，卷積激活部分A和用于門控操作的B。GCNN 門控單元會(huì)對(duì)來(lái)自A和B的信息進(jìn)行如式（4）的計(jì)算：

wl為輸入層預(yù)處理后的特征矩陣；WA和WB為A和B中取值不同的卷積核權(quán)重矩陣，WA、WB∈Rk×n×o；bA和bB為A和B中取值不同的卷積核偏置項(xiàng)，n和o為輸入特征圖信息，k為卷積核信息；σ為Sigmoid 函數(shù)，用于控制A部分中信息的傳遞；?為多元乘法運(yùn)算，用于求A和B兩部分各個(gè)元素乘積，結(jié)果為GCNN 提取到的特征。為便于描述，詞向量特征wl經(jīng)過(guò)單個(gè)門控卷積神經(jīng)網(wǎng)絡(luò)編碼后的特征為hg=(hg1，hg2，…，hgn)。

門控循環(huán)單元GRU 是RNN 的一種變體結(jié)構(gòu)。GRU 具備同LSTM 相同的長(zhǎng)短期記憶能力和更簡(jiǎn)潔的結(jié)構(gòu)，主要包括兩個(gè)處理信息的門控結(jié)構(gòu)。在GCNN 編碼結(jié)構(gòu)輸出部分，本文采用門控循環(huán)單元獲取更高層語(yǔ)義特征。GRU 結(jié)構(gòu)如圖5所示。

圖5 GRU結(jié)構(gòu)示意圖Fig.5 Schematic diagram of GRU structure

如圖5（a）所示，GRU 中線性序列的特點(diǎn)讓特征在前后計(jì)算中得以傳遞，建立了特征長(zhǎng)短期距離依賴關(guān)系。圖5（b）為GRU 單元結(jié)構(gòu)，其中更新門（Update Gate）負(fù)責(zé)數(shù)據(jù)的丟棄和更新；重置門（Reset Gate）用于儲(chǔ)存遺忘信息的步長(zhǎng)。不同時(shí)間步內(nèi)，GRU對(duì)輸入信息進(jìn)行式（5）～（8）的計(jì)算。

其中：Wz、Wr、Wg分別為更新門、重置門和整個(gè)單元的權(quán)重矩陣；xt為t時(shí)刻的輸入；ht-1和ht為t-1 時(shí)刻和t時(shí)刻GRU 單元輸出；zt和rt為t時(shí)刻兩個(gè)門結(jié)構(gòu)的輸出，由式（5）和（6）計(jì)算得到為新的記憶信息，由式（7）計(jì)算得到。為了直觀展示特征處理過(guò)程，GRU編碼過(guò)程簡(jiǎn)化為式（9）～（10）：

其中：Wg為GRU 結(jié)構(gòu)的權(quán)重矩陣，經(jīng)過(guò)式（3）～（9）的計(jì)算，得到GRU結(jié)構(gòu)的輸入為前向傳播時(shí)詞語(yǔ)的隱狀態(tài)為簡(jiǎn)化的前向序列計(jì)算；實(shí)際計(jì)算過(guò)程如式（5）～（8）所示。編碼后的特征表示為Hl=[hl1，hl2，…，hln]，集合內(nèi)各元素與wl內(nèi)元素一一對(duì)應(yīng)。在特征輸出部分，本文采用了Dropout機(jī)制［24］減弱分類模型中的過(guò)擬合現(xiàn)象。

2）對(duì)上下文語(yǔ)句進(jìn)行編碼。

為突出上下文語(yǔ)句中的重要情感特征和解決較長(zhǎng)上下文語(yǔ)句中關(guān)鍵詞信息丟失問(wèn)題，采用BiGRU 與注意力機(jī)制的組合對(duì)上下文重要情感特征進(jìn)行加權(quán)輸出，結(jié)構(gòu)如圖6所示。

圖6 BiGRU+Attention網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Schematic of BiGRU+Attention network

BiGRU 編碼部分會(huì)對(duì)上下文特征進(jìn)行雙向語(yǔ)義計(jì)算，前向計(jì)算與GRU編碼部分相同，反向計(jì)算過(guò)程如式（11）：

注意力機(jī)制層可表示為帶有特殊功能的前饋神經(jīng)網(wǎng)絡(luò)，主要功能是為拼接后的特征賦予不同的權(quán)重。注意力機(jī)制層內(nèi)部主要包括3 個(gè)參數(shù)，分別為權(quán)重矩陣、偏置項(xiàng)及單獨(dú)的實(shí)數(shù)序列。注意力機(jī)制層會(huì)對(duì)輸入特征進(jìn)行式（12）～（14）的計(jì)算：

其中：Ww為注意力機(jī)制層的權(quán)重矩陣；bW為注意力機(jī)制層的偏置項(xiàng)；μW為隨機(jī)初始化的實(shí)數(shù)序列；αt為每個(gè)輸入分配的獨(dú)立權(quán)重；s為分配權(quán)重后的輸出。輸出后的特征包含了上下文重要情感特征，記作hc=[hc1，hc2，…，hcn]。

3.2.3 融合層

融合層將含有時(shí)序特征的向量hl=[hl1，hl2，…，hln]與含有上下文情感特征的向量hc=[hc1，hc2，…，hcn]采用式（15）對(duì)隱式情感句特征和上下文特征進(jìn)行逐元素相乘。

3.2.4 輸出層

假設(shè)融合后的特征H∈Rn×d，輸出層則對(duì)輸入特征H進(jìn)行式（16）的計(jì)算：

其中：softmax為歸一化函數(shù)；pli為歸一化后的分類模型情感類別結(jié)果，Ws和bs分別為輸出層的權(quán)重矩陣和偏置項(xiàng)向量，取pli中的最大值作為分類模型最終預(yù)測(cè)結(jié)果，即進(jìn)行式（17）計(jì)算：

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)集

本文所用數(shù)據(jù)集為第8 屆全國(guó)社會(huì)媒體處理大會(huì)（SMP2019）舉辦的“拓爾思杯”中文隱式情感分析評(píng)測(cè)數(shù)據(jù)集，由于無(wú)法獲得該數(shù)據(jù)集中測(cè)試集的標(biāo)注信息，本文只使用數(shù)據(jù)集中的訓(xùn)練集和驗(yàn)證集，對(duì)訓(xùn)練集重新進(jìn)行4∶1 的劃分，分別作為訓(xùn)練集與驗(yàn)證集，原驗(yàn)證集作為本文測(cè)試集。該數(shù)據(jù)集情感標(biāo)簽為褒義、中性、貶義3 種。表5 展示了標(biāo)注數(shù)據(jù)的詳細(xì)信息。

表5 實(shí)驗(yàn)數(shù)據(jù)信息Tab.5 Experimental data information

4.2 實(shí)驗(yàn)設(shè)置

4.2.1 數(shù)據(jù)預(yù)處理

對(duì)本實(shí)驗(yàn)中的數(shù)據(jù)集進(jìn)行初步的規(guī)則識(shí)別，分別提取出隱式情感句和上下文語(yǔ)句。隱式情感句中去除了“臟數(shù)據(jù)”（3.2.1 節(jié)對(duì)隱式情感句的處理）。與隱式情感句相鄰的語(yǔ)句作為上下文的輸入，對(duì)于不包含上下文的隱式情感句，采用句子本身作為上下文輸入。句子提取完成后，采用帶有自定義情感詞典的jieba分詞工具對(duì)句子進(jìn)行分詞處理。

4.2.2 評(píng)價(jià)指標(biāo)

本文使用SMP2019 官方提供的評(píng)價(jià)指標(biāo)測(cè)試各個(gè)模型分類性能，即宏平均準(zhǔn)確率（Macro?P）、召回率（Macro?R）及F1值（Macro?F1）。宏平均指標(biāo)的計(jì)算需要求得各個(gè)類別的準(zhǔn)確率（P）、召回率（R）及F1 值。3 個(gè)數(shù)值的計(jì)算如式（18）～（20）所示：

其中：TP（True Positive）表示句子情感類別為正例，分類模型預(yù)測(cè)結(jié)果為正例；FP（False Positive）表示句子情感類別為負(fù)例，分類模型預(yù)測(cè)結(jié)果為正例；FN（False Negative）表示句子情感類別為正例，分類模型預(yù)測(cè)結(jié)果為負(fù)例。在隱式情感分類研究中，正例為原始情感類別，負(fù)例為其他情感類別。宏平均指標(biāo)為對(duì)3 個(gè)類別指標(biāo)求均值，僅展示宏平均準(zhǔn)確率計(jì)算方式，如式（21）所示，其中Pi與標(biāo)簽信息一一對(duì)應(yīng)，分別代表隱性情感類別：中性、褒義、貶義，其余指標(biāo)計(jì)算相似。

4.2.3 對(duì)比實(shí)驗(yàn)設(shè)置

為直觀比較各模型特征提取特點(diǎn)，本文采用Word2vec 詞向量，且在訓(xùn)練時(shí)融入Word+Character+Ngram 特征［25］。本節(jié)選取了隱式情感分類和顯式情感分類研究中常用的模型，詳細(xì)信息如下：

1）LSTM。本文采用文獻(xiàn)［15］提出的LSTM網(wǎng)絡(luò)獲取詞語(yǔ)的時(shí)序關(guān)系及詞語(yǔ)間的依賴關(guān)系，在此基礎(chǔ)上建立了LSTM隱式情感分類模型。

2）GRU。獲取文本特征表示后，本文采用文獻(xiàn)［15］提出的GRU 網(wǎng)絡(luò)獲取詞語(yǔ)間的時(shí)序關(guān)系及依賴關(guān)系，從而建立了GRU隱式情感分類模型。

3）GCNN。在文獻(xiàn)［14］中的GCNN 分類模型基礎(chǔ)上，采用單層門控卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行局部特征提取，通過(guò)最大池化和輸出層實(shí)現(xiàn)特征情感判別。

4）TextCNN。本文在編碼器部分采用了文獻(xiàn)［12］提出的TextCNN模型。

5）DRNN。本文在文獻(xiàn)［16］中DRNN 分類模型基礎(chǔ)上，采用GRU 作為中斷門控循環(huán)單元，通過(guò)全連接層、最大池化層提取更高層的特征信息。

6）BERT。本文采用中文預(yù)訓(xùn)練BERT 模型［17］獲取詞語(yǔ)深層次語(yǔ)義信息，搭建了一個(gè)Softmax 分類器實(shí)現(xiàn)隱式情感句的判別。本文還采用了L2正則化減弱模型的過(guò)擬合程度。

7）RoBERTa。本文采用RoBERTa 預(yù)訓(xùn)練模型［18］獲取詞語(yǔ)深層次語(yǔ)義信息，搭建了一個(gè)Softmax 分類器實(shí)現(xiàn)隱式情感句的判別。本文還采用了L2正則化減弱模型的過(guò)擬合程度。

8）GCNN-GRU。本文提出的一種融合詞語(yǔ)時(shí)序信息的隱式情感分類模型。采用單層GCNN 提取局部特征，通過(guò)GRU網(wǎng)絡(luò)增強(qiáng)距離依賴特性，并獲取詞語(yǔ)間的時(shí)序信息及更高層的語(yǔ)義特征信息，結(jié)構(gòu)內(nèi)部設(shè)計(jì)見3.2.2節(jié)編碼層描述部分。

4.2.4 超參數(shù)設(shè)置

采用參考相關(guān)研究文獻(xiàn)和重復(fù)實(shí)驗(yàn)的方式確定超參數(shù)的取值，如表6所示。

表6 分類模型統(tǒng)一超參數(shù)Tab.6 Unified hyperparameters for classification models

分類模型主要包括兩大類：一種為循環(huán)神經(jīng)網(wǎng)絡(luò)相關(guān)的分類模型，其中隱層神經(jīng)元個(gè)數(shù)對(duì)分類結(jié)果有較大影響，如LSTM、GRU、DRNN 和GCNN-GRU；另一種為卷積神經(jīng)網(wǎng)絡(luò)相關(guān)的分類模型，如GCNN-GRU、GCNN 和TextCNN，卷積核數(shù)和窗口大小對(duì)模型分類結(jié)果有較大影響。在確定隱層神經(jīng)元最佳取值時(shí)，設(shè)定取值分別為8、16、32、64、128 和256。在確定GCNN-GRU 和DRNN 隱層神經(jīng)元時(shí)，本文參照文本分類任務(wù)中卷積神經(jīng)網(wǎng)絡(luò)敏感性研究，將卷積核數(shù)設(shè)定為100，窗口大小設(shè)定為1，DRNN 窗口大小設(shè)定為10。本節(jié)采用宏平均F1 值作為評(píng)價(jià)指標(biāo)，在測(cè)試集上進(jìn)行一次實(shí)驗(yàn)并記錄各分類模型實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 神經(jīng)元數(shù)與F1值關(guān)系Fig.7 Relationship between the number of neurons and value of F1

對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析，當(dāng)隱層神經(jīng)元數(shù)量取值為64 時(shí)，循環(huán)神經(jīng)網(wǎng)絡(luò)相關(guān)的分類模型均可以取得不錯(cuò)的分類效果。GCNN-GRU、DRNN、LSTM 和GRU隱層神經(jīng)元個(gè)數(shù)設(shè)定為64。在研究卷積神經(jīng)網(wǎng)絡(luò)相關(guān)的分類模型超參數(shù)時(shí)，窗口大小分別設(shè)定為1、3、5、7、10和15。實(shí)驗(yàn)結(jié)果如圖8所示，其中，CNN窗口大小測(cè)試參考了文獻(xiàn)［17］研究?jī)?nèi)容，主要目的是測(cè)試單層CNN 在不同大小窗口的敏感性。根據(jù)單層CNN 敏感性測(cè)試結(jié)果，本文確定了CNN相關(guān)網(wǎng)絡(luò)的窗口取值。

圖8 卷積核窗口大小與F1值關(guān)系Fig.8 Relationship between size of convolution kernel window and value of F1

對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析，DRNN 分類模型在取值為15 時(shí)可以取得不錯(cuò)分類效果，綜合其他大型數(shù)據(jù)集實(shí)驗(yàn)結(jié)果，將DRNN 窗口大小設(shè)定為15。GCNN 和GCNN-GRU 分類模型宏平均F1 值隨著窗口增大而下降，在取值為1 時(shí)最優(yōu)。CNN 分類模型宏平均F1 值在3 時(shí)效果最優(yōu)。綜合實(shí)驗(yàn)結(jié)果，分類模型獨(dú)特的超參數(shù)設(shè)置如表7所示。

表7 各模型參數(shù)取值Tab.7 Different parameter values of models

4.3 實(shí)驗(yàn)結(jié)果分析

本文對(duì)各分類模型進(jìn)行了5 次重復(fù)實(shí)驗(yàn)，獲取了宏平均準(zhǔn)確率、召回率以及F1 值。為了方便對(duì)比，本文還列舉了各分類模型參與訓(xùn)練的參數(shù)量，實(shí)驗(yàn)結(jié)果詳細(xì)信息見表8。

表8 各分類模型宏平均準(zhǔn)確率、召回率和F1值Tab.8 Macro?P，Macro?R and F1 values of each classification model

對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析可以得到如下結(jié)論：

1）對(duì)比GCNN-GRU、LSTM 和GRU 模型，GCNN-GRU 具備更強(qiáng)的局部特征提取和信息篩選能力。與最優(yōu)的GRU 相比，本文提出的GCNN-GRU 在宏平均準(zhǔn)確率上從73.15%提高到了73.74%，提升了0.80%；在宏平均召回率上從72.01%提高到了73.71%，提升了0.97%；在宏平均F1 值上從72.27%提高到了73.65%，提升了1.91%，驗(yàn)證了本文提出的GCNNGRU 在融合局部特征和詞語(yǔ)時(shí)序信息上的有效性。由于本文數(shù)據(jù)集中包含修辭語(yǔ)句、情感類別增多（增加中性）、情感類別數(shù)據(jù)不均衡（中性>貶義>褒義）、不同情感類別的句子不存在界限分明的情感詞、數(shù)據(jù)來(lái)源廣泛、等特點(diǎn)，導(dǎo)致隱性情感分析任務(wù)比顯式情感分析任務(wù)更加困難，也導(dǎo)致了隱性情感分析的準(zhǔn)確度不可能大幅度提升。GGBA 在GCNN-GRU 基礎(chǔ)上融合了上下文特征，將宏平均準(zhǔn)確率、召回率、F1 值分別提升了1.75%、0.87%、1.33%，證明了上下文信息對(duì)隱式情感分類任務(wù)的影響。

2）對(duì)比GGBA、GCNN、TextCNN 和DRNN 模型，GGBA 模型比效果最好的DRNN 模型在宏平均準(zhǔn)確率上提高到75.03%，提高了1.9%；召回率提高到74.35%，提升了1.5%；F1 值提高到74.63%，提升了1.6%，驗(yàn)證了本文所提模型在中文隱式情感分類任務(wù)上的有效性。

3）對(duì)比GGBA、BERT 和RoBERTa 分類模型，RoBERTa 分類模型采用的雙向Transformer 結(jié)構(gòu)、多維度的注意力機(jī)制和動(dòng)態(tài)Masking 方法有效獲取了詞語(yǔ)的深層語(yǔ)義特征，但具備最高數(shù)量級(jí)的參數(shù)量。相對(duì)于基礎(chǔ)的BERT 模型，改進(jìn)后的RoBERTa 分類模型在隱式情感數(shù)據(jù)集上可以獲得更好的分類效果。BERT 相關(guān)模型由于其龐大的參數(shù)量導(dǎo)致預(yù)訓(xùn)練時(shí)花費(fèi)的時(shí)間更久，且對(duì)設(shè)備和內(nèi)存的要求較高［26］，若需在手機(jī)等資源有限的設(shè)備上使用BERT 相關(guān)模型，必須縮減模型中的參數(shù)量，但緊湊的BERT 相關(guān)模型往往會(huì)丟失潛在的重要信息，表現(xiàn)出較低的性能。雖然知識(shí)蒸餾技術(shù)［22］在一定程度上增強(qiáng)了BERT 相關(guān)模型的可遷移性，但其性能相較于教師模型仍有所降低。本文的GGBA 模型雖然對(duì)宏平均準(zhǔn)確率、召回率和F1 值的提升不如BERT 模型和RoBERTa 模型，但其參數(shù)量驟降，更適用于資源有限設(shè)備。

5 結(jié)語(yǔ)

本文首先對(duì)隱式情感句文本特征和情感詞匯資源進(jìn)行了分析，然后提出了一種融合局部特征提取的隱式情感分類模型GCNN-GRU 和一種融合時(shí)序信息和上下文信息的中文隱式情感分類模型GGBA。GCNN-GRU 模型證明了局部信息與時(shí)序信息對(duì)中文隱式情感分類任務(wù)效果的提升，基于隱式情感分類對(duì)上下文信息的依賴；在GCNN-GRU 模型基礎(chǔ)上，融合了上下文信息，提出GGBA 模型，在宏平均準(zhǔn)確率、召回率和F1值上均有不錯(cuò)的表現(xiàn)，效果相較于參數(shù)量級(jí)較低的模型均獲得了不同程度的提升。雖然分類效果不如BERT 和RoBERTa，但是GGBA 模型小、參數(shù)量低、遷移性高，能夠在手機(jī)等資源有限的設(shè)備上達(dá)到最好的性能。隨著互聯(lián)網(wǎng)行業(yè)的發(fā)展，人們表達(dá)感情已經(jīng)不僅僅局限于文本，圖片、聲音、視頻均可以傳達(dá)人們想要表達(dá)的感情，所以，接下來(lái)的工作也會(huì)著重研究多模態(tài)的情感分析，更加貼合人們的實(shí)際生活。