賈鈺峰，李 容，章蓬偉，邵小青

（1.新疆科技學(xué)院信息科學(xué)與工程學(xué)院，庫(kù)爾勒 841300；2.新疆科技學(xué)院馬克思主義學(xué)院，庫(kù)爾勒 841300）

1 引 言

文本分類是自然語(yǔ)言處理領(lǐng)域最廣泛應(yīng)用的技術(shù)，包括事件抽取、意圖識(shí)別、問(wèn)答任務(wù)、情感分析等。其中情感評(píng)論分析是一個(gè)重要分支和研究方向，它研究的是如何在海量的繁雜信息中快速且準(zhǔn)確地獲取用戶對(duì)事物的情感好惡，從而更加高效地分析數(shù)據(jù)。隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展，以即時(shí)消息、文章標(biāo)題、手機(jī)短消息、微博交互、商品評(píng)論、視頻彈幕等為代表的短文本信息增長(zhǎng)非常迅速，數(shù)據(jù)規(guī)模已然非常龐大。這些評(píng)論文本整體較短，長(zhǎng)度較隨意，更接近口語(yǔ)化，往往包含著個(gè)人情緒狀態(tài)和觀點(diǎn)態(tài)度。對(duì)這些評(píng)論性的短文本的研究顯然具有很大的應(yīng)用價(jià)值。由于中文文字內(nèi)涵的豐富，這些短文本信息是由各類不同的網(wǎng)絡(luò)用語(yǔ)、多譯詞性、特殊符號(hào)等組成，導(dǎo)致短文本整體具有稀疏性和上下文缺失等特性，對(duì)其進(jìn)行有效地分類和分析具有必要性和挑戰(zhàn)性。本研究選用經(jīng)典的文本分類模型，包括TextCNN[1]、TextRNN[2]、FastText[3]、TextRC NN[4]、DPCNN[5]、Transformer[6]和BiLSTM_Attention[7],全面比較了基于字向量作為輸入的各模型在短文本（甚至是超短文本）中的情感分類情況。研究主要考查短文本在相同數(shù)據(jù)集、相同預(yù)處理和超參數(shù)配置的情況下，各模型之間的效率和質(zhì)量。

2 研究背景

情感分析的核心是分類，目前文本分類的主流是傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法[8]?；趥鹘y(tǒng)的機(jī)器學(xué)習(xí)方法主要依靠特征提取和分類模型的組合。在構(gòu)建特征的過(guò)程中，往往需要人工干預(yù)完成，否則很難習(xí)得文本的特征?？衫孟嗨普Z(yǔ)料對(duì)文本信息進(jìn)行擴(kuò)展，進(jìn)而得到特征向量；用信息增益的計(jì)算方式來(lái)選擇特征，提高分類準(zhǔn)確率。也可對(duì)詞向量進(jìn)行加權(quán)處理，區(qū)分不同字詞的重要程度，提高分類文本的準(zhǔn)確率和效率。由于不同任務(wù)對(duì)文本特征要求不一，所以方式的選擇還要視具體問(wèn)題情況而定。文本分類屬于有監(jiān)督學(xué)習(xí)中的分類問(wèn)題，傳統(tǒng)機(jī)器學(xué)習(xí)分類器有SVM、決策樹、邏輯回歸、集成學(xué)習(xí)等。

深度學(xué)習(xí)改變了傳統(tǒng)的特征工程方法，在文本分類中通過(guò)端到端的訓(xùn)練，可以自動(dòng)地從原始文本數(shù)據(jù)中學(xué)習(xí)到有價(jià)值的特征。這種方法的優(yōu)點(diǎn)在于可以處理高維數(shù)據(jù)，同時(shí)無(wú)需人工進(jìn)行繁瑣的特征選擇和提取。此外，深度學(xué)習(xí)模型具有強(qiáng)大的非線性分類能力，可以處理復(fù)雜的文本分類任務(wù)。然而，深度學(xué)習(xí)模型對(duì)數(shù)據(jù)質(zhì)量和數(shù)量有較高的要求，模型的訓(xùn)練也需要大量的計(jì)算資源和時(shí)間，對(duì)于計(jì)算能力有限的系統(tǒng)來(lái)說(shuō)有一定的制約。隨著計(jì)算機(jī)性能的不斷提升，以及設(shè)計(jì)出了更多、更高效的深度學(xué)習(xí)模型，對(duì)自然語(yǔ)言處理的理解和操作能力有極大的提高。盡管存在一些挑戰(zhàn)和限制，但隨著技術(shù)的不斷進(jìn)步深度學(xué)習(xí)在文本分類領(lǐng)域?qū)?lái)更多的價(jià)值。

本研究的整體研究流程如圖1 所示。其主要目標(biāo)為分析短文本在各經(jīng)典模型之間的運(yùn)行情況，根據(jù)運(yùn)行結(jié)果指標(biāo)指導(dǎo)今后在其它短文本領(lǐng)域的泛化性和遷移性，為新領(lǐng)域短文本匹配模型提供有價(jià)值的信息。

圖1 研究流程圖

為了更好達(dá)到此目標(biāo)，需要滿足以下要求：其一，盡量用簡(jiǎn)約和不需要重新構(gòu)造的方式構(gòu)建特征，盡量用少的流程或者直接實(shí)現(xiàn)端到端的分類方式。其二，能夠處理海量數(shù)據(jù)和特有領(lǐng)域數(shù)據(jù)，能夠隨著數(shù)據(jù)的發(fā)展不斷迭代更新。其三，能夠?qū)ξ谋镜南∈栊院蜕舷挛男畔⒌娜笔в泻芎玫姆夯?，以符合短文本的特點(diǎn)[9]。通過(guò)查閱資料和分析[10-11]，發(fā)現(xiàn)深度學(xué)習(xí)滿足對(duì)短文本的情感分類需求，它也是當(dāng)前文本分類的主流。目前深度學(xué)習(xí)模型的分類表現(xiàn)往往優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)模型。為了簡(jiǎn)化，不對(duì)傳統(tǒng)機(jī)器學(xué)習(xí)模型進(jìn)行比較。目前經(jīng)典的深度學(xué)習(xí)文本分類模型有TextCNN、TextRNN、FastText、TextRCNN、BiLSTM_Attention、DPCNN 及Transformer，在基于字向量的基礎(chǔ)上，運(yùn)用上述模型對(duì)短文本（不超過(guò)200個(gè)字）進(jìn)行情感分類。

3 相關(guān)模型

3.1 TextCNN 模型

TextCNN 模型應(yīng)用最為廣泛，尤其在工業(yè)領(lǐng)域有相當(dāng)成熟的應(yīng)用，已經(jīng)取得較為優(yōu)異的輸出效果。其網(wǎng)絡(luò)結(jié)構(gòu)較為簡(jiǎn)單，模型數(shù)據(jù)流動(dòng)描述如表1。

表1 TextCNN 模型數(shù)據(jù)描述

TextCNN 在文本分類中的模型結(jié)構(gòu)簡(jiǎn)單，對(duì)文本淺層特征抽取能力強(qiáng)，因此在處理短文本時(shí)，表現(xiàn)較好。采用多個(gè)卷積，有利于提取多種特征；最大池化將提取到最重要的信息加以保留。該模型也具有較少的參數(shù)數(shù)目和較快的計(jì)算速度。

然而TextCNN 也存在著缺點(diǎn)，包括模型可解釋性不強(qiáng)，在調(diào)優(yōu)模型時(shí)很難根據(jù)訓(xùn)練的結(jié)果去針對(duì)性地調(diào)整具體的特征。

3.2 TextRNN 模型

TextRNN 模型是一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的文本分類模型，具有良好的性能。該模型避免了CNN 算法中不能延展序列長(zhǎng)度的缺陷，能夠更好地捕捉上下文信息，有利于捕獲文本語(yǔ)義；可以靈活地采用多種結(jié)構(gòu)，比如在雙向RNN 的基礎(chǔ)上再疊加一個(gè)單向的RNN，或者把雙向RNN 在每一個(gè)時(shí)間步長(zhǎng)上的兩個(gè)隱藏狀態(tài)進(jìn)行拼接，作為上層單向RNN 每一個(gè)時(shí)間步長(zhǎng)上的一個(gè)輸入。

TextRNN 模型也存在一些缺點(diǎn)，例如在處理較長(zhǎng)文本時(shí)，后一個(gè)時(shí)刻的輸出會(huì)依賴前一個(gè)時(shí)刻的輸出，因此無(wú)法并行處理，需要按順序處理文本，導(dǎo)致其訓(xùn)練速度較慢。同時(shí)，RNN 在處理序列信息時(shí)，有時(shí)會(huì)偏向最后輸入的信息，這就可能導(dǎo)致早期信息丟失的情況發(fā)生。

3.3 FastText 模型

FastText 除了可以進(jìn)行文本分類，還可用于詞向量學(xué)習(xí)、序列標(biāo)注任務(wù)等。該模型在多種文本分類任務(wù)中表現(xiàn)出色，如情感分析、垃圾郵件過(guò)濾等，其分類準(zhǔn)確率與傳統(tǒng)的文本分類算法相當(dāng)或更優(yōu)；對(duì)于較長(zhǎng)的文本和噪聲文本具有較好的魯棒性；支持多種語(yǔ)言，并能夠處理不同長(zhǎng)度的文本。只需要提供文本數(shù)據(jù)和標(biāo)簽，就可以進(jìn)行訓(xùn)練和分類，而無(wú)需對(duì)文本進(jìn)行過(guò)多的預(yù)處理。

FastText 模型的缺點(diǎn)包括對(duì)于超出單詞級(jí)別的信息建模能力相對(duì)較弱，以及較長(zhǎng)文本訓(xùn)練過(guò)程中的復(fù)雜度增加。

3.4 TextRCNN 模型

TextRCNN 模型的目的是解決RNN 在處理長(zhǎng)文本時(shí)存在的偏置問(wèn)題，以及CNN 在確定文本中具有最大池化層的識(shí)別性短語(yǔ)時(shí)可能存在的局限性。該模型結(jié)合了RNN 和CNN 的優(yōu)點(diǎn)，它能夠通過(guò)雙向循環(huán)和最大池化層減少噪聲，更準(zhǔn)確地捕捉文本的語(yǔ)義，并保留更大范圍的詞序信息；結(jié)合RNN 和CNN 的優(yōu)點(diǎn)，既可以捕獲詞序信息，也可以減少參數(shù)空間；能夠處理任意長(zhǎng)度的序列，而不需要對(duì)輸入進(jìn)行預(yù)處理或縮短序列長(zhǎng)度。

總之，TextRCNN 模型在文本分類任務(wù)中具有捕捉上下文信息、處理任意長(zhǎng)度序列、端到端訓(xùn)練和可解釋性等優(yōu)點(diǎn)。

3.5 BiLSTM+Attention 模型

BiLSTM+Attention 模型結(jié)合了BiLSTM（雙向長(zhǎng)短期記憶網(wǎng)絡(luò)）和注意力機(jī)制，通常用于自然語(yǔ)言處理（NLP）任務(wù)，如文本分類、序列標(biāo)注等。該模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 BiLSTM+Attention 模型網(wǎng)絡(luò)結(jié)構(gòu)圖

此模型在文本分類中的優(yōu)點(diǎn)包括：BiLSTM 模型可以同時(shí)考慮過(guò)去和未來(lái)的信息，更全面地捕捉序列數(shù)據(jù)中的特征信息；Attention 機(jī)制能夠更好地處理序列數(shù)據(jù)之間的關(guān)系，為BiLSTM 網(wǎng)絡(luò)提高預(yù)測(cè)準(zhǔn)確率；BiLSTM+Attention 的可解釋性較強(qiáng)，可以更好地理解文本分類的決策過(guò)程。

該模型的缺點(diǎn)則包括：可能受到過(guò)長(zhǎng)文本或復(fù)雜句式的困擾，導(dǎo)致訓(xùn)練速度和分類效率下降。

3.6 DPCNN 模型

DPCNN 模型是一種深度卷積神經(jīng)網(wǎng)絡(luò)，在文本分類中的優(yōu)點(diǎn)包括：采用層級(jí)特征提取方式，能夠適應(yīng)不同長(zhǎng)度的文本輸入，從字、詞、n-gram 等多個(gè)層次提取文本特征，具有較強(qiáng)的特征表達(dá)能力；采用了高效的訓(xùn)練方法，如層級(jí)權(quán)重初始化、多尺度卷積和池化等，能夠快速收斂并獲得較好的效果。

DPCNN 模型在文本分類和相關(guān)任務(wù)中表現(xiàn)出色，尤其適用于長(zhǎng)文本的分類任務(wù)。但其計(jì)算復(fù)雜度和參數(shù)數(shù)量限制了其在實(shí)際應(yīng)用中的推廣。

3.7 Transformer 模型

Transformer 模型在文本分類任務(wù)中具有高效性，其使用自注意力機(jī)制來(lái)實(shí)現(xiàn)對(duì)輸入序列的編碼和表示學(xué)習(xí)，相比于傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)（RNN）或卷積神經(jīng)網(wǎng)絡(luò)（CNN）等，獲得了更高的并行性和計(jì)算效率。因此，模型在處理長(zhǎng)序列和大規(guī)模數(shù)據(jù)時(shí)具有明顯的優(yōu)勢(shì)。

該模型還具有上下文感知能力，使用自注意力機(jī)制來(lái)實(shí)現(xiàn)對(duì)輸入序列的編碼和表示學(xué)習(xí)，可以捕捉序列中不同位置之間的依賴關(guān)系，實(shí)現(xiàn)上下文感知，提高模型的準(zhǔn)確性和魯棒性。

模型的通用性也較高，可以應(yīng)用于多種自然語(yǔ)言處理任務(wù)，不需要為每個(gè)任務(wù)單獨(dú)設(shè)計(jì)模型結(jié)構(gòu)。然而Transformer 模型需要大量的訓(xùn)練數(shù)據(jù)和計(jì)算資源，對(duì)于小規(guī)?；蛱囟I(lǐng)域的任務(wù)可能無(wú)法取得理想的效果。

4 研究分析

4.1 評(píng)論文本的特點(diǎn)

研究選取某外賣平臺(tái)評(píng)論信息作為短文本的情感分析語(yǔ)料。評(píng)論信息在短文本中極具代表性和豐富性，具有真實(shí)場(chǎng)景化的鮮明特點(diǎn)。評(píng)論文本比較跳躍，表達(dá)口語(yǔ)化，往往不遵守語(yǔ)法規(guī)則，語(yǔ)言比較新穎，內(nèi)容稀疏，上下文信息缺乏。有時(shí)還會(huì)包含拼寫錯(cuò)誤、網(wǎng)絡(luò)流行用語(yǔ)以及特殊表情、符號(hào)等。

評(píng)論文本的字符跨度大。評(píng)論最短一般由一個(gè)字、詞甚至一個(gè)標(biāo)點(diǎn)符號(hào)或者幾個(gè)詞或幾個(gè)短語(yǔ)組成來(lái)表明自己的態(tài)度。短小評(píng)論占全部評(píng)論中的大多數(shù)。最長(zhǎng)的評(píng)論可達(dá)上千字，但長(zhǎng)文本極少出現(xiàn)。評(píng)論的文本長(zhǎng)度與數(shù)量之間呈現(xiàn)出冪律關(guān)系。

評(píng)論文本具有多種意義。短文本增長(zhǎng)非常迅速，數(shù)據(jù)規(guī)模龐大，存在一詞多義和一義多詞的特點(diǎn)，造成了語(yǔ)義難以明辨，理解偏差無(wú)法消解。內(nèi)容中往往包含評(píng)論人的喜怒哀樂。

4.2 文本預(yù)處理

文本預(yù)處理主要針對(duì)一些無(wú)實(shí)際意義的詞進(jìn)行識(shí)別和剔除，例如大量的停用詞或噪聲等，從而能夠降低其對(duì)預(yù)處理的影響程度。中文語(yǔ)義較復(fù)雜，具有更高的信息量，相比類似英文的拼寫文字，很難進(jìn)行精確的分詞，模型評(píng)估效果也會(huì)低于英文模型。

文本分類的預(yù)處理包括：分詞、降噪、剔除停用詞等。中文的分詞會(huì)造成更多的低頻詞出現(xiàn)，對(duì)于短文本是無(wú)法很好的學(xué)習(xí)到詞語(yǔ)意義的。分詞提高了出現(xiàn)的頻率，比字有著更廣泛的包含性，所以可以學(xué)到更多的詞性。中文評(píng)論的降噪對(duì)長(zhǎng)文本具有很好的凸顯特征的作用，但是對(duì)于短文本，只要語(yǔ)料夠多，分出的字完全可以涵蓋所有的文字和表達(dá)方式。對(duì)于短文本評(píng)論中的符號(hào)、表情或者一個(gè)字的評(píng)論其實(shí)也是帶有評(píng)論者想表述的意思。所以為了增加未來(lái)對(duì)于各領(lǐng)域不同評(píng)論的魯棒性，提高泛化適應(yīng)能力，沒有對(duì)文本做任何的額外處理。僅僅只做一個(gè)分詞處理，并使用現(xiàn)成的預(yù)訓(xùn)練字向量作為模型的輸入值。

4.3 字向量的優(yōu)越性

文本對(duì)其分詞天然含有詞語(yǔ)間語(yǔ)義的信息，對(duì)于長(zhǎng)文本可以增加信息量。但是對(duì)于評(píng)論性的短文本，反而分字的優(yōu)越性更大，所以使用了搜狗公布的預(yù)訓(xùn)練字向量[12]，后續(xù)所有模型均是根據(jù)預(yù)訓(xùn)練字向量提取出文本對(duì)應(yīng)的字向量作為模型的輸入。字向量示例如表2 所示。

表2 字向量示例

通過(guò)分析認(rèn)為分字具有如下的優(yōu)越性：

對(duì)于不同的短文本數(shù)據(jù)集的任意模型來(lái)說(shuō)，分字會(huì)減少低頻字的出現(xiàn)，可以弱化評(píng)論的跳躍性。只要使用充足的訓(xùn)練集，分字所分割出的文字完全可以囊括日常評(píng)論所需的所有文字和符號(hào)。

分字分割出的文字通常出現(xiàn)在多種不同的語(yǔ)境中，這樣，模型訓(xùn)練出的文字語(yǔ)義就是這些文字在多種語(yǔ)境中的綜合，具有廣泛的適用性。

機(jī)器學(xué)習(xí)提高文本分類效果主要體現(xiàn)在數(shù)據(jù)集和模型兩個(gè)方面。僅僅使用字向量可以降低語(yǔ)料的數(shù)量，提高出現(xiàn)的頻率，從而提高泛化性能。

5 實(shí)驗(yàn)及結(jié)果分析

在實(shí)驗(yàn)中，使用了雙核Intel?CoreTMi7-7500U CPU@2.70 GHz 和16G RAM 的電腦，運(yùn)行系統(tǒng)為Windows2010, 編程語(yǔ)言為Python3, 深度學(xué)習(xí)庫(kù)為PyTorch，參考中文文本分類源碼[13]。

5.1 數(shù)據(jù)集

實(shí)驗(yàn)使用的數(shù)據(jù)集是Github 官網(wǎng)上開源的某外賣平臺(tái)中文情感分析語(yǔ)料共11987 條（其中5 個(gè)字以內(nèi)超短文本數(shù)1892 條）[14]，數(shù)據(jù)集整體符合評(píng)價(jià)指標(biāo)。測(cè)試集、訓(xùn)練集和驗(yàn)證集中沒有相互重復(fù)和交叉數(shù)據(jù)，它們按照60%:20%:20%的比例進(jìn)行隨機(jī)抽取。最終得到訓(xùn)練集7192 條，測(cè)試集2397 條，驗(yàn)證集2398 條。其中，正向評(píng)論文本數(shù)7987 條，負(fù)向評(píng)論文本數(shù)3999 條。

5.2 實(shí)驗(yàn)評(píng)估

由于模型較多，僅將FastTest 模型每隔32 次迭代計(jì)算得到的測(cè)試集和訓(xùn)練集的準(zhǔn)確率記錄下來(lái)，并繪制在折線圖中，得到如圖3 所示的結(jié)果圖。隨著迭代次數(shù)的提高，迭代準(zhǔn)確率越來(lái)越準(zhǔn)確并有逐步趨于穩(wěn)定的趨勢(shì)。為了避免過(guò)擬合，在迭代第1344次時(shí)終止了迭代。

圖3 FastTest 模型訓(xùn)練過(guò)程中準(zhǔn)確率變化圖

為得到更好的評(píng)價(jià)模型，選擇的模型評(píng)估指標(biāo)有：準(zhǔn)確率（Accuracy, A）、召回率（Recall, R）、F1 分?jǐn)?shù)（F1Score, F1）。通過(guò)實(shí)驗(yàn)得到各模型對(duì)比指標(biāo)，結(jié)果如表3。

表3 各模型評(píng)估指標(biāo)對(duì)比

從表中可以看出，本文引用的模型在各個(gè)指標(biāo)上的結(jié)果都較好（準(zhǔn)確率最低為85.11%），同時(shí)模型間指標(biāo)的差異也較?。ǜ?dòng)在5%以內(nèi)），這表明針對(duì)短文本進(jìn)行字向量的輸入是可行的，也說(shuō)明模型具有很強(qiáng)的擬合能力和泛化能力。其中，TextCNN 和FastTest 在短文本數(shù)據(jù)的分類處理上比其他模型稍微優(yōu)秀一些。有此表現(xiàn)可能是由于TextCNN 和Fast Test 在處理短文本時(shí)具有更好的特征提取能力。至此，可以得出結(jié)論，在短文本情感分析方面，以字切分具有很好的表現(xiàn)，對(duì)于評(píng)論性的短文本，不做任何處理，僅僅用字向量作為特征直接輸入，利用神經(jīng)網(wǎng)絡(luò)端到端的特性，即可達(dá)到較好的分類效果。

6 結(jié)束語(yǔ)

針對(duì)評(píng)論性短文本的特征，分析了字向量的優(yōu)勢(shì)，同時(shí)對(duì)各模型在外賣數(shù)據(jù)集的正負(fù)情感分類進(jìn)行驗(yàn)證，檢驗(yàn)了模型在短文本方面的效果，均能較良好地完成了識(shí)別任務(wù)。研究為未來(lái)利用遷移學(xué)習(xí)的方式在其它短文本評(píng)論領(lǐng)域進(jìn)行分類提供了有價(jià)值的參考。不過(guò)對(duì)于短文本自身的定義和建構(gòu)同樣需要進(jìn)一步完善，其內(nèi)涵也有待進(jìn)一步挖掘。對(duì)于短文本自身的定義和建構(gòu)，后續(xù)研究工作還應(yīng)包括：利用模型預(yù)測(cè)出文本的情感正負(fù)傾向后，更進(jìn)一步研究正負(fù)情感的程度，以及正負(fù)文本觀點(diǎn)的主題內(nèi)容；在長(zhǎng)文本方面的表現(xiàn)還需進(jìn)一步探索；在情感分析也應(yīng)考慮到情感的程度或者中性觀點(diǎn)的存在。