劉柏霆，管衛(wèi)利,2**，李陶深,2

(1.廣西大學(xué)計算機(jī)與電子信息學(xué)院，廣西南寧 530004；2.南寧學(xué)院數(shù)字經(jīng)濟(jì)學(xué)院，廣西南寧 530299)

文本分類[1]是自然語言處理中的一項基本任務(wù)，被廣泛應(yīng)用在垃圾郵件識別、情感分析、文檔主題分類等場景,提高其分類準(zhǔn)確率是人們研究的重點。在文本分類任務(wù)中，詞向量是深度學(xué)習(xí)模型中詞語的基本表達(dá)形式，詞向量語義的精確度直接影響文本最終的分類準(zhǔn)確率。此外，注意力機(jī)制是深度學(xué)習(xí)模型中常用的特征選擇工具，注意力打分的質(zhì)量會決定模型的側(cè)重點，從而影響分類的準(zhǔn)確率。因此，本文擬從詞向量與注意力機(jī)制出發(fā)，改進(jìn)文本分類模型中的詞嵌入模型與注意力機(jī)制，使模型的分類準(zhǔn)確率提高，對于提高文本檢測與分類任務(wù)的性能具有一定的現(xiàn)實意義。

對于現(xiàn)有的詞嵌入模型，其生成的詞向量分為靜態(tài)與動態(tài)兩種形式，靜態(tài)的詞向量訓(xùn)練模型有Word2Vec (Word to Vector)[2]、GloVe (Global Vectors)[3]等。如方炯焜等[4]提出GloVe-GRU的模型結(jié)構(gòu)，用GloVe作為詞嵌入模型，生成GloVe的全局靜態(tài)詞向量并降低向量空間維度，這種詞嵌入方式產(chǎn)生的靜態(tài)詞向量并不能處理一詞多義的問題。動態(tài)的詞向量嵌入模型是指模型生成的詞向量是動態(tài)變化的，如果上下文改變，那么詞向量也會跟著改變，同一個單詞在語境中具有不同的詞向量表達(dá)。常用的動態(tài)詞向量嵌入模型有ELMo(Embedding from Language Model)[5]、BERT[6]等。趙亞歐等[7]把ELMo與Transformer結(jié)合起來，將ELMo作為詞嵌入模型，輸出詞向量到Transformer[8]模型中做文本分類，但是ELMo內(nèi)部采用長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)[9]結(jié)構(gòu)來提取特征信息，LSTM結(jié)構(gòu)在提取特征的能力上較弱，相比于具有注意力機(jī)制的Transformer結(jié)構(gòu)存在差距。除此之外，ELMo模型內(nèi)部只是將特征雙向地拼接在一起，這種拼接方式未能很好地融合文本的語義信息。后來人們開始用BERT[10]作為詞向量預(yù)訓(xùn)練模型，如黃澤民等[11]用BERT作為詞向量嵌入模型，將靜態(tài)詞向量輸入到BERT中，利用BERT進(jìn)一步優(yōu)化靜態(tài)詞向量，賦予其動態(tài)詞向量的特征，但是BERT也存在一些缺陷，如BERT在其訓(xùn)練階段會隨機(jī)遮掩掉一些詞，而在下游任務(wù)的微調(diào)中卻看不到這些被遮掩的詞，導(dǎo)致兩階段差異，致使BERT的性能有一定程度的下降。XLNet[12]針對BERT現(xiàn)有的問題進(jìn)行了改進(jìn)，采用XLNet能夠生成動態(tài)的詞向量，同時也能生成比BERT更精準(zhǔn)的詞向量，因此本文采用XLNet作為詞嵌入模型。

注意力機(jī)制[13]是文本分類任務(wù)常用的方法，其能夠有效地根據(jù)文本信息的重要程度為文本分配權(quán)重?，F(xiàn)有的文本分類模型所使用的注意力機(jī)制沒能利用好標(biāo)簽詞所蘊(yùn)含的語義信息，如楊興銳等[14]在BiLSTM-CNN混合模型的基礎(chǔ)上加入殘差連接與注意力機(jī)制，對卷積輸出的向量計算注意力得分。葉瀚等[15]融合注意力機(jī)制與句向量，將首句子向量作為查詢向量Query，將其余各句子向量作為待查向量Key。對BERT模型輸出的CLS向量進(jìn)行注意力點乘計算，通過注意力分?jǐn)?shù)得出的權(quán)重系數(shù)對各CLS向量序列求和再平均來達(dá)到壓縮編碼的目的。梁順攀等[16]提出一種基于混合神經(jīng)網(wǎng)絡(luò)的文本分類方法，對傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，增強(qiáng)對文本局部特征的提取能力，采用普通的自注意力機(jī)制對最終的文本向量分配權(quán)重。以上模型在做注意力計算時，均未利用標(biāo)簽詞提取特征。若能很好地利用標(biāo)簽詞，在注意力權(quán)重分配上就會更有目的性。如在新聞文本分類任務(wù)中，以“軍事”為標(biāo)簽詞樣本，文本里就會出現(xiàn)“坦克”“軍演”等詞語；在情感分類任務(wù)中，以“積極”為標(biāo)簽詞樣本，文本中就會出現(xiàn)“開心”“高興”等詞語。利用標(biāo)簽詞對比文本中的內(nèi)容，找出文本中與標(biāo)簽詞語義相近的部分并給其分配較高的權(quán)重，在分類層中使模型更關(guān)注這些重點部分，最后就能夠得到更準(zhǔn)確的分類預(yù)測。

通過以上對現(xiàn)有文本分類模型的分析，本文提出一種基于XLNet+BiGRU+Att (Label)的文本分類模型。首先，用XLNet代替BERT、GloVe、Word2Vec等模型作為預(yù)訓(xùn)練模型；然后，將標(biāo)簽詞與注意力機(jī)制相結(jié)合，充分利用標(biāo)簽詞的語義信息匹配出文本向量中的重點部分，以提高模型的分類性能。

1 方法描述

1.1 XLNet+BiGRU+Att (Label)模型

XLNet+BiGRU+Att (Label)模型可大致分為文本預(yù)處理層、XLNet層、雙向門控循環(huán)單元(BiGRU)層、注意力(Attention)層、全連接層(Linear)+Softmax層。XLNet+BiGRU+Att (Label)模型結(jié)構(gòu)如圖1所示。模型的總體設(shè)計思想是采用XLNet生成文本序列與標(biāo)簽詞序列的動態(tài)詞向量表達(dá)；用BiGRU進(jìn)一步提取出文本向量的全局特征；根據(jù)全局特征選出當(dāng)前文本的傾向標(biāo)簽詞；在注意力機(jī)制的基礎(chǔ)上，根據(jù)傾向標(biāo)簽詞針對性地對文本的全局特征向量進(jìn)行重點劃分。

圖1 XLNet+BiGRU+Att (Label)模型結(jié)構(gòu)Fig.1 Structrue of XLNet+BiGRU+Att (Label) model

模型處理的步驟大致如下。

步驟1：進(jìn)行數(shù)據(jù)預(yù)處理操作，將每個訓(xùn)練樣本裁剪或填充為統(tǒng)一長度，對文本數(shù)據(jù)進(jìn)行噪聲去除并調(diào)用Tokenizer工具分詞，經(jīng)過處理后的文本連同標(biāo)簽詞輸入到XLNet模型中。

步驟2：XLNet處理輸入的文本和標(biāo)簽詞序列，生成動態(tài)詞向量的文本與標(biāo)簽詞序列，輸入的文本長度為512，輸出的向量維度為768。將文本向量輸入BiGRU中。

步驟3：BiGRU將根據(jù)文本的上下文提取語義特征，將BiGRU最后時刻的隱藏層堆疊作為當(dāng)前文本的總結(jié)向量H，即考慮了文本里每個單詞語義的總結(jié)向量。將BiGRU的最后一層輸出拆分為前向輸出與反向輸出，并將其相加作為文本的內(nèi)容向量V。

步驟4：將總結(jié)向量H輸入到Linear+Softmax中，預(yù)測出當(dāng)前文本的傾向標(biāo)簽詞。將傾向標(biāo)簽詞與內(nèi)容向量V輸入Attention層，計算出內(nèi)容向量對應(yīng)傾向標(biāo)簽詞的注意力權(quán)重，根據(jù)注意力權(quán)重更新文本的內(nèi)容向量。

步驟5：根據(jù)更新后的內(nèi)容向量C得出文本的預(yù)測結(jié)果。

1.2 詞嵌入層(XLNet)

1.2.1 排列語言模型

自回歸語言(Autoregressive Language，AR)[17]模型只能實現(xiàn)單向的預(yù)測，典型的代表就是生成式預(yù)訓(xùn)練模型(Generative Pre-Train Model,GPT)。自編碼語言(Autoencoder Language，AE)模型雖然實現(xiàn)了對文本的雙向預(yù)測，但是其引入的MASK機(jī)制導(dǎo)致模型在預(yù)訓(xùn)練與微調(diào)階段存在不一致的問題。針對以上兩個問題，Yang等[12]在XLNet中引進(jìn)了兩個新的概念：排列語言模型(Permutation Language Model，PLM)與雙流自注意力機(jī)制(Two-Stream Self-Attention)。

PLM的編碼思想是把自回歸語言模型和自編碼語言模型結(jié)合起來，在中間加入一個稱之為“排列(Permutation)”的步驟，該步驟使模型能夠?qū)ξ谋具M(jìn)行雙向預(yù)測，具體實現(xiàn)方法是把文本序列打亂，然后將末尾若干個詞給遮掩掉。Yang等[12]通過對比實驗發(fā)現(xiàn)掩蓋掉的詞數(shù)接近文本的15%時效果最好，這恰恰對應(yīng)了BERT的15%掩蓋率。在計算時，將詞按照打亂后的排列順序，采用自回歸的方式逐個預(yù)測。如圖2所示，假設(shè)原序列初始為[1，2，3，4]，將該序列打亂后的排序方式為[2，4，3，1]與[4，3，1，2]。圖2(a)中，如果預(yù)測3，則根據(jù)排列順序在3前面的2和4來預(yù)測，預(yù)測3的概率為p(3)=p(2)×p(2|4)×p(3|4,2)。同理預(yù)測圖2(b)中3的概率為p(3)=p(3|4)。由此可見，簡單的打亂排序方式使得同一序列從同樣的方向預(yù)測卻同時考慮到了前文與后文，這樣的處理方式保留了序列的上下文信息，也避免了采用[MASK]標(biāo)記位，解決了以往模型只能單向預(yù)測的問題。PLM的打亂方式不是真正的將文本序列的排序打亂，而是生成一個掩碼矩陣，如圖3[12]中Attention Masks所示，在Transformer中的Attention計算時把不需要的信息掩蓋掉，相當(dāng)于在預(yù)測時有意地讓一些詞發(fā)揮作用或不發(fā)揮作用，來達(dá)到打亂順序的目的。

圖2 不同排列順序的預(yù)測過程Fig.2 Prediction process of different order

圖3 雙流自注意力機(jī)制實現(xiàn)圖[12]Fig.3 Implementation diagram of two-stream self attention[12]

對于長度為T的輸入序列，其排列方式總共有T！種。如輸入長度為5的序列，那么就會有5！共120種排列方式，當(dāng)序列過長時，就會導(dǎo)致模型的計算過于復(fù)雜。因此Yang等[12]通過式(1)對序列的各排列方式進(jìn)行挑選。

(1)

其中，ZT為輸入序列的所有排列方式;T為輸入序列的長度;z為ZT中的排列方式之一；zt為在t位置上z對應(yīng)的值；Ez～ZT為對所有排列方式求期望；

pθ(xzt|XZ

基于式(1)對序列的所有排列方式求期望，根據(jù)期望值來選取模型中最優(yōu)的排列序列、去除不合適的排列序列，以降低模型的計算復(fù)雜度。

1.2.2 雙流自注意力機(jī)制

PLM的計算過程存在一個問題，即由于輸入詞的順序被打亂，模型無法知道所預(yù)測詞對應(yīng)原始序列的位置。傳統(tǒng)的注意力機(jī)制把位置信息編碼在Token里，如果用傳統(tǒng)的注意力機(jī)制計算PLM，則模型就無法看到被遮掩的詞的位置信息?；诖耍琘ang等[12]提出一種雙流自注意力機(jī)制，將位置信息gθ加入AR模型的目標(biāo)函數(shù)中，如式(2)所示。

pθ(Xzt=

(2)

其中，x表示當(dāng)前要預(yù)測的詞，X表示預(yù)測詞序列；e(x)T是當(dāng)前輸入的詞向量的轉(zhuǎn)置；gθ(xz

“雙流”即Query stream和Content stream。Query stream可以看到當(dāng)前詞的位置信息，不能看到其內(nèi)容信息，而Content stream既可以看到當(dāng)前詞的內(nèi)容信息也可以看到其位置信息。“雙流”的更新公式如(3)和(4)所示。

(3)

(4)

其中，g為查詢隱狀態(tài)；h為內(nèi)容隱狀態(tài)；m為XLNet的層數(shù)；Q為查詢向量Query；K為待查向量Key；V為內(nèi)容向量Value。Q、K、V通過Linear得到其對應(yīng)的矩陣。完整的雙流自注意力機(jī)制實現(xiàn)原理如圖3所示。輸入序列是(x1，x2，x3，x4)，采樣順序是3→2→4→1。圖3右邊Attention masks為掩碼矩陣，在注意力計算中有意讓某些值“看不見”，以此來實現(xiàn)MASK的目的。如圖3所示，模型從下往上計算，h初始化為e(xi)，g初始化為w，然后根據(jù)掩碼矩陣進(jìn)行Content stream計算，預(yù)測x1時可以看到全部詞的信息，預(yù)測x2時只能看到x2、x3的信息，依此類推。

1.3 雙向門控循環(huán)單元(BiGRU)

圖4 BiGRU模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network structure of BiGRU model

zt=σ(Wz·[ht-1,xt])，

(5)

rt=σ(Wr·[ht-1,xt])，

(6)

其中，Wz和Wr為可學(xué)習(xí)矩陣，xt為t時刻的輸入。

(7)

其中，tanh為激活函數(shù)，W為權(quán)重矩陣。由重置門決定ht-1中有多少信息能留下，再結(jié)合當(dāng)前輸入x計算出本時間步的待定集合。當(dāng)前時間步的狀態(tài)信息計算公式如下：

(8)

由于網(wǎng)絡(luò)采用的是雙向的GRU，XLNet模型的輸出會從兩個方向輸入到BiGRU中，所以BiGRU會有兩個方向相反的輸出ht。將BiGRU正向的最后時刻輸出與反向的最初時刻輸出拼接起來，作為當(dāng)前文本的總結(jié)向量H，利用該總結(jié)向量即可計算出當(dāng)前文本的傾向標(biāo)簽詞。向量拼接的公式如下：

(9)

將當(dāng)前文本的BiGRU輸出值拆分為前向輸出和反向輸出，再將二者相加作為文本的內(nèi)容向量V，輸入注意力層。

1.4 結(jié)合標(biāo)簽詞的注意力機(jī)制

結(jié)合標(biāo)簽詞的注意力機(jī)制的目標(biāo)是將標(biāo)簽詞與注意力機(jī)制結(jié)合，選出文本的傾向標(biāo)簽詞，計算傾向標(biāo)簽詞與文本向量的注意力得分，根據(jù)注意力得分更新文本向量。具體的處理過程如下。

步驟1根據(jù)BiGRU的總結(jié)向量H挑選出當(dāng)前文本的傾向標(biāo)簽詞，挑選的公式為

label_index=argmax(softmax(Linear(H)))，

(10)

label=lables[label_index]，

(11)

其中，Linear為全連接層，argmax函數(shù)的作用是返回當(dāng)前集合的最大值下標(biāo)，softmax為歸一化函數(shù)。將文本的總結(jié)向量輸入到Linear，得到當(dāng)前文本對應(yīng)各標(biāo)簽詞的分?jǐn)?shù)；再將該分?jǐn)?shù)集輸入到softmax函數(shù)中，得到各標(biāo)簽詞的概率，通過argmax函數(shù)返回最大概率的標(biāo)簽詞下標(biāo)。式(11)中的labels為標(biāo)簽詞序列，序列長度為標(biāo)簽詞個數(shù)，如果是五分類任務(wù),那么標(biāo)簽詞個數(shù)就為5。將式(10)得出的標(biāo)簽詞下標(biāo)索引出其標(biāo)簽詞向量，將該標(biāo)簽詞向量作為當(dāng)前文本的傾向標(biāo)簽詞。

本文采用基于Scaled dot-product attention[8]的注意力機(jī)制，注意力a計算公式為

(12)

其中，Q為查詢向量，K為待查向量，d為歸一化參數(shù)。

步驟2將當(dāng)前文本的傾向標(biāo)簽詞作為查詢向量Q，將BiGRU層的輸出向量作為待查向量K。將輸入的文本與傾向標(biāo)簽詞進(jìn)行點乘運(yùn)算，計算出文本向量對應(yīng)標(biāo)簽詞語義的分值集合，將該分值集合通過softmax函數(shù)歸一化得到文本向量內(nèi)容的注意力得分，根據(jù)注意力得分更新文本的內(nèi)容向量，更新的公式如下：

C=A?V，

(13)

其中，A為batch_size的注意力得分矩陣，V為batch_size的內(nèi)容向量，?為矩陣相乘符號，C為經(jīng)過注意力權(quán)重更新后的內(nèi)容向量。將C輸入至網(wǎng)絡(luò)的下一層進(jìn)一步分類輸出。結(jié)合標(biāo)簽詞的注意力機(jī)制如圖5所示。

圖5 結(jié)合標(biāo)簽詞的注意力機(jī)制Fig.5 Attention mechanism of combined label words

2 實驗與分析

2.1 實驗環(huán)境

本實驗在PC設(shè)備上進(jìn)行，系統(tǒng)為Windows 10，GPU為RTX 2060 6 G，CPU為2.90 GHz，內(nèi)存為16 GB，硬盤為500 GB固態(tài)硬盤。實驗開發(fā)平臺為Pycharm，所用框架為Pytorch。

2.2 數(shù)據(jù)集

在英文數(shù)據(jù)集bbc以及IMdb數(shù)據(jù)集上進(jìn)行實驗。bbc數(shù)據(jù)集總共有2 225條新聞樣本，共分為5個類別，標(biāo)簽分別為“Business”“Technology”“Politics”“Entertainment”“Sport”，每個類別各有445條樣本，在每個類別中挑選245條樣本作為訓(xùn)練集，200條樣本作為測試集，設(shè)置每條樣本長度為510。IMdb為二分類的影評數(shù)據(jù)集，標(biāo)簽為“Positive”和“Negative”。從IMdb數(shù)據(jù)集中隨機(jī)選取5 000條樣本作為訓(xùn)練集，選出1 000條樣本作為測試集，其中正、負(fù)標(biāo)簽的樣本個數(shù)相等，設(shè)置每條樣本長度為510。

2.3 參數(shù)設(shè)置

本文模型為XLNet+BiGRU+Att (Label)，設(shè)置對比實驗?zāi)Ｐ蜑镚love+BiGRU+Att、BERT+BiGRU+Att、XLNet+BiGRU+Att，其中BERT與XLNet均來自Huggingface。各模型在bbc數(shù)據(jù)集和IMdb數(shù)據(jù)集中的參數(shù)設(shè)置見表1。

表1 模型參數(shù)設(shè)置Table 1 Model parameter settings

2.4 結(jié)果與分析

采用準(zhǔn)確率作為評價指標(biāo)，對比實驗的結(jié)果見表2。由表2可知，與XLNet+BiGRU+Att模型相比，本文模型在bbc數(shù)據(jù)集和IMdb數(shù)據(jù)集上的準(zhǔn)確率分別提高0.7%和2.64%，說明結(jié)合標(biāo)簽詞的注意力機(jī)制，能夠根據(jù)標(biāo)簽詞更有目的性地挑選出文本向量中的重要部分，給予重要文本內(nèi)容較高的注意力得分。在bbc數(shù)據(jù)集和IMdb數(shù)據(jù)集上，本文模型的準(zhǔn)確率比BERT+BiGRU+Att模型分別提高1.04%與4.02%，XLNet+BiGRU+Att的準(zhǔn)確率比BERT+BiGRU+Att分別提高0.34%與1.38%，說明XLNet作為詞嵌入模型在性能上優(yōu)于BERT。這是由于XLNet中的編碼方式能有效緩解BERT模型存在的缺陷，不僅實現(xiàn)了對文本的雙向預(yù)測，還解決了模型在預(yù)訓(xùn)練與下游任務(wù)之間的差異性，因此能產(chǎn)生比BERT更精確的詞向量。各模型的準(zhǔn)確率均比GloVe+BiGRU+Att高，說明在文本分類任務(wù)中，動態(tài)詞向量比靜態(tài)詞向量擁有更精確的語義表達(dá)。根據(jù)語境的不同生成不同的詞向量表達(dá)，將XLNet作為預(yù)訓(xùn)練語言模型更適合文本分類任務(wù)。

表2 各模型在bbc與IMdb數(shù)據(jù)集上的準(zhǔn)確率(%)Table 2 Accuracy of each model on bbc and IMdb dataset (%)

3 結(jié)論

本文提出了一種基于XLNet+BiGRU+Att(Label)的文本分類模型。研究結(jié)果表明，使用XLNet作為詞嵌入模型能夠解決靜態(tài)詞向量存在的問題，XLNet利用PLM實現(xiàn)對詞序列的雙向預(yù)測，在注意力計算時引入雙流機(jī)制實現(xiàn)位置編碼的嵌入，克服了以往模型只能單向預(yù)測的缺點，因此生成的詞向量也就更精確。將標(biāo)簽詞與注意力機(jī)制結(jié)合起來，能夠更精確地給文本向量分配權(quán)重，突出重點部分，從而提高模型分類的性能。本文的局限在于標(biāo)簽詞融于注意力機(jī)制，對某些分類任務(wù)不適用，如醫(yī)學(xué)疼痛等級分類、在線評論情感分級，在這些分類任務(wù)中標(biāo)簽詞與文本語義沒有關(guān)聯(lián)，發(fā)揮不出本文模型的優(yōu)勢。下一步工作將繼續(xù)研究在語義層面如何利用標(biāo)簽詞進(jìn)一步提升模型的分類性能。