張小川 劉連喜 戴旭堯 劉 璐

1(重慶理工大學(xué)兩江人工智能學(xué)院 重慶 401135) 2(重慶理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 重慶 400054)

0 引 言

目前，互聯(lián)網(wǎng)中出現(xiàn)了大量的文本信息，準(zhǔn)確地分類(lèi)這些文本愈加重要。傳統(tǒng)分類(lèi)算法主要是基于專(zhuān)家規(guī)則和統(tǒng)計(jì)學(xué)習(xí)，前者受規(guī)則的限定而適用性范圍窄，后者如SVM等僅能解決簡(jiǎn)單問(wèn)題，面對(duì)復(fù)雜狀況時(shí)泛化能力受到限制。

近年來(lái)，深度神經(jīng)網(wǎng)絡(luò)因優(yōu)異的特征捕獲能力而廣泛應(yīng)用于分類(lèi)領(lǐng)域[1]。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)具備特征學(xué)習(xí)能力和非線(xiàn)性建模能力，常用于圖像和文本語(yǔ)義建模。文獻(xiàn)[2]提出多樣化特征信息的卷積神經(jīng)網(wǎng)絡(luò)(MF-CNN)，用于抽取語(yǔ)句的情感表示。文獻(xiàn)[3]提出具有多尺寸特征關(guān)注度的密集型CNN結(jié)構(gòu)，產(chǎn)生n-gram特征并用于分類(lèi)。然而，CNN網(wǎng)絡(luò)的并行性使其更關(guān)注文本局部粒度而忽略文本完整序列信息。循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)與其相應(yīng)的變體如長(zhǎng)短期記憶(Long Short Term Memory，LSTM)網(wǎng)絡(luò)、門(mén)控循環(huán)單元(Gated Recurrent Unit,GRU)更適合文本序列建模。文獻(xiàn)[4]構(gòu)建一種基于注意力機(jī)制的新型RNN網(wǎng)絡(luò)，用以句子分類(lèi)。文獻(xiàn)[5]提出基于RNN的深度架構(gòu)進(jìn)行網(wǎng)頁(yè)元標(biāo)簽信息的分類(lèi)并測(cè)試轉(zhuǎn)移學(xué)習(xí)的貢獻(xiàn)度。文獻(xiàn)[6]建立同時(shí)包含LSTM、注意力機(jī)制、卷積層的新型AC-BiLSTM網(wǎng)絡(luò)，從高級(jí)別語(yǔ)義維度分類(lèi)。文獻(xiàn)[7]結(jié)合注意力機(jī)制與LSTM共同編碼情感特征，提高分類(lèi)準(zhǔn)確率。文獻(xiàn)[8]設(shè)計(jì)了雙通道特征融合的WPOS-GRU專(zhuān)利分類(lèi)模型，提取專(zhuān)利特征并分離。文獻(xiàn)[9]建立具有用戶(hù)和產(chǎn)品注意力機(jī)制的BiGRU網(wǎng)絡(luò)，以獲取多類(lèi)別文本情感。

上述的一些分類(lèi)算法刻畫(huà)文本深層復(fù)雜語(yǔ)義能力較弱，此外，輸入分類(lèi)模型的文本表示不夠全面，缺乏詞性、詞序等特征，導(dǎo)致分類(lèi)效果不佳。為了改善文本表示與提高分類(lèi)準(zhǔn)確度，本文提出一種基于詞性特征的CNN_BiGRU文本分類(lèi)模型。該模型利用詞性特征具有辨別上下文詞項(xiàng)含義的能力，將詞性視為輔助特征引入詞向量訓(xùn)練，生成包含多維語(yǔ)義的文本向量，為后續(xù)的模型提供了良好的輸入。此外，CNN善于捕獲相鄰詞項(xiàng)的局部特征，BiGRU適合提取文本時(shí)序的全局上下文特征，于是，融合CNN網(wǎng)絡(luò)與BiGRU網(wǎng)絡(luò)構(gòu)建特征互補(bǔ)融合模型CNN_BiGRU，該模型從不同粒度層面捕獲文本語(yǔ)義，形成同時(shí)蘊(yùn)含局部與全局語(yǔ)義的抽象文本表示。最后，通過(guò)實(shí)驗(yàn)驗(yàn)證提出的分類(lèi)模型的效果。

1 相關(guān)工作

1.1 文本表示

傳統(tǒng)文本表示方法主要有one-hot編碼或詞袋模型[9]。one-hot編碼表達(dá)的特征存在高維稀疏與忽略詞項(xiàng)的語(yǔ)義，而詞袋模型無(wú)法學(xué)習(xí)文本上下文，不能表征詞序、語(yǔ)義、語(yǔ)法等特征。基于分布式的詞嵌入是近年來(lái)主流的文本表示方法，它能將高維稀疏的向量映射為低維稠密的詞向量，有效解決維度災(zāi)難等問(wèn)題。Word2vec模型為詞嵌入的一種，它包含Skip-Gram模型和CBOW模型。文中選用基于Word2vec[10]的CBOW模型輔助構(gòu)建文本向量表示，CBOW模型結(jié)構(gòu)如圖1所示。輸入層輸入詞W(t)的上下文向量，經(jīng)映射層映射操作，輸出層輸出當(dāng)前詞的向量表示。

圖1 CBOW模型

1.2 GRU網(wǎng)絡(luò)

RNN 隨文本時(shí)列擴(kuò)增難以捕獲長(zhǎng)距離依賴(lài)信息，而長(zhǎng)短期記憶LSTM與門(mén)控循環(huán)單元GRU的內(nèi)部門(mén)控機(jī)制保證神經(jīng)元記憶有效流動(dòng)，降低噪聲干擾，從而解決RNN面臨的長(zhǎng)期依賴(lài)問(wèn)題。GRU單元由更新門(mén)與重置門(mén)構(gòu)成，與LSTM相比，GRU結(jié)構(gòu)更簡(jiǎn)單，處理相同任務(wù)所需收斂時(shí)間更短，訓(xùn)練效果與LSTM相差無(wú)幾。GRU單元如圖 2所示。

圖2 GRU單元

t時(shí)刻，GRU單元內(nèi)部狀態(tài)更新表示如下:

rt=σ(Wr·[st-1,xt])

(1)

zt=σ(Wz·[st-1,xt])

(2)

(3)

(4)

2 文本表示改進(jìn)

2.1 基于詞性的詞義辨別

中文語(yǔ)境下存在大量一詞多義的情形，比如：

(1) 隨著電視購(gòu)物節(jié)來(lái)臨，服裝廠(chǎng)的紡織工作(名詞，意為業(yè)務(wù)、任務(wù))負(fù)擔(dān)逐漸變重。

(2) 計(jì)算機(jī)實(shí)驗(yàn)室的幾臺(tái)電腦正在協(xié)同工作(動(dòng)詞，意為操作)。

(3) 這幅作品代表(動(dòng)詞，意為展示)了那個(gè)時(shí)代風(fēng)尚。

(4) 雙方代表(名詞，意為代替?zhèn)€人或集體發(fā)表意見(jiàn)人)首先討論了會(huì)談的綱要。

例句中，詞項(xiàng) “工作”與 “代表”在各自語(yǔ)境中分別呈現(xiàn)出不同的含義，那么，準(zhǔn)確區(qū)分這些含義無(wú)疑增強(qiáng)了文本語(yǔ)義分析的效果。然而，傳統(tǒng)詞向量模型對(duì)詞項(xiàng)語(yǔ)義并不敏感，無(wú)法為不同語(yǔ)境下的多義詞建模[11]。此外，詞嵌入一般將詞項(xiàng)的不同上下文編碼至同一向量空間，造成詞向量未能有效辨別多義詞語(yǔ)義[12]。研究者發(fā)現(xiàn)，詞項(xiàng)的詞性能輔助將詞項(xiàng)語(yǔ)義維度調(diào)整至詞性所對(duì)應(yīng)的語(yǔ)義維度，有助于緩解多義詞歧義。文獻(xiàn)[13]利用單詞間的詞性關(guān)聯(lián)建模詞性關(guān)系，然后，在給定的目標(biāo)詞下，對(duì)詞性與位置信息進(jìn)行條件概率計(jì)算，進(jìn)而將單詞間的詞性關(guān)聯(lián)與位置信息融入詞向量，在單詞相似度任務(wù)上效果甚佳。文獻(xiàn)[14]提出一種基于詞性特征與語(yǔ)義增強(qiáng)的離線(xiàn)式短文本主題模型PFE-DMM，該模型用自定義詞性特征刻畫(huà)了主題的不同方面，有針對(duì)性地緩解文本稀疏性等問(wèn)題。因此，本文提出利用詞性特征輔助區(qū)分某些多義詞，具體做法為：將詞性與詞項(xiàng)拼接形成“詞性-詞項(xiàng)對(duì)”(Part of speech-Term，Pos-T)的形式，比如，對(duì)于上述例句詞項(xiàng)，經(jīng)拼接操作獲得(名詞，工作)、(動(dòng)詞，工作)、(動(dòng)詞，代表)、(名詞，代表)的樣式，這樣，詞嵌入模型訓(xùn)練時(shí)，利用詞性因素縮減詞項(xiàng)語(yǔ)義空間，僅僅表示詞性語(yǔ)義維度的上下文詞項(xiàng)的含義，進(jìn)而達(dá)到詞義消歧的目的。

2.2 引入詞性特征的文本表示

深度神經(jīng)網(wǎng)絡(luò)通常需要接收文本向量化輸入。給定輸入文本Text，首先，使用百度詞法分析技術(shù)對(duì)文本進(jìn)行分詞以及詞性標(biāo)注，分別獲得文本詞項(xiàng)集合WT={wt1,wt2,…,wtn}和對(duì)應(yīng)的文本詞性集合PW={pw1,pw2,…,pwn}，其中:wti為詞項(xiàng)；pwi為wti的標(biāo)注詞性。然后，依次拼接詞性pwi與詞項(xiàng)(pwi,wti)形成(pwi,wti)表示，這樣文本Text則轉(zhuǎn)化為PW-WT={(pw1,wt1),(pw2,wt2),…,(pwn,wtn)}序列；隨后，利用基于Word2vec的CBOW模型分別建模詞項(xiàng)集合WT與PW-WT序列，進(jìn)而得到文本詞向量T=(t1,t2,…,tn)和文本詞性向量P=(p1,p2,…,pn)，其中:ti為詞項(xiàng)的詞向量表示;pi為(pti,wti)的詞性向量表示。最后,拼接詞性向量P與詞向量T形成增強(qiáng)詞向量PT={pt1,pt2,…,ptn}。引入詞性特征的文本向量化流程如圖3所示。

圖3 引入詞性特征的文本向量化流程

3 基于詞性特征的CNN_BiGRU模型

為了提高分類(lèi)準(zhǔn)確率，本文利用詞性詞義消歧的特性以及CNN網(wǎng)絡(luò)與BiGRU網(wǎng)絡(luò)文本建模的優(yōu)勢(shì)，構(gòu)建基于詞性特征的CNN_BiGRU短文本分類(lèi)模型，該模型處理邏輯結(jié)構(gòu)如圖4所示。

圖4 基于詞性特征的CNN_BiGRU短文本分類(lèi)模型

3.1 文本詞嵌入

詞嵌入用于記錄文本中詞項(xiàng)的上下文，蘊(yùn)含了詞項(xiàng)的多維語(yǔ)義，廣泛應(yīng)用于語(yǔ)義匹配任務(wù)。本節(jié)利用2.2節(jié)改進(jìn)的引入詞性特征的詞嵌入方法向量化輸入文本，獲得文本增強(qiáng)詞向量PT=(pt1，pt2,…，ptn)，其中pti為同時(shí)蘊(yùn)含詞性語(yǔ)義和詞項(xiàng)語(yǔ)義的向量。增強(qiáng)詞向量PT具有多維語(yǔ)義特征，有助于后續(xù)CNN、BiGRU網(wǎng)絡(luò)的文本建模。

3.2 CNN網(wǎng)絡(luò)特征構(gòu)建

增強(qiáng)詞向量PT表達(dá)了詞項(xiàng)級(jí)別層面的上下文的含義，未能深層次表示文本級(jí)語(yǔ)義，而基于CNN的語(yǔ)義構(gòu)建方法能主動(dòng)學(xué)習(xí)文本深度語(yǔ)義，實(shí)現(xiàn)文本信息的語(yǔ)義編碼。CNN網(wǎng)絡(luò)具有局部連接、權(quán)重共享等屬性，通過(guò)局部選擇特性自動(dòng)捕獲輸入序列的關(guān)鍵特征，因此，本文使用文獻(xiàn)[15]提出的CNN網(wǎng)絡(luò)提取文本局部特征，該網(wǎng)絡(luò)學(xué)習(xí)過(guò)程如圖5所示。

圖5 CNN特征構(gòu)建網(wǎng)絡(luò)

首先，輸入層輸入增強(qiáng)詞向量PT，接著，卷積層采用若干大小為k×h的滑動(dòng)窗口從不同粒度層面進(jìn)行卷積，每次生成具有關(guān)鍵信息的局部卷積向量si，其計(jì)算式表示為:

si=f(Ws·PTi:i+h-1+bs)

(5)

式中：f()為激活函數(shù)ReLU，Ws為卷積權(quán)重;PTi:i+h-1表示由k×h大小卷積窗口中h行向量組合形成區(qū)域詞向量;bs為卷積層的參數(shù)。增強(qiáng)詞向量PT經(jīng)過(guò)一系列不同維度的滑動(dòng)窗口卷積最終轉(zhuǎn)化為卷積向量S:

S=[s1s2…sN]

(6)

(7)

(8)

3.3 BiGRU網(wǎng)絡(luò)特征構(gòu)建

自然語(yǔ)言序列在結(jié)構(gòu)上存在廣泛的前后時(shí)序，而GRU等網(wǎng)絡(luò)利用內(nèi)部的門(mén)控件高效地處理序列時(shí)序。GRU網(wǎng)絡(luò)鑒于自身單向性的空間結(jié)構(gòu)僅能捕獲上文時(shí)序語(yǔ)義，造成全局時(shí)序?qū)W習(xí)不足。此外，CNN網(wǎng)絡(luò)善于并行卷積而極易關(guān)注局部時(shí)序，較少考慮時(shí)序間的順序，具有一定局限性。為此，本文利用BiGRU網(wǎng)絡(luò)學(xué)習(xí)文本時(shí)序的全局上下文特征，該網(wǎng)絡(luò)如圖6所示。

圖6 BiGRU特征構(gòu)建網(wǎng)絡(luò)

(9)

(10)

(11)

式中：Wg、Wgg為權(quán)重矩陣;bg為偏置項(xiàng)。

(12)

3.4 特征融合及模型訓(xùn)練

(13)

接著，將Sg連接至輸出層進(jìn)行非線(xiàn)性組合輸出特征向量fSg，并作為提出的分類(lèi)模型建模增強(qiáng)詞向量PT的最終輸出，fSg表示為：

fSg=f(WSg·Sg+bSg)

(14)

最后，通過(guò)Softmax函數(shù)完成短文本所屬類(lèi)別的判斷，具體過(guò)程表示為：

(15)

式中：p(yj)為短文本在第i種類(lèi)別的輸出，uj與bj為p(yj)對(duì)應(yīng)的權(quán)重矩陣與偏置。

假定輸入文本向量化為vj，其所屬類(lèi)別為yj，本文將分類(lèi)模型建模輸出類(lèi)別為yj的概率表示為p(yj)=p(yj|vj,θ)，那么模型訓(xùn)練的目標(biāo)函數(shù)表示為：

(16)

式中：n為訓(xùn)練語(yǔ)料規(guī)模。本文選用隨機(jī)梯度下降算法優(yōu)化目標(biāo)函數(shù)，每輪訓(xùn)練迭代利用反向傳播算法更新參數(shù)，直到模型處于擬合收斂態(tài)。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)選自Sogou語(yǔ)料庫(kù)和THUCNews數(shù)據(jù)集，Sogou語(yǔ)料庫(kù)是搜狗實(shí)驗(yàn)室提供的全網(wǎng)新聞數(shù)據(jù)， THUCNews是根據(jù)新浪新聞數(shù)據(jù)篩選過(guò)濾生成的。對(duì)以上兩組實(shí)驗(yàn)數(shù)據(jù)分別選取6個(gè)類(lèi)別進(jìn)行實(shí)驗(yàn)，抽取每組實(shí)驗(yàn)數(shù)據(jù)的85%作為訓(xùn)練集，15%作為測(cè)試集，選取的類(lèi)別與數(shù)量如表1所示。

表1 文本類(lèi)別與數(shù)量

4.2 實(shí)驗(yàn)設(shè)置

4.2.1詞向量訓(xùn)練

本文的詞嵌入模型為Word2vec，訓(xùn)練語(yǔ)料為Sogou全網(wǎng)新聞數(shù)據(jù)583 MB,THUCNews數(shù)據(jù)集507 MB。為獲取原始詞向量，選用基于Word2vec的CBOW模型對(duì)未經(jīng)拼接的原始語(yǔ)料進(jìn)行預(yù)訓(xùn)練，隨后，文本被映射為詞向量T。為獲得引入詞性特征的詞性向量 ，利用CBOW模型對(duì)經(jīng)大規(guī)模詞性標(biāo)注的“詞性-詞項(xiàng)”語(yǔ)料進(jìn)行訓(xùn)練，從而將文本轉(zhuǎn)化為詞性向量P，以便于詞向量T對(duì)比。詞向量訓(xùn)練相關(guān)參數(shù)如下：向量維度設(shè)置為140維，上下文窗口大小為6，最小詞頻為5，訓(xùn)練迭代次數(shù)為20次。

4.2.2模型訓(xùn)練參數(shù)配置

實(shí)驗(yàn)中大量的超參數(shù)需要設(shè)置與調(diào)整，這些超參數(shù)是根據(jù)每次迭代完成后，根據(jù)實(shí)驗(yàn)的評(píng)估標(biāo)準(zhǔn)來(lái)調(diào)整的。經(jīng)過(guò)多次迭代，本文提出的CNN_BiGRU分類(lèi)模型的CNN部分和單CNN模型的參數(shù)設(shè)置為：濾波器窗口大小分別設(shè)置為3、4和5，每種類(lèi)別濾波器個(gè)數(shù)為80，激活函數(shù)為ReLU ，epoch值取95，為了防止過(guò)擬合，選用dropout機(jī)制和權(quán)重的正則化限制，dropout值取0.5，L2范數(shù)正則化權(quán)重值為3。

結(jié)合上述CNN參數(shù)設(shè)置， CNN_BiGRU模型的BiGRU部分和單BiGRU模型的參數(shù)設(shè)置為:BiGRU網(wǎng)絡(luò)隱藏層為兩層，每層GRU序列長(zhǎng)度為108，損失函數(shù)為交叉熵，epoch值取95，學(xué)習(xí)率為0.001，為加快模型收斂速度，選取Adam作為優(yōu)化器。

4.3 實(shí)驗(yàn)結(jié)果

4.3.1對(duì)比模型介紹

本文將提出的CNN_BiGRU分類(lèi)模型與若干機(jī)器學(xué)習(xí)、深度學(xué)習(xí)模型進(jìn)行對(duì)比。對(duì)于傳統(tǒng)機(jī)器學(xué)習(xí)，使用TF-IDF表示文本，并選用SVM[16]、KNN[17]進(jìn)行分類(lèi)。為驗(yàn)證詞性特征對(duì)文本表示的影響，使用三種形式的詞向量分別初始化，(1) 采用詞向量T初始化，建立輸入詞向量T的T-CNN、T-BiGRU、T-CNN_BiGRU模型；(2) 利用詞性向量P初始化，構(gòu)建輸入詞性向量P的PT-CNN、PT-BiGRU、PT-CNN_BiGRU模型；(3) 利用由詞性向量P與詞向量T交叉組合形成的增強(qiáng)詞向量PT初始化，構(gòu)建輸入增強(qiáng)詞向量PT的PT-CNN、PT-BiGRU、PT-CNN_BiGRU。此外，為驗(yàn)證本文分類(lèi)模型的分類(lèi)性能，選取單CNN網(wǎng)絡(luò)、單BiGRU網(wǎng)絡(luò)進(jìn)行對(duì)比。

4.3.2實(shí)驗(yàn)結(jié)果分析

本文使用召回率、準(zhǔn)確率和F1值作為分類(lèi)評(píng)估標(biāo)準(zhǔn)，在45輪的迭代實(shí)驗(yàn)中，上述對(duì)比模型的最終實(shí)驗(yàn)結(jié)果如表2和表3所示。

表2 Sogou語(yǔ)料分類(lèi)效果對(duì)比

續(xù)表2

表3 THUCNews數(shù)據(jù)集分類(lèi)效果對(duì)比

觀(guān)察表2和表3數(shù)據(jù)，發(fā)現(xiàn)基于詞性向量P的分類(lèi)模型一般優(yōu)于基于詞向量T的分類(lèi)模型。在Sogou語(yǔ)料中，P-CNN、P-BiGRU和P-CNN_BiGRU模型的F1值分別為0.852、0.879和0.898，與對(duì)應(yīng)的模型相比，分別提高了0.009、0.019和0.008。在THUCNews數(shù)據(jù)集中，其F1值分別為0.848、0.872和0.909，分別提高了0.014、0.015和0.020。這表明，與詞向量T相比，詞性向量P具有辨別不同上下文詞項(xiàng)詞義的能力，在一定程度上緩解了詞義歧義的現(xiàn)象，進(jìn)而證明詞性特征有效改善了文本表示。進(jìn)一步分析，發(fā)現(xiàn)基于增強(qiáng)詞向量PT的分類(lèi)模型，在Sogou語(yǔ)料中，其準(zhǔn)確率分別為0.865、0.890、0.908；在THUCNews語(yǔ)料中，其準(zhǔn)確率分別為0.863、0.881、0.916，這一般優(yōu)于對(duì)應(yīng)的基于詞性向量P的分類(lèi)模型。因?yàn)椋疚膶⒃鰪?qiáng)詞向量PT矩陣的相鄰兩行視為詞項(xiàng)wti的語(yǔ)義表示，即第i行為詞項(xiàng)的詞向量語(yǔ)義，第i+1行為詞項(xiàng)的詞性向量語(yǔ)義，與詞性向量P相比，采用交叉組合策略拼接兩類(lèi)詞向量來(lái)表達(dá)詞項(xiàng)的語(yǔ)義效果更好，這表明增強(qiáng)詞向量PT有助于細(xì)化語(yǔ)義粒度，較為準(zhǔn)確地刻畫(huà)了詞項(xiàng)本質(zhì)含義。

分析表2和表3的數(shù)據(jù)，發(fā)現(xiàn)SVM、KNN的分類(lèi)性能一般弱于其余深度學(xué)習(xí)模型。因?yàn)闄C(jī)器學(xué)習(xí)模型通常為淺層結(jié)構(gòu)，特征學(xué)習(xí)能力弱且訓(xùn)練繁瑣，而深度學(xué)習(xí)模型能從原始數(shù)據(jù)中自動(dòng)提取特征進(jìn)而對(duì)數(shù)據(jù)進(jìn)行更為本質(zhì)的刻畫(huà)。基于分類(lèi)評(píng)估標(biāo)準(zhǔn)，進(jìn)一步分析發(fā)現(xiàn)CNN網(wǎng)絡(luò)分類(lèi)性能一般弱于BiGRU網(wǎng)絡(luò)，因?yàn)镃NN并行卷積的局限性?xún)H能關(guān)注文本局部表示而忽略文本時(shí)序的上下文，而B(niǎo)iGRU善于從前向、后向捕獲文本時(shí)序，進(jìn)而表達(dá)文本整體語(yǔ)義，建模效果相對(duì)較好。

從表2和表3數(shù)據(jù)可以看出，PT-CNN_BiGRU分類(lèi)模型表現(xiàn)最佳，其準(zhǔn)確率最高值分別為0.908和0.916，表明該模型能準(zhǔn)確地判別文本所屬的類(lèi)別，也直接證明了在基于增強(qiáng)詞向量PT的前提下，本文利用CNN網(wǎng)絡(luò)學(xué)習(xí)局部語(yǔ)義的優(yōu)勢(shì)以及BiGRU網(wǎng)絡(luò)捕獲全局時(shí)序組合語(yǔ)義的優(yōu)勢(shì)，共同挖掘文本語(yǔ)義并組合，有助于深層次提取與抽象文本本質(zhì)，進(jìn)而提高分類(lèi)準(zhǔn)確率。

4.3.3F1值迭代變化分析

本文基于詞性向量P或詞向量T的分類(lèi)模型在Sogou語(yǔ)料和THUCNews數(shù)據(jù)集中，前45輪F1數(shù)值迭代的變化如圖7和圖8所示。

圖7 Sogou語(yǔ)料前45輪F1值變化

圖8 THUCNews數(shù)據(jù)集前45輪F1值變化

觀(guān)察圖7、圖8數(shù)據(jù)曲線(xiàn)可以發(fā)現(xiàn)，基于詞性向量P的P-CNN、P-BiGRU和P-CNN_BiGRU模型，其F1曲線(xiàn)數(shù)值一般高于基于詞向量T的T-CNN、T-BiGRU和T-CNN_BiGRU模型的曲線(xiàn)值，表明引入詞性特征的詞性向量合理地表達(dá)了上下文語(yǔ)義，有助于辨別不同語(yǔ)境下詞項(xiàng)的含義，這一分析也間接地與4.3.2 節(jié)實(shí)驗(yàn)結(jié)果的相關(guān)分析一致。此外，分析圖8曲線(xiàn)數(shù)據(jù)，發(fā)現(xiàn)P-CNN_BiGRU模型的優(yōu)勢(shì)從第22輪就體現(xiàn)出來(lái)，隨后，每輪迭代效果都優(yōu)于其余對(duì)比模型，特別是在第25輪時(shí)，其F1值達(dá)到0.894，這基本高于其余對(duì)比模型收斂時(shí)的F1數(shù)值，表明CNN_BiGRU模型學(xué)習(xí)能力更強(qiáng)，因?yàn)樵撃Ｐ碗S著深入學(xué)習(xí)，其得到的抽象表示覆蓋的文本特征越廣，文本表示越精確，分類(lèi)效果越好。

5 結(jié) 語(yǔ)

本文提出一種基于詞性特征的CNN_BiGRU文本分類(lèi)模型。針對(duì)不同上下文詞項(xiàng)語(yǔ)義難以區(qū)別的情形，提出利用詞性特征輔助辨別詞義并改善文本表示。為深度表示文本語(yǔ)義，利用CNN與BiGRU各自學(xué)習(xí)文本語(yǔ)義的優(yōu)勢(shì)，構(gòu)建特征互補(bǔ)融合模型CNN_BiGRU，用于深層次提取與抽象文本特征，獲得文本深度組合語(yǔ)義，提高分類(lèi)準(zhǔn)確率。在基于Sogou與THUCNews語(yǔ)料的實(shí)驗(yàn)中，CNN_BiGRU模型在準(zhǔn)確率、召回率和F1值上大都優(yōu)于其余對(duì)比模型，其分類(lèi)有效性得到驗(yàn)證。在后續(xù)工作中，考慮引入注意力池化和k-max池化方式共同量化CNN卷積特征的貢獻(xiàn)度，同時(shí)進(jìn)一步優(yōu)化該分類(lèi)模型。