唐煥玲，衛(wèi)紅敏，王育林，朱 輝，竇全勝

1.山東工商學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東 煙臺 264005

2.山東省高等學(xué)校協(xié)同創(chuàng)新中心：未來智能計(jì)算，山東 煙臺 264005

3.山東省高校智能信息處理重點(diǎn)實(shí)驗(yàn)室（山東工商學(xué)院），山東 煙臺 264005

4.山東工商學(xué)院 信息與電子工程學(xué)院，山東 煙臺 264005

5.上海繪話智能科技有限公司，上海 200120

文本表示在自然語言處理領(lǐng)域占據(jù)重要的地位，對自然語言處理領(lǐng)域中的文本摘要[1-2]、信息抽取[3-4]、自動翻譯[5-6]等任務(wù)產(chǎn)生重要的影響。由于自然語言具有復(fù)雜性、多樣性等特點(diǎn)，使得目前文本表示的研究存在“維數(shù)災(zāi)難”“向量高度稀疏”“淺層語義”等諸多問題[7-11]，導(dǎo)致文本向量不能充分表達(dá)文本信息，文本語義表示仍然是目前研究的重點(diǎn)和難點(diǎn)[12]。

文本表示方法常用的是詞袋模型（bag of word，BOW）[13]和基于BOW 的向量空間模型（vector space model，VSM）[14]，兩者將文本表示成實(shí)數(shù)值分量所構(gòu)成的向量，在文本分類任務(wù)上取得不錯的效果，但是都存在向量高度稀疏、無法處理“一義多詞”和“一詞多義”的問題。

Blei等人[15]提出了LDA（latent Dirichlet allocation）主題模型，將主題看作是詞的概率分布，將文本表示從高維詞空間變換到低維主題空間。LDA主題模型屬于無監(jiān)督學(xué)習(xí)，SLDA（supervised LDA）[16]模型將文檔類別標(biāo)記作為觀測值加入LDA主題模型，能識別主題-類別之間的語義關(guān)系，提高了文本分類的性能。

Word2vec（word to vector）[17]模型成功用于情感分類、句法依存關(guān)系等領(lǐng)域，可以在大規(guī)模無監(jiān)督文本語料上快速訓(xùn)練得到詞向量，但是Word2vec 模型沒有區(qū)別上下文單詞與中心詞的語義關(guān)系，語義相對缺失，對后續(xù)任務(wù)的效果提升有限。

近年來，文本表示方法的研究有了新的進(jìn)展。Glove（global vectors for word representation）模型[18]是基于全局詞頻統(tǒng)計(jì)的詞嵌入工具，將單詞之間的語義關(guān)系轉(zhuǎn)化為嵌入空間的向量偏移量，可以有效地計(jì)算單詞間的語義相似度。GPT（generative pre-training）系列模型[19-21]采用單向transformer疊加完成訓(xùn)練，但其采取的語言模型是單向的，未考慮下文語義信息，語義相對缺失，且參數(shù)巨大。BERT（bidirectional encoder representations from transformers）[22]在transformer 中引入了注意力機(jī)制，能夠準(zhǔn)確地訓(xùn)練出詞向量，廣泛應(yīng)用于許多領(lǐng)域，但其需要龐大的語料庫，計(jì)算量巨大且成本高，難以應(yīng)用于實(shí)際生活中。

鑒于此，本文提出一種將LDA主題模型與Word2vec模型相融合的文本語義增強(qiáng)方法Sem2vec（semantic to vector）模型，利用該模型對文本語義進(jìn)行增強(qiáng)，進(jìn)一步提高后續(xù)自然語言處理任務(wù)的性能。Sem2vec 模型從預(yù)訓(xùn)練的LDA主題模型中獲得單詞與主題之間的先驗(yàn)知識，并通過主題嵌入向量，將該先驗(yàn)知識融入語義詞向量的訓(xùn)練之中。本文的主要貢獻(xiàn)如下：（1）利用LDA主題模型識別單詞主題分布，計(jì)算中心詞與上下文詞的主題相似度，從而得到上下文單詞的主題權(quán)重嵌入詞向量，作為Sem2vec模型的輸入。（2）根據(jù)最大化對數(shù)似然目標(biāo)函數(shù)，訓(xùn)練Sem2vec 模型獲得最優(yōu)參數(shù)，根據(jù)最優(yōu)參數(shù)計(jì)算單詞的語義詞向量表示。（3）根據(jù)單詞的語義詞向量進(jìn)一步獲得文本語義向量表示。由此，利用LDA主題模型將全局語義信息融入到了詞向量的訓(xùn)練之中。通過在不同數(shù)據(jù)集上的語義相似度計(jì)算和文本分類實(shí)驗(yàn)，驗(yàn)證了Sem2vec 模型的有效性，該模型在增強(qiáng)文本語義的同時(shí)，有效提高了模型的訓(xùn)練速度。

1 LDA主題模型和Word2vec模型

1.1 LDA主題模型

LDA主題模型是三層貝葉斯概率生成模型，是一種無監(jiān)督模型，該模型認(rèn)為文檔是主題的概率分布，而主題是詞匯的概率分布，LDA概率圖模型如圖1所示[15]。

圖1 LDA概率圖模型Fig.1 LDA probability graph model

LDA主題模型采用Gibbs采樣算法，對第m篇文檔的第i個(gè)單詞t的隱含主題采樣，計(jì)算方法如式（1）所示：

1.2 Word2vec模型

Word2vec 模型是目前主流的詞分布式表示模型，Word2vec模型包含兩種模型，分別是CBOW（continuous bag of words model）模型與Skip-Gram（continuous skip-gram model）模型，模型結(jié)構(gòu)如圖2所示[17]。CBOW的核心思想是通過上下文詞預(yù)測中心詞，Skip-Gram 則是通過中心詞預(yù)測上下文詞。與Skip-Gram模型相比，CBOW模型適合文本數(shù)量較大的運(yùn)算，具有較高的計(jì)算精度，本文采用CBOW模型。

圖2 Word2vec模型結(jié)構(gòu)Fig.2 Word2vec model structure

CBOW 模型本質(zhì)上是采用三層神經(jīng)網(wǎng)絡(luò)來訓(xùn)練詞向量，模型輸入是某個(gè)特定詞上下文相關(guān)的詞，模型輸出是該特定詞的詞向量。在CBOW模型中訓(xùn)練目標(biāo)是使對數(shù)似然函數(shù)L最大化。

2 Sem2vec模型

結(jié)合LDA 主題模型和Word2vec 模型，本文提出了一種將主題語義信息與詞向量相融合的文本語義表示方法，該方法從主題層面和詞層面來增強(qiáng)文本的語義。

2.1 Sem2vec模型框架

在Word2vec 模型中，沒有區(qū)別上下文單詞與中心詞的語義關(guān)系，然而不同上下文單詞與中心詞在語義上是有差別的。為此，本文結(jié)合LDA主題模型，獲得單詞主題分布，識別單詞的主題語義信息，通過單詞主題嵌入向量，將該先驗(yàn)知識用于Sem2vec模型語義詞向量的訓(xùn)練之中，以增強(qiáng)文本的語義表示。Sem2vec模型結(jié)構(gòu)如圖3所示。

如圖3 所示，Sem2vec 模型包括主題嵌入層、輸入層、隱藏層和輸出層。在主題嵌入層，由預(yù)先訓(xùn)練生成的LDA主題模型，獲得主題-詞分布φ和文檔-主題分布θ。給定中心詞wi，根據(jù)主題-詞分布φ，計(jì)算中心詞與其上下文詞的主題相似度γi。然后，融合γi與Wi計(jì)算得到主題權(quán)重嵌入詞向量Ψi。Ψi作為Sem2vec 模型的輸入層的輸入，經(jīng)過隱藏層函數(shù)計(jì)算后得到模型的輸出yi。在最大化對數(shù)似然目標(biāo)函數(shù)約束下，通過反向傳播優(yōu)化?和?′，經(jīng)過多次迭代訓(xùn)練得到最優(yōu)?*和?′*。

2.2 主題嵌入層

不同于Word2vec模型，Sem2vec模型的輸入層前面增加了主題嵌入層，如圖3所示。

圖3 Sem2vec模型結(jié)構(gòu)Fig.3 Sem2vec model structure

給定中心詞wi，首先進(jìn)行上下文詞嵌入，假設(shè)上下文窗口大小為c，詞向量的維度為s，則其上下文詞嵌入向量為：

2.3 Sem2vec模型的訓(xùn)練與測試

如算法1 所示，由預(yù)先訓(xùn)練生成的LDA 主題模型，獲得主題-詞分布φ和文檔-主題分布θ。在每輪迭代訓(xùn)練中，首先計(jì)算得到中心詞wi的主題相似度權(quán)重向量γi，然后對上下文詞向量進(jìn)行主題加權(quán)，經(jīng)過式（7）計(jì)算后得到單詞wi的主題權(quán)重嵌入矩陣Ψi，Ψi作為Sem2vec模型的輸入，經(jīng)過隱藏層函數(shù)計(jì)算后得到輸出向量yi。而后通過梯度下降算法使得式（10）目標(biāo)函數(shù)的對數(shù)似然概率最大化，反向優(yōu)化?和?′，得到最優(yōu)參數(shù)?*和?′*。其中超參數(shù)c、s和r的值在實(shí)驗(yàn)中經(jīng)驗(yàn)選取。

對任意一篇新文檔中的每個(gè)單詞經(jīng)過主題嵌入層計(jì)算得到主題權(quán)重嵌入列向量ψ?，輸入到Sem2vec 模型，根據(jù)最優(yōu)參數(shù)?*按照式（14）計(jì)算，最終得到單詞的語義詞向量v。

2.4 文本語義向量表示

Sem2vec 模型將主題語義信息融入到詞向量的訓(xùn)練中，在訓(xùn)練生成Sem2vec 模型之后，得到Sem2vec 模型的最優(yōu)參數(shù)?*和?′*。任意單詞輸入到Sem2vec 模型，可以根據(jù)式（14）計(jì)算輸出其語義詞向量。在此基礎(chǔ)上，進(jìn)一步計(jì)算文本的語義向量。

給定文本xm={w1,w2,…,wNm}為數(shù)據(jù)集D中的第m篇文檔，Nm為文檔單詞總數(shù)。對文本中的每個(gè)單詞wi，按照式（7）計(jì)算得到單詞wi的主題權(quán)重嵌入向量：

其中，xm∈?Nm?r。由此，在Sem2vec模型的基礎(chǔ)上，根據(jù)單詞的語義詞向量，可以獲得任意文本的語義向量表示。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)環(huán)境和參數(shù)設(shè)置

本文在下述環(huán)境下進(jìn)行實(shí)驗(yàn)：64 位Windows10 系統(tǒng)，Intel?CoreTMi5-5200U CPU @ 2.20 GHz 處理器，8 GB 內(nèi)存，使用的編程語言為Python，深度學(xué)習(xí)框架Pytorch。影響算法性能的主要參數(shù)及其影響的描述如表1所示。

表1 參數(shù)描述Table 1 Parameter description

3.2 數(shù)據(jù)集和對比方法描述

實(shí)驗(yàn)選取搜狗（Sogou）、清華（THUCNews）和20 新聞組（20newsgroup）這3個(gè)公開數(shù)據(jù)集，隨機(jī)抽取部分文檔和類別構(gòu)建實(shí)驗(yàn)數(shù)據(jù)集，描述如表2 所示。其中，20newsgroup 中選取20 類文檔，Sogou 中文數(shù)據(jù)集中選擇了包括類別為IT、軍事、教育、旅游和財(cái)經(jīng)的5 類文檔，THUCNews 數(shù)據(jù)集中選擇了包括財(cái)經(jīng)、彩票、房產(chǎn)、股票和家居的5類文檔。實(shí)驗(yàn)中按照8∶2構(gòu)建訓(xùn)練集和測試集。

表2 數(shù)據(jù)集描述Table 2 Datasets description

為了驗(yàn)證Sem2vec 模型的有效性，在表2 所示的中英文數(shù)據(jù)集上，從單詞的語義相似度和文本分類兩個(gè)角度，與Word2vec 和Glove 模型進(jìn)行了對比實(shí)驗(yàn)，具體的實(shí)驗(yàn)對比方法描述如下所示。

（1）Sem2vec（cos）：按式（5）余弦夾角計(jì)算單詞的主題相似度的Sem2vec 模型，記作Sem2vec（cos），訓(xùn)練語義詞向量。

（2）Sem2vec（JS）：按式（6）JS 散度計(jì)算單詞的主題相似度的Sem2vec模型，記作Sem2vec（JS），訓(xùn)練語義詞向量。

（3）Word2vec：按照Word2vec模型訓(xùn)練詞向量方法。

（4）Glove：按照Glove模型訓(xùn)練詞向量方法。

實(shí)驗(yàn)中，根據(jù)經(jīng)驗(yàn)設(shè)置超參數(shù)c=5，r=102，s=102。單詞的語義相似度的評價(jià)采用余弦相似度，分類結(jié)果的評價(jià)采用Accuracy、Macro-precision、Macro-recall 和Macro-F1。

3.3 實(shí)驗(yàn)結(jié)果及分析

3.3.1 語義相似度比較

利用單詞的語義相似度任務(wù)，驗(yàn)證Sem2vec模型的有效性。首先基于Sem2vec 模型、Word2vec 模型和Glove模型，分別生成單詞的詞向量，計(jì)算并比較詞向量之間的語義相似度，相似度計(jì)算采用余弦夾角公式。在Sogou數(shù)據(jù)集上的對比實(shí)驗(yàn)結(jié)果如表3所示。

如表3所示，第2列是一個(gè)類別的代表詞，第3～7列表示與對應(yīng)的代表詞語義最相近的前5 個(gè)詞及語義相似度。從表3 中的數(shù)據(jù)可以直觀看出，與Word2vec 和Glove 模型相比，Sem2vec 模型在計(jì)算詞之間的語義相似度方面更準(zhǔn)確一些。例如，選取“聯(lián)想”為“IT”類中的代表詞，在Sem2vec（JS）模型中，得到的與“聯(lián)想”的最相似是“電腦”，Sem2vec（cos）得到的最相似是“價(jià)格”，而Word2vec 模型得到的最相似詞是“系列”，與Word2vec模型相比，Sem2vec模型詞與詞之間的相關(guān)性更大。選取“考研”為“教育”類中的代表詞，在Glove 模型和Sem2vec（cos）模型中，與“考研”語義最相近的詞都是“專業(yè)”，其中Sem2vec（cos）的語義相似度為90.7%，Glove 的語義相似度為89.6%。這是因?yàn)镾em2vec 模型將單詞的主題分布信息融入到了語義詞向量的訓(xùn)練學(xué)習(xí)中，因此可以更準(zhǔn)確地捕獲單詞的語義信息，從而提高語義相似度計(jì)算的準(zhǔn)確性。

表3 語義相似度比較Table 3 Comparison of semantic similarity

3.3.2 分類結(jié)果比較

這里利用文本分類任務(wù)，來驗(yàn)證Sem2vec模型在文本語義表示方面的有效性?；赟em2vec、Glove 與Word2vec模型，在多種分類任務(wù)上進(jìn)行了實(shí)驗(yàn)比較，其中分類算法包括textcnn、BiLSTM 和Transformer，分類評估指標(biāo)采用Accuracy、Macro-precision、Macro-recall和Macro-F1。在20newsgroup、Sogou 和THUCNews 數(shù)據(jù)集上的實(shí)驗(yàn)比較結(jié)果如表4～6所示。

表4 20newsgroup上分類算法結(jié)果比較Table 4 Comparison results of various classification algorithms on 20newsgroup %

如表4所示，在20newsgroup數(shù)據(jù)集上，分類算法為textcnn時(shí)，對比Word2vec，Sem2vec（JS）的4種指標(biāo)分別提高了2.60、3.48、2.58、2.62個(gè)百分點(diǎn)，對比Glove，指標(biāo)分別提高了0.74、1.04、0.73、0.78 個(gè)百分點(diǎn)。當(dāng)分類算法為BiLSTM 和Transformer 時(shí)，Sem2vec 模型的4 種分類指標(biāo)也均高于Word2vec和Glove模型。

從表5 和表6 中的數(shù)據(jù)可以看出，在Sogou 和THUCNews數(shù)據(jù)集上，基于Sem2vec模型的各種文本分類算法的分類結(jié)果也均高于Word2vec 和Glove 模型。這是因?yàn)?，基于Sem2vec模型的文本語義向量融入了單詞的主題分布信息，因此可以更準(zhǔn)確地捕獲單詞的語義信息，從而提高文本分類的準(zhǔn)確性。

表5 Sogou上分類算法結(jié)果比較Table 5 Comparison results of various classification algorithms on Sogou %

表6 THUCNews上分類算法結(jié)果比較Table 6 Comparison results of various classification algorithms on THUCNews%

Sem2vec、Word2vec 與Glove 模 型 在20newsgroup和THUCNews數(shù)據(jù)集上的時(shí)間性能比較如表7所示。

從表7中可以看出，在兩個(gè)數(shù)據(jù)集上，Sem2vec模型的分類準(zhǔn)確率均高于Word2vec和Glove模型，且Sem2vec模型的訓(xùn)練時(shí)間比Word2vec 模型要快9%～14%，比Glove 模型快7%～9%。如在20newsgroup 數(shù)據(jù)集上，當(dāng)分類算法為textcnn 時(shí)，Sem2vec 模型的訓(xùn)練時(shí)間比Word2vec 模型快14%，比Glove 模型快8%，且Sem2vec模型的分類準(zhǔn)確率比Word2vec 高2.6 個(gè)百分點(diǎn)，比Glove 模型高0.74 個(gè)百分點(diǎn)，在其他分類算法上也是類似的。同樣的，在THUCNews 數(shù)據(jù)集上，Sem2vec 模型的訓(xùn)練時(shí)間比Word2vec模型要快9%～14%，比Glove模型快7%～9%，且Sem2vec 模型的3 種分類準(zhǔn)確度優(yōu)于Word2vec 模 型1.59～1.71 個(gè) 百 分 點(diǎn)，優(yōu) 于Glove 模 型0.58～0.68個(gè)百分點(diǎn)。原因在于，Sem2vec模型增加了主題嵌入層，相當(dāng)于從預(yù)訓(xùn)練的LDA 主題模型中獲得單詞與主題之間的先驗(yàn)知識，該先驗(yàn)知識通過主題嵌入向量來指導(dǎo)語義詞向量的訓(xùn)練，從而加快了訓(xùn)練速度。若詞典的大小為V，則Sem2vec 模型的時(shí)間復(fù)雜度為O(V)。

表7 Word2vec、Sem2vec與Glove時(shí)間性能比較Table 7 Time performance comparison of Word2vec，Sem2vec and Glove

在Sogou和THUCNews數(shù)據(jù)集上，對比分析Sem2vec、Word2vec 與Glove 模型在不同epoch 下，各種分類算法的Macro-precision、Macro-recall 和Macro-F1。實(shí)驗(yàn)結(jié)果如圖4～9所示。

基于Sem2vec、Word2vec 和Glove 模型的各種分類方法的結(jié)果比較如圖4～9所示，其中橫坐標(biāo)表示訓(xùn)練次數(shù)epoch，縱坐標(biāo)表示Macro-precision、Macro-recall 和Macro-F1。可以看出，采用Sem2vec模型的各種分類結(jié)果優(yōu)于對比模型。

如圖4～6所示，在Sogou數(shù)據(jù)集上，3種分類算法隨著epoch 的不斷變大，基于3 種模型的各種分類結(jié)果均逐漸提高，并收斂于一定的上限，并且可以從圖中看出，基于Sem2vec 的各種分類結(jié)果與對比模型相比更好。如圖4（a）所示，采用textcnn分類算法，當(dāng)epoch=100時(shí)，對比Word2vec 的Macro-precision 值83.34%，Sem2vec（cos）的為85.71%，Sem2vec（JS）的為85.67%，分別提高了2.37個(gè)百分點(diǎn)和2.33個(gè)百分點(diǎn)。如圖5（b）所示，采用BiLSTM 分類算法，當(dāng)epoch=100 時(shí)，對比Glove 的Macro-recall 值85.59%，Sem2vec（cos）的為86.87%，Sem2vec（JS）的為86.69%，分別提高了1.28個(gè)百分點(diǎn)和1.10 個(gè)百分點(diǎn)。在transformer 分類的算法上也是類似的，基于Sem2vec模型的各種分類結(jié)果均高于Word2vec和Glove模型。

圖4 Word2vec、Sem2vec和Glove的textcnn分類結(jié)果比較（Sogou）Fig.4 Comparison of textcnn classification results of Word2vec，Sem2vec and Glove（Sogou）

圖5 Word2vec、Sem2vec和Glove的BiLSTM分類結(jié)果比較（Sogou）Fig.5 Comparison of BiLSTM classification results of Word2vec，Sem2vec and Glove（Sogou）

圖6 Word2vec、Sem2vec和Glove的Transformer分類結(jié)果比較（Sogou）Fig.6 Comparison of Transformer classification results of Word2vec，Sem2vec and Glove（Sogou）

圖7 Word2vec、Sem2vec和Glove的textcnn分類結(jié)果比較（THUCNews）Fig.7 Comparison of textcnn classification results of Word2vec，Sem2vec and Glove（THUCNews）

圖8 Word2vec、Sem2vec和Glove的BiLSTM分類結(jié)果比較（THUCNews）Fig.8 Comparison of BiLSTM classification results of Word2vec，Sem2vec and Glove（THUCNews）

圖9 Word2vec、Sem2vec和Glove的Transformer分類結(jié)果比較（THUCNews）Fig.9 Comparison of Transformer classification results of Word2vec，Sem2vec and Glove（THUCNews）

同樣，如圖7～9所示，在THUCNews數(shù)據(jù)集上，基于Sem2vec 的各種分類方法的結(jié)果均高于對比模型。如圖7（a）所示，采用textcnn分類算法，當(dāng)epoch=100時(shí)，對比Word2vec 的Macro-precision 值83.11%，Sem2vec（cos）的為85.67%，Sem2vec（JS）的為85.77%，分別提高了2.56個(gè)百分點(diǎn)和2.66個(gè)百分點(diǎn)。在BiLSTM和transformer 分類方法上也是類似的，相比于Word2vec 和Glove模型，Sem2vec模型增強(qiáng)了文本的語義表示，因此能夠提升文本分類的精度。

綜上所述，Sem2vec模型將單詞的主題分布信息融入了語義詞向量的訓(xùn)練學(xué)習(xí)過程中，可以更準(zhǔn)確地捕獲單詞的語義信息，因此能夠得到語義增強(qiáng)的詞向量表示，進(jìn)而增強(qiáng)文本的語義表示。

4 結(jié)論

本文提出了一種文本語義增強(qiáng)方法Sem2vec模型，該模型將主題語義信息融入到詞向量的訓(xùn)練中，進(jìn)而對文本語義進(jìn)行增強(qiáng)。在多個(gè)數(shù)據(jù)集上，利用單詞語義相似度計(jì)算和文本分類兩個(gè)任務(wù)，對比分析了Sem2vec模型的有效性。實(shí)驗(yàn)結(jié)果表明，與Word2vec和Glove模型相比，Sem2vec 模型在語義相似度計(jì)算方面更為準(zhǔn)確。另外，根據(jù)Sem2vec 模型得到的文本語義向量，在多種文本分類算法上的分類結(jié)果，較對比模型可以提升0.58%～3.5%，同時(shí)也提升了時(shí)間性能。后續(xù)，將結(jié)合BTM（Biterm topic model）模型，對文本的語義增強(qiáng)表示展開進(jìn)一步研究。