羅有志，陳征明，陳 明，梅文濤

(1.國(guó)網(wǎng)湖南供電服務(wù)中心(計(jì)量中心)，湖南 長(zhǎng)沙 410004； 2.國(guó)網(wǎng)湖南省電力有限公司常德供電分公司，湖南 常德 415000)

0 引 言

隨著信息時(shí)代的來臨，人們獲取的信息量呈現(xiàn)幾何形式地增長(zhǎng)，出現(xiàn)了許多不同類型的數(shù)據(jù)信息，其中文本[1]類型的數(shù)據(jù)和圖形[2]類型的數(shù)據(jù)等最具有代表性。文本挖掘[3-6]技術(shù)能夠從海量的文本類型數(shù)據(jù)中找到人們所需要的信息，如何快速有效地對(duì)文本信息進(jìn)行挖掘已成為當(dāng)前人工智能[7-8]領(lǐng)域的一個(gè)重要研究方向。關(guān)鍵字詞匯的提出較大程度地減少了文本信息挖掘的工作量，極大地提高人們的工作效率。作為文本挖掘技術(shù)中的重要基礎(chǔ)性工作，如何對(duì)關(guān)鍵字進(jìn)行標(biāo)識(shí)直接關(guān)系到文本信息挖掘的效果，因此確保關(guān)鍵字提取[9-10]的準(zhǔn)確度對(duì)文本信息處理具有重要意義。

對(duì)于關(guān)鍵字的提取，傳統(tǒng)的TF(Term Frequency)方法[11]是以詞匯頻率的大小來進(jìn)行的，具備簡(jiǎn)單易行的特點(diǎn)，其中頻率高的詞匯成為關(guān)鍵字的比例較大，而頻率較低的詞匯成為關(guān)鍵字的可能性較小。這種基于統(tǒng)計(jì)的方法忽略了詞匯在單文本中所包含的意義，使得關(guān)鍵字的提取不全面，造成文本語義的缺失。TFIDF算法[12-14]在原有詞頻(TF)的基礎(chǔ)上增加了IDF系數(shù)(IDF=log (N/n))，充分考慮整體文檔集數(shù)N和詞匯在某些文檔中出現(xiàn)的次數(shù)n，但是在處理低頻且IDF值較高以及處理高頻且IDF值較低的詞匯時(shí)具有較為明顯的錯(cuò)誤缺陷。TextRank算法能夠很好地處理單文本和多文本的關(guān)鍵字提取問題，具有快速反饋、弱語言相關(guān)等特點(diǎn)，但TextRank算法[15-16]主要是利用局部詞匯之間的關(guān)系來進(jìn)行確定，受詞頻影響仍然較大，缺乏對(duì)文檔整體全面的考量，同時(shí)由于權(quán)重的固定不能夠?qū)υ~匯鏈接關(guān)系進(jìn)行有效的判斷。為了優(yōu)化TextRank算法特性，李鵬等[17]提出了Tag-Text Rank方法,利用網(wǎng)頁標(biāo)簽提高網(wǎng)頁關(guān)鍵詞提取效果。謝瑋等[18]在TextRank基礎(chǔ)上,同時(shí)考慮詞的逆文檔頻率,用于論文審稿自動(dòng)推薦中的關(guān)鍵詞提取。本文提出利用關(guān)聯(lián)規(guī)則挖掘[19-20]找出文本中所包含的頻繁項(xiàng)目集，計(jì)算出詞匯所包含的關(guān)聯(lián)信息熵，并結(jié)合TextRank算法對(duì)候選關(guān)鍵字權(quán)重系數(shù)進(jìn)行調(diào)整，自適應(yīng)調(diào)整窗口大小，迭代計(jì)算得到最終的節(jié)點(diǎn)權(quán)重，選取排名靠前的詞匯項(xiàng)作為關(guān)鍵字，得到較為理想的關(guān)鍵字提取效果。

1 相關(guān)概念

文本數(shù)據(jù)挖掘的關(guān)鍵字提取是進(jìn)行相關(guān)研究的基礎(chǔ)性工作，提取效果的好壞直接關(guān)系到文本內(nèi)容信息的讀取。由于TextRank算法具有簡(jiǎn)單有效和語言弱相關(guān)等特點(diǎn)，目前已成為廣泛使用的關(guān)鍵字提取方法，但是受到詞頻影響較大，因而相較于其他關(guān)鍵字提取算法不具備太大的優(yōu)勢(shì)。本文引入信息熵和詞匯之間的關(guān)聯(lián)關(guān)系，解決詞匯詞頻的單一特性，更好地考慮詞匯的全局和上下文語義特性，獲得更好的提取效果。

1.1 TextRank算法模型

該算法首先利用分詞對(duì)文本進(jìn)行分割，以“句”為單元排除無用習(xí)性的詞匯，保留其中的動(dòng)詞、名詞等作為候選關(guān)鍵字選項(xiàng)集Qi={si1,si2,…,sin}，其中i代表句子編號(hào)。通過設(shè)定滑動(dòng)窗口的參數(shù)K值，將句子中距離小于K的詞匯歸納到同一窗口進(jìn)行標(biāo)記，即{s0,s1,…,sk}{s1,s2,…,sk+1},…,{sn-k,sn-k+1,…,sn}，出現(xiàn)在同一窗口的詞匯之間建立鏈接關(guān)系，形成相應(yīng)關(guān)鍵字鏈接矩陣。在TextRank模型中主要包括無向圖和有向圖2種類型，具體如圖1、圖2所示。

圖1 無向圖

圖2 有向圖

其中，無向圖的矩陣表達(dá)式為：

(1)

迭代計(jì)算公式如下：

(2)

有向圖的矩陣表達(dá)式為：

(3)

迭代計(jì)算公式如下：

(4)

其中，In(si)代表與詞匯si相鏈接的集合，out(sj)代表指向sj的詞匯集合，d為阻尼系數(shù)。通過對(duì)文檔進(jìn)行遍歷迭代收斂到一定的區(qū)間范圍，從而得到所有詞匯的T(si)值序列，進(jìn)而選取其值排名靠前的詞匯作為文本的關(guān)鍵字。

具體算法步驟如下：

1)利用語句分隔符對(duì)文本進(jìn)行句子切割，并通過分詞器得到文本詞匯，標(biāo)記詞匯屬性，剔除停用詞等無關(guān)語義的詞匯，保留其中的動(dòng)詞、名詞、形容詞等重要詞匯，采用句子為單位對(duì)文本進(jìn)行切割劃分。

2)根據(jù)文本中劃分的句子中的詞匯信息，篩選出重復(fù)詞組，建立初始化單詞鏈接矩陣。

3)遍歷文本中的所有句子，以參數(shù)值為K的滑動(dòng)窗口對(duì)句子中同一窗口中包含的詞匯進(jìn)行標(biāo)記，找出鏈接矩陣所對(duì)應(yīng)位置的詞組，并對(duì)有向圖/無向圖進(jìn)行迭代計(jì)算，直至收斂到可接受的區(qū)間值。

4)針對(duì)文本遍歷圖中所有節(jié)點(diǎn)的權(quán)重進(jìn)行排序，選擇其中權(quán)重靠前的n個(gè)詞組節(jié)點(diǎn)作為此文本的關(guān)鍵字候選。

TextRank算法能夠?qū)崿F(xiàn)簡(jiǎn)單有效的關(guān)鍵字提取，但是其存在的局部性容易忽略詞匯整體的上下文聯(lián)系，對(duì)于詞匯本身在全文中的特點(diǎn)也缺乏考慮。同時(shí)由于受詞匯切割的影響，導(dǎo)致文本在順序窗口迭代時(shí)存在某些缺陷，致使算法全局性較弱。

1.2 關(guān)聯(lián)熵的相關(guān)定義

在海量文本內(nèi)容中，信息熵能夠?qū)ξ谋具M(jìn)行量化評(píng)估，表達(dá)了詞匯所攜帶的信息量情況，得到整體文本所包含的信息期望值。通常情況下，針對(duì)某一詞匯來講，其信息熵[21-23]值越大，則其在整個(gè)文本中的分布也就越平均，也就表明這種詞匯出現(xiàn)的概率也就越大，包含單調(diào)性、非負(fù)性、累加性3種特性。其計(jì)算公式如下：

(5)

其中，Pi表示類i的概率，n表示分類的數(shù)目。

對(duì)于文本關(guān)聯(lián)規(guī)則來說，主要是通過詞匯與詞匯之間的關(guān)聯(lián)信息，找出文本集中所包含詞匯項(xiàng)之間的關(guān)系。為了得到詞匯之間的關(guān)聯(lián)信息，關(guān)聯(lián)規(guī)則選取的好壞直接關(guān)系到詞匯關(guān)聯(lián)信息的準(zhǔn)確性，蘊(yùn)含表達(dá)式如下：

R:X?Y

(6)

其中，X∩Y≠0，表示由于詞匯集X的出現(xiàn)，導(dǎo)致詞匯集Y出現(xiàn)。若將詞匯A與詞匯B之間的關(guān)聯(lián)稱為交易，則詞匯項(xiàng)集為若干個(gè)詞匯項(xiàng)的集合，其中詞匯項(xiàng)可能是詞匯A或B，也可能是詞匯A與B之間的關(guān)聯(lián)交易。對(duì)于詞匯項(xiàng)集來說，count(X)代表詞匯項(xiàng)集X所包含關(guān)聯(lián)交易數(shù)量。通常采用置信度(confidence)和支持度(support)這2個(gè)參數(shù)對(duì)規(guī)則進(jìn)行評(píng)價(jià)。其中支持度表示同時(shí)有詞匯項(xiàng)集X與詞匯項(xiàng)集Y的概率情況，具體公式如下：

(7)

其中，D表示全體詞匯項(xiàng)集。

置信度表示在詞匯項(xiàng)集X出現(xiàn)的情況下，詞匯項(xiàng)集Y出現(xiàn)的概率情況，具體公式如下：

(8)

關(guān)聯(lián)規(guī)則算法包含頻繁項(xiàng)集的建立和關(guān)聯(lián)規(guī)則的產(chǎn)生2個(gè)步驟，目前較為流行的算法包括Apriori算法和FP-growth算法等。

為了更好地對(duì)關(guān)聯(lián)規(guī)則進(jìn)行直觀描述，本文引入關(guān)聯(lián)熵的概念，對(duì)詞匯在文本中所包含的關(guān)聯(lián)規(guī)則進(jìn)行度量計(jì)算。通過對(duì)文本中詞匯之間的關(guān)系進(jìn)行關(guān)聯(lián)規(guī)則挖掘，建立頻繁詞匯集Q={(s1,…,sk),(si,…,sl),…,(sj,…,sl)}作為文本的詞匯項(xiàng)集，并根據(jù)頻繁詞匯項(xiàng)集計(jì)算得到詞匯si的權(quán)重，記為W(si)：

W(si)=H(si)×count(si)

(9)

其中，count(si)為詞匯si在文本中出現(xiàn)的次數(shù)。詞匯集S={s1,s2,…,sn}中包含n個(gè)詞匯，其中詞匯si出現(xiàn)的概率記為Psi，則詞匯si的信息熵Hsi的計(jì)算如公式(5)所示。為了更好地體現(xiàn)新熱門詞匯在文本中的意義，特賦予新出現(xiàn)的詞匯信息熵值為1，代表其所反映的文本熱點(diǎn)問題。

2 基于自適應(yīng)關(guān)聯(lián)熵的關(guān)鍵字提取算法

對(duì)于TR算法而言，圖節(jié)點(diǎn)中的權(quán)重系數(shù)計(jì)算主要通過遍歷鏈接矩陣，而其中涉及節(jié)點(diǎn)詞匯的阻力系數(shù)d值和滑動(dòng)窗口的參數(shù)K值基本上是固定不變的。除此之外，TR假設(shè)只有同一個(gè)句子中并且位置距離保持在滑動(dòng)窗口K值內(nèi)，才會(huì)將2個(gè)不同詞匯進(jìn)行同一標(biāo)識(shí)，這樣遍歷鏈接矩陣時(shí)會(huì)忽略詞匯在文本中的上下文信息，容易引起詞匯在文本中的重要性偏差，降低文本關(guān)鍵字的提取效果。

根據(jù)Chomsky對(duì)文本語句的闡述，文本語句單元中詞匯的順序不構(gòu)成語句語義的必要聯(lián)系，存在順序相異詞匯的語句可能會(huì)產(chǎn)生相似的語義。同時(shí)，段落和文檔都包含一定的語義方向，所包含的詞匯頻率信息也在一定程度上影響到詞匯權(quán)重的計(jì)算。為了得到更有效的關(guān)鍵字集合，本文以句子為單元將文本S劃分為S={s1,s2,…},{…},{sn-k,…,sn}，其中{s1,s2,…}稱為一個(gè)單獨(dú)的句子，包含詞匯s1,s2,…,si。將出現(xiàn)在同一個(gè)句子中的詞匯標(biāo)識(shí)為信息關(guān)聯(lián)，即：

S:s1?si

(10)

式(10)表示詞匯s1,s2,…,si之間互存關(guān)聯(lián)信息。

以單個(gè)詞匯作為初始頻繁集，根據(jù)詞匯之間的關(guān)聯(lián)信息逐步得到高層頻繁項(xiàng)集。為了更好地與關(guān)鍵字提取信息進(jìn)行吻合，設(shè)定頻繁項(xiàng)集的層級(jí)數(shù)與關(guān)鍵字提取數(shù)n保持一致。低層級(jí)的頻繁項(xiàng)集往往包含于高層級(jí)的頻繁項(xiàng)集，如“關(guān)鍵字”與“關(guān)鍵字提取”，而“關(guān)鍵字提取”包含“關(guān)鍵字”信息，這樣就會(huì)造成某些關(guān)聯(lián)信息的冗余，所以應(yīng)該保留高精度的文檔主體。假設(shè)頻繁項(xiàng)集s1和s2對(duì)應(yīng)的層級(jí)數(shù)為i和j，滿足s1?s2，且i>j，則可認(rèn)為頻繁項(xiàng)集s1包含頻繁項(xiàng)集s2的關(guān)聯(lián)規(guī)則，則在文本中去除頻繁項(xiàng)集s2，最終生成不含重復(fù)關(guān)聯(lián)信息的頻繁項(xiàng)集Q，即：

Q={(s1,…，sk),(si,…，sl),…,(sj,…，sf)}

(11)

根據(jù)關(guān)聯(lián)熵的概念，計(jì)算得到關(guān)聯(lián)詞匯s1的信息熵為Hs1(X)，具體計(jì)算公式如下：

(12)

其中，Ps1i為詞匯s1在頻繁項(xiàng)集Q中i項(xiàng)集合中出現(xiàn)的概率，進(jìn)而得到詞匯s1的權(quán)重W(s1)值(信息熵越大表明詞匯s1分布在文本中的重要性越大，信息熵越小表明詞匯s1的重要性越小)。

為了使算法更符合實(shí)際情況，利用整個(gè)句子作為滑動(dòng)窗口的構(gòu)造基礎(chǔ)，將TR算法中的滑動(dòng)窗口參數(shù)K設(shè)置為隨著句子長(zhǎng)度L而變化，使得滑動(dòng)窗口能夠自適應(yīng)調(diào)整，窗口參數(shù)K′=(L′/L)K，即整個(gè)詞匯集中的詞匯都存在邊圖矩陣連接。通過對(duì)文本詞匯之間存在的關(guān)聯(lián)關(guān)系進(jìn)行挖掘，得到有效的頻繁項(xiàng)集信息，最大程度地對(duì)詞匯在文本中的含義進(jìn)行評(píng)估，并通過鏈接矩陣迭代計(jì)算得到詞匯的權(quán)重T(s)值，選取T(s)值排名靠前的詞匯作為關(guān)鍵字的選項(xiàng)，具體的算法步驟如下：

1)利用語句分隔符對(duì)文本進(jìn)行句子切割，并通過分詞器得到文本詞匯，標(biāo)記詞匯屬性，剔除停用詞等無關(guān)語義的詞匯，保留其中的動(dòng)詞、名詞、形容詞等重要詞匯。

2)對(duì)文本詞匯進(jìn)行關(guān)聯(lián)規(guī)則挖掘，將包含在同一句子中的詞匯A和B定義為存在關(guān)聯(lián)關(guān)系{A,B}，并對(duì)整個(gè)文本進(jìn)行關(guān)聯(lián)規(guī)則聯(lián)合迭代，生成最大頻繁詞匯項(xiàng)集Q={(s1,…，sk),(si,…，sl),…,(sj,…，sl)}，同時(shí)根據(jù)不同大小的頻繁項(xiàng)集生成相應(yīng)的滑動(dòng)窗口參數(shù)K，使當(dāng)前參數(shù)K′值為前向K值的句子長(zhǎng)度L的正相關(guān)比例，即K′=(L′/L)K，讓滑動(dòng)窗口最大程度地反映同一語句詞匯的標(biāo)識(shí)問題。

(13)

式(13)可得到詞匯的權(quán)重T(s)值。

4)遍歷整個(gè)頻繁項(xiàng)集Q={(s1,…，sk),(si,…，sl),…,(sj,…，sl)}的鏈接矩陣，迭代計(jì)算詞匯T(s)值，待收斂到可信閾值區(qū)間，對(duì)所有詞匯的T(s)值進(jìn)行排序，選取T(s)排名靠前的N個(gè)詞匯作為文本段的關(guān)鍵字。

本文采用關(guān)聯(lián)熵概念來計(jì)算文本關(guān)鍵字信息，弱化了詞匯頻率的重要性，針對(duì)詞匯上下文信息作出更準(zhǔn)確的關(guān)鍵字提取效果。根據(jù)得出的詞匯關(guān)聯(lián)熵信息，可得出詞匯與其他詞匯之間存在的鏈接程度信息，即詞匯與其他關(guān)聯(lián)詞匯之間的阻尼程度如何。若詞匯在文本中出現(xiàn)的頻率較低，但該詞匯在文本結(jié)構(gòu)中出現(xiàn)在較為重要的位置(如與高頻詞匯關(guān)聯(lián)程度較高等)，則表明該低頻詞匯在文本中的重要性應(yīng)該有所提高，即詞匯關(guān)聯(lián)熵信息權(quán)重有所增強(qiáng)，因而這類低頻而重要的詞匯得到更好的處理。

3 實(shí)驗(yàn)數(shù)據(jù)分析

本文通過提取搜狗文本集和復(fù)旦大學(xué)文本集中的歷史、法律、教育、藝術(shù)、計(jì)算機(jī)等類別文本作為實(shí)驗(yàn)樣本，每種類別下樣本數(shù)量保持在1000份左右。在處理實(shí)驗(yàn)文本之前，首先利用中文分詞器(hanlp分詞器)對(duì)實(shí)驗(yàn)文本進(jìn)行預(yù)處理，剔除停用詞和無用符號(hào)并標(biāo)注詞匯的詞性。選取實(shí)驗(yàn)運(yùn)行環(huán)境：操作系統(tǒng)為Win 7，內(nèi)核Intel Core i7 CPU M 540，內(nèi)存4 GB。

對(duì)于這些文檔而言，關(guān)鍵字個(gè)數(shù)基本保持在5個(gè)左右，因此設(shè)定提取的關(guān)鍵字?jǐn)?shù)量為5和6，具體的實(shí)驗(yàn)效果如表1、表2所示。

表1 提取5個(gè)關(guān)鍵字的覆蓋率 單位：%

表2 提取6個(gè)關(guān)鍵字的覆蓋率 單位：%

實(shí)驗(yàn)數(shù)據(jù)表明，在大量文本數(shù)據(jù)信息的情況下，相較于TFIDF算法[12]、TR算法[16]及Tag-TR算法[17]，本文提出的改進(jìn)關(guān)聯(lián)熵的關(guān)鍵字提取算法能夠達(dá)到更好的效果。針對(duì)文本內(nèi)容的解釋，其上下文含義不僅僅體現(xiàn)在詞匯出現(xiàn)的頻率上，詞匯在上下文出現(xiàn)的位置以及詞匯與詞匯之間的關(guān)聯(lián)也有很大的意義，因而對(duì)于關(guān)鍵字的選取應(yīng)計(jì)算詞匯在文本中的關(guān)聯(lián)信息。為了更進(jìn)一步觀察算法在關(guān)鍵字提取過程中特點(diǎn)(如關(guān)鍵詞“文檔”和關(guān)鍵詞“支付”)，將其所代表的PR曲線展示出來，如圖3、圖4所示。

圖3 PR圖——關(guān)鍵字“文檔”

圖4 PR圖——關(guān)鍵字“支付”

從圖3和圖4可以看出，本文曲線與坐標(biāo)軸的面積是最大的，表明相較于TFIDF算法、TR算法及Tag-TR算法，本文提取關(guān)鍵字的效果有一定的優(yōu)勢(shì)，通過對(duì)詞匯之間存在的關(guān)聯(lián)關(guān)系進(jìn)行挖掘，并將其用關(guān)聯(lián)熵進(jìn)行量化分析，結(jié)合TR迭代計(jì)算選取排名靠前的k個(gè)詞匯作為關(guān)鍵字候選，能夠得到較好的關(guān)鍵字提取效果。

4 結(jié)束語

在數(shù)據(jù)信息大爆發(fā)的時(shí)代，網(wǎng)頁內(nèi)容和各種工單基本都以文本的形式進(jìn)行傳輸，如何對(duì)文本進(jìn)行高效處理就顯得尤為關(guān)鍵。文本關(guān)鍵字能夠簡(jiǎn)化文本的閱讀效率，大大提高信息接受程度，因而關(guān)鍵字提取效果的好壞直接關(guān)系到信息量的獲取程度。在傳統(tǒng)基于詞頻的關(guān)鍵字提取的經(jīng)驗(yàn)積累上，利用文本詞匯上下文信息對(duì)詞匯重要性進(jìn)行全局化的評(píng)估，能夠最大程度地反映詞匯所占文本的關(guān)鍵程度，得到較好的關(guān)鍵字提取效果。但在處理分散詞匯以及不常用詞匯時(shí)還存在一定不足，如某個(gè)詞匯確定為關(guān)鍵字，而其在某文本中出現(xiàn)的次數(shù)不多，就容易將這部分詞匯歸納為非關(guān)鍵字，導(dǎo)致結(jié)果出現(xiàn)偏差。下一步將在全局訓(xùn)練樣本中對(duì)詞匯關(guān)聯(lián)熵進(jìn)行研究，對(duì)算法做進(jìn)一步提升和改進(jìn)。