王 芳，劉嘉恩，李 晶

(北京石油化工學(xué)院信息工程學(xué)院，北京 102617)

關(guān)鍵詞是由單個(gè)詞或詞組構(gòu)成的一個(gè)具有重要意義的詞語(yǔ)表達(dá)[1]，反應(yīng)文檔的主題思想和主要內(nèi)容。除學(xué)術(shù)論文包含關(guān)鍵詞外，網(wǎng)絡(luò)中的海量文檔并沒有關(guān)鍵詞。提取關(guān)鍵詞能幫助讀者快速地掌握一篇文本的主題；高效、準(zhǔn)確、快速地提取關(guān)鍵詞，有助于滿足人們對(duì)信息質(zhì)量的核心要求；要進(jìn)行海量文檔的信息檢索，首先需要解決的就是文檔關(guān)鍵字的自動(dòng)提取。因此，關(guān)鍵詞提取是文本挖掘領(lǐng)域一個(gè)重要分支，廣泛應(yīng)用于文檔索引、摘要生成、文本分類和信息檢索等領(lǐng)域。

關(guān)鍵詞提取技術(shù)的研究起步較早，至今已經(jīng)歷50多年的發(fā)展歷程，國(guó)內(nèi)外學(xué)者已經(jīng)進(jìn)行了很多頗有價(jià)值和成效的研究[2-3]。根據(jù)是否需要有標(biāo)注的訓(xùn)練數(shù)據(jù)，將已有方法分為有監(jiān)督和無監(jiān)督2類：有監(jiān)督的關(guān)鍵詞提取技術(shù)需要有標(biāo)注數(shù)據(jù)，將關(guān)鍵詞提取轉(zhuǎn)化為是否為關(guān)鍵詞的分類問題，采用機(jī)器學(xué)習(xí)的方法構(gòu)建分類模型，包括基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)和基于深度學(xué)習(xí)的方法[4-6]；無監(jiān)督的關(guān)鍵詞提取方法無需標(biāo)注數(shù)據(jù)，基于圖和話題等技術(shù)對(duì)候選詞進(jìn)行排序[7-9]，提取排序靠前的詞作為關(guān)鍵詞。

已有研究大多關(guān)注于關(guān)鍵詞特征及提取模型設(shè)計(jì)，針對(duì)特定領(lǐng)域的關(guān)鍵詞提取研究較少。諸多領(lǐng)域內(nèi)的文本數(shù)據(jù)通常都呈現(xiàn)出詞語(yǔ)專業(yè)性強(qiáng)、缺乏文本標(biāo)注(無監(jiān)督)的特點(diǎn)，導(dǎo)致這些領(lǐng)域內(nèi)的關(guān)鍵詞提取較為困難。韋婷婷等[6]針對(duì)中文專利關(guān)鍵詞，設(shè)計(jì)了一種融合長(zhǎng)短期記憶(LSTM)神經(jīng)網(wǎng)絡(luò)和邏輯回歸模型的關(guān)鍵詞抽取方法，解決了傳統(tǒng)方法難以發(fā)現(xiàn)低頻、長(zhǎng)尾關(guān)鍵詞的問題；毛立琦等[10]針對(duì)風(fēng)險(xiǎn)領(lǐng)域文本，提出基于領(lǐng)域自適應(yīng)的領(lǐng)域文本關(guān)鍵詞提取模型。相關(guān)研究忽略了領(lǐng)域知識(shí)對(duì)關(guān)鍵詞提取的作用。

因此，筆者基于圖的無監(jiān)督關(guān)鍵詞提取技術(shù)，以影視領(lǐng)域文本(如影訊、影評(píng)等)為例，研究如何結(jié)合領(lǐng)域知識(shí)輔助關(guān)鍵詞提取。針對(duì)其詞匯領(lǐng)域性強(qiáng)、影視名稱較長(zhǎng)等特點(diǎn)，構(gòu)建影視領(lǐng)域詞表用作分詞詞表，避免分詞錯(cuò)誤造成的關(guān)鍵詞誤判；利用影視知識(shí)庫(kù)中影視名、演員、導(dǎo)演等豐富的語(yǔ)義知識(shí)，結(jié)合候選詞共現(xiàn)信息構(gòu)建候選詞關(guān)系圖；基于影視知識(shí)庫(kù)計(jì)算候選詞語(yǔ)義相似性，與經(jīng)典的圖排序算法PageRank[11]、TextRank[12]和PositionRank[13]相結(jié)合，優(yōu)化候選詞排序，從而更有效地實(shí)現(xiàn)無監(jiān)督影視領(lǐng)域文本關(guān)鍵詞的自動(dòng)提取任務(wù)。

1 影視領(lǐng)域知識(shí)挖掘

研究領(lǐng)域知識(shí)對(duì)關(guān)鍵詞提取的作用，首先需要構(gòu)建領(lǐng)域知識(shí)。采用知識(shí)圖譜的方法構(gòu)建影視領(lǐng)域知識(shí)圖譜MKG=(V，E)[14]，其中V是影視知識(shí)圖譜的節(jié)點(diǎn)集合，由影視名稱、角色、導(dǎo)演、演員等影視領(lǐng)域?qū)嶓w構(gòu)成；E={(vi，rk，vj)│vi，vj∈V，rk∈R}為影視實(shí)體關(guān)系集合，每一個(gè)實(shí)體關(guān)系是一個(gè)三元組(vi，rk，vj)表示vi和vj之間存在關(guān)系rk，其中R為實(shí)體關(guān)系類型集合，如演員“吳京”和“長(zhǎng)津湖”電影存在主演關(guān)系，形式化地表示為三元組(“吳京”，主演，“長(zhǎng)津湖”)。影視領(lǐng)域知識(shí)圖譜MKG的構(gòu)建主要包括3部分：影視領(lǐng)域關(guān)系類型定義、影視領(lǐng)域?qū)嶓w抽取和影視領(lǐng)域關(guān)系抽取。

以豆瓣影視網(wǎng)站為數(shù)據(jù)源，首先定義實(shí)體關(guān)系類型為R={“影視劇”，“明星”，“角色”，“導(dǎo)演”，“編劇”，“主演”，“類型”，“別名”，“飾演”}；其次采用結(jié)構(gòu)化信息抽取的方式提取影視領(lǐng)域?qū)嶓w和實(shí)體關(guān)系，如圖1所示。

圖1 影視領(lǐng)域知識(shí)抽取網(wǎng)頁(yè)信息示意圖Fig.1 Web page information extraction for domain knowledge of film and television

基于Python語(yǔ)言利用Scrapy網(wǎng)絡(luò)爬蟲框架提取豆瓣影視網(wǎng)站的結(jié)構(gòu)化網(wǎng)頁(yè)信息，所有提取的三元組構(gòu)成關(guān)系集合，所有三元組中的實(shí)體構(gòu)成實(shí)體集合，所構(gòu)建影視領(lǐng)域知識(shí)圖譜示意圖如圖2所示。

圖2 影視領(lǐng)域知識(shí)圖譜MKG中的實(shí)體-關(guān)系示意圖Fig.2 Samples of entity-relationships in MKG

2 影視文本關(guān)鍵詞提取模型

針對(duì)影視文本設(shè)計(jì)關(guān)鍵詞提取的模型框架如圖3所示。模型主要包含候選詞生成、詞網(wǎng)絡(luò)構(gòu)建和關(guān)鍵詞排序3個(gè)模塊。

圖3 結(jié)合領(lǐng)域知識(shí)的影視文本關(guān)鍵詞提取模型框架Fig.3 The framework of the keyword extraction model based on domain knowledge

2.1 候選詞生成

對(duì)于給定影視文本，生成候選關(guān)鍵詞通常是關(guān)鍵詞提取的第1步。由于中文字與字之間沒有明細(xì)的分割標(biāo)志，詞長(zhǎng)也各有不同，對(duì)中文文本進(jìn)行有效分詞是生成候選詞的關(guān)鍵。影視領(lǐng)域文本包含大量影視領(lǐng)域?qū)I(yè)詞匯，如影視名、影視角色、演員及導(dǎo)演等名稱詞匯，特別是影視名稱長(zhǎng)短不一，現(xiàn)有分詞器往往會(huì)對(duì)影視名稱錯(cuò)誤分詞，間接造成候選關(guān)鍵詞生成錯(cuò)誤。如電影名稱“肖申克的救贖”會(huì)被分成三個(gè)詞“肖申克”、“的”、“救贖”。

針對(duì)這一問題，提取影視領(lǐng)域知識(shí)圖譜MKG中的實(shí)體集作為影視領(lǐng)域?qū)I(yè)詞表，用作分詞器的用戶詞典導(dǎo)入分詞器，可很大程度上避免上述錯(cuò)誤分詞。選用張華平博士的ICTCLAS中分詞系統(tǒng)來對(duì)影視文本進(jìn)行分詞處理，分詞后的詞匯首先經(jīng)過詞性過濾，去掉詞性標(biāo)注中不含“n”和“v”的詞，如“d”代詞，隨后再經(jīng)過停用詞過濾，生成候選詞集。

2.2 詞網(wǎng)絡(luò)構(gòu)建

為了將基于圖的排序算法應(yīng)用于自然語(yǔ)言文本，需要構(gòu)建表示文本的圖。當(dāng)前主流的文本圖構(gòu)建方法以詞為網(wǎng)絡(luò)節(jié)點(diǎn)[12-13]，利用詞共現(xiàn)(word co-occurance)構(gòu)建圖上節(jié)點(diǎn)的連接邊。對(duì)于給定文本d構(gòu)建圖G=(V，E)，其中V是文本d經(jīng)分詞處理后的候選詞集，每一個(gè)候選詞是圖上的1個(gè)節(jié)點(diǎn)；圖上2個(gè)節(jié)點(diǎn)vi和vj由邊(vi，vj)∈E連接。節(jié)點(diǎn)vi和vj存在1條邊，當(dāng)且僅當(dāng)2個(gè)節(jié)點(diǎn)在d中指定的詞共現(xiàn)窗口W中同時(shí)出現(xiàn)。邊(vi，vj)∈E的權(quán)重為節(jié)點(diǎn)vi和vj的共現(xiàn)次數(shù)。文本詞網(wǎng)絡(luò)圖G可以是有向圖也可以是無向圖，Mihalcea等[12]的實(shí)驗(yàn)表明，用來表示文本的圖類型對(duì)關(guān)鍵詞提取結(jié)果沒有顯著影響。

上述方法在正規(guī)長(zhǎng)文本的關(guān)鍵詞提取中取得了不錯(cuò)的效果，但僅通過詞共現(xiàn)建立圖上節(jié)點(diǎn)的連接，忽略了詞匯之間的語(yǔ)義關(guān)聯(lián)。如在文本“以易烊千璽扮演的伍萬里這個(gè)孩子的視角，重新觀察戰(zhàn)爭(zhēng)，進(jìn)入戰(zhàn)爭(zhēng)，學(xué)習(xí)戰(zhàn)爭(zhēng)。他在戰(zhàn)爭(zhēng)中成長(zhǎng)起來的故事線，就是拎起《長(zhǎng)津湖》整篇故事的主線。”中，演員“易烊千璽”和電影“長(zhǎng)津湖”存在語(yǔ)義關(guān)系，但在文本中相隔較遠(yuǎn)，TextRank算法的詞共現(xiàn)窗口N最大取值為10，無法為詞“易烊千璽”和“長(zhǎng)津湖”建立連接邊。

基于上述思考，提出結(jié)合影視知識(shí)庫(kù)改進(jìn)詞網(wǎng)絡(luò)構(gòu)建，在構(gòu)建連接邊時(shí)遵循如下2條規(guī)則：

(1)候選詞vi和vj在影視文本d中指定的詞共現(xiàn)窗口W中同時(shí)出現(xiàn)；

(2)候選詞vi和vj在影視領(lǐng)域知識(shí)圖譜MKG中存在語(yǔ)義關(guān)系，即存在三元組(vi，rk，vj)∈Emk。

具體實(shí)現(xiàn)中，首先基于詞共現(xiàn)關(guān)系建立候選詞圖Gco，利用關(guān)聯(lián)矩陣Mco=(Mcoi,j)|V|×|V|表示Gco，其中|V|表示文本d中的候選詞個(gè)數(shù)，w(vi，vj)為2個(gè)節(jié)點(diǎn)在文本d中的共現(xiàn)次數(shù)：

(1)

(2)

(3)

2.3 關(guān)鍵詞排序

圖模型可以有效表示各節(jié)點(diǎn)間的關(guān)系和結(jié)構(gòu)信息，在計(jì)算節(jié)點(diǎn)權(quán)重的過程中可以結(jié)合圖的全局做出判斷而不是依賴某幾個(gè)特定節(jié)點(diǎn)的信息。以TextRank[12]和Positionrank[13]2種經(jīng)典的基于圖的關(guān)鍵詞提取方法為例，介紹如何結(jié)合領(lǐng)域知識(shí)輔助關(guān)鍵詞提取。

TextRank基本思想來源于谷歌的網(wǎng)頁(yè)排序算法PageRank[11]。PageRank通過網(wǎng)頁(yè)鏈接關(guān)系構(gòu)建圖模型，排序核心思想為：如果1個(gè)網(wǎng)頁(yè)被很多其他網(wǎng)頁(yè)鏈接到，說明這個(gè)網(wǎng)頁(yè)很重要，其PageRank值也會(huì)相應(yīng)較高；如果1個(gè)PageRank值很高的網(wǎng)頁(yè)鏈接到另外某個(gè)網(wǎng)頁(yè)，那么那個(gè)網(wǎng)頁(yè)的PageRank值也會(huì)相應(yīng)地提高?；谏鲜鏊枷?，設(shè)計(jì)了如下PageRank值計(jì)算公式：

(4)

式中：S(vi)表示網(wǎng)頁(yè)vi的PageRank值，vi∈V={v1，v2，…，vn}，網(wǎng)頁(yè)之間存在鏈接關(guān)系；d為跳轉(zhuǎn)因子(通常設(shè)置為0.85)；In(vi)為鏈向vi的網(wǎng)頁(yè)個(gè)數(shù)，即有向圖中節(jié)點(diǎn)的入度；Out(vj)為節(jié)點(diǎn)vj鏈向網(wǎng)頁(yè)的個(gè)數(shù)，即有向圖中節(jié)點(diǎn)的出度。

在關(guān)鍵詞提取算法中，網(wǎng)頁(yè)被換成了關(guān)鍵詞。TextRank把文本分割成若干組成單元(詞語(yǔ))并建立圖模型，在PageRank基礎(chǔ)上考慮邊的權(quán)重，利用投票機(jī)制對(duì)文本中的重要成分進(jìn)行排序，具體方法為：

S(vi)=(1-d)+

(5)

TextRank利用詞共現(xiàn)信息計(jì)算邊的權(quán)重，Adj(vi)表示節(jié)點(diǎn)vi的鄰接節(jié)點(diǎn)集合，TextRank實(shí)驗(yàn)表明在關(guān)鍵詞提取任務(wù)中圖中的邊是否有向?qū)μ崛〗Y(jié)果沒有顯著影響，wj，i表示vi和vj的詞共現(xiàn)次數(shù)，即式(1)中的w(vi，vj)。

PositionRank在上述2種排序方法基礎(chǔ)上，進(jìn)一步考慮了詞在文檔中出現(xiàn)的位置和出現(xiàn)次數(shù)，認(rèn)為在文檔中出現(xiàn)位置靠前、出現(xiàn)頻次較多的詞更為重要?；谶@一思想，優(yōu)化排序公式如下：

(6)

(7)

上述方法僅基于單篇文檔的詞共現(xiàn)信息和詞位置信息進(jìn)行排序，忽略了詞匯之間存在的語(yǔ)義關(guān)系。利用影視領(lǐng)域知識(shí)圖譜MKG中的語(yǔ)義關(guān)系，進(jìn)一步優(yōu)化圖排序方法，在式(3)圖節(jié)點(diǎn)相似度wi，j基礎(chǔ)上，引入語(yǔ)義相似度smi，j，計(jì)算式如下：

smi，j=Jaccard(Adj(vi)，Adj(vj))=

(8)

語(yǔ)義相似度計(jì)算方法可以根據(jù)實(shí)際應(yīng)用調(diào)整。選取計(jì)算簡(jiǎn)單、實(shí)際應(yīng)用效果較好的Jaccard相似度計(jì)算方法，根據(jù)2個(gè)節(jié)點(diǎn)的共同鄰居度量節(jié)點(diǎn)相似度，共同鄰居越多，節(jié)點(diǎn)越相似。將smi，j引入TextRank和PositionRank算法中，分別得到式(9)和式(10)，用以計(jì)算結(jié)合語(yǔ)義相似度的關(guān)鍵詞排序。

S(vi)=(1-d)+

(9)

(10)

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

為驗(yàn)證所提方法的有效性，基于影視領(lǐng)域知識(shí)圖譜MKG，設(shè)計(jì)爬蟲爬取豆瓣影視近2萬篇影視文檔，提取影視領(lǐng)域?qū)嶓w近1.7萬，提取實(shí)體關(guān)系近3百萬。為對(duì)所提方法進(jìn)行有效評(píng)價(jià)，采用人工標(biāo)注的方法構(gòu)建實(shí)驗(yàn)數(shù)據(jù)集。利用八爪魚、beautifulSoup等工具包在豆瓣影視討論社區(qū)爬取影視評(píng)論，經(jīng)過簡(jiǎn)單清洗格式后將原網(wǎng)頁(yè)的各標(biāo)簽信息存儲(chǔ)為JSON文件。選取200篇影視評(píng)論進(jìn)行人工標(biāo)注，為每篇文檔標(biāo)注5個(gè)關(guān)鍵詞，標(biāo)注好的關(guān)鍵詞以“tag”為鍵添加到原有JSON文件以供后續(xù)處理，如圖4所示。

圖4 影視評(píng)論關(guān)鍵詞標(biāo)注數(shù)據(jù)截圖Fig.4 Data screenshot of keywords annotation for film and television commentary

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

采用準(zhǔn)確率(Precision)、召回率(Recall)和F1值(F-Measure)衡量各算法的關(guān)鍵詞提取效果。在關(guān)鍵詞提取任務(wù)中，準(zhǔn)確率即提取結(jié)果與答案的匹配度；召回率表示提取結(jié)果對(duì)于正確答案的覆蓋程度；F1值則是考慮前兩者的綜合指標(biāo)。3種評(píng)價(jià)標(biāo)準(zhǔn)的定義如下：

(11)

其中：S為算法提取的關(guān)鍵詞集合；K為人工標(biāo)注的關(guān)鍵詞集合。

對(duì)于每一篇標(biāo)注的影視文本，分別計(jì)算P、R和F1，最后分別加和求平均得到整體的準(zhǔn)確率、召回率和F1值。

3.3 實(shí)驗(yàn)結(jié)果

將所選方法應(yīng)用于影視文本關(guān)鍵詞提取任務(wù)，與原始的TextRank和PositionRank方法進(jìn)行對(duì)比，結(jié)合影視領(lǐng)域知識(shí)圖譜MKG改進(jìn)后的算法分別標(biāo)記為TextRank+MKG和PositionRank+MKG。針對(duì)每一篇影視文本，經(jīng)分詞及與處理后，基于式(1)構(gòu)建傳統(tǒng)的候選詞圖，基于式(3)構(gòu)建MKG改進(jìn)后的候選詞圖；基于式(9)和式(10)計(jì)算改進(jìn)后的候選詞排序；基于式(5)和式(6)計(jì)算傳統(tǒng)的詞排序；最后取排序靠前的K個(gè)關(guān)鍵詞作為關(guān)鍵詞提取結(jié)果。實(shí)驗(yàn)數(shù)據(jù)中每篇文本有5個(gè)關(guān)鍵詞，為此K分別取值1、2、3、4、5。實(shí)驗(yàn)結(jié)果如圖5所示。

從圖5中可以看出，將MKG引入圖排序TextRank和PositionRank算法中，在準(zhǔn)確率、召回率和F1各項(xiàng)評(píng)價(jià)指標(biāo)中都有明顯提升作用，說明領(lǐng)域知識(shí)對(duì)于關(guān)鍵詞提取任務(wù)具有積極輔助作用。具體來看，TextRank方法在影視文本中效果明顯優(yōu)于PositionRank。分析原因，PositionRank是針對(duì)正規(guī)的學(xué)術(shù)論文設(shè)計(jì)的關(guān)鍵詞提取方法，論述語(yǔ)句描述和位置信息作用明顯。但影視評(píng)論文本較多為發(fā)表感想、看法類文字，不符合標(biāo)準(zhǔn)的論文寫作順序和結(jié)構(gòu)，導(dǎo)致位置偏好在影視評(píng)論關(guān)鍵詞排序中不起作用甚至可能造成干擾。

3.4 實(shí)驗(yàn)分析

為進(jìn)一步分析MKG在引入詞表、構(gòu)建詞圖和詞排序方面的細(xì)分作用，基于TextRank進(jìn)行實(shí)驗(yàn)分析，設(shè)置對(duì)比實(shí)驗(yàn)：

(1)TextRank：不引入詞表、基于式(1)構(gòu)建傳統(tǒng)的候選詞圖、基于式(5)進(jìn)行關(guān)鍵詞排序；

(2)TextRank+W：引入詞表、基于式(1)構(gòu)建傳統(tǒng)的候選詞圖、基于式(5)進(jìn)行關(guān)鍵詞排序；

(3)TextRank+W+G：引入詞表、基于式(3)構(gòu)建傳統(tǒng)的候選詞圖、基于式(5)進(jìn)行關(guān)鍵詞排序；

(4)TextRank+W+G+R：引入詞表、基于式(3)構(gòu)建傳統(tǒng)的候選詞圖、基于式(9)進(jìn)行關(guān)鍵詞排序。

影視領(lǐng)域知識(shí)MKG在關(guān)鍵詞提取中的作用分析結(jié)果如圖6所示。從圖6中可以看出，2～4三個(gè)階段引入MKG相關(guān)知識(shí)均對(duì)關(guān)鍵詞提取任務(wù)有積極作用；其次，領(lǐng)域詞表的作用最為明顯，引入影視領(lǐng)域詞表的TextRank+W顯著優(yōu)于TextRank，準(zhǔn)確率提升近10%；最后，在召回率指標(biāo)中，TextRank+W+G提升效果明顯，說明通過MKG引入影視語(yǔ)義關(guān)系，為詞圖節(jié)點(diǎn)增加語(yǔ)義邊，有助于提升關(guān)鍵詞提取召回率。

圖5 影視文本關(guān)鍵詞提取效果對(duì)比Fig.5 Keyword extraction effect comparison for film and television text

圖6 影視領(lǐng)域知識(shí)MKG在關(guān)鍵詞提取中的作用分析Fig.6 Analysis of the role of MKG in keyword extraction

4 結(jié)論

圍繞影視領(lǐng)域文本展開結(jié)合領(lǐng)域知識(shí)的關(guān)鍵詞提取算法研究。構(gòu)建影視領(lǐng)域知識(shí)庫(kù)，基于圖排序算法，從改進(jìn)分詞、完善詞圖構(gòu)建、優(yōu)化詞排序三方面提升影視文本關(guān)鍵詞提取效果，實(shí)驗(yàn)結(jié)果表明所提方面有效。當(dāng)前僅基于影視詞匯在知識(shí)圖譜中的共近鄰關(guān)系計(jì)算語(yǔ)義相似度，沒有考慮知識(shí)庫(kù)全局網(wǎng)絡(luò)結(jié)構(gòu)信息，也沒有區(qū)分不同關(guān)系類型，未來在語(yǔ)義相似度計(jì)算方面可做進(jìn)一步優(yōu)化研究。