洛桑嘎登 仁增多杰* 索南尖措 才讓叁智 布加

（1.西藏大學(xué)信息科學(xué)技術(shù)學(xué)院 西藏自治區(qū)拉薩市 850000 2.國(guó)家電網(wǎng)西藏電力有限公司 西藏自治區(qū)拉薩市 850000）

藏文自然語(yǔ)言處理經(jīng)歷了幾十年的發(fā)展，現(xiàn)在已從原來(lái)的編碼研究等基礎(chǔ)研究慢慢步入詞法分析、句法分析階段。藏文問(wèn)句預(yù)處理的研究，可以應(yīng)用于藏文問(wèn)答系統(tǒng)的設(shè)計(jì)，藏文輿論熱點(diǎn)話題的追蹤、藏文文本主題挖掘等研究。文本在原有研究基礎(chǔ)上研究了。本文在原有的研究基礎(chǔ)上主要實(shí)現(xiàn)了基于知識(shí)融合的藏文分詞標(biāo)注，基于疑問(wèn)詞的藏文問(wèn)句分類和基于TextRank 的藏文關(guān)鍵詞提取研究。藏文問(wèn)句的分詞標(biāo)注研究主要參考文獻(xiàn)[9][10]的內(nèi)容實(shí)現(xiàn)。關(guān)鍵詞提取主要方法有用語(yǔ)料訓(xùn)練關(guān)鍵詞提取模型，依據(jù)模型對(duì)需要提取的文檔進(jìn)行關(guān)鍵詞提取[1][2]；無(wú)監(jiān)督提取無(wú)需對(duì)語(yǔ)料標(biāo)注，通過(guò)對(duì)候選詞集使用一定的算法機(jī)制將關(guān)鍵詞按重要性排序，主流的方法包括基于詞頻統(tǒng)計(jì)TF-IDF 模型[3][4]、基于主題LDA 模型[5][6]。

1 問(wèn)句分詞標(biāo)注

藏文詞匯以音節(jié)為基本單位，自動(dòng)分詞就是需要將連續(xù)的藏文音節(jié)序列組合成詞序。藏文的詞性標(biāo)注任務(wù)是為藏文文本中的每一個(gè)詞都標(biāo)記上一個(gè)恰當(dāng)?shù)脑~類標(biāo)記符，確定每個(gè)詞的名詞、動(dòng)詞、形容詞或其他詞類屬性。藏文除了自身獨(dú)特的語(yǔ)法特點(diǎn)還兼具漢藏語(yǔ)系的孤立語(yǔ)言特征和蒙古語(yǔ)、維吾爾語(yǔ)等黏著語(yǔ)特征，因而，結(jié)合藏文語(yǔ)言特征開展的分詞標(biāo)注研究，對(duì)其他少數(shù)民族語(yǔ)言的分詞標(biāo)注研究也具有很好的參考價(jià)值。本文采用條件隨機(jī)場(chǎng)統(tǒng)計(jì)模型進(jìn)行藏文分詞標(biāo)注，并利用藏文自身語(yǔ)言特征，采用知識(shí)融合的方式對(duì)基于條件隨機(jī)場(chǎng)模型的分詞標(biāo)注結(jié)果進(jìn)行校正，并實(shí)現(xiàn)了一個(gè)基于web 的藏文分詞標(biāo)注系統(tǒng)，能自動(dòng)進(jìn)行大規(guī)模藏文文本的自動(dòng)采集、XML 格式轉(zhuǎn)換及藏文分詞和詞性標(biāo)注。本文通過(guò)基于條件隨機(jī)場(chǎng)(Conditional Random Fields，CRFs)的方法實(shí)現(xiàn)了藏文的分詞標(biāo)注任務(wù)，具體實(shí)現(xiàn)參見文獻(xiàn)[8]。該文在文獻(xiàn)8 的基礎(chǔ)上，增加了命名實(shí)體識(shí)別模塊，以提高藏文自動(dòng)分詞與詞性標(biāo)注的準(zhǔn)確率。

文本采用基于CRFs 的藏文命名實(shí)體識(shí)別方法。標(biāo)注集采用“BIEO”的標(biāo)注方法，具體如下，對(duì)于如下的藏文句子：

Sentence 代表輸入的原始文本內(nèi)容，Target 表示經(jīng)過(guò)CRFs 標(biāo)注的結(jié)果，從上面的標(biāo)注結(jié)果可以識(shí)別出，??????????? 這個(gè)人名和 ????????這個(gè)地名。

圖1：TextRank 詞匯圖

命名實(shí)體識(shí)別有助于提高分詞的準(zhǔn)確性，尤其是對(duì)未登錄詞的識(shí)別。

2 問(wèn)句分類

問(wèn)句的分類是根據(jù)問(wèn)句的答案類型對(duì)問(wèn)句進(jìn)行分類，它是問(wèn)句分析最重要的功能之一。目前大多數(shù)這類問(wèn)答系統(tǒng)都利用答案類型來(lái)指導(dǎo)后續(xù)步驟，尤其是答案抽取策略，例如對(duì)于問(wèn)人物的問(wèn)題，答案抽取會(huì)利用人物的各種特征來(lái)提取答案候選集合。本文通過(guò)疑問(wèn)詞來(lái)確定問(wèn)句的類型，雖然這樣的方式具有一定的魯棒性，但是對(duì)于絕大數(shù)常見的問(wèn)題這種方法簡(jiǎn)單時(shí)效。如表1 所示。

3 問(wèn)句關(guān)鍵詞提取

3.1 基于詞匯圖原理的關(guān)鍵詞提取方法

TextRank 算法是一種用于文本的基于圖的排序算法。該算法可以表示為一個(gè)有向有權(quán)圖G=(V,E),如圖1 所示。

其中V 代表點(diǎn)的集合，E 代表邊的集合。圖中任意兩點(diǎn)Vi,Vj之間的權(quán)重為Wij。對(duì)于一個(gè)給定的點(diǎn)Vi,In(Vi)為指向該點(diǎn)的點(diǎn)集合，Out(Vi)為點(diǎn)Vi 指向的點(diǎn)集合。TextRank 的公式定義如下：

3.2 算法實(shí)現(xiàn)

本文通過(guò)TextRank 算法是實(shí)現(xiàn)關(guān)鍵詞的提取，具體實(shí)現(xiàn)步驟如下：

表1：常見的藏文問(wèn)題分類

第一步，把藏文文本按照分句符分成一個(gè)獨(dú)立的句子；

第二步，每個(gè)句子按照上述方法進(jìn)行分詞和詞性標(biāo)注；

第三步，從詞性標(biāo)注結(jié)果中保留名詞（包括命名實(shí)體）、動(dòng)詞、形容詞登等實(shí)詞的詞性，過(guò)濾掉語(yǔ)氣詞、標(biāo)點(diǎn)符號(hào)、格助詞等虛詞；

第四步，以窗口大小為5 構(gòu)建有向圖，并計(jì)算詞語(yǔ)的共現(xiàn)概率；

第五步，根據(jù)概率的排序結(jié)果，挑選出概率排名前N 的詞語(yǔ)作為關(guān)鍵詞。

例如，對(duì)于如下的藏文文本：

首先按照分句符分開上面兩個(gè)句子：

對(duì)Sentence1 進(jìn)行分詞標(biāo)注之后得到：

過(guò)濾掉Sentence1[tag]中的格助詞、標(biāo)點(diǎn)符號(hào)等詞,并構(gòu)建詞匯圖，計(jì)算共現(xiàn)概率，得到如下結(jié)果：

最后將 ????? ?????????? ???? ?????? 作為候選關(guān)鍵詞。

4 結(jié)論

該文結(jié)合藏文分詞標(biāo)注研究并實(shí)現(xiàn)了一種基TextRank 算法的藏文關(guān)鍵詞提取技術(shù)，該文在1500 句的藏文問(wèn)句上進(jìn)行了實(shí)驗(yàn)研究，總體效果較好，但是也存在一些問(wèn)題。比如，藏文分詞標(biāo)注結(jié)果中有些重要的動(dòng)詞沒(méi)有標(biāo)注出來(lái)，導(dǎo)致后面提取關(guān)鍵詞時(shí)被過(guò)濾掉，另外，因藏文存在黏著詞的問(wèn)題，雖然正確提取出了問(wèn)句的關(guān)鍵詞，但是從提取出來(lái)的關(guān)鍵詞反推原文意思，存在很難理解的問(wèn)題。下一步，該文將嘗試?yán)蒙疃葘W(xué)習(xí)的方法實(shí)現(xiàn)藏文文本關(guān)鍵詞提取研究。