張滬寅,劉道波,溫春艷

(武漢大學計算機學院,武漢430072)

基于《知網》的詞語語義相似度改進算法研究

張滬寅,劉道波,溫春艷

(武漢大學計算機學院,武漢430072)

現有詞語相似度計算方法未深入考慮義原之間的距離與義原深度的主次關系,或直接指定含具體詞概念的相似度,導致計算結果不夠精確。針對該問題,通過義原之間的距離限制義原深度對義原相似度的影響,分析統(tǒng)計《知網》中概念的義項表達式,使用第一基本義原(能反映具體詞本質)替換概念義項表達式中出現的具體詞,從而提出一種改進的詞語語義相似度計算算法。實驗結果表明,該算法能有效提高詞匯相似度計算的精確度。

詞語相似度;詞語語義;義原深度;概念

1 概述

詞語語義相似度計算在文本分類、問答系統(tǒng)、基于實例的機器翻譯、文本主題抽取等自然語言處理領域有著非常廣泛的應用。詞語語義相似度計算方法通?？梢苑譃?種[1]:第1種是利用大規(guī)模語料庫來統(tǒng)計詞語的相關性基于統(tǒng)計的方法;第2種主要是依賴于比較完備的基于某種世界知識和分類體系的大型語義詞典,如Agirre[2]利用WordNet來計算英語詞語的語義相似度。

《知網》是著名的采用漢語描述的本體論[3],它是一個揭示概念與概念之間以及概念所具有的屬性之間的關系為基本內容并以漢語和英語的詞語所代表的概念為描述對象的常識知識庫[1]。基于《知網》的詞語語義相似度計算的最終歸結于義原相似度計算的層面上。如文獻[4]提出的計算詞語相似度只考慮義原之間距離的方法;文獻[5]在前人的基礎上額外考慮了義原深度因素,文獻[6]提出同時考慮了深度和區(qū)域密度2個因素的方法;文獻[7]提出的計算方法考慮了義原間的反義對義關系及文本情感色彩;文獻[8]考慮了義原的公共節(jié)點個數和深度對相似度的影響;文獻[9]通過共有信息和差異信息進行相似度的計算;文獻[10]提出的考慮詞語詞性的計算方法等。

然而,以上計算方法未考慮義原層次深度,或未深入考慮義原之間的距離和義原層次深度的主次關系。為此,通過限制義原層次深度對相似度的影響,本文提出一種基于《知網》的詞語語義相似度改進算法。

2 相似度計算

2.1 基本定義

定義1詞語相似度[4]。詞語W1,W2的相似度是指2個詞在不同的上下文中且不改變文本的句法、語義結構前提下,詞語可替換使用的程度,用Sim(W1,W2)表示。

定義2義原距離[6]。義原p1和p2的距離是指在同一棵義原層次體系樹上p1到p2的路徑長度,用Dist(p1,p2)表示。若義原p1和p2是不在同一棵義原層次體系樹上,則Dist(p1,p2)統(tǒng)一設為20。

定義3義原深度[6]。義原p的深度是指義原層次體系樹上的根節(jié)點到此義原p節(jié)點的路徑長度,用dep(p)表示。

2.2 義原相似度計算

義原的相似度由義原所處義原樹形結構的位置關系描述。以“實體”為根節(jié)點的樹分支如圖1所示。

圖1 以“實體”為根節(jié)點的樹分支

本文選取了一個以“實體”為根節(jié)點的義原層次體系樹的分支,并根據圖1,對2種常見的義原相似度計算方法進行比較討論:

(1)文獻[4]通過計算兩義原節(jié)點之間的路徑長度計算2個義原的相似度,公式為:

其中,p1和p2表示義原;Dist(p1,p2)為它們在義原層次體系中的距離,即義原距離,當p1和p2處于不同的棵時取一個較大常數20[1];?為可調整參數,表示當義原相似度等于0.5時的路徑長度。

(2)文獻[5]在文獻[4]的基礎上考慮了義原的深度,公式為:

其中,dep(p1),dep(p2)分別為p1和p2的義原深度; min(dep(p1),dep(p2))表示p1和p2義原深度的最小值。

從圖1中挑選義原對來討論式(1)、式(2)各自的特點,式(1)、式(2)計算義原相似度的實驗結果如表1所示。

表1 義原對相似度計算結果比較

對比表1中的A組和B組:A組中義原深度都為3,B組中都為6,B組的相似度顯然要大于A組。式(1)中A組和B組并沒有區(qū)分度,其原因是式(1)中只要義原之間的距離相等,那么最終結果就會相同,而式(2)在式(1)的基礎上考慮了義原層次深度,能夠區(qū)別義原之間距離相等而義原層次深度不同的情況。

其次對比表1中的C組和D組:式(1)中C組的相似度較大,式(2)中D組的相似度較大,出現了相互矛盾的結果。從直觀感覺來看,C組中的相似度要比D組中的大,此時反而是式(1)比式(2)的結果要好。出現這種情況是因為義原層次深度對相似度的影響超越了義原距離對相似度的影響,即義原層次深度對計算相似度的影響偏大造成的。

通過上面的實驗發(fā)現,如果義原層次深度比較大,將導致整體的相似度較大的不合理現象?；诖?對參照式(2)對其進行了修改,分子、分母的min(dep(p1),dep(p2))都除以Dist(p1,p2)/2,期望義原層次深度對相似度的影響會受到義原距離的制約,得到如下公式:

其中,λ為可調節(jié)參數。

式(3)意義在于:突出了義原距離對義原相似度計算的作用,也就是說,如果義原距離比較大(如不在同一義原樹時為20),即義原相似度比較低,那么義原層次深度對相似度的對于整體相似度所起到的作用也降低。式(3)既考慮了義原層次深度又對其“影響力”給予適度的制約,因此,可獲得更加合理真實的結果。

為比較式(2)與式(3)的相同點與不同點,本文利用Maple軟件繪制函數圖像進行比較(根據在多次嘗試取得的經驗,將λ取值為2.0較為合適,若λ取值過大,會導致義原相似度也偏大)。設義原之間的距離為x(0≤x≤20);義原對中最小義原層次深度的變量為y(0≤y≤10);義原相似度為z(0≤z≤10),式(2)、式(3)函數圖像如圖2所示。

圖2 式(2)與式(3)的函數圖像

通過觀察圖2的函數圖像,可以發(fā)現到當義原之間的距離較小(如x≤3)時候,式(2)與式(3)圖像較相似,但是當義原距離比較大(如10≤x≤20)的時候,式(2)的圖像隨著最小義原層次深度(y)的變化仍然變化很大,如當義原之間的距離為20時,最小義原層次深度達到10時,義原相似度卻仍有0.444之大,顯然這是不夠合理的。為了更明確式(2)和式(3)的圖像,本文截取了當義原距離為10時,最小義原層次深度x(0≤x≤10)對義原相似度影響的圖像,如圖3所示。

圖3 義原距離為10時深度對相似度的影響

從圖3與式(2)可以看出,當min(dep(p1),dep(p2)為0時,按照式(2)計算,義原相似度必然為0,這是不合理的,如此時義原“實體”與義原“實體”的相似度應該為1.000,而非式(2)計算的0。當min(dep(p1),dep(p2)為10時,式(2)計算義原相似度有0.615之大,而式(3)計算義原相似度只有0.253,式(3)的計算結果更加符合人的主觀感受。

2.3 概念相似度計算

中文詞語相似度中,計算虛詞概念的相似度較為簡單[11],所以,本文研究僅考慮計算實詞概念之間相似度的問題。劉群等提出了一種用一個特征結構描述實詞概念,并計算概念之間相似度的方法,此特征結構可以看作是一個“屬性:值”對的集合,并且該特征結構含有4個特征[12],即第一基本義原描述式、其他基本義原描述式、關系義原描述、關系符號描述。

又因為次要部分計算的相似度值要受到主要部分計算的相似度值的限制,所以2個概念之間的總相似度記為[4]:

其中,βi(1≤i≤4)是可調整的參數,并有下式:

另外,在知網的知識描述語言中[13],在一些出現義原的位置可能出現一個具體詞(概念),并將出現的具體詞用圓括號括起來。目前,處理此種情況的都是按照文獻[4]的方法處理:具體詞與義原之間的相似度統(tǒng)一規(guī)定為一個較小的常數(γ);兩具體詞之間的相似度則規(guī)定,若兩具體詞一致,則相似度為1,否則相似度為0。

上述計算方法能計算出大部分詞語相似度,但是通過對《知網》定義的概念的義項表達式的分析,該計算方法存在需要改進的地方。通過對《知網》數據的分析,共有66181個概念的定義,其中在對概念的定義中,有2 333條概念的定義使用了具體詞(概念),若按上述2條規(guī)則進行處理,將會得到大量粗略計算的相似度。

例如,“日本人”和“美國人”、“日元”和“美金”這2組概念的義項表達式如下:

A:日本人:DEF={human|人,(Japan|日本)}

B:美國人:DEF={human|人,(US|美國)}

C:美元:DEF={money|貨幣,(US|美國)}

D:日元:DEF={money|貨幣,(Japan|日本)}

依據上述方法把概念的義項表達式劃分后,根據上述的方法使用式(4)計算,A和B相似度與C和D相似度計算結果均為0.500。導致出現這種情況是因為,“日本人”和“美國人”的第一基本義原都是人,并且根據上述規(guī)則,具體詞(Japan|日本)與具體詞(US|美國)不同的相似度為0導致的。然而,實際上根據本文相似度的定義,可以認為具體詞(Japan|日本)與具體詞(US|美國)的相似度為1.000。概念“日本人”和“美國人”相似度只有0.500,這樣的結果顯然這與主觀感覺是極其不相符合的。

為此,本文對這2 333條概念的定義進行了分析與統(tǒng)計,通過統(tǒng)計分析發(fā)現,2 333條概念定義的義項表達式中出現的具體詞主要是地名(市、國、洲、等)、人名等專有名詞(約占95%),剩下其余少量概念定義的義項表達式出現其它具體詞。因此,本文對這些“特殊”的概念進行適當的處理,以使相似度計算更加合理化。因此,把概念相似度計算分為2類:

(1)2個要計算相似度的概念的義項表達式均沒有出現有具體詞(概念)。

(2)2個要計算相似度的概念中至少有一個概念的義項表達式有出現有具體詞(概念)。

專有名詞通常表示特定的人、地方、事物等特有的名詞,因此,這些專有名詞的第一基本義原就能很好地反映這些專有名詞的本質特征。如上文的概念“中國”,第一基本義原為place|地方?；诖?對于要比較的2個概念,先進行預處理,判斷要計算相似度的概念中是否至少有一個概念的義項表達式有出現有具體詞的,若沒有出現則為第(1)類,直接使用前文的方法;若至少有一個概念的義項表達式有出現有具體詞的,則使用能反映具體詞本質特征的第一基本義原代替它自身,經過替代后,轉化為第(1)類進行計算。

與不考慮含具體詞的詞語相似度算法相比,本文提出的算法提高了含具體詞概念義項表達式相似度計算的客觀性和準確性,得到的結果更加貼近人們的感受。

2.4 詞語相似度計算

在《知網》的結構中,一個中文詞語可以使用幾個不同的概念來定義。2個孤立詞語之間的相似度可表現為定義該詞語的概念集合之間的相似度[13],用公式表示為:

其中,詞語W1,W2分別有n和m個不同概念;S1i為W1的第i個概念;S2j為W2的第j個概念。

3 實驗結果與分析

3.1 義原相似度實驗

本文實驗使用3種不同方法來計算比較義原相似度:

方法1使用文獻[4]計算義原相似度的方法。

方法2使用文獻[5]計算義原相似度的方法。

方法3使用本文介紹的義原相似度計算方法。

在本文實驗中,參照文獻[4-5],將參數?值設置為1.6。實驗結果如表2所示。

表2 義原相似度的實驗結果

比較組第3行、第4行,與組第5行、第6行與組第5行、第7行、第8行,這3組均是行號越大,義原距離越大,方法1與方法3的計算結果均處于遞減。然而,方法2的結果卻相反,如第4行計算的相似度比第3行大,第6行計算的相似度比第5行大,第8行計算的相似度比第5行、第7行都要大。從詞語的可替換性來說,方法2的結果不夠合理的,如第5行的相似度應該要比第8行的要大。經過改進后,方法3計算第5行的相似度為0.483,第8行的相似度為0.332,顯然方法3比改進前的方法2得到的結果更合理。

再觀察第9行～第11行,其中,第10行、第11行的2個義原不在同一義原層次體系樹上,按規(guī)定把義原距離設定為20。比較第9行、第10行,方法1與方法3都是第9行的相似度大,然而方法2的計算結果顯示,第10行更大,這是不符合實際的?！拔镔|”在義原層次體系樹上是“車”的祖先結點,而“車”與“分鐘”不在同一義原層次體系樹上,由此看來,第10行顯然不應該比第9行的相似度大。從這第10行、第11行也可以看出,方法2的計算結果是偏大的,這是由于方法2的計算義原相似度受義原層次深度影響很大(即使兩義原幾乎不相似了)造成的。而改進后的方法3是更加符合人的主觀感受的,這是因為義原層次深度對相似度的影響會受到義原之間的距離的制約。

從整體上看,從上到下,義原之間的距離遞增,當義原之間的距離相等時,最小義原層次深度遞減,方法1與方法3的計算義原相似度都是遞減的,與人的直覺是比較相符合的,但是方法2的義原相似度卻出現了多次跳躍,即出現了多次義原距離大的義原相似度反而比義原距離小的相似度更大。顯然,方法1只要義原距離相等則義原相似度相等,并不能區(qū)分不同義原層次深度的義原相似度;方法2可以區(qū)分不同義原層次深度之間的相似度,但是有些相似度的結果也不夠合理,比如“實體”和“實體”的相似度,“車”和“雨雪”的相似度。然而方法3計算的相似度比方法1與方法2更加呈現出兩端擴散的現象,使計算的結果更加合理細膩。

3.2 義項表達式中含具體詞的概念相似度實驗

本文實驗使用了2種不同方法來計算比較詞語(至少有一個詞語義項表達式含有具體詞)相似度:

方法4使用文獻[4]計算詞語相似度的方法。

方法5使用本文介紹的詞語相似度計算方法。

在實驗中,參照文獻[4],將參數值設置為:?= 1.6,β1=0.5,β2=0.2,β3=0.17,β4=0.13,γ=0.2,δ=0.2。實驗結果如表3所示。

表3 義項表達式中含具體詞的概念相似度實驗結果

根據本文詞語相似度的定義,從表3可以看出,方法4的計算結果偏小,這主要是因為方法4按規(guī)則若要比較的2個具體詞不相同,則相似度為0導致的。而方法5中計算的詞語相似度則較為合理,因為方法5中使用具體詞的第一基本義原替換具體詞,而具體詞的第一基本義原在大多數情況下都能反映出此具體詞的本質。

現實生活中存在大量類似表3中類型的詞語,如“亞洲人”、“英國人”、“廣東人”、“北京人”、“日軍”等。由此可見,本文方法可大量改善計算此類詞語之間的相似度。

3.3 詞語相似度實驗

本文實驗為了使計算相似度的詞語具有參照性并且易于比較改進前后的詞語相似度的好壞,引入文獻[4]常用的詞語并額外加入典型詞語,使用3種不同方法來計算比較詞語相似度。

方法6結合文獻[4]使用的義原相似度計算方法計算詞語相似度。

方法7結合文獻[5]使用的義原相似度計算方法計算詞語相似度。

方法8結合本文中介紹的義原相似度與概念相似度計算方法計算詞語相似度。

在實驗中,參照文獻[4-5],將參數值設置為:?=1.6,β1=0.5,β2=0.2,β3=0.17,β4=0.13,γ= 0.2,δ=0.2λ=2.0。實驗結果如表4所示。

考察方法8的計算結果,可以看到各個詞的相似度與人的直覺是比較相符合的。下面將進行詳細分析:

(1)比較第1組與第4組,方法6的結果沒有區(qū)分,而方法7與方法8均為第1組的相似度較大,這主要是因為“男”與“女”的最小義原層次深度要比“家”與“宗教”的最小義原層次深度大。另外,比較第7組與第10組,方法6同樣沒有區(qū)分度,方法7與方法8中,“男人”和“收音機”的相似度要比“男人”和“工作”的相似度更高。從可替換性來說,這是符合相似度的定義的,至少“男人”和“收音機”都是物質,而“工作”只可能是一個行為或者一個抽象事物。顯然方法7與方法8表現比方法6好。

(2)再來觀察第12組與第13組,“車輛”與“暴雨”分別是人工物與自然物、“車輛”與“蠶”分別無生物與生物,都不屬于同一類型的,他們的相似度應該比較小,方法7的計算結果卻達到了0.373,方法6與方法8的計算的相似度則比較符合主觀感受。再比較第13組與第14組,“冷食”與“垃圾”分別是食物與物質,他們的相似度應該要比“車輛”與“蠶”更大,此時,方法6與方法8的結果比方法7的相對更加合理一些。

(3)再考察第15組～第20組,方法6與方法7的計算結果基本上沒有區(qū)別,而方法8由于考慮了概念的義項表達式出現具體詞的情況,所以方法8的計算的相似度更加符合實際。從表4中的第15組～第20組可以看出,在大部分情況下,考慮了義項表達式出現具體詞的情況都要比不考慮的計算結果要大一些,這是因為方法6與方法7,只要要比較的2個具體詞不相等,那么其相似度就為0。然而,實際上絕大部分出現在概念的義項表達式的具體詞都是專有名詞,用于表示人名、地名等,即使要比較的2個具體詞不相同,但是實際的相似度往往也比較大,而不是0。

表4 詞語相似度實驗結果

4 結束語

本文通過深入考察義原層次體系樹的結構,分析義原深度對相似度的影響,提出一種計算義原相似度的改進算法。義原在層次體系結構樹上的深度越大,表示此義原含信息量越高,也應越相似,但是義原層次深度對相似度的影響應受義原距離的制約,而不能無限地放大義原之間的相似度。此外,分析統(tǒng)計了《知網》中概念的義項表達式,認為在義項表達式中出現的具體詞絕大多數是表示人名、地名等專有名詞,將其用反映此具體詞本質的第一基本義原代替,從而轉換為一般的概念相似度計算問題。實驗結果表明,該算法計算得到的詞語語義相似度能夠更合理地反映詞語間在語義上的細微差異,提高詞語相似度計算的準確性。今后將深入研究義原在層次體系樹上的區(qū)域密度對義原相似度的影響,進一步優(yōu)化該算法。

[1] 朱征宇,孫俊華.改進的基于《知網》的詞匯語義相似度計算[J].計算機應用,2013,33(8):2276-2279.

[2] Agirre E,RigauG.AProposalforWordSense DisambiguationUsingConceptualDistance[C]// Proceedings of the1st International Conference on Recent Advanced in NLP.Tzigov Chark,Bulgaria: [s.n.],1995:91-98.

[3] 趙 鵬,蔡慶生.一種基于《知網》的中文文本聚類算法的研究[J].計算機工程與應用,2007,43(12): 162-163.

[4] 劉 群,李素建.基于《知網》的詞匯語義相似度計算[J].中文計算語言學,2002,7(2):59-76.

[5] 李 峰,李 芳.中文詞語語義相似度計算——基于《知網》2000[J].中文信息學報,2007,21(3):99-105.

[6] 袁曉峰.《知網》義原相似度計算的研究[J].遼寧大學學報:自然科學版,2011,38(4):358-361.

[7] 江 敏,肖詩斌,王弘蔚,等.一種改進的基于知網的詞語語義相似度計算[J].中文信息學報,2008, 22(5):84-89.

[8] 張振幸,李金厚.一種基于義原重合度的詞語相似度計算[J].信陽師范學院學報:自然科學版,2010, 23(2):296-299.

[9] 劉青磊,顧曉峰.基于《知網》的詞語相似度算法研究[J].中文信息學報,2010,24(6):31-36.

[10] 王小林,王 義.改進的基于知網的詞語相似度算法[J].計算機應用,2011,31(11):3075-3077.

[11] 黃姝怡.基于知網的中文文本相似度計算研究[D].廣州:中山大學,2008.

[12] 張 敏,王振輝,王艷麗.一種基于《知網》知識描述語言結構的詞語相似度計算方法[J].計算機應用與軟件,2013,30(7):265-267.

[13] 王文興.基于語義分析的查詢擴展及其關鍵技術研究[D].哈爾濱:哈爾濱工程大學,2008.

編輯 劉 冰

Research on Improved Algorithm of Word Semantic Similarity Based on HowNet

ZHANG Huyin,LIU Daobo,WEN Chunyan
(School of Computer,Wuhan University,Wuhan 430072,China)

The current word similarity calculation does not consider in depth with the primary and secondary relationship between the distance and the depth of sememes.In addition,concept similarity is specified directly when the conceptual description expression contains specific words,which leads to unreasonable.The depth of sememes impacts on the word similarity is limited by the distance of sememes.It analyzes the statistical meanings of the concept expression in“HowNet”.Besides,word similarity calculation uses the first basic sememe that can reflect the essence of the word to replace the specific words that appear in the conceptual description expression.Based on the above,an improved algorithm of word semantic similarity is proposed in this paper.Experimental results show that the improved algorithm effectively improves the precision of word similarity calculations.

word similarity;word semantic;depth of sememe;concept

張滬寅,劉道波,溫春艷.基于《知網》的詞語語義相似度改進算法研究[J].計算機工程, 2015,41(2):151-156.

英文引用格式:Zhang Huyin,Liu Daobo,Wen Chunyan.Research on Improved Algorithm of Word Semantic Similarity Based on HowNet[J].Computer Engineering,2015,41(2):151-156.

1000-3428(2015)02-0151-06

:A

:TP391

10.3969/j.issn.1000-3428.2015.02.029

教育部博士點基金資助項目(20130141110022)。

張滬寅(1962-),男,教授、博士,主研方向:自然語言處理,多媒體通信技術,模式識別;劉道波、溫春艷,碩士研究生。

2014-03-31

:2014-04-25E-mail:fengbonianshao@whu.edu.cn