廖志芳，邱麗霞，謝岳山，樊曉平

（1.中南大學軟件學院，湖南長沙 410002； 2.中南大學信息科學與工程學院，湖南長沙 410075；3.湖南財政經(jīng)濟學院，湖南長沙 410086）

文本相似度［1］是表示兩個或多個文本之間匹配程度的一個度量參數(shù)，相似度越大，說明對比的內(nèi)容相似程度越高，反之越低.文本相似度計算廣泛應用于文本挖掘、Web信息搜索和機器翻譯等，是自然語言處理中的一個重要研究領域［2］.在長文本句子相似度計算中，主要分析相同的句子并且將句子分類［1］；在圖像修復中，根據(jù)嵌入圖像的描述文字進行修復可以達到更高的精度［3］，在web內(nèi)容進行搜索時，計算web頁面中的語句相似度能夠更加有效地推薦搜索結果［4］.

當前的文本相似度計算包括詞語相似度計算，語句相似度計算等，詞語相似度計算是指詞語之間在語義上的相似度計算，狹義地說，是指從字面上來計算兩個詞語之間的相似度［5］，其研究方法主要包括利用語義詞典以及詞典中數(shù)據(jù)的樹狀層次結構關系，來計算詞語之間的語義相似度值；其次是利用統(tǒng)計學中的概率分布思想，結合語料庫，通過詞語在語料庫中出現(xiàn)的頻率來反應詞語間的相似度.第一類方法的基礎是語義詞典庫，根據(jù)義原或者詞語本身構成的樹狀結構，來得到詞語的相似度值，這類方法的一個較明顯的缺點是詞典庫中經(jīng)常存在一些沒有登錄或記錄的詞匯.第二類方法的基礎是語料庫，該方法中假定當詞語所在的上下文環(huán)境相似時，詞語之間才是相似的.但是這個方法中的一個缺陷是有時語料庫中的詞語頻率函數(shù)并不滿足某種概率分布［6］.

但是，單純的詞語之間語義相似度計算還不足以滿足日常需要，人們在平常的工作生活中，接觸到的通常是以文本形式出現(xiàn)的信息，因此，詞語語義相似度計算還需要過渡到語句語義相似度計算層面上.在語義相似度計算方法中，主要包括將詞性和詞序結合的方法［7］、依存樹法、編輯距離方法和基于HowNet的方法［8］等，我們從復雜度、詞語權重信息、同義詞反義詞、數(shù)據(jù)稀疏、語義信息、語句結構和算法可行度進行分析發(fā)現(xiàn)，這些方法并不能完全滿足這些因素.

在以往的文本或者長句相似度匹配中，可以通過上下文關系中推斷出文本的語義，但是在短句中，由于詞匯量的問題，以往的語句相似度計算法在短句中的語義相似度計算中有效性不高［9］，因而文本中短句中相似度計算，如5～25個詞語組成的不講究語法的短句，已逐漸成為自然語言處理中的一個重要領域.

本文將HowNet作為語義詞典庫，HowNet是由董振東先生創(chuàng)立，HowNet的描述對象是漢語詞語和英語詞語所代表的概念，它揭示了概念之間以及概念屬性之間的復雜關系，并以此構成一個組織龐大、內(nèi)容豐富的知識庫.

1 詞語相似度計算

在HowNet中，詞語由多個概念描述，概念由義原描述，在計算詞語相似度之前，需要先計算義原之間的相似度以及概念之間的相似度.本文在計算義原相似度時將同時考慮義原距離和義原深度.

1.1 HowNet結構

HowNet中義原之間按照上下位關系構成樹狀結構，義原樹便是本文進行語句語義相似度計算的數(shù)據(jù)結構基礎，其樹結構如圖1所示.

圖1 義原樹狀結構Fig.1 Sememe tree structure

1.2 義原相似度計算

按照通常的定義，義原距離定義為兩個義原之間最短路徑上邊的條數(shù)之和.通常我們先計算義原的距離，然后再將距離函數(shù)轉換成義原的相似度［5］.義原相似度與義原距離滿足：

1）兩個義原，若其中某個義原不存在于義原樹中，或兩個義原在兩棵不同的義原樹里，此時規(guī)定，義原之間的距離為＋∞.

2）兩個義原同處于一棵義原樹中，此時規(guī)定，義原距離等于兩者之間最短路徑上邊的條數(shù)之和.

3）義原相似度關于義原距離是單調(diào)遞減函數(shù).

定義1 設p1，p2是兩個義原，l是兩個義原之間的距離，其相似度值記為f1（l），則有：

其中α＞0是一個可調(diào)節(jié)的參數(shù)，指數(shù)函數(shù)的設計能夠很好地滿足上述三個條件.

按照通常的定義，義原深度定義為兩個義原之間的最近公共父節(jié)點到義原樹樹根節(jié)點的層次數(shù).義原相似度與義原深度滿足：

1）義原與其本身的深度值等于該義原節(jié)點到樹根節(jié)點的層次數(shù)，其相似度為1.

2）兩個義原，如果均不在同一棵義原樹或者其中一個義原在6棵義原樹中無法找到，則規(guī)定義原深度為0.

3）義原相似度關于義原深度是單調(diào)遞增函數(shù).

定義2 設p1，p2是兩個義原，T1，T2分別是該義原節(jié)點到義原樹根節(jié)點所經(jīng)過的義原集合，T1∩T2表示兩個集合中的公共節(jié)點部分，則p1，p2之間的深度就是集合T1∩T2中元素的個數(shù)，相似度的計算公式定義如下：

其中h是義原的深度，β＞0是可調(diào)節(jié)的參數(shù).

由上文的介紹可知，義原相似度與義原距離和義原深度都密切相關，最終的義原相似度用sim（p1，p2）來表示，則有：

其中α＞0，β＞0分別是義原距離和義原深度的可調(diào)節(jié)參數(shù).公式（3）表明，在計算義原相似度時同時考慮了義原距離和深度，能夠更充分地利用義原樹狀結構中包含的義原信息.

1.3 概念相似度計算

在HowNet中，概念是由多個義原組成的知識描述語言來描述的，所以，可由義原之間的相似度計算為基礎，進而得到概念之間的相似度計算.

HowNet的概念描述式中，包含第一基本義原描述式、其他獨立義原描述式、關系義原描述式以及符號義原描述式這4種類型的描述.下面分別介紹如何計算這4類描述式的相似度.

1.3.1 第一基本義原描述式

概念知識描述式中的第一個義原描述式便是第一基本獨立義原.這部分相似度用sim1（S1，S2）來表示，并且按照上述公式（3）進行計算，即：

1.3.2 其他獨立義原描述式

其他獨立義原是概念知識描述式中，在第一義原之后，關系義原或符號義原之前的所有獨立的義原或具體詞.這部分相似度用sim2（S1，S2）來表示，由于描述式涉及到多個獨立義原或具體詞，計算比較復雜，在本文中遵循以下的約定：

1）獨立義原與具體詞之間的相似度一般取一個較小的正數(shù)γ.

2）具體詞之間的相似度，若詞相同，相似度為1，若詞不同，相似度為0.

3）獨立義原之間的相似度按照公式（1）計算.

假設T1＝（p11，p12，…，p1s），T2＝（p21，p22，…，p2t）分別是概念S1，S2的其他獨立義原集合.首先計算義原p1i與p2j（i＝1，2，…，size（T1）；j＝1，2，…，size（T2））之間相似度的最大值maxk，并記錄下取最大值時兩個集合中的義原位置索引index1和index2，然后在獨立義原集合中將位置索引值為index1和index2的兩個義原刪除，這時，一趟循環(huán)結束.以后的每趟循環(huán)都按上述步驟進行，直到其中某個獨立義原集合個數(shù)為零為止，循環(huán)次數(shù)等于min（s，t），最終，其他獨立義原描述式的相似度計算公式為：

其中s，t分別是概念S1和S2的獨立義原個數(shù)，δ＞0是可調(diào)節(jié)的參數(shù)，計算時一般取δ＝0.2.

1.3.3 關系義原描述式

在概念的知識描述式中，含有“＝”符號以及“＝”符號之后其他描述符號之前的所有描述.在計算這部分相似度時，首先要進行分組，將相同key值的關系義原分為一組.

假設map1和map2分別是概念S1，S2的關系義原集合，對于map1和map2中，每一對key值相同的兩個value集合list1和list2，根據(jù)“其他獨立義原描述式”的sim2（S1，S2）進行計算，得到相似度值simk（k＝1，…，cnt），其中cnt表示相同key值對的個數(shù).最終sim3（S1，S2）的計算公式為：

其中size表示map1與map2的鍵值對個數(shù)之和，δ＞0是可調(diào)節(jié)的參數(shù)，計算時通常取δ＝0.2.

1.3.4 符號義原描述式

符號義原是在概念的知識描述式中，含有＃%＄＊＋＆＠？！這些符號的義原.符號義原之間的相似度計算也需要先將類型相同的義原歸為一組.用sim4（S1，S2）表示符號義原的相似度，其計算步驟與關系義原的計算步驟相同，計算公式按照公式（6）.

根據(jù)上述介紹的計算步驟，最終，HowNet概念之間的相似度計算公式為：

其中βi＞0（i＝1，2，3，4）是可調(diào)節(jié)的參數(shù)，并且β1＋β2＋β3＋β4＝1，β1≥β2≥β3≥β4，由于第一基本義原反應了概念的最主要特征，所以權值β1一般取值大于0.5.βi（i＝1，2，3，4）取值逐漸變小說明在計算概念相似度時，前一種描述式對后面的描述式有約束作用，同時也體現(xiàn)了4種描述式對相似度值的貢獻程度越來越小.

1.4 詞語相似度計算

HowNet中的詞語一般由一個或多個概念來進行描述.詞語相似度計算可由概念相似度計算得到，以下定義3解釋了最終詞語相似度計算公式.

定義3 假設W1和W2是HowNet中的兩個詞語，W1含有m個概念S11，S12，…，S1m，W2含有n個概念S21，S22，…，S2n，則W1和W2的相似度計算公式為：

公式（8）表示，HowNet詞語之間的最終相似度等于兩個詞語所有概念間相似度的最大值，將詞語之間相似度計算歸結為概念之間的相似度計算.

2 短句中的語義相似度計算

通過文獻分析，在以前的詞語相似度計算算法中，沒有考慮語句中不同詞語對相似度值的不同貢獻，所有詞語在相似度計算中的權重均為1，其計算結果缺乏合理性［10］.

本文對語句相似度算法進行適當?shù)母倪M，將詞語在語料庫中的頻率函數(shù)引入到語句相似度計算中，為語句中的不同詞語在計算語句相似度時賦予不同的權重.對于一個詞語，如果在語料庫中出現(xiàn)的次數(shù)越多，則其在整個語句中所占有的權重或者說對語句整體起到的作用會越低，比如“這些”、“我們”、“這個”等詞語，相反，在語料庫中出現(xiàn)次數(shù)越少的詞語在語句中所應占有的權重越大.

2.1 語料庫中詞語的頻率計算

語料庫中含有大量的文本，這些文本通常經(jīng)過整理，并按照一定的格式進行存儲.本文采用1998年1月份的人民日報標注語料庫［7］（簡稱PFR語料庫），該語料庫是由北京大學計算語言學研究所和富士通研究開發(fā)中心有限公司共同制作的，它被作為原始數(shù)據(jù)應用于大量的研究和論文中.

假設N是PFR語料庫中收錄的所有詞語個數(shù)，那么，詞語（word）的頻率計算式為freq（word）＝n／N，其中n表示詞語word在語料庫中出現(xiàn)的總次數(shù).我們設計指數(shù)函數(shù)I（word）＝e－λlog（n＋1）／log（N＋1），將該函數(shù)作為詞語在整個語句中的權重系數(shù)引入到最終的語句相似度計算中，該函數(shù)滿足如下3個條件：

條件1：I（word）關于語料庫中詞語的頻率是單調(diào)遞減函數(shù)，頻率越大，I（word）值越小，反之越大.

條件2：指數(shù)函數(shù)的設計意在將權重值控制在［0，1］之間，并且也能滿足條件1.

條件3：語料庫中詞語頻率越大，該詞語在語句中的權重越小，即對語句之間的語義相似度值貢獻越小.

對于上述頻率函數(shù)I（word），例如語句“我們這個商城的計算機價格很便宜”，在PFR語料庫中，我們／2027，這個／628，商城／23，計算機／75，價格／107，便宜／25.可以看出，詞語“我們”和“這個”出現(xiàn)的次數(shù)較多，分別為2 027次和628次.根據(jù)人們所擁有的知識，這兩個詞語在整個語句中所占有的語義權重應該較小，而詞語“商城”、“計算機”、“價格”、“便宜”這些詞語出現(xiàn)的次數(shù)較少，同時它們也代表著語句的主干，在整個語句語義中占有較重要的地位，本文中設計的詞語頻率函數(shù)正好符合這一規(guī)律.

2.2 短句中語義相似度計算實現(xiàn)

目前的語句相似度計算算法中，由于沒有分別考慮語句中不同詞語對相似度的不同貢獻，導致語句相似度計算結果存在一定的不合理性.例如，對于相似性較高的語句，其計算結果值偏低，而對于相似性較低的語句，其計算結果值卻偏高.為了更好地解決這個缺陷，本文將2.1中介紹的詞語頻率函數(shù)引入到語句相似度計算公式中.

定義4 設Sen1，Sen2是兩個待計算相似度的中文語句，如果Sen1中有m個詞語W11，W12，…，W1m，Sen2中有n個詞語W21，W22，…，W2n，那么語句Sen1和Sen2之間的語義相似度計算公式為：

其中I（W）＝e－λlog（num＋1）／log（N＋1），num表示詞語W在PFR語料庫中的次數(shù)，N表示PFR語料庫中詞語的總數(shù).s等于W1i與W2j（j＝1，…，n）取相似度最大值時j的值，t等于W1i（i＝1，…，m）與W2j取相似度最大值時i的值，λ＞0是可調(diào)節(jié)的參數(shù).

公式（9）表示，語句之間的相似度值最終由詞語之間相似度加權構成.頻率函數(shù)I（w）的值決定著詞語w對語句相似度值的貢獻度大小，I（w）越大，表明詞語w在語句相似度值中所占的比重越大，反之越小.

在利用公式（9）進行語句語義相似度計算之前，需要對語句進行分詞操作.本文采用開源的paoding中文分詞組件對語句進行詞語切分，paoding分詞具有速度快、分詞準確率高等優(yōu)點，能夠較好地滿足本文中對分詞的要求.

本文在綜合考慮義原距離和深度的條件下計算義原相似度，進而計算概念相似度，然后計算詞語相似度.在語句相似度計算改進部分，本文引入了語料庫，為每個詞語在語句相似度計算時賦予了不同的權重，充分體現(xiàn)了不同詞語對相似度值的不同貢獻程度，最終語句相似度的計算結果更為合理，同時也與人們的主觀判斷更為接近.至此，本文研究了以HowNet為語義詞典庫，來進行語句語義相似度計算的所有細節(jié)以及最終的計算公式.

3 實驗及分析

本文使用3種方法來對算法進行比較分析.

方法1：在計算詞語的相似度時，僅使用How－Net概念表達式中的第一獨立義原.即sim（S1，S2）＝sim1（p1，p2）＝α／d＋α，其中d是兩個義原之間的距離，α＞0是可調(diào)節(jié)的參數(shù).

方法2：劉群、李素建等［8］提出的一種詞語相似度計算方法，在計算時只考慮義原距離，未考慮義原深度.

方法3：本文中介紹的改進的計算方法.

1）實驗素材

①HowNet提供的詞庫文件glosarry.dat，義原樹狀結構文件WHOLE.DAT.

②HowNet提供的一部分計算接口.

③反義詞、近義詞文件作為數(shù)據(jù)集.

④paoding中文分詞組件.

⑤1998年1月份的人民日報語料庫文件.

2）參數(shù)設置

方法1：α＝1.6.

方法2：α＝1.6，β1＝0.5，β2＝0.19，β3＝0.16，β4＝0.15.

方法3：α＝0.125，β＝0.956，λ＝0.1，βi（i＝1，2，3，4）取值同方法2.

3.1 詞語相似度實驗與分析

利用上述3種方法，采用下載的常用中文反義詞120對，近義詞133對，對詞語進行相似度計算.

3.1.1 反義詞的相似度計算

從表1中可得到，方法3中反義詞的相似度（Antonyms Similarity，簡稱AS）是最小的，同時通過對120對反義詞實驗數(shù)據(jù)統(tǒng)計，將相似度區(qū)間分為4個，圖2顯示了在每個相似度區(qū)間取值時，反義詞對的數(shù)量.圖中方法1，2，3中的4個立柱分別區(qū)間為1，［0.8，1），［0.5，0.8）和［0，0.5），從圖中可知，方法1和方法2在相似度大于0.5時分別有93對和91對反義詞，約占77.5%.方法3在同樣的區(qū)間段只有23對反義詞，約占19%，而且81%的詞語相似度小于0.5.圖中可直觀地看出方法3的計算結果是最合理的.

表1 反義詞對相似度實驗結果（節(jié)選）Tab.1 Antonyms similarity comparison

3.1.2 近義詞的相似度計算

圖2 反義詞對的實驗數(shù)據(jù)柱狀圖比較Fig.2 The comparison of antonym

圖3 近義詞對的實驗數(shù)據(jù)柱狀圖比較Fig.3 The comparison of synonyms

圖3更為直觀地顯示了在每個相似度區(qū)間中（區(qū)間表示如圖2）近義詞對的個數(shù).方法1和方法2中，相似度取值為1.0的近義詞分別有114對（占85.7%）和83對（占61.6%），而在［0.8，1.0］之間取值的詞對數(shù)量很少，只分別占0.15%和0.68%.對于方法3的計算結果，其計算結果為0.999的近義詞數(shù)為61對（占45.8%），而在［0.8，0.98］之間取值的詞對數(shù)為40（占30.1%），相對來說，方法1和方法2的結果中，大部分的近義詞對相似度（Synonyms Similarity，簡稱SYS）計算結果等于1.0，而方法3的值卻更為合理，雖然近義詞是意思相似或相近的詞語，但畢竟不是相同的詞語，計算結果等于1.0可以說明前兩種方法較粗糙.

表2對近義詞對進行了相似度比較，可以看出，方法3的相似度比較更符合人們的主觀判斷.

從上述對反義詞和近義詞的詞語相似度對比可看出，3種方法中，本文中采用的方法計算結果比較合理，并且與人們的主觀判斷也較為契合.

表2 近義詞對相似度實驗結果（節(jié)選）Tab.2 Synonyms similarity comparison

3.2 語句相似度實驗與分析

利用上述3種方法，測試了50對語句之間的語義相似度（Sematic Similarity，簡稱SES）值，部分結果如表3所示.

表3 3種方法語句語義相似度實驗結果對比（節(jié)選）Tab.3 Semantic similarity results of three methods

由表3中測試句對的實驗結果可以看出，方法1和方法2的計算結果都較為粗糙，對語義相差較大的語句計算得到的相似度的結果值偏高.而本文中改進之后的方法，在計算語句相似度時，其結果與人們的主觀判斷更為接近.這種比較合理化結果的重要原因在于計算語句相似度時引入了詞語的頻率函數(shù)作為權重，充分利用了語句中不同詞語的語義信息以及對語句相似度值的不同貢獻程度.

同時，本文利用上述3種方法中的50對語句，每對語句重復執(zhí)行100次相似度計算的過程，并記錄了每種方法所需要的時間，最后分別計算50對語句平均執(zhí)行100次的時間，圖4為時間柱狀圖，縱軸以s為單位，方法3每對語句執(zhí)行100次平均只需3.252s，很好地降低了算法前后所需的時間，提高了時間效率.

圖4 3種算法時間復雜度對比Fig.4 Comparison of time complexity

4 結 論

本文以HowNet為語義詞典庫，介紹了How－Net中義原相似度計算、概念相似度計算以及詞語相似度計算的細節(jié)和公式.最終，以此為基礎，研究了改進的語句語義相似度計算.在對語句相似度算法改進時，將詞語在語料庫中的頻率函數(shù)作為權重系數(shù)加入到計算公式中.語料庫中詞語出現(xiàn)的頻率越大，對語句整體所起的作用越小，反之則越大，這個規(guī)律與人們?nèi)粘５挠^念也相符合.本文改進的算法在一定程度上解決了目前基于HowNet的語句相似度算法中存在的計算結果不合理現(xiàn)象.最后，通過三種方法的對比實驗證明，改進后的語句相似度計算方法更合理.

［1］ ALIGULIYEV R M.A new sentence similarity measure and sentence based extractive technique for automatic text summarization［J］.Expert Systems with Application，2009，36（4）：7764－7772.

［2］ 涂承勝，魯明羽，陸玉昌.Web內(nèi)容挖掘技術研究［J］.計算機應用研究，2003，20（11）：5－9.TU Cheng－sheng，LU Ming－yu，LU Yu－cang.Web content mining technology［J］.Computer Application Research，2003，20（11）：5－9.（In Chinese）

［3］ CHIANG J H，YU H C.Literature extraction of protein functions using sentence pattern mining［J］.IEEE Transactions on Knowledge and Data Engineering，2005，17（8）：1088－1098.

［4］ KO Y，PARK J，SEO J.Improving text categorization using the importance of sentences［J］.Information Processing and Management，2004，40：65－79.

［5］ LIN De－kang.An information－theoretic definition of similarity semantic distance in wordnet［C］／／Proceedings of the Fifteenth International Conference on Machine Learning.1998：296－304.

［6］ 田久樂，趙蔚.基于同義詞詞林的詞語相似度計算方法［J］.吉林大學學報，2010，28（6）：602－608.TIAN Jiu－le，ZHAO Wei.Words similarity algorithm based on tongyici cilin in semantic web adaptive learning system［J］.Journal of Jilin University，2010，28（6）：602－608.（In Chinese）

［7］ 車萬翔，劉挺，秦兵，等.基于改進編輯距離的中文相似句子檢索［J］.高技術通訊，2004（7）：15－19.CHE Wang－xiang，LIU Ting，QIN Bing.Similar chinese sentence retrieval based on improved edit－distance［J］.High Technology Letters，2004（7）：15－19.（In Chinese）

［8］ 劉群，李素建.基于《知網(wǎng)》的詞匯語義相似度計算［C］／／第三語義學研討會論文集.臺北：臺北中央研究院，2002：149－163.LIU Qun，LI Su－jian.How net－based lexical semantic similarity calculation［C］／／Third Semantics Workshop Proceedings.Taipei：Academia Sinica，2002：149－163.（In Chinese）

［9］ AMINUL Islam，DIANA Inkpen.Semantic text similarity using corpus－based word similarity and string similarity［R］.Ottawa，Canada：University of Ottawa，2008.

［10］LIAO Zhi－ning，ZUHAIR A.Bandar，James D.O’Shea，Keeley Crockett.Term－based approach for semantic similarity of short texts［R］.Manchester，England：Manchester Metropolitan University，2012.