于 娟，吳曉鵬，廖 曉，劉建國(guó)

(1. 福州大學(xué)經(jīng)濟(jì)與管理學(xué)院 福州 350108；2. 廣東金融學(xué)院互聯(lián)網(wǎng)金融與信息工程學(xué)院 廣州 510521；3. 上海財(cái)經(jīng)大學(xué)會(huì)計(jì)與財(cái)務(wù)研究院 上海 楊浦區(qū) 200433)

法語(yǔ)是聯(lián)合國(guó)工作語(yǔ)言之一，是歐盟、北約、世貿(mào)等眾多國(guó)際組織的官方語(yǔ)言及正式行政語(yǔ)言，是全球29 個(gè)國(guó)家的官方語(yǔ)言，是除英語(yǔ)之外最多國(guó)家使用的官方語(yǔ)言，其影響力僅次于英語(yǔ)[1-2]。法語(yǔ)的使用范圍主要集中于歐洲、非洲、北美洲的一些國(guó)家和地區(qū)。隨著“一帶一路”的建設(shè)和全球化進(jìn)程的加快，我國(guó)與歐洲、非洲國(guó)家的經(jīng)濟(jì)文化交流越來(lái)越廣泛和深入，相關(guān)的新聞、政策文件、社交媒體文件等文本數(shù)據(jù)成為跨國(guó)組織管理決策的重要依據(jù)。因此，我國(guó)亟需有效的法語(yǔ)文本挖掘方法技術(shù)來(lái)實(shí)現(xiàn)海量法語(yǔ)文本高效的自動(dòng)分析和及時(shí)的信息提取。

但目前，國(guó)內(nèi)外針對(duì)法語(yǔ)文本挖掘方法的研究成果較少[3]。其中，法文詞語(yǔ)提取是法語(yǔ)文本挖掘的基礎(chǔ)和關(guān)鍵步驟[4]，是指自動(dòng)獲取法語(yǔ)文本中出現(xiàn)的所有詞語(yǔ)的集合，包括法文單詞原形和由多單詞組成的短語(yǔ)。由于文本的關(guān)鍵詞或特征詞大多是短語(yǔ)而非單詞，所以短語(yǔ)的完整提取是法文詞語(yǔ)提取方法的關(guān)鍵。盡管法文詞語(yǔ)提取方法已應(yīng)用于法語(yǔ)文本信息檢索、命名實(shí)體識(shí)別、情感分析等法語(yǔ)文本挖掘任務(wù)[5-7]，但均為早期的N-gram 詞語(yǔ)提取方法[8-9]或基于形容詞與名詞組合的方法[10-11]。這些方法受限于規(guī)則的不完備性，不能為文本建模提供完備的詞庫(kù)，影響法語(yǔ)文本挖掘的效果和效率。

另一方面，盡管中文和英文的短語(yǔ)提取方法研究已較為成熟[12-13]，但由于法文與中、英文在詞法和語(yǔ)法方面有較大差異[14-15]，不能直接使用這些方法。例如，與中、英文相比，在詞法方面，法文單詞具有陰陽(yáng)性的區(qū)別，動(dòng)詞、形容詞、冠詞需根據(jù)名詞的陰陽(yáng)性而變化；且不同語(yǔ)境的法文單詞還有陰陽(yáng)性的改變。在語(yǔ)法方面，法文中的定語(yǔ)需要根據(jù)具體語(yǔ)境搭配在名詞前或名詞后，搭配順序不同則意思可能不同，如“un homme grand”意為“高大的人”，而“un grand homme”意為“偉大的人”。因此，法語(yǔ)文本的預(yù)處理和詞語(yǔ)提取方法是法語(yǔ)所特有的，無(wú)法直接采用針對(duì)其他語(yǔ)言研發(fā)的方法。

上述原因?qū)е路ㄎ脑~語(yǔ)提取成為當(dāng)前制約法語(yǔ)文本挖掘準(zhǔn)確性和高效性的瓶頸。因此，本文提出一種結(jié)合法語(yǔ)詞法分析和單詞共現(xiàn)統(tǒng)計(jì)規(guī)律的法文詞語(yǔ)自動(dòng)提取方法，并設(shè)計(jì)一種新的數(shù)據(jù)結(jié)構(gòu)—FP 序列樹(shù)，用于存儲(chǔ)具有先后順序的法文單詞串，降低單詞共現(xiàn)統(tǒng)計(jì)的時(shí)間復(fù)雜度。

1 法文詞語(yǔ)提取方法框架

本文的法文詞語(yǔ)提取方法綜合考慮法語(yǔ)的詞法分析和輸入文本中單詞共現(xiàn)的統(tǒng)計(jì)規(guī)律。該方法首先預(yù)處理輸入的法語(yǔ)文本，接著將其壓縮為FP 序列樹(shù)并基于該FP 序列樹(shù)提取無(wú)N元限制的頻繁詞串，依據(jù)不成詞庫(kù)篩選頻繁詞串，得到候選詞語(yǔ)，然后計(jì)算候選詞語(yǔ)的成詞度，交由人工判別得到最終的法文詞語(yǔ)集合。由于本文方法的高準(zhǔn)確率和高召回率，未經(jīng)人工判別的法文詞語(yǔ)集合也可作為法語(yǔ)文本建模的詞庫(kù)。本文方法流程如圖1 所示：

圖1 基于FP 序列樹(shù)的法文詞語(yǔ)提取方法流程圖

1) 文本預(yù)處理模塊包含文本清洗、詞形還原、停用詞刪除3 個(gè)子模塊。其中，文本清洗子模塊刪除輸入文本中的圖片、公式、標(biāo)點(diǎn)符號(hào)和文本標(biāo)記等，輸出法語(yǔ)句子序列；詞形還原子模塊，采用現(xiàn)成的法文詞形還原工具將法語(yǔ)句子序列中的每一個(gè)單詞轉(zhuǎn)換成單詞的原形，常用工具有Treetagger[16-17]、Spacy[18]、CST’s Lemmatiser[19]等；停用詞刪除子模塊，刪除那些用來(lái)構(gòu)成句子但不參與構(gòu)詞的單詞，如系動(dòng)詞être(是)、代詞toi(你)、連詞si(如果)等，輸出一組法文單詞串。

2) 候選詞語(yǔ)提取模塊包含F(xiàn)P 序列樹(shù)構(gòu)建、頻繁詞串提取、不成詞篩選3 個(gè)子模塊。其中，F(xiàn)P 序列樹(shù)構(gòu)建子模塊將前一模塊輸出的一組法文單詞串轉(zhuǎn)存為樹(shù)形結(jié)構(gòu)，即FP 序列樹(shù)；頻繁詞串提取子模塊，基于FP 序列樹(shù)，將頻次超出閾值的詞串輸出為頻繁詞串；不成詞篩選子模塊，依據(jù)不成詞庫(kù)，刪除不成詞的頻繁詞串，輸出候選詞語(yǔ)集合。本文第2 節(jié)詳細(xì)介紹該模塊的FP 序列樹(shù)構(gòu)建與頻繁詞串提取方法。

3) 成詞判別模塊包含TFD 成詞度計(jì)算和人工判別兩個(gè)子模塊。其中，TFD 成詞度計(jì)算子模塊采用TFD 算法逐一計(jì)算前一模塊輸出的候選詞語(yǔ)的成詞度，將候選詞語(yǔ)按成詞度降序輸出；人工判別子模塊由法語(yǔ)專(zhuān)業(yè)人員對(duì)候選詞語(yǔ)是否成詞進(jìn)行人工判別或輕微修改，得到最終輸出的法文詞語(yǔ)集合。經(jīng)人工判別不成詞的候選詞語(yǔ)被加入到不成詞庫(kù)中，通過(guò)豐富不成詞庫(kù)，不斷提高本文詞語(yǔ)提取方法的準(zhǔn)確率。本文第3 節(jié)詳述該模塊的TFD 成詞度計(jì)算方法。

2 候選詞語(yǔ)提取

在候選詞語(yǔ)提取階段，為了加速單詞共現(xiàn)分析和頻繁詞串提取，本文設(shè)計(jì)并實(shí)現(xiàn)了一種新的數(shù)據(jù)結(jié)構(gòu)—FP 序列樹(shù)，在壓縮文本數(shù)據(jù)集的同時(shí)不丟失單詞在句子中出現(xiàn)的先后順序信息。FP 序列樹(shù)的設(shè)計(jì)受到了用于購(gòu)物籃數(shù)據(jù)壓縮的FP 增長(zhǎng)樹(shù)[20]的啟發(fā)。二者的主要區(qū)別在于：FP 序列樹(shù)分支上的結(jié)點(diǎn)不是按其在數(shù)據(jù)集中出現(xiàn)總頻次的大小排列，而是按其在句子中出現(xiàn)的先后順序排列。

2.1 FP 序列樹(shù)構(gòu)建

構(gòu)建FP 序列樹(shù)時(shí)，根結(jié)點(diǎn)不存放詞語(yǔ)，除根結(jié)點(diǎn)以外的其他結(jié)點(diǎn)都存儲(chǔ)一個(gè)單詞及其所屬單詞串的出現(xiàn)頻次。FP 序列樹(shù)上的一個(gè)分支存儲(chǔ)文本中出現(xiàn)的一個(gè)連續(xù)的法文單詞串模式及其頻次。重復(fù)出現(xiàn)的單詞串及其子串不作為新分支，而是對(duì)已有分支上的每一結(jié)點(diǎn)的頻次計(jì)數(shù)加1。這樣，僅需遍歷一次待分析的法語(yǔ)文本，即可完成FP 序列樹(shù)的構(gòu)建。

“佳禾農(nóng)資不管發(fā)展到多大規(guī)模，永遠(yuǎn)不離開(kāi)農(nóng)業(yè)，離不開(kāi)農(nóng)村。我們種地就是為農(nóng)民打工。”他表示，作為一個(gè)負(fù)責(zé)任的化肥貿(mào)易商、生產(chǎn)商，通過(guò)整合農(nóng)業(yè)生產(chǎn)各要素，輸出種植模式，才能更好地為農(nóng)業(yè)服務(wù)，使自身的經(jīng)營(yíng)工作更接地氣、更加穩(wěn)健，從而才能把佳禾打造成一個(gè)基業(yè)長(zhǎng)青的“百年老店”。

FP 序列樹(shù)構(gòu)建完成后即構(gòu)建其相應(yīng)的頻次表。把頻次計(jì)數(shù)相同的結(jié)點(diǎn)鏈接成一個(gè)鏈表，不同頻次鏈表的頭結(jié)點(diǎn)組成該FP 序列樹(shù)的頻次表。

為了明晰起見(jiàn)，以一段法語(yǔ)文本為例，解釋FP 序列樹(shù)及其頻次表的構(gòu)建過(guò)程。圖2 為一段法語(yǔ)文本及其中文翻譯，不具有特殊性。圖3 為圖2中的法語(yǔ)文本經(jīng)過(guò)文本預(yù)處理的結(jié)果。本文采用目前法文詞形還原效果最佳的Treetagger 工具實(shí)現(xiàn)對(duì)圖2 文本的詞形還原，然后采用基于大量實(shí)驗(yàn)總結(jié)出的停用詞表刪除其中的停用詞。圖4 為壓縮圖3文本所構(gòu)建的FP 序列樹(shù)及其頻次表。

圖2 法語(yǔ)文本與其中文翻譯示例

圖3 圖2 法語(yǔ)文本的文本預(yù)處理結(jié)果

2.2 頻繁詞串提取

基于FP 序列樹(shù)提取頻繁詞串時(shí)，根據(jù)預(yù)先設(shè)定的頻次閾值以及頻次表中所存儲(chǔ)的頭結(jié)點(diǎn)指針，從FP 序列樹(shù)的每一分支中深度最大(最接近葉子結(jié)點(diǎn))且滿(mǎn)足閾值的結(jié)點(diǎn)開(kāi)始，獲取從該結(jié)點(diǎn)到根結(jié)點(diǎn)的分支上的單詞串，倒序輸出即為頻繁詞串。若某一分支有兩個(gè)以上結(jié)點(diǎn)，還需同時(shí)獲取其子分支所形成的頻繁詞串。

為了避免詞語(yǔ)提取被截?cái)?，本文的提詞方法采用長(zhǎng)度優(yōu)先，即出現(xiàn)頻次與母串相同的子串不列入候選詞語(yǔ)。也即，若模式ai···aj的出現(xiàn)頻次大于閾值且等于模式ai···aj-1的 出現(xiàn)頻次，則認(rèn)為ai···aj-1是不能單獨(dú)成詞的。例如，若“états Unis(聯(lián)合國(guó))”和“états”的出現(xiàn)頻次均為10，則后者不列入候選詞語(yǔ)。具體實(shí)現(xiàn)方法為：若FP 序列樹(shù)某一分支滿(mǎn)足頻次閾值且有多個(gè)頻次相同的結(jié)點(diǎn)，則對(duì)每一頻次僅輸出較長(zhǎng)子分支所形成的頻繁詞串。

圖4 圖3 文本的FP 序列樹(shù)

表1 是基于圖4 的FP 序列樹(shù)所提取得到的頻繁詞串和候選詞語(yǔ)，此處設(shè)定頻次閾值為2。

表1 圖4 的FP 序列樹(shù)的頻繁詞串提取結(jié)果

FP 序列樹(shù)的時(shí)間復(fù)雜度是線(xiàn)性的。構(gòu)建文本的FP 序列樹(shù)時(shí)，僅需遍歷文本1 次，即時(shí)間復(fù)雜度為O(n)?；贔P 序列樹(shù)提取頻繁詞串時(shí)，根據(jù)頻次閾值直接讀取一個(gè)鏈表，時(shí)間復(fù)雜度為O(1)。

3 TFD 成詞度計(jì)算

文本數(shù)據(jù)集合中出現(xiàn)的候選詞語(yǔ)t是否成詞，與其出現(xiàn)頻次(term frequency, TF)有關(guān)，也與t的分布有關(guān)[21]。并且，實(shí)際應(yīng)用的文本數(shù)據(jù)集合中，詞語(yǔ)在不同文本的出現(xiàn)頻次往往變化較大。即，若t在整個(gè)文本集合中的分布D(distribution)不均勻，則t成詞的可能性較高；反之，若t在整個(gè)文本集合中分布得較均勻，則成詞的可能性較小。因此，受文獻(xiàn)[22-23]的啟發(fā)，本文依據(jù)詞頻和詞分布兩項(xiàng)因素計(jì)算候選詞語(yǔ)的成詞度為：

4 實(shí)驗(yàn)分析

目前還沒(méi)有檢驗(yàn)法文詞語(yǔ)提取方法優(yōu)劣的通用數(shù)據(jù)，也沒(méi)有標(biāo)準(zhǔn)的評(píng)價(jià)指標(biāo)。本文采用兩組實(shí)驗(yàn)比較分析本文提出的詞語(yǔ)提取方法與經(jīng)典方法的性能。

4.1 數(shù)據(jù)介紹

采用兩個(gè)題材不同的文本數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)分析：聯(lián)合國(guó)平行語(yǔ)料庫(kù)[24]和Europarl[25]，分別代表書(shū)面法語(yǔ)和口語(yǔ)法語(yǔ)。

聯(lián)合國(guó)平行語(yǔ)料庫(kù)是一個(gè)由聯(lián)合國(guó)文件組成的平行文件檔案庫(kù)，本文采用其中2014 年的200 篇法語(yǔ)文件作為第一組實(shí)驗(yàn)數(shù)據(jù)，共7.9 MB。

Europarl 是從歐洲議會(huì)議事錄中收集的平行文本語(yǔ)料庫(kù)，由歐洲議會(huì)討論記錄組成。本文選取其中法語(yǔ)文件的前2 000 行作為第二組實(shí)驗(yàn)的數(shù)據(jù)，共356 KB。

這兩組實(shí)驗(yàn)數(shù)據(jù)均為隨機(jī)選取，不具有特殊性。

4.2 評(píng)價(jià)指標(biāo)

準(zhǔn)確率和召回率是文本挖掘方法常用的評(píng)價(jià)指標(biāo)。詞語(yǔ)提取方法的準(zhǔn)確率是候選詞語(yǔ)中經(jīng)人工判定成詞的比率；召回率是指經(jīng)人工判定成詞的候選詞語(yǔ)占文本中出現(xiàn)的全部詞語(yǔ)的比率。但是，由于目前尚沒(méi)有經(jīng)過(guò)人工精確標(biāo)注的法語(yǔ)文本詞語(yǔ)提取語(yǔ)料庫(kù)，無(wú)法確定語(yǔ)料中出現(xiàn)的全部詞語(yǔ)數(shù)量，因此，本文采用正確提取詞語(yǔ)的數(shù)目來(lái)代替召回率評(píng)價(jià)指標(biāo)。

4.3 實(shí)驗(yàn)結(jié)果與分析

對(duì)兩組實(shí)驗(yàn)文本數(shù)據(jù)分別進(jìn)行文本預(yù)處理，使用Treetagger 實(shí)現(xiàn)詞形還原，刪除停用詞；接著將文本壓縮為一棵FP 序列樹(shù)，提取頻次超過(guò)2 的詞串作為頻繁詞串；然后直接將這些詞串作為候選詞語(yǔ)，不進(jìn)行不成詞篩選。由兩名法語(yǔ)專(zhuān)業(yè)人員判別這些候選詞語(yǔ)是否成詞并互相檢驗(yàn)。

本文的法文詞語(yǔ)提取方法，從第一組實(shí)驗(yàn)數(shù)據(jù)提取得到19 245 個(gè)候選詞語(yǔ)，從第二組實(shí)驗(yàn)數(shù)據(jù)提取得到1 713 個(gè)候選詞語(yǔ)。法語(yǔ)專(zhuān)業(yè)人員人工判別的結(jié)果顯示：第一組實(shí)驗(yàn)的自動(dòng)提詞結(jié)果準(zhǔn)確率為90.8%；第二組實(shí)驗(yàn)的自動(dòng)提詞結(jié)果準(zhǔn)確率為89.1%。

在對(duì)候選詞語(yǔ)進(jìn)行成詞度計(jì)算時(shí)，分別采用本文的TFD 方法與經(jīng)典的TF-IDF 方法計(jì)算頻繁詞串的成詞度，將頻繁詞串按成詞度降序輸出。比較結(jié)果如圖5 和表2 所示。

圖5 法文詞語(yǔ)提取方法的準(zhǔn)確率比較

表2 法文詞語(yǔ)提取方法正確提取的詞語(yǔ)數(shù)目比較

圖5 展示TFD 和TF-IDF 兩種方法在自動(dòng)判別候選詞語(yǔ)是否成詞方面的準(zhǔn)確率。其中，“按成詞度降序排列的候選詞語(yǔ)”的m%(m=10, 20, ···, 100)是指成詞度前m%的候選詞語(yǔ)；準(zhǔn)確率是指這些候選詞語(yǔ)中經(jīng)人工判定成詞的比率。

表2 為本文方法與法語(yǔ)文本挖掘中詞語(yǔ)提取常用方法正確提取詞語(yǔ)的數(shù)目，包括N-gram 二元詞組法和基于形容詞與名詞組合的詞性規(guī)則法。

由實(shí)驗(yàn)可知：

1) 從圖5 可以看到，對(duì)書(shū)面法語(yǔ)和口語(yǔ)法語(yǔ)兩種題材不同的語(yǔ)料進(jìn)行詞語(yǔ)提取時(shí)，在候選詞語(yǔ)的成詞度計(jì)算方面，TFD 的準(zhǔn)確率均穩(wěn)定優(yōu)于TF-IDF。這是由于TFD 方法增加了詞串在不同文本中分布均勻程度的因素。

2) 從表2 可見(jiàn)，本文的詞語(yǔ)提取方法正確提取的詞語(yǔ)數(shù)目明顯高于常用的法語(yǔ)文本提詞方法——二元詞組法和詞性規(guī)則法。這是因?yàn)椋憾~組法限定了所提取詞語(yǔ)的長(zhǎng)度；詞性規(guī)則法限定了所提取詞語(yǔ)中每個(gè)單詞的詞性，只能提取得到形容詞與名詞的搭配。這些過(guò)濾規(guī)則能提高詞語(yǔ)提取的準(zhǔn)確率，但同時(shí)大幅降低了提取的詞語(yǔ)數(shù)目。而本文方法通過(guò)總結(jié)停用詞表來(lái)精準(zhǔn)過(guò)濾頻繁詞串，在保證準(zhǔn)確率的同時(shí)，顯著提升了詞語(yǔ)提取的召回率。

3) 語(yǔ)料的規(guī)模影響著本文的法文詞語(yǔ)提取方法的召回率。圖2 的法語(yǔ)文本較短，其中的頻繁詞串?dāng)?shù)量較少，且常因僅作為子串出現(xiàn)而被誤刪，如“gestion du données (詞 形 還 原 前 為gestion des données，數(shù)據(jù)管理)”。因此，語(yǔ)料規(guī)模較小時(shí)，本文方法的召回率會(huì)降低。語(yǔ)料規(guī)模越大，本文的詞語(yǔ)提取方法越具有優(yōu)越性。

4) 由實(shí)驗(yàn)耗時(shí)可知，采用FP 序列樹(shù)存儲(chǔ)待分析文本中的頻繁詞串及其出現(xiàn)頻次，能夠快速提取不同頻次的頻繁詞串。盡管構(gòu)建FP 序列樹(shù)需要花費(fèi)一定時(shí)間，但能降低后續(xù)的頻繁詞串提取的時(shí)間復(fù)雜度，進(jìn)而縮短詞語(yǔ)提取的耗時(shí)。

此外，每進(jìn)行一次法文詞語(yǔ)提取，都應(yīng)把人工判別不成詞的頻繁詞串加入到不成詞庫(kù)。隨著不成詞庫(kù)的豐富，本文方法的準(zhǔn)確率會(huì)持續(xù)提升。這樣就可以逐漸降低人工判別的工作量，提高詞語(yǔ)提取的自動(dòng)化程度和效果。

5 結(jié) 束 語(yǔ)

目前，關(guān)于法語(yǔ)文本挖掘的研究還在起步階段。由于法語(yǔ)特殊的詞法和語(yǔ)法規(guī)則與中、英文存在巨大差異，導(dǎo)致當(dāng)前較為成熟的中、英文文本挖掘方法無(wú)法直接應(yīng)用于法語(yǔ)文本挖掘。

為了支持基于法語(yǔ)信息的管理決策，本文提出了一種基于FP 序列樹(shù)的法文詞語(yǔ)提取方法。該方法能夠高效準(zhǔn)確地從待分析的法語(yǔ)文本中自動(dòng)獲取包含法文單詞原形和由多單詞組成的法文短語(yǔ)的法文詞語(yǔ)集合，為法語(yǔ)文本主題發(fā)現(xiàn)、分/聚類(lèi)等文本挖掘任務(wù)提供詞庫(kù)。采用本文設(shè)計(jì)的FP 序列樹(shù)的數(shù)據(jù)結(jié)構(gòu)壓縮文本，能夠快速提取文本中不同頻次的頻繁詞串，將詞語(yǔ)提取的時(shí)間復(fù)雜度降低到線(xiàn)性時(shí)間，從而提高文本自動(dòng)分析的效率。同時(shí)，本文的法文詞語(yǔ)提取方法在文本預(yù)處理階段所使用的詞形還原工具影響著最終結(jié)果的準(zhǔn)確性。