[摘要] “地”字結(jié)構(gòu)是漢語(yǔ)中有標(biāo)記的狀語(yǔ)結(jié)構(gòu)，“地”字結(jié)構(gòu)的自動(dòng)識(shí)別作為淺層句法分析的任務(wù)之一可以減少自動(dòng)句法分析的歧義。本文在分析“地”字結(jié)構(gòu)性質(zhì)的基礎(chǔ)上，利用規(guī)則與統(tǒng)計(jì)相結(jié)合的方法，基于分詞文本對(duì)“地”字結(jié)構(gòu)進(jìn)行了對(duì)比性的識(shí)別研究。實(shí)驗(yàn)利用200萬(wàn)字的語(yǔ)料進(jìn)行訓(xùn)練，將獲取的數(shù)據(jù)用于自動(dòng)識(shí)別，獲得了較好的效果。

[關(guān)鍵詞] “地”字結(jié)構(gòu) 句法分析 規(guī)則 概率

漢語(yǔ)是一種缺乏形態(tài)變化的語(yǔ)言，傳達(dá)了較少的形式化信息，增加了自然語(yǔ)言處理的歧義。在自動(dòng)句法分析的過(guò)程中，漢語(yǔ)缺少可直接利用的形式信息，增加了分析的難度。

20世紀(jì)80年代末，國(guó)外開(kāi)始了關(guān)于組塊（Chunk）的研究，并提出了淺層句法分析的概念，希望通過(guò)語(yǔ)塊的識(shí)別和語(yǔ)塊之間依附關(guān)系的分析來(lái)實(shí)現(xiàn)對(duì)完全句法分析任務(wù)的分解。90年代以來(lái)，國(guó)內(nèi)學(xué)者在漢語(yǔ)的淺層句法分析方面也做了很多工作。郭志立利用廣義互信息研究了“的” 字短語(yǔ)的結(jié)構(gòu)和邊界。王立霞、吳云芳使用概率模型識(shí)別了介詞短語(yǔ)的邊界。趙軍提出了基于轉(zhuǎn)換的漢語(yǔ)基本名詞短語(yǔ)（baseNP）識(shí)別模型。周強(qiáng)利用邊界概率分布和內(nèi)部結(jié)構(gòu)組合對(duì)最長(zhǎng)名詞短語(yǔ)（MNP）進(jìn)行了較為全面的識(shí)別分析。這些研究主要集中于對(duì)名詞短語(yǔ)和介詞短語(yǔ)的識(shí)別，為漢語(yǔ)的自動(dòng)處理做出了有益的探索。

作為淺層句法分析的任務(wù)之一，“地”字結(jié)構(gòu)的自動(dòng)識(shí)別可以有效地減少句法分析的歧義。由于“地”字結(jié)構(gòu)在句中處于狀語(yǔ)的位置，對(duì)于一些簡(jiǎn)單的單句而言，該結(jié)構(gòu)的自動(dòng)識(shí)別常?？梢詭椭业街^語(yǔ)中心，劃定句子的基本結(jié)構(gòu)，我們可以給出這樣的形式化表示：

S=[SZ]+Subj+[SZ]+DS+P+[Obj]

其中，S表示單句，SZ表示句首或小句狀語(yǔ)，DS表示“地”字結(jié)構(gòu)，P表示謂語(yǔ)中心，Subj表示主語(yǔ)，Obj 表示賓語(yǔ)，[]表示可以出現(xiàn)也可以不出現(xiàn)，+表示語(yǔ)法分隔。

本文分為四個(gè)部分，第一部分對(duì)“地”字結(jié)構(gòu)進(jìn)行定義和分類，第二部分介紹統(tǒng)計(jì)與規(guī)則相結(jié)合的“地”字結(jié)構(gòu)識(shí)別算法，第三部分分析實(shí)驗(yàn)結(jié)果，第四部分結(jié)語(yǔ)。

1.“地”字結(jié)構(gòu)的定義及分類

1.1“地”字結(jié)構(gòu)的定義

“地”字結(jié)構(gòu)是以結(jié)構(gòu)助詞“地”為右邊界標(biāo)志，在句中動(dòng)詞前作狀語(yǔ)，直接修飾動(dòng)詞或謂語(yǔ)中心語(yǔ)的一種句法結(jié)構(gòu)。我們把“地”字結(jié)構(gòu)定義為“修飾語(yǔ)+地”的形式。

1.2“地”字結(jié)構(gòu)分類

“地”字結(jié)構(gòu)內(nèi)部存在多種句法關(guān)系，表現(xiàn)為修飾語(yǔ)部分可以是單個(gè)詞語(yǔ)，也可以是句法組合，包括狀中組合、并列組合、述賓組合、主謂組合等。根據(jù)“地”字結(jié)構(gòu)內(nèi)部的句法層次和句法關(guān)系對(duì)它進(jìn)一步細(xì)分。

（1）簡(jiǎn)單“地”字結(jié)構(gòu)：“單元狀語(yǔ)+‘地’”形式的結(jié)構(gòu)。

（2）復(fù)雜“地”字結(jié)構(gòu)：“多元狀語(yǔ)+‘地’”形式的結(jié)構(gòu)。

簡(jiǎn)單“地”字結(jié)構(gòu)的修飾語(yǔ)是單元的，即內(nèi)部只有一個(gè)元素，不存在句法組合關(guān)系，如：

新 的 游客 【源源不斷 地】 涌 來(lái) 。

復(fù)雜“地”字結(jié)構(gòu)的修飾語(yǔ)有多個(gè)元素組合而成，這些元素之間滿足一定的句法組合關(guān)系。根據(jù)這些關(guān)系，可以將復(fù)雜“地”字結(jié)構(gòu)進(jìn)一步細(xì)分為多元修飾型、多元并列型、多元主謂型以及多元述賓型等：

多元修飾型：修飾語(yǔ)為“狀語(yǔ)+中心語(yǔ)”形式的“地”字結(jié)構(gòu)，如“很 努力 地”。

多元并列型：修飾語(yǔ)為“并列成分+[連接成分]+并列成分+…”形式的“地”字結(jié)構(gòu)，如“積極 主動(dòng) 地”。

多元主謂型：修飾語(yǔ)為“主語(yǔ)+謂語(yǔ)”形式的“地”字結(jié)構(gòu)，如“程度 不同 地”。

多元述賓型：修飾語(yǔ)為“述語(yǔ)+賓語(yǔ)”形式的“地”字結(jié)構(gòu)，如“有 計(jì)劃 地”。

2.統(tǒng)計(jì)與規(guī)則相結(jié)合的“地”字結(jié)構(gòu)識(shí)別策略

2.1識(shí)別目標(biāo)

“地”字結(jié)構(gòu)識(shí)別的目標(biāo)是準(zhǔn)確地確定“地”字結(jié)構(gòu)的左右邊界。本研究以“【”作為“地”字結(jié)構(gòu)左界標(biāo)志，以“】”作為右界標(biāo)志，對(duì)句中“地”字結(jié)構(gòu)進(jìn)行識(shí)別，識(shí)別結(jié)果格式如下：

中國(guó)認(rèn)為 ， 伊拉克應(yīng) 【全面 、 切實(shí) 地】 履行 聯(lián)合國(guó) 有關(guān) 決議。

2.2識(shí)別算法

根據(jù)“地”字結(jié)構(gòu)的特點(diǎn)，在語(yǔ)料統(tǒng)計(jì)分析的基礎(chǔ)上，我們確定采用規(guī)則匹配、概率加權(quán)選擇和上下文調(diào)整相結(jié)合的策略進(jìn)行識(shí)別。

2.2.1規(guī)則匹配

我們以人民日?qǐng)?bào)1998年1月份的標(biāo)記語(yǔ)料（記為9801.tag）作為訓(xùn)練語(yǔ)料，對(duì)其中的“地”字結(jié)構(gòu)進(jìn)行人工標(biāo)注，并提取出每一個(gè)具體的“地”字結(jié)構(gòu)的詞性標(biāo)記串及其出現(xiàn)概率，組成“地”字結(jié)構(gòu)的標(biāo)記串規(guī)則集，此規(guī)則集中包含了100條規(guī)則，其中任意一條規(guī)則的出現(xiàn)概率P(rule[i])的計(jì)算公式如下：

我們應(yīng)用此標(biāo)記串規(guī)則集的具體規(guī)則對(duì)每一個(gè)“地”字結(jié)構(gòu)進(jìn)行可能匹配：對(duì)于每一條標(biāo)記串規(guī)則，獲取相同長(zhǎng)度的“地”字結(jié)構(gòu)詞串，并通過(guò)查詞典的方式取得該詞串所有的可能標(biāo)記串，如果存在某條可能標(biāo)記串與標(biāo)記串規(guī)則匹配，則該標(biāo)記串規(guī)則作為一條可能匹配規(guī)則；如此記錄下所有的可能匹配規(guī)則，并統(tǒng)計(jì)其出現(xiàn)概率。

2.2.2概率加權(quán)選擇

由于面對(duì)的是分詞文本，規(guī)則的長(zhǎng)度和詞串所對(duì)應(yīng)的標(biāo)記串都是不確定的，在實(shí)際標(biāo)注過(guò)程中有兩種選擇：一種選擇是長(zhǎng)規(guī)則優(yōu)先匹配，規(guī)則長(zhǎng)度相同時(shí)，高頻規(guī)則優(yōu)先匹配；另一種選擇是通過(guò)規(guī)則的出現(xiàn)概率進(jìn)行優(yōu)選。實(shí)驗(yàn)表明，第一種選擇不能體現(xiàn)語(yǔ)料中的自然比例關(guān)系，造成了短規(guī)則匹配概率低下，影響標(biāo)注正確率；第二種方法具有更大的可行性和優(yōu)越性。但是，通過(guò)統(tǒng)計(jì)得到的規(guī)則集還不能直接用于標(biāo)注：

第一，用上文使用得最大似然估計(jì)法估計(jì)參數(shù)會(huì)造成嚴(yán)重的數(shù)據(jù)稀疏問(wèn)題，低概率事件常常被忽略。

第二，規(guī)則的出現(xiàn)概率受到其長(zhǎng)度的制約。實(shí)驗(yàn)發(fā)現(xiàn)，短規(guī)則出現(xiàn)概率通常高于長(zhǎng)規(guī)則，但規(guī)則的出現(xiàn)概率高不等于該規(guī)則作為“地”字結(jié)構(gòu)的概率高，甚至有相反的趨勢(shì)。

我們使用一種簡(jiǎn)單的加權(quán)方法，并將權(quán)值轉(zhuǎn)化為費(fèi)用：

Feeweight[i] = P (rule[i])×Fee(rule[i]) ×(Len(rule[i])-1) 公式2

其中， Fee(rule[i])表示rule[i]的費(fèi)用，Len(rule[i])表示規(guī)則rule[i]的長(zhǎng)度。為解決數(shù)據(jù)稀疏的問(wèn)題，采用了一階馬爾可夫過(guò)程計(jì)算規(guī)則費(fèi)用：

trans[i][j]是指從“地”字結(jié)構(gòu)內(nèi)部獲取的詞性tag_i到tag_j的轉(zhuǎn)移概率。

對(duì)于某一條具體的規(guī)則rule[i]，F(xiàn)eeweight[i]值越大，它用于“地”字結(jié)構(gòu)標(biāo)注的概率越小。當(dāng)某一個(gè)字符串能匹配多條規(guī)則時(shí)，優(yōu)先選擇費(fèi)用最低的規(guī)則進(jìn)行標(biāo)注。

2.2.3上下文信息

對(duì)標(biāo)記串的概率優(yōu)選只利用了詞性信息，一些詞語(yǔ)上下文信息對(duì)識(shí)別也非常有幫助。我們制定了三張?jiān)~表來(lái)進(jìn)行概率標(biāo)注后的微調(diào)。左界外詞表記錄常常僅作為DS左界外一詞的詞語(yǔ)，如“等”，左界內(nèi)詞表記錄常常僅作為DS左界內(nèi)一詞的詞語(yǔ)，如“很”，非DS左詞詞表記錄常常只出現(xiàn)在名詞“地”左鄰，而不出現(xiàn)在助詞“地”左鄰的詞語(yǔ)。

3.實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)結(jié)果分析

我們應(yīng)用9801.tag作訓(xùn)練語(yǔ)料，1月份和2月份的切分語(yǔ)料（分別記為9801.cut和9802.cut）作測(cè)試語(yǔ)料，進(jìn)行了多次實(shí)驗(yàn)。

3.1.1 相異詞表實(shí)驗(yàn)

考慮到詞表對(duì)于“地”字結(jié)構(gòu)標(biāo)注的影響，分別應(yīng)用從9801.tag的“地”字結(jié)構(gòu)中提取的封閉的小詞表（917詞條），并使用開(kāi)放的先驗(yàn)大詞表（約155000詞條）進(jìn)行測(cè)試，其中開(kāi)放測(cè)試語(yǔ)料為人民日?qǐng)?bào)2月份上半個(gè)月的切分語(yǔ)料（記為9802p.cut）。令某DS左右邊界都標(biāo)注正確作為1次正確識(shí)別，否則為1次錯(cuò)誤識(shí)別，如果Fc表示正確識(shí)別的DS個(gè)數(shù)，F(xiàn)w表示錯(cuò)誤識(shí)別的個(gè)數(shù)，F(xiàn)f表示識(shí)別失敗的個(gè)數(shù)，F(xiàn)m表示多余識(shí)別的個(gè)數(shù)，F(xiàn)t表示文本中DS總數(shù)，則正確率（Precision）、召回率（Recall）和調(diào)和平均值（Ｆ）可計(jì)算如下：

測(cè)試結(jié)果如表1和表2所示：

詞表對(duì)于標(biāo)注的影響非常明顯。從“地”字結(jié)構(gòu)中提取出的小詞表減少了詞語(yǔ)的詞性選擇維度，有利于提高精確率，但詞語(yǔ)數(shù)量不夠的問(wèn)題，降低了召回率。先驗(yàn)的大詞表基本能夠保證詞語(yǔ)數(shù)量的充足，有利于提高召回率，但加劇了詞性標(biāo)記的競(jìng)爭(zhēng)，降低了正確率。另外，大詞表中可能存在的錯(cuò)誤，也會(huì)對(duì)識(shí)別產(chǎn)生影響。

綜合正確率、召回率和調(diào)和平均值可以看出，使用大詞表的開(kāi)放測(cè)試取得了比較好的結(jié)果。

3.1.2相異規(guī)模實(shí)驗(yàn)

為考察算法的有效性和健壯性，我們使用先驗(yàn)的大詞表對(duì)9802p.cut和9802.cut進(jìn)行了對(duì)比性的開(kāi)放測(cè)試，測(cè)試結(jié)果如表3和表4所示：

從測(cè)試結(jié)果可以看出，我們所采用的算法具有較好的健壯性，對(duì)于大詞表開(kāi)放測(cè)試，9802.cut的正確率甚至略優(yōu)于9802p.cut的測(cè)試數(shù)據(jù)。

3.2 錯(cuò)誤分析

大詞表測(cè)試數(shù)據(jù)表明：實(shí)驗(yàn)中最主要的錯(cuò)誤類型是錯(cuò)誤識(shí)別(Fw)和多余識(shí)別(Fm)的問(wèn)題。錯(cuò)誤識(shí)別即因該識(shí)別的結(jié)構(gòu)定界不準(zhǔn)確而導(dǎo)致的錯(cuò)誤，這些錯(cuò)誤涉及到以上提到的各種語(yǔ)法結(jié)構(gòu)，主要包含以下幾種情況：

3.2.1狀語(yǔ)存在語(yǔ)法功能歧義，如“又”，它既可以出現(xiàn)在DS中，也可以作謂語(yǔ)的修飾語(yǔ)：

a. 他 【又 生氣 又 無(wú)奈 地】 瞅 著 我 。

b. *姐妹 倆 【又 親熱 地】 聊 了 起來(lái) 。

考慮到句a存在的可能性，我們沒(méi)有將“又”列入左界外詞表，帶來(lái)了如句b的標(biāo)注錯(cuò)誤（用*號(hào)表示，下同）。事實(shí)上，在9802.cut中并沒(méi)有出現(xiàn)a所示的情況。因此標(biāo)志詞詞表如何制定還需要進(jìn)一步考慮和完善。

3.2.2 標(biāo)點(diǎn)分隔的并列結(jié)構(gòu)作狀語(yǔ)，以上算法缺乏識(shí)別能力，如：

c. *從而全面 、 【完整 、 準(zhǔn)確 地】回答 了 什么是 社會(huì)主義 。

3.2.3語(yǔ)料問(wèn)題，如分詞問(wèn)題。

d. *她 還 把 學(xué) 到 的 技術(shù) 毫無(wú) 【保留 地】 傳教 給 別人 。

“毫無(wú)保留”作為一個(gè)詞切分更合適，例d切分為兩個(gè)詞，造成了識(shí)別錯(cuò)誤。

3.2.4固定結(jié)構(gòu)，如“…般地”，“像…般地”。

e. *像 【洪流 般 地】向前 移動(dòng) 。

多余識(shí)別，即名詞“地”被作為助詞處理，是另一個(gè)重要的錯(cuò)誤來(lái)源，從識(shí)別算法可以看出，我們使用的統(tǒng)計(jì)方法對(duì)多余識(shí)別的錯(cuò)誤缺乏辨別能力，因此名詞“地”的排歧任務(wù)主要由非DS左詞詞表完成，雖然名詞“地”前一詞具有一定的特征，如量詞“畝”，完全收錄這部分詞仍然困難，如：

f. *許多 “ 六朝 【繁華 地】 ” 成為荒漠中的遺址。

“地”字結(jié)構(gòu)的自動(dòng)識(shí)別可以減少句法分析的歧義，是淺層句法分析的任務(wù)之一。本文在分析語(yǔ)料的基礎(chǔ)上，對(duì)切分語(yǔ)料中“地”字結(jié)構(gòu)進(jìn)行了識(shí)別，提出了基于規(guī)則匹配和概率選擇的識(shí)別方法，取得了比較好的效果。在今后的研究中，我們將逐步進(jìn)行改進(jìn)和提高。

參考文獻(xiàn)：

[1] 陳小荷：現(xiàn)代漢語(yǔ)自動(dòng)分析——Visual C++實(shí)現(xiàn)．北京語(yǔ)言文化大學(xué)出版社，2000年。

[2] 郭志立：用統(tǒng)計(jì)方法研究“的”字短語(yǔ)的結(jié)構(gòu)和邊界．計(jì)算機(jī)時(shí)代的漢語(yǔ)和漢字研究，1997年。

[3] 王立霞：現(xiàn)代漢語(yǔ)介詞短語(yǔ)邊界識(shí)別研究．中文信息學(xué)報(bào)，2005年第3期。

[4] 吳云芳：漢語(yǔ)介詞結(jié)構(gòu)的自動(dòng)標(biāo)注．北京語(yǔ)言文化大學(xué)碩士論文，1998年。

[5] 趙軍，黃昌寧：基于轉(zhuǎn)換的漢語(yǔ)基本名詞短語(yǔ)識(shí)別模型．中文信息學(xué)報(bào)，1999年第２期。

[6] 周強(qiáng)、孫茂松、黃昌寧：漢語(yǔ)最長(zhǎng)名詞短語(yǔ)的自動(dòng)識(shí)別．軟件學(xué)報(bào)，2000年。

（錢小飛，南京師范大學(xué)文學(xué)院）