宋 彥，黃昌寧，揭春雨

(1. 香港城市大學(xué) 中文、翻譯及語言學(xué)系，香港九龍達之路83號；2. 微軟亞洲研究院，北京 100080)

1 引言

自動句法分析(parsing)是自然語言處理的一項基本技術(shù)，是邁向語義理解的一道門檻。當(dāng)前信息處理對于深度本文分析的需求有增無減，不但要求描繪句內(nèi)各成分間的句法關(guān)系，還需要在一定程度上刻畫詞和詞之間的語義聯(lián)系。組合范疇語法(Combinatory Categorial Grammar，CCG)[1]可以為這種需求提供一種顯式的表達形式，直接將詞匯關(guān)系映射到各個句法節(jié)點的范疇上，為快速句法分析提供了一種有效的形式化描述。在2009年約翰霍普金斯大學(xué)舉行的夏季研討班(JHU Summer School 2009)上*該研討班的主題為“Parsing the Web”，旨在通過CCG得到快速而有效的跨領(lǐng)域深層句法分析結(jié)果。，研究人員通過采用優(yōu)化的句法分析算法，使CCG句法分析在維基百科(Wikipedia)語料上達到每秒超過100句的分析速度，且抽樣顯示，其分析精度并未有明顯損失，說明CCG可以用來進行工業(yè)規(guī)模的句法分析[2]。

實用的句法分析器(parser)，特別是以有監(jiān)督的機器學(xué)習(xí)方法訓(xùn)練，需要大量的句法樹實例作訓(xùn)練語料。目前很難找到合適的CCG樹庫做此用途，對于中文，此等資源*2010年Daniel Tse[4]在賓州中文樹庫上開發(fā)了相應(yīng)的中文CCG樹庫，然而該樹庫尚未開放給他人使用。尤其短缺。要將CCG應(yīng)用于中文信息處理，當(dāng)務(wù)之急是構(gòu)建一個中文CCG樹庫(CCGbank)。眾所周知，從零開始標(biāo)注一個大規(guī)模的句法樹庫是一項極費人力和資源的工程?？紤]到目前已經(jīng)有一些現(xiàn)成的句法樹庫，例如，賓州英文樹庫(PTB)、賓州中文樹庫(CTB)、德文TIGER樹庫、臺北中研院Sinica中文樹庫和清華大學(xué)中文樹庫(TCT)等，把這些資源轉(zhuǎn)化成所需的CCG樹庫，當(dāng)是一種行之有效的資源建設(shè)方案。

本文在清華中文樹庫的基礎(chǔ)上，針對中文句法和句型的特點，通過自動轉(zhuǎn)換方式實現(xiàn)了中文CCG樹庫的構(gòu)建。由于清華樹庫沒有空語類和同指索引等標(biāo)記，我們提出一種識別動詞—論元關(guān)系的簡單方法，識別出句子中每個動詞的詞匯范疇及其相關(guān)的論元，并將識別結(jié)果直接標(biāo)注到相應(yīng)的CCG句法樹上。本文給出所構(gòu)建的CCG樹庫的統(tǒng)計數(shù)據(jù)，并使用人工標(biāo)注的200句測試集驗證了樹庫構(gòu)建方法的有效性。

2 CCG簡介及相關(guān)工作

CCG源自范疇語法[3]，是一種類型驅(qū)動(type-driven)的詞例化語法，它通過詞匯范疇顯式地提供從句法到語義的接口(interface)[1]。范疇(category)是CCG的基本操作單元，它有兩種形式：原子范疇(atomic category)和組合范疇(functor category)。前者是CCG的基本符號集，用來表達基本的詞匯類型和句法功能；后者由前者構(gòu)成，通常的形式為X/Y或XY，由“”(左斜杠)和“/”(右斜杠)分別指示左右兩個不同的組合方向，表示該范疇可以向左或右找到變元(argument)Y，并得到組合結(jié)果(result)X。在這些詞匯范疇的基礎(chǔ)上，CCG使用一系列操作規(guī)則來完成推導(dǎo)(derivation)，如表1所示。

表1 CCG規(guī)則

CCG樹庫的自動轉(zhuǎn)換已有一些工作。Hockenmaier首先在PTB上自動轉(zhuǎn)換生成英文CCG樹庫[5-6]。該工作使用基本的三步轉(zhuǎn)換流程，同時也針對短語樹庫設(shè)計了很多轉(zhuǎn)換規(guī)則，為后來的相關(guān)工作提供算法和轉(zhuǎn)換規(guī)則的標(biāo)準(zhǔn)。Hockenmaier在TIGER樹庫上的工作[7]，則針對德文的特點，提出了一些非常規(guī)的處理方案，包括詞序的鏈接關(guān)系、抽取(extraction)類型、并列結(jié)構(gòu)(coordination)等特殊情況，第一次將英語之外的句法資源轉(zhuǎn)換為CCG樹庫。Tse使用Hockenmaier的算法，從CTB轉(zhuǎn)換出中文CCG樹庫[4]，在預(yù)處理時把一些難以轉(zhuǎn)換的中文句型作為特殊結(jié)構(gòu)進行處理，例如，主題句(topicalization)、主語省略(pro-drop)、非動詞謂語結(jié)構(gòu)(zero-copula)等。此外，Tse還采用后處理方式來完善輸出的CCG句法樹，包括整理主、賓語抽取結(jié)構(gòu)(subject/object extraction)和更正修飾詞的范疇等。

3 構(gòu)建中文CCG樹庫

我們的工作采用清華中文樹庫(TCT)作為原始資源，是因為考慮到：1)TCT的規(guī)模和覆蓋率相對較大；2)TCT提供了每個短語的中心語的顯式標(biāo)記*本文使用的TCT語料來自2009年中國中文信息學(xué)會舉辦的ParsEval中文句法分析評測活動，它是TCT的一個子集，其中每個短語標(biāo)記用整數(shù)后綴(0，1，2，…)標(biāo)明了中心語的位置，但TCT原有的短語結(jié)構(gòu)標(biāo)記(如ZW, SB等)已被刪除。[8]。下面詳細(xì)陳述我們使用的轉(zhuǎn)換算法及針對中文句型的特殊處理。

3.1 樹庫轉(zhuǎn)換算法

3.1.1 確定句法成分類型

這是樹庫轉(zhuǎn)換的第一步，目標(biāo)是將一棵子樹(treelet)中的中心語(head)、補足語(complement)和附加語(adjunct)區(qū)分出來，便于后續(xù)的二叉化和范疇指派工作。TCT句法樹中每個短語的中心語已經(jīng)被顯式標(biāo)示，我們需要小心加以區(qū)分的主要是補足語和附加語。其中，補足語一般都是可以充當(dāng)動詞核心論元(core argument)的成分，如NP、SP、S等，通常用原子范疇表示，并進入與之相應(yīng)的述語動詞的組合范疇。一般來說，除中心語和補足語以外其他語法成分都屬于附加語。

3.1.2 句法樹二叉化

二叉化(binarization)是將多叉樹(平坦結(jié)構(gòu))重組成二叉結(jié)構(gòu)，從而把整棵句法樹統(tǒng)一為標(biāo)準(zhǔn)二叉樹，以便按照句法成分類型來描述每棵子樹中兩個子節(jié)點之間的關(guān)系。二叉化遵循以下原則：1)中心語左邊的節(jié)點，一律往右分叉(right-branching)；2)中心語右邊的節(jié)點，一律往左分叉(left-branching)。這樣，二叉化以后，整個結(jié)構(gòu)的節(jié)點間關(guān)系并不改變，中心語左邊的成分仍在其左，右邊的仍在其右。圖1給出了一個平坦結(jié)構(gòu)二叉化的示例，其中h表示P的中心語。

圖1 二叉化示例

3.1.3 范疇指派

句法樹二叉化以后，就可以自上而下對其節(jié)點指派范疇。對中心語與補足語、中心語與附加語兩種不同的語法關(guān)系，指派范疇時應(yīng)分別遵循以下規(guī)則(箭頭左邊表示一棵子樹的根節(jié)點，右邊是它的兩個子節(jié)點)：

R→R/C+C(其中R/C是中心語，C是補足語)，與

R→R+RR(其中R是中心語，RR是附加語)。

一般來說，補足語用其自身的原子范疇來描述，例如NP，S等；而附加語則用它所修飾的中心語的范疇來描述，以確保其父節(jié)點可以得到與其中心語一致的范疇。除這兩條規(guī)則之外，我們還針對并列結(jié)構(gòu)中的連接詞、標(biāo)點符號等使用一種非組合規(guī)則：R→R+p，其中心語直接繼承根節(jié)點的范疇。

3.2 動詞及其論元的抽取

對述語—論元關(guān)系(predicate-argument relationship)的描寫是CCG區(qū)別于傳統(tǒng)上下文無關(guān)文法的一個顯著特性。與PTB和CTB不同，TCT樹庫并未提供句法移位的完整標(biāo)注，應(yīng)用轉(zhuǎn)換算法難以單獨完成合理的述語—論元關(guān)系指派。為此，我們設(shè)計了一個輕量級的動詞子范疇框架(verb sub-categorization frame)抽取算法。為了保證其可靠性，該算法僅對動詞進行處理，其基本運作基于以下三個假設(shè)：1)大量句子的表述方式遵從正常的SVO(主語—述語—賓語)架構(gòu)；2)非正常移位(因而形成長距離依存關(guān)系)的論元主要是受事(patient)論元，它們在正常結(jié)構(gòu)中應(yīng)該直接跟隨在相應(yīng)的及物動詞之后；3)如果在整個語料庫中某個動詞沒有攜帶賓語的證據(jù)，就把該動詞歸為不及物動詞。我們通過統(tǒng)計TCT中動詞后面直接攜帶的句法成分，判定一個動詞是否及物，以及它可以攜帶何種類型的補足語*雖然我們使用動詞及其論元的關(guān)系來描述動詞子范疇化，實際上我們的算法僅支持尋找可能的補足語，而并不區(qū)分其是否為真正的受事賓語。的信息。我們認(rèn)為短語np，vp，mp，sp，tp和句子S可以充當(dāng)動詞的補足語成分，其他成分則標(biāo)注為附加語。最終，我們從TCT中得到一個動詞子范疇框架的數(shù)據(jù)庫，其中包含所有被標(biāo)注出來的及物動詞及其攜帶的補足語，包括該補足語出現(xiàn)的頻度。后面的評測結(jié)果表明，通過動詞子范疇框架數(shù)據(jù)庫來判斷一個動詞是否存在補足語，以及該補足語是否以長距離依存關(guān)系出現(xiàn)，可以有效彌補標(biāo)準(zhǔn)轉(zhuǎn)換算法的不足。

3.3 中文特殊句型的CCG推導(dǎo)

針對特定樹庫資源的CCG轉(zhuǎn)換過程與語言類型和語料標(biāo)注格式緊密相關(guān)，前述的標(biāo)準(zhǔn)轉(zhuǎn)換算法難于覆蓋TCT的全部句法樹。同時，考慮到中文表達的靈活性，很多特殊的句法結(jié)構(gòu)較難得到正確的分析結(jié)果[9]。我們列出樹庫中10種典型的句法結(jié)構(gòu)，包括“的”字結(jié)構(gòu)、并列結(jié)構(gòu)、非動詞謂語句(例如，名詞謂語句、形容詞謂語句和主謂謂語句)、謂詞性賓語、兼語句、連動句、被動結(jié)構(gòu)、無主(語)句、存在句以及獨立成分等，并針對每種句型設(shè)計了專門的轉(zhuǎn)換方案，細(xì)節(jié)請參見文獻[10]。考慮到篇幅限制，我們在此僅例示“的”字結(jié)構(gòu)和被動結(jié)構(gòu)的處理方案。

3.3.1 “的”字結(jié)構(gòu)

“的”字結(jié)構(gòu)一直以來都是中文處理的一個難題，不但由于它具有靈活的表示形式，更由于其內(nèi)部復(fù)雜的依存關(guān)系?？偟膩碚f，絕大多數(shù)“的”字結(jié)構(gòu)都是名詞短語，在TCT樹庫中標(biāo)注為一個平坦的句法結(jié)構(gòu)，符合[X的]或者[X的Y]這樣的形式。針對前者，我們將助詞“的”視為整個結(jié)構(gòu)的中心語，X是它的補足語；對于后者，我們將[X的]當(dāng)作一個定語語塊，而Y是定語語塊所修飾的中心語(即名詞短語[X的Y]的中心語)；助詞 “的”仍是定語語塊的中心語，如果定語語塊中的X是一個動詞短語(VP)或小句(S)，就需要進一步判斷以下兩種情況：

1) 如果Y是定語從句X中的述語動詞v的一個論元(如賓語或主語)，就要給動詞v和Y建立相應(yīng)的述語—論元關(guān)系，并指派合適的范疇，如圖2所示。為了實現(xiàn)CCG的句法樹推導(dǎo)，這里需要對X中的主語NP進行類型提升，以便使它與動詞先組合，然后整個X部分表示成一個需要尋找賓語的范疇。

2) 否則(即Y不是X中述語動詞的一個論元)，定語語塊整體作為Y的附加語，如圖3所示。這里，我們?nèi)愿鶕?jù)前述的動詞子范疇框架來判斷動詞類型及其相應(yīng)的補足語。圖2及3中的下標(biāo)指示對應(yīng)的論元，用于區(qū)分句中述語動詞所操作的具有相同范疇的不同論元。例如，圖3中的論元“問題”具有范疇NP，同時被下標(biāo)標(biāo)注為z，并可以成為句中的述語動詞“關(guān)心”的賓語。同時，“代表們”也具有范疇NP，但它是“關(guān)心”的主語，因此在句中用下標(biāo)y標(biāo)示出來，同時也在“關(guān)心”的范疇中用對應(yīng)的下標(biāo)字母標(biāo)示出它操作的主語和賓語論元的位置。因此，下標(biāo)指示系統(tǒng)在CCG的分析過程中可以直接描述出述語動詞和論元的依存關(guān)系。

圖2 “的”字結(jié)構(gòu)的CCG分析結(jié)果(一)

圖3 “的”字結(jié)構(gòu)的CCG分析結(jié)果(二)

3.3.2 被動結(jié)構(gòu)

中文里的被動結(jié)構(gòu)通常都由明顯的標(biāo)記(marker)如“把”、“被”等介詞引出。在TCT中，這些介詞通常包含在一個介詞短語中。文獻[10]用HPSG處理這種結(jié)構(gòu)時，描述了三種操作方法，其一是將這些標(biāo)記作為動詞處理，其二是作為介詞，第三種方案則是將它們定義成一種格標(biāo)記(case marker)。考慮到TCT的標(biāo)注規(guī)范，本文采用介詞形式的處理方案更合理。在TCT中，幾乎所有的被動結(jié)構(gòu)都放在固定的pp+vp組合中，因此使用簡單的模式匹配方式即可激活針對被動結(jié)構(gòu)的處理規(guī)則。典型情況下，述語動詞的施事(agent)經(jīng)常被置于被動標(biāo)記之后，例如，[dj-1 [np-2 班里/n的/uJDE戰(zhàn)友/n] [vp-1 [pp-0 被/p[np-1 搏斗/vN聲/n] ] 驚醒/v] ]，如圖4的CCG表示。圖中的論元由下標(biāo)x，y，z標(biāo)示出來，并反映在述語動詞“驚醒”以及整個被動結(jié)構(gòu)所操作的論元關(guān)系上。

圖4 被動結(jié)構(gòu)的CCG分析結(jié)果

4 實驗結(jié)果及評價

4.1 CCG樹庫的統(tǒng)計結(jié)果及驗證

我們用以上方法完成了所用TCT樹庫中 32 737個句子的CCG轉(zhuǎn)換，句子覆蓋率達到99.9%，余下的33句因為特殊標(biāo)記或者非正常的句型結(jié)構(gòu)而超出了我們算法的處理能力范圍。與之相比，英文CCG樹庫[6]的句子覆蓋率為99.44%，未轉(zhuǎn)換的句子數(shù)為274，德文CCG樹庫[7]在50 474句的基礎(chǔ)上得到的句子覆蓋率僅為92.4%，從CTB轉(zhuǎn)換的CCG樹庫[4]在28 295句的基礎(chǔ)上達到了 99.76% 的句子覆蓋率。我們相對較高句子覆蓋率的原因可以歸結(jié)為：其一，TCT已經(jīng)標(biāo)示好的中心語對CCG的轉(zhuǎn)換有非常大的幫助；其二，大部分TCT樹結(jié)構(gòu)都已經(jīng)是二叉結(jié)構(gòu)，因此在進行結(jié)構(gòu)轉(zhuǎn)換的時候，降低了出現(xiàn)錯誤結(jié)構(gòu)的風(fēng)險；其三，針對特殊中文句型的操作涵蓋了絕大多數(shù)難以被標(biāo)準(zhǔn)算法正常處理的句子，而這部分對于提升整體句子覆蓋率有很大幫助。

具體地，在所得到的CCG樹庫中，一共有10個原子范疇，包括M(量詞)、MP(數(shù)量短語)、NP(名詞及名詞短語)、SP(方位詞及方位短語)、TP(時間短語)、PP(介詞短語)、S(句子)、conj(連接詞或連接標(biāo)記)、p(標(biāo)點符號)以及dlc(獨立語標(biāo)記)，其中dlc是直接來自TCT的標(biāo)記。在此基礎(chǔ)上，我們一共得到了763個不同的范疇類型，其中208個出現(xiàn)的頻度超過10次，279個僅僅出現(xiàn)一次。圖5顯示了范疇類型的個數(shù)隨語料庫規(guī)模增長的變化。我們也統(tǒng)計了它們在樹庫中的組合規(guī)則，有近1 600條，其中超過400條出現(xiàn)了10次以上。這些統(tǒng)計符合一般語法的觀點，即有限的重要范疇及其組合規(guī)則在集中大量地使用。

圖5 范疇類型(左)和規(guī)則的數(shù)目(右)與語料庫規(guī)模的增長關(guān)系

在詞匯方面，一共在23 641個詞(word type)上得到了41 733個詞匯范疇，其中一部分詞有為數(shù)眾多的不同范疇，承擔(dān)不同的句法功能，而一些詞僅有一個范疇，在整個語料中扮演固定的句法成分。作為案例，表2列出詞“學(xué)”的所有詞匯范疇。

表2 詞匯范疇示例

續(xù)表

4.2 基于人工標(biāo)注的評價

前述的統(tǒng)計分析給出對整個語料庫的宏觀描述，但我們無法從中得知句庫質(zhì)量。與文獻[4,6-7]中的工作不同，我們還在整個句庫中抽取出一部分句子進行了人工CCG標(biāo)注，然后作為標(biāo)準(zhǔn)與自動轉(zhuǎn)換的結(jié)果進行比較，對自動轉(zhuǎn)換結(jié)果評估。該工作相當(dāng)于直接比較兩個句子的句法分析結(jié)果，我們使用已被廣泛采用的自動句法分析評測方法，即通過計算兩個句子中正確的句法成分及其覆蓋的范圍是否一致，從而得到定量的評價結(jié)果，以慣常的準(zhǔn)確率(Precision)、召回率(Recall)以及基于這兩個指標(biāo)的F值來體現(xiàn)。為了保證選取的評測數(shù)據(jù)具有代表性，同時又不至于動用過多的資源進行標(biāo)注，需要平衡數(shù)據(jù)選取和人工標(biāo)注的負(fù)擔(dān)。因此我們對整個語料庫按照長度進行了統(tǒng)計，發(fā)現(xiàn)20詞以下的句子占總數(shù)的90%以上，從中選取總共200句，按長度分兩類，各100句，作為測試語料。測試結(jié)果如表3所示。

表3 基于人工標(biāo)注測試語料的評價結(jié)果

其中，“+動詞子范疇”表示在標(biāo)準(zhǔn)轉(zhuǎn)換的基礎(chǔ)上使用動詞子范疇框架來幫助識別動詞及其論元。從中可以看出，使用了動詞子范疇框架以后，轉(zhuǎn)換的質(zhì)量得到了明顯提高，在兩類測試集中各個指標(biāo)上分別提升了約2%和3%，特別在詞匯范疇的準(zhǔn)確度上也有更明顯的提高。這200句的分析結(jié)果一定程度上反映出，整體的轉(zhuǎn)換質(zhì)量較為可靠。后經(jīng)人工檢查，發(fā)現(xiàn)擁有完全正確的CCG句法樹的句子超過了70%，也證實該轉(zhuǎn)換算法的有效性以及得到的CCG樹庫的可靠性。

5 結(jié)論

本文提出了一種將中文TCT短語樹庫轉(zhuǎn)成CCG樹庫的方法，通過宏觀統(tǒng)計并和人工標(biāo)注對比，驗證了該方法的有效性。相比已有工作，我們有如下創(chuàng)新：第一，使用一個輕量級的動詞子范疇框架抽取結(jié)果，有效提升了在句子中識別動詞及其論元關(guān)系的正確率；第二，提出了針對不同中文句型的特殊處理方案，為其中很多典型結(jié)構(gòu)設(shè)計了有效的轉(zhuǎn)換規(guī)則；第三，直接使用了人工標(biāo)注結(jié)果來評價樹庫質(zhì)量，盡管我們使用的測試集規(guī)模較小(200句)，相信評測結(jié)果能適當(dāng)反映轉(zhuǎn)換結(jié)果的整體質(zhì)量。由于CCG樹庫的轉(zhuǎn)換方法與特定語種和樹庫資源緊密相關(guān)，因此在不同的樹庫上轉(zhuǎn)換的難度也不盡相同。該工作也為那些在沒有空語類標(biāo)注或者動詞論元關(guān)系描述的樹庫上實現(xiàn)CCG轉(zhuǎn)換提供了一個有價值的參考。

[1] Steedman, M. The Syntactic Process [M]. The MIT Press, 2000.

[2] Clark, S., Copestake, A., Curran, J.R., et al. Large-scale syntactic processing: Parsing the web. Final Report of the 2009 JHU CLSP Workshop [R]. John Hopkins University, 2009.

[3] Bar-Hillel, Y. A quasi-arithmetical notation for syntactic description [J]. Language, 1953, 29(1): 47-58.

[4] Tse, D., Curran, J.R. Chinese CCGbank: Extracting CCG derivations from the PENN Chinese Treebank [C]//Proceedings of COLING-2010. Beijing, China, 2010 : 1083-1091.

[5] Hockenmaier, J. Data and Models for Statistical Parsing with Combinatory Categorial Grammar [D]. University of Edinburgh, 2003.

[6] Hockenmaier, J., Steedman, M. CCGbank: A corpus of CCG derivations and dependency structures extracted from the penn treebank [J]. Computational Linguistics, 2007, 33(3) : 355-396.

[7] Hockenmaier, J. Creating a CCGbank and a wide-coverage CCG lexicon for German [C]//Proceedings of ACL-2006. Sydney, Australia. 2006 : 505-512.

[8] Zhou, Q.. Annotation scheme for Chinese Treebank [J]. Journal of Chinese Information Processing, 2004, 18(4) : 1-8.

[9] Liu, Y., Pan, W., Gu, W. Modern Chinese Grammar [M]. The Commercial Press, 2002.

[10] Huang, C.N., Song, Y. Chinese CCGbank Construction from Tsinghua Chinese Treebank [C]//Proceedings of the Roundtable Conference on Linguistic Corpus and Corpus Linguistics in the Chinese Context, Hong Kong, 2011.

[11] Yu, K., Yusuke, M., Wang, X., et al. Semi-automatically developing Chinese HPSG grammar from the PENN Chinese Treebank for deep parsing [C]//Proceedings of COLING 2010. Beijing, China, 2010: 1417-1425.