亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        組塊分析研究綜述

        2018-09-12 06:30:40錢小飛
        現(xiàn)代語(yǔ)文 2018年6期
        關(guān)鍵詞:組塊綜述

        摘 要:組塊分析是一種新的句法分析思路和策略,側(cè)重于解決底層歧義問(wèn)題。文章歸納分析了組塊分析的不同任務(wù)和研究方法,指出統(tǒng)計(jì)和規(guī)則方法相結(jié)合常常能取得更好的效果,但基本名詞短語(yǔ),最長(zhǎng)名詞短語(yǔ)等相對(duì)較大的語(yǔ)塊的識(shí)別效果仍然不能令人滿意。未來(lái)需要考慮如何將語(yǔ)言學(xué)特征融入統(tǒng)計(jì)機(jī)器學(xué)習(xí),并且更好地將統(tǒng)計(jì)和規(guī)則方法結(jié)合起來(lái)。

        關(guān)鍵詞:組塊 句法分析 綜述

        一、引言

        句法分析是中文信息處理領(lǐng)域諸多應(yīng)用技術(shù)的基礎(chǔ),如機(jī)器翻譯、人機(jī)對(duì)話系統(tǒng)等。但傳統(tǒng)的完全句法分析技術(shù)在處理大規(guī)模真實(shí)語(yǔ)料時(shí)遇到了較大的困難,正確率徘徊在70%~80%左右。在今天詞法分析已經(jīng)能夠基本達(dá)到應(yīng)用要求的情況下,句法分析技術(shù)已經(jīng)成為制約中文信息處理技術(shù)發(fā)展的瓶頸。

        20世紀(jì)90年代中后期,國(guó)內(nèi)引進(jìn)英語(yǔ)淺層句法分析的思想,展開(kāi)了組塊識(shí)別與分析研究。由于底層句法歧義在很大程度上影響了句法分析的效果,淺層句法分析主張從識(shí)別句子中某些簡(jiǎn)單的組塊開(kāi)始,在充分化解底層歧義的基礎(chǔ)上,逐步完成句法分析的任務(wù)。它把一個(gè)句子的完整分析過(guò)程劃分為三個(gè)部分:組塊識(shí)別、組塊間依存關(guān)系的識(shí)別以及組塊內(nèi)部的結(jié)構(gòu)分析,并著力于組塊的識(shí)別和內(nèi)部結(jié)構(gòu)分析。組塊分析是句法分析技術(shù)的進(jìn)步,特別適合于分析缺乏形態(tài)變化,底層歧義較多的漢語(yǔ)句子,成為漢語(yǔ)句法分析技術(shù)的重要發(fā)展趨勢(shì)。

        二、系統(tǒng)性的組塊分析研究

        組塊分析是自然語(yǔ)言處理一個(gè)新興的研究課題。它起源于上世紀(jì)80年代末90年代初國(guó)外關(guān)于組塊(chunk)的研究。

        組塊分析可以分為單一組塊分析和一般組塊分析。單一組塊主要研究基本名詞塊或基本名詞短語(yǔ)的識(shí)別分析問(wèn)題。一般組塊擴(kuò)展了研究范圍,研究多個(gè)(實(shí))語(yǔ)塊的識(shí)別分析問(wèn)題,可以稱為系統(tǒng)性的組塊分析。上世紀(jì)90年代中后期,國(guó)際上展開(kāi)了對(duì)基本塊的全面識(shí)別研究。

        (一)英語(yǔ)組塊分析研究

        早期的系統(tǒng)性組塊分析主要采用基于規(guī)則的方法,包括基于簡(jiǎn)單規(guī)則,基于轉(zhuǎn)換的錯(cuò)誤驅(qū)動(dòng)的方法和基于有限狀態(tài)機(jī)的方法,取得了一定的效果。

        Abney(1991)最先提出和界定了組塊概念,并從理論解釋和心理學(xué)實(shí)驗(yàn)上證實(shí)了組塊是句法的基礎(chǔ)單位,具有心理現(xiàn)實(shí)性,并正式提出基于組塊的分析方法,構(gòu)造了一個(gè)基于規(guī)則的分析系統(tǒng),先進(jìn)行組塊識(shí)別和系聯(lián)分析,化解底層歧義,以進(jìn)一步達(dá)到部分乃至完全句法分析的目的。

        Ramshaw & Marcus(1995)采用了基于轉(zhuǎn)換的錯(cuò)誤驅(qū)動(dòng)的學(xué)習(xí)方法進(jìn)行組塊識(shí)別。該方法將短語(yǔ)識(shí)別問(wèn)題轉(zhuǎn)化為位置標(biāo)注問(wèn)題,兼具統(tǒng)計(jì)方法和規(guī)則方法的優(yōu)點(diǎn)。系統(tǒng)首先對(duì)文本進(jìn)行初始標(biāo)注,比較初始標(biāo)注結(jié)果和正確答案,同時(shí)定義轉(zhuǎn)換規(guī)則空間(包括觸發(fā)條件和轉(zhuǎn)換動(dòng)作),并結(jié)合錯(cuò)誤情況形成候選轉(zhuǎn)換規(guī)則,然后遍歷規(guī)則空間中的每一條規(guī)則,用評(píng)價(jià)函數(shù)對(duì)候選規(guī)則打分,挑選出得分最高的一條規(guī)則,送入有序規(guī)則庫(kù),并應(yīng)用該規(guī)則對(duì)當(dāng)前標(biāo)注結(jié)果進(jìn)行刷新,然后再根據(jù)轉(zhuǎn)換規(guī)則空間和錯(cuò)誤情況添加新的候選轉(zhuǎn)換規(guī)則。學(xué)習(xí)過(guò)程循環(huán)進(jìn)行,直到?jīng)]有規(guī)則能使評(píng)價(jià)函數(shù)高于一定閾值。組塊識(shí)別采用學(xué)習(xí)得到的有序規(guī)則集進(jìn)行標(biāo)注。該方法的一個(gè)好處是系統(tǒng)的分析能力和識(shí)別結(jié)果易于解釋。

        Abney(1996)提出有限狀態(tài)疊(Finite State Cascade)的方法,其基本思想是將句法分析的過(guò)程分成多個(gè)層次,每一層級(jí)上的短語(yǔ)只能建立在前一級(jí)的基礎(chǔ)上,在每個(gè)層次內(nèi)部,使用簡(jiǎn)單的有限狀態(tài)自動(dòng)機(jī)進(jìn)行分析。分析過(guò)程包括一系列狀態(tài)轉(zhuǎn)換。每一個(gè)轉(zhuǎn)換定義為一個(gè)模式的集合,每一個(gè)模式是由一個(gè)句法范疇符號(hào)和一個(gè)正則式構(gòu)成的產(chǎn)生式。正則式可轉(zhuǎn)換為有限狀態(tài)自動(dòng)機(jī),從而在某一層產(chǎn)生一個(gè)單一的、確定的有限狀態(tài)層次識(shí)別器Ti,它以Li-1級(jí)的輸出為輸入,并產(chǎn)生Li作為輸出。在模式匹配過(guò)程中,如遇到?jīng)_突,按最大匹配原則選擇合適的模式。

        自然語(yǔ)言學(xué)習(xí)國(guó)際會(huì)議(CONCLL-2000)正式提出語(yǔ)塊共享任務(wù),定義了英語(yǔ)的11種基本語(yǔ)塊,包括NP,VP,PP,ADJP,ADVP,CONJP等?;谝?guī)則的方法和基于統(tǒng)計(jì)的方法在此次任務(wù)中得到廣泛的應(yīng)用,特別是基于統(tǒng)計(jì)的方法占據(jù)了主流,如隱馬爾可夫方法,最大熵方法,支持向量機(jī)方法,等等。其中,分類器集成成為普遍采納的一種策略,并且取得了良好的效果。

        自然語(yǔ)言學(xué)習(xí)國(guó)際會(huì)議(CONCLL-2001)將組塊分析任務(wù)推廣到更大塊——小句(Clause)的識(shí)別。與組塊識(shí)別任務(wù)不同,由于小句結(jié)構(gòu)的復(fù)雜性和嵌套性,任務(wù)被分解為三個(gè)部分:左邊界的識(shí)別、右邊界的識(shí)別和左右邊界的配對(duì)。英語(yǔ)小句識(shí)別任務(wù)與漢語(yǔ)最長(zhǎng)名詞短語(yǔ)識(shí)別任務(wù)具有一定程度的相似性,漢語(yǔ)名詞短語(yǔ)中常見(jiàn)的“的”、指示詞等可以作為關(guān)系從句的標(biāo)記,構(gòu)造關(guān)系從句。此后,組塊識(shí)別進(jìn)一步應(yīng)用到句法語(yǔ)義領(lǐng)域,如自然語(yǔ)言學(xué)習(xí)國(guó)際會(huì)議(CONCLL-2002)提出的語(yǔ)義角色標(biāo)注任務(wù)。

        (二)漢語(yǔ)組塊分析研究

        上世紀(jì)90年代以來(lái),國(guó)內(nèi)引入組塊分析的思想,在漢語(yǔ)短語(yǔ)層面展開(kāi)了廣泛的研究,主要見(jiàn)于短語(yǔ)的邊界識(shí)別、短語(yǔ)內(nèi)部的結(jié)構(gòu)分析等方面。

        劉芳、趙鐵軍等(2000)將組塊界定為包含一層或者兩層符合一定句法功能和反映組成意義的短語(yǔ),并定義了8種組塊類型,采用增強(qiáng)的馬爾科夫模型與基于錯(cuò)誤驅(qū)動(dòng)的轉(zhuǎn)換的方法對(duì)漢語(yǔ)組塊進(jìn)行了識(shí)別研究。

        周強(qiáng)(2001,2007a)通過(guò)引入詞匯關(guān)聯(lián)信息,為缺乏形式標(biāo)記的漢語(yǔ)尋找內(nèi)聚性判定標(biāo)準(zhǔn),提出了基于拓?fù)浣Y(jié)構(gòu)的漢語(yǔ)基本塊的描述體系,確立了句法和關(guān)系標(biāo)記集。其中,基本拓?fù)浣Y(jié)構(gòu)包括三種:左角中心結(jié)構(gòu)、右角中心結(jié)構(gòu)和鏈?zhǔn)疥P(guān)聯(lián)結(jié)構(gòu);句法標(biāo)記集包括7種:NP,VP,AP,DP,MP,TP,SP。基本拓?fù)浣Y(jié)構(gòu)對(duì)基本塊中的多詞表達(dá)(MWC)內(nèi)部依存關(guān)系進(jìn)行分析,建立了句法關(guān)系和語(yǔ)義內(nèi)容(詞匯關(guān)聯(lián))的橋梁。在應(yīng)用實(shí)踐上,張昱琪、周強(qiáng)(2002)應(yīng)用基于實(shí)例的MBL學(xué)習(xí)方法,對(duì)漢語(yǔ)中較為常見(jiàn)的9種基本短語(yǔ)進(jìn)行了識(shí)別研究。

        周強(qiáng)等(2007b)進(jìn)一步研究了漢語(yǔ)功能塊的自動(dòng)分析問(wèn)題,界定了主語(yǔ)、謂語(yǔ)、賓語(yǔ)、狀語(yǔ)、兼語(yǔ)、補(bǔ)語(yǔ)、語(yǔ)氣、獨(dú)立語(yǔ)等8種功能塊類型,并提出了邊界識(shí)別模型和序列標(biāo)注模型進(jìn)行計(jì)算模擬。陳億、周強(qiáng)等(2008)進(jìn)一步將功能塊推廣到多層級(jí)層面,統(tǒng)計(jì)表明,多層級(jí)的功能塊具有結(jié)構(gòu)簡(jiǎn)單、長(zhǎng)度短且分布均勻的優(yōu)點(diǎn),有利于提高分析器的性能。我們認(rèn)為,復(fù)雜塊的多層次化是由句法遞歸特性決定的,在解決基本塊問(wèn)題之后,多層次的塊分析機(jī)制是需要進(jìn)一步考慮的問(wèn)題。

        李素建(2002)定義了12種組塊類型,以線性方式覆蓋了語(yǔ)料中所有的切分單位,并采用最大熵模型、有限狀態(tài)自動(dòng)機(jī)和基于錯(cuò)誤轉(zhuǎn)換相結(jié)合的方法進(jìn)行組塊分析,取得了良好效果,文章還進(jìn)一步討論了組塊相似度計(jì)算的相關(guān)問(wèn)題。

        組塊分析作為一種新的研究思路,受到學(xué)術(shù)界的廣泛關(guān)注。漢語(yǔ)作為一種缺乏形式標(biāo)記的語(yǔ)言,其組塊界定的理論基礎(chǔ)仍然值得進(jìn)一步研究;組塊分析中,統(tǒng)計(jì)方法占據(jù)了主流,但統(tǒng)計(jì)與規(guī)則相結(jié)合常常能夠取得更好的效果;基本塊的研究已經(jīng)取得一定成果,在基本塊分析的基礎(chǔ)上,我們需要進(jìn)一步研究如何處理多層次、大顆粒度的組塊。

        三、基本名詞短語(yǔ)識(shí)別與分析

        基本名詞短語(yǔ)是最復(fù)雜的組塊類型之一,是組塊中長(zhǎng)度最長(zhǎng)、識(shí)別精度最低的組塊,也是組塊分析的重點(diǎn)問(wèn)題。

        在英語(yǔ)方面,基本名詞短語(yǔ)的識(shí)別與分析主要采用統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法,該方法將識(shí)別問(wèn)題轉(zhuǎn)換為分類問(wèn)題,為了進(jìn)一步提高識(shí)別效果,研究者常常使用多個(gè)分類器,并將按照一定的方法將識(shí)別結(jié)果融合起來(lái),稱為多分類器融合。多分類器融合的方法常常能夠提高識(shí)別效果,但是識(shí)別結(jié)果的可解釋性較差。

        Tjong Kim Sang(2000a,2000b)分別采用了兩種不同的集成方法識(shí)別基本名詞短語(yǔ)。一種方法是MBL系統(tǒng)內(nèi)集成,采用不同的標(biāo)記集(IOB1,IOB2,IOE1,IOE2,O+C)構(gòu)造基本分類器,另一種方法是系統(tǒng)間集成,采用MBL等7個(gè)分類器作為基本分類器,并測(cè)試了不同的融合策略。在標(biāo)準(zhǔn)測(cè)試集上F1值較前人研究分別取得了0.5%和0.6%左右的提高。

        Taku Kudo(2001)以SVM作為分類器,采用分類器集成的方法識(shí)別基本名詞短語(yǔ)。基本分類器的構(gòu)造采用了多種方式,如采用不同的標(biāo)記集,不同的分析方向,以及不同的投票方式等。實(shí)驗(yàn)對(duì)基本名詞短語(yǔ)進(jìn)行了獨(dú)立評(píng)測(cè),在標(biāo)準(zhǔn)測(cè)試集上較Tjong Kim Sang(2000b)的工作提高了0.4%左右。

        在漢語(yǔ)方面,基本名詞短語(yǔ)的識(shí)別分析以統(tǒng)計(jì)方法和統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法為主,同時(shí)嘗試了多種不同的基于規(guī)則和理解的方法。

        趙軍(1998)以漢語(yǔ)“區(qū)別性定語(yǔ)、描寫(xiě)性定語(yǔ)和限定性定語(yǔ)”的定語(yǔ)語(yǔ)序?yàn)槔碚撘罁?jù),將基本名詞短語(yǔ)定義為限定性定語(yǔ)和中心語(yǔ)的組合形式,提出baseNP句法組成模板與N元模型相結(jié)合的概率識(shí)別模型、基于轉(zhuǎn)換的識(shí)別模型和基于中心詞潛在依存關(guān)系的結(jié)構(gòu)分析模型。該研究以語(yǔ)言距離為基礎(chǔ)界定組塊,符合認(rèn)知上的規(guī)律,特別適合缺乏標(biāo)記的漢語(yǔ)組塊界定。

        張瑞霞、張蕾(2004)提出了基于知識(shí)圖的漢語(yǔ)基本名詞短語(yǔ)分析模型,以《知網(wǎng)》為語(yǔ)義知識(shí)資源,采用以語(yǔ)義為主、語(yǔ)法為輔的策略,先為短語(yǔ)中的每一個(gè)實(shí)詞構(gòu)造“詞圖”,然后合并“詞圖”為“短語(yǔ)圖”,從而得到一個(gè)關(guān)于結(jié)構(gòu)和語(yǔ)義信息的知識(shí)圖,達(dá)到分析內(nèi)部句法關(guān)系和語(yǔ)義關(guān)系的目的。這種方法可以看作是基于理解的方法。

        徐昉、宗成慶等(2007)在賓州樹(shù)庫(kù)上采用基于錯(cuò)誤驅(qū)動(dòng)的組合分類方法識(shí)別漢語(yǔ)基本名詞短語(yǔ)。通過(guò)對(duì)比兩種不同類型的分類器,基于轉(zhuǎn)換的方法和條件隨機(jī)場(chǎng)方法的分類結(jié)果,利用支持向量機(jī)學(xué)習(xí)其中的錯(cuò)誤規(guī)律,對(duì)兩分類器產(chǎn)生的不同結(jié)果進(jìn)行糾錯(cuò),從而達(dá)到提高系統(tǒng)整體性能的效果。文章還比較了條件隨機(jī)場(chǎng)和支持向量機(jī)的識(shí)別效果。結(jié)果顯示,兩種模型的效果相近,支持向量機(jī)稍勝出。我們認(rèn)為,模型識(shí)別效果的差異受到多種因素的影響,與對(duì)象界定、參數(shù)設(shè)定都有關(guān)系。

        徐艷華(2008)根據(jù)語(yǔ)法功能完全相同即為一類的原則,對(duì)3514個(gè)高頻實(shí)詞進(jìn)行語(yǔ)法功能考察,分為676類,建立了漢語(yǔ)詞類體系?;久~短語(yǔ)識(shí)別以該體系為依據(jù),將實(shí)例中的詞語(yǔ)序列轉(zhuǎn)換成相應(yīng)的類標(biāo)記序列,并與句法規(guī)則庫(kù)對(duì)照確定序列內(nèi)部的句法關(guān)系。通過(guò)考察10081個(gè)“v+n”序列實(shí)例,總結(jié)出2066條句法規(guī)則。在判斷該序列是否基本名詞短語(yǔ)實(shí)驗(yàn)中,按照組合模式和實(shí)例數(shù)統(tǒng)計(jì),準(zhǔn)確率分別為70.7%和71.3%。該研究顯示了語(yǔ)言知識(shí)細(xì)化對(duì)于解決句法問(wèn)題的作用。

        可以看出,盡管統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法在基本名詞短語(yǔ)識(shí)別任務(wù)中占據(jù)了主流,但不乏理性主義的方法,兩者各有優(yōu)點(diǎn)。前者多能取得較好的效果。多分類器融合的方法能夠進(jìn)一步提升識(shí)別效果,但提升幅度較為有限;后者的可解釋性更強(qiáng),也有非常好的提升潛力,因?yàn)檎Z(yǔ)言序列本質(zhì)上是結(jié)構(gòu)問(wèn)題。

        四、最長(zhǎng)名詞短語(yǔ)識(shí)別與分析

        最長(zhǎng)名詞短語(yǔ)的相關(guān)研究包括最長(zhǎng)名詞短語(yǔ)子集和鄰近集合的識(shí)別和嚴(yán)格的最長(zhǎng)名詞短語(yǔ)的識(shí)別兩個(gè)部分。

        在英語(yǔ)方面,大多數(shù)研究屬于前者。Voutilainen(1993)的名詞短語(yǔ)獲取工具NPTool,采用基于限制的文法進(jìn)行詞語(yǔ)的句法功能標(biāo)注,消解詞語(yǔ)級(jí)歧義,并利用兩種有限狀態(tài)分析機(jī)制(NP-否定傾向機(jī)制和NP-肯定傾向機(jī)制)來(lái)發(fā)現(xiàn)文本中可能存在的最長(zhǎng)名詞短語(yǔ),最后使用正確表達(dá)式抽取最長(zhǎng)名詞短語(yǔ)。NPTool識(shí)別的最長(zhǎng)名詞短語(yǔ)包括了介詞和連詞,但不包括“that”引導(dǎo)的定語(yǔ)從句。

        臺(tái)灣的Kuang-huaChen(1994)等人將名詞短語(yǔ)分為最短名詞短語(yǔ)、最長(zhǎng)名詞短語(yǔ)、一般名詞短語(yǔ)以及可應(yīng)用名詞短語(yǔ),并指出最短語(yǔ)名詞短語(yǔ)、可應(yīng)用名詞短語(yǔ)與最長(zhǎng)名詞短語(yǔ)之間具有相當(dāng)?shù)闹丿B率。文章利用統(tǒng)計(jì)分塊(chunking)和有限狀態(tài)分析相結(jié)合的方法來(lái)發(fā)現(xiàn)句子中的各類名詞短語(yǔ),總體正確率達(dá)到95%,其中,最長(zhǎng)名詞短語(yǔ)召回率達(dá)到70%。

        在漢語(yǔ)方面,大多數(shù)研究屬于后者。李文捷(1995)構(gòu)造了兩個(gè)邊界概率矩陣:左邊界概率矩陣和右邊界概率矩陣,識(shí)別最長(zhǎng)名詞短語(yǔ)的左右邊界,并基于最大長(zhǎng)度匹配和最大概率配對(duì)的不同策略識(shí)別最長(zhǎng)名詞短語(yǔ),開(kāi)放測(cè)試取得了71.3%正確率。實(shí)驗(yàn)表明,不同的匹配方式對(duì)于識(shí)別的影響不大。

        周強(qiáng)、孫茂松等(2000)全面分析了最長(zhǎng)名詞短語(yǔ)的分布特點(diǎn),提出了兩種有效的漢語(yǔ)最長(zhǎng)名詞短語(yǔ)自動(dòng)識(shí)別算法:基于邊界分布概率的識(shí)別算法和基于內(nèi)部結(jié)構(gòu)組合的識(shí)別算法。后者在邊界預(yù)處理的基礎(chǔ)上,確立基本組合成分,發(fā)現(xiàn)最長(zhǎng)名詞短語(yǔ)的右邊界,并向左迭代組合,形成新的最長(zhǎng)名詞短語(yǔ),取得了85.4%的正確率和82.3%的召回率。實(shí)驗(yàn)表明,長(zhǎng)度大于等于5的復(fù)雜最長(zhǎng)名詞短語(yǔ)的識(shí)別精度比簡(jiǎn)單最長(zhǎng)名詞短語(yǔ)低16%個(gè)百分點(diǎn)。復(fù)雜最長(zhǎng)名詞短語(yǔ)識(shí)別精度較低的原因還值得進(jìn)一步考慮。從語(yǔ)法上說(shuō),由于句法關(guān)系較為復(fù)雜的“的”字短語(yǔ)參與了部分最長(zhǎng)名詞短語(yǔ)的構(gòu)成,也會(huì)使得識(shí)別難度增大,而這部分最長(zhǎng)名詞短語(yǔ)的長(zhǎng)度也是較大的。

        在周強(qiáng)、孫茂松等(2000)工作的基礎(chǔ)上,馮沖、陳肇雄等(2006)從機(jī)器翻譯的實(shí)用目的出發(fā),使用條件隨機(jī)場(chǎng)模型識(shí)別復(fù)雜最長(zhǎng)名詞短語(yǔ)。模型選用了當(dāng)前及左右三個(gè)位置的詞和詞性,及其組合形式作為特征,并提供了置信度用于人機(jī)交互。實(shí)驗(yàn)從訓(xùn)練語(yǔ)料中隨機(jī)選取了部分語(yǔ)料進(jìn)行測(cè)試,取得了75.4%的正確率和70.6%的召回率;經(jīng)過(guò)人工干預(yù),系統(tǒng)能夠取得更好的效果。

        代翠(2009)使用條件隨機(jī)場(chǎng)模型以及針對(duì)開(kāi)放測(cè)試語(yǔ)料的錯(cuò)誤驅(qū)動(dòng)的后繼規(guī)則修正辦法識(shí)別最長(zhǎng)名詞短語(yǔ)。規(guī)則部分處理了漏識(shí),固定搭配,簡(jiǎn)單并列結(jié)構(gòu)等5種情況。實(shí)驗(yàn)基于哈工大漢語(yǔ)樹(shù)庫(kù)進(jìn)行,隨機(jī)抽取6330個(gè)句子作訓(xùn)練,1000個(gè)句子作測(cè)試,基于規(guī)則后繼修正的方法具有較明顯的效果。之后采用層疊條件隨機(jī)場(chǎng)模型對(duì)最長(zhǎng)名詞短語(yǔ)進(jìn)行分析,分析策略與Abney的有限狀態(tài)疊類似,只是每一層級(jí)上的短語(yǔ)由條件隨機(jī)場(chǎng)模型而非有限狀態(tài)自動(dòng)機(jī)進(jìn)行識(shí)別,實(shí)驗(yàn)取得了85.1%的分析正確率。

        鑒萍、宗成慶(2009)認(rèn)為最長(zhǎng)短語(yǔ),包括最長(zhǎng)名詞短語(yǔ)和介詞短語(yǔ),左部和右部具有不同的語(yǔ)言學(xué)特征,并且最長(zhǎng)名詞短語(yǔ)右部特征更明顯。文章選擇支持向量機(jī)識(shí)別最長(zhǎng)短語(yǔ),認(rèn)為基于支持向量機(jī)的標(biāo)注模型作為確定性模型,能夠更好地利用最長(zhǎng)名詞短語(yǔ)的右部特征,如:中心詞,“的”等,指導(dǎo)左部邊界的識(shí)別。實(shí)驗(yàn)表明,最長(zhǎng)名詞短語(yǔ)的反向掃描策略的識(shí)別效果明顯優(yōu)于正向掃描。文章還進(jìn)一步利用雙向識(shí)別的互補(bǔ)性,提出基于分歧點(diǎn)的分類器集成方法,提高了識(shí)別效果。

        錢小飛(2015)分析了最長(zhǎng)名詞短語(yǔ)的結(jié)構(gòu)和線性特征,指出統(tǒng)計(jì)機(jī)器學(xué)習(xí)模型的觀察窗口有限,導(dǎo)致識(shí)別特征難以使用,并提出了一種基于歸約的最長(zhǎng)名詞短語(yǔ)識(shí)別方法,該方法首先識(shí)別基本名詞短語(yǔ),歸約為中心詞,并保留其起始句法特征,使得模型的觀察范圍大大拓展,將識(shí)別的F值提高了1%。

        綜上可見(jiàn),統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法仍然是基本名詞短語(yǔ)和最長(zhǎng)名詞短語(yǔ)識(shí)別的主流方法。多分類器集成策略開(kāi)始得到應(yīng)用。一些研究注意到名詞短語(yǔ)的語(yǔ)言學(xué)特征,這些特征在規(guī)則方法中應(yīng)用廣泛。但是,作為一種復(fù)雜短語(yǔ)的識(shí)別,如何將語(yǔ)言學(xué)特征融入統(tǒng)計(jì)機(jī)器學(xué)習(xí),并且更好地將統(tǒng)計(jì)和規(guī)則方法結(jié)合起來(lái),仍然值得進(jìn)一步研究。

        五、結(jié)語(yǔ)

        組塊分析作為一種新的分析技術(shù),著眼于簡(jiǎn)單語(yǔ)塊的分析,在一定程度上緩解了底層歧義問(wèn)題,有利于句法分析的發(fā)展。另一方面,組塊分析仍然沒(méi)有達(dá)到令人滿意的地步,特別是基本名詞短語(yǔ),最長(zhǎng)名詞短語(yǔ)等相對(duì)較大的語(yǔ)塊,識(shí)別精度仍然不夠。未來(lái)我們需要進(jìn)一步考慮,哪些結(jié)構(gòu)是適合進(jìn)行組塊分析的,如何將語(yǔ)言學(xué)特征融入統(tǒng)計(jì)機(jī)器學(xué)習(xí),并且更好地將統(tǒng)計(jì)和規(guī)則方法結(jié)合起來(lái)。

        參考文獻(xiàn):

        [1]Chen Kuang-hua,C.,&Chen; Hsin-hsi,C.Extracting

        noun phrases from large-scale texts:a hybrid approach and its automatic evaluation[A].Proceedings of the 32nd Annual Meeting of Association of Computational Linguistics,1994:234-241.

        [2]Ramshaw,L.,Marcus,F(xiàn).Text chunking using

        transformational-based learning[A].Proceedings of the Third Workshop on Very Large Corpora,1995.

        [3]Steven Abney.Parsing by chunks[A].Principle-

        Based Parsing:Computation and Psycholinguistics,1991b:257-278.

        [4]Abney,S.Partial Parsing via Finite-

        State Cascades[A].Proceedings of the ESSLLI'96 Robust Parsing Workshop,1996.

        [5]Kudo,T.,& Matsumoto,Y.Chunking with support

        vector machines[A].Meeting of the North American Chapter of the Association for Computational Linguistics on Language Technologies,2001,(9):1-8.

        [6]Tjong Kim Sang.Noun phrase recognition by

        system combination[A].Proceedings of the ANLP-NAACL,2000a:50–55.

        [7]Tjong Kim Sang,EF.Applying system combination

        [A].to base noun phrase identification.Proceedings of COLING 2000,2000b:857-863.

        [8]Voutilainen,A.NPTool:a detector of English

        noun phrases[A].Proceedings of the Workshop on Very Large Corpora:Academic and Industrial Perspectives,1993:48-57.

        [9]陳億,周強(qiáng).分層次的漢語(yǔ)功能塊描述庫(kù)構(gòu)建分析

        [J].中文信息學(xué)報(bào),2008,(3):24-31.

        [10]代翠.漢語(yǔ)最長(zhǎng)名詞短語(yǔ)的自動(dòng)識(shí)別與分析[D].

        沈陽(yáng):沈陽(yáng)航空工業(yè)學(xué)院碩士學(xué)位論文,2009.

        [11]鑒萍,宗成慶.基于雙向標(biāo)注融合的漢語(yǔ)最長(zhǎng)

        短語(yǔ)識(shí)別方法[J].智能系統(tǒng)學(xué)報(bào),2009,(5):406-413.

        [12]李素建.組塊計(jì)算的若干研究[D].北京:中國(guó)科

        學(xué)院計(jì)算技術(shù)研究所博士學(xué)位論文,2002.

        [13]李文捷,周明等.基于語(yǔ)料庫(kù)的中文最長(zhǎng)名詞短

        語(yǔ)的自動(dòng)提取[A].陳力為,袁琦主編.計(jì)算語(yǔ)言學(xué)進(jìn)展與應(yīng)用.北京:清華大學(xué)出版社,1995:119-124.

        [14]劉芳,趙鐵軍等.基于統(tǒng)計(jì)的漢語(yǔ)組塊分析[J].

        中文信息學(xué)報(bào),2000,(6):28-32.

        [15]錢小飛.基于歸約的漢語(yǔ)最長(zhǎng)名詞短語(yǔ)識(shí)別方法

        [J].中文信息學(xué)報(bào),2015,(2).

        [16]徐昉,宗成慶.中文BaseNP識(shí)別:錯(cuò)誤驅(qū)動(dòng)的組

        合分類器方法[J].中文信息學(xué)報(bào),2007,(1).

        [17]徐艷華.基于語(yǔ)料庫(kù)的基本名詞短語(yǔ)研究[J].語(yǔ)

        言文字應(yīng)用,2008,(1).

        [18]張瑞霞,張蕾.基于知識(shí)圖的漢語(yǔ)基本名詞短語(yǔ)

        分析模型[J].中文信息學(xué)報(bào),2004,(3):47-53.

        [19]張昱琪,周強(qiáng).漢語(yǔ)基本短語(yǔ)的自動(dòng)識(shí)別[J].中

        文信息學(xué)報(bào),2002,(6):1-8.

        [20]趙軍.漢語(yǔ)基本名詞短語(yǔ)識(shí)別及結(jié)構(gòu)分析[D].北

        京:清華大學(xué)博士學(xué)位論文,1998.

        [21]周強(qiáng),孫茂松,黃昌寧.漢語(yǔ)最長(zhǎng)名詞短語(yǔ)的自

        動(dòng)識(shí)別[J].軟件學(xué)報(bào),2000,(2):195-201.

        [22]周強(qiáng).漢語(yǔ)基本短語(yǔ)的標(biāo)注規(guī)范.清華大學(xué)計(jì)算機(jī)

        系智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室技術(shù)資料,2001,(4).

        [23]周強(qiáng).漢語(yǔ)基本塊描述體系[J].中文信息學(xué)報(bào),

        2007a,(3):21-27.

        [24]周強(qiáng).漢語(yǔ)功能塊自動(dòng)分析[J].中文信息學(xué)報(bào),

        2007b,(5):18-24.

        猜你喜歡
        組塊綜述
        橫浪作用下大型上部組塊雙船浮托安裝動(dòng)力響應(yīng)特性試驗(yàn)研究
        組塊理論的解讀及啟示
        融入注意力機(jī)制的越南語(yǔ)組塊識(shí)別方法
        SEBS改性瀝青綜述
        石油瀝青(2018年6期)2018-12-29 12:07:04
        NBA新賽季綜述
        NBA特刊(2018年21期)2018-11-24 02:47:52
        近代顯示技術(shù)綜述
        電子制作(2018年14期)2018-08-21 01:38:34
        陸豐7-2油田導(dǎo)管架平臺(tái)上部組塊低位浮托安裝關(guān)鍵技術(shù)
        JOURNAL OF FUNCTIONAL POLYMERS
        Progress of DNA-based Methods for Species Identification
        綜述
        江蘇年鑒(2014年0期)2014-03-11 17:09:58
        热久久美女精品天天吊色| 亚洲av手机在线一区| 人妖国产视频一区二区| 人人鲁人人莫人人爱精品| 中文人妻av久久人妻18| 麻豆AⅤ精品无码一区二区| 久久婷婷夜色精品国产 | 无码伊人久久大蕉中文无码 | 美女与黑人巨大进入免费观看| 国产情侣真实露脸在线| 亚洲av无码国产剧情| 国产精品中文第一字幕| 日韩精品自拍一区二区| 四虎影在永久在线观看| 最近中文字幕视频完整版在线看| 亚洲AV无码一区二区三区天堂网 | 日本高清一区二区三区不卡| 国产精品视频亚洲二区| 成人av综合资源在线| 国产又猛又黄又爽| 97人人超碰国产精品最新o| 国产精品电影久久久久电影网| 人妻中文字幕一区二区视频| 国产日韩av在线播放| 免费黄色电影在线观看| 无码人妻专区一区二区三区| 亚洲国产综合精品中久| 中文字幕无码毛片免费看| 伊人22综合| 亚洲一区二区三区厕所偷拍| 欧美性猛交aaaa片黑人| 一本大道无码av天堂| 第十色丰满无码| 日韩一区二区三区熟女| а天堂中文最新一区二区三区| 老男人久久青草AV高清| 中文字幕一区二区三区四区久久| 国产乱人伦偷精品视频还看的| 久久人妻无码一区二区| 一级免费毛片| 中文字幕精品亚洲一区二区三区|