王曉霞

摘 要 本文主要闡述了文摘的三大評(píng)估方法以及機(jī)械文摘質(zhì)量自動(dòng)評(píng)估的實(shí)現(xiàn)，通過(guò)對(duì)各種方法的具體介紹來(lái)選擇合適的文摘評(píng)估方法。

關(guān)鍵詞 摘要 評(píng)估 評(píng)價(jià)方法

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

自動(dòng)文摘的評(píng)價(jià)方法大致可分為三大類(lèi)：（1）直接（direct）評(píng)價(jià)方法；（2）基于任務(wù)的評(píng)價(jià)（task based）方法；（3）基于目標(biāo)的評(píng)估（target-based）方法。以下為具體介紹：

1直接評(píng)價(jià)方法

在自動(dòng)文摘研究的初期，主要是系統(tǒng)的開(kāi)發(fā)者對(duì)文摘系統(tǒng)進(jìn)行評(píng)價(jià)測(cè)試，根據(jù)評(píng)測(cè)結(jié)果來(lái)指導(dǎo)研究工作。因此，他們大多采用直接分析文摘質(zhì)量的方法來(lái)對(duì)系統(tǒng)性能進(jìn)行評(píng)價(jià)。如下方法：

（1）與“理想摘要”進(jìn)行比較

這種方法的核心思想是將獲得的摘要與“理想摘要”進(jìn)行對(duì)比，根據(jù)兩者的相似性進(jìn)行評(píng)價(jià)。與“理想摘要”越接近，則說(shuō)明摘要的質(zhì)量越高。

（2）其他方法

提問(wèn)回答評(píng)價(jià)方法認(rèn)為好的摘要必須能夠闡述原文中的關(guān)鍵要點(diǎn)，因此，該方法要求首先對(duì)文章進(jìn)行分析，取出其中的要點(diǎn)，根據(jù)摘要中是否包含這些要點(diǎn)來(lái)進(jìn)行評(píng)價(jià)研究。他認(rèn)為用于考試而提出的問(wèn)題通常反映了文章的主題。

2基于任務(wù)的評(píng)價(jià)方法

為了克服直接評(píng)價(jià)方法的弱點(diǎn)，近年來(lái)一些研究者提出應(yīng)采用基于任務(wù)的評(píng)價(jià)方法來(lái)對(duì)自動(dòng)文摘系統(tǒng)進(jìn)行評(píng)價(jià)，即將摘要應(yīng)用于特定的任務(wù)，根據(jù)文摘系統(tǒng)對(duì)該任務(wù)的促進(jìn)作用來(lái)評(píng)價(jià)文摘系統(tǒng)的性能。Brandow嘗試在IR（information retrieval）任務(wù)中評(píng)價(jià)文摘系統(tǒng)。對(duì)比采用摘要進(jìn)行檢索與原文進(jìn)行檢索的準(zhǔn)確度，來(lái)確定是否可以在IR中利用摘要來(lái)代替原文。Mike（1994）嘗試在一個(gè)新聞分析任務(wù)中，根據(jù)利用摘要進(jìn)行新報(bào)分析的效果來(lái)進(jìn)行評(píng)價(jià)。此外，由于情報(bào)處理領(lǐng)域中有許多具體任務(wù)，因而不斷有研究者提出新的任務(wù)、用于基于任務(wù)的評(píng)價(jià)方法。

3基于目標(biāo)的評(píng)估方法

這里只介紹Edmundson方法。Edmundson的評(píng)估是典型的基于目標(biāo)的評(píng)估方法，他的評(píng)估目的是比較各種自動(dòng)文摘方法的優(yōu)劣：標(biāo)題關(guān)鍵詞法，位置法，文中關(guān)鍵詞法，指示性詞語(yǔ)以及這四備戰(zhàn)方法的組合。Edmundson采用了3種評(píng)估方法，分別為客觀評(píng)估、主觀評(píng)估、統(tǒng)計(jì)錯(cuò)摘的句子。下面重點(diǎn)介紹方法的基本原理及其實(shí)現(xiàn)技術(shù)。

評(píng)測(cè)的內(nèi)容選擇以原文為依據(jù)，評(píng)估文摘是否比較準(zhǔn)確全面地表達(dá)了原文的中心意思，其實(shí)質(zhì)就是文章質(zhì)量評(píng)測(cè)。通常，人們一般對(duì)文摘有長(zhǎng)度限制，在表達(dá)同樣意思的前提下，認(rèn)為短文較長(zhǎng)文摘要好。這樣，好的機(jī)械文摘便可定義為“選取了最少的句子數(shù)，并全面表達(dá)了原文中心意思的機(jī)械文摘?！?/p>

語(yǔ)篇語(yǔ)言學(xué)的理論認(rèn)為，語(yǔ)篇在意義上存在一種層次關(guān)系，即：

語(yǔ)篇的中心意思=各組成意義段的中心意思按一定邏輯關(guān)系的組合

意義段的中心意思=各組成子意義段的中心意思按一定邏輯關(guān)系的組合。

子意義段的中心意思=各組成下位子意義段的中心意思按一定邏輯關(guān)系的組合。

直至不能再劃分為更小的子意義段。

需要指出的是，在任何具體語(yǔ)篇中，這種分層是有窮的，而且由于受長(zhǎng)度限制，到子意義段的文摘已屬少見(jiàn)，一般文摘到意義段已足夠。

這種意義上的層次關(guān)系必然要在形式上體現(xiàn)出來(lái)，即文章的句子之間大致存在一種層次關(guān)系，構(gòu)成一種樹(shù)形（金字塔形）結(jié)構(gòu)。層次越高所含的句子數(shù)目越少。

4機(jī)械文摘質(zhì)量自動(dòng)評(píng)估的實(shí)現(xiàn)

（1）機(jī)械文摘質(zhì)量自動(dòng)評(píng)估的模型，在這個(gè)模型中，主動(dòng)要有3個(gè)方面的工作要做：

①原文（相當(dāng)于考試的題目）的選擇。

②評(píng)價(jià)（這是評(píng)估的核心）。

③專(zhuān)家文摘的獲得。

（2）原文的選擇

這一部分工作只能由人來(lái)完成，最重要的選擇標(biāo)準(zhǔn)是原文對(duì)于參加比較的各文摘系統(tǒng)具有可比性。

（3）評(píng)價(jià)

評(píng)價(jià)是文摘自動(dòng)評(píng)測(cè)的核心部分。在進(jìn)行評(píng)價(jià)時(shí)，有以下幾個(gè)基本規(guī)定：

①專(zhuān)家文摘和機(jī)械文摘都存入文中文件中。

②為使專(zhuān)家文摘與機(jī)械文摘具有可比性，只允許專(zhuān)家從原文中抽取句子，而不允許專(zhuān)家根據(jù)自己對(duì)原文的理解重新生成句子。

③專(zhuān)家文摘和機(jī)構(gòu)文摘的句子都按照在原文中出現(xiàn)的先后順序給出。

④定義

重合率p=匹配句子數(shù)/專(zhuān)家文摘句子數(shù)？00%

每一個(gè)機(jī)械文摘的重合率為按n個(gè)專(zhuān)家給出的文摘得到的重合率的平均值。

平均重合率=pi/n？00%

其中，pi為相對(duì)于第i個(gè)專(zhuān)家的重合率； N為專(zhuān)家的數(shù)目。

（4）在系統(tǒng)的實(shí)現(xiàn)中，有以下兩個(gè)因素會(huì)給評(píng)測(cè)帶來(lái)一定的困難；

①文摘中的句子長(zhǎng)度不定，有的句子過(guò)長(zhǎng)。

②文摘的句子數(shù)目過(guò)多。

據(jù)觀察，這兩個(gè)問(wèn)題可以解決的。

第一個(gè)問(wèn)題在一篇文章里，任意互不相同的每句話的前15個(gè)字均不相同，而句子只能從原文中摘取，因此每句話的前15個(gè)字可用來(lái)代替該句子。即若機(jī)械文摘句子的前15個(gè)字組成的字串與專(zhuān)家文摘中句子的前15個(gè)字組成的字串相同，則認(rèn)為該機(jī)械文摘句與專(zhuān)家文摘句重合。

第二個(gè)問(wèn)題的解決方案在于對(duì)文摘長(zhǎng)度的限制。在實(shí)踐中，如果文摘過(guò)長(zhǎng)，就會(huì)失去其作為摘要的意義?？梢砸?guī)定：機(jī)械文摘除了規(guī)定摘取率外還規(guī)定一個(gè)指標(biāo)即文摘的總字?jǐn)?shù)不能多于1000個(gè)漢字。設(shè)漢語(yǔ)句平均長(zhǎng)度大于10個(gè)字，所以句子數(shù)目最多只有100。

（5）專(zhuān)家文摘的獲得

進(jìn)行系統(tǒng)評(píng)價(jià)所必需的專(zhuān)家文摘應(yīng)具有以下條件；

①專(zhuān)家文摘應(yīng)與機(jī)械文摘有相同的摘取率

②專(zhuān)家文摘應(yīng)該是機(jī)器可讀的。

③專(zhuān)家文摘的句序應(yīng)與原文中的句序相一致。