唐帥,李青

(山東科技大學(xué)，山東 青島 266000)

?

文本蘊(yùn)含問(wèn)題簡(jiǎn)介

唐帥,李青

(山東科技大學(xué)，山東 青島 266000)

文本蘊(yùn)含是自然語(yǔ)言處理中的一個(gè)重要概念。本文對(duì)文本蘊(yùn)含問(wèn)題本身以及其研究現(xiàn)狀進(jìn)行簡(jiǎn)單的介紹。

人工智能；自然語(yǔ)言處理；文本蘊(yùn)含

1　文本蘊(yùn)含

文本蘊(yùn)含(Textual Entailment)是自然語(yǔ)言處理(Natural Language Processing)中的一個(gè)重要概念。它描述的是兩個(gè)文本片段的有向性關(guān)系。當(dāng)其中一個(gè)文本片段內(nèi)容的真實(shí)性依賴(lài)于另外一個(gè)文本片段的真實(shí)性時(shí)，這種關(guān)系存在。文本蘊(yùn)含沒(méi)有純邏輯蘊(yùn)含(pure logical entailment)般的嚴(yán)謹(jǐn)性。非形式化地，如果一個(gè)閱讀某文本片段的人類(lèi)讀者會(huì)推斷另外一個(gè)文本片段中的內(nèi)容極可能是真實(shí)的，那么這兩個(gè)文本片段之間存在文本蘊(yùn)含關(guān)系?？梢杂涀鳎骸皌 entails h” (t?h)，其中t和h分別為蘊(yùn)含和被蘊(yùn)含的文本片段。文本蘊(yùn)含關(guān)系是有向的。因?yàn)樵趖?h 成立的情況下，h?t 成立與否通常是不確定的。

文本蘊(yùn)含在自然語(yǔ)言處理領(lǐng)域中的地位非常關(guān)鍵。因?yàn)樗c自然語(yǔ)言的多樣性(variability)(比如同一個(gè)語(yǔ)義可以對(duì)應(yīng)多種不同的具體表達(dá)方式)緊密相關(guān)，而如何處理語(yǔ)言的多樣性可謂自然語(yǔ)言研究領(lǐng)域中最大的難點(diǎn)。與此同時(shí)，有效處理自然語(yǔ)言的多樣性問(wèn)題是自然語(yǔ)言諸多重要應(yīng)用領(lǐng)域中取得突破的基礎(chǔ)。

2　RTE

人工智能與自然語(yǔ)言處理領(lǐng)域的研究者們?cè)桨l(fā)意識(shí)到文本蘊(yùn)含問(wèn)題的重要性，RTE(Recognizing Textual Entailment)于2004年被作為一項(xiàng)一般性任務(wù)(generic task)被提出。自2004年到2013年，8界RTE挑戰(zhàn)(RTE Challenges)成功舉行，旨在為研究者們提供可以用來(lái)評(píng)估和比較他們的研究方法的具體數(shù)據(jù)集。歷年來(lái)RTE的主要組織者包括巴伊蘭大學(xué)(Bar-Ilan University)，F(xiàn)ondazione Bruno Kessler 研究中心，美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)，以及意大利的語(yǔ)言和通信技術(shù)評(píng)價(jià)中心(CELCT)。

3　解決文本蘊(yùn)含問(wèn)題的一個(gè)重要框架

在現(xiàn)階段，語(yǔ)言多樣化問(wèn)題往往出現(xiàn)于一些實(shí)用性的系統(tǒng)中。而這些系統(tǒng)對(duì)語(yǔ)言多樣化問(wèn)題的處理通常是建立在比較“膚淺(shallow)”的語(yǔ)義層面。這是因?yàn)榛谶壿嫷暮x層面(meaning-level)的表示是難以實(shí)現(xiàn)的。然而缺乏一種不限于具體應(yīng)用的通用性框架，來(lái)對(duì)語(yǔ)言多樣化進(jìn)行建模。Ido Dagan等人在《PROBABILISTIC TEXTUAL ENTAILMENT: GENERIC APPLIED MODELING OF LANGUAGE VARIABILITY》一文中提出了一個(gè)膚淺語(yǔ)義層面的通用的語(yǔ)言多樣化模型，并將其實(shí)現(xiàn)為一個(gè)可以投入到多種應(yīng)用的實(shí)用性引擎。這個(gè)模型被廣泛認(rèn)可，并在很大程度上影響了人們對(duì)于文本蘊(yùn)含問(wèn)題的研究方法。

在文本蘊(yùn)含的原始定義中，這種關(guān)系是確定性的。即t?h 要不成立，要么不成立。而在Ido Dagan等人提出的模型中采用了一種更加模糊的處理方法，給每一個(gè)文本蘊(yùn)含實(shí)例分配一個(gè)概率，用以表示該文本蘊(yùn)含關(guān)系成立的可能性。文章提出的重要概念如下：

樣板(template)：一個(gè)文本片段(language expression)以及與之對(duì)應(yīng)的句法分析。其中的一些次結(jié)構(gòu)可以用變量來(lái)替代。這些變量可以是根據(jù)句法結(jié)構(gòu)分類(lèi)的。(比如詞類(lèi)，詞性，或者依賴(lài)性解析(dependency parsing)中的關(guān)系類(lèi)型。)

蘊(yùn)含式樣(entailment pattern)：一個(gè)蘊(yùn)含式樣包括由共享變量域的一個(gè)蘊(yùn)含樣板和一個(gè)被蘊(yùn)涵樣板組成的結(jié)構(gòu)，以及式樣相對(duì)應(yīng)的概率(包括先驗(yàn)和后驗(yàn))。例如：

X←subjbuyobj→Y?X←subjownobj→Y

推理機(jī)制：模型利用既有的蘊(yùn)含式樣庫(kù)，通過(guò)不斷對(duì)其運(yùn)用概率推理邏輯的方式以獲得更加龐大和復(fù)雜的文本之間的蘊(yùn)含關(guān)系。推理模型中用到的核心推理規(guī)則如表1所示：

表1

其中第一條規(guī)則計(jì)算所有匹配的蘊(yùn)含式樣中的最大概率。第三個(gè)第四條規(guī)則描述了兩種在不影響蘊(yùn)含關(guān)系的前提下，將前提和結(jié)論分別組成更復(fù)雜的文本的方法。

4　常見(jiàn)的方法舉例

以下介紹一種比較有代表性的模型。

一種最簡(jiǎn)單和直接的處理方式是基于兩個(gè)文本片段在詞法層面上的相似度來(lái)評(píng)估二者之間的蘊(yùn)含關(guān)系。通常利用兩個(gè)文本片段中所含單詞的重疊程度(word overlap)來(lái)建立二者的相似度計(jì)算方法。一種可能的計(jì)算方法如下：

首先提取文本h中的單詞集合，以及其與文本t中單詞集合的交集。然后用加權(quán)處理(比如采用TF-IDF進(jìn)行加權(quán))過(guò)后的交集比上加權(quán)后的h中單詞的集合，以得到所考察的一對(duì)文本片段之間的單詞重疊度，從而基于這個(gè)重疊度對(duì)二者之間的蘊(yùn)含關(guān)系做出評(píng)估。

[1]Dagan,I.,and Glickman,O.Probabilistic textual entailment: generic applied modelingof language variability[C].Grenoble,France: PASCAL Workshop on Learning Methods for Text Understanding and Mining,2004.

[2]Marco,P.,and Fabio,Z.Learning Shallow Semantic Rules for Textual Entailment[C].Borovets,Bulgaria: Recent Advances in Natural Language Processing,2007.

[3]Yongmei,T.,and Junyu,Z.BUPTTeam Participation[C].TAC Recognizing Textual Entailment,2011.

唐帥(1987-)，男，漢族，山東臨沂人，山東科技大學(xué)在讀碩士研究生，研究方向：人工智能、自然語(yǔ)言處理。

李青(1991-)，女，漢族，山東濟(jì)寧人，山東科技大學(xué)情報(bào)學(xué)在讀碩士研究生，研究方向：信息系統(tǒng)工程、智能數(shù)據(jù)分析與處理。

TN929.53

A

1671-1602(2016)18-0251-01