曹聰，曹存根，臧良軍，王石

(1. 中國(guó)科學(xué)院 計(jì)算技術(shù)研究所 智能信息處理重點(diǎn)實(shí)驗(yàn)室，北京 100190；2. 中國(guó)科學(xué)院大學(xué)，北京 100049；3. 中國(guó)科學(xué)院 信息工程研究所，北京 100093)

一種交互式事件常識(shí)知識(shí)的獲取方法

曹聰1,2,3，曹存根1，臧良軍3，王石1

(1. 中國(guó)科學(xué)院 計(jì)算技術(shù)研究所 智能信息處理重點(diǎn)實(shí)驗(yàn)室，北京 100190；2. 中國(guó)科學(xué)院大學(xué)，北京 100049；3. 中國(guó)科學(xué)院 信息工程研究所，北京 100093)

賦予機(jī)器常識(shí)知識(shí)是使機(jī)器具有真正智能的必備條件之一，而獲得這些常識(shí)一直是人工智能研究的一個(gè)重要課題。該文提出了一種通過(guò)交互的方式來(lái)引導(dǎo)知識(shí)貢獻(xiàn)者給出關(guān)于事件的常識(shí)知識(shí)的方法。方法獲取過(guò)程是一個(gè)機(jī)器與貢獻(xiàn)者的交互過(guò)程: 機(jī)器動(dòng)態(tài)地生成問(wèn)題，對(duì)知識(shí)貢獻(xiàn)者進(jìn)行提問(wèn)；知識(shí)貢獻(xiàn)者通過(guò)回答問(wèn)題給出常識(shí)知識(shí)。交互過(guò)程通過(guò)包含提示信息的提問(wèn)問(wèn)題對(duì)知識(shí)貢獻(xiàn)者進(jìn)行提示，運(yùn)用七種類型問(wèn)題層層遞進(jìn)地引導(dǎo)知識(shí)貢獻(xiàn)者思考，以此喚醒他們大腦中的常識(shí)知識(shí)；通過(guò)動(dòng)態(tài)變化的問(wèn)題改善知識(shí)貢獻(xiàn)者貢獻(xiàn)常識(shí)知識(shí)過(guò)程的趣味性。同時(shí)，該文還引入可接受性和有效性兩個(gè)定量標(biāo)準(zhǔn)評(píng)價(jià)提問(wèn)問(wèn)題，用于進(jìn)一步改善交互過(guò)程。實(shí)驗(yàn)結(jié)果表明，知識(shí)貢獻(xiàn)者運(yùn)用此方法給出的知識(shí)量增加了451.61%，同時(shí)知識(shí)的正確率也達(dá)到了92.5%。

常識(shí)知識(shí)獲??；事件常識(shí)；交互過(guò)程

1 引言

自從McCarthy[1]開(kāi)展了第一個(gè)常識(shí)知識(shí)項(xiàng)目，常識(shí)知識(shí)問(wèn)題已經(jīng)成為人工智能界核心的研究課題，其中常識(shí)知識(shí)獲取是常識(shí)知識(shí)問(wèn)題的基礎(chǔ)。

由于常識(shí)知識(shí)具有隱含性和多樣性[2-3]，從文本中自動(dòng)抽取常識(shí)知識(shí)變得非常困難，因此，常識(shí)知識(shí)獲取最可靠的方法是人工獲取。人工參與的常識(shí)知識(shí)獲取面臨的一個(gè)困難是知識(shí)貢獻(xiàn)者在給出常識(shí)知識(shí)的過(guò)程中非常枯燥無(wú)趣，造成知識(shí)貢獻(xiàn)者流失。同時(shí)又由于常識(shí)知識(shí)的基礎(chǔ)性[2]導(dǎo)致很多人會(huì)忽略常識(shí)知識(shí)，這樣就會(huì)導(dǎo)致知識(shí)貢獻(xiàn)者思考給出常識(shí)知識(shí)過(guò)程非常費(fèi)力并且經(jīng)過(guò)長(zhǎng)時(shí)間思考還是想不出常識(shí)知識(shí)。以往的方法要么忽視存在的問(wèn)題，要么用金錢來(lái)刺激知識(shí)貢獻(xiàn)者，不能很好地解決上述兩個(gè)問(wèn)題。

本文介紹一種基于交互式提問(wèn)引導(dǎo)知識(shí)貢獻(xiàn)者的方法。機(jī)器通過(guò)提問(wèn)的方式與知識(shí)貢獻(xiàn)者進(jìn)行交互，引導(dǎo)知識(shí)貢獻(xiàn)者給出一類重要的常識(shí)知識(shí)——事件的常識(shí)性前提知識(shí)和后果知識(shí)。

交互過(guò)程借助于一個(gè)交互腳本，根據(jù)知識(shí)貢獻(xiàn)者對(duì)當(dāng)前問(wèn)題的反饋來(lái)影響下一個(gè)問(wèn)題的生成。知識(shí)貢獻(xiàn)者看到動(dòng)態(tài)變化的問(wèn)題，會(huì)感覺(jué)常識(shí)知識(shí)輸入的過(guò)程不再枯燥乏味。

提問(wèn)問(wèn)題基于問(wèn)題模板自動(dòng)生成。生成的問(wèn)題包含提示信息，對(duì)知識(shí)貢獻(xiàn)者起到刺激和提示的作用。提問(wèn)問(wèn)題會(huì)讓知識(shí)貢獻(xiàn)者得到一個(gè)明確具體的目標(biāo)，以此來(lái)減輕知識(shí)貢獻(xiàn)者的負(fù)擔(dān)，進(jìn)而有效地喚醒大腦中的常識(shí)知識(shí)。同時(shí)對(duì)于生成的問(wèn)題我們會(huì)給出定量的衡量標(biāo)準(zhǔn)并將此用于改善提問(wèn)交互的過(guò)程。

2 相關(guān)工作

當(dāng)前流行的常識(shí)知識(shí)獲取方法可以分為兩類: 一種是人工編撰常識(shí)知識(shí)，另一種是自動(dòng)獲取。較為著名的項(xiàng)目是Cyc[4]和OpenMind[5]。Cyc是知識(shí)工程師手工編輯常識(shí)知識(shí)。他們將屬性、動(dòng)作、時(shí)空、事件等常識(shí)手工編輯入庫(kù)。但是Cyc雇傭的知識(shí)工程師要熟悉Cyc自己定義的一門語(yǔ)言，這會(huì)給常識(shí)知識(shí)輸入過(guò)程增加負(fù)擔(dān)。OpenMind為非專家的網(wǎng)絡(luò)用戶提供了常識(shí)知識(shí)輸入平臺(tái)。但是OpenMind缺乏有效的刺激方法，并且網(wǎng)絡(luò)用戶多是非職業(yè)人士，因此知識(shí)貢獻(xiàn)者思考給出常識(shí)知識(shí)的過(guò)程負(fù)擔(dān)較重。

為了減輕人工給出常識(shí)知識(shí)過(guò)程負(fù)擔(dān)并增加趣味性，與知識(shí)貢獻(xiàn)者交互獲取常識(shí)知識(shí)的方法相繼出現(xiàn)。LEARNER[6]基于已有關(guān)于實(shí)體的知識(shí)庫(kù)，實(shí)現(xiàn)類比推理，得到一些候選的知識(shí)，然后通過(guò)人工機(jī)械式地判斷，以此獲取常識(shí)知識(shí)。此方法缺乏交互，知識(shí)工程師效率低下。Common Consensus[7]通過(guò)詢問(wèn)兩個(gè)知識(shí)貢獻(xiàn)者完成一個(gè)目標(biāo)需要些什么，知識(shí)貢獻(xiàn)者通過(guò)兩人給出一致性的答案來(lái)獲取高積分，高一致性帶來(lái)高質(zhì)量的常識(shí)知識(shí)。Open Mind Commons[8]利用知識(shí)庫(kù)中已有的知識(shí)進(jìn)行推理，然后產(chǎn)生問(wèn)題讓知識(shí)貢獻(xiàn)者進(jìn)行回答，以此來(lái)填補(bǔ)知識(shí)庫(kù)中的空缺。如果知識(shí)貢獻(xiàn)者拒絕某一條知識(shí)還可以修改知識(shí)。

游戲20Q[9]利用知識(shí)庫(kù)自動(dòng)地產(chǎn)生20個(gè)問(wèn)題，這些問(wèn)題由游戲參與者回答。根據(jù)參與者的回答，機(jī)器去猜測(cè)出游戲參與者腦海中想象的實(shí)體，進(jìn)而從答案中抽取常識(shí)知識(shí)。Verbosity[10]需要兩個(gè)知識(shí)貢獻(xiàn)者參與，其中一個(gè)描述概念，另一個(gè)猜測(cè)概念是什么。對(duì)概念的描述就是常識(shí)知識(shí)的來(lái)源。實(shí)驗(yàn)結(jié)果表明Verbosity有一定的趣味性，獲得知識(shí)的正確率為85%。Concept Game[11]是一個(gè)facebook游戲，它的輸入是通過(guò)文本挖掘方法得到的候選斷言，知識(shí)貢獻(xiàn)者為了獲得積分來(lái)驗(yàn)證隨機(jī)呈現(xiàn)給他們的斷言。

為了降低人工獲取常識(shí)的高成本，自動(dòng)獲取的方法相繼出現(xiàn)。Matusz等人[12]利用Cyc中已有的知識(shí)作為種子，通過(guò)構(gòu)造查詢項(xiàng)，從Google的返回結(jié)果中抽取、驗(yàn)證新知識(shí)。Shah等人[13]也是利用Cyc中已有知識(shí)作為種子，在Web網(wǎng)頁(yè)中抽取關(guān)于命名實(shí)體的信息。ConceptMiner[14]以ConceptNet[15]作為背景知識(shí)庫(kù)，以搜索引擎為工具，利用信息抽取技術(shù)發(fā)現(xiàn)web中存在的常識(shí)。自動(dòng)化的方法不能解決常識(shí)知識(shí)隱含性的問(wèn)題，因此它只能作為人工獲取常識(shí)知識(shí)方法的一種補(bǔ)充。

多年來(lái)，國(guó)內(nèi)一批學(xué)者在常識(shí)知識(shí)研究方面也做出許多工作。HowNet[16]是最大的中英雙語(yǔ)常識(shí)知識(shí)庫(kù)，Zhishi.me[17]、Tsinghua-ChineseKB[18]、CASIA-KB[19]是另外三個(gè)規(guī)模較大的中文常識(shí)知識(shí)庫(kù)。計(jì)算所NKI[20]課題組利用自動(dòng)化的方法獲取概念屬性類常識(shí)[21]、因果常識(shí)知識(shí)[22]、簡(jiǎn)單事件常識(shí)知識(shí)[23]等，同時(shí)還提出了一種從多個(gè)視角人工分析獲取事件的前提和后果知識(shí)的方法[24]。

3 事件的常識(shí)性前提知識(shí)和后果知識(shí)

有很多科研工作者針對(duì)工作的需要提出自己的事件表示模型[25-27]。本文采用中國(guó)科學(xué)院計(jì)算技術(shù)研究所NKI課題組基于魯川的26類句模[28]修改和擴(kuò)充的事件體系[24]表示事件，這里事件定義為由特定參與者參與的，在滿足一定條件下發(fā)生的，并能對(duì)參與者或其周圍世界造成一定影響的行為。事件模型被表示成一個(gè)五元組<句意，角色，語(yǔ)言模式，詞類，例句>。 我們這里希望給五元組補(bǔ)充事件發(fā)生前后需要滿足的條件和產(chǎn)生的后果，這是一種重要的常識(shí)知識(shí)——事件的常識(shí)性前提和后果知識(shí)。

為了獲取知識(shí)，本工作呈現(xiàn)給知識(shí)貢獻(xiàn)者的事件是五元組中事件的實(shí)例化例句，同時(shí)我們利用事件體系中的語(yǔ)言模式來(lái)識(shí)別實(shí)例化例句中的各種語(yǔ)義元素。實(shí)例化的例句呈獻(xiàn)給知識(shí)貢獻(xiàn)者有兩個(gè)好處: 一是給獲取到的常識(shí)知識(shí)提供上下文；另一個(gè)是實(shí)例化的例句不會(huì)抽象，這有利于知識(shí)貢獻(xiàn)者思考常識(shí)知識(shí)，減輕知識(shí)貢獻(xiàn)者負(fù)擔(dān)。更長(zhǎng)遠(yuǎn)的目標(biāo)是通過(guò)對(duì)關(guān)于例句的常識(shí)性前提和后果知識(shí)抽象來(lái)獲得關(guān)于事件的常識(shí)性前提和后果知識(shí)。

表1中給出了部分關(guān)于例句“爸爸迎娶了寡婦”的前提知識(shí)和后果知識(shí)。

表1 “爸爸迎娶了寡婦”前提和后果知識(shí)示例

4 交互問(wèn)題類型以及交互過(guò)程

與知識(shí)貢獻(xiàn)者的交互過(guò)程是基于七種類型的問(wèn)題驅(qū)動(dòng)的，七種類型的問(wèn)題從知識(shí)貢獻(xiàn)者給出常識(shí)知識(shí)過(guò)程中總結(jié)得到。這七種類型的問(wèn)題會(huì)根據(jù)當(dāng)前的例句和知識(shí)貢獻(xiàn)者的回答填充自己的缺失內(nèi)容，同時(shí)還會(huì)根據(jù)知識(shí)貢獻(xiàn)者的回答情況在不同類型間的問(wèn)題之間進(jìn)行變換。

4.1 交互問(wèn)題類型

類型A 為了不影響知識(shí)貢獻(xiàn)者的思考過(guò)程，解決提示信息會(huì)有偏向性引導(dǎo)的問(wèn)題，我們只給出少量的提示信息，只提示讓知識(shí)貢獻(xiàn)者給出前提知識(shí)和后果知識(shí)。此類型問(wèn)題模板如下:

<前提提問(wèn)>∷=<例句>發(fā)生之前，應(yīng)具備什么樣的前提條件？

<后果提問(wèn)>∷=<例句>發(fā)生之后，會(huì)產(chǎn)生什么樣的結(jié)果？

其中，“<例句>”就是指知識(shí)貢獻(xiàn)者看到的當(dāng)前例句，例如“爸爸迎娶了寡婦”。在生成問(wèn)題時(shí)就會(huì)用當(dāng)前例句替換問(wèn)題模板中的“<例句>”。

從問(wèn)題類型A中的定義可以看到在問(wèn)題中幾乎沒(méi)有任何提示信息。但是由于常識(shí)知識(shí)具有基礎(chǔ)性，所以在沒(méi)有任何提示信息的情況下知識(shí)貢獻(xiàn)者要給出大量的常識(shí)知識(shí)是非常困難的。因此，我們需要在問(wèn)題中加入提示性信息。

我們?cè)谂頃?huì)亮工作[23]的基礎(chǔ)上總結(jié)了反映人們認(rèn)知世界的生理、心理、社會(huì)、物理世界四個(gè)大類的常識(shí)知識(shí)角度[24]，如圖1所示。常識(shí)知識(shí)角度總體上分為四個(gè)大角度，每個(gè)大類角度下又分為若干個(gè)常識(shí)知識(shí)小角度。

圖1 常識(shí)知識(shí)角度結(jié)構(gòu)圖

我們將常識(shí)知識(shí)角度作為提示性信息用來(lái)引導(dǎo)知識(shí)貢獻(xiàn)者給出常識(shí)知識(shí)。對(duì)于知識(shí)貢獻(xiàn)者，常識(shí)知識(shí)角度還是相對(duì)抽象一些，因此這里采用基于常識(shí)知識(shí)角度進(jìn)行提問(wèn)的方式來(lái)提示知識(shí)貢獻(xiàn)者。由此我們定義問(wèn)題類型B、C、D。

類型B 此類型的問(wèn)題是當(dāng)知識(shí)貢獻(xiàn)者在想象不到常識(shí)知識(shí)后，將基于常識(shí)知識(shí)小角度(第三層的角度)生成的問(wèn)題提供給他們，讓知識(shí)貢獻(xiàn)者有非常明確的目標(biāo)，以此提示引導(dǎo)他們給出常識(shí)知識(shí)。此類型的問(wèn)題是給每個(gè)常識(shí)知識(shí)角度整理屬于自己的問(wèn)題模板，結(jié)合當(dāng)前的例句，動(dòng)態(tài)地生成問(wèn)題。下面給出“情緒”角度的問(wèn)題模板:

<前提提問(wèn)>∷=<例句>發(fā)生之前，<角色>的心情會(huì)怎么樣？

<前提提問(wèn)>∷=<例句>發(fā)生之前，和<角色>有關(guān)系的某個(gè)人的心情會(huì)怎么樣？

<后果提問(wèn)>∷=<例句>發(fā)生之后，<角色>的心情會(huì)怎么樣？

<后果提問(wèn)>∷=<例句>發(fā)生之后，和<角色>有關(guān)系的某個(gè)人的心情會(huì)怎么樣？

其中，“<角色>”就是參與事件的事元，例如“施事”、“同事”等。問(wèn)題模板實(shí)例化會(huì)用例句中的實(shí)例化事元替換“<角色>”。以“爸爸 迎娶了 寡婦”為例，上面問(wèn)題模板中“<角色>”可以替換為“爸爸”或“寡婦”。篇幅的限制，后續(xù)問(wèn)題介紹葉本文只給出后果知識(shí)的模板示例。

類型C 為了獲取更多關(guān)于某一個(gè)常識(shí)知識(shí)小角度方面的常識(shí)知識(shí)，同時(shí)減少提示過(guò)程中的偏向性引導(dǎo)，這里不限制事元。以“情緒”角度為例給出問(wèn)題模板:

<后果提問(wèn)>∷=<例句>發(fā)生之后，還有其他角色心情會(huì)比較特殊嗎，不是平靜的心情？

C類型問(wèn)題一般放在B類型問(wèn)題之后，因?yàn)榇祟愋蛦?wèn)題相對(duì)B類型問(wèn)題會(huì)抽象一些，先進(jìn)行了B類型的問(wèn)題提問(wèn)后，有助于理解C類型問(wèn)題，減輕知識(shí)貢獻(xiàn)者的負(fù)擔(dān)。

類型D 為了獲取更多關(guān)于某一常識(shí)知識(shí)角度大類的常識(shí)知識(shí)，進(jìn)一步減少提示過(guò)程中的偏向性引導(dǎo)，我們基于常識(shí)知識(shí)角度大類進(jìn)行提問(wèn)。以“心理”角度為例給出問(wèn)題模板:

<后果提問(wèn)>∷=<例句>發(fā)生之后，還有其他角色會(huì)有比較特殊的心理活動(dòng)嗎？可以從情緒、目標(biāo)、態(tài)度、記憶等方面進(jìn)行考慮。

D類型的問(wèn)題要放在B、C類型問(wèn)題之后，同樣為了便于知識(shí)貢獻(xiàn)者理解。

類型E 為了提高知識(shí)的準(zhǔn)確性，需要反問(wèn)知識(shí)貢獻(xiàn)者。此類型問(wèn)題是讓知識(shí)貢獻(xiàn)者反思給出的常識(shí)知識(shí)。

<后果提問(wèn)>∷=<例句>發(fā)生之后，“<知識(shí)>”，是否加上一些條件后，會(huì)讓“<知識(shí)>”發(fā)生或存在的可能性更大？如果想象到，請(qǐng)給出帶有條件的后果。

其中，“<知識(shí)>”是知識(shí)貢獻(xiàn)者已經(jīng)給出的一條知識(shí)?！?知識(shí)>”可能是錯(cuò)誤的也可能是不準(zhǔn)確的，用E類型問(wèn)題讓知識(shí)貢獻(xiàn)者進(jìn)一步思考，進(jìn)而獲取更多、更準(zhǔn)確的常識(shí)知識(shí)。例如“爸爸迎娶了寡婦之后，女方父母會(huì)高興”。如果加上“女方父母贊成這門婚事”這個(gè)條件，此條知識(shí)會(huì)更準(zhǔn)確。

類型F 為了利用已有知識(shí)獲取更多的知識(shí)，根據(jù)當(dāng)前知識(shí)的結(jié)果，問(wèn)一下是否會(huì)有其他結(jié)果。此問(wèn)題類型根據(jù)已有的知識(shí)，來(lái)產(chǎn)生一個(gè)問(wèn)題。

<后果提問(wèn)>∷=<例句>發(fā)生之后，一定會(huì)有“<知識(shí)>”的后果嗎？是否可以在此后果的條件上增加或者更換一些內(nèi)容，得到不同于“<知識(shí)結(jié)果>”的后果？如果想象到，請(qǐng)給出新的后果。

其中，“<知識(shí)結(jié)果>”是知識(shí)貢獻(xiàn)者給出知識(shí)的結(jié)果部分。例如知識(shí)“如果父母不贊成這門婚事，父母會(huì)不高興”，那么“父母會(huì)不高興”就是“<知識(shí)結(jié)果>”的實(shí)例。

類型G 為了再次不限制知識(shí)貢獻(xiàn)者的思路，解決引導(dǎo)偏向性問(wèn)題，同時(shí)獲取知識(shí)貢獻(xiàn)者通過(guò)以上提示思考出新的常識(shí)知識(shí)。在經(jīng)過(guò)所有提示方法后，再次在沒(méi)有任何提示的情況下讓知識(shí)貢獻(xiàn)者給出前提知識(shí)和后果知識(shí)。

<后果提問(wèn)>∷=經(jīng)過(guò)以上的提示，<例句>發(fā)生之后，你能再給出一些其他的結(jié)果嗎？請(qǐng)給出后果。

A、D、F、G這四種基本上沒(méi)有偏向性引導(dǎo)的問(wèn)題類型，不僅可以獲取常識(shí)知識(shí)，而且還可以幫助我們獲取更多地常識(shí)知識(shí)角度。因?yàn)檫@四種類型的問(wèn)題最多只是含有少量的提示信息，特別是通過(guò)D、F、G這三種類型的問(wèn)題獲取到的常識(shí)知識(shí)，它們是通過(guò)前面B、C類型問(wèn)題的提示引導(dǎo)，知識(shí)貢獻(xiàn)者在思路打開(kāi)之后通過(guò)自我想象給出的常識(shí)知識(shí)。知識(shí)貢獻(xiàn)者在此種情況下有很大的可能給出其他不在常識(shí)知識(shí)角度規(guī)定類型下的常識(shí)知識(shí)，通過(guò)對(duì)這些新類型的知識(shí)進(jìn)行總結(jié)，我們就可以得到新的常識(shí)知識(shí)角度。這樣循環(huán)迭代下去，我們就能夠有更多的提示信息，進(jìn)而更多地減輕知識(shí)貢獻(xiàn)者的負(fù)擔(dān)，獲取更多更豐富的常識(shí)知識(shí)。

4.2 交互過(guò)程

交互過(guò)程借用一個(gè)交互提問(wèn)腳本，提問(wèn)的整體過(guò)程分為三個(gè)階段: 首先進(jìn)行無(wú)偏向性A類型問(wèn)題提問(wèn)。如果知識(shí)貢獻(xiàn)者給不出常識(shí)知識(shí)，再進(jìn)行B、C、D類型問(wèn)題的提問(wèn)。B、C、D三種類型的問(wèn)題按照其含有信息量由多到少進(jìn)行提問(wèn)，問(wèn)題的偏向性也從大到小。這種由簡(jiǎn)單到困難的逐層深入的過(guò)程，也有助于引導(dǎo)知識(shí)貢獻(xiàn)者進(jìn)行深入思考，由此獲取更好更多的常識(shí)知識(shí)。最后，在經(jīng)過(guò)所有的提示后再進(jìn)行G類型問(wèn)題的提問(wèn)。交互腳本如表2所示。

E類型的問(wèn)題目標(biāo)是為了提高知識(shí)的準(zhǔn)確性，因此在交互過(guò)程中在知識(shí)貢獻(xiàn)者給出一條常識(shí)知識(shí)后就會(huì)進(jìn)行一次E類型問(wèn)題的提問(wèn)，讓知識(shí)貢獻(xiàn)者反思自己給出知識(shí)的準(zhǔn)確程度。F類型的問(wèn)題是為了通過(guò)已有知識(shí)獲取更多的知識(shí)，我們將此種類型的問(wèn)題隨機(jī)的放在知識(shí)貢獻(xiàn)者給出知識(shí)之后，在獲取更多知識(shí)的同時(shí)也讓提問(wèn)過(guò)程具有變化性，改善提問(wèn)過(guò)程的趣味性。

為了提高提問(wèn)過(guò)程的變化性，我們?cè)谔釂?wèn)過(guò)程中都會(huì)采用一些隨機(jī)性的選擇，例如，隨機(jī)選擇常識(shí)知識(shí)角度(表2(5))，某一類型問(wèn)題數(shù)目隨機(jī)產(chǎn)生(表2(6))，隨機(jī)進(jìn)行F類型問(wèn)題的提問(wèn)等。

表2 交互過(guò)程腳本

5 交互問(wèn)題質(zhì)量的衡量

為進(jìn)一步論證上一節(jié)的提問(wèn)交互過(guò)程的合理性，我們需要引入必要的度量指標(biāo)。

本文提出了兩個(gè)指標(biāo)。一是交互問(wèn)題的可接受性，它用于衡量呈現(xiàn)給知識(shí)貢獻(xiàn)者的問(wèn)題是否符合自然語(yǔ)言語(yǔ)法和語(yǔ)義，如果一個(gè)問(wèn)題不符合自然語(yǔ)言語(yǔ)法和語(yǔ)義，那么知識(shí)貢獻(xiàn)者是看不懂問(wèn)題的；另一個(gè)指標(biāo)是有效性，它用于衡量問(wèn)題能不能引導(dǎo)知識(shí)貢獻(xiàn)者給出常識(shí)知識(shí)。如果用于提問(wèn)的問(wèn)題大部分都是不可接受或者無(wú)效的，整個(gè)交互過(guò)程中就會(huì)充斥著太多的冗余，這樣就會(huì)讓知識(shí)貢獻(xiàn)者感到煩躁和無(wú)聊。

5.1 可接受性

可接受性是指系統(tǒng)自動(dòng)生成的問(wèn)題符合自然語(yǔ)言語(yǔ)法和語(yǔ)義的程度。這里我們讓知識(shí)貢獻(xiàn)者在看到問(wèn)題后，對(duì)問(wèn)題進(jìn)行一個(gè)標(biāo)注投票: 接受和不接受。如果知識(shí)貢獻(xiàn)者看不懂提問(wèn)問(wèn)題就將此問(wèn)題標(biāo)記為不接受。利用知識(shí)貢獻(xiàn)者標(biāo)記的統(tǒng)計(jì)數(shù)據(jù)來(lái)衡量一個(gè)提問(wèn)問(wèn)題的可接受性。

這里我們可以利用知識(shí)貢獻(xiàn)者標(biāo)記的頻率來(lái)作為問(wèn)題可接受性的衡量標(biāo)準(zhǔn)，但是這種方法存在缺陷。因?yàn)槿绻粋€(gè)問(wèn)題被很多知識(shí)貢獻(xiàn)者評(píng)價(jià)，另一個(gè)問(wèn)題被很少的知識(shí)貢獻(xiàn)者評(píng)價(jià)，那么前一問(wèn)題的評(píng)價(jià)結(jié)果置信度更高。這里我們建立一個(gè)模型綜合考慮頻率和頻度兩個(gè)方面的因素。這個(gè)模型不僅和知識(shí)貢獻(xiàn)者的投票比例成正比而且還考慮到這個(gè)比例的置信度。

模型中我們用sc(q)表示問(wèn)題q被知識(shí)貢獻(xiàn)者標(biāo)記為接受的數(shù)目，nsc(q)表示問(wèn)題q被知識(shí)貢獻(xiàn)者標(biāo)記為不接受的數(shù)目。m(q)表示知識(shí)貢獻(xiàn)者對(duì)問(wèn)題q的投票次數(shù)，即表示一個(gè)問(wèn)題q被知識(shí)貢獻(xiàn)者標(biāo)記成接受和不接受的數(shù)目之和，即m(q)=sc(q)+nsc(q)。

定義1Pδ(q)表示知識(shí)貢獻(xiàn)者投票問(wèn)題接受的比率，如式(1)所示。

(1)

假設(shè)知識(shí)貢獻(xiàn)者標(biāo)記每個(gè)問(wèn)題是獨(dú)立的，我們可以把每一次標(biāo)記當(dāng)成一個(gè)伯努利實(shí)驗(yàn)。Pδ(q)表示知識(shí)貢獻(xiàn)者能看懂問(wèn)題的比率。

我們假設(shè)每個(gè)知識(shí)貢獻(xiàn)者投票都是隨機(jī)的。因此知識(shí)貢獻(xiàn)者把問(wèn)題分成接受和不接受的概率都是0.5。真實(shí)中的選擇肯定不是0.5。如果我們不能拒絕假設(shè)，我們需要更多的信息(需要更多的人來(lái)評(píng)估當(dāng)前問(wèn)題)來(lái)判斷當(dāng)前問(wèn)題能否讓知識(shí)貢獻(xiàn)者理解。

定義2ens(q)是效應(yīng)值，表示問(wèn)題被標(biāo)記為不可接受的實(shí)際值和理想值之間的差距，即式(2)。

(2)

如果認(rèn)為當(dāng)前知識(shí)貢獻(xiàn)者的選擇是隨機(jī)的，當(dāng)前關(guān)于問(wèn)題q的計(jì)數(shù)的概率可以用ps(q)來(lái)表示，如果ps(q)的值越低，當(dāng)前計(jì)數(shù)的置信度越高。

定義3ps(q)表示二項(xiàng)分布假設(shè)檢驗(yàn)的p-value，那么觀察值和隨機(jī)情況下相差ens(q)的概率為式(3)。

(3)

其中:

(5)

定義4ds(q)表示一個(gè)問(wèn)題有意義能被知識(shí)貢獻(xiàn)者看得懂的度量，也就是可接受性的度量如式(6)所示。

(6)

為了區(qū)分一個(gè)問(wèn)題是否可接受，設(shè)定一個(gè)閾值α(α<0.5)。如果ds(q)<α，有1-α的置信度相信問(wèn)題是不可接受的；如果ds(q)>1-α，有1-α的置信度相信問(wèn)題是可接受的；如果有α

5.2 有效性

有效性是指系統(tǒng)自動(dòng)生成的問(wèn)題引導(dǎo)給出常識(shí)知識(shí)的效用程度。我們利用知識(shí)貢獻(xiàn)者回答的次數(shù)和沒(méi)有回答的次數(shù)來(lái)衡量問(wèn)題的有效性。利用知識(shí)貢獻(xiàn)者的回答與否這個(gè)數(shù)據(jù)建立模型來(lái)衡量問(wèn)題是否能夠有效獲取常識(shí)知識(shí)。

同理我們應(yīng)用上面的對(duì)問(wèn)題可接受性進(jìn)行度量的方法來(lái)衡量問(wèn)題的有效性。

假設(shè)知識(shí)貢獻(xiàn)者回答每個(gè)問(wèn)題是獨(dú)立的，我們可以把每一次回答當(dāng)成一個(gè)伯努利實(shí)驗(yàn)。假設(shè)每個(gè)知識(shí)貢獻(xiàn)者是否回答一個(gè)問(wèn)題都是隨機(jī)的。因此知識(shí)貢獻(xiàn)者回答一個(gè)問(wèn)題和不回答一個(gè)問(wèn)題的概率都是0.5，真實(shí)中肯定不是0.5。同理，如果我們不能拒絕假設(shè)，我們需要更多的信息來(lái)判斷當(dāng)前這個(gè)問(wèn)題是否是有效的。

參考可接受性的定義，最終我們會(huì)定義dv(q)。dv(q)表示一個(gè)問(wèn)題的有效性的程度，這是一個(gè)定量度量。通過(guò)這個(gè)值可以判斷一個(gè)問(wèn)題是否有效，是否需要更多的信息來(lái)進(jìn)一步判斷。為了區(qū)分一個(gè)問(wèn)題的有效性，同樣需要設(shè)定一個(gè)閾值β(β<0.5)。

知識(shí)貢獻(xiàn)者給出知識(shí)的過(guò)程中，利用可接受性和有效性來(lái)衡量一個(gè)提問(wèn)問(wèn)題，篩選出可接受性低的問(wèn)題修改問(wèn)題的生成方法，選擇有效性低的提問(wèn)將其去掉。當(dāng)然還有一些問(wèn)題需要進(jìn)一步進(jìn)行判斷，我們會(huì)在知識(shí)貢獻(xiàn)者的使用過(guò)程搜集更多的信息來(lái)進(jìn)一步判斷。迭代下去，高可接受性和有效性的提問(wèn)問(wèn)題會(huì)不斷提高，提問(wèn)交互過(guò)程會(huì)被不斷改善。

6 實(shí)驗(yàn)結(jié)果及分析

為了評(píng)估我們的方法是否能夠有效地刺激知識(shí)貢獻(xiàn)者給出大腦中的常識(shí)知識(shí)，我們統(tǒng)計(jì)了通過(guò)各種類型提問(wèn)問(wèn)題獲取常識(shí)知識(shí)的數(shù)目，如表4所示。A類型的問(wèn)題不采用任何方法讓知識(shí)貢獻(xiàn)者去給出知識(shí)，B、C、D、E、F、G類型的問(wèn)題都會(huì)給出不同程度的提示以及組合引導(dǎo)。將這兩大類型的實(shí)驗(yàn)結(jié)果進(jìn)行比較，結(jié)果表明本文方法能夠引導(dǎo)獲取更多的常識(shí)知識(shí)。

表4 未引導(dǎo)提示和有引導(dǎo)提示對(duì)比實(shí)驗(yàn)結(jié)果

表4中第一行和第二、三、四行分別列出了通過(guò)A類型問(wèn)題和其他六種類型問(wèn)題獲得前提和后果知識(shí)的數(shù)目，可以看到通過(guò)A類型的問(wèn)題得到62條知識(shí)，通過(guò)B、C、D、E、F、G類型的問(wèn)題獲得280條知識(shí)。我們可以看出知識(shí)的數(shù)目增加了451.61%。通過(guò)表中第四行中提示信息很少的問(wèn)題類型D、F、G得到常識(shí)知識(shí)的數(shù)目可以看出，經(jīng)過(guò)其他幾種有提示信息類型問(wèn)題的引導(dǎo)，知識(shí)貢獻(xiàn)者能夠進(jìn)行思考，進(jìn)而不用提示信息也能給出常識(shí)知識(shí)。通過(guò)上述結(jié)果可以看出交互式提問(wèn)引導(dǎo)的方法能夠獲取更多的知識(shí)。

為了分析已獲取到常識(shí)知識(shí)的正確率，我們從已獲取的342條知識(shí)中隨機(jī)選取40條知識(shí)，并召集五個(gè)具有較好常識(shí)知識(shí)背景的常識(shí)知識(shí)貢獻(xiàn)者(不同前述的11個(gè)知識(shí)貢獻(xiàn)者)對(duì)這40條知識(shí)進(jìn)行判斷分類。五個(gè)知識(shí)貢獻(xiàn)者對(duì)這40條知識(shí)分別進(jìn)行單獨(dú)標(biāo)記，將知識(shí)標(biāo)記為“真”、“不知道”和“無(wú)意義”。如果五個(gè)人當(dāng)中有三個(gè)人將一條知識(shí)賦予相同標(biāo)記S，我們就認(rèn)為當(dāng)前知識(shí)的標(biāo)記為S，如果關(guān)于一條知識(shí)沒(méi)有一個(gè)標(biāo)記得到投票次數(shù)超過(guò)3，我們就標(biāo)記它為“無(wú)意義”。最終實(shí)驗(yàn)結(jié)果表明，最后標(biāo)記為“真”的知識(shí)占總知識(shí)的數(shù)量的92.5%。

表5給出了其他方法和本方法獲取知識(shí)正確率的結(jié)果比較。OpenMind評(píng)估知識(shí)標(biāo)準(zhǔn)時(shí)給每條知識(shí)賦予一個(gè)1～5的分值，最后其獲取知識(shí)的平均得分是3.26，這里我們可以理解其正確率為60%左右。Verbosity標(biāo)記知識(shí)為正確或不正確，其標(biāo)記為正確的知識(shí)所占比例為85%。learner2的衡量方法和本文方法相似，其知識(shí)的正確率為89.8%。雖然這幾個(gè)方法正確率衡量方法不同，但是從上面的描述可知，本文方法的效果明顯高于其他方法。

表5 知識(shí)正確率結(jié)果比較

由表5可以看到我們的方法獲取知識(shí)的正確率最高，這是因?yàn)楸痉椒ǖ奶崾疽龑?dǎo)策略。本方法能給知識(shí)貢獻(xiàn)者有效的刺激和提示，能夠讓知識(shí)貢獻(xiàn)者得到明確目標(biāo)并進(jìn)行思考，進(jìn)而給出正確的知識(shí)。綜上可以看出我們的方法在獲取高質(zhì)量的常識(shí)知識(shí)上是非常有效的。

7 總結(jié)與展望

常識(shí)知識(shí)是機(jī)器走向智能必不可少的一部分。本文提出了一種基于交互式提問(wèn)引導(dǎo)獲取事件常識(shí)知識(shí)的方法。方法基于常識(shí)知識(shí)角度等提示信息，對(duì)知識(shí)貢獻(xiàn)者輸入常識(shí)知識(shí)的過(guò)程進(jìn)行引導(dǎo)和提示。通過(guò)提示和引導(dǎo)，知識(shí)貢獻(xiàn)者獲得明確的目標(biāo)后進(jìn)行深入的思考，最終給出更多更準(zhǔn)確的常識(shí)知識(shí)。實(shí)驗(yàn)表明，提示引導(dǎo)過(guò)程能帶來(lái)451.61%的知識(shí)增加量，且知識(shí)的正確率達(dá)到了92.5%。

雖然實(shí)驗(yàn)結(jié)果表明本文的方法是有效的，但是還有一些地方需要改進(jìn)。其中交互腳本要具有更多的變化性和靈活性，因此下一步工作可以多設(shè)計(jì)幾種交互過(guò)程，提高交互過(guò)程的變化性。下一步工作還要將獲取到的自然語(yǔ)言形式的常識(shí)知識(shí)轉(zhuǎn)化成計(jì)算機(jī)可以理解的結(jié)構(gòu)化的形式，同時(shí)將關(guān)于例句的常識(shí)知識(shí)抽象到事件上。

[1] McCarthy,John. Programs with common sense[C]//Proceedings of the Teddington Conference onthe Mechanization of Thought Processes. 1958.

[2] Liang-Jun Zang,Cong Cao,Ya-Nan Cao,et al. A Survey of Commonsense Knowledge Acquisition[J]. Journal of Computer Science and Technology,2013,28(4): 689-719.

[3] Lenhart Schubert. Can we derive general world knowledge from texts?[C]//Proceedings of the second international conference on Human Language Technology Research. San Francisco: Morgan Kaufmann Publishers Inc.2002: 94-97.

[4] Douglas B Lenat. CYC: A large-scale investment in knowledge infrastructure[J]. Communications of the ACM,1995,38(11): 33-38.

[5] Singh P. The public acquisition of commonsense knowledge[C]//Proceedings of AAAI Spring Symposium: Acquiring (and Using) Linguistic (and World) Knowledge for Information Access. 2002.

[6] Chklovski T. Learner: a system for acquiring commonsense knowledge by analogy[C]// Proceedings of the 2nd international conference on Knowledge capture. New York: ACM,2003: 4-12.

[7] Lieberman H,D Smith,A Teeters. Common Consensus: a web-based game for collecting commonsense goals[C]//Proceedings of ACM Workshop on Common Sense for Intelligent Interfaces. 2007.

[8] Robert Speer. Open mind commons: An inquisitive approach to learning common sense[C]//Proceedings of Workshop on Common Sense and Intelligent User Interfaces. 2007.

[9] Robert Speer,Catherine Havasi,Dustin Smith. An interface for targeted collection of common sense knowledge using a mixture model[C]//Proceedings of the 14th international conference on Intelligent user interfaces. ACM,2009: 137-146.

[10] Von Ahn L,M Kedia,M Blum. Verbosity: a game for collecting common-sense facts[C]// Proceedings of the SIGCHI conference on Human Factors in computing systems. New York: ACM,2006: 75-78.

[12] Cynthia Matuszek,Michael Witbrock,Robert C Kahlert,et al. Searching for common sense: populating CycTMfrom the web[C]//Proceedings of the National Conference on Artificial Intelligence. London: AAAI Press,2005: 1430-1435.

[13] Purvesh Shah,David Schneider,Cynthia Matuszek,et al. Automated population of Cyc: extracting information about named-entities from the web[C]//Proceedings of the Nineteenth International FLAIRS Conference. Melbourne Beach,2006: 153-158.

[14] Ian Scott Eslick.Searching for commonsense[D].Cambridge,MA: Massachusetts Institute of Technology,2006.

[15] Liu H,P Singh. ConceptNet—a practical commonsense reasoning tool-kit[J]. BT technology journal,2004,22(4): 211-226.

[16] L Dong Z,Dong Q. HowNet and the Computation of Meaning[M]. Singapore: World Scientific Publishing Company,2006.

[17] Niu X,Sun X,Wang H,et al. Zhishi.me: Weaving Chinese linking open data[C]//Proceedings of Proceedings of the 10th international conference on The semantic web. Berlin,Heidelberg. 2011: 205-220.

[18] Wang Z C,Wang Z G,Li J Z,et al. Knowledge extraction from Chinese wiki encyclopedias[J]. Journal of Zhejiang University—Science C,2012,13(4): 268-280.

[19] Zeng Y. Extracting,linking and analyzing the Web of structured Chinese data[R]. Beijing: Institute of Automation,Chinese Academy of Sciences,2012.

[20] CAO Cungen,FENG Qiangze,GAO Ying,et al. Progress in the development of national knowledge infrastructure[J]. Journal of Computer Science and Technology,2002,17(5): 523-534.

[21] Ya-nan Cao,Cungen Cao,Liangjun Zang,et al. Acquiring commonsense knowledge about properties of concepts from text[C]//Proceedings of Fifth International Conference on Fuzzy Systems and Knowledge Discovery. IEEE,2008: 155-159.

[22] 曹亞男. 面向web語(yǔ)料的因果知識(shí)獲取研究[D]. 北京: 中國(guó)科學(xué)院計(jì)算技術(shù)研究所,2012.

[23] 彭會(huì)良. 人物相關(guān)事件的常識(shí)知識(shí)獲取方法研究[D]. 北京: 首都師范大學(xué),2010.

[24] 李閃閃,曹存根. 事件前提和后果常識(shí)知識(shí)分析方法研究[J]. 計(jì)算機(jī)科學(xué),2013,40(4): 185-192.

[25] 王寅. 事件域認(rèn)知模型及其解釋力[J]. 現(xiàn)代外語(yǔ),2005,28(1): 17-26.

[26] 吳平博,陳群秀,馬亮. 基于事件框架的事件相關(guān)文檔的智能檢索研究[J]. 中文信息學(xué)報(bào),2003,17(6): 25-30.

[27] 梁晗,陳群秀,吳平博. 基于事件框架的信息抽取系統(tǒng)[J]. 中文信息學(xué)報(bào),2006,20(2): 40-46.

[28] 魯川,緱瑞隆,董麗萍. 現(xiàn)代漢語(yǔ)基本句模[J]. 世界漢語(yǔ)教學(xué),2000,4: 11-24.

An Interactive Method for Acquiring Event-Based Commonsense Knowledge

CAO Cong1,2,3,CAO Cungen1,ZANG Liangjun3,WANG Shi1

(1. Key Laboratory of Intelligent Information Processing,Institute of Computing Technology,Chinese Academy of Sciences,Beijing 100190,China;2. University of Chinese Academy of Sciences,Beijing 100049,China;3. Institute of Information Engineering,Chinese Academy of Sciences,Beijing 100093,China)

A large-scale commonsense knowledge is indispensible for intelligent machine,and commonsense knowledge acquisition has always been an important research area of artificial intelligence. This paper presents an interactive method to guide the contributors to give event-based commonsense knowledge. The process of knowledge acquisition is interactive: machine dynamically generates questions to a contributor,and the human presents commonsense knowledge by his answeres. In addition to the prompt information,seven types of questions are presented in a progressive order to guide the knowledge contributors to think,which also brings more interest to the contributing process. The results show that the interactive method increases the number of knowledge by 451.61% with accuracy of 92.5%.

commonsense knowledge acquisition；event commonsense；interaction process

曹聰(1987—)，博士，主要研究領(lǐng)域?yàn)橹R(shí)獲取，數(shù)據(jù)挖掘。E?mail：caocong@iie．a(chǎn)c．cn曹存根(1964—)，研究員，主要研究領(lǐng)域?yàn)榇笠?guī)模知識(shí)獲取與管理。E?mail：cgcao@ict．a(chǎn)c．cn臧良俊(1981—)，博士，主要研究領(lǐng)域?yàn)橹R(shí)的獲取、表示與推理，機(jī)器學(xué)習(xí)。E?mail：zangliangjun@iie．a(chǎn)c．cn

2014-02-08 定稿日期： 2014-06-11

國(guó)家自然科學(xué)基金(30973713，61035004，61173063，61203284，91224006)；國(guó)家社科基金重點(diǎn)資助項(xiàng)目(10AYY003)；科技部項(xiàng)目(201303107)。

1003-0077(2016)03-0125-08