周博通　孫承杰　林磊　劉秉權(quán)

摘要： 針對(duì)大規(guī)模知識(shí)庫(kù)問答的特點(diǎn)，構(gòu)建了1個(gè)包含3個(gè)主要步驟的問答系統(tǒng)：?jiǎn)柧渲械拿麑?shí)體識(shí)別、問句與屬性的映射和答案選擇。使用基于別名詞典的排序方法進(jìn)行命名實(shí)體識(shí)別，使用結(jié)合注意力機(jī)制的雙向LSTM進(jìn)行屬性映射，最后綜合前2步的結(jié)果從知識(shí)庫(kù)中選擇答案。該系統(tǒng)在NLPCC-ICCPOL 2016 KBQA任務(wù)提供的測(cè)試數(shù)據(jù)集上的平均F1值為0.809 7，接近已發(fā)表的最好水平。

關(guān)鍵詞： 知識(shí)庫(kù)； 自動(dòng)問答； 語(yǔ)義相似度； 注意力機(jī)制

中圖分類號(hào)： TP391

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 2095-2163（2017）05-0150-05

Abstract： To solve the specific problem in KBQA， the paper builds a question answering system based on large scale Chinese knowledge base. This system consists of three main steps： recognition of named entity in question， mapping from question to property in KB， and answering selection. In the research， use alias dictionary based ranking method to recognize named entity contained in question， and attention mechanism with bidirectional LSTM for questionproperty mapping. Finally， exploit results of first two steps to select the answer from knowledge base.The average F1 value of this system in NLPCCICCPOL 2016 KBQA task is 0.809 7， which is competitive with the best result.

Keywords： knowledge base； question answering； semantic similarity； attention mechanism

0引言

基于知識(shí)庫(kù)的自動(dòng)問答的核心在于對(duì)問句的語(yǔ)義理解。輸入的問句是自然語(yǔ)言形式，而知識(shí)庫(kù)中的信息卻是結(jié)構(gòu)化存儲(chǔ)的，同時(shí)問句的表述與知識(shí)庫(kù)中存儲(chǔ)的信息的表述也存在較大的差異。如輸入的問句為“請(qǐng)問華仔的妻子是誰(shuí)??？”，而知識(shí)庫(kù)中相關(guān)的三元組為（“劉德華（香港著名歌手、演員）”，“配偶”，“朱麗倩”）。如何找到“華仔”與“劉德華”、“妻子”與“配偶”之前存在的聯(lián)系，是解決這類問題的關(guān)鍵。

目前主流的研究方法可以分為2類：基于語(yǔ)義分析（Semantic Parsing-based， SP-based）的方法和基于信息檢索（Information Retrieve-based， IR-based）的方法[1]?；谡Z(yǔ)義分析的方法首先將自然語(yǔ)言形式的問句轉(zhuǎn)換為某種邏輯表達(dá)形式，如lambda表達(dá)式等，然后查詢知識(shí)庫(kù)，找到問題的答案?；谛畔z索的方法首先通過(guò)粗略的方式從知識(shí)庫(kù)中獲取一系列的候選答案，然后抽取候選答案、問句與候選答案間的關(guān)系等方面的特征，對(duì)候選答案進(jìn)行排序，選擇排名靠前的作為最終的答案。

本文將基于知識(shí)庫(kù)的自動(dòng)問答分為2個(gè)步驟：命名實(shí)體識(shí)別和屬性映射。在命名實(shí)體識(shí)別步驟中，本文使用基于排序的方法，首先構(gòu)造別名詞典以獲取候選命名實(shí)體，然后對(duì)其進(jìn)行排序；在屬性映射步驟中，本文采用結(jié)合注意力機(jī)制的雙向LSTM模型計(jì)算屬性與問句的語(yǔ)義相關(guān)程度。

本文剩余部分的內(nèi)容組織如下：第1節(jié)介紹了基于知識(shí)庫(kù)的自動(dòng)問答系統(tǒng)的國(guó)內(nèi)外研究現(xiàn)狀，第2節(jié)研究提出了具體命名實(shí)體識(shí)別和屬性映射步驟采用的方法，第3節(jié)則探討設(shè)定了所采用的數(shù)據(jù)集和評(píng)價(jià)指標(biāo)，進(jìn)而闡述展示了實(shí)驗(yàn)結(jié)果。

1國(guó)內(nèi)外研究現(xiàn)狀

基于知識(shí)庫(kù)的自動(dòng)問答系統(tǒng)在人工智能領(lǐng)域具有很長(zhǎng)的發(fā)展歷史。早期的研究主要針對(duì)小規(guī)模的專用知識(shí)庫(kù)，使用的方法以語(yǔ)義分析為主。但這種方法往往需要人工標(biāo)注“自然語(yǔ)言語(yǔ)句-邏輯表達(dá)形式”對(duì)，需要花費(fèi)大量精力。后來(lái)研究人員利用問答對(duì)或其它形式的語(yǔ)料，基于弱監(jiān)督學(xué)習(xí)方法進(jìn)行語(yǔ)義解析。如前所述，目前主流的研究方法主要分為基于語(yǔ)義分析的方法和基于信息檢索的方法兩大類?；谡Z(yǔ)義分析的方法側(cè)重于將自然語(yǔ)言形式的問句轉(zhuǎn)換為某種邏輯表達(dá)式，常見的有l(wèi)ambda表達(dá)式[2]和依存組合語(yǔ)義樹[3]等，然后從知識(shí)庫(kù)中獲取答案。

基于信息檢索的方法側(cè)重于抽取相關(guān)特征對(duì)候選答案進(jìn)行排序。Yao等人[4]使用依存分析技術(shù)，獲得問題的依存分析樹，然后找到問句中涉及的主題，從知識(shí)庫(kù)中找到對(duì)應(yīng)的主題圖Topic Graph，根據(jù)問題的依存樹和主題圖抽取特征，將其送入邏輯回歸模型中進(jìn)行排序。隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的不斷進(jìn)步， Bordes等人[5-6]使用前饋神經(jīng)網(wǎng)絡(luò)對(duì)候選答案的各方面信息設(shè)計(jì)生成編碼，將問句和候選分別轉(zhuǎn)換為維度相同的實(shí)數(shù)向量，最后以2個(gè)向量的點(diǎn)積作為候選答案的得分。Li等人[1]使用Multi-Column CNN分別對(duì)問句中隱含的答案類型、關(guān)系和上下文信息進(jìn)行編碼，同時(shí)對(duì)候選答案的這3類信息也給出了設(shè)計(jì)編碼，最后對(duì)這3類信息的語(yǔ)義向量的點(diǎn)積經(jīng)由加權(quán)處理得到最后的得分。Zhang等人[7]在文獻(xiàn)[1]的基礎(chǔ)上，使用注意力機(jī)制對(duì)于候選答案的不同內(nèi)容訓(xùn)練不同的問句表示。

在中文領(lǐng)域，2016年的NLPCC-ICCPOL KBQA任務(wù)提供了一個(gè)大規(guī)模的知識(shí)庫(kù)，在此基礎(chǔ)上，展開了相關(guān)的研究工作。Wang等人[8]使用卷積神經(jīng)網(wǎng)絡(luò)和GRU模型進(jìn)行問句的語(yǔ)義表示。Xie等人 [9]使用CNN網(wǎng)絡(luò)研發(fā)命名實(shí)體識(shí)別，并使用BiLSTM和CNN具體實(shí)現(xiàn)屬性映射。Yang等人[10]通過(guò)提取多種特征，使用GBDT模型探索推進(jìn)命名實(shí)體識(shí)別研究，使用NBSVM和CNN支持設(shè)計(jì)屬性映射。Lai等人[11]通過(guò)簡(jiǎn)單的詞向量余弦相似度運(yùn)算，結(jié)合細(xì)粒度的分詞進(jìn)行屬性映射，同時(shí)結(jié)合多種人工構(gòu)造的規(guī)則和特征，在該任務(wù)上取得了最好的效果。endprint

2基于LSTM模型和注意力機(jī)制的問答系統(tǒng)

本文將基于知識(shí)庫(kù)的自動(dòng)問答拆分為2個(gè)主要步驟：命名實(shí)體識(shí)別步驟和屬性映射步驟。其中，實(shí)體識(shí)別步驟的目的是找到問句中詢問的實(shí)體名稱，而屬性映射步驟的目的在于找到問句中詢問的相關(guān)屬性。該系統(tǒng)的大體框圖如圖1所示。

如圖1所示，輸入的問句為“石頭記是誰(shuí)寫的？”，首先通過(guò)實(shí)體識(shí)別步驟找出其中提及實(shí)體的部分“石頭記”，進(jìn)而找到知識(shí)庫(kù)中所有正式名或別名為“石頭記”的所有實(shí)體作為候選實(shí)體。如“紅樓夢(mèng)（小說(shuō)）”和“紅樓夢(mèng)（電視?。?；屬性映射將候選實(shí)體的所有相關(guān)屬性作為候選相關(guān)屬性，在本例中即為“作者”、“創(chuàng)作年代”和“導(dǎo)演”，然后計(jì)算每個(gè)候選屬性與問句剩余部分，即“__是誰(shuí)寫的？”的語(yǔ)義相關(guān)度，選擇得分最高的屬性“作者”；最后通過(guò)查詢知識(shí)庫(kù)，得到三元組（“紅樓夢(mèng)（小說(shuō)）”，“作者”，“曹雪芹”），最終得到問題的答案“曹雪芹”。

2.1知識(shí)庫(kù)簡(jiǎn)介及預(yù)處理

本文所采用的知識(shí)庫(kù)由NLPCC-ICCPOL 2016 KBQA任務(wù)有效提供。該知識(shí)庫(kù)是中文領(lǐng)域第一個(gè)大規(guī)模的通用知識(shí)庫(kù)，包含6 502 738個(gè)實(shí)體、587 875個(gè)屬性以及43 063 796個(gè)三元組。知識(shí)庫(kù)文件中每行存儲(chǔ)一個(gè)事實(shí)（fact），即三元組（實(shí)體、屬性、屬性值）。因此，該知識(shí)庫(kù)本質(zhì)上是一個(gè)三元組的集合。該知識(shí)庫(kù)中的內(nèi)容如表1所示。

同時(shí)，該知識(shí)庫(kù)中存在同一實(shí)體的三元組分布在知識(shí)庫(kù)文件中不同位置的情況。為了提高知識(shí)庫(kù)查詢的效率，本文將關(guān)于同一實(shí)體的所有三元組集中起來(lái)，并為知識(shí)庫(kù)建立索引文件。索引文件每行的格式為：實(shí)體名、起始位置、內(nèi)容長(zhǎng)度，表示每個(gè)實(shí)體的所有內(nèi)容在知識(shí)庫(kù)文件中的起始位置和內(nèi)容的總長(zhǎng)度（均以字節(jié)為單位）。在知識(shí)庫(kù)中查找某一實(shí)體時(shí)，首先從索引文件中獲得該實(shí)體的起始位置和內(nèi)容長(zhǎng)度，直接從知識(shí)庫(kù)文件中找到該實(shí)體的所有信息，而不用從頭至尾遍歷知識(shí)庫(kù)，極大地提高了知識(shí)庫(kù)的查詢效率。

2.2命名實(shí)體識(shí)別

實(shí)體識(shí)別步驟的目的在于找出問題中詢問的命名實(shí)體。該部分的大體框架如圖2所示。首先根據(jù)別名詞典查找問句中存在的所有命名實(shí)體作為候選。圖2的候選集合中每個(gè)候選的淺色部分表示候選實(shí)體名及其在問句中的位置。此后通過(guò)模型為每個(gè)候選命名實(shí)體計(jì)算一個(gè)得分NER_SCORE，選取得分最高者作為正確命名實(shí)體。

2.2.1別名詞典構(gòu)建

本文首先構(gòu)建一個(gè)別名詞典，用于命名實(shí)體識(shí)別步驟的候選獲取，同時(shí)也可以查找某個(gè)命名實(shí)體能夠指代的所有實(shí)體。本文使用模版來(lái)匹配NLPCC知識(shí)庫(kù)中具有別名意義的屬性，抽取相關(guān)別名信息。如果一個(gè)屬性能夠匹配下列模版之一，則將其對(duì)應(yīng)的屬性值作為對(duì)應(yīng)的實(shí)體的別名。具體情況如下所示：

1）以“名”結(jié)尾：別名、中文名、英文名、原名等。（第X名、排名等除外）。

2）以“稱”結(jié)尾：別稱、全稱、簡(jiǎn)稱、舊稱等。（XX職稱等除外）。

3）以“名稱”結(jié)尾：中文名稱、其它名稱等。（專輯名稱、粉絲名稱等除外）。

除此之外，如果實(shí)體名中存在括號(hào)，如“紅樓夢(mèng)（中國(guó)古典長(zhǎng)篇小說(shuō)）”，則將括號(hào)之外的部分作為該實(shí)體的別名，即“紅樓夢(mèng)”作為實(shí)體“紅樓夢(mèng)（中國(guó)古典長(zhǎng)篇小說(shuō)）”的別名。如果實(shí)體名中包含書名號(hào)，如“《計(jì)算機(jī)基礎(chǔ)》”，則將書名號(hào)內(nèi)的部分作為該實(shí)體的別名，即“計(jì)算機(jī)基礎(chǔ)”作為實(shí)體“《計(jì)算機(jī)基礎(chǔ)》”的別名。根據(jù)上述方法，最終得到一個(gè)包含了7 304 663個(gè)別名的別名詞典。

2.2.2候選命名實(shí)體排序

通過(guò)對(duì)大量問答樣例的觀察，本文抽取2個(gè)相關(guān)特征進(jìn)行候選命名實(shí)體的排序，分別為候選命名實(shí)體的長(zhǎng)度L（以字為單位）和逆文檔頻率（Inverse Document Frequency，IDF）。通過(guò)對(duì)2個(gè)特征的加權(quán)得到候選命名實(shí)體的得分。如下所示：

NER_SCORE=α*L+（1-α）*IDF[JY]（1）

2.3屬性映射

經(jīng)過(guò)命名實(shí)體識(shí)別步驟，對(duì)于輸入的問句“裝備戰(zhàn)傷理論與技術(shù)是哪個(gè)出版社出版的？”，可以得到其詢問的命名實(shí)體“裝備戰(zhàn)傷理論與技術(shù)”。依據(jù)別名詞典，可以找到知識(shí)庫(kù)中以該命名實(shí)體為正式名或別名的所有候選實(shí)體，本例中只有一個(gè)實(shí)體：一本名為“裝備戰(zhàn)傷理論與技術(shù)”的書籍。知識(shí)庫(kù)中關(guān)于該實(shí)體的三元組共5個(gè)，其屬性分別為“別名”、“中文名”、“出版社”、“平裝”和“開本”。屬性映射步驟的目的在于找出這5個(gè)候選屬性中與問句語(yǔ)義最為相近的屬性，該屬性即為問句詢問的內(nèi)容。

本文使用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long Short Term Memory，LSTM）對(duì)問句和屬性進(jìn)行編碼，得到對(duì)應(yīng)的語(yǔ)義向量，計(jì)算這2個(gè)向量的余弦相似度來(lái)表示問句與屬性的語(yǔ)義度。

在對(duì)數(shù)據(jù)進(jìn)行觀察和簡(jiǎn)單實(shí)驗(yàn)后，研究發(fā)現(xiàn)屬性映射階段的重點(diǎn)在于找到屬性中的單詞與問句中的單詞的對(duì)應(yīng)關(guān)系。如問句“請(qǐng)問西游記是什么時(shí)候?qū)懙模俊迸c知識(shí)庫(kù)中的屬性“創(chuàng)作年代”就存在這種對(duì)應(yīng)關(guān)系：“創(chuàng)作”和“寫”、“年代”和“時(shí)候”，而這種對(duì)應(yīng)關(guān)系可以通過(guò)這種注意力機(jī)制更好地發(fā)現(xiàn)。因此，本文根據(jù)文獻(xiàn)[12]中應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)的注意力機(jī)制的啟發(fā)，融合注意力機(jī)制與卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行屬性映射。

2.3.1基于雙向LSTM的語(yǔ)義編碼

使用雙向LSTM對(duì)輸入的問句和屬性獨(dú)立進(jìn)行編碼，得到對(duì)應(yīng)的語(yǔ)義向量，如圖3所示。

由圖3可知，輸入語(yǔ)句首先經(jīng)過(guò)詞嵌入層，將單詞映射為固定維度的詞向量。然后送入雙向LSTM中，將雙向LSTM每一時(shí)刻的輸出取平均，將得到的結(jié)果送入一個(gè)全連接層，最終得到輸入語(yǔ)句對(duì)應(yīng)的語(yǔ)義編碼。

2.3.2基于單詞語(yǔ)義相似度的注意力機(jī)制

本節(jié)對(duì)研究應(yīng)用的注意力機(jī)制進(jìn)行具體介紹。該注意力機(jī)制首先需要計(jì)算一個(gè)注意力矩陣，如圖4所示。endprint

2.3.3額外詞匯特征

為了進(jìn)一步提高屬性映射的結(jié)果，本文抽取2個(gè)額外的詞匯特征，然后與雙向LSTM的輸出一起送入邏輯斯蒂回歸模型中，得到屬性映射步驟的最后得分PROP_SCORE。人工選擇的特征根據(jù)屬性與問句的重疊長(zhǎng)度（以字為單位）計(jì)算，即屬性與問句中共有的字的個(gè)數(shù)除以屬性的長(zhǎng)度得到特征OVP，除以問句的長(zhǎng)度得到特征OVQ。

2.4答案選擇

[2.4.1命名實(shí)體重排序

在選擇答案前，首先使用屬性映射步驟的得分對(duì)命名實(shí)體識(shí)別的結(jié)果進(jìn)行重排序。假如在實(shí)體識(shí)別步驟，正確的命名實(shí)體沒有排在第一位，在屬性映射步驟，其候選屬性的最高得分仍然會(huì)高于錯(cuò)誤的命名實(shí)體?？紤]問題“李軍醫(yī)生是什么學(xué)校畢業(yè)的”，在命名實(shí)體識(shí)別步驟，正確的命名實(shí)體“李軍”的得分2.81要低于“軍醫(yī)”的得分3.23。但“李軍”對(duì)應(yīng)的屬性識(shí)別步驟的最優(yōu)相關(guān)屬性為“畢業(yè)院?！?，得分為0.97，該分?jǐn)?shù)要遠(yuǎn)高于“軍醫(yī)”對(duì)應(yīng)的最優(yōu)屬性識(shí)別“出版社”的得分0.30。由表4可以看出，在測(cè)試集上該模型的準(zhǔn)確率可以達(dá)到94.56%，而正確候選得分排在前3位（Top3）的樣例已經(jīng)達(dá)到99.13%。

本文使用中文維基百科作為語(yǔ)料，使用Google word2vec工具訓(xùn)練詞向量，詞向量維度為300。屬性映射步驟的BiLSTM的隱含層為200維。在進(jìn)行模型訓(xùn)練時(shí)，由于數(shù)據(jù)集中正例遠(yuǎn)少于負(fù)例，因此本文將正例進(jìn)行重復(fù)，達(dá)到與負(fù)例相同的程度，最終正負(fù)例比例為1∶1。表5給出了指定幾種模型的訓(xùn)練和測(cè)試結(jié)果。

[官方評(píng)測(cè)最終結(jié)果采用的評(píng)價(jià)指標(biāo)為平均F1值。由于每個(gè)樣例的標(biāo)準(zhǔn)答案和候選答案均為集合的形式，因此每個(gè)樣例都可以得到一個(gè)F1值，最后取所有樣例F1值的平均。

選用在屬性識(shí)別上取得最好結(jié)果的模型。經(jīng)過(guò)在NLPCC問答數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，發(fā)現(xiàn)當(dāng)對(duì)命名實(shí)體識(shí)別重排序的權(quán)重α取0.3時(shí)，可以取得最好的問答結(jié)果。在NLPCC提供的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，得到實(shí)驗(yàn)結(jié)果如表6所示。

從表7和表8中可以看出，使用屬性映射步驟的結(jié)果對(duì)候選命名實(shí)體進(jìn)行重排序后，命名實(shí)體識(shí)別的準(zhǔn)確率有了很大的提升，問答的準(zhǔn)確率也隨之提升。

與參與NLPCC-ICCPOL 2016 KBQA評(píng)測(cè)任務(wù)的所有結(jié)果相比，前2名的結(jié)果分別為0.824 4與0.815 9。但這兩者都使用了其它較復(fù)雜的特征和人工規(guī)則。本文在僅使用神經(jīng)網(wǎng)絡(luò)模型和少量簡(jiǎn)單文本特征的情況下，取得了與其接近的效果，證明了本文提出的模型在該任務(wù)上的有效性。

4結(jié)束語(yǔ)

實(shí)體識(shí)別和屬性映射是構(gòu)建基于大規(guī)模知識(shí)庫(kù)問答系統(tǒng)的2個(gè)難點(diǎn)，本文提出了相應(yīng)的方法解決這2個(gè)挑戰(zhàn)。在展開實(shí)體識(shí)別研究時(shí)，首先采用別名詞典獲取候選，然后抽取相關(guān)特征進(jìn)行排序。在探討屬性映射時(shí)，考慮到屬性與問句中的詞對(duì)應(yīng)關(guān)系，使用結(jié)合注意力機(jī)制的雙向LSTM模型，再結(jié)合簡(jiǎn)單文本特征獲取正確的屬性。在得到屬性映射的結(jié)果后，利用其對(duì)命名實(shí)體識(shí)別的結(jié)果進(jìn)行重排序，然后實(shí)現(xiàn)答案選擇。本文構(gòu)建的問答系統(tǒng)在NLPCC-ICCPOL 2016 KBQA任務(wù)的數(shù)據(jù)集上取得了接近目前已發(fā)表最好成績(jī)的效果。

參考文獻(xiàn)：

LI Dong， WEI Furu， ZHOU Ming， et al. Question answering over freebase with multicolumn convolutional neural networks[C]//Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. Beijing， China：ACL， 2015：260-269.

[2] ZETTLEMOYER L S， COLLINS M. Learning to map sentences to logical form： Structured classification with probabilistic categorial grammars[C]// Proceeding UAI'05 Proceedings of the TwentyFirst Conference on Uncertainty in Artificial Intelligence. Edinburgh， Scotland：ACM， 2005：658-666.

[3] BERANT J， CHOU A， FROSTIG R， et al. Semantic parsing on freebase from questionanswer pairs[C]// EMNLP. Seattle， Washington， USA：ACL， 2013： 6.

[4] YAO X， DURME B V. Information extraction over structured data： Question answering with freebase[C]// Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics. Baltimore： ACL， 2014： 956-966.

[5] BORDES A， CHOPRA S， WESTON J. Question answering with subgraph embeddings[J]. arXiv preprint arXiv：1406.3676， 2014.endprint

[6] BORDES A， WESTON J， USUNIER N. Open question answering with weakly supervised embedding models[C]//ECML PKDD 2014 Proceedings of the European Conference on Machine Learning and Knowledge Discovery in Databases. Nancy， France：ACM， 2014： 165-180.

[7] ZHANG Y， LIU K， HE S， et al. Question answering over knowledge base with neural attention combining global knowledge information[J]. arXiv preprint arXiv：1606.00979， 2016.

[8] WANG Linjie， ZHANG Yu， LIU Ting. A deep learning approach for question answering over knowledge base[M]// LIN C Y， XUE N， ZHAO D， et al. Natural Language Understanding and Intelligent Applications. ICCPOL 2016， NLPCC 2016. Lecture Notes in Computer Science， Cham：Springer， 2016： 885-892.

[9] XIE Zhiwen， ZENG Zhao， ZHOU Guangyou， et al. Knowledge base question answering based on deep learning models[C]// LIN C Y， XUE N， ZHAO D， et al. Natural Language Understanding and Intelligent Applications. ICCPOL 2016， NLPCC 2016. Lecture Notes in Computer Science. Cham：Springer， 2016： 300-311.

[10]YANG Fengyu， GAN Liang， LI Aiping， et al. Combining deep learning with information retrieval for question answering[C]//LIN C Y， XUE N， ZHAO D， et al. Natural Language Understanding and Intelligent Applications. ICCPOL 2016， NLPCC 2016. Lecture Notes in Computer Science. Cham：Springer， 2016： 917-925.

[11]LAI Yuxuan， LIN Yang， CHEN Jiahao， et al. Open domain question answering system based on knowledge base[C]// LIn C Y， XUE N， ZHAO D， et al. Natural Language Understanding and Intelligent Applications. ICCPOL 2016， NLPCC 2016. Lecture Notes in Computer Science. Cham： Springer，2016： 722-733.

[12]YIN W， SCHTZE H， XIANG B， et al. Abcnn： Attentionbased convolutional neural network for modeling sentence pairs[J]. arXiv preprint arXiv：1512.05193， 2015.endprint