盧 琪，謝藝菲，謝 鈞，潘志松

(中國(guó)人民解放軍陸軍工程大學(xué) 指揮控制工程學(xué)院，江蘇 南京 210000)

0 引 言

智能問(wèn)答(question answering，QA)是自然語(yǔ)言處理(natural language processing，NLP)領(lǐng)域一個(gè)重要分支，經(jīng)過(guò)多年的發(fā)展，已逐漸成為NLP中最為火熱的研究方向之一。智能問(wèn)答最早可以追溯到二十世紀(jì)五六十年代的圖靈測(cè)試，要求計(jì)算機(jī)在有限時(shí)間內(nèi)回答用戶給出的一系列問(wèn)題，并且要讓用戶做出超過(guò)30%的誤判。第一個(gè)問(wèn)答系統(tǒng)[1]一般認(rèn)為是誕生于20世紀(jì)60年代的“Eliza”，用于對(duì)精神病人進(jìn)行心理治療。

按照數(shù)據(jù)可以把問(wèn)答分為三種類型：

(1)基于文本問(wèn)答：也稱為機(jī)器閱讀理解式(machine reading comprehension，MRC)問(wèn)答，每個(gè)問(wèn)題對(duì)應(yīng)若干篇非結(jié)構(gòu)化文本數(shù)據(jù)，然后從文本數(shù)據(jù)中檢索和抽取答案；

(2)基于知識(shí)庫(kù)問(wèn)答：也稱為知識(shí)圖譜問(wèn)答(knowledge graph question answering，KGQA)，即直接從構(gòu)建好的結(jié)構(gòu)化知識(shí)庫(kù)中檢索答案；

(3)基于社區(qū)的問(wèn)答：用戶生成的問(wèn)答對(duì)組成了社區(qū)問(wèn)答的數(shù)據(jù)，例如百度知道、搜狗問(wèn)答、知乎等論壇。

該文在簡(jiǎn)單介紹知識(shí)圖譜和智能問(wèn)答的基礎(chǔ)上，總結(jié)歸納了知識(shí)圖譜用于智能問(wèn)答系統(tǒng)的研究進(jìn)展和挑戰(zhàn)，并討論了新興的研究趨勢(shì)。

1 知識(shí)圖譜

知識(shí)表示是知識(shí)組織的前提和基礎(chǔ)。語(yǔ)義網(wǎng)便是早期知識(shí)表示的代表，它通過(guò)萬(wàn)維網(wǎng)聯(lián)盟(world wide web consortium，W3C)標(biāo)準(zhǔn)來(lái)擴(kuò)展萬(wàn)維網(wǎng)，使之變成一個(gè)數(shù)據(jù)網(wǎng)。

1.1 知識(shí)圖譜問(wèn)答

知識(shí)圖譜問(wèn)答的關(guān)鍵在于把用戶的自然語(yǔ)言問(wèn)題轉(zhuǎn)化為機(jī)器可以理解的形式查詢。傳統(tǒng)的知識(shí)圖譜問(wèn)答方法主要包括三種：

(1)基于語(yǔ)義解析的方法：把用戶給出的自然語(yǔ)言問(wèn)題轉(zhuǎn)化成邏輯形式，在知識(shí)圖譜上查詢；

(2)基于模板的方法：根據(jù)模板提取問(wèn)題中的信息表示成特征向量，用分類器對(duì)問(wèn)題特征向量進(jìn)行篩選，得到答案；

(3)基于向量建模的方法：把問(wèn)題和候選答案用分布式表示，用分布式表示訓(xùn)練模型，使問(wèn)題和正確答案的分?jǐn)?shù)盡可能高。

隨著深度學(xué)習(xí)領(lǐng)域不斷發(fā)展，神經(jīng)網(wǎng)絡(luò)在KGQA中也取得了非常優(yōu)秀的性能，得到廣泛關(guān)注。

1.2 知識(shí)圖譜和KGQA數(shù)據(jù)集

近年來(lái)出現(xiàn)眾多大型的開(kāi)源知識(shí)圖譜，推動(dòng)了知識(shí)圖譜領(lǐng)域的快速發(fā)展。利用這些開(kāi)源的知識(shí)圖譜構(gòu)建出各種大規(guī)模KGQA的數(shù)據(jù)集，也極大地促進(jìn)了知識(shí)圖譜問(wèn)答的發(fā)展。該文將知識(shí)圖譜數(shù)據(jù)集根據(jù)規(guī)模、語(yǔ)言、來(lái)源等特征進(jìn)行整理，如表1所示。將知識(shí)圖譜問(wèn)答數(shù)據(jù)集根據(jù)規(guī)模、有無(wú)形式查詢、來(lái)源等特征進(jìn)行整理，如表2所示。這些數(shù)據(jù)集彌補(bǔ)過(guò)去數(shù)據(jù)集缺陷的同時(shí)，也提出新的挑戰(zhàn)，為KGQA發(fā)展提供了研究基礎(chǔ)。

表1 知識(shí)圖譜數(shù)據(jù)集匯總

表2 知識(shí)圖譜問(wèn)答數(shù)據(jù)集匯總

續(xù)表2

2 智能問(wèn)答

近年來(lái)智能問(wèn)答取得了很大的發(fā)展，很多智能問(wèn)答系統(tǒng)走進(jìn)了人們的生活，為人們帶來(lái)了極大的便利。蘋(píng)果公司研發(fā)的智能語(yǔ)音助手Siri不僅能智能問(wèn)答還可以對(duì)手機(jī)進(jìn)行語(yǔ)音控制等，之后各大公司也推出了自己的語(yǔ)音助手或者問(wèn)答系統(tǒng)。

2.1 機(jī)器閱讀理解問(wèn)答

2.2 機(jī)器閱讀理解問(wèn)答數(shù)據(jù)集

2016年斯坦福大學(xué)公布了SQuAD[12]數(shù)據(jù)集，包含了涉及500篇文章的超過(guò)10萬(wàn)條問(wèn)題-答案對(duì)，SQuAD是一個(gè)抽取式問(wèn)答數(shù)據(jù)集，答案被限定為段落中的一個(gè)連續(xù)子片段；同年，微軟發(fā)布了MARCO數(shù)據(jù)集，包含10萬(wàn)個(gè)問(wèn)題，每個(gè)問(wèn)題有10個(gè)左右的相關(guān)段落，MARCO是一個(gè)生成式問(wèn)答數(shù)據(jù)集，答案詞匯不一定來(lái)自于段落本身，而是由人工編寫(xiě)的。然而也有檢索完文檔發(fā)現(xiàn)無(wú)法回答問(wèn)題的情況，這時(shí)候就希望模型能給出“Unanswerable”的答案，所以斯坦福大學(xué)又公布了SQuAD2.0[13]數(shù)據(jù)集。TriviaQA[14]數(shù)據(jù)集包含超過(guò)65萬(wàn)個(gè)問(wèn)題-答案-證據(jù)三元組，該數(shù)據(jù)集包含相對(duì)復(fù)雜的問(wèn)題，簡(jiǎn)單的文本匹配方法無(wú)法適應(yīng)該數(shù)據(jù)集。QAngaroo[15]數(shù)據(jù)集考慮到有些問(wèn)題需要考慮多個(gè)文檔才能回答，利用知識(shí)圖譜技術(shù)構(gòu)造了兩個(gè)多跳閱讀理解數(shù)據(jù)集，要求模型不僅需要正確回答出答案，還需要提供支持答案的證據(jù)。HotpotQA[16]數(shù)據(jù)集包含了11.3萬(wàn)個(gè)基于維基百科的問(wèn)題-答案對(duì)，能夠訓(xùn)練可執(zhí)行多跳推理并提供答案支持的問(wèn)答系統(tǒng)。中文方面，百度發(fā)布了大規(guī)模開(kāi)放域數(shù)據(jù)集DuReader[17]，包含20萬(wàn)個(gè)問(wèn)題、100萬(wàn)個(gè)文章和42萬(wàn)個(gè)答案，這些問(wèn)題和文章都來(lái)源于百度搜索引擎數(shù)據(jù)和問(wèn)答社區(qū)。哈工大訊飛聯(lián)合實(shí)驗(yàn)室發(fā)布的CMRC數(shù)據(jù)集[18]，該數(shù)據(jù)集包含專家在Wikipedia段落上標(biāo)注的近2萬(wàn)個(gè)真實(shí)問(wèn)題。這些數(shù)據(jù)集的提出為問(wèn)答系統(tǒng)的研究提供了極大的便利。

2.3 機(jī)器閱讀理解問(wèn)答系統(tǒng)

把近年機(jī)器閱讀理解模型根據(jù)特征提取器、是否引入知識(shí)等特征進(jìn)行整理，如表3所示。

神經(jīng)網(wǎng)絡(luò)由于其強(qiáng)大的表示能力，如今在問(wèn)答系統(tǒng)中已取得很大的進(jìn)展?；谏窠?jīng)網(wǎng)絡(luò)的問(wèn)答模型常用框架為“編碼-交互-預(yù)測(cè)”，如圖1所示。

圖1 問(wèn)答系統(tǒng)常用框架

交互層的作用是把問(wèn)題和文章的編碼進(jìn)行交互，首先計(jì)算文章和問(wèn)題中每對(duì)單詞之間的相似度：

S=α(Hp)THq

(1)

然后通過(guò)注意力機(jī)制或者LSTM得到交互后的表示。

預(yù)測(cè)層的作用是根據(jù)相似度預(yù)測(cè)答案，通過(guò)把候選答案在文章中的開(kāi)始位置和結(jié)束位置的概率相乘得到該候選答案的分?jǐn)?shù)。訓(xùn)練過(guò)程中的目標(biāo)函數(shù)為:

(2)

其中，p1，p2為開(kāi)始和結(jié)束位置的概率，si，ei分別表示起始位置和結(jié)束位置的groundtruth。

Vaswani等人提出了Transformer[27]架構(gòu)，其中自注意力機(jī)制(self-attention)使得每個(gè)詞都有全局的語(yǔ)義信息，長(zhǎng)距離依賴關(guān)系的提取能力要強(qiáng)于RNN。使用多頭注意力機(jī)制在多個(gè)語(yǔ)義空間上進(jìn)行表示，性能遠(yuǎn)好于RNN和CNN。

3 知識(shí)圖譜問(wèn)答

KGQA主流方法有基于語(yǔ)義解析(semantic parsing)的方法和基于信息檢索這兩種。下面分別介紹這兩個(gè)主流方法的具體算法和發(fā)展。

3.1 基于語(yǔ)義解析的KGQA

基于語(yǔ)義解析的KGQA方法把要解決的問(wèn)題看作語(yǔ)義解析問(wèn)題，即把自然語(yǔ)言問(wèn)題轉(zhuǎn)化成語(yǔ)義表示，再映射成邏輯形式?；谡Z(yǔ)義解析的KGQA可以看作答案能否回答問(wèn)題的二分類任務(wù)，也可以看作候選答案的排序問(wèn)題，隨著編碼-解碼模型在翻譯領(lǐng)域的廣泛使用，也有學(xué)者使用翻譯中的模型解決KGQA問(wèn)題。

3.1.1 基于分類的KGQA

分類任務(wù)即預(yù)測(cè)問(wèn)題q中的關(guān)系屬于n種關(guān)系r1,…,rn中的哪一類，可以分為三個(gè)步驟：

(1)使用編碼器把可變長(zhǎng)度的輸入q映射成固定維度的向量q∈Rd；

(2)問(wèn)題編碼經(jīng)過(guò)映射計(jì)算得到分?jǐn)?shù)向量：

s(q)=WOq+bo

其中，Wo∈Rn×d，bo∈Rn。

(3)輸出層中，模型會(huì)基于softmax函數(shù)把分?jǐn)?shù)向量轉(zhuǎn)化成條件概率分布：

其中，k=1,2,…,n，選擇給定q時(shí)概率最高的關(guān)系。

f(i)=(e(i),r(i))

使用最大化對(duì)數(shù)似然函數(shù)來(lái)訓(xùn)練模型：

Mohammed等人[28]提出：對(duì)于簡(jiǎn)單問(wèn)題，基于分類的系統(tǒng)使用最基本的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(CNN、LSTM)加上一些簡(jiǎn)單的規(guī)則就能夠達(dá)到SOTA性能。

3.1.2 基于排序的KGQA

給定自然語(yǔ)言問(wèn)題q和知識(shí)圖譜時(shí)，基于排序的KGQA通常會(huì)使用一些搜索策略來(lái)尋找合適的候選形式查詢集合：C(q)={f1,f2,…,fN}，然后使用基于神經(jīng)網(wǎng)絡(luò)的排序模型選擇最匹配的形式查詢。一般有兩個(gè)步驟：

(1)問(wèn)題q和候選形式查詢f通過(guò)編碼器映射到向量空間；

(2)形式查詢向量f和編碼后的問(wèn)題q一起送入評(píng)分函數(shù)，返回的分?jǐn)?shù)s(q,f)表示形式查詢f和問(wèn)題q的匹配程度。得分最高的形式查詢作為模型的預(yù)測(cè)：

Li等人[29]提出使用多列卷積神經(jīng)網(wǎng)絡(luò)(multi-column CNN)從答案路徑、答案類型和答案上下文三個(gè)角度來(lái)表示問(wèn)題，提取了更豐富的信息并且不依賴手工特征和規(guī)則。

3.1.3 基于編碼-解碼模型的KGQA

圖2 Seq2Seq架構(gòu)

Alvarezmelis等人[31]提出了一種改進(jìn)型樹(shù)狀解碼器，使用兩個(gè)獨(dú)立的RNN分別對(duì)父-子和兄弟-兄弟節(jié)點(diǎn)之間的信息流建模，提供了使用RNN從自然語(yǔ)言查詢生成可執(zhí)行的查詢語(yǔ)言這一思路。

3.2 基于信息檢索的KGQA

基于信息檢索的KGQA通常先確定用戶查詢中的中心實(shí)體，然后鏈接到知識(shí)圖譜中確定相關(guān)實(shí)體得到候選答案集合，之后通過(guò)評(píng)分或者排序的方式找出最可能的答案。該方法不需要大量手工特征或者規(guī)則，將復(fù)雜語(yǔ)義問(wèn)題轉(zhuǎn)化為大規(guī)?？蓪W(xué)習(xí)問(wèn)題?；谛畔z索的KGQA根據(jù)使用的方法可以分為基于特征工程的方法和基于深度學(xué)習(xí)的方法。

3.2.1 基于特征工程的方法

Yao等人[32]率先提出了該類方法的通用模型，作者首先對(duì)用戶查詢進(jìn)行句法分析，然后把依存關(guān)系轉(zhuǎn)化成更通用的問(wèn)題特征圖。接著利用問(wèn)題主題詞在知識(shí)圖譜中提取相關(guān)的節(jié)點(diǎn)，構(gòu)成主題圖。最后把問(wèn)題中的特征與主題圖中的特征進(jìn)行組合，通過(guò)分類器學(xué)習(xí)特征的權(quán)重。

Bast等人[33]提出了一種端到端的系統(tǒng)可以自動(dòng)將自然語(yǔ)言問(wèn)題轉(zhuǎn)化成SPARQL查詢語(yǔ)言。以交互方式回答問(wèn)題，要求用戶反饋關(guān)鍵決策，大大提高準(zhǔn)確性。

3.2.2 基于深度學(xué)習(xí)的方法

基于特征工程的方法需要預(yù)先定義并抽取特征，受主觀因素限制，并且難以處理復(fù)雜問(wèn)題。而深度學(xué)習(xí)可以很好地解決這些問(wèn)題，通過(guò)神經(jīng)網(wǎng)絡(luò)把問(wèn)題和候選答案映射為空間向量，然后進(jìn)行匹配。

Yih等人[34]〗使用卷積神經(jīng)網(wǎng)絡(luò)解決單關(guān)系問(wèn)答。通過(guò)CNN構(gòu)建兩個(gè)不同的匹配模型，分別用來(lái)識(shí)別問(wèn)題中出現(xiàn)的實(shí)體和匹配實(shí)體與KG中實(shí)體的相似度，最后給所有關(guān)系三元組打分，分?jǐn)?shù)最高的三元組作為問(wèn)題的答案。但是模型難以處理復(fù)雜的多關(guān)系情況。Hao等人[35]更關(guān)注問(wèn)題的表示，提出了一種新的基于cross-attention的模型，根據(jù)不同的答案類型賦予問(wèn)題中不同單詞的權(quán)重，這種動(dòng)態(tài)表示不僅精確而且更加靈活。

4 知識(shí)圖譜用于機(jī)器閱讀理解問(wèn)答

除了知識(shí)圖譜問(wèn)答，知識(shí)圖譜還能用于機(jī)器閱讀理解問(wèn)答。機(jī)器閱讀理解要求從給定的文章中提取信息回答問(wèn)題，而當(dāng)人類在做閱讀理解任務(wù)時(shí)，利用給定上下文回答問(wèn)題的同時(shí)，也會(huì)利用一些先驗(yàn)知識(shí)。

百度Sun等人發(fā)布的ERNIE(enhanced representation from knowledge integration)模型，在預(yù)訓(xùn)練時(shí)引入了多源數(shù)據(jù)知識(shí)：百科類、新聞資訊類以及論壇對(duì)話類數(shù)據(jù)，通過(guò)建模這些海量數(shù)據(jù)中的詞、實(shí)體以及實(shí)體之間的關(guān)系，把知識(shí)編碼到預(yù)訓(xùn)練模型中，增強(qiáng)了模型的語(yǔ)義表示能力。

清華大學(xué)Zhang等人提出ERNIE(enhanced language representation with informative entities)模型，不同于百度通過(guò)MASK的方法隱式地引入知識(shí)，清華的ERNIE通過(guò)改進(jìn)BERT模型結(jié)構(gòu)，將知識(shí)和語(yǔ)義信息顯式地在預(yù)訓(xùn)練時(shí)進(jìn)行編碼學(xué)習(xí)。模型在編碼過(guò)程中引入一個(gè)聚合器(aggregator)用于知識(shí)編碼以及知識(shí)融合，有效解決了結(jié)構(gòu)化的知識(shí)編碼和異質(zhì)信息融合問(wèn)題。

Liu等人提出了K-BERT(knowledge-enabled bidirectional encoder representation from transformers)模型，在模型中引入了軟定位和可見(jiàn)矩陣來(lái)限制知識(shí)的影響。首先把句子中提到所有的命名實(shí)體提取出來(lái)去知識(shí)圖譜中查詢對(duì)應(yīng)的三元組，然后把提取的三元組引入句子中生成句子樹(shù)，以此來(lái)引入知識(shí)，提高模型的表達(dá)能力。

上面的這三種模型都是在模型預(yù)訓(xùn)練階段引入知識(shí)圖譜，Yang等人提出了KT-Net(knowledge and text fusion net)，模型的知識(shí)整合(knowledge integration)模塊在面向下游任務(wù)的微調(diào)階段引入知識(shí)圖譜中的信息。

其中知識(shí)表示是在整個(gè)知識(shí)圖譜上學(xué)習(xí)的嵌入表示，能夠捕獲整個(gè)知識(shí)圖譜的全局信息，并且知識(shí)融合也易于擴(kuò)展至融合多個(gè)知識(shí)圖譜的信息。上述提到的把知識(shí)圖譜信息引入機(jī)器閱讀理解的模型也匯總到表3中。

表3 機(jī)器閱讀理解問(wèn)答模型對(duì)比

續(xù)表3

5 挑戰(zhàn)與研究方向

近年來(lái)國(guó)內(nèi)外涌現(xiàn)出多種把知識(shí)圖譜應(yīng)用于問(wèn)答的方法，在取得很大進(jìn)展的同時(shí)仍然存在不同方面的挑戰(zhàn)。本章簡(jiǎn)單介紹當(dāng)前研究的幾個(gè)瓶頸問(wèn)題，并提出下一步的研究方向。

5.1 存在的挑戰(zhàn)

(1)知識(shí)圖譜的數(shù)據(jù)問(wèn)題。知識(shí)圖譜數(shù)據(jù)的質(zhì)量顯著影響著問(wèn)答系統(tǒng)的性能，如何確保知識(shí)圖譜中數(shù)據(jù)廣而準(zhǔn)確非常關(guān)鍵。目前知識(shí)圖譜大多存在噪聲、數(shù)據(jù)稀疏、數(shù)據(jù)冗余等問(wèn)題，這些問(wèn)題會(huì)給問(wèn)答系統(tǒng)帶來(lái)影響。

(2)用戶復(fù)雜查詢轉(zhuǎn)化成邏輯形式的問(wèn)題。KGQA中的一大難點(diǎn)便是如何把用戶提出的自然語(yǔ)言查詢轉(zhuǎn)化成機(jī)器可以理解的邏輯形式。實(shí)際應(yīng)用中用戶提出的往往是復(fù)雜問(wèn)題，如何得到復(fù)雜問(wèn)題的通用解決范式也是一大挑戰(zhàn)。

(3)機(jī)器閱讀理解問(wèn)答引入知識(shí)的問(wèn)題。在長(zhǎng)尾問(wèn)題、少樣本問(wèn)題、樣本不均衡問(wèn)題等背景下，引入哪些知識(shí)，如何引入知識(shí)是需要探索的方向，更具體的，使用何種方法把知識(shí)和文本語(yǔ)義信息融合起來(lái)，判斷哪些知識(shí)是相關(guān)的都是值得探索的。

5.2 下一步研究方向

(1)嘗試多個(gè)知識(shí)圖譜信息融合。針對(duì)知識(shí)圖譜數(shù)據(jù)質(zhì)量低下的問(wèn)題，考慮結(jié)合多個(gè)知識(shí)圖譜，保留不沖突、不重復(fù)的信息，可以一定程度上解決數(shù)據(jù)稀疏問(wèn)題。同時(shí)可以檢測(cè)知識(shí)圖譜之間的沖突信息，并進(jìn)行消解和避免，以此解決噪聲問(wèn)題。

(2)借助于不斷涌現(xiàn)的語(yǔ)言模型強(qiáng)大的表示能力，從語(yǔ)義層面解析問(wèn)題。近年隨著語(yǔ)言模型的飛速發(fā)展，使用語(yǔ)言模型得到問(wèn)題的表示，再到知識(shí)圖譜中查詢會(huì)是未來(lái)的研究方向。

(3)知識(shí)圖譜用于多跳問(wèn)答推理。多跳問(wèn)答是機(jī)器閱讀理解問(wèn)答的一大研究熱點(diǎn)，回答多跳問(wèn)答需要結(jié)合多篇文章甚至外部知識(shí)，如何把知識(shí)圖譜中的信息有效利用起來(lái)會(huì)是接下來(lái)的研究方向。

(4)基于遷移學(xué)習(xí)的知識(shí)圖譜問(wèn)答系統(tǒng)。由于某些領(lǐng)域沒(méi)有知識(shí)圖譜或者知識(shí)圖譜規(guī)模小，大量有標(biāo)注的樣本難以獲得，考慮使用遷移學(xué)習(xí)解決這一問(wèn)題。

6 結(jié)束語(yǔ)

該文從兩個(gè)方面介紹了知識(shí)圖譜在智能問(wèn)答中的應(yīng)用，對(duì)比了多個(gè)常用的數(shù)據(jù)集，概括了主流的方法以及存在的問(wèn)題。智能問(wèn)答作為自然語(yǔ)言處理的一個(gè)重要分支，能夠從海量數(shù)據(jù)中簡(jiǎn)明扼要地給出用戶需要的答案，便于用戶獲得精準(zhǔn)信息。而知識(shí)圖譜作為自然語(yǔ)言處理的另一個(gè)重要分支，被廣泛地應(yīng)用于智能問(wèn)答、推薦系統(tǒng)、搜索引擎以及輔助決策等領(lǐng)域，也是實(shí)現(xiàn)自然語(yǔ)言理解的重要一環(huán)。實(shí)現(xiàn)知識(shí)圖譜和智能問(wèn)答的有機(jī)結(jié)合，則有望讓機(jī)器像人類一樣去理解和回答問(wèn)題，是使機(jī)器實(shí)現(xiàn)知識(shí)應(yīng)用并能夠與真實(shí)世界交互的關(guān)鍵環(huán)節(jié)。因此，在自然語(yǔ)言處理領(lǐng)域飛速發(fā)展的過(guò)程中，把知識(shí)圖譜應(yīng)用于智能問(wèn)答研究意義重大。