何國對，黃容鑫，黃偉剛，李 航，覃 曉**，元昌安，施 宇，廖兆琪

(1.南寧師范大學(xué)計(jì)算機(jī)與信息工程學(xué)院，八桂學(xué)者創(chuàng)新團(tuán)隊(duì)實(shí)驗(yàn)室，廣西南寧 530000；2.廣西科學(xué)院，廣西南寧 530007)

0 引言

問答系統(tǒng)(Question Answering System，QA)是人工智能和自然語言處理領(lǐng)域中一個(gè)倍受關(guān)注并具有廣泛發(fā)展前景的研究方向[1]，它能用準(zhǔn)確、簡潔的自然語言回答用戶用自然語言提出的問題。旅游是問答系統(tǒng)的一個(gè)重要應(yīng)用場景。一個(gè)完善的旅游知識問答系統(tǒng)，能夠幫助人們在旅游前、旅游中，通過詢問快速獲得旅游資訊、了解旅游目的地的文化和特色旅游資源，對游客、管理部門和商家而言，都具有重要的應(yīng)用價(jià)值。然而，當(dāng)前針對旅游行業(yè)的知識咨詢現(xiàn)狀卻難以令人滿意：一方面游客對旅游地的文化知識和旅游資訊的咨詢需求不斷增大[2]；另一方面，由于各個(gè)地方在旅游知識自動(dòng)問答系統(tǒng)的建設(shè)方面投入不足，當(dāng)前的咨詢服務(wù)還停留在依靠用戶獨(dú)自在網(wǎng)上搜索碎片化信息階段，遠(yuǎn)遠(yuǎn)不能滿足用戶的需求。

知識圖譜技術(shù)[3]能夠把大量不同種類的信息鏈接在一起，使其形成一個(gè)關(guān)系網(wǎng)絡(luò)，為人們提供從“關(guān)系”角度分析問題的能力。當(dāng)前，基于知識圖譜的問答系統(tǒng)已經(jīng)在油茶產(chǎn)業(yè)[4]、蘋果種植銷售產(chǎn)業(yè)[5]、水利信息管理[6]等方面得到充分研究和應(yīng)用，而知識圖譜所具備的推理功能，更是讓其在新冠肺炎智能輔助問診系統(tǒng)[7]、軍事裝備知識問答系統(tǒng)[8]、中醫(yī)藥知識問答與輔助開藥系統(tǒng)[9]中表現(xiàn)出令人驚喜的效果。

大部分領(lǐng)域構(gòu)建知識圖譜和問答系統(tǒng)是希望通過構(gòu)建知識庫來提高領(lǐng)域知識的檢索效率，同時(shí)輔助推理、決策等行為，這也是各個(gè)領(lǐng)域智能化的基本需求。知識圖譜技術(shù)是領(lǐng)域智能化的一條路徑，旅游領(lǐng)域的智能化無疑也需要借助知識圖譜來實(shí)現(xiàn)。旅游領(lǐng)域的知識圖譜可以用來輔助各種復(fù)雜的旅游應(yīng)用分析，同時(shí)也可以對用戶進(jìn)行個(gè)性化的路線推薦[10，11]。廣西是一個(gè)多民族聚居的地區(qū)，壯、漢、苗、瑤、侗等多個(gè)民族都在此地居住[12]，各個(gè)民族都有著悠久的歷史和燦爛的文化，在語言、社交、婚姻、服裝、飲食、建筑等文化上各具特色，又相互交融。利用廣西民族文化知識圖譜，構(gòu)建一個(gè)知識問答系統(tǒng)，對人工智能助力廣西旅游業(yè)的發(fā)展而言，無疑是一項(xiàng)具有重要意義的工作。

1 廣西民族文化知識圖譜

本研究構(gòu)建的廣西文化旅游問答系統(tǒng)，基于南寧師范大學(xué)“全域數(shù)字文化旅游智能服務(wù)技術(shù)研發(fā)及應(yīng)用”項(xiàng)目團(tuán)隊(duì)所構(gòu)建的廣西民族文化知識圖譜，知識圖譜的部分內(nèi)容如圖1所示。該知識圖譜的實(shí)體包含具有廣西民族文化色彩的旅游景點(diǎn)、民族、民族文化、民族節(jié)假婚慶、民族服飾等概念，每一類概念下存儲(chǔ)多個(gè)實(shí)體及實(shí)體關(guān)系。以民族服飾為例，其中包含廣西各民族的服裝、頭飾、鞋子、帽子等實(shí)體，實(shí)體關(guān)系包含民族、支系、歷史、服裝部件、服裝特點(diǎn)、穿著人群、相關(guān)人物、相關(guān)傳說等。

廣西民族文化知識圖譜實(shí)體與實(shí)體關(guān)系以三元組(ei,rs,ej)的形式存儲(chǔ)于neo4j數(shù)據(jù)庫中，其中，ei，ej分別表示實(shí)體i和實(shí)體j，rs表示實(shí)體i和實(shí)體j之間的關(guān)系。例如：三元組(香粽，食材，糯米)中，香粽和糯米為兩個(gè)實(shí)體，食材為關(guān)系，表示糯米為香粽的食材。知識圖譜中實(shí)體、實(shí)體關(guān)系均以單詞方式存儲(chǔ)，其中表示關(guān)系的單詞稱為關(guān)系詞。

廣西民族文化知識圖譜建立了廣西旅游景點(diǎn)、民族和民族文化的關(guān)聯(lián)性，將三者之間的關(guān)聯(lián)關(guān)系可視化，實(shí)現(xiàn)知識的關(guān)聯(lián)與挖掘，使得這些民族旅游文化不再是數(shù)據(jù)孤島，為基于廣西民族文化知識圖譜的問答系統(tǒng)的構(gòu)建奠定了數(shù)據(jù)和技術(shù)基礎(chǔ)。

圖1 廣西民族文化知識部分?jǐn)?shù)據(jù)可視化結(jié)果

2 文化旅游問答系統(tǒng)

基于廣西民族文化知識圖譜的問答系統(tǒng)，主要有3個(gè)核心模塊：(1)基于BERT的命名實(shí)體識別模塊(BERT based Entity_identification Model，BEiM)，(2)基于模版的關(guān)系抽取模塊(Template based Relationship_extraction Module，TReM)，(3)基于知識圖譜的匹配推理模塊(Knowledge Graph based Matching Module，KGMM)。BEiM模塊主要功能：對給定對詢問語句，識別出其中對實(shí)體詞，幫助問答系統(tǒng)理解詢問主體(即確定詢問的范圍)。TReM模塊通過對詢問句的關(guān)系抽取，完成對詢問句的語義解析，幫助問答系統(tǒng)理解詢問的語義(即確定詢問的內(nèi)容)。KGMM模塊則是在廣西民族文化知識圖譜之上，構(gòu)建查詢匹配語句，完成針對詢問句的匹配推理解答。

以在文化旅游問答系統(tǒng)詢問“你知道丹洲書院在哪里嗎？”為例。對于問句“你知道丹洲書院在哪里嗎？”，問答系統(tǒng)首先通過命名實(shí)體識別模塊BEiM確定問句中所提及的實(shí)體“丹洲書院”，然后通過關(guān)系抽取模塊TReM確定問句所問的意圖，既確定問句所涉及的關(guān)系“具體位置”，最后通過匹配推理模塊KGMM將“丹洲書院”與“具體位置”映射為知識圖譜的結(jié)構(gòu)化查詢，并在知識圖譜中最終確定問句的目標(biāo)實(shí)體為“丹洲古鎮(zhèn)”(圖2)。

以下詳細(xì)介紹3個(gè)主要功能模塊。

圖2 基于知識圖譜的問答系統(tǒng)執(zhí)行流程

2.1 基于BERT的命名實(shí)體識別模塊(BERT based Entity_identification Model,BEiM)

BERT[13]是一種預(yù)訓(xùn)練語言表示的語言表征模型，它是谷歌公司在大量文本語料上訓(xùn)練出來的通用的“語言理解”模型。BERT模型的核心功能是對輸入的自然語言語料進(jìn)行分析。在分析基礎(chǔ)上將文本中各個(gè)字或詞的一維詞向量作為輸入，經(jīng)過一系列復(fù)雜的轉(zhuǎn)換后，最終輸出每個(gè)詞的一維詞向量表示，即BERT會(huì)對句子中的每個(gè)詞作處理，并得到每個(gè)詞最終的語義表示。對BERT的輸出層進(jìn)行微調(diào)，可以使其適應(yīng)不同的文本分析需求，因此能夠靈活應(yīng)用于問答任務(wù)和語言推理，無需針對具體任務(wù)做大幅度架構(gòu)修改。

基于BERT的強(qiáng)大功能，本研究設(shè)計(jì)并實(shí)現(xiàn)了基于BERT命名實(shí)體識別模型BEiM。對于詢問句S，假設(shè)經(jīng)過BERT模型處理后，得到S的字符集合為(S1,S2,…,Sm)，字符集合中的任意一個(gè)Si代表輸入的字符i的詞向量。詞的類別按命名實(shí)體識別約定，分為B-PER、I-ORG、E-PER、O 4類，其中B-PER表示字符處在實(shí)體字符邊界的開始，I-ORG表示字符處在實(shí)體的中間，E-ORG表示字符處在實(shí)體的結(jié)束位置，字符O表示不屬于實(shí)體的無關(guān)字符，BEiM模型可描述如下：

BEiM(S)=MLP(BERT(S))=

MLP(S1,S2,…,Sm)={p(S1),p(S2),…,

p(Sm)}，

其中，MLP為對BERT模型的輸出作簡單全連接的操作，p(Si)為對字符Si類別的預(yù)測。

p(Si)=cj,且cj∈{B-PER，I-ORG，E-PER，O}，j=1,2,3,4。

從模型描述可知，BEiM分兩個(gè)階段對輸入的詢問句S進(jìn)行處理。第一階段，使用BERT對輸入的詢問句S的每個(gè)字符進(jìn)行embedding，得到每個(gè)字符的向量表示，并將每個(gè)字符的embedding輸入到Transformer block(Trm)中，Trm會(huì)計(jì)算句子中所有詞對當(dāng)前輸入詞的貢獻(xiàn)，再根據(jù)得到的信息對當(dāng)前輸入詞進(jìn)行編碼，獲得詢問句詞向量(S1,S2,…,Sm)。第二階段，采用MLP對詞向量的類別進(jìn)行預(yù)測，對獲得的詞向量(S1,S2,…,Sm)作全連接操作并進(jìn)行多層感知機(jī)權(quán)重的調(diào)整。圖3給出BEiM的架構(gòu)，并說明詢問句“丹洲島上有什么”的處理過程。

圖3 BEiM架構(gòu)圖

2.2 基于模版的關(guān)系抽取模塊(Template based Relationship_extraction Module,TReM)

關(guān)系抽取是問答系統(tǒng)中幫助系統(tǒng)理解詢問句語義的環(huán)節(jié)，只有理解并獲取了詢問句中的語義關(guān)系，才能把該關(guān)系映射到知識圖譜中，最終獲取答案。

為方便說明TReM構(gòu)建方法，下面先對相關(guān)概念進(jìn)行定義和描述。

設(shè)在領(lǐng)域知識圖譜中，共定義了n個(gè)關(guān)系，則可將關(guān)系集記為R={r1,r2,…,rn}。其中fr(wri)=rj表示從關(guān)系詞wri到關(guān)系rj的映射。假設(shè)知識圖譜中存儲(chǔ)的關(guān)系詞數(shù)目為m，則m個(gè)關(guān)系詞構(gòu)成集合WR。

定義1(關(guān)系詞集合) 由廣西民族文化知識圖譜中所有關(guān)系詞構(gòu)成的集合，記為WR：

WR={wri|fr(wri)=rj,i∈[1,m],j∈[1,n],m>n}。

由知識圖譜的特性可知，在知識圖譜中，關(guān)系詞的數(shù)目m往往大于關(guān)系數(shù)目n(m>n)，因此多個(gè)關(guān)系詞將會(huì)被映射到同一個(gè)關(guān)系。本文將fr函數(shù)定義為關(guān)系模板，它能將具有同一種語義關(guān)系的關(guān)系詞映射為同一個(gè)關(guān)系。由n個(gè)關(guān)系模版構(gòu)成的集合定義為關(guān)系模版集。

定義2(關(guān)系模版和關(guān)系模版集) 關(guān)系模版是指被映射為同一個(gè)關(guān)系的關(guān)系詞向量，關(guān)系模版集是由所有關(guān)系模版構(gòu)成的集合，記為WRS：

WRS={WRSj|j∈[1,n]}。

則第j個(gè)關(guān)系模版記為WRSj：

即WRS是由n個(gè)不定長的關(guān)系模版構(gòu)成的集合。對于一個(gè)關(guān)系模版而言，該模版中的所有關(guān)系詞，均映射到同一個(gè)關(guān)系中。

TReM的具體實(shí)現(xiàn)方法：首先構(gòu)建廣西民族文化知識圖譜關(guān)系詞組集WRS；然后調(diào)用分詞函數(shù)split()，獲取詢問句分詞向量W；最后，在關(guān)系詞組集中對問句分詞向量進(jìn)行匹配檢索，如果檢索成功，則問句關(guān)系即可判定為匹配關(guān)系。TReM算法描述如下：

Template based Relationship_extraction algorithm

input：query senten S,WRS

output:relation of words in S，記為Sr

begin

(1)W:(w1,w2,…,wm)←split(S) //

(2)for i=1 to m do

(3) for j=1 to n do

(4) ifwiinWRSj：

(5)Sr←rj

(6) end for

(7)end for

(8)end

2.3 基于知識圖譜的匹配推理模塊(Knowledge Graph based Matching Module,KGMM)

KGMM的主要功能是基于廣西民族文化知識圖譜，根據(jù)BEiM 和 TReM的輸出結(jié)果，構(gòu)造Cypher查詢模板進(jìn)行答案的查詢。對于問答系統(tǒng)，只要確定查詢實(shí)體的E，然后再確定查詢實(shí)體關(guān)聯(lián)關(guān)系r，便可構(gòu)造。構(gòu)造的查詢語句為 “MATCH (n:E)-[re:r]->(s) return s”，該語句通過確定問句的實(shí)體E，并通過關(guān)系鏈路r確定答案s，其中查詢語句中n:E 表示將實(shí)體名稱E賦值給實(shí)體n，re:r表示將關(guān)系名稱r賦值給關(guān)系鏈路re。該查詢語句會(huì)查詢與實(shí)體E具有關(guān)系r的實(shí)體并返回。例如：對于問句“你知道丹洲書院在哪里嗎？”，確定詢問實(shí)體“丹洲書院”與實(shí)體關(guān)系“具體位置”，便可將查詢語句構(gòu)造為“MATCH (n:丹洲書院)-[re:具體位置]->(s) return s”，該語句會(huì)匹配與“丹洲書院”具有“具體位置”關(guān)系的實(shí)體并返回。

至此，本研究介紹了基于知識圖譜的廣西民族文化問答系統(tǒng)的關(guān)鍵技術(shù)。系統(tǒng)的具體實(shí)現(xiàn)方法如下：首先構(gòu)建廣西民族文化知識圖譜KG關(guān)系詞組集WRS；然后將問句S輸入到BEiM模型，得到問句的詢問實(shí)體E，再將問句S輸入到關(guān)系抽取模塊TReM，得到關(guān)系r，進(jìn)而將實(shí)體E和關(guān)系r輸入到匹配推理模塊KGMM，得到查詢語句Q，最后基于語句Q在廣西民族文化知識圖譜上查詢答案t并返回。廣西民族文化問答系統(tǒng)模型算法(Knowledge question answering algorithm)描述如下：

Knowledge question answering algorithm

input：query senten S,WRS,KG

output:answer t of KG

(1)E=BEiM(S)

(2)R=TReM(S,WRS)

(3)Q←KGMM(E,R)= ‘MATCH (n:E)-[re:R]->(t) return t’

(4)match t based on Q from KG

(5)return t

3 測試實(shí)驗(yàn)

對問答系統(tǒng)而言，能否正確識別問句中所詢問的實(shí)體是問答系統(tǒng)的關(guān)鍵，只有先確定了實(shí)體，才能通過關(guān)系鏈路把正確答案找出來，因此命名實(shí)體識別模型通常需要達(dá)到較高的精度才能投入到問答系統(tǒng)中使用。為此，先對基于BERT的命名實(shí)體識別模型(BEiM)進(jìn)行訓(xùn)練測試，其中訓(xùn)練數(shù)據(jù)集以及驗(yàn)證集使用的是含有人名、地名、機(jī)構(gòu)名、時(shí)間、景點(diǎn)、飲食等實(shí)體的標(biāo)注序列數(shù)據(jù),其數(shù)據(jù)為通用的中文命名實(shí)體識別數(shù)據(jù)集Uniuersal data;同時(shí),對廣西民族文化知識圖譜中的部分實(shí)體數(shù)據(jù)集進(jìn)行測試。

3.1 命名實(shí)體識別測試

本研究使用準(zhǔn)確率作為命名實(shí)體識別的評價(jià)指標(biāo)。本研究使用BEiM預(yù)訓(xùn)練模型來訓(xùn)練中文命名實(shí)體識別數(shù)據(jù)集。BEim對輸入字特征進(jìn)行微調(diào)，通過微調(diào)可以更好地學(xué)習(xí)與命名實(shí)體相關(guān)的特征。從BEiM模型對部分廣西民族文化知識圖譜實(shí)體進(jìn)行命名實(shí)體識別的實(shí)驗(yàn)結(jié)果可知，BEiM在Universal data驗(yàn)證集上的準(zhǔn)確率達(dá)到了99.30%，BEiM模型對部分廣西文化知識圖譜上的命名實(shí)體識別精度達(dá)到94.45%，完全能夠勝任廣西文化旅游問答系統(tǒng)的命名實(shí)體識別任務(wù)。

3.2 系統(tǒng)應(yīng)用測試

如表1所示，用戶分別詢問了景點(diǎn)的票價(jià)、旅游地點(diǎn)的美食、景區(qū)內(nèi)的主要景點(diǎn)、當(dāng)?shù)孛朗车闹饕巢牡葐栴}，問答系統(tǒng)都能很好地對用戶的問句進(jìn)行解析，并通過廣西民族旅游文化知識圖譜進(jìn)行檢索，得到了準(zhǔn)確的答案，并用精簡的方式返回給用戶，增強(qiáng)用戶的體驗(yàn)感。

表1 問答系統(tǒng)詢問測試

4 結(jié)束語

本文設(shè)計(jì)并實(shí)現(xiàn)了基于廣西民族旅游文化知識圖譜的智能問答系統(tǒng)，重點(diǎn)介紹了問答系統(tǒng)中命名實(shí)體識別和詢問句關(guān)系抽取關(guān)鍵技術(shù)。在實(shí)現(xiàn)的智能問答系統(tǒng)上進(jìn)行詢問測試，其結(jié)果表明系統(tǒng)能夠準(zhǔn)確解析詢問句子，從知識圖譜中檢索到準(zhǔn)確答案，并以簡潔的實(shí)體樹形式展示。該智能問答系統(tǒng)不足之處在于：基于模版的命名實(shí)體識別方法需要構(gòu)建大量的關(guān)系詞組模版，才能保證將用戶的問句映射為知識圖譜中的關(guān)系，而手工構(gòu)建關(guān)系詞組模版將導(dǎo)致高額的系統(tǒng)構(gòu)建代價(jià)。因此在下一步工作中，可以設(shè)計(jì)一套完整的映射模型，將用戶問句自動(dòng)映射到知識圖譜中的關(guān)系列表中，從而提升系統(tǒng)的智能程度，降低系統(tǒng)構(gòu)建代價(jià)。