陳金菊 王義真 歐石燕

摘 要：[目的/意義]傳統(tǒng)的基于知識(shí)圖譜的自動(dòng)問答研究主要是針對(duì)用戶提問直接檢索答案，但由于系統(tǒng)對(duì)用戶問題的理解存在歧義，導(dǎo)致得到的答案不夠精確。采用基于知識(shí)圖譜的多輪自動(dòng)問答可以有效地改善這一問題。[方法/過程]本文首先構(gòu)建了以事件為中心的道路法規(guī)本體模型，依據(jù)該模型從道路法規(guī)中抽取實(shí)例圖譜，并設(shè)計(jì)出基于道路法規(guī)知識(shí)圖譜的問答框架。然后，對(duì)該框架所使用到的模型進(jìn)行測(cè)評(píng)。最后，進(jìn)行系統(tǒng)的總體測(cè)評(píng)。[結(jié)果/結(jié)論]從模塊測(cè)評(píng)結(jié)果來看，本文所提出BCNN_BiLSM模型在事件識(shí)別和意圖識(shí)別的F1值分別是0.798和0.930，BBiLSTM_CRF模型在本體屬性識(shí)別F1值為0.807，總體性能優(yōu)于其他模型。系統(tǒng)的總體測(cè)評(píng)結(jié)果表明，完整句的準(zhǔn)確率為0.74，缺省句的任務(wù)完成率為0.83。本文提出的基于道路法規(guī)知識(shí)圖譜的多輪自動(dòng)問答可為相關(guān)領(lǐng)域自動(dòng)問答研究提供參考。

關(guān)鍵詞：知識(shí)圖譜;本體;多輪自動(dòng)問答;自然語言處理;道路法規(guī)

Abstract：[Purpose/Significance]The traditional researches on knowledge-based automatic question answering aim to retrieve answers for user questions directly.However，due to the ambiguity of the systems understanding of the questions proposed by users，the answers obtained are not accurate enough.The use of multiple-round of automatic question answering based on knowledge graph can effectively improve this situation.[Method/Process]This paper firstly constructed an event-centered road regulation ontology model，based on which the sample graphs are extracted from the road regulations.And a question answering framework based on the knowledge graph of road regulations is designed.Then the model used in the framework was evaluated.Finally，an overall evaluation of the system was carried out.[Result/Conclusion]From the results of the module evaluation，the F1 values of the event identification and intent recognition of the BCNN_BiLSM model in this paper were 0.798 and 0.930 respectively，and the F1 value of the ontology attribute identification of the BBiLSTM_CRF model in this paper was 0.807，and the overall performance was better than other models.The overall evaluation results of the system showed that the accuracy of the complete sentence was 0.74，and the task completion rate of the default sentence was 0.83.The multi-round automatic question answering based on the knowledge graph of road regulations proposed in this paper can provide reference for the automatic question answering studies in related fields.

Key words：knowledge graph;ontology;multi-round automatic question answering;natural language processing;road regulations

近年來，道路交通事故頻發(fā)。面對(duì)交通事故，人們需要及時(shí)了解和獲取相關(guān)的法律處理方式及可能承擔(dān)的法律后果，這往往需要參考大量的道路法律法規(guī)及其相關(guān)文獻(xiàn)等。這些道路法規(guī)信息大多以非結(jié)構(gòu)化的形式存儲(chǔ)在不同的數(shù)據(jù)庫和網(wǎng)絡(luò)平臺(tái)上。目前，人們獲取道路法規(guī)信息的主要途徑有搜索引擎（如百度、谷歌等）、專門的法律法規(guī)數(shù)據(jù)庫（如中華人民共和國(guó)司法部的法律法規(guī)數(shù)據(jù)庫[1]和中國(guó)法律法規(guī)信息庫[2]和專業(yè)的社會(huì)化網(wǎng)絡(luò)問答社區(qū)（如110法律咨詢中心[3]和華律網(wǎng)[4]等。但由于這些方式是基于字符串進(jìn)行檢索，不能精確地理解用戶的查詢意圖，導(dǎo)致查準(zhǔn)率比較低。因此，如何從海量的道路法規(guī)信息中快速有效地獲取符合用戶需求的高質(zhì)量信息已成為一個(gè)亟待解決的問題。自動(dòng)問答系統(tǒng)允許用戶以自然語言進(jìn)行提問，精確地表達(dá)自己的信息需求，為用戶精確地獲取道路法規(guī)信息提供了一種有效的解決途徑。自動(dòng)問答系統(tǒng)主要分為兩類：基于文本（Text-based）的自動(dòng)問答和基于知識(shí)（Knowledge-based）的自動(dòng)問答。前者是將用戶的自然語言提問轉(zhuǎn)換成查詢?cè)~，然后利用文本檢索技術(shù)從文本庫中檢索到相關(guān)文檔，再?gòu)奈臋n中提取出精確的答案，由于這種自動(dòng)問答方法需要較高的自然語言處理技術(shù)作為支撐，因此無法支持復(fù)雜的查詢。而后者則是將自然語言提問轉(zhuǎn)換為結(jié)構(gòu)化查詢語言，再?gòu)慕Y(jié)構(gòu)化的知識(shí)庫中直接獲取答案，因此能夠支持復(fù)雜的查詢。隨著人工智能和知識(shí)圖譜技術(shù)的發(fā)展，基于知識(shí)圖譜的自動(dòng)問答逐漸成為基于知識(shí)庫的自動(dòng)問答的研究主流。傳統(tǒng)的基于知識(shí)圖譜的自動(dòng)問答研究主要是針對(duì)用戶提問直接檢索答案，但由于缺乏問答系統(tǒng)與用戶之間的交互，使得系統(tǒng)對(duì)用戶問題的理解存在歧義，導(dǎo)致得到的答案不夠精確。因此，基于知識(shí)圖譜的多輪自動(dòng)問答逐漸成為一種趨勢(shì)，通過系統(tǒng)與用戶的進(jìn)一步交互來精確地理解用戶的查詢意圖，有效地提高了查準(zhǔn)率。目前，基于知識(shí)圖譜的自動(dòng)問答在道路法規(guī)領(lǐng)域仍處于起步階段。因此，本文首先構(gòu)建了以事件為中心的道路法規(guī)本體模型，依據(jù)該模型從道路法規(guī)中抽取實(shí)例圖譜。在此基礎(chǔ)上，設(shè)計(jì)出基于道路法規(guī)知識(shí)圖譜的問答框架，并對(duì)該框架所使用到的模型進(jìn)行測(cè)評(píng)。最后，對(duì)所構(gòu)建的基于道路法規(guī)知識(shí)圖譜的多輪自動(dòng)問答系統(tǒng)進(jìn)行總體測(cè)評(píng)。

目前，已出現(xiàn)一些道路交通事件本體的相關(guān)研究和項(xiàng)目，譬如W3C的交通事件本體社區(qū)小組（Traffic Event Ontology Community Group）開發(fā)了一個(gè)用于表示道路或交通事件（事故）的本體項(xiàng)目，但目前該項(xiàng)目仍在建設(shè)中，無法獲取相關(guān)本體[18];劉吉雙構(gòu)建了一個(gè)以行為、條件、交通事件、位置、對(duì)象、人員、處罰、交通設(shè)施和車輛為核心要素的道路交通事件本體[19]，Marupudi S B構(gòu)建了一個(gè)以事件、地點(diǎn)、時(shí)間等要素為核心的交通事件本體[20]，于云構(gòu)建了以車輛、道路、人、道路景觀為核心的交通領(lǐng)域本體[21]。這些本體都對(duì)道路交通事件的某些方面進(jìn)行了描述，部分要素（如事件、時(shí)間、地點(diǎn)、人、車輛和處罰等）的設(shè)計(jì)可為本文的本體設(shè)計(jì)提供一定的參考，但是并不能完全滿足本文的需求，一方面它們的內(nèi)容不全面;另一方面也未能反映道路交通事件及其相關(guān)事件要素之間的語義關(guān)系。因此，本文在參考相關(guān)研究的基礎(chǔ)上，根據(jù)道路法規(guī)的特點(diǎn)，以簡(jiǎn)單事件模型（Simple Event Model，SEM）為基本框架，通過對(duì)SEM內(nèi)容的豐富或擴(kuò)展來構(gòu)建道路法規(guī)本體。SEM本體由荷蘭阿姆斯特丹自由大學(xué)語義網(wǎng)小組的Hage W V等設(shè)計(jì)開發(fā)，用于對(duì)不同學(xué)科領(lǐng)域的事件進(jìn)行建模[22]。SEM本體較全面地描述了一個(gè)事件的基本要素，以事件（Event）為核心，事件涉及的相關(guān)要素有事件的類型（Type）、參與者（Actor）、發(fā)生地點(diǎn)（Place）、發(fā)生時(shí)間（Time），其中參與者在事件中可能扮演不同的角色（Role）。該本體還對(duì)其定義的主要類的具體類型進(jìn)行區(qū)分，例如事件的具體類型（sem：EventType）有會(huì)議、音樂會(huì)、突發(fā)事件等。在我們的研究中，我們復(fù)用了SEM本體的基本要素，對(duì)于SEM本體無法描述的實(shí)體和關(guān)系，一方面復(fù)用了Event、FOAF、TIME和GEONAMES等通用本體的類和屬性;另一方面構(gòu)建了一些新的類和屬性。最終得到的道路法規(guī)本體如圖1所示（命名空間為“rore”）。

道路法規(guī)本體以道路交通事件（sem：Event）為核心，本文根據(jù)道路交通事件所導(dǎo)致的后果的嚴(yán)重程度，將交通事件分為兩類：一般交通事件（rore：GeneralTrafficIncident）和交通事故（rore：TrafficAccident），前者是指車輛在道路上因過錯(cuò)或者意外導(dǎo)致的、未造成人身傷亡的事件，后者則是指車輛在道路上因過錯(cuò)或者意外造成人身傷亡或者財(cái)產(chǎn)損失的事件。這些事件之間可能存在的關(guān)系有從屬關(guān)系（sem：subEventOf）、因果關(guān)系（rore：result）和時(shí)序關(guān)系（rore：next）。從屬關(guān)系是指交通事件之間的整體與部分關(guān)系，因果關(guān)系是指某一交通事件的發(fā)生導(dǎo)致了另一交通事件的發(fā)生，時(shí)序關(guān)系是指交通事件在時(shí)間上的先后發(fā)生關(guān)系。交通事件具有（sem：hasActor）參與者（sem：Actor）、發(fā)生時(shí)間（sem：Time）和發(fā)生地點(diǎn)（sem：Place）3個(gè)基本要素。參與者是指事件涉及的主體，主要包含人（foaf：Person）、機(jī)構(gòu)（foaf：Organization）和物體（sem：Object）3個(gè)子類。其中，人主要指交通事件的當(dāng)事人（rore：Party），主要包括肇事者（rore：Perpetrator）和受害者（rore：Victim）兩類。交通事件涉及的物體主要指當(dāng)事車輛（rore：Vehicle）。本文參考《中華人民共和國(guó)道路交通安全法》，將車輛類型分為機(jī)動(dòng)車（rore：MotorVehicle）和非機(jī)動(dòng)車（rore：NonMotorVehicle）[23]。事件的參與者有主動(dòng)參與和被動(dòng)參與兩種情況，因此本文在“hasActor”屬性下設(shè)置兩個(gè)區(qū)分主動(dòng)和被動(dòng)參與者的屬性：“hasActiveActor”和“hasPassiveActor”。人或機(jī)構(gòu)可能通過某一動(dòng)作作用于（rore：hasAction）物體，同時(shí)人可能是某個(gè)機(jī)構(gòu)的成員（org：memberOf）。事件具有（sem：hasTime）的發(fā)生時(shí)間可以復(fù)用時(shí)間本體TIME[24]的時(shí)間實(shí)體類（time：TemporalEntity），以及“time：Instant”和“time：Interval”兩個(gè)子類對(duì)時(shí)間點(diǎn)和時(shí)間段進(jìn)行區(qū)分。事件具有（sem：hasPlace）的發(fā)生地點(diǎn)（sem：Place）可以復(fù)用地理信息本體GEONAMES的地理特征點(diǎn)類（gn：Feature）進(jìn)行識(shí)別[25]。

道路交通事件發(fā)生后，可能會(huì)造成人和物的損失，前者涉及（rore：involve）當(dāng)事人狀態(tài)（rore：PersonStatus）和通過鑒定（rore：identify）得到的傷情（rore：hasInjuryState），后者包括損壞（rore：hasDamage）的財(cái)產(chǎn)損失情況（rore：DamageState）。當(dāng)事人狀態(tài)主要包含醫(yī)學(xué)鑒定結(jié)果（rore：MedicalIdentificationResult），而傷情除了包含醫(yī)學(xué)鑒定結(jié)果外，還包含傷殘鑒定結(jié)果（rore：DisabledAppraisalResult）和傷情鑒定結(jié)果（rore：InjuryIdentificationResult）。財(cái)產(chǎn)損失情況通常有不同的損壞對(duì)象（rore：hasObject），根據(jù)損壞對(duì)象不同，可以將損失情況分為車輛損失（rore：VehicleDamage）和貨物損失（rore：CargoDamage）兩類。根據(jù)人的傷害情況和物的損失情況，交警或法院會(huì)對(duì)涉事當(dāng)事人進(jìn)行判責(zé)（rore：judge），判責(zé)結(jié)果（rore：JudgementResult）主要包括主要責(zé)任、次要責(zé)任、全部責(zé)任和無責(zé)任。根據(jù)判責(zé)結(jié)果，交警或法院會(huì)對(duì)涉事當(dāng)事人進(jìn)行處罰（rore：punish），處罰結(jié)果（rore：PunishmentResult）主要分為行政處罰（rore：AdministrativePunishment）、刑事處罰（rore：CriminalPunishment）和民事處罰（rore：CivilPunishment）。當(dāng)事人狀態(tài)、傷情、財(cái)產(chǎn)損失情況、判責(zé)結(jié)果和處罰結(jié)果都有接受對(duì)象（sem：isActorOf），通過該屬性的3個(gè)子屬性“rore：isPersonOf”“rore：isOrganizationOf”和“rore：isObjectOf”分別與人、機(jī)構(gòu)和物體3類不同的接受對(duì)象進(jìn)行關(guān)聯(lián)。

上述類包含的主要術(shù)語如表1所示。

根據(jù)上述構(gòu)建的道路法規(guī)本體，本文以《中華人民共和國(guó)道路交通安全法》為例，選取第九十一條規(guī)定的部分內(nèi)容進(jìn)行語義描述，該內(nèi)容片段為“飲酒后駕駛機(jī)動(dòng)車的，處暫扣六個(gè)月機(jī)動(dòng)車駕駛證，并處一千元以上二千元以下罰款。因飲酒后駕駛機(jī)動(dòng)車被處罰，再次飲酒后駕駛機(jī)動(dòng)車的，處十日以下拘留，并處一千元以上二千元以下罰款，吊銷機(jī)動(dòng)車駕駛證?！盵23]。該規(guī)定主要涉及2個(gè)“酒駕”事件，事件涉及的物體主要有“駕駛證”，酒駕事件導(dǎo)致的行政處罰結(jié)果有“暫扣機(jī)動(dòng)車駕駛證”“吊銷機(jī)動(dòng)車駕駛證”“拘留”和“罰款”，其中暫扣機(jī)動(dòng)車駕駛證時(shí)間為6個(gè)月，拘留天數(shù)為10天以下，罰款數(shù)額均為1 000元以上2 000元以下。該法規(guī)的語義描述結(jié)果如圖2所示。

基于上述設(shè)計(jì)的本體，以HTML格式的道路交通法規(guī)相關(guān)文本作為數(shù)據(jù)源，構(gòu)建道路法規(guī)知識(shí)圖譜。本研究將知識(shí)提取的任務(wù)劃分為實(shí)體提取、關(guān)系提取、屬性和屬性值提取，并將抽取到的知識(shí)用三元組的形式表示：1）實(shí)體—關(guān)系—實(shí)體（Ehead，R，Etail），R是實(shí)體Ehead和實(shí)體Etail之間的關(guān)系，如：駕駛?cè)恕{駛—機(jī)動(dòng)車;2）實(shí)體—屬性—屬性值（Entity-Attribute-Value），屬性是描述實(shí)體的數(shù)據(jù)，如“機(jī)動(dòng)車—定義—以動(dòng)力裝置驅(qū)動(dòng)或者牽引，上道路行駛的供人員乘用或者用于運(yùn)送物品以及進(jìn)行工程專項(xiàng)作業(yè)的輪式車輛”，屬性值有數(shù)據(jù)類型的約束，常用的數(shù)據(jù)類型有：文本型、數(shù)字型、邏輯型、枚舉型等。

3 問答框架

道路法規(guī)知識(shí)圖譜實(shí)現(xiàn)了道路法規(guī)各類知識(shí)的關(guān)聯(lián)和整合，以專業(yè)化、結(jié)構(gòu)化的方式對(duì)知識(shí)進(jìn)行語義表示，是一種高效管理和利用知識(shí)的方式。在此基礎(chǔ)上，基于構(gòu)建的知識(shí)圖譜提出了一種面向知識(shí)庫的多輪自動(dòng)問答方法。與常見的聊天機(jī)器人（如圖靈、微軟小冰）不同，聊天機(jī)器人主要是無特定目的的對(duì)話，本文所構(gòu)建的問答系統(tǒng)更偏向于目標(biāo)驅(qū)動(dòng)的特定信息獲取，它是一種具有極強(qiáng)的針對(duì)性和準(zhǔn)確性的問答系統(tǒng)。問答系統(tǒng)的準(zhǔn)確性一方面取決于知識(shí)庫中所蘊(yùn)含的知識(shí)的深度和廣度;另一方面取決于系統(tǒng)對(duì)用戶自然語言理解提問的理解程度。因此，多輪問答通過系統(tǒng)向用戶進(jìn)行多次追問的方式填充用戶初始提問中缺失的語義信息，從而幫助系統(tǒng)更好地理解用戶的查詢意圖，提高問答系統(tǒng)的準(zhǔn)確率。本研究構(gòu)建的基于知識(shí)圖譜的多輪自動(dòng)問答系統(tǒng)框架如圖3所示，該系統(tǒng)框架主要包含3個(gè)部分：?jiǎn)栴}理解（Question Understanding，QU）、知識(shí)圖譜查詢（Knowledge Graph Matcher，KGM）和問答生成（Asking & Answering Generator，AAG）。問題理解模塊的功能是對(duì)用戶輸入的自然語言提問進(jìn)行分詞、詞性標(biāo)注等預(yù)處理，對(duì)其中涉及的交通事件、意圖、屬性和屬性值進(jìn)行識(shí)別，將用戶輸入的自然語言提問轉(zhuǎn)化成結(jié)構(gòu)化的語義表示。知識(shí)圖譜查詢模塊的功能是將問題的語義轉(zhuǎn)換成結(jié)構(gòu)化的查詢，從道路法規(guī)知識(shí)圖譜中查詢匹配的相關(guān)信息。查詢到的結(jié)果可能是直接的答案或缺失的信息，如果是答案則可以直接返回，如果是缺失的信息，問答系統(tǒng)會(huì)生成一個(gè)追問。

3.1 問題理解

問題理解是采用自然語言理解技術(shù)將用戶輸入的非結(jié)構(gòu)化的提問轉(zhuǎn)換成結(jié)構(gòu)化的語義表示，包含預(yù)處理、本體類識(shí)別（包括事件識(shí)別和意圖識(shí)別）、本體屬性識(shí)別，本質(zhì)是采用道路法規(guī)本體中的類和屬性對(duì)用戶的自然語言提問進(jìn)行語義標(biāo)注。

1）預(yù)處理是消除原始的文本噪聲的重要手段。利用分詞工具對(duì)輸入文本進(jìn)行一系列預(yù)處理，包括中文分詞、詞性標(biāo)注、日期類處理、數(shù)值類處理等。其中，日期類處理是將帶有日期指示詞的詞語轉(zhuǎn)換成相應(yīng)的時(shí)間格式，例如“今天”是當(dāng)時(shí)的系統(tǒng)時(shí)間，如“2019-05-05”。在數(shù)值處理時(shí)，需要對(duì)數(shù)值單位進(jìn)行自動(dòng)補(bǔ)全和數(shù)值格式的轉(zhuǎn)換。數(shù)值單位補(bǔ)全是指自動(dòng)補(bǔ)全用戶提問中缺省的單位，如“當(dāng)事人的血液酒精含量是80”，經(jīng)過數(shù)值處理之后，標(biāo)準(zhǔn)的輸出為“80mg/100ml”;數(shù)值格式轉(zhuǎn)換是指結(jié)合一些轉(zhuǎn)換規(guī)則，將不同類型的數(shù)值表達(dá)轉(zhuǎn)換成統(tǒng)一的數(shù)值格式，如將“20%”“百分之二十”和“百分之20”統(tǒng)一轉(zhuǎn)換成“20%”。

2）事件識(shí)別是指識(shí)別出用戶提問中的道路交通事件的實(shí)例，實(shí)例分屬于兩類：一般交通事件（rore：GeneralTrafficIncident）和交通事故（rore：TrafficAccident）。

3）意圖識(shí)別是指識(shí)別出用戶提問中所蘊(yùn)含的查詢意圖，這些意圖包括傷殘鑒定結(jié)果（rore：DisabledAppraisalResult）、傷情鑒定結(jié)果（rore：InjuryIdentficationResult）、判責(zé)結(jié)果（rore：JudgementResult）、處罰結(jié)果（rore：PunishmentResult）和財(cái)產(chǎn)損失情況（rore：DamageState）等。

4）本體屬性識(shí)別是指識(shí)別出用戶提問中包含的屬性和屬性值，如當(dāng)事人的血液酒精含量是80，其中蘊(yùn)含的屬性是“血液酒精含量”，屬性值是“80”。

下面以“酒駕撞死一人，我報(bào)警后，交警檢測(cè)出的酒精含量是120，初步判定我是全責(zé)，這種情況下怎么處罰？”為例，對(duì)其進(jìn)行語義標(biāo)注的結(jié)果如圖4所示。

3.2 知識(shí)圖譜查詢

知識(shí)圖譜查詢主要負(fù)責(zé)對(duì)話系統(tǒng)的道路法規(guī)知識(shí)圖譜匹配，預(yù)測(cè)系統(tǒng)的行為，即返回查詢到的子圖或者返回需要追問的屬性。該模塊的輸入是用戶的會(huì)話狀態(tài)，輸出是預(yù)測(cè)的行為。經(jīng)由問題理解模塊對(duì)用戶輸入的自然語言語句進(jìn)行事件識(shí)別、意圖識(shí)別以及屬性識(shí)別，最終可以按照表2中提供的6種Cypher查詢模板進(jìn)行查詢。

用戶的自然語言問題中蘊(yùn)含的事件數(shù)量分為單事件或多事件兩種情形。以經(jīng)由問題理解模塊識(shí)別后只含有單事件為例，首先判斷意圖的情況，然后按照表2中的Cypher查詢模版對(duì)知識(shí)圖譜進(jìn)行查詢。其次通過結(jié)果計(jì)算查詢來判斷查詢到的子圖能否滿足答案閾值，如果滿足則將匹配到的子圖傳遞到問答生成模塊，否則進(jìn)行屬性選擇計(jì)算出需要追問的屬性并傳遞到問答生成模塊。其中，結(jié)果計(jì)算是將從用戶的自然語言提問中抽取的本體屬性集合依次與查詢到的候選子圖做差集計(jì)算，然后判斷差集是否滿足閾值條件。屬性選擇有兩種策略：一種是通過法務(wù)專家制定的屬性權(quán)重，先追問權(quán)重相對(duì)大的屬性;另一種是最小候選子圖原則，將候選子圖與從用戶提問中抽取的本體屬性做比較，先追問滿足閾值的候選子圖的屬性。

在多事件的情況下，首先按照事件進(jìn)行分組，每組有且僅有一個(gè)事件。同時(shí)，意圖會(huì)被劃分到與其相對(duì)應(yīng)的事件組內(nèi)。這樣就可以將多事件情形轉(zhuǎn)換成單事件單意圖、單事件無意圖或多意圖兩種情形。依次對(duì)每個(gè)事件按照?qǐng)D5中系統(tǒng)行為預(yù)測(cè)部分來進(jìn)行查詢匹配到的子圖或選擇出需要追問屬性。

3.3 問答生成

問答生成包含追問生成和答案生成，前者是用于向用戶繼續(xù)追問待補(bǔ)充的語義信息，后者用于返回將用戶當(dāng)前提問的語義化表示與知識(shí)圖譜進(jìn)行匹配得到的答案。根據(jù)知識(shí)圖譜的查詢情況需要做出以下選擇：1）追問用戶：在語義缺失的情況下，通過預(yù)定義的語義模版追問用戶;2）返回答案：在語義完整的情況下查詢子圖對(duì)應(yīng)的答案，并將答案返回給用戶。

在獲取知識(shí)圖譜查詢的結(jié)果時(shí)，為了保證追問內(nèi)容的可讀性和可理解性，本研究根據(jù)不同的本體類或本體屬性定義了不同的追問模板，根據(jù)要填充的缺失語義的不同，加上一定修飾性描述再返回給用戶，顯得更人性化。本研究所用到的3種追問模板包含確認(rèn)事件型、確認(rèn)意圖型和本體屬性追問型。表3是一些追問模板的樣例。根據(jù)表3的內(nèi)容，4.1中例子需要對(duì)“酒駕次數(shù)”進(jìn)行追問，那么系統(tǒng)返回給用戶的回復(fù)是“請(qǐng)問您這是第幾次酒駕被查？”。

4 模塊測(cè)評(píng)

模塊測(cè)評(píng)主要針對(duì)問題理解模塊的事件識(shí)別、意圖識(shí)別、本體屬性識(shí)別進(jìn)行測(cè)評(píng)。問題理解的結(jié)果直接影響到查詢知識(shí)圖譜匹配的效果。本文實(shí)驗(yàn)采用的實(shí)驗(yàn)測(cè)評(píng)語料有兩種：一種是用于問題理解的語料;另一種是根據(jù)本體從道路交通法規(guī)中抽取得到的知識(shí)圖譜。其中，用于問題理解的語料共8 000條，道路法規(guī)知識(shí)圖譜子圖約4萬個(gè)。本研究就系統(tǒng)的問題理解展開實(shí)驗(yàn)，以驗(yàn)證所用到模型的效果。本研究的實(shí)驗(yàn)環(huán)境為：操作系統(tǒng)為Ubuntu16.04，CPU是Intel（R） Core（TM） i7-5930K CPU @ 3.50GHz，內(nèi)存為64G，GPU為3塊Nvidia GTX 1080組成的小型工作站。采用的編程語言為Python，深度學(xué)習(xí)框架為Tensorflow、sklearn_crfsuite。實(shí)驗(yàn)選用的評(píng)價(jià)指標(biāo)包括精確率（Precision）、召回率（Recall）和F1值（F1 score）。

4.1 事件識(shí)別與意圖識(shí)別

本研究將事件識(shí)別和意圖識(shí)別看作是文本分類的問題。文本分類采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（Bi-directional Long Short-Term Memory，BiLSTM）、BERT（Bidirectional Encoder Representations from Transformers）作為基線模型，并基于3種基線模型進(jìn)行改進(jìn)，改進(jìn)后的模型分別是CNN_BiLSTM、BCNN_BiLSTM。

CNN模型最大的優(yōu)勢(shì)是對(duì)輸入的句子應(yīng)用濾波器提取局部特征，經(jīng)過不同大小的卷積核運(yùn)算產(chǎn)生不同的特征。從而可以提取局部最優(yōu)特征。模型參數(shù)為：Embedding層的大小設(shè)置為256，最大輸入文本的長(zhǎng)度為128個(gè)字符，卷積核的大小設(shè)置分別為3、4、5，卷積核的數(shù)量為100，隱藏層大小為128，訓(xùn)練輪次為500，學(xué)習(xí)率為1e-3，正則項(xiàng)系數(shù)為1e-3，batch_size為64。

長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）模型是循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）的一種改良模型，增加了門控機(jī)制有效避免了RNN的梯度消失問題。能夠很好地學(xué)習(xí)句子遠(yuǎn)距離上下文依賴關(guān)系。BiLSTM則看作由兩個(gè)不同方向的LSTM組成，兩個(gè)LSTM分別從文本的正向和反向?qū)W習(xí)上下文信息，將拼接的信息作為當(dāng)前時(shí)刻的輸出，這樣既能夠解決長(zhǎng)距離依賴，又能確保特征提取的全局性和完整性。模型參數(shù)為：Embedding層的大小設(shè)置為256，最大輸入文本的長(zhǎng)度為128個(gè)字符，隱藏層的大小為128，訓(xùn)練輪次為500，學(xué)習(xí)率為1e-3，正則項(xiàng)系數(shù)為1e-3，batch_size為64。

BERT（Bidirectional Encoder Representations from Transformers）模型是谷歌提出的基于雙向Transformer構(gòu)建的語言模型。它是一種基于fine-tuning遷移學(xué)習(xí)方法模型，通過改變輸入和增加隱藏層來應(yīng)對(duì)各種特定自然語言處理任務(wù)，不需對(duì)原來的模型作大量修改就能夠很好地應(yīng)用在多個(gè)NLP的任務(wù)。模型參數(shù)為：最大輸入文本長(zhǎng)度為128個(gè)字符，學(xué)習(xí)率為5e-5，batch_size為64，訓(xùn)練輪次為3，預(yù)訓(xùn)練的模型為Chinese BERT-Base（共有12編碼層，768個(gè)隱藏單元，12個(gè)頭部）。

本研究首先結(jié)合CNN和BiLSTM的優(yōu)點(diǎn)，將CNN卷積的結(jié)果作為BiLSTM的輸入，并將改進(jìn)模型記為CNN_BiLSTM模型。模型參數(shù)設(shè)置為：Embedding層的大小設(shè)置為256，最大輸入文本的長(zhǎng)度為128個(gè)字符，卷積核大小為3、4、5，卷積核數(shù)量為128，隱藏層的大小為128，訓(xùn)練輪次為500，學(xué)習(xí)率為1e-3，正則項(xiàng)系數(shù)為1e-3，batch_size為64。

BCNN_BiLSTM在CNN_BiLSTM模型的基礎(chǔ)上使用BERT模型的最后一層隱藏層的向量替換CNN_BiLSTM模型隨機(jī)初始化向量編碼。與CNN_BiLSTM相比，Embedding層變成768，最大輸入文本的長(zhǎng)度為128個(gè)字符，卷積核大小為3、4、5，卷積核數(shù)量為128，隱藏層的大小為128，訓(xùn)練輪次為3，學(xué)習(xí)率為5e-5，batch_size為64。

實(shí)驗(yàn)結(jié)果如表4所示，通過表4可以發(fā)現(xiàn)：相同參數(shù)模型在不同的數(shù)據(jù)集上的效果與數(shù)據(jù)集本身特點(diǎn)有關(guān)，如類別數(shù)量;改進(jìn)模型較原生模型效果有提升;就CNN、BiLSTM、BERT相比，BERT的fine-tuning模型效果最好，這得益于BERT的大規(guī)模語料的預(yù)訓(xùn)練效果。

4.2 本體屬性識(shí)別

本研究將本體屬性的識(shí)別轉(zhuǎn)化為序列化標(biāo)注任務(wù)，在序列化標(biāo)注的任務(wù)同樣可以使用BiLSTM模型。BiLSTM輸出的為屬性item的分?jǐn)?shù)，選擇最高分?jǐn)?shù)對(duì)應(yīng)的屬性。但BiLSTM在做實(shí)體預(yù)測(cè)的時(shí)候的缺點(diǎn)是無法學(xué)習(xí)到狀態(tài)序列（輸出的標(biāo)注）之間的關(guān)系。而在實(shí)際的預(yù)測(cè)序列中是存在一定關(guān)系的，例如：在B-item輸出后面不能是B-item。所以為避免這種情況發(fā)生，利用條件隨機(jī)場(chǎng)模型（Conditional Random Field，CRF）能對(duì)隱含狀態(tài)建模且學(xué)習(xí)狀態(tài)序列的特點(diǎn)。將CRF層加在BiLSTM組成Bi-LSTM+CRF模型來做序列化標(biāo)注。這樣結(jié)合兩種模型的優(yōu)勢(shì)不僅避免CRF特征工程，也避免BiLSTM錯(cuò)誤序列狀態(tài)的輸出。以“高速上超速一次扣幾分？”為例，經(jīng)由BiLSTM+CRF模型輸出可以得到“高速”對(duì)應(yīng)的本體屬性名為“Roadtype”，其BIO的標(biāo)記為“B-roadtype，I-roadtype”。

將CRF作為基準(zhǔn)模型，在特征選擇方面使用單字、數(shù)字、字母、標(biāo)點(diǎn)符號(hào)、Unigram、Bigram等特征。模型參數(shù)如下：l1、l2正則化系數(shù)設(shè)置為0.1，最大迭代次數(shù)為200次，梯度下降使用L-BFGS優(yōu)化方法。

BiLSTM_CRF模型的參數(shù)設(shè)置如下：Embedding層的大小設(shè)置為100，最大輸入文本的長(zhǎng)度為128個(gè)字符，隱藏層的大小為128，訓(xùn)練輪次為500，學(xué)習(xí)率為5e-3，衰減速度為1e-4，正則項(xiàng)系數(shù)為1e-3，batch_size為32。

BBiLSTM_CRF則是在BiLSTM_CRF模型的基礎(chǔ)上，使用BERT替換Eembdding，模型參數(shù)如下：Embedding層變成768，最大輸入文本的長(zhǎng)度為128個(gè)字符，隱藏層的大小為128，訓(xùn)練輪次為3，學(xué)習(xí)率為5e-5，batch_size為64。

實(shí)驗(yàn)結(jié)果如表5所示，可以發(fā)現(xiàn)BBiLSTM_CRF的混合模型效果最優(yōu)，主要原因是結(jié)合BERT、CRF和LSTM的優(yōu)勢(shì)。

5 系統(tǒng)評(píng)測(cè)

5.1 系統(tǒng)實(shí)現(xiàn)

本研究構(gòu)建的基于道路法規(guī)知識(shí)圖譜的多輪自動(dòng)問答系統(tǒng)，在具體實(shí)施的過程中，知識(shí)圖譜的存儲(chǔ)采用的是Neo4j圖數(shù)據(jù)，問題理解模塊的預(yù)處理階段使用的是Jieba分詞工具。此外，在問答系統(tǒng)中有擔(dān)任“存儲(chǔ)器”角色的模塊稱為對(duì)話狀態(tài)跟蹤，該模塊為每一位用戶分配一個(gè)追蹤器Tracker，用以記錄和維護(hù)用戶所有的對(duì)話狀態(tài)，包含創(chuàng)建、更新、刪除和查找用戶對(duì)話狀態(tài)。實(shí)際上，對(duì)話系統(tǒng)中除了上述對(duì)話狀態(tài)跟蹤的基礎(chǔ)作用外，往往還需要考慮在多輪交互過程中，存在的輪次打斷、恢復(fù)、切換等復(fù)雜情況。因此，對(duì)話狀態(tài)跟蹤模塊也具備對(duì)用戶對(duì)話輪次的管理。本文以某一“酒駕致死”事件為例展示多輪自動(dòng)問答系統(tǒng)，界面如圖6所示，6（a）和6（b）共同組成一個(gè)完整的對(duì)話。首先，用戶通過對(duì)話框輸入一段與道路交通相關(guān)的法律問題，采用Web技術(shù)將用戶輸入的自然語言問題提交給問答后臺(tái)。問答后臺(tái)按照上述問答框架將用戶輸入的問題轉(zhuǎn)化成結(jié)構(gòu)化的語義表示。然后，根據(jù)知識(shí)圖譜查詢的結(jié)果對(duì)用戶進(jìn)行多輪次的追問以補(bǔ)充缺失的語義信息。最終，將匹配到的知識(shí)圖譜子圖對(duì)應(yīng)的答案（包含相關(guān)法條和參考意見）返回給用戶。為方便觀察用戶與機(jī)器之間交互的細(xì)節(jié)，表6展示了多輪次識(shí)別出來的結(jié)構(gòu)化語義結(jié)果、當(dāng)前輪次結(jié)束后系統(tǒng)的狀態(tài)標(biāo)示以及需要追問的屬性。

5.2 系統(tǒng)總體評(píng)測(cè)

本研究采用200個(gè)測(cè)試問句對(duì)構(gòu)建的自動(dòng)問答系統(tǒng)進(jìn)行總體的實(shí)驗(yàn)測(cè)評(píng)，其中包含100個(gè)完整句和100個(gè)缺省句，前者只需要系統(tǒng)完整識(shí)別出其語義表示，再通過知識(shí)圖譜的查詢就能得到答案，而后者則是需要用戶和系統(tǒng)進(jìn)行多次交互補(bǔ)充缺失的語義才能得到答案。

目前，還沒有一套權(quán)威的多輪自動(dòng)問答評(píng)價(jià)方法能完全客觀的評(píng)價(jià)多輪自動(dòng)問答系統(tǒng)的效果。本研究中完整句的測(cè)試評(píng)價(jià)指標(biāo)采用的是準(zhǔn)確率（Accuracy），問題中所有的本體類和本體屬性都正確識(shí)別才算當(dāng)前問題被正確識(shí)別。缺省句的評(píng)價(jià)指標(biāo)采用的是任務(wù)完成率（任務(wù)完成率=成功結(jié)束的多輪會(huì)話數(shù)/多輪會(huì)話總數(shù)），成功結(jié)束的對(duì)話數(shù)量越多，則認(rèn)為任務(wù)完成率相對(duì)較高，從而多輪對(duì)話的可用性也可能更好。但需注意的是，對(duì)話成功結(jié)束，并不一定意味著用戶提出的問題得到正確解決，也有可能是用戶從問答系統(tǒng)中得到了錯(cuò)誤的答案。此外，在缺省句的評(píng)價(jià)指標(biāo)中對(duì)前3輪對(duì)話滿意度進(jìn)行打分，后一輪的結(jié)果是基于上一輪的結(jié)果基礎(chǔ)上進(jìn)行評(píng)價(jià)的，即對(duì)前一輪結(jié)果不滿意，則對(duì)后一輪結(jié)果也不滿意。在系統(tǒng)的總體評(píng)測(cè)中，事件識(shí)別和意圖識(shí)別選用的是BCNN_BiLSM模型，本體屬性選用BBiLSTM_CRF模型，其參數(shù)與上述參數(shù)保持一致。最終得到完整句的準(zhǔn)確率為0.74，缺省句的任務(wù)完成率為0.83。

6 結(jié)論與展望

針對(duì)當(dāng)前自動(dòng)問答系統(tǒng)以單輪問答為主，交互性差，難以準(zhǔn)確地獲取用戶真實(shí)檢索意圖的問題，本文提出了一個(gè)基于道路法規(guī)知識(shí)圖譜的多輪自動(dòng)問答系統(tǒng)。首先，利用道路法規(guī)數(shù)據(jù)構(gòu)建了道路法規(guī)本體和知識(shí)圖譜，在此基礎(chǔ)上構(gòu)建了多輪自動(dòng)問答系統(tǒng)框架，并進(jìn)行了模塊測(cè)評(píng)。其中，事件識(shí)別和意圖識(shí)別的測(cè)評(píng)結(jié)果表明，相同參數(shù)模型在不同的數(shù)據(jù)集上的效果與數(shù)據(jù)集本身特點(diǎn)有關(guān);改進(jìn)模型（BCNN_BiLSTM和CNN_BiLSTM）較原生模型效果有所提升;就CNN、BiLSTM、BERT相比，BERT的fine-tuning模型效果最好。本體屬性識(shí)別的測(cè)評(píng)結(jié)果表明，BBiLSTM_CRF的混合模型效果最優(yōu)。最后，對(duì)所構(gòu)建的基于知識(shí)圖譜的多輪自動(dòng)問答系統(tǒng)進(jìn)行系統(tǒng)測(cè)評(píng)，最終得到完整句的準(zhǔn)確率為0.74，缺省句的任務(wù)完成率為0.83。本研究在一定程度上彌補(bǔ)了基于知識(shí)圖譜的自動(dòng)問答在多輪問答方面的空缺，以及基于知識(shí)圖譜的多輪自動(dòng)問答在法律領(lǐng)域的應(yīng)用空白，對(duì)于垂直領(lǐng)域的自動(dòng)問答系統(tǒng)構(gòu)建具有一定的借鑒意義。

雖然本文實(shí)現(xiàn)了多種有效的自然語言理解模型和事件匹配策略，但是本文提出的方法仍存在一定的不足，特別是面對(duì)復(fù)雜語義、圖譜缺失等問題，仍然有很多可以改進(jìn)的工作。一方面是通過替換和調(diào)整模型的超參數(shù)來提高識(shí)別的準(zhǔn)確率;另一方面通過不斷擴(kuò)充事件圖譜的規(guī)模來提高系統(tǒng)回答的廣度和深度。

參考文獻(xiàn)

[1]中華人民共和國(guó)司法部的法律法規(guī)數(shù)據(jù)庫[EB/OL].http：//search.chinalaw.gov.cn/search2.html，2019-04-15.

[2]中國(guó)法律法規(guī)信息庫[EB/OL].http：//law.npc.gov.cn/FLFG/index.jsp，2019-04-15.

[3]110法律咨詢案例[EB/OL].http：//www.110.com/ask/question-14503043.html，2019-08-04.

[4]華律網(wǎng)[EB/OL].https：//www.66law.cn/，2019-04-15.

[5]溫思琦.基于本體的中醫(yī)冠心病自動(dòng)問答系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].沈陽：沈陽工業(yè)大學(xué)，2017.

[6]Lopez V，Pasin M，Motta E.Aqualog：An Ontology-portable Question Answering System for the Semantic Web[C]//European Semantic Web Conference.Springer，Berlin，Heidelberg，2005：546-562.

[7]劉曉強(qiáng).基于領(lǐng)域本體的客服問答系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].青島：青島大學(xué)，2016.

[8]Lexinfo本體[EB/OL].https：//lexinfo.net/，2019-04-17.

[9]Unger C，Cimiano P.Pythia：Compositional Meaning Construction for Ontology-based Question Answering on the Semantic Web[C]//International Conference on Application of Natural Language to Information Systems.Springer，Berlin，Heidelberg，2011：153-160.

[10]Ferrández O，Izquierdo R，F(xiàn)errández S，et al.Addressing Ontology-based Question Answering with Collections of User Queries[J].Information Processing & Management，2009，45（2）：175-188.

[11]Abdi A，Idris N，Ahmad Z.QAPD：An Ontology-based Question Answering System in the Physics Domain[J].Soft Computing，2018，22（1）：213-230.

[12]陳文聰.面向自動(dòng)問答的游客問題語義模型研究[D].成都：電子科技大學(xué)，2018.

[13]陶杰.住房公積金領(lǐng)域自動(dòng)問答系統(tǒng)關(guān)鍵技術(shù)研究[D].哈爾濱：哈爾濱工程大學(xué)，2018.

[14]溫思琦.基于本體的中醫(yī)冠心病自動(dòng)問答系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].沈陽：沈陽工業(yè)大學(xué)，2017.

[15]錢宏澤.基于中草藥語義網(wǎng)的自動(dòng)問答系統(tǒng)的研究與實(shí)現(xiàn)[D].杭州：浙江大學(xué)，2016.

[16]郭磊.基于領(lǐng)域本體中文自動(dòng)問答系統(tǒng)相關(guān)技術(shù)的研究與實(shí)現(xiàn)[D].廣州：華東理工大學(xué)，2013.

[17]曹存根.國(guó)家知識(shí)基礎(chǔ)設(shè)施的意義[J].中國(guó)科學(xué)院院刊，2001，（4）：255-259.

[18]Traffic Event Ontology Community Group[EB/OL].https：//www.w3.org/community/traffic/，2019-04-15.

[19]劉吉雙.基于語義內(nèi)容的交通監(jiān)控視頻檢索研究[D].重慶：重慶大學(xué)，2018.

[20]Marupudi S B.Framework for Semantic Integration and Scalable Processing of City Traffic Events[EB/OL].https：//corescholar.libraries.wright.edu/cgi/viewcontent.cgi？article=2718&context=etd_all，2019-04-15.

[21]于云.基于本體和描述邏輯的交通事件語義表現(xiàn)方法研究[D].淄博：山東理工大學(xué)，2015.

[22]Hage W V，Malaisé V，Segers R，et al.The Simple Event Model Ontology[EB/OL].http：//semanticweb.cs.vu.nl/2009/11/sem/，2019-04-15.

[23]中華人民共和國(guó)道路交通安全法[EB/OL].http：//www.npc.gov.cn/npc/c12488/201104/e8b92a43e3914a959a7cee369e486a 62.shtml，2019-04-15.

[24]Time Ontology in OWL[EB/OL].https：//www.w3.org/TR/owl-time/，2019-04-15.

[25]WICK M.The GeoNames Geographical Database[EB/OL].http：//www.geonames.org/，2018-04-15.

（責(zé)任編輯：陳 媛）