陶 永 芹

(西安外事學院工學院 陜西 西安 710077)

0 引 言

隨著海量互聯(lián)網信息的爆炸式增長，如何從中獲取高可信和高可用的知識變得迫在眉睫，且潛藏著巨大商機[1]。據(jù)英國莫里(MORI)調查公司的民意調查結果顯示，只有18%的用戶表示總能在網上搜索到需要的信息，49%的用戶說他們對搜索引擎很失望，28%表示還可以，其余5%為不知道[2]。由此可見，當下基于關鍵字信息檢索的方法改進完善空間還很大[3]。主要問題在于：檢索返回的結果多且繁雜與用戶意圖相差甚遠，用戶需手動篩網頁列表中有用的信息；關鍵字匹配技術只關注語言的語法形式忽視語義知識。用相對簡單的詞語或句子搜索無法準確刻畫用戶的真實需求，導致搜索結果差強人意。將自然語言處理、語義分析、人工智能等技術綜合在一起的智能問答系統(tǒng)彌補了關鍵字信息檢索方法的不足[4]。

1 系統(tǒng)分析

1.1 智能問答系統(tǒng)的研究現(xiàn)狀

自1961年，首個回答美國職業(yè)棒球大聯(lián)盟中有關比賽問題的智能問答系統(tǒng)由Green設計與實現(xiàn)[5]。經過了近六十年，智能問答系統(tǒng)得到了突飛猛進的發(fā)展。最先人工智能專家ELIZA[6]和ALICE[7]設計研發(fā)的基于模式匹配的問答系統(tǒng)。匹配用戶問題與人工定義問題模板來獲取問題答案，或者基于領域專家知識制定啟發(fā)式規(guī)則推理獲得相應的結果。代表系統(tǒng)還有MACSYMA[8]。但是由于這類系統(tǒng)的模式庫和規(guī)則的構建非常困難，需要領域專家綜合領域知識且受到知識理解的限制，對于新的領域知識往往缺乏相匹配的知識性能很差。隨后產生的基于FAQ的問答系統(tǒng)[9]則側重于將問題及相應的答案對存放在系統(tǒng)的知識庫中通過提問相似度設置閾值找尋答案。由于這種方法實現(xiàn)較簡單，目前較多商業(yè)化服務公司采用這種方法，比如百度知道[10]等。但系統(tǒng)的缺點是知識庫的構建需要大量的人員參與，且比較耗時、系統(tǒng)靈活性低，問題的覆蓋面低，無法引入推理、計算來解決一些復雜的問題。1994年，首個面向互聯(lián)網的自然語言問答系統(tǒng)誕生。而基于無結構化文本的問答技術主要包括社區(qū)問答和基于問答式搜索的問答系統(tǒng)。與FAQ相似，系統(tǒng)通過在互聯(lián)網上檢索到與用戶問題最為相似的問題，然后將相應的答案返回，比如微軟的Encarta3[11]和麻省理工學院研發(fā)的Start1[12]等。這類系統(tǒng)的缺點是沒有專業(yè)知識庫的支撐，只能對有限類型的問題進行回答，在專業(yè)度較高的領域不適用，而且也不能夠做推理。另一種，基于結構化數(shù)據(jù)的問答系統(tǒng)是將用戶的自然語言轉換成系統(tǒng)可識別的結構化查詢語言(如SPARQL、SQL等)對知識庫進行查詢。其對事實類問題的回答較為準確，能夠進行知識的推理和計算，Google Now服務上有58%的回答使用了Google的結構化知識數(shù)據(jù)，該知識庫中有5億個實體以及不同實體間35億條的關系[13]。該系統(tǒng)的本質是挖掘問題的語義，將口語轉變成系統(tǒng)可以理解的形式。隨著智能手機的廣泛使用，以蘋果公司在iPhone手機中使用的Siri手機語音助手為代表的一系列語音助手也正在被大家廣泛使用。

由上可知，當今主流問答機器人大都是基于面向開放領域的智能問答系統(tǒng)實現(xiàn)的。例如：以互聯(lián)網語料和用戶的聊天日志數(shù)據(jù)為基礎的微軟小冰[14]，以及用戶搜索日志為基礎的百度語音助手[15]等。然而，面向開放領域的問答系統(tǒng)對專業(yè)(金融、醫(yī)學等)的問題無法返回較好的結果。且現(xiàn)有的人工服務存在回答不規(guī)范、響應速度慢、通用性較差、需要大量的人力和物力成本等問題，因此特別需要一套面向專業(yè)領域，只需要對語料進行簡單標注就能得到良好效果的智能問答系統(tǒng)。所以本文主要對專業(yè)領域提出了一種基于本體和查詢服務的智能問答系統(tǒng)設計方法。

1.2 領域智能問答系統(tǒng)框架

本文針對專業(yè)領域智能問答系統(tǒng)的需求，結合上述問題研究現(xiàn)狀的分析，提出了智能問答系統(tǒng)的框架。本文有三個模塊的主要貢獻，如下所示：

1) 知識梳理模塊：為使系統(tǒng)更好地理解用戶所提問題與所對應的領域知識。本文將具有偏結構化、關聯(lián)性強特征的領域知識存儲在關系型數(shù)據(jù)庫中，用本體把數(shù)據(jù)的概念、屬性和聯(lián)系抽取出來，這樣本體的內容只是知識庫中實體的領域含義和相關聯(lián)系，而不包括整個知識庫實例，為本體的建立和知識庫的維護提供了很大的便捷。

2) 問題理解模塊：為使系統(tǒng)更好地對用戶的意圖進行解析、糾正。本文將查詢問題的查詢結構抽象成相應的查詢服務，然后用服務本體結合領域本體來描述查詢服務。首先將問句進行語義解析，再基于語義的服務匹配算法將問題匹配到本體相應的描述服務上，最后將服務參數(shù)實例化以便調用服務實現(xiàn)查詢。

3) 服務檢索和反饋模塊：將問題匹配的查詢服務列表提供給用戶供其選擇，然后將用戶想要的結果回饋給用戶并保存查詢上下文。主要解決三部分問題：(1) 由于領域知識具有專用名詞中英文混雜、新詞多和缺乏對應的詞匯知識庫或者語言庫的特征，使用通用詞典進行分詞標注無法滿足要求，由此本文根據(jù)領域知識庫來創(chuàng)建領域詞典；(2) 針對一詞多義和中英文混合詞性標注容易引入噪聲等問題，使用基于條件隨機場(CRF)實體識別算法對已經標注好的領域問題進行訓練，以便在問句語義解析時準確的識別領域概念和其語義；(3) 針對自然語言描述問題存在的不符合語法規(guī)范、模糊性、二義性強，縮寫多等特征，以及外界因素或者自身原因產生提問時掉字等情況。在系統(tǒng)中加入了基于聲韻母的語音識別后文本糾錯模塊，用以修正用戶提問時產生的問題描述錯誤。

2 系統(tǒng)總體設計

2.1 系統(tǒng)總體結構

針對面向專業(yè)領域智能問答系統(tǒng)的需求，構建系統(tǒng)的架構如圖1所示。

圖1 系統(tǒng)總體結構圖

系統(tǒng)的總體流程為：用戶自然語言查詢后，由通用的語音輸入法將語音轉換成文本句，其次基于聲韻母的語音識別后文本糾錯方法矯正文本句，得到正確的領域相關詞語等?；谠~典糾錯的過程在糾錯同時也對文本分詞，針對一詞多義的情況需要根據(jù)同義詞典進行同義詞轉換。然后基于條件隨機場模型對查詢問句作實體標注，得到對應的<領域詞，詞語含義>二元組串。

由于上下文關聯(lián)會影響用戶查詢結果，因此在得到查詢問句的語義二元組串以后，需要判斷查詢上下文是否存在關聯(lián)性。如果存在則將上次查詢得到的二元組串加入到本次查詢的語義二元組串中，根據(jù)二元組串中元素的語義特征構造查詢請求服務，并將請求服務與本體描述的查詢服務相互匹配，將能夠滿足實例化條件的匹配度最高的查詢服務作為匹配的查詢服務。同時需要將查詢的結果通過owl-s提供的實例化API查詢的Web服務，然后將結果加入到查詢上下文的數(shù)據(jù)表中以待下次查詢使用。若無查詢結果，則返回給用戶“無結果”，以完成整個查詢流程。如圖2所示。

圖2 系統(tǒng)總體流程圖

2.2 基于本體的服務描述規(guī)則

服務是智能問答系統(tǒng)重要的一個環(huán)節(jié)，系統(tǒng)根據(jù)用戶提問搜尋相匹配的查詢服務，將查詢參數(shù)實例化后調用服務，將最后的查詢結果返回給用戶。由于服務關系著查詢的質量，針對服務的特征和實例化需要，本文定義了相應的服務描述規(guī)則和一些基本概念。如下所示：

Domain：描述領域的頂層概念，下層存放與領域相關的概念。如描述時間的概念Time和描述地點的概念Region等。

Service：存放有關服務描述的相關頂層概念，下層存放與服務描述相關的概念知識。

ServiceInstance：存放系統(tǒng)所提供的查詢服務實例描述的頂層概念，下層存放具體的查詢服務描述。

OtherCondition：存放服務描述其他條件的頂層概念，可以在服務匹配時更容易定位到匹配的服務，比如用戶問句的意圖是查詢或者是對比等。

OwlUrl：用于定位通過OwlsEdit編輯的可調用Web服務實例的位置，用于實例化匹配的服務。

hasInput：概念屬性，描述服務的輸入。

hasOwlInputSeq：概念屬性，用于將用戶查詢生成的服務輸入?yún)?shù)實例與對應真實的Web服務參數(shù)匹配，也即服務的參數(shù)與參數(shù)實例的映射關系。

hasOutput：概念屬性，描述服務的輸出。

hasOtherCondition:：概念屬性，用來描述服務的其他描述條件，與OtherCondition匹配。

comment：概念注釋，用于描述ServiceInstance下查詢服務的功能。

服務的結構如圖3所示。

圖3 系統(tǒng)服務結構圖

2.3 命名實體識別策略

2.3.1 基于聲韻母的語音識別后文本糾錯方法

語音識別的準確率直接關系到領域相關命名實體識別以及服務匹配和實例化的準確度，基于聲韻母的語音識別后文本糾錯方法主要解決：未登錄詞處理、交際型歧義字段、組合型歧義字段、混合型歧義字段等問題。

本文根據(jù)領域知識庫構建相應的領域詞典，領域詞典的中單個元素是領域相關詞和該詞在領域中的概念的二元組，由于可能會存在一詞多義的情況，所以概念存在有多個的情況。漢字是以音節(jié)為識別單元，而音節(jié)是由聲母與韻母組成?；谶@些特點本文提出基于聲韻母的語音識別后文本糾錯方法。通過將語音輸入法轉換后的查詢文本句轉成聲韻母串，然后根據(jù)領域詞典做聲韻母的相似度比較進行矯正和分詞。該算法的主要步驟如下：

輸入：用戶查詢文本句S，領域詞典WList={w1,w2,w3…,wn}，對于每個w∈WList，都有w=，k表示單個領域詞，ih表示該詞語的聲韻母表示，v代表詞語的領域含義。

輸出：文本句對應的語義串TokenList={t1,t2,t3,…,tn}，對于每一個t∈TokenList,都有t=，其中k是單個領域詞，v為在領域詞典中詞語的領域含義。

(1) 將S轉換成聲韻母串VList，并設置詞語的最低匹配度的閾值threshold，設置匹配度最高的匹配度mDegree=0，對應匹配的聲韻母串長度matchLen=0。

(2) 如果VList中元素全部匹配，則匹配結束，返回TokenList。

(3) 如果VList中元素還有未匹配，對于領域詞典中每個詞語w，根據(jù)w.ih獲取其聲韻母串長度len。

(4) 分別計算VList中未匹配串長度為len-1、len、len+1的聲韻母串與w.ih的匹配度記為m1、m2、m3，其中最高的匹配度記為m,對應的長度記為mLen。

(5) 如果m≥threshold，且m>mDegree，則mDegree=m，t.k=m.k，t.v=m.v，matchLen=mLen。

(6) 遍歷領域詞典后，如果mDegree==0,則將VList中待匹配串后移1位；如果mDegree>0，則將VList中待匹配串后移matchLen位，并將t加入TokenList。

(7) 將t置為空，mDegree置為0，matchLen置為0。

(8) 轉到步驟(2)。

對于步驟(4)中的聲韻母串匹配度的計算，假設待匹配聲韻母串長度為d，與之匹配的領域詞典中詞語的聲韻母串長度為n，兩者的非連續(xù)匹配串長度為m，則兩者的匹配度為式(1)所示:

MatchDegree=m^2/(d×n)

(1)

2.3.2 基于條件隨機場的實體標注策略

本文采用條件隨機場對分詞后出現(xiàn)一詞多義的情況進行準確的詞性標注。訓練和測試樣本為人民日報1998年的中文標注語料庫，語料格式如圖4所示。

圖4 人民日報語料圖

語料的每條記錄都是由編號和一段句子組成，而且語料已經對編號和句子中詞語做了詞性標注，由于訓練時不需要記錄的編號，本文對語料進行了預處理，得到的可供訓練的樣本如圖5所示。

圖5 人民日報訓練語料圖

選取的特征窗口長度為7，包含7個單詞特征與6個二元組合特征，特征模板如圖6所示。

圖6 人民日報訓練語料圖

該模板中，#代表注釋，U00中U表示選用的是Unigram模板，00代表記錄的編號，%x[s,o]代表生成一個CRFs中的點(state)函數(shù):f(s,o)。其中t時刻的標簽(output)與上下文分別用s和o表示，以“中國/ns共產黨/n成功/a地/u召開/v了/u第十五/m次/q全國/n代表大會/n”為例，假設當前行在“召開”，此時的特征上下文如表1所示。

表1 用戶查詢記錄表

由此可見，該模板訓練后得到詞性標注的準確率為：P=0.933 164。

2.4 服務匹配及查詢上下文管理策略

2.4.1 基于領域概念層級的服務匹配算法

服務匹配的目的是將用戶提問映射到對應的查詢服務上，需要將<領域相關詞,語義概念>的二元組串映射到一個基本服務中。本文建立基于概念層級的匹配方法，將輸入和輸出的服務參數(shù)與對應領域概念進行匹配并劃分為如下五種：

(1) 當服務請求的概念與待匹配服務中概念是一個概念的時候，該匹配吻合。

(2) 當服務請求的參數(shù)所對應概念是待匹配服務參數(shù)中概念的超類時，這時滿足查詢需求互相匹配。

(3) 當服務請求中相同類型的參數(shù)有多個(包括一個)實例，而待匹配服務中該參數(shù)也是相同概念的數(shù)據(jù)集時，兩者相互匹配。例：“查看湖南省2015年的GDP?！保照埱蟮妮斎?yún)?shù)有GDP是一個indicator，同時待匹配服務輸入?yún)?shù)中有indicatorSet，則兩者是匹配的。

(4) 當服務請求的參數(shù)所對應的概念是待匹配服務參數(shù)中概念的子類時，由于二者參數(shù)不匹配，當實例化時參數(shù)類型會出現(xiàn)錯誤，則匹配失敗。

(5) 當服務請求的參數(shù)所對應的概念與待匹配服務參數(shù)中概念的子類無關時，同樣實例化時參數(shù)類型會出錯，也會造成匹配失敗。

2.4.2 服務調用與上下文管理策略

服務匹配成功后需要對Web服務參數(shù)進行實例化并調用已完成整個問答過程，本文的Web服務是以wsdl描述的，然后經OwlsEdit工具編輯Web服務生成的wsdl文件得到了服務描述的owl文件。查詢匹配到相應的服務描述本體后，通過服務的“hasOwlUri”屬性可以定位到該文件描述的具體的服務，然后根據(jù)服務的“hasOwlInputSeq”屬性來做服務描述本體中服務輸入與該Uri對應服務輸入的映射。一個簡單的映射如圖7所示。

圖7 服務映射關系圖

圖的左邊是服務本體描述的一個服務，右側是使用OwlsEdit工具通過wsdl文件生成的該服務的描述?？梢钥闯?，右側服務的語義特征模糊，左側服務的“Uri”映射到右側服務節(jié)點，其“hasInput”和“hasOwlInputSeq”屬性的值是一一對應的，可以從上圖中得到。輸入的“date”概念與“para2”映射，輸入的“region”概念與“para1”映射，輸入的“indicator”概念與“para3”映射，而右側服務是帶有參數(shù)類型的信息，這樣就可以將服務輸入?yún)?shù)的實例映射到服務對應的參數(shù)上，實現(xiàn)了服務的自動化調用。

3 系統(tǒng)實現(xiàn)

本文設計與實現(xiàn)一個包含多種圖表類型，支持數(shù)據(jù)聯(lián)動，智能化的國民經濟大數(shù)據(jù)可視化系統(tǒng)。為科研人員及政府決策人員查詢各類經濟數(shù)據(jù)、對比地區(qū)間發(fā)展差異、發(fā)現(xiàn)經濟規(guī)律、制定切合實際的促進經濟發(fā)展的經濟政策提供簡潔有效的幫助。本文系統(tǒng)將單一繁瑣的經濟大數(shù)據(jù)相互聯(lián)系起來，用戶可從各個方面對經濟大數(shù)據(jù)進行解讀，全面而深入地了解國民經濟發(fā)展現(xiàn)狀，分析導致經濟發(fā)展現(xiàn)狀的原因，進而預測經濟發(fā)展趨勢做出合理的經濟決策，有效實時地調控經濟制定恰當?shù)恼呦驅А?/p>

本系統(tǒng)以國家統(tǒng)計局除港澳臺外的31個省級行政區(qū)、2005年到2014年間包括工業(yè)、財政、金融等各行業(yè)共922 869條記錄作為問答系統(tǒng)的知識庫數(shù)據(jù)。構建服務描述本體時選取Protégé作為編輯本體的工具，建立領域概念與服務參數(shù)相應的聯(lián)系，使用OWL本體描述語言對國民經濟大數(shù)據(jù)領域下服務建模，圖8是使用OntoGraf展示了部分服務描述本體。

圖8 利用OntoGraf服務描述本體

用戶可以通過在文本框中輸入與語音輸入查詢問題，當語音輸入實例一：“查看重慶的中稻和一季晚稻播種面積和農作物總播種面積是多少？”后，問答系統(tǒng)文本句糾錯和實體標注結果如下所示：

由上可知，對“中稻和一季晚稻播種面積”識別錯誤，變?yōu)椤巴ǖ溃谝唤鹜淼静シN面積”。經過基于聲韻母的語音識別糾錯后得到了準確的查詢語句，再通過同義詞典將“查看”變成“查詢”，“重慶”變成“重慶市”，最后識別出相應的實體。最后查詢的結果如圖9所示。

圖9 實例1系統(tǒng)查詢結果圖

當用戶語音輸入實例二：“查詢2014年GDP前3的地區(qū)有哪些？”后，問答系統(tǒng)文本句糾錯和實體標注結果如下所示：

由上可知，問句中“GDP”需要同義詞轉換為“地區(qū)生產總值”以完成實體的識別和標注。最后查詢結果如圖10所示。

圖10 實例2系統(tǒng)查詢結果圖

考慮到上下文相關查詢的情況，在上一句的基礎上，語音輸入實例三：“對比這些地區(qū)的GDP與第一產業(yè)增加值之間的關系?！眴柎鹣到y(tǒng)文本句糾錯和實體標注結果如下所示：

該查詢語音輸入法識別準確，由于“地區(qū)”是RegionConcept，與上次查詢的結果中三個地區(qū)存在指代關系，則將其地區(qū)加入到查詢實體中查詢結果如圖11所示。

圖11 實例3系統(tǒng)查詢結果圖

4 結 語

本文針對現(xiàn)有的問答系統(tǒng)相關技術的不足與面向專業(yè)領域問答系統(tǒng)的需求，提出了面向專業(yè)領域智能問答系統(tǒng)的實現(xiàn)框架。并應用于“國民經濟大數(shù)據(jù)查詢系統(tǒng)”中，該系統(tǒng)驗證了本文所提出智能問答系統(tǒng)框架的實用性，并且該框架具有較高維護性。由于本系統(tǒng)將查詢服務以Web服務的方式調用，使其耦合性大大降低，具有很好的擴展能力。

目前，已有問答系統(tǒng)只能對簡單的提問進行回答，針對語義的理解也處在淺層。因此，問答系統(tǒng)的研究還有很多需要深入挖掘的問題。未來面向專業(yè)領域智能問答系統(tǒng)的框架可以從考慮語義因素建立語料庫，結合語義的糾錯可以很大程度上提高文本糾錯的效果。同時，由于本文提出的服務匹配模型只能實現(xiàn)單個查詢問句對單個查詢服務的映射，對于復雜的查詢問句可能會存在一個查詢問句映射到一個組合服務的情況，雖然可以通過owl-s組合多個Web服務到一個統(tǒng)一的接口，但是這種操作是手工實現(xiàn)的，對查詢服務較多的情況不大適應，工作量也較多。未來可著重于根據(jù)查詢的輸入和輸出條件實現(xiàn)多個服務自動組合和調用的研究。

參考文獻

[1] 全球互聯(lián)網狀況統(tǒng)計[DB/OL].[2017-8-20]http://www.clickz.com/stats/.

[2] 顧雅楓.基于用戶興趣模型的信息檢索研究[D].蘭州大學,2009.

[3] Baeza-Yates R,Ribeiro-Neto B.Modern Information Retrieval[M].New York:ACM Press,2011.

[4] Burger J,Cardie C,Chaudhri V,et al.Issues,Tasks and Program Structures to Roadmap Research in Question & Answering (Q & A) [EB/OL].2000.http://www-nlpir.nist.gov/projects/duc/roadmapping.html.

[5] Green B,Wolf A,Chomsky C,et al.BASEBALL:an automatic question answerer[M].Readings in natural language processing,Morgan Kaufmann Publishers Inc.,1986:545-549.

[6] Weizenbaum J.ELIZA,a computer program for the study of natural language communication between man and machine[J].Communications of the Acm,1966,9(1):36-45.

[7] WallaceRS.AIMLoverview[EB/OL].http://www.pandorabots.com/pandora/pics/wallaceaimltu-torial.html.

[8] Rand R H.Computer algebra in applied mathematics[M].Pitman Advanced Pub.Program,1984.

[9] 秦兵,劉挺,王洋,等.基于常問問題集的中文問答系統(tǒng)研究[J].哈爾濱工業(yè)大學學報,2003,35(10):1179-1182.

[10] 百度知道[DB/OL].[2017-8-20] https://zhidao.baidu.com/.

[11] Dong X,Gabrilovich E,Heitz G,et al.Knowledge vault:a web-scale approach to probabilistic knowledge fusion[C]// ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.ACM,2014:601-610.

[12] Suchanek F M,Kasneci G,Weikum G.Yago—A Core of Sematic Konwledge[C]// 16th international World Wide Web Conference,2007.

[13] Hermjakob U,Echihabi A,Marcu D.Natural Language Based Reformulation Resource and Web Exploitation for Question Answering[C]// Proceedings of TREC-2002,2002.

[14] 微軟小冰[DB/OL].[2017-8-20]http://www.msxiaoice.com/.

[15] 百度語音助手[DB/OL].[2017-8-20]http://yuyin.baidu.com/.