莊莉 蘇江文 盧偉龍 張曉東 陳江海
(福建億榕信息技術(shù)有限公司 福建省福州市 350003)
智能問(wèn)答系統(tǒng)可對(duì)知識(shí)信息追本溯源,并借助智能助手為用戶提供多種語(yǔ)言交互功能,降低此類實(shí)訓(xùn)的操作門檻,使實(shí)訓(xùn)過(guò)程的信息服務(wù)更加精準(zhǔn)全面,提高智能實(shí)訓(xùn)系統(tǒng)易用性。根據(jù)功能的不同,可將其分為以下模塊,彼此之間緊密聯(lián)系,均以服務(wù)用戶為目標(biāo)。
(1)知識(shí)庫(kù)梳理模塊。該模塊的應(yīng)用對(duì)象為數(shù)據(jù)標(biāo)注人員,采用本體類標(biāo)注,并根據(jù)本體類向用戶顯示標(biāo)注結(jié)果,要求顯示知識(shí)維度和知識(shí)拓?fù)?。本系統(tǒng)需要人工設(shè)置領(lǐng)域內(nèi)的關(guān)鍵詞,并以此為依據(jù)顯示出對(duì)應(yīng)的答案,該模塊還支持標(biāo)注者手動(dòng)添加關(guān)鍵詞,滿足知識(shí)庫(kù)編輯需求。
(2)系統(tǒng)維護(hù)模塊。該模塊可滿足工作人員日常維護(hù)工作,易于添加標(biāo)準(zhǔn)問(wèn)題、答案和分機(jī)問(wèn)題,操作員也可以根據(jù)權(quán)限對(duì)相應(yīng)內(nèi)容進(jìn)行修改。在執(zhí)行刪除操作時(shí),應(yīng)區(qū)分刪除的內(nèi)容。在執(zhí)行刪除標(biāo)準(zhǔn)問(wèn)題時(shí),如果與之相對(duì)應(yīng)的答案沒(méi)有展開,則在刪除標(biāo)準(zhǔn)問(wèn)題后,將標(biāo)準(zhǔn)答案與擴(kuò)展問(wèn)題將被一起剔除。
(3)用戶查詢模塊。該功能要求針對(duì)用戶所提問(wèn)題給出想要獲取的正確答案。在執(zhí)行用戶查詢操作中,用戶可根據(jù)獲得的答案向系統(tǒng)提交滿意度。如果不滿意,系統(tǒng)可以允許用戶將通過(guò)其他方式對(duì)答案進(jìn)行補(bǔ)充。通過(guò)智能助手的應(yīng)用,可在交互期間感知和采集用戶操作行為,依靠精細(xì)化日志分析人工智能實(shí)訓(xùn)平臺(tái)的應(yīng)用狀態(tài),并提出相應(yīng)的優(yōu)化意見(jiàn),促進(jìn)實(shí)訓(xùn)平臺(tái)產(chǎn)品不斷優(yōu)化升級(jí)。在用戶日志基礎(chǔ)上,通過(guò)優(yōu)化推薦系統(tǒng)、搜索引擎等方式,將用戶日志的價(jià)值充分突顯出來(lái),使問(wèn)答歷史得到準(zhǔn)確高效的記錄。
該項(xiàng)目在知識(shí)圖譜基礎(chǔ)上開展,包括智能助手應(yīng)用、基礎(chǔ)服務(wù)、平臺(tái)集成研發(fā)等內(nèi)容,創(chuàng)建知識(shí)網(wǎng)絡(luò)可為實(shí)訓(xùn)全過(guò)程提供服務(wù),使用戶能夠按照自然語(yǔ)言智能交互,為實(shí)訓(xùn)全過(guò)程提供準(zhǔn)確信息,提高實(shí)訓(xùn)系統(tǒng)應(yīng)用便捷性。面向智能助手研發(fā)基礎(chǔ)智能服務(wù),將搜索、信息推薦、智能問(wèn)答等基礎(chǔ)類服務(wù)統(tǒng)一提煉與封裝,為智能問(wèn)答與相關(guān)應(yīng)用提供支撐服務(wù),具體內(nèi)容如下。
(1)信息推薦服務(wù)。該服務(wù)可在內(nèi)容、瀏覽歷史與協(xié)同過(guò)濾基礎(chǔ)上進(jìn)行個(gè)性化推薦,并挖掘用戶的興趣愛(ài)好等,適用于文檔資料推薦、課程推薦以及問(wèn)答檢索推薦等相關(guān)場(chǎng)景內(nèi);
(2)綜合搜索服務(wù)。該服務(wù)包括非結(jié)構(gòu)化內(nèi)容全文檢索,可在知識(shí)圖譜基礎(chǔ)上進(jìn)行檢索。智能助手可提供兩種基礎(chǔ)性服務(wù),綜合服務(wù)可將課程資料、人工智能知識(shí)搜索、知識(shí)圖譜等整合起來(lái),可為人工實(shí)訓(xùn)平臺(tái)提供公共搜索服務(wù);
(3)智能問(wèn)答服務(wù)。在語(yǔ)義網(wǎng)、自然語(yǔ)言處理以及機(jī)器學(xué)習(xí)等技術(shù)方面,可結(jié)合電子專業(yè)知識(shí)、實(shí)訓(xùn)課程、人工智能知識(shí)等創(chuàng)建結(jié)構(gòu)化問(wèn)答知識(shí)庫(kù),從問(wèn)題檢索、理解與答案生成等方面開展問(wèn)答服務(wù),研究出一對(duì)一應(yīng)答、交互應(yīng)答的問(wèn)答服務(wù)。
根據(jù)需求分析與基本服務(wù)可知,該系統(tǒng)主要包括知識(shí)庫(kù)梳理、系統(tǒng)維護(hù)與用戶查詢?nèi)?xiàng)內(nèi)容。其中,知識(shí)庫(kù)梳理包括知識(shí)拓?fù)渑c維度展示、本體類管理、問(wèn)答歷史管理等功能;系統(tǒng)維護(hù)包括標(biāo)準(zhǔn)問(wèn)題、答案與拓展問(wèn)題增刪功能;用戶查詢包括反饋結(jié)果、數(shù)據(jù)庫(kù)查詢等功能。
(1)知識(shí)庫(kù)梳理。該模塊為抽象類,包括知識(shí)維度、拓?fù)湔故镜葍?nèi)容,并在內(nèi)部執(zhí)行具體操作。其中,抽象類可提供與數(shù)據(jù)庫(kù)相關(guān)的操作,并在木塊內(nèi)以特定數(shù)據(jù)的形式展示出來(lái)。子模塊包括庫(kù)中多類問(wèn)題與答案增刪功能,本體管理可將知識(shí)拓?fù)浜途S度展現(xiàn)給用戶,管理和查詢問(wèn)答歷史數(shù)據(jù),日志內(nèi)容支持查詢與增減,但不能手動(dòng)添加日志;Word 類管理負(fù)責(zé)系統(tǒng)中的所有關(guān)鍵字,如培訓(xùn)要點(diǎn)、考試要求等;根據(jù)培訓(xùn)機(jī)構(gòu)的特點(diǎn),發(fā)布常見(jiàn)問(wèn)題,用戶可以手動(dòng)添加問(wèn)題和答案到系統(tǒng)中。同時(shí),利用機(jī)器學(xué)習(xí)技術(shù)可結(jié)合人工智能知識(shí),創(chuàng)建結(jié)構(gòu)化問(wèn)答知識(shí)庫(kù),從問(wèn)題檢索、理解與答案生成等方面開展問(wèn)答服務(wù),獲得交互應(yīng)答的問(wèn)答服務(wù);
(2)系統(tǒng)維護(hù)。該模塊可面向智能助手研發(fā)基礎(chǔ)智能服務(wù),將搜索、信息推薦、智能問(wèn)答等基礎(chǔ)類服務(wù)統(tǒng)一提煉與封裝,為智能問(wèn)答與相關(guān)應(yīng)用提供支撐服務(wù),主要為系統(tǒng)維護(hù)人員提供服務(wù),系統(tǒng)培訓(xùn)師在系統(tǒng)中是維護(hù)人員,為用戶問(wèn)答進(jìn)行回復(fù),并支持用戶自行編輯答案、系統(tǒng)維護(hù)。
(3)用戶查詢。該功能包括三個(gè)子類,均可以完成系統(tǒng)算法模型的相關(guān)應(yīng)用。其中,LuceneRank 類作為基本模塊,可利用Lucene 全文檢索系統(tǒng)將答案在列表中展現(xiàn)出來(lái);VectorModel 類作為混合向量模塊,可利用預(yù)先訓(xùn)練好的問(wèn)題,創(chuàng)建向量模型,然后根據(jù)該模型內(nèi)的反饋答案?jìng)鬟f到相應(yīng)的列表內(nèi);LearningToRankModel 類針對(duì)現(xiàn)有答案列表進(jìn)行排序,然后根據(jù)查詢模型運(yùn)行程序,將最佳的答案反饋給用戶。
2.3.1 主體結(jié)構(gòu)
結(jié)合智能問(wèn)答系統(tǒng)的現(xiàn)實(shí)需求,創(chuàng)建該系統(tǒng)的主體架構(gòu),如表1 所示。主要包括問(wèn)題解析、服務(wù)檢測(cè)與上下文管理、知識(shí)梳理等模塊。該系統(tǒng)應(yīng)用中,用戶自然語(yǔ)言查詢后,利用語(yǔ)音輸入法將語(yǔ)音變成文字,再利用聲韻母語(yǔ)音識(shí)別文本,對(duì)錯(cuò)誤字音進(jìn)行糾正,得出與領(lǐng)域相關(guān)的正確語(yǔ)句。在詞典糾錯(cuò)期間,針對(duì)文本進(jìn)行分詞,因部分詞語(yǔ)有多重含義,需要利用同義詞典將其轉(zhuǎn)換,再利用條件隨機(jī)場(chǎng)模型做好問(wèn)句標(biāo)注,獲得相應(yīng)的<領(lǐng)域詞,詞語(yǔ)含義>二元組串。
表1:智能問(wèn)答系統(tǒng)主要內(nèi)容
因上下文本間有所關(guān)聯(lián),對(duì)用戶查詢結(jié)果產(chǎn)生較大影響,在對(duì)問(wèn)句的二元組串查詢后,應(yīng)對(duì)上下文的關(guān)聯(lián)情況進(jìn)行判斷。如若判斷結(jié)果是“有關(guān)聯(lián)”,則應(yīng)將組串加入本次查詢的二元組串內(nèi),根據(jù)該元素的語(yǔ)義創(chuàng)造查詢請(qǐng)求服務(wù),再將該服務(wù)與語(yǔ)義特征構(gòu)造查詢請(qǐng)求服務(wù)相結(jié)合,使請(qǐng)求服務(wù)與查詢服務(wù)相對(duì)應(yīng),便可得到符合實(shí)例條件的查詢服務(wù),將其當(dāng)作查詢服務(wù)。同時(shí),還應(yīng)利用owl-s 對(duì)查詢結(jié)果進(jìn)行檢驗(yàn),再將結(jié)果納入到查詢上下文的表內(nèi)以備后用。如若判斷結(jié)果為“無(wú)關(guān)聯(lián)”,則為用戶反饋“無(wú)結(jié)果”,由此完善全部查詢流程。
2.3.2 服務(wù)描述規(guī)則
在智能問(wèn)答系統(tǒng)中,服務(wù)屬于關(guān)鍵環(huán)節(jié)之一,系統(tǒng)按照用戶的提問(wèn)為其提供相應(yīng)的搜索結(jié)果,將搜索參數(shù)實(shí)例化后調(diào)用服務(wù),并將最終結(jié)果展示給用戶。因服務(wù)與搜索結(jié)果息息相關(guān),根據(jù)服務(wù)特點(diǎn)與用戶需求,應(yīng)對(duì)相應(yīng)服務(wù)規(guī)則與基本概念進(jìn)行描述,如下。
Service 代表的是存儲(chǔ)相關(guān)服務(wù)的頂層概念,將與服務(wù)描述相關(guān)的概念知識(shí)放于下層;
Domain 代表的是頂層概念,下層存儲(chǔ)與本領(lǐng)域有聯(lián)系的概念,例如時(shí)間概念、地點(diǎn)概念等;
OtherCondition 代表的是存在服務(wù)描述剩余條件的頂層概念,能夠順利確定與之相對(duì)應(yīng)的服務(wù),如用戶詢問(wèn)動(dòng)機(jī)如何,是想要搜索還是比較等等;
hasOwlInputSeq 代表的是概念屬性,其作用在于將用戶搜索的服務(wù)變成實(shí)例,與真實(shí)的Web 服務(wù)參數(shù)相對(duì)應(yīng),可理解為服務(wù)參數(shù)與實(shí)例之間具有映射反應(yīng);
hasOtherCondition 同樣是概念屬性,其作用是對(duì)描述服務(wù)的其他因素進(jìn)行展示,能夠與OtherConditon 相對(duì)應(yīng)。
2.3.3 命名實(shí)體識(shí)別策略
(1)文本糾錯(cuò)策略。語(yǔ)音識(shí)別準(zhǔn)確性與命名實(shí)體的服務(wù)匹配度具有緊密聯(lián)系,進(jìn)而影響到實(shí)例化水平。在利用聲韻母語(yǔ)音識(shí)別后,還可利用文本糾錯(cuò)法,使組合歧義類、未登陸詞處理、混合歧義、交際歧義等字段得到良好處理。在專業(yè)領(lǐng)域中創(chuàng)建領(lǐng)域詞典,單一元素為領(lǐng)域相關(guān)詞中的概念二元組,因部分詞匯具有多重含義,存在的概念較多。漢字是識(shí)別單元為音節(jié),音節(jié)包括聲母和韻母兩項(xiàng)內(nèi)容。因此,可先用語(yǔ)音識(shí)別聲韻母后,再采用文本糾錯(cuò)策略,依靠語(yǔ)音輸入法將用戶輸入的文本變成聲韻母串,再根據(jù)相似度對(duì)比進(jìn)行糾正,標(biāo)準(zhǔn)問(wèn)題糾錯(cuò)表如表2 所示。
表2:標(biāo)準(zhǔn)問(wèn)題糾錯(cuò)表
(2)實(shí)體標(biāo)注策略。在分詞后很容易出現(xiàn)一詞多義情況,可利用條件隨機(jī)場(chǎng)進(jìn)行詞性標(biāo)注。每條語(yǔ)料都包括編號(hào)與一段句子,且語(yǔ)料針對(duì)編號(hào)、句子內(nèi)的詞語(yǔ)進(jìn)行詞性標(biāo)注,因訓(xùn)練期間無(wú)需記錄編號(hào),需要先對(duì)語(yǔ)料實(shí)施預(yù)處理,獲得符合訓(xùn)練要求的樣本。選取特征窗口長(zhǎng)度為7,由7 個(gè)單詞和6 個(gè)二元組合而成。在模板內(nèi),“#”表示的是注釋;U 表示的是采用Unigram 模板,00 表示的是編號(hào);x[s,o]表示的是CRFs 內(nèi)的點(diǎn)(state);在t 時(shí)段內(nèi)標(biāo)簽用s 表示,上下文用o 表示,如表3 所示。
表3:用戶查詢記錄表
(3)服務(wù)概念匹配策略。服務(wù)匹配的宗旨是將用戶提問(wèn)關(guān)聯(lián)到與之相對(duì)的服務(wù)中,將<領(lǐng)域相關(guān)詞,語(yǔ)義概念>二元組串應(yīng)用到相應(yīng)的基本服務(wù)內(nèi)。在概念層級(jí)基礎(chǔ)上尋找匹配方式,將傳輸服務(wù)參數(shù)與相應(yīng)領(lǐng)域概念相配合,并將其分成不同類型。當(dāng)服務(wù)請(qǐng)求概念服務(wù)對(duì)象概念相同時(shí),則說(shuō)明二者相吻合;如若服務(wù)請(qǐng)求參數(shù)與服務(wù)對(duì)象內(nèi)超類相符合,則與搜索需求相符合,能夠進(jìn)行匹配;如若服務(wù)請(qǐng)求參數(shù)與服務(wù)對(duì)象內(nèi)的子類相對(duì)應(yīng),因二者無(wú)法匹配,在實(shí)例化過(guò)程中參數(shù)類型可能發(fā)生改變,說(shuō)明無(wú)法成功匹配;如若服務(wù)請(qǐng)求期間,同類參數(shù)數(shù)量較多,而在匹配服務(wù)中該參數(shù)數(shù)據(jù)集相同時(shí),二者能夠成功匹配。例如,在搜索“河北省2018 年GDP”時(shí),在服務(wù)請(qǐng)求中的輸入?yún)?shù)為GDP,屬于indicator,與服務(wù)對(duì)象輸入?yún)?shù)內(nèi)的indicatorSet 相對(duì)應(yīng),二者便可成功匹配;如若服務(wù)請(qǐng)求內(nèi)的參數(shù)與服務(wù)概念中子類沒(méi)有關(guān)聯(lián),在實(shí)例化過(guò)程中參數(shù)類型也會(huì)出現(xiàn)誤差,影響匹配成功度;
針對(duì)智能問(wèn)答系統(tǒng)內(nèi)的部分功能,通過(guò)流程圖形式展現(xiàn)主要算法模塊的實(shí)際應(yīng)用,具體實(shí)現(xiàn)方式如下。
該系統(tǒng)中的知識(shí)庫(kù)包括兩種不同種類的知識(shí)源,一種是組織完畢的常見(jiàn)問(wèn)題(FAQ)集合,可直接利用;另一種是需要人工梳理型知識(shí)源,依照技術(shù)手冊(cè)、網(wǎng)頁(yè)信息等進(jìn)行梳理。本系統(tǒng)重點(diǎn)對(duì)梳理第一類知識(shí)元素,將第二類知識(shí)元素手動(dòng)應(yīng)用到第一類要處理的知識(shí)元素上。知識(shí)庫(kù)的梳理是系統(tǒng)預(yù)處理環(huán)節(jié)的關(guān)鍵組成部分,梳理效果對(duì)算法模型準(zhǔn)確率具有直接影響,具體如下。
(1)知識(shí)庫(kù)管理。在問(wèn)答系統(tǒng)中知識(shí)庫(kù)作為中樞所在,包括分類、標(biāo)準(zhǔn)問(wèn)題與答案、實(shí)例等方面。其中,實(shí)例代表的是相同答案的不同問(wèn)法集合;分類是指用戶事先對(duì)不同問(wèn)答對(duì)標(biāo)準(zhǔn)的信息;屬性代表的是不同類型的信息,例如辦事項(xiàng)、查詢項(xiàng)等等;標(biāo)準(zhǔn)問(wèn)答是指用戶給出的FAQ 問(wèn)答對(duì);標(biāo)注人員對(duì)相同答案提供的多種問(wèn)法即擴(kuò)展問(wèn)題。
(2)本體類與詞類管理。本體類管理主要對(duì)概念之間關(guān)系進(jìn)行表達(dá),可分為實(shí)體與方法兩種類型。例如,在人工智能實(shí)訓(xùn)中,教學(xué)屬于方法類,教材屬于實(shí)體類。通過(guò)對(duì)本體類的科學(xué)管理,可完成知識(shí)繼承與總結(jié)的目標(biāo);詞類管理重點(diǎn)對(duì)敏感詞、近義詞、前后綴等詞匯進(jìn)行管理,尤其是特定范圍內(nèi)的專業(yè)術(shù)語(yǔ),可采用手動(dòng)添加的方式,使詞類信息更加全面。
(3)問(wèn)答歷史。該模塊可記錄用戶操作痕跡,并突出重點(diǎn)問(wèn)題以及未能及時(shí)解決的問(wèn)題,由此提高智能助手的智能化水平。在用戶日志基礎(chǔ)上,通過(guò)優(yōu)化推薦系統(tǒng)、搜索引擎等方式,將用戶日志的價(jià)值充分突顯出來(lái),使問(wèn)答歷史得到準(zhǔn)確高效的記錄,用戶信息表如表4 所示。
表4:用戶信息表
該模式是當(dāng)用戶輸入處理完畢后,系統(tǒng)可依照用戶所提問(wèn)題進(jìn)行查詢,并將結(jié)果反饋給用戶,包括重新排序與Lucene 檢索兩個(gè)方面。Lucene 檢索將標(biāo)注的問(wèn)題與答案配對(duì),并以正則表達(dá)式展現(xiàn)出來(lái)。經(jīng)過(guò)知識(shí)庫(kù)梳理后,將標(biāo)準(zhǔn)問(wèn)題擴(kuò)展到不同的模板中,然后將問(wèn)題和答案分別編入索引,在該模塊中引入查詢語(yǔ)句,并使用Lucene 判斷是否有匹配的答案。在此期間,Lucene 可以傳遞給用戶50 個(gè)最佳的答案,為后期程序排序提供參考。重排序模塊主要對(duì)Lucene 反饋結(jié)果的算法進(jìn)行優(yōu)化,借助事先訓(xùn)練好的模型來(lái)實(shí)現(xiàn)。在實(shí)際應(yīng)用中,可先調(diào)整開發(fā)集參數(shù),并在詞向量技術(shù)基礎(chǔ)上,利用神經(jīng)網(wǎng)絡(luò)將其變?yōu)榫湎蛄?,由此得到最佳檢索效果。
在自然語(yǔ)言技術(shù)的支持下,對(duì)用戶輸入語(yǔ)句進(jìn)行轉(zhuǎn)化,由原本的查詢語(yǔ)句變?yōu)橥ㄋ滓锥摹⑾到y(tǒng)可準(zhǔn)確識(shí)別的語(yǔ)義,該系統(tǒng)利用三個(gè)模塊完成這一任務(wù),具體如下。
(1)預(yù)處理。該階段是用戶輸入查詢語(yǔ)句時(shí),系統(tǒng)對(duì)用戶查詢語(yǔ)句進(jìn)行處理,可將用戶查詢語(yǔ)句分為智能分詞和命名實(shí)體。在此之前,用戶輸入內(nèi)容沒(méi)有經(jīng)過(guò)分詞處理,需要利用開源漢語(yǔ)分詞包進(jìn)行準(zhǔn)確分詞,將特殊詞、詞組加入詞典中,使詞典內(nèi)容更加完善;后一階段為實(shí)體識(shí)別,該模塊的主要功能是識(shí)別語(yǔ)句中預(yù)先標(biāo)注的實(shí)體名稱和地名,并進(jìn)行不同的記錄;
(2)會(huì)話管理。主要是智能反問(wèn)句,如果無(wú)法搜索到用戶的答案,系統(tǒng)會(huì)以用戶提出問(wèn)題為中心,對(duì)相關(guān)問(wèn)題進(jìn)行拓展,判斷用戶是否存在表達(dá)不清楚情況,并向用戶反問(wèn),如“您是否想咨詢XX 問(wèn)題?”。
(3)后處理。該模塊以智能糾錯(cuò)為主,包括拼音糾錯(cuò)、拼寫糾錯(cuò)兩個(gè)方面。其中,前者通過(guò)注音程序訓(xùn)練語(yǔ)料,建立相應(yīng)的訓(xùn)練模型,然后將置信度小的詞匯轉(zhuǎn)換為大詞,由此實(shí)現(xiàn)糾錯(cuò)目標(biāo);后者適用于字形錯(cuò)誤糾正,在拼音準(zhǔn)確的情況下,通過(guò)拼寫糾錯(cuò)可使問(wèn)答系統(tǒng)反饋準(zhǔn)確率得到顯著提升。
在服務(wù)對(duì)象成功匹配后,應(yīng)對(duì)Wen服務(wù)參數(shù)實(shí)例化處理,使整個(gè)問(wèn)答流程得以完善。在本系統(tǒng)中用wsdl 對(duì)Web 進(jìn)行描述,再經(jīng)過(guò)OwlsEdit 工具對(duì)Wen 服務(wù)進(jìn)行生成,獲得服務(wù)描述的owl 文件。經(jīng)過(guò)查詢匹配獲得與之相應(yīng)的服務(wù)描述本體,再利用“hasOwlUri”屬性對(duì)文件描述的服務(wù)進(jìn)行定位,使本體內(nèi)的服務(wù)輸入能夠與Uri 相應(yīng)服務(wù)輸入進(jìn)行映射,包括本體描述服務(wù)、經(jīng)過(guò)wsdl 文件生成的服務(wù)描述。因服務(wù)語(yǔ)義特點(diǎn)不夠清晰,可通過(guò)“hasOwlUni”“hasOutput”等映射到“Uri”“para1”“para2”中,且輸入“data”概念與“para2”映射,服務(wù)中擁有參數(shù)類型信息,可將服務(wù)輸入?yún)?shù)實(shí)例更好的映射到與之相對(duì)的參數(shù)中,使各項(xiàng)服務(wù)均可自動(dòng)化調(diào)用。
智能問(wèn)答系統(tǒng)測(cè)試關(guān)鍵在于該系統(tǒng)能否為用戶提供正確答案。本系統(tǒng)采用準(zhǔn)確率、命中率兩項(xiàng)指標(biāo)進(jìn)行性能測(cè)評(píng),具體如下。
(1)準(zhǔn)確率。該項(xiàng)指標(biāo)是最為簡(jiǎn)便直接的測(cè)試手段,是指系統(tǒng)認(rèn)為可信度最高的答案,計(jì)算公式可表示為:
式中,AR 代表準(zhǔn)確率;c 代表系統(tǒng)反饋的最佳答案數(shù)量;sum 代表的是系統(tǒng)檢測(cè)出的全部答案數(shù)量。
(2)命中率。該指標(biāo)是在固定前幾名的答案,在去掉第一個(gè)最佳答案后,還要分析后續(xù)幾個(gè)備選答案。將涵蓋n個(gè)問(wèn)題的測(cè)試集用qi 表示,其中i 取值范圍為1 到n,假設(shè)ri 代表系統(tǒng)反饋列表中的最佳答案,如若無(wú)最佳答案,則取值為0,在有最佳答案的情況下,計(jì)算公式可表示為:
式中,MRR 代表的是命中率;r代表的是反饋答案排名。通常只分析前五名或者前十名的候選答案,排名靠后的答案基本不會(huì)對(duì)該指標(biāo)產(chǎn)生影響。
該系統(tǒng)在問(wèn)答測(cè)試中設(shè)置了用戶反饋功能,系統(tǒng)在為用戶展示答案的同時(shí),用戶可根據(jù)系統(tǒng)反饋的準(zhǔn)確度進(jìn)行評(píng)價(jià),由此得出使用滿意率,在滿意情況下可用公式表示如下,不滿意則為0。
式中,SR 表示用戶滿意度;n 表示用戶的咨詢數(shù)量。該系統(tǒng)將自動(dòng)記錄用戶詢問(wèn)后的評(píng)價(jià)結(jié)果,也就是用戶獲得反饋后的滿意度,再對(duì)用戶反饋進(jìn)行統(tǒng)計(jì),得出總體滿意度。
采用爬蟲框架對(duì)用戶搜索的500W 條數(shù)據(jù)進(jìn)行采集和清洗,提出重復(fù)和異常狀態(tài)數(shù)據(jù)后,最終得到4352162 條數(shù)據(jù)投入實(shí)驗(yàn),將此類數(shù)據(jù)歸為數(shù)據(jù)集D,按照上文所述的設(shè)計(jì)架構(gòu)創(chuàng)建智能問(wèn)答系統(tǒng)。因數(shù)據(jù)量眾多,系統(tǒng)無(wú)法逐一檢驗(yàn),因此在集合D 中隨機(jī)抽出500 條問(wèn)答進(jìn)行實(shí)驗(yàn)。將系統(tǒng)給予的前5 名反饋答案排序后,由人工對(duì)比答案質(zhì)量,測(cè)試系統(tǒng)性能。根據(jù)測(cè)試結(jié)果可知,問(wèn)答系統(tǒng)檢索的最佳答案準(zhǔn)確率較為穩(wěn)定,命中率較高,達(dá)到98.35%。在系統(tǒng)性能測(cè)試后,本實(shí)驗(yàn)還面向10 名用戶開展用戶測(cè)評(píng),每位用戶都登錄系統(tǒng),針對(duì)特定領(lǐng)域進(jìn)行提問(wèn),并針對(duì)系統(tǒng)應(yīng)用體驗(yàn)進(jìn)行打分。根據(jù)滿意度測(cè)評(píng)結(jié)果可知,由75%的用戶表示滿意,達(dá)到預(yù)期設(shè)計(jì)要求。
綜上所述,智能問(wèn)答系統(tǒng)帶有知識(shí)庫(kù)梳理、問(wèn)題檢索與理解三個(gè)模塊,可依靠機(jī)器學(xué)習(xí)技術(shù)優(yōu)化系統(tǒng)性能,正確糾正拼寫與輸入錯(cuò)誤,使查詢準(zhǔn)確度得到極大提升,獲得廣大用戶的好評(píng)。在未來(lái)的發(fā)展中,針對(duì)當(dāng)前問(wèn)答系統(tǒng)在技術(shù)方面存在的不足,還應(yīng)結(jié)合新的使用需求不斷完善系統(tǒng)框架,使其更加適用于專業(yè)領(lǐng)域,降低耦合性,提高擴(kuò)展能力,從而為用戶提供更多服務(wù)。