王 越，趙艷興，賀 霆，趙逢波，王旭鵬，張治國

（北京寶蘭德軟件股份有限公司，北京 100089）

0 引言

在智能運維AIOps 領(lǐng)域，問答系統(tǒng)可以幫助企業(yè)運維人員完成運維工作，如作業(yè)下發(fā)、運維知識查詢等。通過與問答系統(tǒng)一問一答的交互，運維人員能夠更加快速、便捷地完成運維工作，降低企業(yè)的運維成本。

Rasa 是當(dāng)前主流的開源問答系統(tǒng)框架，用于構(gòu)建聊天機器人和智能助手。Rasa 框架的模塊化和靈活設(shè)計使開發(fā)人員能夠輕松構(gòu)建新的擴展和功能，包含自然語言理解（NLU）模塊與核心（Core）模塊兩部分。NLU 模塊用于解析用戶輸入語句，識別語句中的實體、意圖等信息；Core 模塊負責(zé)對話管理，用于跟蹤對話狀態(tài)，執(zhí)行對話策略，并提供可編輯的模板，方便開發(fā)人員設(shè)計多輪對話。

常見的問答系統(tǒng)通常功能較為單一，只能完成某些特定功能的問答場景。百度的AnyQ 框架采用自研的SimNet 網(wǎng)絡(luò)結(jié)構(gòu)完成研發(fā)問題對（FAQ）的問答場景。58 同城采用qa＿match 框架，基于深度學(xué)習(xí)的2 層架構(gòu)，完成FAQ 場景問答。美團大腦基于問答對數(shù)據(jù)與知識圖譜構(gòu)建FAQ 和圖譜問答（KBQA）。

本文構(gòu)建了一種高效的多功能問答場景融合架構(gòu)，可以將任務(wù)型（Task）、FAQ、KBQA、閑聊型問答（Chat）整合為一體，通過分層的插件化設(shè)計思路，保證系統(tǒng)可以毫秒級快速響應(yīng)用戶多功能查詢需求。架構(gòu)中的Task 場景與Chat 場景采用Rasa 框架開發(fā)，包括意圖識別、詞槽提取、對話狀態(tài)管理、多輪對話設(shè)計等。針對運維場景的數(shù)據(jù)特點，在Rasa 的NLU 模塊采用了本文提出的基于BERT 的改進型意圖識別神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，明顯提升了意圖識別模型準(zhǔn)確率。最后，通過問答系統(tǒng)部署現(xiàn)場的真實數(shù)據(jù)，驗證了本文提出的多功能問答場景融合架構(gòu)與改進型意圖識別模型性能的有效性。

1 系統(tǒng)架構(gòu)設(shè)計

問答系統(tǒng)要求能夠為不同需求的運維人員提供多種運維功能。Task 場景是問答系統(tǒng)的核心功能，支持運維人員通過一輪或多輪對話的方式完成具體的運維操作，如“系統(tǒng)健康度分析”、“創(chuàng)建故障群組”、“執(zhí)行OOS 系統(tǒng)作業(yè)”等。知識型問答場景包括FAQ 與KBQA，其中FAQ 支持運維人員查詢系統(tǒng)內(nèi)的運維知識，而系統(tǒng)中對接的AMDB 知識圖譜數(shù)據(jù)支持運維人員對系統(tǒng)節(jié)點的狀態(tài)、關(guān)系等信息進行查詢。Chat 場景內(nèi)置“功能類”與“人格屬性類”等問題，“功能類”問題支持回答用戶諸如“你會做什么？”、“你有什么功能”等問題，“人格屬性類”問題可以回答“你是誰”、“你幾歲了？”等常見閑聊問題。

多功能問答融合示意圖如圖1 所示，根據(jù)功能可以分為4 個模塊：Task 插件模塊、知識型問答模塊、Rasa 服務(wù)模塊、意圖置信度賦值模塊。在開發(fā)過程中，Task 場景和Chat 場景整合在Rasa 框架中實現(xiàn)，將意圖訓(xùn)練樣本同時配置在Rasa 框架提供的配置文件中，并采用本文實現(xiàn)的改進型意圖識別模型進行預(yù)測。對此擬展開研究分述如下。

圖1 多功能問答融合示意圖Fig.1 Schematic diagram of multi-function questions and answers fusion

1.1 Task 插件模塊

用戶輸入語句首先經(jīng)過Task 插件模塊處理，該模塊包含“專家規(guī)則檢測”與“對話狀態(tài)檢測”兩種功能。其中，“專家規(guī)則檢測”旨在識別實際應(yīng)用中常見的Task 場景語句，被識別的語句無需再經(jīng)過知識型問答模塊查詢和Rasa 意圖識別模型的預(yù)測，可以大幅度提升問答系統(tǒng)的響應(yīng)速度。系統(tǒng)設(shè)計了業(yè)務(wù)關(guān)鍵詞字典與模式匹配兩種方式，專家規(guī)則處理示意圖如圖2 所示。

圖2 專家規(guī)則處理示意圖Fig.2 Expert rules processing diagram

以Task 場景中的“創(chuàng)建群組”類別為例，開發(fā)者可將“創(chuàng)建群組，拉建群組”等關(guān)鍵詞配置在字典中，同時也可配置正則表達式“（創(chuàng)建｜拉建）（.+？）（群組｜群聊）”作為模式匹配。匹配中關(guān)鍵詞字典或正則表達式語句則可認為被“專家規(guī)則檢測”功能所識別。開發(fā)過程中，可以通過配置文件的方式或前端界面工具的方式進行專家規(guī)則的配置，也可以根據(jù)實際情況靈活地調(diào)整專家規(guī)則，或在新增意圖時便捷地擴展專家規(guī)則。不同類別的專家規(guī)則之間不可有規(guī)則重疊。

對現(xiàn)場用戶實際輸入的數(shù)據(jù)進行統(tǒng)計，通過“專家規(guī)則檢測”功能可以識別約40%的Task 問答語句。分析用戶使用心理發(fā)現(xiàn)：Task 場景中用戶在使用時傾向于簡短且常用的正式語句。近一半的語句可以被“專家規(guī)則檢測”功能攔截是合理的，被截留的語句直接進行“意圖置信度賦值”模塊的處理。

Task 插件模塊的“對話狀態(tài)檢測”功能旨在檢測當(dāng)前對話狀態(tài)是否處于多輪對話狀態(tài)中，防止意圖誤識別的產(chǎn)生。問答系統(tǒng)功能設(shè)計中，Task 場景支持多輪對話，用戶新輸入的語句不再需要其它模塊的檢測，將語句輸入到Rasa 服務(wù)中即可。例如：用戶輸入“創(chuàng)建群組”，系統(tǒng)會追問“請輸入群名稱”，此時待輸入的群名稱語義上會較為靈活；用戶再輸入“智能巡檢方法”，該語句與FAQ 問題重復(fù)，“對話狀態(tài)檢測”功能則避免了系統(tǒng)錯誤返回知識型場景的答案。Rasa 框架的Core 模塊會維護對話狀態(tài)跟蹤、記錄對話歷史與當(dāng)前狀態(tài)等。Rasa HTTP 服務(wù)接口可以獲取所需狀態(tài)信息。多輪對話示意圖如圖3 所示。圖3 中，序號1～7 代表多輪問答順序。

圖3 多輪對話示意圖Fig.3 Multi-round dialogues schematic diagram

1.2 知識型問答模塊

沒有被Task 插件模塊識別的語句會流入知識型問答模塊，當(dāng)前系統(tǒng)開發(fā)了KBQA 場景與FAQ 場景兩部分，都是通過對存儲在知識庫中的知識進行語義相似度的檢索，將滿足閾值要求的答案返回給用戶。

KBQA 模型采用基于答案排序的方式實現(xiàn)。圖譜數(shù)據(jù)存儲在圖數(shù)據(jù)庫ArangoDB 中，首先對用戶輸入語句進行命名實體識別，將提取出的實體放在知識圖譜中查找與實體相連的所有三元組，組成候選答案。其次，計算問句與候選三元組的語義相似度，選出最相似的三元組判斷是否滿足所設(shè)定的相似度閾值?；诖鸢概判虻腒BQA 的工作流程圖示意如圖4 所示。

圖4 KBQA 流程示意圖Fig.4 Schematic diagram of KBQA

FAQ 場景中將問答對數(shù)據(jù)存儲在Elasticsearch（ES）庫中，采用ES 的倒排索引快速檢索用戶輸入的相似問句。系統(tǒng)在實現(xiàn)過程中引入了近義詞表來泛化ES 的相似度檢索效果。以問句“如何restart電腦”為例，用戶希望在FAQ 庫中匹配到“怎樣重啟計算機”問句，而倒排索引本身是基于共現(xiàn)詞來創(chuàng)建索引，沒有近義詞來泛化則不能準(zhǔn)確找到對應(yīng)的候選問題。在實際生產(chǎn)中，可以將近義詞表放入ES中加速查詢過程，在ES 中引入近義詞詞典如圖5 所示。

圖5 在ES 中引入近義詞詞典Fig.5 Introducing a dictionary of synonyms in ES

預(yù)測時知識型模塊同時調(diào)用KBQA 與FAQ 的2 個服務(wù)接口，并行預(yù)測給出檢索結(jié)果。當(dāng)2 個模型都有結(jié)果輸出時，依據(jù)FAQ 模型得到的準(zhǔn)確率優(yōu)于KBQA 模型，因此優(yōu)先選擇FAQ 的結(jié)果。

1.3 Rasa 服務(wù)模塊

用戶輸入語句通過知識型問答模塊后如果不滿足相似度閾值，則進入Rasa 服務(wù)模塊。通過框架中NLU 模塊與Core 模塊可以便捷地搭建起Rasa 問答服務(wù)。Rasa 框架內(nèi)置了多種意圖識別模型與詞槽提取模型，系統(tǒng)采用了本文提出的基于BERT 的改進型意圖識別神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，針對運維場景優(yōu)化了意圖識別效果。Core 模塊內(nèi)置多種問答策略，F(xiàn)orm Policy 實現(xiàn)詞槽追問功能，如創(chuàng)建群組時追問群名稱；Fallback Policy 實現(xiàn)默認回答功能，當(dāng)輸入問答系統(tǒng)不能理解的語句時，系統(tǒng)返回默認語句“不理解您的意思，請換個說法”。

1.4 意圖置信度賦值模塊

符合Task 插件模塊的語句會流入意圖置信度賦值模塊。當(dāng)系統(tǒng)處于對話狀態(tài)之中時，該模塊將問答語句輸入Rasa 服務(wù)中進行下一輪對話流程；反之，模塊則主動對輸入的語句進行類別置信度賦值操作。如用戶輸入“創(chuàng)建hadoop 故障群組”，滿足“創(chuàng)建群組”的專家規(guī)則，模塊會主動將其標(biāo)注為該類別，置信度賦值1.0。賦值后的語句不再需要Rasa 服務(wù)中的意圖識別模型的判別，模塊負責(zé)將語句的類別與置信度等所需信息存入Rasa 服務(wù)狀態(tài)中，從而開啟接下來的對話流程。

2 意圖識別

在問答系統(tǒng)中，意圖識別屬于文本分類場景，將不同的輸入語句判別到對應(yīng)類別、即完成意圖識別功能。Rasa 框架中內(nèi)置了多種算法功能，如：分詞、詞向量化、分類算法等，這些算法可以拼接成算法流程進行意圖識別。在運維場景中，內(nèi)置的算法流程在實際數(shù)據(jù)上效果欠佳，本文針對運維數(shù)據(jù)特點提出了一種基于BERT 的改進型意圖識別神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

2.1 數(shù)據(jù)分析

Task 場景與Chat 場景中用戶輸入語句均為短文本，相較于長文本，短文本對分類模型要求更高。Task 場景下用戶輸入語句一般由2 部分組成：語義表示與詞槽；而Chat 場景語句也可以理解為沒有詞槽的Task 語句。任務(wù)型場景數(shù)據(jù)見表1。

表1 任務(wù)型場景數(shù)據(jù)表Tab.1 Data table of task scenarios

如“創(chuàng)建群組”類意圖，用戶輸入“建群”，“建個群聊”等帶有明顯語義表示的詞語，較容易識別；當(dāng)輸入“創(chuàng)建執(zhí)行hadoop 定時作業(yè)群組”時，語句中包含的“執(zhí)行hadoop 定時作業(yè)”的詞槽，容易引起分類錯誤，模型置信度一般也較低。本文嘗試了Rasa 框架內(nèi)置的基于scikit-learn 庫的多種傳統(tǒng)機器學(xué)習(xí)算法與Rasa 自研的DIET 深度學(xué)習(xí)算法均不能很好地解決這個問題。效果更優(yōu)的DIET 模型面對此類數(shù)據(jù)往往在意圖分類時會呈現(xiàn)出“l(fā)abel：創(chuàng)建群組，confidence：0.54；label：執(zhí)行OOS系統(tǒng)作業(yè)，confidence：0.44；label：......”的窘境。排名第一的類別置信度與第二類別置信度相差不大且置信度低，無法超過類別閾值（一般0.8 以上）。

2.2 模型設(shè)計

面對多變的詞槽，要求意圖識別模型可以學(xué)習(xí)出語句中不同詞語間與不同詞序的權(quán)重，對語義表示部分的詞語需提高權(quán)重，對詞槽部分的詞語降低權(quán)重。根據(jù)這樣的思路，本文設(shè)計了更優(yōu)的意圖識別模型。

BERT 預(yù)訓(xùn)練語言模型采用雙向Transformer 結(jié)構(gòu)，以 Mask Language Model 和 Next Sentence Prediction 的多任務(wù)訓(xùn)練為目標(biāo)，在自然語言處理等眾多領(lǐng)域達到了最優(yōu)效果。Transformer 結(jié)構(gòu)中的自注意力機制（self-attention）是算法核心，selfattention 的數(shù)學(xué)表達式可寫為：

其中，d表示向量的維度數(shù)，，，分別表示查詢向量、鍵向量、值向量，由此推導(dǎo)得到的數(shù)學(xué)公式為：

其中，x表示輸入語句的詞嵌入2 維矩陣，實際模型訓(xùn)練過程中使用訓(xùn)練樣本集的3 維句向量矩陣計算；W表示查詢矩陣。鍵向量和值向量生成方式與此相同。

兩矩陣相乘可解釋self-attention 的self 概念，每個詞向量會和包括自身在內(nèi)的句子中所有詞進行相乘。相乘后的矩陣除以向量維度的平方根，在計算過程中可以使梯度更加穩(wěn)定。中的部分屬于點積縮放的注意力機制，得到的值后再乘以值向量，最終獲得經(jīng)注意力機制調(diào)整的矩陣。

本文選擇針對中文優(yōu)化的BERT-wwm 模型構(gòu)建雙通道輸入的改進型意圖識別網(wǎng)絡(luò)結(jié)構(gòu)，如圖6所示。

圖6 改進型意圖識別網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Improved intention recognition network structure

左通道通過本文提出的NS-Sampling（Sampling based on negative sample）算法流程進行訓(xùn)練樣本設(shè)計與均衡，算法流程圖如圖7 所示。

圖7 NS-Sampling 算法流程圖Fig.7 NS-Sampling algorithm flow chart

2.2.1 數(shù)據(jù)標(biāo)記

構(gòu)建意圖訓(xùn)練樣本時首先需要將語句中的詞槽標(biāo)記出來，詞槽對意圖傾向沒有貢獻，反而會干擾模型訓(xùn)練。如“創(chuàng)建［智能巡檢］的群組”，詞槽“智能巡檢”被標(biāo)識出，這樣做的目的是為了在負樣本生成時程序可以自動識別，快速擴展新的Task 場景，在工程應(yīng)用中加快模型迭代速度。

2.2.2 負樣本設(shè)計

本文將意圖識別模型支持的意圖稱為正類，不支持識別的其它意圖統(tǒng)稱為負類，負類的識別能力對模型性能有著決定性影響，負樣本的設(shè)計也是關(guān)鍵因素。本文將負樣本分為2 部分：種子負樣本與程序生成負樣本。對此可給出剖析論述如下。

建設(shè)公共數(shù)學(xué)教學(xué)資源共享平臺，打造精品特色．教學(xué)資源共享平臺內(nèi)容既包括高等數(shù)學(xué)、線性代數(shù)和概率統(tǒng)計課程的選擇，又有分類、分級的選擇．具體內(nèi)容包括課程描述、分類分級課程標(biāo)準(zhǔn)、分類分級考試大綱及樣題、教學(xué)進度表、電子教案、多媒體課件、學(xué)習(xí)輔導(dǎo)、網(wǎng)絡(luò)課程、課程教學(xué)隊伍及主講教師簡介、在線交流、授課錄像、通知公告、校校協(xié)同的教學(xué)資源、教學(xué)研究與改革等．此共享平臺教學(xué)資源豐富，具有網(wǎng)絡(luò)課程和精品資源共享課的特點．

種子負樣本是在編寫樣本時通過人工整理特別設(shè)計的樣本，這類樣本容易與某些正類意圖混淆，如“創(chuàng)建”只出現(xiàn)在“創(chuàng)建群組”的類別中，當(dāng)用戶只輸入“創(chuàng)建”時，因BERT 會將該類詞語的權(quán)重學(xué)習(xí)得很高，意圖識別模型會誤將詞語“創(chuàng)建”識別為“創(chuàng)建群組”類別。因此將其配置在負樣本中，就可以主動降低這些易混淆詞語的權(quán)重。

程序生成負樣本來自數(shù)據(jù)標(biāo)注步驟中標(biāo)識出來的詞槽，這些詞槽不可以與正類意圖重疊，在模型訓(xùn)練時會由程序自動補充到負樣本中。

2.2.3 數(shù)據(jù)增強

數(shù)據(jù)增強采用近義詞替換的方式來擴展樣本較少的類別。以所有類別中樣本數(shù)量最多的類別為增強數(shù)量的上限，通過分詞后的樣本進行近義詞替換。這里不對標(biāo)記的詞槽進行替換。

2.2.4 過采樣

經(jīng)過近義詞數(shù)據(jù)增強后的樣本多數(shù)情況下可以達到數(shù)據(jù)均衡，個別類別可能會由于詞語的近義詞數(shù)量不夠而增加后的樣本依然較少，采用過采樣的方法來提升這些類別的樣本數(shù)量。

意圖識別模型的右通道提供特征工程入口，通過分析訓(xùn)練樣本，本文設(shè)計了若干可以輔助提升意圖識別的特征，部分特征見表2。

表2 特征表Tab.2 Feature table

一條語句形成的特征稀疏矩陣如圖8 所示，橫坐標(biāo)表示特征個數(shù)，序號0～4、共5 個特征；縱坐標(biāo)表示經(jīng)過輸入語句分詞后的詞，這里有0～14 個、共15 個詞。矩陣中滿足該特征條件的值為1，否則為0。

圖8 特征工程矩陣Fig.8 Feature engineering matrix

稀疏矩陣輸出到全連接網(wǎng)絡(luò)中，從而獲得與左通道中BERT-wwm 的向量相同的768 維度向量。將左、右兩端的向量進行相加后求平均（Mean）值，可以理解為右側(cè)的768 維度向量賦予句向量輔助特征信息，求均值后的向量再連接全連接層與層。

3 實驗

本節(jié)設(shè)計2 組實驗用來檢驗多功能問答場景融合架構(gòu)與改進型意圖識別模型的性能。實驗測試了問答系統(tǒng)實際響應(yīng)速度與Task 場景意圖識別預(yù)測準(zhǔn)確率。這里可做解析表述如下。

3.1 實驗一

對于問答系統(tǒng)響應(yīng)速度的測試，選用200 條知識型語句，其中KBQA 語句與FAQ 語句各100 條；選用Task 場景包括負類在內(nèi)的全部12 種類別、250 條單輪問答語句，平均每種場景20 條測試語句。3 種場景實驗數(shù)據(jù)量之比∶∶1 ∶1 ∶2.5，與實際應(yīng)用時數(shù)據(jù)分布接近。實驗分別測試了每種場景下單模型的耗時、融合到框架后每種場景的耗時以及綜合所有場景的系統(tǒng)平均耗時。測試在i7-8700 CPU ＠ 3.20 GHz 環(huán)境中進行。問答系統(tǒng)耗時結(jié)果見表3。

表3 問答系統(tǒng)耗時表Tab.3 Time consumption table ms

實驗表明，多功能問答場景的融合架構(gòu)相比于單模型耗時沒有明顯增加，其中Task 場景得益于Task 插件模塊有了小幅度提升，而綜合所有場景的平均耗時較少，保證了系統(tǒng)可以ms 級地快速響應(yīng)。

3.2 實驗二

對于Task 場景意圖識別性能的測試，實驗沿用實驗一中的250 條Task 場景測試語句，對比了基于scikit -learn 庫的傳統(tǒng)機器學(xué)習(xí)算法 Logistic Regression 與SVM（線性核，即LinearSVM）、DIET 算法、微調(diào)的BERT模型、改進型意圖識別模型共5種。其中，傳統(tǒng)機器學(xué)習(xí)算法的句向量化方式分別嘗試了N-gram（1，3）+TF-IDF 與Jieba 分詞+Word2Vec 的方式，Word2Vec 模型選擇基于百度百科的語料訓(xùn)練，模型中包括了詞向量與單個字向量。實驗評價指標(biāo)選擇準(zhǔn)確率見表4。

表4 模型預(yù)測準(zhǔn)確率Tab.4 Model prediction accuracy

實驗表明，傳統(tǒng)機器學(xué)習(xí)算法面對運維場景的短文本分類任務(wù)性能欠佳，明顯低于深度學(xué)習(xí)模型；基于BERT 的意圖識別模型效果明顯高于其他方法，本文提出的基于BERT 的改進型意圖識別模型在BERT的基礎(chǔ)上進一步提升了預(yù)測準(zhǔn)確率。

4 結(jié)束語

在AIOps 場景下，本文設(shè)計了多功能問答系統(tǒng)架構(gòu)，集成了4 種問答功能，能夠輔助運維人員完成運維工作。針對Task 場景，通過對系統(tǒng)部署現(xiàn)場的實際運維數(shù)據(jù)進行分析，本文提出了基于BERT 的改進型意圖識別神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。實驗表明，多功能問答系統(tǒng)架構(gòu)具有較高性能，在多場景融合的情況下依然可以保持ms 級的快速響應(yīng)；而采用了基于BERT 的改進型意圖識別神經(jīng)網(wǎng)絡(luò)，Task 場景意圖識別準(zhǔn)確率效果極佳。