曾文驅(qū)，馬自力，王淑營(yíng)

（1.西南交通大學(xué) 機(jī)械工程學(xué)院，成都 610031；2.廣州地鐵設(shè)計(jì)研究院股份有限公司，廣州 130062；3.西南交通大學(xué) 計(jì)算機(jī)與人工智能學(xué)院，成都 611756）

知識(shí)圖譜的智能問(wèn)答中最關(guān)鍵的一步是識(shí)別用戶的問(wèn)句意圖，并根據(jù)意圖進(jìn)行知識(shí)圖譜中知識(shí)的定位。但高速列車零部件知識(shí)存在海量、復(fù)雜及多層級(jí)性的特點(diǎn)，高速列車零部件知識(shí)圖譜智能問(wèn)答系統(tǒng)（簡(jiǎn)稱：?jiǎn)柎鹣到y(tǒng)）如果不經(jīng)由知識(shí)的篩選，直接由意圖識(shí)別模型進(jìn)行知識(shí)定位，會(huì)增加檢索的復(fù)雜度，影響知識(shí)圖譜智能問(wèn)答的效果，所以，應(yīng)先通過(guò)知識(shí)子圖匹配模型進(jìn)行知識(shí)的篩選。知識(shí)子圖就是知識(shí)圖譜中與問(wèn)句相關(guān)的部分知識(shí)所構(gòu)成的子圖譜。高速列車零部件知識(shí)依據(jù)情景可被劃分為不同知識(shí)域，因此，可設(shè)定知識(shí)子圖匹配的目標(biāo)是將用戶問(wèn)句定位到所屬知識(shí)域，并將該知識(shí)域所包含的知識(shí)作為用戶問(wèn)句相關(guān)的知識(shí)子圖，剔除其他知識(shí)域的無(wú)關(guān)知識(shí)。依據(jù)該思路，可采用分類模型進(jìn)行用戶問(wèn)句所屬知識(shí)域的劃分，而分類模型的改進(jìn)則需要依靠情景感知，并基于用戶當(dāng)前所處環(huán)境下的情景信息。

國(guó)內(nèi)外研究人員針對(duì)如何利用情景感知改進(jìn)分類模型，從而實(shí)現(xiàn)知識(shí)子圖匹配，展開(kāi)了眾多研究。情景感知研究的核心課題是情景模型的構(gòu)建。Sheng等人[1]提出了一種面向情景感知的Web 服務(wù)的建模語(yǔ)言ContextUML；GuermaH 等人[2]探索了一種以本體為核心的情景感知服務(wù)模式，聚焦于情景元模型的構(gòu)建與推理過(guò)程；SOCAM[3]是一種基于情境感知技術(shù)的系統(tǒng)架構(gòu)，可有效幫助場(chǎng)景的捕獲、識(shí)別、理解及使用功能；周維琴等人[4]改進(jìn)了感知機(jī)制，依據(jù)AutoCAD 的特點(diǎn)研究了一種實(shí)用性更好的感知模型。目前，應(yīng)用較為廣泛的文本分類模型有Text-CNN 模型[5]、Bilstm-CRF 模型[6]、BERT（Bidirectional Encoder Representation from Transformers）模型[7]，三者中效果最好的是BERT 模型，所以選用該模型作為本文的分類模型，但分類模型如果不結(jié)合領(lǐng)域情景信息，其效果在知識(shí)子圖匹配這樣的領(lǐng)域任務(wù)中會(huì)大打折扣。

因此，本文將情景感知與分類模型相結(jié)合，構(gòu)建高速列車零部件知識(shí)圖譜智能問(wèn)答知識(shí)子圖匹配模型（簡(jiǎn)稱：知識(shí)子圖匹配模型），將問(wèn)句的情景因素轉(zhuǎn)化成向量，輸入到BERT 模型內(nèi)，從而完成知識(shí)子圖匹配。

1 高速列車零部件知識(shí)圖譜

高速列車零部件知識(shí)圖譜構(gòu)建流程包括本體構(gòu)建、知識(shí)抽取、知識(shí)融合及知識(shí)存儲(chǔ)等。即先構(gòu)建高速列車零部件知識(shí)本體，再整理數(shù)據(jù)集，從這些數(shù)據(jù)集中抽取知識(shí)，并將其按知識(shí)本體組裝成知識(shí)三元組后，存進(jìn)Neo4j 圖形數(shù)據(jù)庫(kù)，從而得到高速列車零部件知識(shí)圖譜。本文抽取的數(shù)據(jù)集包含14282條數(shù)據(jù)，其中，7728 條高速列車零部件運(yùn)行維護(hù)（簡(jiǎn)稱：運(yùn)維）數(shù)據(jù)、3991 條高速列車零部件設(shè)計(jì)需求數(shù)據(jù)、2563 條高速列車零部件設(shè)計(jì)參數(shù)數(shù)據(jù)。最終構(gòu)成知識(shí)圖譜共包含節(jié)點(diǎn)19781 個(gè)、關(guān)系15003 條、知識(shí)三元組 18835 個(gè)。高速列車零部件知識(shí)圖譜的知識(shí)本體結(jié)構(gòu)如圖1 所示。

圖1 高速列車零部件知識(shí)圖譜知識(shí)本體結(jié)構(gòu)

由圖1 可看出，本文構(gòu)建的高速列車零部件知識(shí)圖譜主要包含高速列車零部件的運(yùn)維域、設(shè)計(jì)需求域和設(shè)計(jì)參數(shù)域等3 個(gè)知識(shí)域。由該知識(shí)圖譜的結(jié)構(gòu)可看出，高速列車零部件的知識(shí)存在海量性、多層級(jí)及復(fù)雜性的特點(diǎn)，每個(gè)域內(nèi)的知識(shí)依然存在階段性特征。因此，本文以高速列車零部件知識(shí)圖譜的不同知識(shí)域?yàn)橐罁?jù)，對(duì)用戶問(wèn)句進(jìn)行分類，將其定位到正確知識(shí)域，剔除域外的無(wú)用知識(shí)，實(shí)現(xiàn)從知識(shí)圖譜中匹配到符合問(wèn)句語(yǔ)義的知識(shí)子圖。

2 知識(shí)子圖匹配模型

本文利用知識(shí)子圖匹配模型進(jìn)行高速列車零部件知識(shí)圖譜的知識(shí)篩選。該模型包含情景特征提取模塊和分類模塊2 部分，模型架構(gòu)如圖2 所示。情景特征提取模塊基于情景模型，分類模塊基于BERT模型。BERT 模型包含用戶問(wèn)句向量提取、向量融合及模型訓(xùn)練等3 個(gè)步驟，其中，向量提取步驟包括了詞向量的提取和情景向量的提取。完成向量提取后，將2 者融合后的問(wèn)句向量輸入到BERT 模型內(nèi)，進(jìn)行問(wèn)句所屬知識(shí)域的劃分。

圖2 知識(shí)子圖匹配模型架構(gòu)

2.1 情景特征的提取模塊

2.1.1 高速列車零部件知識(shí)情景模型構(gòu)建

高速列車零部件知識(shí)情景模型（簡(jiǎn)稱：情景模型）的構(gòu)建以零部件的相關(guān)任務(wù)為線索，通過(guò)對(duì)高速列車零部件情景的抽象化處理，構(gòu)建多維層次的情境模型，可表達(dá)為

其中，PDC為情景模型，CiEj表示第i個(gè)零部件的第j個(gè)情境要素。

為適應(yīng)情景感知需要，本文將情景因素提煉為任務(wù)、零部件、領(lǐng)域、人員4 項(xiàng)，情景模型架構(gòu)如圖3 所示。

圖3 高速列車零部件知識(shí)情景模型架構(gòu)

其中，任務(wù)是指用戶在運(yùn)維研發(fā)活動(dòng)中所處的活動(dòng)階段，以需求域人員為例，其任務(wù)階段包含需求采集、需求映射等；零部件指當(dāng)前人員所處理的具體零部件，包含零部件名稱及所屬結(jié)構(gòu)；領(lǐng)域和人員指當(dāng)前的任務(wù)域，在本文中被細(xì)分為3 類，即設(shè)計(jì)需求、設(shè)計(jì)參數(shù)及運(yùn)維。

2.1.2 情景因素提取

建立情景模型后，需提取用戶問(wèn)句中的情景因素，并將其轉(zhuǎn)化為相應(yīng)的情景向量。

（1）任務(wù)

任務(wù)情景因素屬于用戶問(wèn)句中不可見(jiàn)的成分，即無(wú)法直接從用戶問(wèn)句中提取。因此，本文參考該用戶在問(wèn)答系統(tǒng)中的歷史任務(wù)。例如，若該用戶在問(wèn)答系統(tǒng)中的上一個(gè)任務(wù)為需求采集任務(wù)，則當(dāng)前任務(wù)很可能為需求采集的下一階段任務(wù)，即需求映射任務(wù)；如果無(wú)歷史任務(wù)，則選取符合用戶身份的第1 階段任務(wù)，以設(shè)計(jì)需求人員為例，其第1 階段需求采集任務(wù)即為該用戶的當(dāng)前任務(wù)。

（2）零部件

零部件情景因素指用戶當(dāng)前任務(wù)所處理的具體零部件，包括零部件名稱及其所屬結(jié)構(gòu)。本文采用詞典匹配的方式進(jìn)行此類情景因素的提取，因此，需要建立高速列車零部件實(shí)體及其所屬結(jié)構(gòu)詞典。本文采用從知識(shí)圖譜中導(dǎo)出所有零部件實(shí)體的方式建立實(shí)體詞典，根據(jù)相關(guān)規(guī)范文檔，手動(dòng)建立每個(gè)實(shí)體的所屬結(jié)構(gòu)，從而建立結(jié)構(gòu)詞典。高速列車零部件實(shí)體名稱及其所屬結(jié)構(gòu)詞典（部分）如表1 所示。

表1 高速列車零部件實(shí)體及其所屬結(jié)構(gòu)詞典（部分）示意

（3）人員及領(lǐng)域

人員和領(lǐng)域情景因素都屬于用戶問(wèn)句中的不可見(jiàn)成分，但人員情景因素在用戶登錄問(wèn)答系統(tǒng)時(shí)便會(huì)被記錄，所以人員情景因素可根據(jù)問(wèn)答系統(tǒng)記錄的用戶身份進(jìn)行提取。而領(lǐng)域與用戶身份具有密切聯(lián)系，假設(shè)一位用戶是零部件的運(yùn)維人員，則其進(jìn)行的任務(wù)極大概率屬于運(yùn)維領(lǐng)域，所以可認(rèn)定為運(yùn)維領(lǐng)域任務(wù)。

2.1.3 情景因素向量轉(zhuǎn)化

（1）任務(wù)

本文采用分詞模型中已進(jìn)行預(yù)訓(xùn)練的詞向量對(duì)情景因素進(jìn)行向量轉(zhuǎn)化，該方式能抓取到更多的語(yǔ)義特征，且可與BERT 模型的句向量嵌入相契合，任務(wù)情景向量公式為

（2）零部件

由于零部件名稱向量和所屬結(jié)構(gòu)向量維度相同，且其代表了零部件的結(jié)構(gòu)信息，所以將兩向量進(jìn)行加權(quán)平均后便得到了零部件情景向量，公式為

式中，Vectorp為零部件名稱向量；VectorS為零部件所屬結(jié)構(gòu)向量。

（3）人員及領(lǐng)域

人員及領(lǐng)域情景因素均被分為運(yùn)維、設(shè)計(jì)需求及設(shè)計(jì)參數(shù)3 類。較小的類別數(shù)及與問(wèn)句間較小的語(yǔ)義聯(lián)系使得可用詞袋模型對(duì)該情景因素進(jìn)行轉(zhuǎn)化。將原始向量設(shè)為[a,b,c]，其中，a為運(yùn)維的向量位、b為設(shè)計(jì)需求的向量位、c為設(shè)計(jì)參數(shù)的向量位，根據(jù)人員及領(lǐng)域情景因素的值，將相應(yīng)向量位置設(shè)為1，其余位置設(shè)為0。

2.2 分類模塊

2.2.1 文本向量的提取

文本向量提取的形式化描述為：給定一句文本S，得出S的文本向量序列Vectors={V1,V2,V3,···,VN}，在本文中，向量的提取包含情景向量和句向量2 部分，因此，N的大小由情景向量的長(zhǎng)度和問(wèn)句長(zhǎng)度共同決定。此小節(jié)主要闡述問(wèn)句的句向量提取方式。

BERT 模型采取字符級(jí)嵌入的方式對(duì)用戶問(wèn)句文本的句向量進(jìn)行提取，將用戶問(wèn)句的每個(gè)字符的字向量加權(quán)平均就得到了句向量。以運(yùn)維域問(wèn)句“轉(zhuǎn)向架有哪些故障”為例，其句向量的提取方式如圖4 所示。

圖4 句向量提取

2.2.2 向量的融合

得到用戶問(wèn)句的情景向量和句向量后，需要將兩者融合，形成用戶問(wèn)句的總特征向量。因?yàn)榫湎蛄亢颓榫跋蛄渴窍嗷オ?dú)立的，故本文采用向量拼接的方式實(shí)現(xiàn)句向量與情景向量的融合。以高速列車轉(zhuǎn)向架需求設(shè)計(jì)問(wèn)句“聯(lián)軸節(jié)的使用壽命需求有哪些具體指標(biāo)？”為例，假設(shè)其句向量為[0,0,1]，其情景向量為[X1,X2,0,1,0,0,1,0]，則其總特征向量為[0,0,1,X1,X2,0,1,0,0,1,0]。其中，X1、X2 分別代表用戶問(wèn)句的任務(wù)情景向量和產(chǎn)品情景向量。

2.2.3 BERT 模型數(shù)據(jù)集及預(yù)測(cè)

（1）數(shù)據(jù)集

BERT 模型的訓(xùn)練需要有相應(yīng)的數(shù)據(jù)集作支撐。需要構(gòu)建相應(yīng)知識(shí)域類別所對(duì)應(yīng)的訓(xùn)練問(wèn)句。數(shù)據(jù)集構(gòu)建方式為人工編寫對(duì)應(yīng)知識(shí)域類別下的問(wèn)句，共編寫4897 條問(wèn)句，其中，非領(lǐng)域類別1021 條、運(yùn)維域類別1472 條、設(shè)計(jì)參數(shù)域類別1310 條、設(shè)計(jì)需求域類別1094 條，部分訓(xùn)練數(shù)據(jù)的形式如表2 所示。

表2 訓(xùn)練數(shù)據(jù)（部分）

將訓(xùn)練數(shù)據(jù)集進(jìn)行向量轉(zhuǎn)化后，輸入到BERT模型內(nèi)進(jìn)行訓(xùn)練，完成模型的構(gòu)建。

（2）模型預(yù)測(cè)

BERT 模型訓(xùn)練完成后，可利用其進(jìn)行問(wèn)句所屬知識(shí)域的預(yù)測(cè)。BERT 模型依據(jù)問(wèn)句的特征向量，計(jì)算并得出每個(gè)知識(shí)域類別在此特征向量下的權(quán)重，權(quán)重最高的知識(shí)域類別即為該用戶問(wèn)句所對(duì)應(yīng)的知識(shí)域類別。以高速列車運(yùn)維域問(wèn)句“轉(zhuǎn)向架有哪些故障”為例，BERT 模型依據(jù)其特征向量，計(jì)算出各個(gè)知識(shí)域類別的權(quán)重分別為：非領(lǐng)域問(wèn)句0.03、運(yùn)維域問(wèn)句0.88、設(shè)計(jì)需求域問(wèn)句0.06、設(shè)計(jì)參數(shù)域問(wèn)句0.03，因此，將該問(wèn)句劃分為運(yùn)維域問(wèn)句。問(wèn)答系統(tǒng)可依據(jù)其知識(shí)域類別將“轉(zhuǎn)向架”相關(guān)的運(yùn)維域知識(shí)提交到下一板塊進(jìn)行后續(xù)處理，從而剔除與運(yùn)維域無(wú)關(guān)的知識(shí)（如設(shè)計(jì)參數(shù)域及設(shè)計(jì)需求域的知識(shí)），避免在進(jìn)行具體知識(shí)定位時(shí)知識(shí)數(shù)量過(guò)大的情況。

3 實(shí)驗(yàn)設(shè)置及結(jié)果分析

3.1 評(píng)價(jià)指標(biāo)和對(duì)比模型選擇

知識(shí)子圖匹配問(wèn)題的本質(zhì)是文本多分類問(wèn)題。常見(jiàn)評(píng)價(jià)指標(biāo)為準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）和F1 值（F1-score）。本文采取的評(píng)價(jià)指標(biāo)是在上述指標(biāo)的基礎(chǔ)上形成的宏準(zhǔn)確率、宏召回率和宏F1 值。宏指標(biāo)是取所有類別的統(tǒng)一評(píng)價(jià)指標(biāo)的算數(shù)平均值。

為驗(yàn)證模型的有效性，本文測(cè)試了單BERT 模型，以及其他研究者提出的Kg-BERT 和K-BERT 模型對(duì)高速列車零部件知識(shí)問(wèn)句的知識(shí)域分類效果。

3.2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果評(píng)估

本文的實(shí)驗(yàn)步驟為：（1）使用本文的向量轉(zhuǎn)化策略將數(shù)據(jù)集中的文本向量化；（2）將數(shù)據(jù)集的85%作為模型訓(xùn)練的訓(xùn)練集，15%作為測(cè)試集；（3）使用本文模型及單BERT 模型、Kg-BERT 模型、K-BERT 模型等 4 種多分類模型基于數(shù)據(jù)集進(jìn)行訓(xùn)練；（4）將測(cè)試數(shù)據(jù)輸入到訓(xùn)練好的模型內(nèi)進(jìn)行分類效果比對(duì)。

本文模型與其他模型的分類效果比對(duì)如表3 所示。由表3 可知，本文模型的評(píng)價(jià)指標(biāo)優(yōu)于其余模型，在執(zhí)行高速列車零部件知識(shí)圖譜智能問(wèn)答知識(shí)子圖匹配的任務(wù)上具有先進(jìn)性。

表3 4 種模型實(shí)驗(yàn)結(jié)果對(duì)比

4 結(jié)束語(yǔ)

本文提出了一種高速列車零部件知識(shí)圖譜智能問(wèn)答的知識(shí)子圖匹配模型。該模型通過(guò)情景模型進(jìn)行情景特征提取及向量轉(zhuǎn)換；再將詞向量和情景向量相融合輸入到BERT 模型中，進(jìn)行用戶問(wèn)句的所屬知識(shí)域分類，分類結(jié)果即為知識(shí)子圖的匹配結(jié)果。經(jīng)試驗(yàn)證明，本文模型能夠滿足高速列車零部件知識(shí)圖譜智能問(wèn)答知識(shí)子圖匹配的需求，且模型分類性能要優(yōu)于未融合情景向量的其他通用分類模型，具有參考價(jià)值。