摘 要：

在工業(yè)運(yùn)維人機(jī)對話任務(wù)中，為解決運(yùn)維數(shù)據(jù)中包含復(fù)雜嵌套實(shí)體以及存在少量缺字、錯(cuò)字的問題，提出一種改進(jìn)的BERT聯(lián)合任務(wù)算法GP-GraphBERT，利用意圖和語義槽識別任務(wù)的關(guān)聯(lián)性提升對話性能。首先，由BERT得到隱藏層狀態(tài)后，通過構(gòu)建鄰接矩陣將其轉(zhuǎn)換為圖結(jié)構(gòu)，嵌入加權(quán)殘差圖注意力網(wǎng)絡(luò)（WRGAT）增強(qiáng)模型的鄰居感知能力。其次，改進(jìn)融合旋轉(zhuǎn)式位置編碼（rotary position embedding，RoPE）的全局指針機(jī)制（GlobalPointer），使模型能夠無差別地識別常規(guī)實(shí)體和嵌套實(shí)體。最后，設(shè)計(jì)意圖識別和語義槽識別任務(wù)的聯(lián)合損失函數(shù)，利用兩者的關(guān)聯(lián)性提高預(yù)測精度，在模型訓(xùn)練過程中引入動(dòng)態(tài)掩碼處理，增強(qiáng)模型的魯棒性和泛化能力。實(shí)驗(yàn)結(jié)果表明，GP-GraphBERT算法在工業(yè)運(yùn)維人機(jī)對話數(shù)據(jù)集上意圖識別和語義槽識別的F1分?jǐn)?shù)達(dá)到87.5%和86.4%，相較于原網(wǎng)絡(luò)JointBERT分別提升9.2和3.0百分點(diǎn)，同時(shí)能夠滿足運(yùn)維數(shù)據(jù)嵌套實(shí)體識別需求。實(shí)驗(yàn)充分驗(yàn)證了算法在聯(lián)合識別任務(wù)中的性能。

關(guān)鍵詞：人機(jī)對話；意圖識別；槽位填充；聯(lián)合建模

中圖分類號：TP391"" 文獻(xiàn)標(biāo)志碼：A""" 文章編號：1001-3695（2024）12-016-3645-06

doi： 10.19734/j.issn.1001-3695.2024.06.0148

Joint recognition algorithm of intents and semantic slots for human-machine dialogue in industrial operation and maintenance

Zhou Chao1， Wang Cheng1， Xia Yuan2， Du Lin2

（1.School of Internet of Things， Jiangnan University， Wuxi Jiangsu 214122， China; 2.Jiangyin Yiyuan-Jiangnan University Joint Laboratory of Industrial Intelligent Maintenance， Wuxi Jiangsu 214400， China）

Abstract：

In the task of human-machine dialogue for industrial operation and maintenance， in order to solve problems such as complex nested entities， missing words and typos in the data， this paper proposed an improved BERT joint algorithm GP-GraphBERT， which used the correlation of intent and semantic slot recognition to improve dialogue performance. Firstly， after obtaining the hidden layer states from BERT， it constructed an adjacency matrix to convert them into a graph structure and embedded it into WRGAT to enhance the model’s neighbor-awareness capabilities. Secondly， the algorithm improved the GlobalPointer mechanism incorporating RoPE， enabling the model to uniformly recognize both regular and nested entities. Finally， it designed a joint loss function for intent recognition and semantic slot recognition tasks， leveraging their correlation to improve prediction accuracy. During model training， it introduced dynamic masking to enhance the model’s robustness and generalization capabilities. Experimental results showed F1 scores of GP-GraphBERT algorithm achieved 87.5% and 86.4% for intent recognition and semantic slot recognition on the industrial operation and maintenance human-machine dialogue datasets， which were respectively improved by 9.2% and 3.0% compared to the original network， while also met the requirements for nested entity identification. The experiments fully verifies the performance of the algorithm in the joint recognition task.

Key words：human-machine dialogue; intent detection; slot filling; joint modeling

0 引言

工業(yè)智能運(yùn)維利用物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能等賦能技術(shù)來實(shí)現(xiàn)工業(yè)領(lǐng)域設(shè)備運(yùn)維方式的革新。在智能運(yùn)維中利用人機(jī)對話系統(tǒng)，可以提供實(shí)時(shí)的問題解答，提高工業(yè)運(yùn)維的效率和質(zhì)量。在工業(yè)運(yùn)維領(lǐng)域，人機(jī)對話系統(tǒng)需要滿足高準(zhǔn)確性和實(shí)時(shí)性的要求。雖然大語言模型如GPT、Qwen和GLM在理解和響應(yīng)人類指令方面表現(xiàn)出色，但在垂直領(lǐng)域中其生成結(jié)果可能缺乏真實(shí)性和準(zhǔn)確性，并且訓(xùn)練和部署的硬件要求較高。采用結(jié)合領(lǐng)域知識庫的任務(wù)導(dǎo)向?qū)υ捪到y(tǒng)范式（task-oriented dialogue system paradigm），能夠生成更具真實(shí)性的回答，同時(shí)更容易滿足訓(xùn)練和部署的硬件要求。該范式通過識別用戶意圖、提取關(guān)鍵信息，并結(jié)合知識庫提供精確的回答來完成特定任務(wù)。

意圖識別（intent detection， ID）和槽位填充（slot filling， SF）是全面理解和處理用戶輸入的關(guān)鍵［1］，能夠與知識庫協(xié)同構(gòu)建對話系統(tǒng)［2］。本文對工業(yè)運(yùn)維領(lǐng)域的意圖識別和槽位填充任務(wù)展開研究。同時(shí)，由于工業(yè)運(yùn)維文本數(shù)據(jù)專業(yè)性強(qiáng)，術(shù)語密集，包含大量嵌套實(shí)體，將針對槽位識別中的嵌套實(shí)體識別進(jìn)行研究。

意圖識別和槽位填充通常分別被歸為文本分類問題和實(shí)體識別問題［3］。早期的研究中意圖識別和槽位填充被視為流水線任務(wù)，忽略了兩個(gè)任務(wù)的聯(lián)系性［4］。針對意圖識別和槽位填充模型高度依賴、容易產(chǎn)生錯(cuò)誤級聯(lián)的問題，Zhang等人［5］提出使用雙向門控循環(huán)單元（bidirectional gating recurrent unit，BiGRU）提取語義信息，條件隨機(jī)場（CRF）預(yù)測槽位標(biāo)簽，然而這種方法只是簡單考慮了意圖和語義槽識別的聯(lián)合損失，沒有在兩個(gè)任務(wù)之間建立協(xié)作機(jī)制。Li等人［6］通過在語義槽中利用門控機(jī)制整合意圖信息，提高了意圖識別的準(zhǔn)確率，但是未考慮實(shí)體槽位對意圖識別任務(wù)的影響。E等人［7］提出SF-ID網(wǎng)絡(luò)，利用SF和ID兩個(gè)子網(wǎng)絡(luò)互相提供信息并引入迭代機(jī)制，加強(qiáng)意圖與語義槽的關(guān)聯(lián)。

隨著Transformer架構(gòu)和預(yù)訓(xùn)練模型的興起，2018年Google［8］提出BERT（bidirectional transformer encoder）。在自然語言處理任務(wù)中，BERT通過引入雙向上下文建模和預(yù)訓(xùn)練-微調(diào)的方法，利用少量標(biāo)注數(shù)據(jù)微調(diào)即可達(dá)到優(yōu)秀的性能。Chen等人［9］針對意圖識別和槽位填充任務(wù)，提出基于BERT的聯(lián)合模型，通過意圖和語義槽雙向建模，充分利用了兩者的相互聯(lián)系性，同時(shí)提高了兩個(gè)任務(wù)的性能。由于圖結(jié)構(gòu)可以建模文本序列中token間的復(fù)雜關(guān)系，Lu等人［10］提出在BERT引入圖卷積網(wǎng)絡(luò)（graph convolutional network， GCN），通過在節(jié)點(diǎn)表示中引入卷積操作來捕捉節(jié)點(diǎn)在圖中的語義信息，利用文本中蘊(yùn)涵的語義關(guān)系圖提高自然語言處理任務(wù)的性能。Qin等人［11，12］提出引入圖交互層來建模意圖和槽位的相關(guān)性，其后又提出全局-局部圖交互網(wǎng)絡(luò)，形成意圖和槽識別的非自回歸框架，加快推理速度。但這種圖交互機(jī)制在面對稀疏和噪聲數(shù)據(jù)時(shí)容易產(chǎn)生過擬合現(xiàn)象。受圖卷積網(wǎng)絡(luò)機(jī)制啟發(fā)，文獻(xiàn)［13］提出了圖注意力網(wǎng)絡(luò)（graph attention network， GAT），在聚合節(jié)點(diǎn)特征時(shí)引入注意力權(quán)重，使得其能夠自適應(yīng)地學(xué)習(xí)節(jié)點(diǎn)之間的重要性權(quán)重，以更好地捕捉節(jié)點(diǎn)之間的關(guān)系。

工業(yè)運(yùn)維人機(jī)對話數(shù)據(jù)中包含大量的嵌套實(shí)體，如表1所示。傳統(tǒng)的序列標(biāo)注不能實(shí)現(xiàn)嵌套命名實(shí)體識別，針對復(fù)雜嵌套實(shí)體難以識別的問題，Ju等人［14］引入動(dòng)態(tài)堆疊平面NER層和分層標(biāo)注策略，在每個(gè)平面NER層利用內(nèi)部命名實(shí)體的上下文信息輔助外部實(shí)體的識別，從而完成嵌套命名實(shí)體識別任務(wù)。但這種方法如果先識別出外部實(shí)體，則無法正確識別內(nèi)部實(shí)體，形成錯(cuò)誤傳播。針對以上問題，Luan等人［15］提出DyGIE模型。該模型首先枚舉出輸入文本中的所有實(shí)體，然后使用動(dòng)態(tài)span圖來表示實(shí)體并預(yù)測標(biāo)簽，以此提升嵌套實(shí)體識別性能，但這種基于跨度的表示需要很高的計(jì)算成本。Su等人［16］采用全局指針機(jī)制GlobalPointer，通過將實(shí)體的起始和結(jié)束位置作為一個(gè)整體來考慮，避免了獨(dú)立預(yù)測頭部和尾部所帶來的局部最優(yōu)問題，增強(qiáng)了模型對整個(gè)實(shí)體跨度的全局感知能力，能夠在嵌套實(shí)體識別中減少遺漏和錯(cuò)誤覆蓋。為了給輸入序列的每個(gè)token提供位置信息，在Transformer架構(gòu)中通常采取絕對位置編碼。Du等人［17］提出的GLM模型，通過采用旋轉(zhuǎn)式位置編碼，使模型更好地理解序列的長距離依賴關(guān)系，并且繼承sinusoidal位置編碼的遠(yuǎn)程衰減特性，使遠(yuǎn)距離token的關(guān)聯(lián)性隨距離增加而減弱，提供更準(zhǔn)確的相對位置信息。旋轉(zhuǎn)式位置編碼為眾多自然語言處理任務(wù)提供了改進(jìn)思路。

工業(yè)運(yùn)維知識查詢過程中，可能存在未知術(shù)語或者缺字、錯(cuò)字的情況，需要提高模型的適應(yīng)能力。文獻(xiàn)［8］指出在BERT的預(yù)訓(xùn)練過程中，將輸入序列的部分片段進(jìn)行掩碼操作，讓模型依據(jù)上下文信息預(yù)測掩碼片段。文獻(xiàn)［18］提出用遮擋詞組的方式代替BERT遮擋單個(gè)token的方式，增強(qiáng)模型的魯棒性。Liu等人［19］提出RoBERTa模型，在模型訓(xùn)練過程中隨機(jī)地設(shè)置掩碼的位置，避免了模型每輪訓(xùn)練中數(shù)據(jù)的重復(fù)，使模型學(xué)習(xí)不同的語言表征，增強(qiáng)模型對未知情況的適應(yīng)性。

綜上，針對工業(yè)運(yùn)維場景中的意圖識別和槽位填充任務(wù)，本文設(shè)計(jì)了基于改進(jìn)BERT的端到端聯(lián)合模型GP-GraphBERT，主要工作如下：

a）通過構(gòu)建鄰接矩陣（adjacency matrix），將BERT隱藏狀態(tài)輸出轉(zhuǎn)換圖結(jié)構(gòu)，嵌入改進(jìn)的圖注意力網(wǎng)絡(luò)WRGAT，通過學(xué)習(xí)序列內(nèi)部的動(dòng)態(tài)依賴關(guān)系提高預(yù)測準(zhǔn)確率；

b）引入全局指針機(jī)制GlobalPointer和旋轉(zhuǎn)式位置編碼RoPE，增強(qiáng)模型對整個(gè)實(shí)體跨度的感知能力，并且能夠無差別地識別嵌套實(shí)體和非嵌套實(shí)體；

c）在訓(xùn)練階段對模型輸入進(jìn)行動(dòng)態(tài)掩碼處理，通過引入隨機(jī)性增強(qiáng)模型的泛化能力和魯棒性；設(shè)計(jì)兩個(gè)任務(wù)的聯(lián)合損失，利用任務(wù)間的關(guān)聯(lián)性提升模型性能。

1 意圖和語義槽聯(lián)合識別模型

本章介紹一種基于改進(jìn)BERT的意圖和語義槽聯(lián)合識別模型GP-GraphBERT。GP-GraphBERT網(wǎng)絡(luò)的主體結(jié)構(gòu)如圖1所示。該模型在BERT基礎(chǔ)上，將BERT輸出的原始特征通過邊索引（edge index）構(gòu)建鄰接矩陣，從而實(shí)現(xiàn)圖結(jié)構(gòu)轉(zhuǎn)換。將原始特征和鄰接矩陣輸入加權(quán)殘差圖注意力網(wǎng)絡(luò)WRGAT，得到的結(jié)果矩陣作為新的特征表示。提取其中的CLS特征，CLS特征通過全連接層得到意圖標(biāo)簽的預(yù)測序列，其他特征利用融合旋轉(zhuǎn)式位置編碼的全局指針機(jī)制GlobalPointer，輸出語義槽標(biāo)簽的預(yù)測序列。在模型訓(xùn)練中采用動(dòng)態(tài)掩碼引入隨機(jī)性，并設(shè)計(jì)了意圖和語義槽聯(lián)合識別任務(wù)的損失函數(shù)。

1.1 引入圖結(jié)構(gòu)轉(zhuǎn)換的聯(lián)合任務(wù)網(wǎng)絡(luò)

選用BERT作為意圖識別和語義槽識別編碼器，其輸出的語義隱藏向量和構(gòu)建的鄰接矩陣通過殘差連接的GAT層，為語義向量賦予鄰居信息。

1.1.1 意圖識別和語義槽識別編碼器

為了減少對標(biāo)注數(shù)據(jù)的依賴，提高意圖識別和槽位填充任務(wù)的效果和訓(xùn)練效率，本文基于預(yù)訓(xùn)練語言模型BERT設(shè)計(jì)聯(lián)合任務(wù)網(wǎng)絡(luò)，如圖2所示。其中，輸入文本序列長度為n，BERT隱藏層維度為768，句首和句尾分別添加［CLS］和［SEP］標(biāo)記。BERT對輸入序列{［CLS］，w1，w2，…，wn，［SEP］}進(jìn)行編碼，其輸出的最后一層隱藏狀態(tài)為{eCLS，e1，e2，…，en，eSEP}。eCLS通過全連接層，得到意圖標(biāo)簽的預(yù)測序列xCLS；{e1，e2，…，en}通過全連接層，得到槽位標(biāo)簽的預(yù)測序列xi。全連接層由一個(gè)dropout層和一個(gè)線性層構(gòu)成，語義向量通過全連接層得到預(yù)測序列的公式如下所示。

xCLS=WID（eCLS）+bI，

xi=WSD（ei）+bS（1）

其中：WI和WS分別為意圖識別和語義槽識別任務(wù)的可訓(xùn)練參數(shù)；bI和bS表示偏移向量；D表示dropout處理。

1.1.2 加權(quán)殘差圖注意力網(wǎng)絡(luò)WRGAT

為了捕獲token間的異質(zhì)化關(guān)系，通過構(gòu)建鄰接矩陣將節(jié)點(diǎn)特征的序列結(jié)構(gòu)轉(zhuǎn)換為圖結(jié)構(gòu)。構(gòu)建形狀為（l，3）的邊索引，其中第一列是源節(jié)點(diǎn)索引，第二列是目標(biāo)節(jié)點(diǎn)索引，第三列是鄰接矩陣的交互權(quán)重值，l是邊的總數(shù)量。邊索引為序列中的源節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)構(gòu)建一條有向邊。通過邊索引構(gòu)建意圖和語義槽節(jié)點(diǎn)的鄰接矩陣M，矩陣大小為A×A，矩陣元素為兩兩節(jié)點(diǎn)的交互權(quán)重。設(shè)輸入文本長度為n，則鄰接矩陣的階A為n+1，邊索引中邊的總數(shù)量l為（n+1）2。在序列中，越鄰近的節(jié)點(diǎn)賦予越高的權(quán)重，節(jié)點(diǎn)自身賦予最高的權(quán)重，意圖和語義槽交互的節(jié)點(diǎn)權(quán)重設(shè)置為1。鄰接矩陣權(quán)重如式（2）所示。

1.2 融合旋轉(zhuǎn)式位置編碼的全局指針機(jī)制

對于任意單句文本，GlobalPointer構(gòu)建一個(gè)上三角矩陣來遍歷所有的片段，并計(jì)算每個(gè)片段判定為某類型實(shí)體的得分，實(shí)現(xiàn)常規(guī)實(shí)體和嵌套實(shí)體的識別。設(shè)實(shí)體類型數(shù)量為etype，最大序列長度為slen，構(gòu)建形狀為（etype，slen，slen）的三維矩陣，按照實(shí)體的實(shí)體類型T、起始位置ps和結(jié)束位置pe將［T，ps，pe］賦值為1，構(gòu)建的上三角矩陣如圖6所示。

將BERT模型輸出的最后一層隱藏狀態(tài)通過全連接層映射到新的維度，進(jìn)行拆分與堆疊，提取出Q/K向量。將旋轉(zhuǎn)式位置編碼應(yīng)用在Q/K向量上，增強(qiáng)模型對位置信息的感知能力。基于Q/K向量計(jì)算實(shí)體得分。

1.2.1 改進(jìn)的全局指針機(jī)制

設(shè)長度為n的輸入文本編碼后的向量序列為［d1，d2，…，dn］，通過線性變換qi，α=Wq，αdi和ki，α=Wk，αdi，得到Q向量［q1，α，q2，α，…，qn，α］和K向量［k1，α，k2，α，…，kn，α］，作為識別第α種類型實(shí)體所用的特征向量，其中W為權(quán)重矩陣。以qi，α與kj，α的內(nèi)積作為從i到j(luò)片段為α類型實(shí)體的打分，即

sα（i， j）=qTi，αkj，α=（Wq，αdi）T（Wk，αdj）（7）

這種方式對每個(gè)片段均進(jìn)行了所有實(shí)體類別的打分，實(shí)際上很多非實(shí)體的實(shí)體打分沒有意義，因此可以先判斷從i到j(luò)的片段是否為實(shí)體，再判斷實(shí)體的類別，從而減少參數(shù)量，提升模型性能。對此，將實(shí)體打分分為抽取和判別兩個(gè)部分，通過兩項(xiàng)組合記錄新的打分函數(shù)：

s′α（i， j）=（Wqdi）T（Wkdj）+wTα［di‖dj］（8）

其中：第一項(xiàng)（Wqdi）T（Wkdj）是所有片段共享的實(shí)體抽取步驟；第二項(xiàng)wTα［di‖dj］是基于特征拼接實(shí)現(xiàn)實(shí)體分類。改進(jìn)的GlobalPointer通過精簡參數(shù)實(shí)現(xiàn)了更高效的實(shí)體識別。

1.2.2 旋轉(zhuǎn)式位置編碼

為了使實(shí)體顯式地具備相對位置信息，引入旋轉(zhuǎn)式位置編碼RoPE，如圖7所示。對每個(gè)token位置Q/K向量的元素，根據(jù)其在單句文本的位置，按照兩兩一組進(jìn)行旋轉(zhuǎn)變換。

設(shè)Ri、Rj滿足關(guān)系式RTiRj=Rj－i，分別表示為

Ri=cos iθ－sin iθsin iθcos iθ，

Rj=cos jθ－sin jθsin jθcos jθ（9）

將Ri、Rj應(yīng)用在抽取步驟中，式（8）修改為

s″α（i， j）=（RiWqdi）T（RjWkdj）+wTα［di‖dj］=

（Wqdi）TRTiRj（Wkdj）+

wTα［di‖dj］=

（Wqdi）TRj－i（Wkdj）+wTα［di‖dj］（10）

式（10）說明，位置為i的向量qi乘矩陣Ri，位置為j的向量kj乘矩陣Rj，則實(shí)體打分sα（i， j）將被賦予相對位置信息。

1.3 動(dòng)態(tài)掩碼處理

工業(yè)運(yùn)維知識查詢過程中可能存在未知術(shù)語或者缺字的情況，通過動(dòng)態(tài)掩碼能夠使模型在訓(xùn)練時(shí)候模擬這種隨機(jī)缺失，同時(shí)強(qiáng)制模型每次都從全新視角去理解和處理相同的文本。動(dòng)態(tài)掩碼示意如圖8所示，在模型每輪訓(xùn)練前，根據(jù)文本復(fù)雜度對數(shù)據(jù)集每個(gè)單句文本w={［CLS］，w1，w2，…，wn，［SEP］}動(dòng)態(tài)調(diào)整掩碼比例，其比例為

0"""" nlt;n1［0，20%］n1≤nlt;n2［0，50%］n≥n2（11）

其中：n1和n2分別為中型文本和長文本的最低序列長度閾值。每輪訓(xùn)練選取掩碼比例中的隨機(jī)值，對隨機(jī)位置進(jìn)行掩碼處理。

1.4 聯(lián)合損失函數(shù)設(shè)計(jì)

聯(lián)合任務(wù)網(wǎng)絡(luò)既減少了工作量，同時(shí)利用意圖識別和語義槽識別任務(wù)的關(guān)聯(lián)性提高了兩個(gè)任務(wù)的性能。基于聯(lián)合訓(xùn)練設(shè)計(jì)新的損失函數(shù)，其中意圖識別任務(wù)使用交叉熵?fù)p失進(jìn)行計(jì)算，計(jì)算公式如下：

CE（，y）=log（y）+（1－）log（1－y）（12）

L1=－∑ni=1 ∑NIj=1CE（（j，I）i，y（j，I）i）（13）

式（12）中：表示真實(shí)的標(biāo)簽分布，y表示預(yù)測的各個(gè)類別的概率分布。式（13）中：NI是意圖標(biāo)簽的總數(shù)量，（j，I）i是意圖標(biāo)簽的真實(shí)值，y（j，I）i是輸出的意圖標(biāo)簽的預(yù)測值，n是單句文本的token數(shù)量。

在語義槽識別任務(wù)中，將損失分為非全局指針部分和全局指針部分。非全局指針部分的損失通過與意圖識別損失聯(lián)合計(jì)算，提高模型迭代過程中意圖識別的性能。該部分損失計(jì)算為

L2=－∑ni=1 ∑NSj=1（j，S）ilog y（j，S）i（14）

其中：NS表示語義槽標(biāo)簽的總數(shù)量；（j，S）i是語義槽標(biāo)簽的真實(shí)值；y（j，S）i是輸出的語義槽標(biāo)簽的預(yù)測值。

引入全局指針機(jī)制后，假設(shè)文本序列長度為n，那么候選實(shí)體有n（n+1）/2個(gè)，該任務(wù)變成n（n+1）/2的多標(biāo)簽分類問題。設(shè)候選實(shí)體的集合為Ω，Pα表示單句中實(shí)體類型為α的從i到j(luò)的片段，Qα表示該句中非實(shí)體或者非真實(shí)標(biāo)簽對應(yīng)實(shí)體的片段，分別表示為

Ω={（i， j）|1≤i≤j≤n}（15）

Pα={（i， j）|片段（i， j）是類型為α 的實(shí)體}（16）

Qα=Ω－Pα（17）

采用softmax函數(shù)配合交叉熵?fù)p失函數(shù)，引入全局指針部分的語義槽識別損失函數(shù)為

L3=log（1+∑（i， j）∈Pαe－sα（i， j））+log（1+∑（i， j）∈Qαesα（i， j））（18）

其中：sα（i， j）為從i到j(luò)片段為α類型實(shí)體的打分。

將多個(gè)損失以線性函數(shù)進(jìn)行組合，模型的聯(lián)合損失函數(shù)為

L=λ1L1+λ2L2+λ3L3（19）

其中：λ1、λ2和λ3為超參數(shù)。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本實(shí)驗(yàn)分別在工業(yè)運(yùn)維人機(jī)對話數(shù)據(jù)集和MixATIS英文數(shù)據(jù)集進(jìn)行訓(xùn)練和驗(yàn)證，詳細(xì)信息如表2所示。工業(yè)運(yùn)維人機(jī)對話數(shù)據(jù)集包含了SMP中文人機(jī)對話評測數(shù)據(jù)和工業(yè)現(xiàn)場運(yùn)維人員查詢意向文本數(shù)據(jù)。

2.2 實(shí)驗(yàn)環(huán)境與評價(jià)指標(biāo)

實(shí)驗(yàn)測試平臺(tái)為Ubuntu 20.04.1，Python 3.6，GPU為3080Ti。預(yù)訓(xùn)練語言模型選擇Chinese BERT-Base模型和English uncased BERT-Base模型，其中層數(shù)為12，隱藏層維度為768，隨機(jī)失活率dropout為0.1，初始學(xué)習(xí)率設(shè)置為2E-5，訓(xùn)練過程采用Adam優(yōu)化。

本文采用準(zhǔn)確率（accuracy， ACC）、精確率（precision， P）、召回率（recall， R）和F1值作為意圖識別和語義槽識別任務(wù)評價(jià)指標(biāo)。在MixATIS公共數(shù)據(jù)集選取意圖準(zhǔn)確率（intent ACC）、語義槽F1值（slot F1）和整體準(zhǔn)確率（overall ACC）作為對比實(shí)驗(yàn)的評價(jià)指標(biāo)，其中整體準(zhǔn)確率代表測試集中意圖和語義槽均預(yù)測正確的句子的比例。不同數(shù)據(jù)集選取評價(jià)指標(biāo)有差異的原因是：主流的意圖和語義槽聯(lián)合識別算法選取MixATIS英文數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，以意圖準(zhǔn)確率作為意圖識別任務(wù)的評價(jià)指標(biāo)，但是工業(yè)運(yùn)維人機(jī)對話數(shù)據(jù)集存在意圖標(biāo)簽分布不平衡的現(xiàn)象，訓(xùn)練過程中模型可能會(huì)忽略標(biāo)簽數(shù)量極少的類別。為避免此類情況，在中文數(shù)據(jù)集意圖識別任務(wù)中添加了F1分?jǐn)?shù)作為評價(jià)指標(biāo)。

2.3 模塊消融實(shí)驗(yàn)

為驗(yàn)證各模塊對模型性能的影響，本節(jié)基于工業(yè)運(yùn)維人機(jī)對話數(shù)據(jù)集對各個(gè)模塊進(jìn)行消融實(shí)驗(yàn)，消融實(shí)驗(yàn)結(jié)果如表3所示，w/o（without）表示本文方法去除某個(gè)模塊后的模型。

由表3可知，未嵌入圖注意力網(wǎng)絡(luò)時(shí)，工業(yè)運(yùn)維數(shù)據(jù)集的意圖識別和語義槽識別的F1值分別降低了5.2和2.3百分點(diǎn)；去除全局指針機(jī)制時(shí)，語義槽識別的F1值降低了3.0百分點(diǎn)；未進(jìn)行動(dòng)態(tài)掩碼處理時(shí)，意圖識別的F1值降低了4.2百分點(diǎn)；本文模型的意圖識別和語義槽識別的F1值較基線模型提升了9.2和3.0百分點(diǎn)。

由消融實(shí)驗(yàn)結(jié)果可分析得出，圖注意力網(wǎng)絡(luò)通過圖結(jié)構(gòu)建模意圖和語義槽各個(gè)節(jié)點(diǎn)的關(guān)聯(lián)性，捕捉序列內(nèi)部的動(dòng)態(tài)依賴關(guān)系，同時(shí)提高意圖識別和語義槽識別任務(wù)的性能；全局指針機(jī)制將實(shí)體頭部和尾部視為一個(gè)整體進(jìn)行判別，同時(shí)考慮首尾的上下文信息，融合RoPE為實(shí)體打分賦予相對位置信息，在完成嵌套實(shí)體識別任務(wù)的同時(shí)提升語義槽識別的效果；引入動(dòng)態(tài)掩碼后，使模型不再依賴于特定位置的詞匯，而是理解整個(gè)句子，增強(qiáng)模型對于噪聲和信息不完整的容忍度，提高模型的魯棒性，從而提高意圖識別任務(wù)的性能。

2.4 對比實(shí)驗(yàn)

為驗(yàn)證GP-GraphBERT的性能，設(shè)計(jì)獨(dú)立建模和聯(lián)合模型、本文算法和主流聯(lián)合算法兩個(gè)方面的對比實(shí)驗(yàn)并進(jìn)行分析。

2.4.1 意圖和語義槽識別獨(dú)立模型和聯(lián)合模型對比實(shí)驗(yàn)

基于工業(yè)運(yùn)維人機(jī)對話數(shù)據(jù)集，分別以獨(dú)立模型和聯(lián)合模型進(jìn)行意圖識別和語義槽識別的性能對比，結(jié)果如表4所示。實(shí)驗(yàn)結(jié)果表明，本文使用的聯(lián)合模型相比單獨(dú)任務(wù)，意圖識別和語義槽識別的F1值分別提升了10.6和3.3百分點(diǎn)，說明聯(lián)合算法意圖和語義槽識別的性能優(yōu)于獨(dú)立建模。聯(lián)合模型利用兩個(gè)任務(wù)的相互依存關(guān)系，提升了意圖和語義槽的識別效果，減少了獨(dú)立建模帶來的誤差傳播，同時(shí)提高數(shù)據(jù)的利用效率和模型的計(jì)算效率。

2.4.2 意圖和語義槽聯(lián)合算法性能對比實(shí)驗(yàn)

為驗(yàn)證改進(jìn)后GP-GraphBERT意圖和語義槽識別的性能，選取主流的聯(lián)合算法，基于MixATIS英文公共數(shù)據(jù)集，在意圖準(zhǔn)確率（intent ACC）、語義槽F1值（slot F1）和整體準(zhǔn)確率（overall ACC）方面進(jìn)行對比，對比結(jié)果如表5所示。可以看出，本文算法相較其他主流的聯(lián)合算法均有一定的提升。與SLIM相比，本文算法在MixATIS數(shù)據(jù)集上的意圖準(zhǔn)確率提高了2.3百分點(diǎn)，整體準(zhǔn)確率提高了5.5百分點(diǎn)；語義槽F1值降低了0.6百分點(diǎn)，但GP-GraphBERT算法更側(cè)重于同時(shí)實(shí)現(xiàn)常規(guī)實(shí)體和嵌套實(shí)體識別，無法在此數(shù)據(jù)集中體現(xiàn)。

由實(shí)驗(yàn)結(jié)果可知，本文方法通過引入加權(quán)殘差圖注意力網(wǎng)絡(luò)和動(dòng)態(tài)掩碼處理，利用實(shí)體識別信息輔助意圖推斷，并且在模型訓(xùn)練過程中模擬隨機(jī)信息缺失，有效提升了意圖識別性能；通過引入圖結(jié)構(gòu)轉(zhuǎn)換，將意圖和語義槽表達(dá)的豐富信息映射到圖結(jié)構(gòu)中，利用節(jié)點(diǎn)之間的關(guān)聯(lián)性捕捉它們的高層次語義特征，增強(qiáng)了整體語義預(yù)測能力。

針對工業(yè)運(yùn)維數(shù)據(jù)和SMP人機(jī)對話評測數(shù)據(jù)，基線模型Joint-BERT、SLIM和本文算法GP-GraphBERT的部分識別案例如表6所示?？梢钥闯?，在語義槽識別任務(wù)中，Joint-BERT和SLIM均無法準(zhǔn)確識別出嵌套實(shí)體，而GP-GraphBERT可以正確識別出來；與基線模型JointBERT相比，GP-GraphBERT針對常規(guī)實(shí)體的識別結(jié)果更加完整，較少出現(xiàn)缺字現(xiàn)象，且意圖識別的結(jié)果更加準(zhǔn)確。由實(shí)驗(yàn)結(jié)果可以分析得出，GP-GraphBERT通過引入全局指針機(jī)制GlobalPointer，將傳統(tǒng)方法中針對每個(gè)位置單獨(dú)預(yù)測的策略，轉(zhuǎn)變?yōu)閷ξ谋局兴袧撛趯?shí)體組合進(jìn)行整體預(yù)測，提高了對整個(gè)實(shí)體跨度的感知能力，能夠同時(shí)識別常規(guī)實(shí)體和嵌套實(shí)體，滿足工業(yè)運(yùn)維數(shù)據(jù)語義槽識別需求。

2.5 聯(lián)合損失參數(shù)分析

為探討聯(lián)合算法受損失函數(shù)參數(shù)的影響情況，針對聯(lián)合損失中的不同參數(shù)比例進(jìn)行實(shí)驗(yàn)，分析不同比例對模型性能的影響，具體結(jié)果如圖9所示，其中聯(lián)合損失參數(shù)比例λ1∶λ2∶λ3記為ratio。逐步增大全局指針部分語義槽識別損失的參數(shù)，可以觀察到語義槽F1值逐漸增大，聯(lián)合損失參數(shù)比例為8∶8∶1，4∶2∶1和2∶1∶1時(shí)，意圖F1值均達(dá)到了較高的分?jǐn)?shù)。綜合考慮以上因素，選用2∶1∶1作為聯(lián)合損失比例，模型在意圖識別和語義槽識別任務(wù)中均有較好的性能表現(xiàn)。

2.6 意圖和語義槽識別應(yīng)用案例

在人機(jī)對話交互過程時(shí)，意圖和語義槽識別的應(yīng)用案例如圖10所示。當(dāng)用戶發(fā)起對話時(shí)，通過本文的GP-GraphBERT算法提取出輸入中的意圖和語義槽，再將其轉(zhuǎn)變?yōu)镃ypher查詢語言，通過查詢Neo4j圖數(shù)據(jù)庫獲取工業(yè)運(yùn)維領(lǐng)域知識，最終得到輸出結(jié)果返回給用戶。GP-GraphBERT算法能夠有效識別用戶輸入中的意圖和語義槽，為工業(yè)運(yùn)維人機(jī)對話提供可靠依據(jù)。

3 結(jié)束語

本文針對工業(yè)運(yùn)維人機(jī)對話任務(wù)，提出了意圖和語義槽聯(lián)合識別算法GP-GraphBERT。通過鄰接矩陣構(gòu)建加權(quán)殘差圖注意力網(wǎng)絡(luò)，提高模型對意圖和語義槽交互信息的理解。建立融合旋轉(zhuǎn)式位置編碼的全局指針機(jī)制，使模型無差別地完成運(yùn)維數(shù)據(jù)中常規(guī)實(shí)體和嵌套實(shí)體識別任務(wù)，同時(shí)提高模型的位置理解能力，從而提升語義槽識別的性能。通過對輸入數(shù)據(jù)進(jìn)行動(dòng)態(tài)掩碼處理，提高模型的泛化能力和魯棒性，增強(qiáng)對運(yùn)維數(shù)據(jù)中的缺字、錯(cuò)字等異常情況的適應(yīng)能力。分別在中文和英文公開數(shù)據(jù)集以及工業(yè)運(yùn)維數(shù)據(jù)集上，通過對比實(shí)驗(yàn)和消融實(shí)驗(yàn)證明了模型的有效性，能夠滿足工業(yè)運(yùn)維人機(jī)對話的需求。未來將研究如何通過知識抽取、實(shí)體鏈接等技術(shù)優(yōu)化知識圖譜的構(gòu)建，同時(shí)通過用戶反饋?zhàn)詣?dòng)優(yōu)化意圖和語義槽聯(lián)合識別模型。

參考文獻(xiàn)：

［1］李艷玲， 顏永紅. 統(tǒng)計(jì)中文口語理解執(zhí)行策略的研究 ［J］. 計(jì)算機(jī)科學(xué)與探索， 2017， 11（6）： 980-987. （Li Yanling， Yan Yonghong. Research on execution strategy about statistical spoken language understanding ［J］. Journal of Frontiers of Computer Science and Technology， 2017， 11（6）： 980-981.）

［2］周天益， 范永全， 杜亞軍， 等. 基于細(xì)粒度信息集成的意圖識別和槽填充聯(lián)合模型 ［J］. 計(jì)算機(jī)應(yīng)用研究， 2023， 40（9）： 2669-2673. （Zhou Tianyi， Fan Yongquan， Du Yajun， et al. Joint model of intent detection and slot filling based on fine-grained information integration ［J］. Application Research of Computers， 2023， 40（9）： 2669-2673.）

［3］侯麗仙， 李艷玲， 李成城. 面向任務(wù)口語理解研究現(xiàn)狀綜述 ［J］. 計(jì)算機(jī)工程與應(yīng)用， 2019， 55（11）： 7-15. （Hou Lixian， Li Yanling， Li Chengcheng. Review of research on task-oriented spoken language understanding ［J］. Computer Engineering and Applications， 2019， 55（11）： 7-15.）

［4］張玉慧， 陳黎， 琚生根， 等. 基于圖注意力網(wǎng)絡(luò)的多意圖識別與語義槽填充聯(lián)合模型 ［J/OL］. 軟件學(xué)報(bào). （2024-02-05）. https：//jos. org. cn/jos/article/pdf/7062. html. （Zhang Yuhui， Chen Li， Ju Shenggen， et al. Joint model for multi-intent detection and slot filling based on graph attention network ［J］. Journal of Software. （2024-02-05）. https：//jos. org. cn/jos/article/pdf/7062. html.）

［5］Zhang Xiaodong， Wang Houfeng. A joint model of intent determination and slot filling for spoken language understanding ［C］// Proc of the 25th International Joint Conference on Artificial Intelligence. 2016： 2993-2999.

［6］Li Changliang， Li Liang， Qi Ji. A self-attentive model with gate mecha-nism for spoken language understanding ［C］// Proc of Conference on Empirical Methods in Natural Language Processing. 2018： 3824-3833.

［7］E Haihong， Niu Peiqing， Chen Zhongfu， et al. A novel bi-directional interrelated model for joint intent detection and slot filling ［C］// Proc of the 57th Annual Meeting of the Association for Computational Linguistics. 2019： 5467-5471.

［8］Devlin J， Chang M W， Lee K， et al. BERT： pre-training of deep bidirectional transformers for language understanding ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. 2019： 4171-4186.

［9］Chen Qian， Zhuo Zhu， Wang Wen. BERT for joint intent classification and slot filling ［EB/OL］. （2019-02-28）. https：//arxiv. org/abs/1902. 10909.

［10］Lu Zhibin， Du Pan， Nie Jianyun. VGCN-BERT： augmenting BERT with graph embedding for text classification ［C］// Proc of the 42nd European Conference on IR Research. 2020： 369-382.

［11］Qin Libo， Xu Xiao， Che Wanxiang， et al. AGIF： an adaptive graph-interactive framework for joint multiple intent detection and slot filling ［C］// Proc of IEEE Workshop on Automatic Speech Recognition and Understanding. Piscataway，NJ：IEEE Press， 2020： 1807-1816.

［12］Qin Libo， Wei Fuxuan， Xie Tianbao， et al. GL-GIN： Fast and accurate non-autoregressive model for joint multiple intent detection and slot filling ［EB/OL］. （2021-06-03）. http：//arxiv. org/abs/2106. 01925.

［13］Velikovic＇ P， Cucurull G， Casanova A， et al. Graph attention networks ［EB/OL］. （2017-10-30）. https：//arxiv. org/abs/1710. 10903.

［14］Ju Meizhi， Miwa M， Ananiadou S. A neural layered model for nested named entity recognition ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics. 2018： 1446-1459.

［15］Luan Yi， Wadden D， He Luheng， et al. A general framework for information extraction using dynamic span graphs ［C］// Proc of Confe-rence of the North American Chapter of the Association for Computatio-nal Linguistics： Human Language Technologies. 2019： 3036-3046.

［16］Su Jianlin， Murtadha A， Pan Shengfeng， et al. Global pointer： novel efficient span-based approach for named entity recognition ［EB/OL］. （2022-08-05）. https：//arxiv. org/abs/2208. 03054.

［17］Du Zhengxiao， Qian Yujie， Liu Xiao， et al. GLM： general language model pretraining with autoregressive blank infilling ［C］// Proc of the 60th Annual Meeting of the Association for Computational Linguistics. 2022： 320-335.

［18］Sun Yu， Wang Shuohuan， Feng Shikun， et al. Ernie 3. 0： large-scale knowledge enhanced pre-training for language understanding and genera-tion ［EB/OL］. （2021-07-05）. https：//arxiv.org/abs/2107.02137.

［19］Liu Yinhan， Ott M， Goyal N， et al. RoBERTa： a robustly optimized BERT pretraining approach ［EB/OL］. （2019-07-26）. https：//arxiv.org/abs/1907.11692.

［20］Gangadharaiah R， Narayanaswamy B. Joint multiple intent detection and slot labeling for goal-oriented dialog ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. 2019： 564-569.

［21］Chen Lisong， Zhou Peilin， Zou Yuexian. Joint multiple intent detection and slot filling via self-distillation ［C］// Proc of IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway，NJ：IEEE Press， 2022： 7612-7616.

［22］Cai Fengyu， Zhou Wanhao， Mi Fei， et al. Slim： explicit slot-intent mapping with bert for joint multi-intent detection and slot filling ［C］// Proc of IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway，NJ：IEEE Press， 2022： 7607-7611.