郭旭超 郝 霞 姚曉闖 李 林

(1.中國農業(yè)大學信息與電氣工程學院, 北京 100083； 2.山東農業(yè)大學信息科學與工程學院, 泰安 271018;3.中國農業(yè)大學土地科學與技術學院, 北京 100083)

0 引言

意圖識別與槽位填充是自然語言理解的兩大核心子任務[1]，是進行知識問答的前提。前者一般可被視為句子級的文本分類任務，旨在將給定問句劃分為預先設定好的意圖類別；而后者可被視為字符級序列標注任務，即將長度為n的問句序列X=[x1x2…xn]標記為槽位標簽序列Y=[y1y2…yn][2]。以問句“水稻惡苗病的俗稱叫什么？”為例，本文旨在通過上述任務分別識別出該問句的語義槽“水稻惡苗病”和意圖“別稱”，從而構成三元組(水稻惡苗病，別稱，?)，其中“？”表示根據(jù)語義槽(頭實體)“水稻惡苗病”和意圖(關系)“別稱”從知識圖譜中查找并反饋給用戶的答案(尾實體)。由此可見，意圖識別與槽位填充任務是正確解析問句語義的關鍵，在基于知識圖譜的農業(yè)病蟲害問答系統(tǒng)中發(fā)揮重要作用。

目前，針對意圖識別與槽位填充的方法總體上可分為流水線方法和聯(lián)合抽取方法。流水線方法將意圖識別與槽位填充分別進行建模[3-8]。而目前農業(yè)病蟲害領域主要采用流水線方法實現(xiàn)意圖識別和槽位填充任務[9-12]。此類方法容易導致錯誤傳播問題，并且容易忽略兩者之間的相關性。

為此，近年來提出許多基于深度學習的聯(lián)合抽取方法，此類方法能夠對上述任務進行聯(lián)合建模，可進一步細分為參數(shù)共享、單向關聯(lián)和雙向關聯(lián)模型[13]。參數(shù)共享模型采用共享參數(shù)隱式地學習意圖識別與槽位填充任務之間的相關性[14]。例如，一些學者分別將門控循環(huán)網(wǎng)絡(Gated recurrent unit, GRU)、注意力機制、RNN以及BERT相結合，提出了多種面向意圖識別與槽位填充的隱式聯(lián)合抽取模型[15-17]。雖然上述方法的整體識別性能相對于流水線方法有所提升，但僅通過聯(lián)合優(yōu)化損失函數(shù)隱式地利用兩者之間的相關性，可解釋性較弱[13]。

單向關聯(lián)模型采用意圖或槽位信息顯式地指導槽位填充/意圖識別任務。例如文獻[18]提出了一種語義槽門控機制(Slot-gated mechanism，Slot-Gated)，建立了意圖上下文語義信息到槽位填充任務的單向關聯(lián)，從而提高了模型整體性能。文獻[19]提出了一種結合單詞級意圖標簽的棧式傳播框架(StackPropagation)，該框架直接利用意圖信息作為槽位填充任務的輸入，以便獲取意圖語義知識。此外，該模型還為棧式傳播框架執(zhí)行了字符級意圖識別機制以進一步緩解錯誤傳播問題。文獻[20]在文獻[17]基礎上通過引入意圖-槽位注意力機制，提出了JointIDSF模型，該模型通過“軟”意圖標簽嵌入顯式地將意圖上下文信息集成到槽位填充任務中。在面向越南語的PhoATIS數(shù)據(jù)集上全局F1值達到86.25%，比JointBERT+CRF提升0.7個百分點。

雙向關聯(lián)模型旨在對兩任務之間的雙向關聯(lián)關系進行建模。例如，文獻[21-22]在文獻[18]基礎上分別提出了兩種基于雙向門控機制的聯(lián)合抽取模型DCNN-Gate和Biass-Gate，建立了意圖識別與槽位填充之間的雙向關聯(lián)。文獻[23]則提出了一種意圖識別-槽位填充雙向關聯(lián)網(wǎng)絡(Slot filling-intent detection, SF-ID)，構建了兩任務之間的直接關聯(lián)，增強彼此交互能力，但需考慮任務順序。為解決上述問題，文獻[24]提出了一種協(xié)同互作Transformer機制，該機制同時考慮兩任務之間的交叉影響，在ATIS和SNIPS數(shù)據(jù)集上分別取得87.4%和90.30%的整體識別精度。

農業(yè)病蟲害領域的意圖識別與槽位填充仍存在以下問題：該領域的意圖識別與槽位填充研究仍處于初級階段，因此還有任務相互獨立、忽略彼此相關性等問題亟待解決；相應地，已有模型并未充分考慮意圖嵌入表示信息，導致意圖識別指導槽位填充任務能力有限；就數(shù)據(jù)而言，該領域公開可用的語料仍處于空白，直接增加了識別農業(yè)病蟲害意圖和語義槽的成本和難度。

因此，為了能更好地解決農業(yè)病蟲害領域的意圖識別與槽位填充問題，本文首先在領域專家指導下收集并標注首個面向農業(yè)病蟲害的意圖識別與槽位填充數(shù)據(jù)集，然后針對現(xiàn)有模型存在的問題提出一種基于意圖嵌入表示和門控機制的意圖識別與槽位填充聯(lián)合模型AgIG-IDSF。

1 領域語料收集與構建

1.1 類別設置

由于本文研究包含意圖識別和槽位填充兩個子任務，因此需要預先確定意圖和槽位兩種標簽類型。對于槽位，在已有工作基礎[25-26]上初步確定了蟲害、病害、作物、藥劑、病原、周期/時期、部位和品種等8種槽位類型。另外，為了確保完整性，本文還額外添加了“癥狀”和“其他”，最終確定了10種槽位類別；對于意圖，本文在對收集語料進行分析基礎上，結合文獻[27]確定了病害、蟲害、危害作物等21種常用意圖。此外，考慮到數(shù)據(jù)集的完備性，本文同樣設置了“其他”類別，用于表示與農業(yè)病蟲害相關的其他未知意圖，以便進一步細分。最終得到如表1所示的22種意圖類別。

表1 意圖類別Tab.1 Details of intent categories

1.2 語料收集與標注

本文所需語料主要來源于中國農技推廣信息平臺(http:∥njtg.nercita.org.cn/user/index.shtml)。由于用戶來自全國各地，因此形成的問答語料更具普遍性和廣泛性，更加適用于實際應用場景。鑒于此，本文在該平臺上爬取了2019年4月21日至2021年5月15日之間的農業(yè)病蟲害相關問答數(shù)據(jù)作為原始語料，通過解析、篩選和去噪等操作對語料進行了預處理，最終得到11 976條原始樣本。

語料詳細標注過程如圖1所示。由圖1可知，給定原始語料，標注對象包含槽位與意圖兩方面：前者表示參與問答的實體(即槽位)，為了加快標注速度，對于所有待標注樣本，本文首先采用文獻[25]所提CNNs-BiLSTM-Attention模型預測每個字符的標簽，然后通過人工校驗和修正，得到最終的槽位標注序列；本文主要通過人工方式對每條樣本的意圖類別進行標注。最終得到完整標注結果。最終得到包含10個槽位類型、22個意圖類別和11 976條訓練樣本的中文農業(yè)病蟲害意圖識別與槽位填充標注數(shù)據(jù)集(Intent selection and slot filling corpus for agricultural diseases and pests, AGIS)。為了使數(shù)據(jù)集的標簽分布盡可能均勻，本文按照比例8∶1∶1采用分層抽樣法對數(shù)據(jù)集進行劃分，其中訓練集、驗證集、測試集樣本數(shù)分別為9 576、1 199、1 199條。部分樣本如表2所示。數(shù)據(jù)集各類意圖與槽位數(shù)據(jù)分布如圖2所示。

圖1 意圖識別與槽位填充語料標注過程Fig.1 Labeling process of corpus for intent detection and slot filling

表2 中文農業(yè)病蟲害意圖識別與槽位填充數(shù)據(jù)集樣例Tab.2 Samples of intent detection and slot filling for Chinese agricultural diseases and pests

圖2 AGIS數(shù)據(jù)集意圖與槽位數(shù)據(jù)分布圖Fig.2 Data distributions for intents and slots in AGIS

2 AgIG-IDSF模型

本節(jié)首先給出意圖識別與槽位填充的形式化定義，然后描述本文所提模型AgIG-IDSF的實現(xiàn)細節(jié)。如圖3所示，本文所提模型主要由共享編碼模塊、意圖識別模塊、意圖-槽位交互模塊以及槽位填充模塊構成。

圖3 AgIG-IDSF模型整體架構圖Fig.3 Overall framework of AgIG-IDSF model

2.1 問題定義

2.2 共享編碼模塊

(1)

采用權重矩陣WQ、WK、WV∈Rn×d分別將嵌入表示E映射為維度為d的Q、K和V。然后基于

C=[H;A]

(2)

得到自注意力機制模塊的輸出A∈Rn×2d。

最后，通過級聯(lián)操作將雙向時序特征表示H和注意力上下文表示A在特征維度上進行拼接，得到最終的共享上下文語義C=[c1c2…cn]∈Rn×2d。

2.3 意圖識別模塊

意圖識別模塊旨在將長度可變的嵌入表示序列C聚合為大小固定的意圖上下文向量cI。因為注意力機制能夠動態(tài)調整每個字符級向量的權重，進而實現(xiàn)動態(tài)聚合，緩解語義損失問題，因此本文選用注意力機制聚合文本序列的共享上下文語義C，其計算過程為

αi=softmax(Wci+b)

(3)

(4)

其中

式中W——可訓練權重

ci——第i個字符的共享上下文語義

b——偏置

αi——第i個字符歸一化權重，取0～1

cI——意圖上下文語義表示向量，為n個字符的上下文語義表示的加權和

所有意圖標簽相對于問句X的概率分布為

pI=σ(WIcI+bI)

(5)

式中WI——可訓練權重

bI——偏置m——意圖標簽數(shù)量

σ——激活函數(shù)，本文采用softmax

本文選擇最大概率對應的意圖標簽作為最終預測的意圖類別，即

(6)

采用交叉損失函數(shù)計算意圖識別的損失LI，公式為

(7)

2.4 意圖-槽位交互模塊

該模型主要用于對意圖與槽位的相關性進行建模，使得槽位上下文表示中能夠融合意圖信息，從而實現(xiàn)意圖信息指導槽位填充任務。與文獻[18,22]采用意圖上下文向量cI作為輸入不同，本文從另一個角度出發(fā)，通過引入意圖嵌入表示矩陣EI∈Rm×dI，采用意圖標簽概率分布中最大概率對應的意圖嵌入表示向量eI∈RdI作為該模塊的輸入，其優(yōu)點在于該向量中包含豐富的意圖特征，這有助于提高意圖指導槽位填充任務的能力，進而提高模型的性能。

相應地，為了充分利用意圖嵌入表示向量和字符級上下文語義特征，對意圖和槽位之間的關系進行建模，本文采用意圖嵌入表示向量eI和共享上下文表示C作為門控機制的輸入，用于生成聯(lián)合權重向量g。g越大，說明意圖與槽位的相關性越高，在槽位填充任務中越重要。g的計算公式為

g=∑vtanh(ci+WeI)

(8)

其中

v∈R2dW∈RdI×2d

式中v——可訓練權重

2.5 槽位填充模塊

本文采用條件隨機場(CRF)[23-24]對相鄰字符之間的槽位標簽依賴進行建模，即

C′s=C+Cg

(9)

首先采用聯(lián)合權重向量g對字符級上下文表示C進行加權求和，得到融合意圖信息的槽位上下文語義C′s，最后采用全連接層進行兩次變換，即

ps=Ws2(tanh(Ws1C′s+bs1))+bs2

(10)

其中Ws1∈R2d×dWs2∈Rd×tbs1∈Rdbs2∈Rt

式中Ws1、Ws2——可訓練權重

bs1、bs2——偏置

得到最終的槽位上下文語義表示ps∈Rn×t。

(11)

則標簽序列Os的條件概率為

(12)

本文通過最小化負似然對數(shù)來計算損失值。最后，本文采用維特比(Viterbi)算法對得分最高的標簽序列進行解碼，得到最終的預測標簽

(13)

最后，對兩任務進行聯(lián)合優(yōu)化，最終的目標函數(shù)定義為兩損失函數(shù)的加權和

Loss=φLI+(1-φ)Ls

(14)

φ為加權因子，介于0～1之間，根據(jù)文獻[19]，本文將其設置為0.5。

3 實驗

3.1 實驗環(huán)境與參數(shù)設置

本文選擇第1節(jié)所構建的AGIS數(shù)據(jù)集作為基準數(shù)據(jù)集，以評價本文所提模型對農業(yè)病蟲害意圖識別與槽位填充任務的識別效果，同時在公共數(shù)據(jù)集ATIS和SNIPS上進行實驗，以驗證該模型的泛化性。其中，ATIS主要包含了航班、城市等6種航空旅行信息、21種意圖類別、120種槽位類別和5 871條樣本；而SNIPS涵蓋了天氣、餐廳和娛樂等多個領域，共包含7個意圖類別、72個槽位類別和15 884條樣本。根據(jù)文獻[29]，環(huán)境配置如表3所示。在超參數(shù)設置方面，根據(jù)模型調試結果，AGIS和SNIPS數(shù)據(jù)集上無需設置Dropout，而在ATIS數(shù)據(jù)集上對應的Dropout設置為0.1，以緩解過擬合問題。其他超參數(shù)設置如表4所示。除第3.3.5節(jié)外，對于中文數(shù)據(jù)集，所有模型均采用維度為300的預訓練向量[30]作為初始的字符級嵌入表示；英文數(shù)據(jù)集則采用斯坦福大學(https:∥github.com/stanfordnlp/GloVe)預訓練的詞嵌入向量。

表3 實驗環(huán)境配置Tab.3 Experimental configuration

表4 超參數(shù)設置Tab.4 Settings for hyper-parameters

3.2 評價指標及對比模型

為了定量評價本文所提模型的有效性，本文采用F1分數(shù)評價模型的槽位填充性能，采用準確率(Accuracy, Acc)評價模型的意圖識別性能，同時采用句子級準確率評價模型整體識別性能，即意圖和槽位標簽均識別正確的問句占總樣本的百分比。

為了充分說明本文所提模型的有效性，本文采用以下5種主流模型進行對比實驗：①Slot-Gated[18]、②StackPropagation[19]、③SF-ID[23]、④DCA-NET[24]、⑤BiAss-Gate[22]。其中，①和②屬于單向關聯(lián)模型，③、④和⑤屬于雙向關聯(lián)模型。此外，本文還引入了JointBERT[17]、JointIDSF[20]，以深入探究本文所提模型在采用BERT預訓練模型時的性能。

3.3 實驗結果及分析

3.3.1實驗結果

圖4給出了各模型在AGIS數(shù)據(jù)集上的實驗結果。與其他對比模型相比，本文所提模型無論在槽位填充和意圖識別單任務上還是在整體識別精度上均得到較大提升，這一方面是因為AgIG-IDSF模型采用注意力機制有助于豐富上下文語義特征，另一方面是因為所引入意圖嵌入表示包含豐富的意圖信息，有助于提高指導槽位填充任務的能力(詳情可參考3.3.3節(jié))。雖然Slot-Gated模型同樣利用門控機制指導槽位填充任務，但由于對意圖嵌入表示信息的獲取能力有限，導致在AGIS數(shù)據(jù)集上的性能不如其他模型。雖然StackPropagation采用字符級意圖標簽投票機制在一定程度上緩解了錯誤傳播問題，但同樣無法充分利用意圖嵌入表示信息，導致對槽位填充任務的指導能力有限，因此限制了模型性能。SF-ID雖然能夠在一定程度上利用意圖識別與槽位填充兩任務之間的互作關系，但需考慮建模順序，導致上述模型的識別結果稍低。主要表現(xiàn)為該模型的整體識別精度與AgIG-IDSF模型相差1.84個百分點。而BiAss-Gate進一步改進了Slot-Gated模型，具備雙向關聯(lián)能力，使得整體識別精度進一步提高，達到87.82%。DCA-NET是近幾年提出的較先進的雙向關聯(lián)模型，該模型所提的協(xié)同Transformer包含兩個彼此交互的注意力機制，打破了交互順序限制，顯式地建立了彼此的雙向關聯(lián)。因此在AGIS集上取得優(yōu)于其他對比模型的識別結果。而本文所提模型槽位填充F1值和全局識別精度更高，相較于DCA-NET分別提高0.24、0.16個百分點。因此，上述實驗結果不僅表明了本文所提模型在農業(yè)病蟲害意圖識別與槽位填充任務上的有效性，而且其性能優(yōu)于雙向關聯(lián)模型。

圖4 各模型在AGIS數(shù)據(jù)集上的實驗結果Fig.4 Experimental results for each model on AGIS

為了進一步說明本文所提模型的識別細節(jié)，如圖5所示，本文以AGIS數(shù)據(jù)集為例，分別統(tǒng)計了AgIG-IDSF、DCA-NET、BiAss-Gate、StackPropagation、SF-ID和Slot-Gated對該數(shù)據(jù)集各類意圖和槽位的識別詳情。由圖5a可知，對每類意圖，所有模型在防治方法、病害和防治藥劑等意圖類別上的識別精度普遍較高，這是因為上述意圖類別樣本占比較大，訓練相對充分。而由于簡介、分布區(qū)域和別名等意圖類別樣本量少，導致各模型在上述意圖上的識別精度普遍偏低。此外，通過對預測結果進行統(tǒng)計后發(fā)現(xiàn)，諸如“危害時期”意圖與“蟲態(tài)/周期”意圖容易在上下文語義上混淆，因此降低了彼此的識別精度。而本文所提模型不僅能夠有效識別那些較易識別的意圖，而且進一步提高了別名、簡介和防治時期等較難識別意圖的精度。例如，相較于基準模型DAC-NET，本文所提模型針對上述意圖的準確率分別提高9.09、24.24、5.79個百分點。對每類槽位，如圖5b所示，本文所提模型不僅能夠有效識別病害、作物和藥劑等常見槽位類型，而且對癥狀等難以識別槽位類型仍保持有較高的識別性能，例如相較于DCA-NET，其F1值提高7.5個百分點，這得益于本文所提的融合意圖嵌入表示的門控機制能夠使槽位上下文語義表示充分融合意圖信息進而提高模型的槽位填充性能。

圖5 各模型對AGIS各類意圖和槽位識別細節(jié)Fig.5 Detailed results of intents and slots on AGIS

其次，如圖6所示，本文同樣以AGIS數(shù)據(jù)集為例，可視化了AgIG-IDSF、DCA-NET、BiAss-Gate、StackPropagation、SF-ID和Slot-Gated模型的意圖分類混淆矩陣。由圖可知，大多數(shù)預測意圖分布于對角線上，表現(xiàn)出對各類意圖識別的有效性。此外，部分模型將“其他”意圖歸類為危害時期、防治時期和防治藥劑等，對預測結果進行分析后認為包含“其他”意圖的問句語義容易與包含上述意圖的樣本語義混淆，導致識別錯誤；相反，各模型在屬科、別名和發(fā)病規(guī)律/條件等意圖類別上錯誤預測數(shù)量較少，這是因為包含上述意圖的問句具有明顯的語義特征。比如問句“小麥赤霉病的發(fā)病規(guī)律是什么？小麥赤霉病還有其他名稱嗎？”，模型很容易將其意圖分別識別為“發(fā)病規(guī)律/條件”和“別稱”。而與大多數(shù)模型相比，本文所提模型在多數(shù)意圖類別上取得較高的識別精度，雖然略遜于DCA-NET模型，但由圖4可知，本文所提模型的整體識別精度優(yōu)于DCA-NET模型。

圖6 各模型對AGIS意圖識別混淆矩陣Fig.6 Confusion matrixes for each model on AGIS

3.3.2泛化性分析

為了進一步探究本文所提模型的泛化性，將AgIG-IDSF模型及對比模型在ATIS和SNIPS兩種公共數(shù)據(jù)集上進行了對比實驗。如表5所示，本文所提模型在ATIS和SNIPS數(shù)據(jù)集上取得最大整體識別精度，分別為87.57%和90.43%，高出BiAss-Gate模型0.34、0.14個百分點，表現(xiàn)出最優(yōu)性能。而其他模型性能則呈現(xiàn)出不同程度的差異性。比如在SNIPS數(shù)據(jù)集上，Slot-Gated模型的槽位填充F1分數(shù)、意圖識別準確度和整體識別精度分別與AgIG-IDSF模型的相應值相差1.41、5.11、8.23個百分點，可能的原因有：中英文不同語言本身差異性；垂直領域語料的專業(yè)性；由于缺乏充足的意圖嵌入表示信息，槽位上下文語義融合意圖信息存在限制。雖然StackPropagation模型的意圖標簽投票機制在一定程度上緩解了上述問題，但仍然存在意圖特征缺失問題[24，31]，其識別精確度比AgIG-IDSF略低。另外，由實驗結果可知AgIG-IDSF在兩種數(shù)據(jù)集上的性能明顯優(yōu)于雙向關聯(lián)模型DCA-NET。因此，上述實驗結果不僅再次表明了該模型優(yōu)于雙向關聯(lián)模型，而且還驗證了該模型還具有一定泛化能力和穩(wěn)定性。

表5 各模型在ATIS和SNIPS數(shù)據(jù)集上的識別結果Tab.5 Experimental results for each model on ATIS and SNIPS %

3.3.3消融實驗

為驗證本文所提模型各模塊的有效性，本文以AgIG-IDSF為基準模型設置了4個對照組，分別以AGIS、ATIS和SNIPS數(shù)據(jù)集進行實驗，結果如表6所示。如實驗1，當AgIG-IDSF模型采用注意力機制時，該模型在3種數(shù)據(jù)集上的整體識別精度高于實驗2不采用注意力機制的AgIG-IDSF模型的相應值，分別提高0.91、0.34、0.29個百分點，這在一定程度上說明了在共享編碼模塊采用注意力機制的有效性。實驗3直接采用式(4)所得意圖上下文語義作為門控機制的輸入，雖然在SNIPS數(shù)據(jù)集上取得88.43%的整體識別精度，但在AGIS和ATIS數(shù)據(jù)集上的整體識別精度明顯偏低，僅為46.29%和28.56%，泛化性表現(xiàn)較差，同時反映了本文所提模型引入意圖嵌入表示的合理性和必要性。相應地，與實驗4采用級聯(lián)槽位代替門控機制相比，本文所提AgIG-IDSF模型在3種數(shù)據(jù)集上的整體識別精度更優(yōu)，表明了門控機制的有效性。

表6 AgIG-IDSF在3種數(shù)據(jù)集上的消融實驗結果Tab.6 Ablation experiments for AgIG-IDSF on three datasets %

3.3.4意圖識別與槽位填充

為了探究意圖識別和槽位填充任務對全局識別精度的影響程度，如圖7所示，以AGIS數(shù)據(jù)集為例，采用混淆矩陣可視化了兩任務句子級識別結果。其中，橫坐標表示意圖標簽樣本數(shù)，縱坐標表示槽位標簽樣本數(shù)，均分為正確和錯誤識別兩類。通過分析圖7可得如下結論：各模型可識別出大部分樣本對應的意圖與槽位標簽，均正確識別數(shù)超過1 000條；意圖識別或槽位填充單任務預測錯誤標簽數(shù)較多，例如在圖7b中，意圖標簽識別正確但槽位標簽識別錯誤的樣本數(shù)為79條，而槽位標簽識別正確但意圖標簽識別錯誤的樣本數(shù)為53條，說明在給定樣本中單任務識別錯誤率對模型整體識別性能影響較大；并且與意圖識別相比，槽位填充任務對模型整體識別精度影響更大，因為在意圖正確識別情況下，上述模型的槽位填充錯誤率更高。而與其他模型相比，本文所提模型不僅提高了同時識別正確樣本的數(shù)量，而且也降低了同時錯誤樣本數(shù)量，分別為1 056條和13條，因此提高了模型的整體識別精度。由上述可知，相對于意圖識別任務，槽位填充任務對模型整體識別性能的影響更大。

圖7 句子級意圖識別與槽位填充混淆矩陣Fig.7 Sentence-level confusion matrix of intent detection and slot filling for AGIS dataset

3.3.5BERT有效性

以上研究均采用基于傳統(tǒng)word2vec或glove預訓練的詞嵌入，但此類詞嵌入是靜態(tài)的，無法根據(jù)動態(tài)生成上下文相關的高質量文本表示。近年來，BERT等預訓練模型的提出極大促進了各項NLP任務的性能。因此，為探究本文所提模型在采用預訓練模型條件下的有效性，采用BERT動態(tài)生成包含豐富語義的文本表示，并與JointBERT和JointIDSF在3種數(shù)據(jù)集上進行了對比實驗，結果如表7所示。JointBERT在3種基準數(shù)據(jù)集上的整體識別準確率分別為88.82%、87.34%和88.90%，顯然優(yōu)于圖4和表5所示多數(shù)模型的相應值，說明BERT有助于提高模型的意圖識別與槽位填充性能?；诖?，JointIDSF模型在3種數(shù)據(jù)集上的識別結果略有上升，這是因為該模型引入意圖槽位注意力機制，能夠使意圖根據(jù)其重要性與句子中的每個字符動態(tài)融合，進而促使意圖信息指導槽位填充任務。然而，由于該模型所提意圖槽位注意力機制強依賴于預測的意圖概率矩陣，未引入意圖嵌入信息，因此對整體識別性能提升能力有限。而本文所提AgIG-IDSF模型在3種數(shù)據(jù)集上均取得最優(yōu)整體識別準確率，分別為89.15%、87.57%和92.29%，比JointIDSF模型分別提升0.09、0.22、2.29個百分點?？傊鲜鼋Y果說明了BERT的有效性，還表明了AgIG-IDSF模型在采用BERT情況下能夠進一步提高農業(yè)病蟲害意圖識別與槽位填充性能。

表7 基于BERT的模型在各數(shù)據(jù)集上的識別結果Tab.7 Experimental results for BERT-based models on three datasets %

4 結束語

本文主要針對農業(yè)病蟲害領域意圖識別與槽位填充存在的語料有限、現(xiàn)有模型未充分利用意圖嵌入表示信息等問題，構建了首個農業(yè)病蟲害領域的意圖識別與槽位填充數(shù)據(jù)集，并提出了面向該領域的基于意圖嵌入信息和門控機制的意圖識別與槽位填充聯(lián)合模型AgIG-IDSF。該模型在采用注意力機制進一步豐富上下文語義基礎上，引入了意圖嵌入表示信息，并采用門控機制對上述向量進行融合，從而生成了包含豐富意圖信息的槽位上下文語義。實驗結果表明，本文所提AgIG-IDSF模型能夠更好地利用意圖信息指導槽位填充任務，與其他模型相比在農業(yè)病蟲害的意圖識別與槽位填充任務上性能更優(yōu)，且具有一定的泛化性和穩(wěn)定性，為構建基于知識圖譜的農業(yè)病蟲害問答系統(tǒng)提供了技術支撐。