潘 茹 ,查 俊,2

(1.安徽建筑大學(xué)電子與信息工程學(xué)院,安徽 合肥 230601;2.清華大學(xué)合肥公共安全研究院,安徽 合肥 230601)

0 引言(Introduction)

據(jù)國(guó)家消防救援局的公開(kāi)數(shù)據(jù)統(tǒng)計(jì),2021年,全國(guó)消防救援隊(duì)伍共接報(bào)處置各類(lèi)警情195.6萬(wàn)起,其中共接報(bào)火災(zāi)74.8萬(wàn)起,占總警情的38.2%,是社會(huì)單位常見(jiàn)、危害較大的災(zāi)害[1]。火災(zāi)的應(yīng)急救援行動(dòng)往往受限于應(yīng)急人員火災(zāi)知識(shí)的積累,然而當(dāng)前火災(zāi)應(yīng)急的相關(guān)知識(shí)和應(yīng)急預(yù)案常常以多元化、非結(jié)構(gòu)化的形式分布在互聯(lián)網(wǎng)和相關(guān)書(shū)籍中,基于傳統(tǒng)的搜索方式和問(wèn)答系統(tǒng)對(duì)特定場(chǎng)景進(jìn)行精確搜索的難度較大。因此,研究基于知識(shí)圖譜的問(wèn)答方法,為用戶(hù)提供精確的火災(zāi)應(yīng)急知識(shí)具有重要意義[2]。

目前,主流的知識(shí)圖譜問(wèn)答方法研究有基于語(yǔ)義解析的方法和基于信息檢索的方法兩類(lèi)[3-6]。前者主要通過(guò)規(guī)則或結(jié)構(gòu)將問(wèn)句查詢(xún)解析為問(wèn)句語(yǔ)義邏輯形式,然后在知識(shí)庫(kù)中執(zhí)行該邏輯形式的表達(dá)式,以尋找答案集合,但該方法依賴(lài)人工解析語(yǔ)義關(guān)系,預(yù)測(cè)未知關(guān)系困難。后者通過(guò)鏈接問(wèn)句主題實(shí)體臨近的子圖,應(yīng)用排序算法選擇最高位置的實(shí)體檢索答案,該方法泛化性強(qiáng),但推理過(guò)程強(qiáng)依賴(lài)上游任務(wù)的輸出結(jié)果,易將錯(cuò)誤傳播至下游任務(wù),降低了推理過(guò)程的可解釋性。因此,本文基于傳統(tǒng)的信息檢索式的知識(shí)圖譜問(wèn)答方法,提出一種基于火災(zāi)應(yīng)急領(lǐng)域知識(shí)圖譜的問(wèn)答Pipeline改進(jìn)方法,旨在解決下游推理對(duì)上游結(jié)果的強(qiáng)依賴(lài)、答案推理的效率低下,以及小規(guī)模知識(shí)圖譜模型訓(xùn)練的過(guò)擬合等問(wèn)題。

1 火災(zāi)應(yīng)急知識(shí)圖譜問(wèn)答方法(Fire emergency knowledge graph Q&A method)

火災(zāi)應(yīng)急知識(shí)圖譜問(wèn)答方法主要分為兩個(gè)階段:第一個(gè)階段為火災(zāi)應(yīng)急領(lǐng)域問(wèn)句理解,對(duì)火災(zāi)應(yīng)急領(lǐng)域提問(wèn)進(jìn)行火災(zāi)領(lǐng)域?qū)嶓w識(shí)別、火災(zāi)領(lǐng)域?qū)嶓w鏈接,以獲取問(wèn)句中的實(shí)體并鏈接到火災(zāi)應(yīng)急領(lǐng)域知識(shí)圖譜中;第二個(gè)階段為答案檢索與推理,基于第一階段獲取到的火災(zāi)領(lǐng)域?qū)嶓w,進(jìn)行實(shí)體路徑生成、排序和答案檢索,具體內(nèi)容如下:先針對(duì)上一步驟中獲取的火災(zāi)領(lǐng)域?qū)嶓w在知識(shí)庫(kù)中的子圖,基于特定的規(guī)則生成路徑,再通過(guò)路徑排序模型為生成的路徑進(jìn)行排序,同時(shí)基于特征融合的方法對(duì)前期特征進(jìn)行整合,避免問(wèn)句理解階段的錯(cuò)誤傳播,最后將路徑還原為知識(shí)圖譜中的三元組,經(jīng)過(guò)知識(shí)圖譜的查詢(xún)語(yǔ)句檢索答案返回給用戶(hù)。

火災(zāi)應(yīng)急領(lǐng)域知識(shí)圖譜問(wèn)答方法框架圖如圖1所示。以問(wèn)句“請(qǐng)幫我找到森林火災(zāi)的應(yīng)急預(yù)案”為例,首先對(duì)問(wèn)句進(jìn)行實(shí)體識(shí)別,得到“應(yīng)急預(yù)案”和“森林火災(zāi)”兩個(gè)實(shí)體,“應(yīng)急預(yù)案”的圖譜流行度較高,其得分為1.0,“森林火災(zāi)”由命名實(shí)體識(shí)別模型評(píng)判得分為0.58。在傳統(tǒng)Pipeline方法中,直接將得分較高的“應(yīng)急預(yù)案”作為結(jié)果進(jìn)行唯一輸出,從而導(dǎo)致在實(shí)體鏈接及路徑排序階段輸出的三元組中,找不到“森林火災(zāi)”實(shí)體的相關(guān)路徑,最終得到一個(gè)不準(zhǔn)確的答案。但是,本文所提方法將實(shí)體識(shí)別、實(shí)體鏈接及路徑排序階段的特征分?jǐn)?shù)予以保留,即使“森林火災(zāi)”實(shí)體在上游任務(wù)中的得分較低,但也不會(huì)舍棄該實(shí)體,而是在答案推理階段通過(guò)特征融合進(jìn)行重新排序,讓“森林火災(zāi)”這條路徑上的三元組獲得較高的得分(0.86),從而輸出(“森林火災(zāi)”-“應(yīng)急預(yù)案”-A)的結(jié)果,為用戶(hù)提供了更精準(zhǔn)的回答。其中,圖1中的火災(zāi)領(lǐng)域?qū)嶓w識(shí)別、火災(zāi)領(lǐng)域?qū)嶓w鏈接、候選路徑排序模型使用了遷移學(xué)習(xí)的策略,在外部的知識(shí)圖譜問(wèn)答語(yǔ)料上進(jìn)行了預(yù)訓(xùn)練。

圖1 火災(zāi)應(yīng)急知識(shí)圖譜問(wèn)答方法框架圖Fig.1 Framework of fire emergency knowledge graph Q&A method

2 火災(zāi)應(yīng)急領(lǐng)域問(wèn)句理解(Question comprehension for fire emergency domain)

2.1 火災(zāi)領(lǐng)域?qū)嶓w識(shí)別

本文主要使用BERT(Bidirectional Encoder Representations from Transformers,雙向Transformers編碼器)+CRF(Conditional Random Field,條件隨機(jī)場(chǎng))模型、詞典匹配及規(guī)則提取三種方法聯(lián)合進(jìn)行實(shí)體的識(shí)別抽取。其中,BERT+CRF模型輸入的是將火災(zāi)應(yīng)急領(lǐng)域問(wèn)句字符串基于BERT的詞典轉(zhuǎn)換后的字詞向量,經(jīng)過(guò)多個(gè)Transformer編碼器計(jì)算處理后,輸入CRF模型中進(jìn)行序列BIO標(biāo)注(O表示非實(shí)體;B-M 表示實(shí)體詞開(kāi)頭的第一個(gè)字符或單字符的實(shí)體;I-M 表示實(shí)體詞的中間或結(jié)尾字符),經(jīng)過(guò)CRF標(biāo)注處理后輸出一個(gè)概率矩陣,得到候選實(shí)體集合Ma及每個(gè)實(shí)體對(duì)應(yīng)的概率分?jǐn)?shù)。模型結(jié)構(gòu)如圖2所示。

圖2 BERT+CRF模型結(jié)構(gòu)圖Fig.2 Structure diagram of BERT+CRF model

詞典匹配的方法主要借鑒了最大匹配算法的思想。設(shè)Q為多個(gè)問(wèn)句的集合,對(duì)于一個(gè)給定的問(wèn)句q∈Q,由長(zhǎng)到短獲取問(wèn)句中的連續(xù)子串str n,對(duì)句子進(jìn)行遍歷。如果連續(xù)子串對(duì)應(yīng)圖譜中的某個(gè)實(shí)體GE,則將該字符串記錄到候選實(shí)體集合Mb中,并從問(wèn)句中刪除,以此類(lèi)推,直至子串的長(zhǎng)度為0,則結(jié)束對(duì)該問(wèn)句的匹配。詞典匹配算法偽代碼如下。

規(guī)則提取法是基于火災(zāi)應(yīng)急領(lǐng)域預(yù)設(shè)的包括特定地點(diǎn)、人名、專(zhuān)業(yè)術(shù)語(yǔ)、書(shū)名號(hào)等信息的特定規(guī)則,提取子串作為實(shí)體,記錄到候選實(shí)體集合Mc中。

最終,令i作為問(wèn)句的編號(hào),則q i表示第i個(gè)問(wèn)句,將上述三種方法的實(shí)體識(shí)別結(jié)果進(jìn)行合并,得到q i的候選實(shí)體集合為Mi=Ma∪Mb∪Mc,多個(gè)問(wèn)句集合Q的候選實(shí)體集合為M={M1,M2,…,Mi},并記錄所有結(jié)果。

2.2 火災(zāi)領(lǐng)域?qū)嶓w鏈接

實(shí)體鏈接是將問(wèn)句中的實(shí)體對(duì)應(yīng)到火災(zāi)應(yīng)急知識(shí)圖譜的實(shí)體項(xiàng)中。具體步驟如下:首先,進(jìn)行實(shí)體還原,實(shí)現(xiàn)問(wèn)句中不完整實(shí)體的還原。例如,問(wèn)句為“藥廠火災(zāi)該怎么處置?”,抽取到的實(shí)體為“藥廠火災(zāi)”,則需要還原為知識(shí)圖譜中記錄的實(shí)體項(xiàng)“醫(yī)藥廠火災(zāi)”。其次,基于實(shí)體鏈接詞典尋找問(wèn)句中的實(shí)體對(duì)應(yīng)的一個(gè)或多個(gè)火災(zāi)應(yīng)急知識(shí)圖譜中的具體實(shí)體項(xiàng)。最后,若問(wèn)句中的實(shí)體鏈接到多個(gè)實(shí)體項(xiàng),則進(jìn)行實(shí)體消歧處理,模型結(jié)構(gòu)如圖3所示,將問(wèn)句和鏈接到的實(shí)體分別作為T(mén)ext1和Text2輸入BERT模型中進(jìn)行處理,再將BERT輸出結(jié)果的起始位置[CLS]標(biāo)簽通過(guò)Concat(連接層)與下游任務(wù)進(jìn)行拼接,接著經(jīng)過(guò)一個(gè)Dense(全連接層)提取特征,并添加Dropout(隨機(jī)失活層)防止模型訓(xùn)練的過(guò)擬合,通過(guò)Sigmoid函數(shù)完成標(biāo)簽的概率計(jì)算,其核心工作是計(jì)算用戶(hù)提出的問(wèn)句與實(shí)體相關(guān)屬性的相似度,計(jì)算公式如下:

圖3 實(shí)體消歧模型結(jié)構(gòu)圖Fig.3 Structure diagram of entity disambiguation model

其中,Mi是編號(hào)為i的問(wèn)句中的候選實(shí)體集合,E i是對(duì)應(yīng)Mi鏈接到知識(shí)圖譜后的實(shí)體集合,q是原問(wèn)句。最終的輸出結(jié)果為[0,1]中的某個(gè)值,該值越接近1,則說(shuō)明實(shí)體項(xiàng)越符合問(wèn)句的語(yǔ)境;反之,則說(shuō)明實(shí)體項(xiàng)與問(wèn)句無(wú)關(guān),可能不是用戶(hù)所提問(wèn)的實(shí)體。

3 火災(zāi)應(yīng)急領(lǐng)域答案推理(Answer reasoning for fire emergency domain)

3.1 候選路徑生成

本文采用基于模板生成路徑的方式,定義了spa和apo兩種查詢(xún)基線(xiàn),通過(guò)這兩種查詢(xún)基線(xiàn)進(jìn)行單跳或多跳路徑擴(kuò)展。其中,spa即實(shí)體(主體)-關(guān)系/屬性-答案,以實(shí)體作為頭節(jié)點(diǎn),經(jīng)過(guò)關(guān)系尋找答案;apo即答案-關(guān)系/屬性-實(shí)體(客體),以實(shí)體作為尾節(jié)點(diǎn),經(jīng)過(guò)關(guān)系尋找答案。本文盡可能地窮舉了路徑生成的方案,詳見(jiàn)表1。表1中涵蓋了常見(jiàn)的單實(shí)體單跳路徑、單實(shí)體多跳路徑。

表1 路徑生成模板Tab.1 Path generation template

3.2 候選路徑排序

本文路徑排序模型結(jié)構(gòu)與實(shí)體鏈接階段的實(shí)體消歧模型類(lèi)似,但模型的輸入不同,這里將問(wèn)句和候選路徑分別作為T(mén)ext1和Text2。需要說(shuō)明的是,該模型僅計(jì)算實(shí)體候選路徑與原問(wèn)句的相似度,并且不關(guān)心它所對(duì)應(yīng)的實(shí)體是否是問(wèn)句的中心實(shí)體。

考慮到候選路徑過(guò)多時(shí)會(huì)導(dǎo)致問(wèn)答系統(tǒng)的響應(yīng)效率低下,因此引入Beam Search算法針對(duì)路徑排序模型進(jìn)行優(yōu)化。首先重置一個(gè)路徑集合P0,i表示當(dāng)前進(jìn)行的跳數(shù),當(dāng)進(jìn)行第i跳時(shí),基于實(shí)體路徑生成方法,從實(shí)體臨近的子圖中尋找三元組路徑并與P i-1的路徑結(jié)合;其次將當(dāng)前跳生成的每一條路徑與原問(wèn)句計(jì)算語(yǔ)義相似度,記錄其得分;接著將其得分進(jìn)行排序,保留k個(gè)得分排名靠前的路徑,將其他得分較低的當(dāng)前跳路徑刪除;最后到達(dá)最大跳數(shù)時(shí),停止循環(huán)。Beam Search優(yōu)化算法偽代碼如下。

在本文領(lǐng)域中的具體應(yīng)用為當(dāng)目前擴(kuò)展的關(guān)系跳數(shù)為1跳時(shí),直接執(zhí)行相似度計(jì)算模型,對(duì)所有單跳路徑進(jìn)行相似度計(jì)算,并記錄得分;當(dāng)目前擴(kuò)展的關(guān)系跳數(shù)為2跳及以上時(shí),保留前一跳排名前3名的路徑,在這些路徑上進(jìn)行跳數(shù)擴(kuò)展;約束最大的擴(kuò)展跳數(shù)目前為3跳。

3.3 特征融合

在傳統(tǒng)的Pipeline方法中,對(duì)問(wèn)句進(jìn)行上游任務(wù)處理時(shí)就會(huì)直接提取核心實(shí)體作為唯一確定的問(wèn)句實(shí)體,從而導(dǎo)致問(wèn)答系統(tǒng)十分依賴(lài)實(shí)體識(shí)別階段模型的精確度,一旦模型輸出的實(shí)體出現(xiàn)錯(cuò)誤,則會(huì)將錯(cuò)誤傳播至實(shí)體鏈接及實(shí)體路徑排序階段,那么問(wèn)答系統(tǒng)下游任務(wù)進(jìn)行的工作將徒勞無(wú)益,最終難以找到正確的答案。

在本文提出的改進(jìn)Pipeline方法中,采用Task specific(任務(wù)專(zhuān)一化)思想,每個(gè)任務(wù)模塊都專(zhuān)注其當(dāng)前任務(wù),只記錄模型當(dāng)前輸出的實(shí)體集合及評(píng)分結(jié)果,不會(huì)直接以模型評(píng)分的高低確定某一個(gè)實(shí)體或路徑。即本文所提方法將實(shí)體識(shí)別、實(shí)體鏈接和路徑排序中每一個(gè)實(shí)體及其路徑的得分予以保留,并將其作為置信度進(jìn)行特征融合重新排序。此方法可有效防止實(shí)體識(shí)別、實(shí)體鏈接階段出錯(cuò)時(shí),基于錯(cuò)誤的實(shí)體找到錯(cuò)誤的路徑和答案的情況。特征融合示意圖如圖4所示。

圖4 特征融合示意圖Fig.4 Schematic diagram of feature fusion

本階段將當(dāng)前生成的所有候選路徑集合中所對(duì)應(yīng)的相關(guān)特征進(jìn)行融合,其中針對(duì)每一條候選路徑定義了6個(gè)相關(guān)特征。

(1)S1表示火災(zāi)領(lǐng)域?qū)嶓w識(shí)別階段的三種方法聯(lián)合抽取到的實(shí)體特征得分。對(duì)于通過(guò)BERT+CRF模型得到的實(shí)體,記其特征得分為BERT+CRF模型的預(yù)測(cè)分?jǐn)?shù);對(duì)于通過(guò)詞典匹配和規(guī)則提取方法得到的實(shí)體,本文直接對(duì)該特征進(jìn)行賦值,記其特征得分為1。

(2)S2表示實(shí)體鏈接階段中獲取的實(shí)體特征得分。若火災(zāi)領(lǐng)域?qū)嶓w進(jìn)行鏈接時(shí)只鏈接到一個(gè)實(shí)體項(xiàng),則認(rèn)為該火災(zāi)應(yīng)急知識(shí)圖譜中的實(shí)體是唯一的具體實(shí)體義項(xiàng),記該實(shí)體的特征得分為1,否則記為基于實(shí)體消歧模型給出的得分。

(3)S3屬于路徑模型特征得分,直接記為候選路徑排序模型給出的分?jǐn)?shù),即計(jì)算問(wèn)句與候選路徑的語(yǔ)義相似度。

(4)S4屬于路徑基礎(chǔ)特征得分,將候選路徑中的字符長(zhǎng)度與問(wèn)句中的字符長(zhǎng)度進(jìn)行比值計(jì)算。設(shè)問(wèn)句中的字符長(zhǎng)度為n,候選路徑中的字符長(zhǎng)度為m,則S4=m/n。

(5)S5屬于路徑基礎(chǔ)特征得分,表示用戶(hù)問(wèn)句與候選路徑的字級(jí)別相似度。采用Jaccard相似度計(jì)算方法,設(shè)A為給定問(wèn)句中每個(gè)字符的集合,B為給定問(wèn)句中所對(duì)應(yīng)的候選路徑中每個(gè)字符的集合,則該特征得分的計(jì)算公式如下:

(6)S6屬于路徑基礎(chǔ)特征得分,表示用戶(hù)問(wèn)句與候選路徑的詞級(jí)別相似度。對(duì)于給定的問(wèn)句,先使用jieba分詞庫(kù)進(jìn)行分詞,從而將句子分成若干個(gè)詞,再使用Jaccard計(jì)算分詞后的問(wèn)句與路徑的詞級(jí)別相似度。

收集上述特征,并基于XGBoost(極限梯度提升樹(shù))算法對(duì)以上6個(gè)特征進(jìn)行融合計(jì)算[7]。計(jì)算結(jié)果為每一條候選實(shí)體路徑對(duì)應(yīng)的特征融合得分,輸出范圍為[0,1]中的某個(gè)值,該值越接近1,則說(shuō)明當(dāng)前候選路徑的各項(xiàng)特征越符合問(wèn)句,即當(dāng)前候選路徑的答案節(jié)點(diǎn)作為標(biāo)準(zhǔn)答案的置信度越高;越接近0則表示當(dāng)前路徑所對(duì)應(yīng)的答案不能回答用戶(hù)的提問(wèn)。

最終,對(duì)排名最高的候選路徑提取其實(shí)體節(jié)點(diǎn)和關(guān)系,查詢(xún)知識(shí)庫(kù),并返回答案節(jié)點(diǎn),回答用戶(hù)針對(duì)火災(zāi)應(yīng)急領(lǐng)域的提問(wèn)。

3.4 遷移學(xué)習(xí)策略

由于本文在實(shí)體識(shí)別、實(shí)體鏈接和路徑排序中都使用了涉及億級(jí)別參數(shù)量的預(yù)訓(xùn)練語(yǔ)言模型,而在火災(zāi)應(yīng)急知識(shí)圖譜的問(wèn)答場(chǎng)景中,訓(xùn)練語(yǔ)料中的三元組數(shù)量級(jí)和問(wèn)答對(duì)僅為百級(jí)別,訓(xùn)練時(shí)極有可能導(dǎo)致嚴(yán)重的過(guò)擬合或預(yù)測(cè)錯(cuò)誤。因此,本文采用遷移學(xué)習(xí)策略,利用外部語(yǔ)料訓(xùn)練出一個(gè)成熟的通用領(lǐng)域知識(shí)問(wèn)答模型,再遷移至火災(zāi)應(yīng)急領(lǐng)域,采用凍結(jié)部分網(wǎng)絡(luò)層的策略進(jìn)行模型微調(diào),使得問(wèn)答模型既具有回復(fù)通用領(lǐng)域問(wèn)題的能力,又能夠在火災(zāi)應(yīng)急領(lǐng)域的問(wèn)題上體現(xiàn)其專(zhuān)業(yè)性。外部語(yǔ)料使用的數(shù)據(jù)集源自biendata競(jìng)賽平臺(tái)開(kāi)展的CCKS2021生活服務(wù)知識(shí)圖譜問(wèn)答評(píng)測(cè)任務(wù),其中問(wèn)答語(yǔ)料使用的是由北京大學(xué)和北京三快在線(xiàn)科技有限公司人工構(gòu)建與標(biāo)注的8 500條問(wèn)答數(shù)據(jù),本文將其以8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。知識(shí)圖譜使用的是由開(kāi)放領(lǐng)域知識(shí)庫(kù)PKUBASE及生活服務(wù)領(lǐng)域數(shù)據(jù)集融合得到的知識(shí)庫(kù)數(shù)據(jù),本文將其導(dǎo)入Neo4j數(shù)據(jù)集中,構(gòu)建知識(shí)圖譜,其中包含65 535 841個(gè)三元組、16 867 071個(gè)實(shí)體項(xiàng)和408 755個(gè)屬性項(xiàng)。

4 實(shí)驗(yàn)(Experiment)

4.1 實(shí)驗(yàn)數(shù)據(jù)介紹

本文依據(jù)維基百科、百度百科、國(guó)家消防救援局、互聯(lián)網(wǎng)上的其他資料以及相關(guān)科普書(shū)籍梳理了544個(gè)三元組、192個(gè)實(shí)體、93個(gè)關(guān)系,其中包括火災(zāi)、火災(zāi)事件、可燃物、滅火器、滅火方法、Person(響應(yīng)人或責(zé)任人)6 類(lèi)概念;InstanceOf、Subclass Of、使用、依附于、參與燃燒、引發(fā)火災(zāi)、所屬類(lèi)別、調(diào)用、選用滅火器9種關(guān)系類(lèi)型;中文名、含義、外文名、概念、分類(lèi)、原理、撲救要點(diǎn)、注意事項(xiàng)、災(zāi)害特性、特別警示、特性、級(jí)別、結(jié)構(gòu)、適用范圍、使用方法、條件、蔓延方式、后果、撲火原則19種屬性類(lèi)型。將上述火災(zāi)應(yīng)急領(lǐng)域相關(guān)語(yǔ)料整理成csv文件儲(chǔ)存Neo4j數(shù)據(jù)庫(kù)中,構(gòu)建知識(shí)圖譜。

此外,為方便問(wèn)答方法的結(jié)果驗(yàn)證,本文搜集并整理了100個(gè)火災(zāi)應(yīng)急領(lǐng)域的問(wèn)題,人工標(biāo)注了涉及的實(shí)體和三元組路徑。示例如下:

問(wèn)題:A類(lèi)火災(zāi)的特性?

實(shí)體:A類(lèi)火災(zāi)

三元組:A類(lèi)火災(zāi)-特性-答案

答案:固體物質(zhì)火災(zāi),一般在燃燒時(shí)能產(chǎn)生灼熱的余燼。

4.2 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)在進(jìn)行模型訓(xùn)練時(shí),采用Adam 作為參數(shù)優(yōu)化器,設(shè)置其學(xué)習(xí)率為0.000 5,Dropout設(shè)置為0.5,訓(xùn)練最大迭代次數(shù)設(shè)置為100次,批大小參數(shù)Batch Size設(shè)置為128;在計(jì)算模型誤差時(shí),選用二元交叉熵?fù)p失函數(shù)。

實(shí)驗(yàn)一:將本文所提方法與傳統(tǒng)Pipeline 方法、傳統(tǒng)Pipeline進(jìn)行遷移學(xué)習(xí)的方法,以及傳統(tǒng)Pipeline和汪洲等提出的特征融合相結(jié)合的方法進(jìn)行對(duì)比實(shí)驗(yàn)[8]。

在火災(zāi)應(yīng)急領(lǐng)域知識(shí)圖譜問(wèn)答語(yǔ)料中隨機(jī)抽取100個(gè)句子作為測(cè)試集語(yǔ)料,評(píng)估指標(biāo)采用準(zhǔn)確率P,設(shè)Q為問(wèn)句集合,為問(wèn)句的個(gè)數(shù),TA為預(yù)測(cè)答案正確的問(wèn)句個(gè)數(shù),計(jì)算公式如下:

實(shí)驗(yàn)一的結(jié)果見(jiàn)表2。從表2中可見(jiàn),傳統(tǒng)Pipeline加入遷移學(xué)習(xí)后方法的準(zhǔn)確率為83.0%,與單獨(dú)使用傳統(tǒng)Pipeline方法相比,準(zhǔn)確率有了顯著的提升,說(shuō)明本文提出的遷移學(xué)習(xí)策略可以有效地解決火災(zāi)應(yīng)急領(lǐng)域問(wèn)答語(yǔ)料較少導(dǎo)致的泛化性差的問(wèn)題。傳統(tǒng)Pipeline加入的特征融合方法的準(zhǔn)確率為79.0%,比傳統(tǒng)Pipeline加入遷移學(xué)習(xí)后方法的準(zhǔn)確率低4.0%,說(shuō)明本文的模型在經(jīng)歷遷移學(xué)習(xí)后更加優(yōu)秀。本文所提方法與傳統(tǒng)Pipeline加入遷移學(xué)習(xí)后方法相比,準(zhǔn)確率提升了6.0%,證明本文所提方法能夠提升火災(zāi)應(yīng)急領(lǐng)域知識(shí)問(wèn)答的準(zhǔn)確性和可擴(kuò)展性。

表2 火災(zāi)應(yīng)急領(lǐng)域問(wèn)答語(yǔ)料的預(yù)測(cè)結(jié)果Tab.2 Forecast results of Q&A corpus for fire emergency domain

實(shí)驗(yàn)二:嘗試在CCKS2021生活服務(wù)知識(shí)圖譜問(wèn)答數(shù)據(jù)集上,將本文所提方法與傳統(tǒng)的Pipeline進(jìn)行第一組對(duì)比實(shí)驗(yàn);再將本文所提方法與CCKS2020新冠百科知識(shí)圖譜問(wèn)答評(píng)測(cè)任務(wù)的前兩名方案進(jìn)行第二組對(duì)比實(shí)驗(yàn),其中第一名為基于特征融合的中文知識(shí)庫(kù)問(wèn)答方法[8],第二名為基于預(yù)訓(xùn)練語(yǔ)言模型的檢索-匹配式問(wèn)答方法[9]。評(píng)估指標(biāo)采用平均F1值,設(shè)Q為問(wèn)句集合,i為問(wèn)句的編號(hào),Mi為在第i個(gè)問(wèn)句中模型預(yù)測(cè)的答案集合,A i為在第i個(gè)問(wèn)句中實(shí)際為正確的答案集合。計(jì)算公式如下:

實(shí)驗(yàn)二的預(yù)測(cè)結(jié)果見(jiàn)表3,可以看到本文所提出的問(wèn)答模型的性能仍顯著超越傳統(tǒng)Pipeline方法,但是與競(jìng)賽的先進(jìn)方案相比還是有一定的差距,分析原因具體如下:第一,CCKS競(jìng)賽中的問(wèn)句大多都是多跳復(fù)雜問(wèn)句,本文模型在多跳復(fù)雜問(wèn)句的表現(xiàn)上采用了模板擴(kuò)展的思路,有時(shí)未能覆蓋PKUBASE知識(shí)庫(kù)的全部路徑,導(dǎo)致路徑遺漏從而輸出錯(cuò)誤答案。第二,沒(méi)有考慮包含條件約束的問(wèn)句的處理方法,例如“北京外環(huán)內(nèi)最近的一家酒店的名稱(chēng)叫什么?”這類(lèi)問(wèn)句,蘊(yùn)含著限制條件和數(shù)值表達(dá)式,這種限制條件并未納入本文的考察范疇。

表3 CCKS2021生活服務(wù)問(wèn)答數(shù)據(jù)集的預(yù)測(cè)結(jié)果Tab.3 Forecast results of CCKS2021 life service Q&A dataset

5 結(jié)論(Conclusion)

本文面向火災(zāi)應(yīng)急知識(shí)圖譜設(shè)計(jì)了一種基于傳統(tǒng)信息檢索式的知識(shí)問(wèn)答Pipeline改進(jìn)方法,首先采用Task specific思想將實(shí)體識(shí)別、實(shí)體鏈接及實(shí)體路徑排序三個(gè)階段的模型輸出結(jié)果作為重要特征進(jìn)行保留,并利用XGBoost算法進(jìn)行特征融合,以避免上、下游任務(wù)的誤差傳遞問(wèn)題;其次引入Beam Search算法提升傳統(tǒng)路徑排序階段的推理速度,旨在提高問(wèn)答的搜索效率;最后提出遷移學(xué)習(xí)策略解決火災(zāi)領(lǐng)域小樣本模型學(xué)習(xí)問(wèn)題。

實(shí)驗(yàn)表明本文提出的方法與傳統(tǒng)方法相比獲得了不錯(cuò)的提升效果,可為火災(zāi)應(yīng)急知識(shí)的獲取提供精確的查詢(xún)手段。但是,本文對(duì)多意圖問(wèn)句的理解和路徑生成策略的研究較為欠缺,本文的路徑排序模板較難覆蓋多意圖的復(fù)雜問(wèn)句。此外,本文沒(méi)有對(duì)含有限制條件的問(wèn)句進(jìn)行約束,因此進(jìn)一步提升問(wèn)答模型的性能指標(biāo)、響應(yīng)速度,并側(cè)重于復(fù)雜問(wèn)句的理解和約束,是研究人員接下來(lái)的研究目標(biāo)。