亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于BERT信息抽取的電力客服知識(shí)圖譜構(gòu)建方法

        2021-12-31 01:20:04國(guó)網(wǎng)河南信通公司張向聰王冰潔何軍霞
        電力設(shè)備管理 2021年13期
        關(guān)鍵詞:客服雙向圖譜

        國(guó)網(wǎng)河南信通公司 張向聰 王 浩 王 磊 王冰潔 何軍霞

        隨著智能電網(wǎng)的快速發(fā)展,在電力行業(yè),人工智能正快速地與電網(wǎng)領(lǐng)域相結(jié)合,信息通信技術(shù)迅速集成到電網(wǎng)的生產(chǎn)和企業(yè)管理中。信息通信系統(tǒng)是支持生產(chǎn)和管理開(kāi)發(fā)的智能網(wǎng)格的“中心神經(jīng)”。在信息通信方面,電力管理客服中存在著很多系統(tǒng),對(duì)每個(gè)系統(tǒng)問(wèn)答知識(shí)匹配時(shí),需要收集足夠多的問(wèn)題以及對(duì)知識(shí)內(nèi)容的存儲(chǔ),傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)可以支撐問(wèn)答系統(tǒng),但是在存儲(chǔ)復(fù)雜的關(guān)系網(wǎng)絡(luò)時(shí),關(guān)系型數(shù)據(jù)庫(kù)就表現(xiàn)得不如知識(shí)圖譜有效。之所以選擇知識(shí)圖譜,是因?yàn)槿藗冊(cè)谶壿嬌贤ǔ:茏匀皇褂妙?lèi)似圖的結(jié)構(gòu)來(lái)模擬或描述它們的特定問(wèn)題域。知識(shí)圖譜最有效、最直觀地表達(dá)出實(shí)體間、問(wèn)答間的關(guān)系。本次研究將提供一種基于BERT+BiLSTM+CRF[1]模型,從原始的操作手冊(cè)中抽取實(shí)體、實(shí)體關(guān)系以及問(wèn)答對(duì),構(gòu)建電力客服知識(shí)圖譜[2]。

        1 相關(guān)理論技術(shù)與研究

        Bert(Bidirectional Encoder Representation from Transformers)[3]是一個(gè)預(yù)訓(xùn)練模型。傳統(tǒng)的語(yǔ)言模型是把單向語(yǔ)言模型或者是把兩個(gè)獨(dú)立的語(yǔ)言模型在淺層進(jìn)行一個(gè)拼接的方法進(jìn)行預(yù)訓(xùn)練,他強(qiáng)調(diào)的并不是這種傳統(tǒng)的語(yǔ)言,而是采用新的masked language model(MLM),以致能生成深度的雙向語(yǔ)言表征。Bert 論文發(fā)表時(shí)提及在11個(gè)自然語(yǔ)言處理任務(wù)中獲得到的新結(jié)果,比以往的模型表現(xiàn)的都要好,令人驚訝。

        模型的介紹以及優(yōu)點(diǎn)如下:采用MLM 對(duì)雙向的Transformers 進(jìn)行預(yù)訓(xùn)練,以生成深層的雙向語(yǔ)言表征;進(jìn)行完預(yù)訓(xùn)練之后,再疊加一個(gè)輸出層,進(jìn)行fine-tune 操作,這樣就可以在不同的下游任務(wù)當(dāng)中提取到它的state-of-the-art 表現(xiàn)。有一個(gè)好處就是在這整個(gè)的一個(gè)過(guò)程當(dāng)中,不需要對(duì)模型的特定結(jié)構(gòu)進(jìn)行修改。

        條件隨機(jī)場(chǎng)(Conditional Random Fields)[4]是一個(gè)判別式模型。在條件隨機(jī)場(chǎng)當(dāng)中,有很多的特征函數(shù),正是因?yàn)檫@些特征函數(shù)才使得序列進(jìn)行了約束,得到一個(gè)條件概率,最后進(jìn)行標(biāo)注。比如在詞性標(biāo)注任務(wù)當(dāng)中,如果名詞后面還是名詞的話就是負(fù)分,在副詞后面是動(dòng)詞的話就是正分等。

        影視領(lǐng)域問(wèn)答系統(tǒng):利用知識(shí)圖譜的關(guān)系表達(dá)屬性,將收集的數(shù)據(jù)可以更加“擬人化”的存儲(chǔ)起來(lái),再利用NLP 意圖識(shí)別的技術(shù),可以很好地對(duì)電影、演員進(jìn)行相關(guān)問(wèn)答;知識(shí)圖譜推薦系統(tǒng):通過(guò)知識(shí)圖譜的以擴(kuò)展性以及本體連接性,將人物信息以本體形式存儲(chǔ),將人與人之間、人與事物之間緊密聯(lián)系,可以實(shí)現(xiàn)相互信息的推薦與推理。

        2 電力服務(wù)數(shù)據(jù)處理及BERT+BiLSTM+CRF 信息抽取

        隨著計(jì)算機(jī)和互聯(lián)網(wǎng)的發(fā)展,我們已經(jīng)從工業(yè)時(shí)代進(jìn)入信息時(shí)代。人工智能的時(shí)代已經(jīng)到來(lái),知識(shí)圖譜是信息時(shí)代通用的深化應(yīng)用和擴(kuò)展。本次針對(duì)的是一體化線損管理系統(tǒng),主要處理的數(shù)據(jù)是業(yè)務(wù)系統(tǒng)的操作手冊(cè)說(shuō)明書(shū),對(duì)于一般用戶(hù)問(wèn)的問(wèn)題基本上能查找到,但是如果本身不是業(yè)務(wù)人員,面對(duì)一系列的操作手冊(cè),也會(huì)無(wú)從下手,不知如何精確找到相關(guān)答案。針對(duì)這類(lèi)問(wèn)題,是將操作手冊(cè)數(shù)據(jù)梳理成知識(shí)圖譜數(shù)據(jù),配合意圖識(shí)別[5],就可以實(shí)現(xiàn)問(wèn)答系統(tǒng),實(shí)現(xiàn)用戶(hù)即使不是業(yè)務(wù)人員,也可以自己解決80%甚至更多的問(wèn)題。

        從電力知識(shí)獲取到圖譜構(gòu)建整體流程如下:獲取電力系統(tǒng)中的一體化線損管理系統(tǒng)所有操作手冊(cè),構(gòu)建原始文檔庫(kù);抽取操作手冊(cè)word 文檔數(shù)據(jù),梳理成初步結(jié)構(gòu)化數(shù)據(jù),存儲(chǔ)至Excel 中;對(duì)一體化線損管理系統(tǒng)初步知識(shí)數(shù)據(jù)進(jìn)行標(biāo)注;基于BERT 模型,微調(diào)進(jìn)行訓(xùn)練,實(shí)現(xiàn)一體化線損管理系統(tǒng)結(jié)構(gòu)化文檔數(shù)據(jù)的語(yǔ)義特征提??;基于BiLSTM+CRF 模型對(duì)語(yǔ)義特征進(jìn)行實(shí)體識(shí)別,提取知識(shí)概念以及相互聯(lián)系,構(gòu)建知識(shí)圖譜。

        對(duì)Bert 進(jìn)行fine-tune,在輸出層后疊加CRF層,這樣做的好處就是在這整個(gè)的過(guò)程當(dāng)中,不需要對(duì)模型的特定結(jié)構(gòu)進(jìn)行修改。

        輸入層:將句子輸入到模型中;數(shù)據(jù)預(yù)處理:將每個(gè)單詞映射到一個(gè)更高維度的空間,即字詞向量表征;Bert 層:bert 的主要框架是Transformer,使用的是一個(gè)雙向模型,所以可以更好地獲取到文本中的上下文關(guān)系,使用此模型來(lái)替代嵌入層;BiLSTM層:使用雙向LSTM 計(jì)算嵌入向量實(shí)際上是雙向LSTM 計(jì)算單詞向量,從而獲得更高級(jí)句子的向量。

        CRF 層:CRF 通俗來(lái)說(shuō)就是對(duì)結(jié)果的合理性進(jìn)行過(guò)濾,因?yàn)闃?biāo)簽本身是存在一些約束的,比如在詞性標(biāo)注時(shí),名詞后面不能接名詞,CRF 就是用來(lái)添加類(lèi)似這樣的約束,并且在訓(xùn)練CEF 時(shí)可以自動(dòng)學(xué)習(xí)這樣的約束。通過(guò)這一層,可以過(guò)濾掉一些不合理的結(jié)果,從而增加整體模型的準(zhǔn)確率;輸出層:將上一層輸出的特征輸入到Softmax 層,就是對(duì)所有的預(yù)測(cè)類(lèi)別進(jìn)行打分,挑選其中最大的一個(gè)作為預(yù)測(cè)結(jié)果。

        3 電力知識(shí)圖譜的構(gòu)建與應(yīng)用

        構(gòu)建知識(shí)圖譜的第一步,就是選擇知識(shí)圖譜的schema[6],不同schema 的知識(shí)圖譜對(duì)應(yīng)解決不同的問(wèn)題,由于是電力服務(wù)問(wèn)答方面的數(shù)據(jù),本身沒(méi)有很大的復(fù)雜性,所以我們采用三元組的形式將數(shù)據(jù)領(lǐng)域、關(guān)鍵字、問(wèn)題、答案串聯(lián)起來(lái)。針對(duì)數(shù)據(jù),主要的還是從中挑選哪些作為本體存儲(chǔ),哪些作為屬性存儲(chǔ)。本體指的是某個(gè)領(lǐng)域內(nèi)抽象概念的集合,它可以描述某個(gè)范圍內(nèi)一切事物的共有特征以及事物間的關(guān)系。將數(shù)據(jù)按上所說(shuō)形式生成CSV 文件,這樣可以更快地導(dǎo)入neo4j 圖數(shù)據(jù)庫(kù)中。對(duì)領(lǐng)域、關(guān)鍵字、問(wèn)題、答案使用CSV 導(dǎo)入語(yǔ)句,將數(shù)據(jù)按照不同聯(lián)系統(tǒng)一導(dǎo)入neo4j 圖數(shù)據(jù)庫(kù)中。

        知識(shí)圖譜構(gòu)建成功后就可設(shè)計(jì)應(yīng)用層面,本次構(gòu)建的是關(guān)于一體化線損管理系統(tǒng)中的客服數(shù)據(jù),所以此次圖譜設(shè)計(jì)的schema 主要是針對(duì)知識(shí)問(wèn)答。知識(shí)問(wèn)答又涉及到另一個(gè)模型了,就是意圖識(shí)別模型,在這里不做延伸,提供一個(gè)知識(shí)問(wèn)答的構(gòu)建思路。先要介紹一下Flask,因?yàn)樵谥R(shí)問(wèn)答系統(tǒng)中,用它來(lái)和前后端傳輸數(shù)據(jù),F(xiàn)lask 是由python 開(kāi)發(fā)的輕量的web 框架,小巧,靈活,一個(gè)腳本就可以啟動(dòng)一個(gè)web 項(xiàng)目,開(kāi)發(fā)的難度比較大,flask 好多的模塊是按照django 的思路開(kāi)發(fā)的。

        知識(shí)問(wèn)答的構(gòu)建,首先是對(duì)實(shí)體識(shí)別、意圖識(shí)別兩個(gè)模型進(jìn)行封裝,在調(diào)用模型時(shí)就更加方便,并且可以加快模型運(yùn)算速速(模型只加載一次);然后是要對(duì)不同的意圖編寫(xiě)不同的neo4j 查詢(xún)語(yǔ)句,這樣就可以對(duì)模型輸出的數(shù)據(jù)進(jìn)行實(shí)時(shí)的查詢(xún)返回真實(shí)的數(shù)據(jù);最后使用flask 將以上兩者整合,實(shí)現(xiàn)API 接口對(duì)傳進(jìn)來(lái)的數(shù)據(jù)返回對(duì)應(yīng)的查詢(xún)值。

        4 結(jié)語(yǔ)

        隨著信息化的進(jìn)展,電力服務(wù)數(shù)據(jù)慢慢地積累了下來(lái)。通過(guò)構(gòu)建電力服務(wù)[7]領(lǐng)域的知識(shí)圖譜,可以從龐大的數(shù)據(jù)中提取客服知識(shí),并合理有效地管理、共享和應(yīng)用,這對(duì)于今天以及未來(lái)的電力服務(wù)行業(yè)非常重要,對(duì)很多企業(yè)和研究機(jī)構(gòu)來(lái)說(shuō)也是研究的熱點(diǎn)。從知識(shí)圖譜的構(gòu)建和應(yīng)用的角度來(lái)看,本文實(shí)現(xiàn)了一體化線損管理系統(tǒng)知識(shí)圖譜的創(chuàng)建和應(yīng)用。電力服務(wù)知識(shí)圖譜通過(guò)結(jié)合圖譜和客服知識(shí),切實(shí)促進(jìn)電力數(shù)據(jù)的自動(dòng)化和智能處理,為電力行業(yè)帶來(lái)新的發(fā)展機(jī)會(huì)。知識(shí)圖譜很有發(fā)展前景,現(xiàn)在在社會(huì)中的很多領(lǐng)域都慢慢和人工智能聯(lián)系起來(lái)。在如今這個(gè)計(jì)算機(jī)、網(wǎng)絡(luò)、大數(shù)據(jù)、人工智能、機(jī)器學(xué)習(xí)等前沿科技迅速發(fā)展的大潮流下,相信知識(shí)圖譜的研究可以有更多的創(chuàng)新和突破!

        猜你喜歡
        客服雙向圖譜
        雙向度的成長(zhǎng)與自我實(shí)現(xiàn)
        出版人(2022年11期)2022-11-15 04:30:18
        繪一張成長(zhǎng)圖譜
        語(yǔ)音推銷(xiāo)
        敬業(yè)的客服
        補(bǔ)腎強(qiáng)身片UPLC指紋圖譜
        中成藥(2017年3期)2017-05-17 06:09:01
        主動(dòng)對(duì)接你思維的知識(shí)圖譜
        一種軟開(kāi)關(guān)的交錯(cuò)并聯(lián)Buck/Boost雙向DC/DC變換器
        一種工作頻率可變的雙向DC-DC變換器
        基于廣東“一張網(wǎng)”對(duì)內(nèi)客服模式的探討
        基于雙向預(yù)測(cè)的圖像去噪
        河南科技(2014年19期)2014-02-27 14:15:24
        无码91 亚洲| av在线免费播放网站| 青青草视频在线观看9| 美女脱了内裤露出奶头的视频| 亚洲av日韩aⅴ无码色老头| 香蕉久久人人97超碰caoproen| 精品一区二区三区在线观看视频 | 北条麻妃在线中文字幕| 日本一区二区在线高清观看| 特级精品毛片免费观看| 中文字幕无码免费久久| 久久精品国产亚洲av成人擦边| 日本女优激情四射中文字幕| 免费视频成人片在线观看| 在线中文字幕有码中文| 人妻丝袜中文字幕久久| 国产一区二区三区在线蜜桃| 极品av麻豆国产在线观看| av超碰在线免费观看| 在线免费午夜视频一区二区| 男女视频一区二区三区在线观看| 国产精品无码dvd在线观看| 曰欧一片内射vα在线影院| 三上悠亚久久精品| 日本加勒比东京热日韩| 五月婷婷丁香视频在线观看| 国产麻豆剧果冻传媒一区| 永久免费观看的毛片手机视频| 精品国产福利久久久| 中文字幕人妻久久一区二区三区| 亚洲国产精品久久久久久无码| 国产女女精品视频久热视频| 综合图区亚洲另类偷窥| 国产真实一区二区三区| 五月av综合av国产av| 欧美大香线蕉线伊人久久| 中日韩字幕中文字幕一区| 福利视频一区二区三区| 全免费a级毛片免费看网站| 韩国日本亚洲精品视频 | 国产免费的视频一区二区|