肖發(fā)龍，吳岳忠，沈雪豪，何震凱，秦燁

(1.湖南工業(yè)大學軌道交通學院，湖南省株洲市412007；2.湖南旭瑞智能技術有限公司，湖南省株洲市412007；3.國網(wǎng)江蘇省電力有限公司儀征市供電公司，江蘇省揚州市211400)

0 引 言

隨著社會用電量不斷提升，對電網(wǎng)運行穩(wěn)定性和智能化程度提出了更高的要求，傳統(tǒng)的人工巡檢診斷工作模式由于人力成本高、診斷方式單一、數(shù)據(jù)管理不集中等問題，已經(jīng)不完全滿足實時、高效的電力設備診斷要求。因此，變電站巡檢工作面臨嚴峻挑戰(zhàn)，利用智能設備代替人工巡檢成為必然趨勢[1]。變電站電力設備在運行時一旦發(fā)生故障，可能會導致大規(guī)模大面積停電，給國民經(jīng)濟和工業(yè)生產(chǎn)帶來不可估量的損失。所以，保障電力供應安全就成為了保障國家戰(zhàn)略性能源安全的重要組成部分，尤其是保障電力系統(tǒng)的穩(wěn)定運行要以提高電網(wǎng)的智能化程度為主攻方向。智能巡檢是保障電網(wǎng)和電力設備安全、穩(wěn)定、經(jīng)濟運行的重要服務手段，是實現(xiàn)電網(wǎng)智能化的關鍵[2]。隨著5G網(wǎng)絡、大數(shù)據(jù)、互聯(lián)網(wǎng)、人工智能等高新技術的迅速發(fā)展，文本、圖像、視頻等多模態(tài)信息的數(shù)據(jù)呈指數(shù)增長，大量的數(shù)據(jù)信息和知識貼近人們對事物的認知。通過整合海量、多源、異構的故障診斷大數(shù)據(jù)，用于增強視覺場景的語義理解，結合這些信息進行有效的知識表達和知識推理，可以實現(xiàn)對變電站智能巡檢的分析和決策。

當前目標檢測算法[3]的核心是從獲取的圖像或視頻中找到特定的目標主體，利用視覺設備提取目標圖像并檢測，得到待診斷設備的狀況。基于機器視覺的設備故障診斷技術發(fā)展至今，已經(jīng)在機械制造、航空航天、運輸和工業(yè)生產(chǎn)等多領域得到廣泛應用。近年來，基于深度網(wǎng)絡模型的目標檢測算法大多只是通過堆疊的多層卷積和非線性運算進行特征提取。文獻[4]提出以多層卷積神經(jīng)網(wǎng)絡作為缺陷圖像特征提取的骨架網(wǎng)絡，融合注意力機制原理，進一步提升缺陷圖像特征的可辨識性，增強了變電設備缺陷圖像檢測的準確性與魯棒性；文獻[5]基于刻度變體特征的圖像識別對目標進行特征提取，應用局部二進制模式[6](local binary patterns,LBP)提取目標表面缺陷特征；文獻[7]提出一種更快的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(faster region-based convolutional neural networks,Faster R-CNN)[8]結合特征金字塔和可變性多層卷積的目標檢測方法，擴展了Faster R-CNN網(wǎng)絡結構對輸入圖片中不同尺度語義信息的讀取，提升了網(wǎng)絡對小目標的檢測能力；文獻[9]改進了YOLOv4骨干網(wǎng)，解決了電力設備目標檢測的定位難題，用于電力設備表面缺陷檢測；文獻[10]通過改進YOLOv4算法提高網(wǎng)絡對缺陷特征的提取能力，并用于檢測航空發(fā)動機部件表面缺陷。然而，上述研究大多是識別設備的缺陷，并未考慮提取缺陷特征之后的工作，在更高智能化和自主性診斷方面有待提升。

將知識圖譜技術[11]與視覺檢測算法相結合為智能巡檢領域提供了一種新的高效決策方法。文獻[12]提出一種基于注意力機制的雷達領域知識推薦方法，通過學習雷達知識多模態(tài)融合的特征表示，實現(xiàn)雷達技術知識的推薦；文獻[13]提出一種聯(lián)合學習框架，將知識圖譜中可解釋規(guī)則的歸納與規(guī)則引導神經(jīng)推薦模型的構建相結合，促進2個模塊在產(chǎn)生有效和可解釋的建議方面相輔相成；文獻[14]提出了文本增強知識圖譜嵌入模型，來執(zhí)行對實體、關系和文本的推論，該模型不僅非常適合建模其潛在特征的交互，而且非常適合在圖表中的實體之間建模路徑；文獻[15]提出一種便于知識圖譜檢索的挖掘框架，用于大型知識圖譜的在線挖掘，并提出知識圖譜中的有界搜索；文獻[16]提出了一種半自動知識圖譜構建技術,并將其應用于電網(wǎng)設備系統(tǒng)。

變電站設備的運行信息結構復雜、模態(tài)多樣，如何表達和存儲豐富的先驗知識，并將其自然地與視覺檢測算法相結合，輔助模型做智能決策，是本文解決的關鍵問題。為了實現(xiàn)在無人值守變電站環(huán)境下及時診斷設備是否發(fā)生故障，并針對故障完成智能決策，本文提出基于深度學習和知識圖譜的多模態(tài)語義模型，利用知識圖譜以三元組的形式對先驗知識進行表征和存儲，對變電站設備運行信息知識建模，通過基于深度學習的設備診斷檢測算法對設備及故障進行識別定位與分析決策，提升變電站運行過程中的感知水平和運維效率，保障人身和設備安全，助力變電站智慧物聯(lián)體系建設。本文的主要貢獻：一是利用知識圖譜對采集的信息進行統(tǒng)一表征和存儲，構建變電站設備及設備故障的知識圖譜庫；二是利用YOLOv4檢測算法對無人值守變電站設備進行實時檢測，將視覺檢測方法和知識圖譜相結合，使得機器具備與人類似的聯(lián)想能力，指導精準開展隱患排查；三是提出設備四診法(望—視覺檢測，聞—拾音檢測，問—知識圖譜查詢，切—紅外檢測)，實現(xiàn)變電站設備智能故障診斷。

1 模型設計

1.1 總體設計

為了實現(xiàn)在變電站場景中對設備及故障語義理解進而達到智能故障診斷目的，本文提出了基于深度學習和知識圖譜的多模態(tài)語義模型，模型總體框架如圖1所示，主要包含兩部分：多模態(tài)知識圖譜構建及應用和YOLOv4目標檢測算法應用。實現(xiàn)流程：首先，利用知識圖譜對采用四診法采集的多模態(tài)場景信息和互聯(lián)網(wǎng)信息中變電站設備的語義描述信息、屬性信息和空間位置信息等進行統(tǒng)一表征和存儲；其次，通過YOLOv4檢測算法對變電站場景中設備進行實時檢測；最后，再結合知識圖譜進一步輔助檢測模型去判別設備類別及是否發(fā)生故障，并提出相應防護措施及建議，實現(xiàn)一站式智能化決策。

1.2 知識圖譜構建

要達到模型對變電站運行場景信息的表示和存儲，其難點在于如何以統(tǒng)一的形式編碼包括圖像、視頻及文本等數(shù)據(jù)的信息知識。變電站設備故障知識圖譜由于其數(shù)據(jù)具有一定的領域性，故采用自頂向下的知識圖譜構建技術完成本體模型及數(shù)據(jù)層的構建。從變電站場景和互聯(lián)網(wǎng)絡中采集到的文本、圖像、視頻、音頻等數(shù)據(jù)選擇其中置信度較高的信息，添加進知識庫里，用于描述變電站設備的概念及其相互關系，然后利用圖數(shù)據(jù)庫以網(wǎng)絡化的模式存儲數(shù)據(jù)，實現(xiàn)知識圖譜的構建，使知識圖譜查詢能像人一樣去聯(lián)想，成為增強模型智能化及自主故障診斷的關鍵。變電站設備故障知識圖譜構建流程如圖2所示。

圖2 知識圖譜構建流程Fig.2 Construction process of knowledge graph

應用知識圖譜的主要目的就是輔助識別變電站在運行過程中各設備已存在的問題或潛在危險，找出危險形成的原因，并提出相應措施及建議，從而提高電力系統(tǒng)運行的安全性。其中本體規(guī)則的構建是構建變電站設備故障知識圖譜的重要任務。變電站設備本體的構建包涵了概念類別層次定義、概念屬性關系定義等步驟。本體概念類別劃分主要是對設備故障類型進行類別劃分與定義，按照其內部元素構成可分為以下幾類：設備類、部件類、故障原因類、建議及措施類。概念屬性關系定義能夠使得本體更加細化，進而形成具有良好結構的分類層次體系，每個故障類由設備、部件、故障原因、建議及措施構成，都能被抽象成實體與實體狀態(tài)形式描述，從而形成定義準確、結構清晰的變電站設備概念框架。

數(shù)據(jù)層的構建是用來對已搭建好的本體框架進行內容填充。知識圖譜的數(shù)據(jù)層通常采用三元組的形式<實體，關系，實體>描述實體和實體間的關系，例如：變壓器上套管有裂紋損傷，變壓器與套管的關系用三元組可以表示為<變壓器，部件，套管>，套管與裂紋損傷的關系用三元組可以表示為 <套管，故障，裂紋損傷>。每一個實體或概念都用節(jié)點來表示，而節(jié)點間的關系或屬性用邊來聲明，通過點與邊可將變電站場景內設備實體和關系構成用網(wǎng)絡化形式的語義圖表示，能有效、直觀地表示場景中設備-部件或本體-狀態(tài)的關系。首先對已采集的信息進行整理，完成對輸入語句的分詞和標注，通過詞向量(word to vector,word2vec)和翻譯嵌入(translating embeddings，TransE)分別對標注語料進行預訓練，生成詞向量并根據(jù)詞向量的余弦相似度來確定實體語義相似程度，實現(xiàn)實體語義的對齊和消歧。然后將預訓練得到的詞向量輸入到基于transformer的雙向編碼表示條件隨機場(bidirectional encoder representations from transformers conditional random fields，BERT-CRF)模型中進行領域命名實體識別，識別出信息中的關鍵實體以及實體狀態(tài)，將抽取出來的實體映射到之前構建好的知識本體概念節(jié)點當中，從而建立起實體之間關聯(lián)關系，實現(xiàn)本體框架與數(shù)據(jù)層之間的映射，在BERT層獲取當前詞的上下文信息，在CRF層對上下文之間的關聯(lián)關系進行更精準地推斷。最后，將當前流行的實體關系抽取模型BERT與卷積神經(jīng)網(wǎng)絡(convolutional neural networks，CNN)進行組合，同時引入注意力機制，構建基于BERT-CNN-Attention(bidirectional encoder representations from transformers-convolutional neural networks-attention)的實體關系抽取模型分析句法中不同詞的關系結構，抽取實體間的關系。

通過以上流程，將變電站設備信息轉化為結構化的三元組數(shù)據(jù)。由于文本數(shù)據(jù)和結構化數(shù)據(jù)都是來源于互聯(lián)網(wǎng)，必然不可避免地包含著重復的信息，因此可通過三元組篩選模塊，避免信息的重復添加。然后，根據(jù)定義的概念框架，將三元組知識聯(lián)結起來，結構化數(shù)據(jù)以圖的形式存儲在Neo4j圖數(shù)據(jù)庫中，直觀準確地反映變電站設備信息之間的聯(lián)系，最終形成知識圖譜。同時利用圖查詢語言，可以快速查出需要的數(shù)據(jù)，輔助智能變電站設備診斷及后續(xù)知識圖譜的應用開發(fā)。

1.3 YOLOv4檢測模型

YOLO[17-19]檢測網(wǎng)絡是一種實現(xiàn)回歸功能的檢測算法，最大的優(yōu)勢是檢測快，目前在諸多領域檢測中都獲得了不錯的成績。在YOLO模型中圖像被劃分為大小為S×S的網(wǎng)格，每個網(wǎng)格生成B個候選框，每個候選框通過網(wǎng)絡得到相應的邊界框，最終形成S×S×B個邊界框，目標物體由落入所在網(wǎng)格負責檢測。YOLOv4是在YOLO模型的基礎上進一步改進得到的,主要有3個方面改進：1)利用跨階段局部網(wǎng)絡[20](cross stage partial network,CSPNet)將Darknet53修改為CSPDarknet53，進一步促進了底層信息的融合，實現(xiàn)了更強的特征提取能力；2)利用空間金字塔池化[21](spatial pyramid pooling,SPP)在最后輸出時添加4種不同的最大池化(max-pooling)操作，進一步提取和融合特征，卷積核大小分別為(1×1)、(5×5)、(9×9)、(13×13)；3)將特征金字塔網(wǎng)絡[22](feature pyramid network,FPN)的結構修改為路徑聚合網(wǎng)絡[23](path aggregation network,PANet)，即在自底向上的結構基礎上增加一個自頂向下的結構。

YOLOv4相較于之前的網(wǎng)絡模型，在平均準確率(mean average precision,MAP)和每秒傳輸幀數(shù)(frames per second,FPS)上應用了CNN領域最優(yōu)秀的優(yōu)化方法，達到最優(yōu)平衡。如圖3所示，YOLOv4使用CSPdarknet53作為主干特征提取網(wǎng)絡去獲得有效特征層，之后使用了空間金字塔池化的結構，對經(jīng)過3次卷積后的特征進行最大池化，以增加網(wǎng)絡的感受野，利用路徑聚合網(wǎng)絡完成上采樣、下采樣、卷積、特征層融合等操作，提高目標缺陷的特征提取能力，最后Yolo Head對獲得的3個特征層進行解碼預測。YOLOv4的損失函數(shù)由完全交并比(complete intersection over union,CIOU)誤差作為回歸框預測誤差。損失函數(shù)可分為回歸框預測誤差Lloc、置信度誤差Lconf和分類誤差Lcls。

圖3 YOLOv4網(wǎng)絡結構圖Fig.3 Network structure of YOLOv4

損失函數(shù)由式(1)所示：

L=Lloc+Lconf+Lcls

(1)

回歸框預測誤差Lloc為：

(2)

(3)

(4)

式中：IOU(A,B)為預測框A和真實框B的交并比；ρ2(Actr,Bctr)為預測框和真實框的中心點的歐式距離，其中Actr、Bctr分別代表了預測框和真實框的中心點；m為同時包含預測框和真實框的最小封閉區(qū)域的對角線距離；wgt和hgt分別為真實框的寬、高；w和h分別為預測框的寬、高。

置信度誤差Lconf為：

(5)

分類誤差Lcls為：

(6)

2 實驗和評估

2.1 實驗環(huán)境配置

本文的實驗環(huán)境如表1所示，部分網(wǎng)絡參數(shù)說明如表2所示。

表1 實驗環(huán)境配置Table 1 Configuration of experimental environment

表2 網(wǎng)絡參數(shù)說明Table 2 network parameters

2.2 數(shù)據(jù)集制作

數(shù)據(jù)集的采集包括了在變電站內實際拍攝和使用Python程序爬取的變電站檢修記錄和圖像。為了保證圖像質量，將爬取圖像的寬度和高度都設置為至少大于500。數(shù)據(jù)采集好之后，首先對采集的檢修數(shù)據(jù)進行清洗和整理，共獲得1 436條設備故障數(shù)據(jù)，通過分析內部元素，將變電站設備共分為5個大類(變壓器、開關設備、防雷設備、電力電纜、配電設備)、24個部件(繼電器、母線、避雷針、絕緣子、呼吸器等)、19種故障類型(裂紋損傷、矽膠變色、掉落、脫落、螺絲松動、滲油污臟、脫漆銹蝕、斷股、燒毀、指示異常等)和相應的措施及建議。然后對采集的圖像數(shù)據(jù)進行人工篩選，主要去除重復、模糊、不一致的圖像，經(jīng)過篩選后選取824張高質量圖像作為初始數(shù)據(jù)集，并將這些圖像的大小統(tǒng)一處理為416×416像素。為了更好地適應復雜的變電站場景，采用離線數(shù)據(jù)增強方法對數(shù)據(jù)集進一步擴充，形成包含4 120張圖像的數(shù)據(jù)集。數(shù)據(jù)增強用于模擬變電站中的復雜場景，比如：陰天、暴雨、白霧等，這些天氣因素會根據(jù)光照強弱不同，使設備圖像灰度發(fā)生變化，對檢測造成很大的干擾。圖像數(shù)據(jù)獲取后，需要通過labelImg工具對各類圖像標注，將數(shù)據(jù)集中的圖像轉換為PASCAL VOC格式，并生成XML文件，如圖4所示。將圖像數(shù)據(jù)集以8∶1∶1的比例隨機劃分3 296張圖像作為訓練集，412張圖像作為驗證集，412張圖像作為測試集。

圖4 圖像標注示意圖 Fig.4 Schematic diagram of image annotation

2.3 目標檢測實驗指標

本實驗結果的評估標準主要有精度P、檢測速度FPS、召回率R、精度均值PmA。

(7)

(8)

(9)

(10)

式中：TP為將正類劃分為正類的數(shù)量；FP為將負類誤報為正類的數(shù)量；FN為將正類誤報為負類的數(shù)量；PA為平均精度，是衡量每個樣本分類器的性能指標；N(class)表示樣本總數(shù)。

2.4 實驗結果與分析

本文通過對比不同檢測算法在變電站巡檢環(huán)境下的性能表現(xiàn)，選擇能夠更好適應實際巡檢環(huán)境的模型，如表3所示。

從表3結果來看，對比Faster R-CNN、分層協(xié)作多智能體強化學習與技能發(fā)現(xiàn)(hierarchical corperative mluti-agent reinforcement learning with skill discovery，HSD)、豐富的特征引導細化網(wǎng)絡(guided refinement network，EFGRnet)、YOLOv3這4種算法，YOLOv4在檢測速度上有良好的優(yōu)勢，54幀/s的檢測速度可以滿足變電站巡檢工作需求。在目標檢測工作中召回率與檢測準確率往往會相互權衡，變電站場景下各設備大小差異大，存在相互遮擋的情況，檢測難度進一步增加，很容易造成檢測不準確、漏檢。YOLOv4在召回率上與其他4種模型差異不大，在檢測精度上是最優(yōu)的，使模型達到最優(yōu)平衡。圖5展示了YOLOv4網(wǎng)絡在測試圖像上的部分檢測結果。

表3 各算法檢測性能對比Table 3 Comparison of detection performance of the algorithms

圖5 YOLOv4網(wǎng)絡在測試圖像上的部分檢測結果Fig.5 Partial detection results of YOLOv4 network on the test images

圖6展示了局部變電站設備故障知識圖譜：圖譜中包含了5類設備的結構化信息，以及與設備相關的部件、故障原因、措施建議等信息。圖7所示為在知識圖譜中查詢設備分類及診斷的規(guī)則：利用知識圖譜結構化網(wǎng)絡化存儲知識的特性，使用Neo4j Cypher在知識圖譜中對檢測識別的目標實體與狀態(tài)進行查詢，返回實體變電站和與之相關的實體及屬性，完成故障診斷任務。

圖6 變電站設備故障知識圖譜(局部)Fig.6 Graph of substation fault knowledge (part)

圖7 知識圖譜查詢Fig.7 Knowledge graph query

診斷分析如表4所示，結合深度學習與知識圖譜，對4例故障事件進行分析。首先，通過視覺檢測得到初步的檢測結果；其次，將檢測結果作為查詢知識圖譜的輸入；最后，通過執(zhí)行Cypher查詢，返回診斷分析結果。

表4 診斷分析記錄Table 4 Diagnostic analysis records

3 結 論

為了實現(xiàn)更加智能化和自主性的變電站巡檢，本文研究了基于深度學習和知識圖譜的多模態(tài)語義模型，在原有目標檢測網(wǎng)絡YOLOv4架構基礎之上，引入知識圖譜對輸入的多模態(tài)信息進行統(tǒng)一表征和存儲，使得模型具備與人類相似的聯(lián)想能力，將YOLO目標檢測算法與知識圖譜相結合，進而達到對變電站場景中物體視覺理解的目的。

未來的工作一方面繼續(xù)增強其診斷能力，完善拾音檢測和紅外檢測的功能，完全實現(xiàn)應用四診法診斷變電站設備的潛在問題，提升模型的智能診斷能力；另一方面將模型部署到巡檢機器人上，結合激光傳感器獲取的室內場景柵格地圖，使巡檢機器人同時具備在變電站場景自主導航和對設備自主決策處理故障診斷的能力。