劉云厚，張艷杰，呂強(qiáng)

（國網(wǎng)技術(shù)學(xué)院，山東濟(jì)南 250002）

目前國家電網(wǎng)公司變電運(yùn)檢工作自動(dòng)化、智能化程度偏低，運(yùn)維日常工作如倒閘操作、設(shè)備巡視等內(nèi)容復(fù)雜度低，工作行為枯燥、重復(fù)，耗時(shí)耗力，人員工作負(fù)荷大、易疲勞，存在較大的事故隱患。工作現(xiàn)場管理監(jiān)督人員安全責(zé)任重、管理冗余度高，管理成本高昂[1-2]。目前對現(xiàn)場倒閘操作人員的管控模式主要有以下4 種：①操作票“五級審核制度”。具體流程為操作人擬票檢查—監(jiān)護(hù)人審核—運(yùn)維工作負(fù)責(zé)人審核—班組長審核—工區(qū)專責(zé)審核。②操作現(xiàn)場督察工作制度。運(yùn)維工作負(fù)責(zé)人、工區(qū)專責(zé)等無操作人員在現(xiàn)場操作過程中就位，倒閘操作現(xiàn)場督導(dǎo)檢查。③遠(yuǎn)程督察制度。通過遠(yuǎn)程監(jiān)控設(shè)備進(jìn)行現(xiàn)場工作錄像，工作后進(jìn)行抽查。④操作復(fù)誦制度。每執(zhí)行一步倒閘操作，都要由操作人復(fù)誦操作票，監(jiān)護(hù)人檢查確認(rèn)再進(jìn)行操作。

運(yùn)檢工作管理上人力成本高，操作機(jī)械性強(qiáng)，工作任務(wù)量大，工作人員易疲勞，造成了一定的安全隱患。全程監(jiān)控視頻只能事后查究，并且由于海量視頻數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)，且容量巨大，信息冗余度高，需要用“人眼”才能解讀。但面對巨量的視頻數(shù)據(jù)，若單純依靠“人眼”，不僅要耗費(fèi)大量的人力資源，而且還存在因個(gè)體差異性而導(dǎo)致的對視頻圖像的認(rèn)知偏差[3-4]。并且事后查閱也無法實(shí)時(shí)發(fā)現(xiàn)變電站現(xiàn)場存在的問題。

電網(wǎng)生產(chǎn)的勞動(dòng)條件和作業(yè)環(huán)境復(fù)雜，作業(yè)行為動(dòng)作不規(guī)范、進(jìn)行了危險(xiǎn)作業(yè)、未執(zhí)行（缺失）應(yīng)有的作業(yè)等極大安全隱患的行為普遍存在，但目前作業(yè)現(xiàn)場主要采用安全稽查、現(xiàn)場把關(guān)、遠(yuǎn)程盯防等管理手段，覆蓋面和及時(shí)性都不足。

1 變電站作業(yè)現(xiàn)場安全智能管控原理與深度學(xué)習(xí)機(jī)器視覺技術(shù)的應(yīng)用

借助人工智能技術(shù)能夠有效識別違規(guī)行為，提高作業(yè)過程中危險(xiǎn)點(diǎn)預(yù)控效果，做到及時(shí)提醒和制止違規(guī)行為，保障工作人員人身安全。借助人工智能機(jī)器視覺技術(shù)，不僅能以輔助督察手段對現(xiàn)場工作全程進(jìn)行安全管理，還能對海量備用數(shù)據(jù)進(jìn)行機(jī)器自動(dòng)識別排查，很大程度上降低了管理工作的負(fù)荷，實(shí)現(xiàn)了減員增效，同時(shí)也實(shí)現(xiàn)了變電站現(xiàn)場工作全程監(jiān)控、識別和在線指導(dǎo)，提高了變電站工作的安全性[5]。通過對基于人工智能深度學(xué)習(xí)的機(jī)器視覺技術(shù)的研究，可以實(shí)現(xiàn)變電站設(shè)備狀態(tài)、人員行為的機(jī)器視覺檢測與預(yù)警，不僅減輕了變電站運(yùn)維人員的工作負(fù)擔(dān)，還有效降低了運(yùn)維管理成本。隨著泛在電力物聯(lián)網(wǎng)的建設(shè)和人工智能關(guān)鍵技術(shù)在電網(wǎng)作業(yè)現(xiàn)場的推廣應(yīng)用，基于深度學(xué)習(xí)的機(jī)器視覺技術(shù)可實(shí)現(xiàn)對作業(yè)過程中的工作人員及設(shè)備進(jìn)行實(shí)時(shí)綜合管控，及時(shí)對安全隱患進(jìn)行預(yù)警，并可以實(shí)時(shí)糾正違規(guī)作業(yè)行為，降低電網(wǎng)、人身及設(shè)備安全風(fēng)險(xiǎn)，顯著提升公司對電力生產(chǎn)現(xiàn)場的安全管控能力，真正實(shí)現(xiàn)電網(wǎng)生產(chǎn)作業(yè)現(xiàn)場的“可控、能控、在控”，對保障電網(wǎng)安全生產(chǎn)與穩(wěn)定運(yùn)行具有重大意義。

創(chuàng)新智能高效的風(fēng)險(xiǎn)防控措施，基于人工智能圖像識別和移動(dòng)互聯(lián)等物聯(lián)網(wǎng)技術(shù)應(yīng)用，通過邊緣計(jì)算快速識別生產(chǎn)現(xiàn)場的環(huán)境風(fēng)險(xiǎn)、設(shè)備異常和人員作業(yè)違規(guī)行為，及時(shí)發(fā)現(xiàn)風(fēng)險(xiǎn)隱患并預(yù)警，提高風(fēng)險(xiǎn)防控能力。為提高防范等級，在傳統(tǒng)電子圍欄等安防傳感器基礎(chǔ)之上，加裝高清視頻裝置，實(shí)現(xiàn)對變電站周界環(huán)境全面感知。將安防傳感器、高清視頻等數(shù)據(jù)傳送到邊緣計(jì)算節(jié)點(diǎn)，智能開展站內(nèi)全景可視、越界智能分析、視頻跟蹤預(yù)警、聲光爆閃、語音警告等，并及時(shí)向運(yùn)維人員推送預(yù)警信息，實(shí)現(xiàn)站內(nèi)安防設(shè)備之間互聯(lián)互通、智能聯(lián)動(dòng)以及全方位立體安全防護(hù)。為變電運(yùn)檢人員的手機(jī)或者手持終端APP 配備具有位置信息和近場通信傳感器的設(shè)備間隔邊界、現(xiàn)場視頻監(jiān)控、移動(dòng)云臺(tái)等物聯(lián)網(wǎng)技術(shù)，通過邊緣計(jì)算，智能開展作業(yè)人員入場檢測、分組定位、電子圍欄布設(shè)、作業(yè)范圍劃分、區(qū)域檢測、運(yùn)動(dòng)檢測、作業(yè)監(jiān)控、違規(guī)告警，實(shí)現(xiàn)運(yùn)檢人員、設(shè)備間隔、作業(yè)范圍的人人互聯(lián)、人物互聯(lián)，避免運(yùn)檢人員誤入帶電間隔或是去工作現(xiàn)場監(jiān)護(hù)，確保運(yùn)檢人員人身安全?；谧鳂I(yè)現(xiàn)場信息的自動(dòng)感知與智能處理，實(shí)現(xiàn)變電設(shè)備的智能聯(lián)動(dòng)和人員行為的規(guī)范管控，推動(dòng)輸變電巡檢現(xiàn)場作業(yè)的信息化、智能化和規(guī)范化，最大限度減少漏檢、錯(cuò)檢發(fā)生，提高現(xiàn)場作業(yè)的質(zhì)量和效率。

深度學(xué)習(xí)機(jī)器視覺技術(shù)成果研發(fā)和應(yīng)用的途徑可以分為以下5 個(gè)階段。

技術(shù)研發(fā)：開展人工智能關(guān)鍵技術(shù)的研究與完善。研究電力人工智能算法與模型等核心技術(shù)，制定研究框架，實(shí)現(xiàn)對現(xiàn)場作業(yè)人員身份、設(shè)備及其運(yùn)行狀態(tài)、安全工器具使用（是否佩戴安全帽、絕緣手套）、儀器儀表等自動(dòng)檢測與識別。

產(chǎn)品測試：研發(fā)并測試基于人工智能技術(shù)的現(xiàn)場作業(yè)安全輔助系統(tǒng)。核心內(nèi)容包括可穿戴智能視覺記錄及分析系統(tǒng)、便攜式智能手持終端，實(shí)現(xiàn)對現(xiàn)場作業(yè)過程的實(shí)時(shí)管控和安全行為評價(jià)。同時(shí)，在國網(wǎng)技術(shù)學(xué)院實(shí)訓(xùn)220 kV 智能變電站、配網(wǎng)登桿作業(yè)等實(shí)訓(xùn)基地進(jìn)行試點(diǎn)應(yīng)用，實(shí)地測試、完善產(chǎn)品，實(shí)現(xiàn)對培訓(xùn)現(xiàn)場作業(yè)安全的實(shí)時(shí)在線監(jiān)控，規(guī)范參培學(xué)員的作業(yè)行為，并依據(jù)安全作業(yè)大數(shù)據(jù)的分析評價(jià)結(jié)果制定培訓(xùn)方案，提升參培學(xué)員的操作規(guī)范性和主動(dòng)安全意識。

示范應(yīng)用：選定某省公司的一個(gè)變電站作為示范應(yīng)用試點(diǎn)，測試現(xiàn)場作業(yè)安全輔助系統(tǒng)的應(yīng)用效果。對產(chǎn)品模型進(jìn)行優(yōu)化升級，以滿足現(xiàn)場工作需要。依據(jù)現(xiàn)場應(yīng)用測試結(jié)果，完善人工智能產(chǎn)品設(shè)計(jì)、模型采集訓(xùn)練、裝置測試及運(yùn)維方法，形成標(biāo)準(zhǔn)化生產(chǎn)技術(shù)。

宣傳推廣：利用中國電力企業(yè)聯(lián)合會(huì)平臺(tái)、中國人工智能學(xué)會(huì)智慧能源專委會(huì)、公司技術(shù)技能培訓(xùn)平臺(tái)及國際化交流平臺(tái)等進(jìn)行產(chǎn)品的宣傳推廣。

產(chǎn)品再開發(fā)：利用已有人工智能算法，針對煤炭、建筑等其他高危作業(yè)現(xiàn)場，進(jìn)行場景的拓展應(yīng)用研究，并進(jìn)行實(shí)用化測試與完善。

2 變電站作業(yè)現(xiàn)場智能安全管控的硬件體系結(jié)構(gòu)與核心算法技術(shù)

2.1 硬件體系結(jié)構(gòu)

以全站固定式視頻監(jiān)控和可穿戴式便攜智能攝像設(shè)備為視頻采集單元，采用深度學(xué)習(xí)的方法實(shí)現(xiàn)多攝像頭人員檢測與跟蹤、關(guān)鍵性物體（工具、設(shè)備、文字、人、動(dòng)物等）識別、典型違規(guī)行為識別，進(jìn)行現(xiàn)場與后臺(tái)兩級職能分析，提供語音交互警示、后臺(tái)存儲(chǔ)數(shù)據(jù)并方便檢索等關(guān)鍵功能。涉及的關(guān)鍵物體包括標(biāo)識牌、絕緣手套、驗(yàn)電工具、操作按鈕、專用鑰匙、安全帽等。變電站作業(yè)現(xiàn)場智能安全管控的硬件體系結(jié)構(gòu)如圖1 所示。

圖1 變電站作業(yè)現(xiàn)場智能安全管控的硬件體系結(jié)構(gòu)

其中固定位攝像頭的視頻信號將在后場系統(tǒng)中進(jìn)行集中收集和處理，通過邊緣計(jì)算網(wǎng)關(guān)完成目標(biāo)識別任務(wù)和部分行為檢測任務(wù)。按照目前設(shè)備的情況，主要完成人員位置監(jiān)控等功能。智能穿戴式攝像設(shè)備配置在端側(cè)，在不依賴實(shí)時(shí)網(wǎng)絡(luò)連接的情況下，以第一人稱視角完成關(guān)鍵物體識別和違規(guī)行為識別任務(wù)。其中人員身份驗(yàn)證需要通過云端人臉數(shù)據(jù)進(jìn)行比對計(jì)算，以保證準(zhǔn)確性與可靠性。在完成操作之后，各類智能設(shè)備將把數(shù)據(jù)自動(dòng)上傳至后臺(tái)管理系統(tǒng)進(jìn)行匯總與備份，以供后期實(shí)時(shí)檢索。同時(shí)，操作票管理系統(tǒng)可以根據(jù)現(xiàn)行的操作規(guī)范對操作人員的整體行為進(jìn)行評分。后臺(tái)安防管理系統(tǒng)提供標(biāo)準(zhǔn)軟件接口，以供其他系統(tǒng)調(diào)用評分結(jié)果與工作圖像。

對于可穿戴式設(shè)備而言，采用便攜式視覺設(shè)備有2 種備選方案：純GPU 實(shí)現(xiàn)和以CPU 為主實(shí)現(xiàn)。GPU計(jì)算能力強(qiáng)，但是笨重、耗電。CPU 便攜性好、微功耗，計(jì)算能力弱于GPU，但是算法處理得當(dāng)?shù)脑捒梢赃_(dá)到識別要求，更適合工業(yè)場景應(yīng)用。并且CPU 可以與圖形計(jì)算單元GPU 及神經(jīng)網(wǎng)絡(luò)計(jì)算單元NPU 進(jìn)行組合配置，達(dá)到高效識別的效果。系統(tǒng)的核心視覺設(shè)備為可穿戴式便攜智能攝像設(shè)備，具有移動(dòng)式CPU+GPU/NPU 組合計(jì)算能力。整機(jī)體積重量與便攜式運(yùn)動(dòng)相機(jī)相當(dāng)，方便固定在工作服或者安全頭盔之上，同時(shí)需要有一定的三防功能?？刹捎肁RM v8 CPU+NPU Mali 移動(dòng)版GPU+NPU 的方式進(jìn)行前期設(shè)計(jì)，具備深度人工智能算法運(yùn)行的軟硬件條件。后續(xù)將根據(jù)具體的場景要求進(jìn)行優(yōu)化，盡量控制整機(jī)的硬件成本，其定位于可進(jìn)行量產(chǎn)的穩(wěn)定可靠的工業(yè)產(chǎn)品。核心問題在于硬件成本、設(shè)備續(xù)航和人工智能關(guān)鍵技術(shù)點(diǎn)完成度之間如何達(dá)到比較理想的平衡情況。計(jì)算網(wǎng)關(guān)和綜合服務(wù)器擬采用標(biāo)準(zhǔn)化的商業(yè)化產(chǎn)品，可以在現(xiàn)有設(shè)備的基礎(chǔ)上進(jìn)行升級改造。

2.2 智能管控的關(guān)鍵算法

智能管控算法的核心是形成從物體識別到行為判定的完整算法解決方案。

2.2.1 關(guān)鍵物體識別算法解決方案

通過前期研究發(fā)現(xiàn)，針對變電站內(nèi)的識別目標(biāo)，通過改進(jìn)關(guān)鍵的機(jī)器視覺算法，提高識別準(zhǔn)確度，在理論上和工程上都是可行的。需要針對變電站的實(shí)際場景進(jìn)行數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注和清洗。

數(shù)據(jù)采集包括以下2 個(gè)維度：①物體的不同狀態(tài)，如不同型號，不同位置、角度和距離等。②不同的光照、天氣和室內(nèi)外環(huán)境因素對物體的影響數(shù)據(jù)。

以視頻時(shí)間為參考依據(jù)，至少需要錄制20 h 左右的原始有效視頻數(shù)據(jù)，篩選出20 萬～30 萬張工作場景數(shù)據(jù)，然后組織人力進(jìn)行數(shù)據(jù)標(biāo)注。在前期對目前常用的在線物體識別算法Yolo、SSD 等不同算法的綜合比較情況下，對于變電站場景目標(biāo)識別擬采用的實(shí)施方案如下：基于現(xiàn)有的算法，針對變電站內(nèi)的工作環(huán)境和業(yè)務(wù)需求進(jìn)行算法改進(jìn)和優(yōu)化。

Yolo 和SSD 都屬于近年來較為流行的物體識別方法，屬一步檢測（one-stage）方法，即用一個(gè)神經(jīng)網(wǎng)絡(luò)一次性完成物體區(qū)域的檢測和識別分類。Yolo 結(jié)構(gòu)較為簡單，核心點(diǎn)在于用一個(gè)全連接層進(jìn)行物體的分類，能夠進(jìn)行不同尺度的物體分類，對于體積較大的物體也能夠很好地識別。SSD 算法的核心點(diǎn)在于一個(gè)基礎(chǔ)CNN 網(wǎng)絡(luò)之上添加多尺度特征和卷積層，進(jìn)行一次性判別，其特點(diǎn)在于運(yùn)算速度更快，非常適合運(yùn)行于便攜式設(shè)備，并且對于小物體的識別較為適用。本研究應(yīng)用SSD 算法對數(shù)據(jù)進(jìn)行了重新組織，形成了解決方案[6]。

2.2.2 行為識別算法解決方案

根據(jù)現(xiàn)有的標(biāo)準(zhǔn)操作規(guī)范，同時(shí)結(jié)合各省市典型違規(guī)操作案例，對違規(guī)行為進(jìn)行場景語義級別的劃分與標(biāo)注，然后在物體識別的基礎(chǔ)上通過語義理解的神經(jīng)網(wǎng)絡(luò)模型對行為進(jìn)行智能判別。同時(shí)，提供軟件接口與操作票系統(tǒng)進(jìn)行數(shù)據(jù)交互。操作票內(nèi)容以及危險(xiǎn)預(yù)警可以通過預(yù)先設(shè)計(jì)的語音合成內(nèi)容來實(shí)現(xiàn)，以資源推送更新的方式對設(shè)備中的語音播報(bào)內(nèi)容進(jìn)行持續(xù)更新[7]。

關(guān)鍵行為包括人臉識別準(zhǔn)入與安全帽佩戴管理、間隔確認(rèn)管理、驗(yàn)電行為管理（戴絕緣手套、電壓等級確認(rèn)）和解鎖操作行為管理（操作過程解鎖工具識別）。

行為識別的關(guān)鍵在于人體動(dòng)作的標(biāo)定，即基于人體關(guān)鍵點(diǎn)檢測研究人體分割識別和基礎(chǔ)姿勢識別方法。運(yùn)用當(dāng)前較為成熟的人員身份識別技術(shù)，建立員工身份數(shù)據(jù)系統(tǒng)，實(shí)現(xiàn)變電站工作過程中人員身份的高效管理。

2.2.3 算法的適應(yīng)性

算法的適應(yīng)性主要體現(xiàn)在天氣光線的影響以及各種設(shè)備型號之間的差異，采用如下方案：①采用蒙特卡洛數(shù)據(jù)增廣技術(shù)對數(shù)據(jù)進(jìn)行超大規(guī)模增廣，以提高算法模型的泛化能力，適應(yīng)多種不同的光照天氣環(huán)境；②結(jié)合歸納式和無監(jiān)督式遷移學(xué)習(xí)，對已有的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改造，使得能夠以較低的技術(shù)成本在變電站內(nèi)實(shí)施可持續(xù)的維護(hù)。

3 結(jié)論

基于深度學(xué)習(xí)機(jī)器視覺的變電運(yùn)檢安全保障潛力巨大，以電力行業(yè)中變電站作業(yè)現(xiàn)場為例，國網(wǎng)公司目前具備配置變電運(yùn)檢安全保障裝置條件的220 kV以上變電站7 000 余座，如果在每個(gè)變電站應(yīng)用該技術(shù)，將產(chǎn)生巨大的市場規(guī)模。本文研究了先進(jìn)的人工智能算法，旨在形成從物體識別到行為判定的完整算法解決方案。研究人工智能機(jī)器視覺技術(shù)與后臺(tái)安防系統(tǒng)分析系統(tǒng)的數(shù)據(jù)信息智能融合技術(shù)，以便攜式設(shè)備為核心，結(jié)合固定式攝像頭形成完整的智能安全監(jiān)護(hù)產(chǎn)品。采用移動(dòng)式CPU+GPU/NPU 端側(cè)/邊緣側(cè)組合計(jì)算技術(shù)，具有便攜、功耗低、硬件成本低、實(shí)時(shí)計(jì)算可不依賴網(wǎng)絡(luò)連接等優(yōu)點(diǎn)，有利于后續(xù)的大規(guī)模推廣，有利于針對野外現(xiàn)場作業(yè)有關(guān)需求的新產(chǎn)品的進(jìn)一步開發(fā)。

此技術(shù)不僅可以在發(fā)輸變配用各環(huán)節(jié)現(xiàn)場作業(yè)中進(jìn)行應(yīng)用，還可以推廣至煤炭、建筑等高危行業(yè)中，發(fā)展前景廣闊，具有很高的經(jīng)濟(jì)價(jià)值和社會(huì)價(jià)值。