亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        前端化目標(biāo)檢測(cè)技術(shù)在電力巡檢中的應(yīng)用研究

        2022-02-14 09:56:46楊學(xué)杰曹付勇王一夔許榮浩
        山東電力技術(shù) 2022年1期
        關(guān)鍵詞:輕量化變電站機(jī)器人

        楊學(xué)杰,宋 凱,曹付勇,王一夔,許榮浩

        (1.國(guó)網(wǎng)山東省電力公司淄博供電公司,山東 淄博 255000;2.國(guó)網(wǎng)智能科技股份有限公司,山東 濟(jì)南 250101)

        0 引言

        當(dāng)前深度學(xué)習(xí)模型在輸變電巡檢中的應(yīng)用不斷深入,為適應(yīng)輸變電巡檢中巡檢目標(biāo)種類繁多、巡檢場(chǎng)景復(fù)雜的現(xiàn)狀,深度學(xué)習(xí)巡檢模型采用深網(wǎng)絡(luò)、大參數(shù)進(jìn)行訓(xùn)練。其最終模型體積大,對(duì)硬件資源占用大、推理速度慢、功耗高,過度依賴后端服務(wù)器,響應(yīng)不及時(shí),不適用于移動(dòng)設(shè)備和嵌入式設(shè)備[1]。

        為解決此問題,針對(duì)輸電線路巡檢,方遠(yuǎn)征等[2]研究了無人機(jī)自動(dòng)避障在輸電線路巡檢中的應(yīng)用,但無法使用無人機(jī)實(shí)現(xiàn)輸電線路自動(dòng)巡檢;李寧等[3]提出了無人機(jī)巡檢數(shù)據(jù)智能管理平臺(tái)的方案,此方法需無人機(jī)將巡檢圖像回傳至后臺(tái)分析;陳嘉琛等[4]提出改進(jìn)的YOLOv3算法,需依賴高算力服務(wù)器,且識(shí)別速度無法滿足實(shí)時(shí)性要求;周仿榮等[5]提出的另一種YOLOv3 改進(jìn)方法,可在GTX 1080Ti 顯卡實(shí)現(xiàn)40 幀/s 的推理速度,但須回傳服務(wù)器;馮源等[6]提出了一種基于深度學(xué)習(xí)模型小型化技術(shù)的輸電線路智能巡檢方案,該方案主要將深度學(xué)習(xí)小型化模型應(yīng)用于輸電線路通道可視化監(jiān)拍中,其識(shí)別速度為0.5幀/s,無法滿足實(shí)時(shí)作業(yè)要求;針對(duì)變電站設(shè)備巡檢,林煒等[7]提出通過紅外圖像采集,實(shí)現(xiàn)變電設(shè)備的巡檢與缺陷檢測(cè),但需將巡檢圖像回傳至服務(wù)器,實(shí)時(shí)性較低;尹子會(huì)等[8]提出融合邊緣計(jì)算和改進(jìn)Faster R-CNN 的變電站設(shè)備典型視覺缺陷檢測(cè)系統(tǒng),將Faster R-CNN 模型移植進(jìn)入前端模塊,但其檢測(cè)速度低,實(shí)時(shí)性差;蘇華權(quán)等[9]提出基于邊緣計(jì)算的電網(wǎng)邊緣側(cè)設(shè)備缺陷智能識(shí)別模型,采用動(dòng)態(tài)時(shí)間規(guī)整算法和樹突神經(jīng)元模型對(duì)設(shè)備缺陷進(jìn)行識(shí)別,但對(duì)在視野內(nèi)占比較小的缺陷識(shí)別率低。曾林等[10]研究了變電站機(jī)器人多維巡檢技術(shù),結(jié)合空間區(qū)域融合濾波實(shí)現(xiàn)變電站視頻實(shí)時(shí)監(jiān)控跟蹤,但其識(shí)別模型部署于后臺(tái)服務(wù)器,實(shí)時(shí)性差;周博曦等[11]設(shè)計(jì)了基于人工神經(jīng)網(wǎng)絡(luò)與有限狀態(tài)機(jī)的變電站告警處理系統(tǒng),對(duì)變電站告警信息進(jìn)行處理,但其拓?fù)浣Y(jié)構(gòu)復(fù)雜,網(wǎng)絡(luò)特征要求高,魯棒性較差。綜上所述,當(dāng)前在電力巡檢中,還未出現(xiàn)可同時(shí)滿足邊緣側(cè)部署、實(shí)時(shí)性高和識(shí)別精度高的巡檢模型或系統(tǒng)。

        研究深度學(xué)習(xí)模型輕量化方法,提出層間合并、參數(shù)量化的模型壓縮方法,將深度學(xué)習(xí)模型體積壓縮為原模型的60%,降低模型內(nèi)存占用和推理顯存占用,模型推理效率提升10~20 倍;研究輕量化模型在電力巡檢邊端側(cè)的應(yīng)用方式,結(jié)合輸變電巡檢場(chǎng)景,設(shè)計(jì)電力巡檢圖像前端化目標(biāo)檢測(cè)系統(tǒng),與輸電線路巡檢無人機(jī)及云端無人機(jī)管控系統(tǒng)結(jié)合,形成輸電線路無人機(jī)智能巡檢系統(tǒng),與變電站巡檢機(jī)器人和變電站監(jiān)控設(shè)備結(jié)合及集控站服務(wù)器結(jié)合,對(duì)變電站巡檢設(shè)備進(jìn)行智能化升級(jí),構(gòu)建輸變電“云-邊-端”協(xié)同運(yùn)檢體系,提升電力巡檢效率、降低了巡檢成本。

        1 模型輕量化方法

        針對(duì)模型輕量化要求模型體積小、推理速度快的特點(diǎn),基本模型選擇目標(biāo)檢測(cè)經(jīng)典網(wǎng)絡(luò)YOLOv3[12],YOLOv3 為單階段檢測(cè)方法,共107 層網(wǎng)絡(luò),其中,0~74 層為卷積層和res 層;75~106 層為YOLO 網(wǎng)絡(luò)的特征交互層,具備檢測(cè)、分類和回歸功能[13]。其模型占用存儲(chǔ)空間最小為240MB,在移動(dòng)設(shè)備對(duì)1 920×1 080 分辨率視頻最快推理速度為0.5 幀/s。為降低模型占用內(nèi)存,提高推理速度,須在保持模型精度的同時(shí),減少模型網(wǎng)絡(luò)層數(shù)、權(quán)重參數(shù)個(gè)數(shù)及推理計(jì)算復(fù)雜度[14-17],針對(duì)此問題提出層間合并、參數(shù)量化的模型輕量化方法,對(duì)模型網(wǎng)絡(luò)層進(jìn)行合并剪枝與參數(shù)復(fù)用合并,降低網(wǎng)絡(luò)層數(shù)和權(quán)重參數(shù)數(shù)量;對(duì)權(quán)重參數(shù)進(jìn)行低精度量化,減少模型推理計(jì)算過程的復(fù)雜度和計(jì)算量。層間合并剪枝,首先對(duì)豎直方向網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行整合,豎直方向同一結(jié)構(gòu)的網(wǎng)絡(luò)層合并為一個(gè)卷積層、偏置量和激活函數(shù)的合并層(Convolution Bias and Relu,CBR),然后將水平方向同結(jié)構(gòu)的CBR 層合并為一層,最后將cancat的輸入和input 合并,減少數(shù)據(jù)在網(wǎng)絡(luò)結(jié)構(gòu)的傳輸路徑,減少傳輸吞吐量,最終實(shí)現(xiàn)復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)的精簡(jiǎn)。層間合并剪枝如圖1 所示。其中,conv 為卷積層;bias為偏置量;relu為激活函數(shù);concat為網(wǎng)絡(luò)層連接計(jì)算;max pool 為最大池化層;input 為網(wǎng)絡(luò)層輸入;next input為下一層網(wǎng)絡(luò)輸入。

        圖1 層間合并剪枝實(shí)現(xiàn)方案

        權(quán)重參數(shù)整型量化,主要是通過減少表示每個(gè)權(quán)重所需的比特?cái)?shù)來壓縮原始網(wǎng)絡(luò)[18],主要方式包括二值化網(wǎng)絡(luò)[19]、三值化網(wǎng)絡(luò)[20]轉(zhuǎn)化及int8 量化等。因YOLOv3 模型每個(gè)層的權(quán)重參數(shù)范圍基本確定,且波動(dòng)不大,故可以通過量化實(shí)現(xiàn)模型內(nèi)存占用的減少和計(jì)算量的降低。int8量化相比二值化網(wǎng)絡(luò)和三值化網(wǎng)絡(luò),保留的權(quán)重特征更多,更容易通過微調(diào)實(shí)現(xiàn)精度的保留[21],本文使用int8 對(duì)卷積計(jì)算過程中的float32類型數(shù)據(jù)進(jìn)行量化。

        float32 量化為int8,首先準(zhǔn)備一個(gè)校準(zhǔn)數(shù)據(jù)集,并對(duì)模型的每一層收集激活值的直方圖,基于不同的閾值將激活值映射到±128 范圍內(nèi),對(duì)校準(zhǔn)數(shù)據(jù)進(jìn)行推理,產(chǎn)生不同的量化分布,然后計(jì)算每個(gè)分布與原分布的相對(duì)熵,選擇相對(duì)熵最小的分布,作為最終的模型映射閾值。int8量化過程如圖2所示。

        圖2 int8量化過程

        經(jīng)層間合并、參數(shù)量化的模型輕量化方法對(duì)YOLOv3 模型進(jìn)行壓縮后,YOLOv3 模型性能比較如表1所示。

        表1 YOLOv3模型輕量化前后性能

        經(jīng)模型輕量化方法對(duì)YOLOv3 進(jìn)行輕量化壓縮后,其模型占用存儲(chǔ)空間降低為原模型的60%,顯存占用降低為原模型的40%,推理速度比原模型提升20倍。

        2 電力巡檢圖像前端化目標(biāo)檢測(cè)系統(tǒng)設(shè)計(jì)

        邊緣側(cè)設(shè)備可通過部署輕量化模型,形成電力巡檢圖像前端化目標(biāo)檢測(cè)系統(tǒng),對(duì)終端執(zhí)行部件進(jìn)行智能控制,實(shí)現(xiàn)邊緣側(cè)執(zhí)行設(shè)備的智能作業(yè)。輕量化模型在邊緣側(cè)設(shè)備的部署內(nèi)容主要包括:輕量化模型的移植、視頻圖像等信息流的采集與預(yù)處理、信息流的推理及結(jié)果輸出和邊緣側(cè)設(shè)備與執(zhí)行設(shè)備的交互。電力巡檢圖像前端化目標(biāo)檢測(cè)系統(tǒng)整體設(shè)計(jì)架構(gòu)如圖3 所示。電力巡檢圖像前端化目標(biāo)檢測(cè)系統(tǒng)包括信息流處理接口模塊、處理器模塊、推理結(jié)果顯示接口模塊、交互通信接口模塊。其中,處理器模塊作為邊緣設(shè)備的中心模塊主要負(fù)責(zé)對(duì)信息流數(shù)據(jù)的分發(fā)和輕量化模型加載及對(duì)信息流的推理;信息流接收處理接口模塊負(fù)責(zé)由設(shè)備獲取視頻圖像等信息流,并對(duì)信息流進(jìn)行預(yù)處理,然后送入處理器模塊,有推理芯片對(duì)信息流進(jìn)行推理檢測(cè),將檢測(cè)結(jié)果傳入推理結(jié)果顯示接口和交互通信接口;交互通信接口負(fù)責(zé)與終端執(zhí)行機(jī)構(gòu)的交互控制,根據(jù)處理器推理結(jié)果,控制執(zhí)行機(jī)構(gòu)進(jìn)行相應(yīng)的運(yùn)動(dòng);推理結(jié)果顯示接口負(fù)責(zé)將推理結(jié)果以可視化的方式呈現(xiàn)在顯示設(shè)備上。

        圖3 電力巡檢圖像前端化目標(biāo)檢測(cè)系統(tǒng)整體設(shè)計(jì)架構(gòu)

        電力巡檢圖像前端化目標(biāo)檢測(cè)系統(tǒng)的核心在于獲取視頻圖像等信息流,并對(duì)信息流進(jìn)行推理的過程,此過程直接對(duì)1 920×1 080 視頻流進(jìn)行推理最快只有10 幀/s,實(shí)時(shí)性不夠強(qiáng),本文采用批處理的方式,可實(shí)現(xiàn)20 幀/s 的處理速度,具體實(shí)現(xiàn)方案為:以h264 格式的視頻流為例,首先獲取一批8 幀的h264視頻流進(jìn)行解碼,獲取完整的視頻流信息,將8 幀h264 數(shù)據(jù)流信息按順序合并為一幀視頻流信息,將視頻流信息送入推理芯片進(jìn)行推理,將推理結(jié)果重新解析為8 幀數(shù)據(jù)結(jié)果輸出。視頻流推理實(shí)現(xiàn)方案如圖4所示。

        圖4 視頻流推理方案

        3 電力巡檢圖像前端化目標(biāo)檢測(cè)系統(tǒng)在輸變電巡檢的應(yīng)用

        電力巡檢圖像前端化目標(biāo)檢測(cè)系統(tǒng)在輸變電巡檢中的應(yīng)用,基于視覺反饋伺服控制策略,實(shí)現(xiàn)機(jī)器人相機(jī)視頻流推理,自動(dòng)檢測(cè)識(shí)別輸變電設(shè)備缺陷在圖像中的位置,實(shí)時(shí)調(diào)整云臺(tái)保持目標(biāo)在視場(chǎng)中央,并控制相機(jī)自動(dòng)變焦,對(duì)缺陷進(jìn)行自主采集。視覺反饋伺服控制策略實(shí)現(xiàn)方案如圖5所示。

        圖5 視覺反饋伺服控制策略實(shí)現(xiàn)方案

        3.1 電力巡檢圖像前端化目標(biāo)檢測(cè)系統(tǒng)在輸電線路巡檢無人機(jī)的應(yīng)用

        將電力巡檢圖像前端化目標(biāo)檢測(cè)系統(tǒng)與輸電線路巡檢無人機(jī)及云端無人機(jī)管控系統(tǒng)結(jié)合,設(shè)計(jì)了輸電線路無人機(jī)智能巡檢系統(tǒng),建立了輸電線路巡檢“云-邊-端”協(xié)同運(yùn)檢體系。其系統(tǒng)組成如圖6 所示,無人機(jī)管控系統(tǒng)作為云端,負(fù)責(zé)整體無人機(jī)作業(yè)管控規(guī)劃,無人機(jī)與電力巡檢圖像前端化目標(biāo)檢測(cè)系統(tǒng)構(gòu)成“邊-端”側(cè),可實(shí)現(xiàn)大視場(chǎng)下小目標(biāo)的實(shí)時(shí)搜索定位與載荷平臺(tái)視覺反饋控制和巡檢過程中桿塔、絕緣子、金具等設(shè)備缺陷的實(shí)時(shí)自主辨識(shí)與自主采集。電力巡檢前端化目標(biāo)檢測(cè)系統(tǒng)由無人機(jī)云臺(tái)相機(jī)獲取視頻流,對(duì)視頻流進(jìn)行實(shí)時(shí)推理檢測(cè),獲取缺陷設(shè)備在相機(jī)視場(chǎng)的位置,通過飛控系統(tǒng),調(diào)整無人機(jī)飛行姿態(tài)和相機(jī)的云臺(tái)方向,將缺陷設(shè)備調(diào)整至視野中央,開啟自動(dòng)采集功能,實(shí)現(xiàn)缺陷設(shè)備的現(xiàn)場(chǎng)實(shí)時(shí)自主識(shí)別和自動(dòng)采集,同時(shí)將設(shè)備缺陷信息上傳至云端無人機(jī)管控系統(tǒng),生成設(shè)備缺陷信息,下發(fā)至巡檢人員。

        圖6 輸電線路無人機(jī)智能巡檢系統(tǒng)組成

        輸電線路無人機(jī)智能巡檢系統(tǒng)與人工巡檢功能比較如表2所示。

        表2 智能巡檢系統(tǒng)與人工巡檢比較

        智能巡檢系統(tǒng)與人工巡檢相比,圖像分析方式由人工上傳后臺(tái)的非實(shí)時(shí)升級(jí)為實(shí)時(shí)分析,圖像分析效率為20 幀/s,可實(shí)現(xiàn)設(shè)備缺陷的全自主分析和自動(dòng)采集,作業(yè)效率提升至原來的5倍。

        3.2 電力巡檢圖像前端化目標(biāo)檢測(cè)系統(tǒng)在變電站巡檢機(jī)器人中的應(yīng)用

        變電站巡檢機(jī)器人和變電站監(jiān)控終端搭載電力巡檢圖像前端化目標(biāo)檢測(cè)系統(tǒng),與變電站邊端后臺(tái)及集控站云端大腦結(jié)合,構(gòu)建變電站“云-邊-端”協(xié)同運(yùn)檢體系,對(duì)變電站巡檢機(jī)器人和變電站監(jiān)控終端進(jìn)行智能升級(jí),如圖7 所示。能夠?qū)崿F(xiàn)變電站設(shè)備缺陷的邊緣側(cè)智能識(shí)別與缺陷自主采集,并將結(jié)果上傳至集控站;集控站云端服務(wù)器開展樣本收集及模型訓(xùn)練,將更新后的模型推送至邊端設(shè)備,實(shí)現(xiàn)模型迭代更新。

        圖7 變電站巡檢機(jī)器人和變電站監(jiān)控終端智能升級(jí)

        將機(jī)器人巡檢相機(jī)、激光傳感器、雙目相機(jī)、雙自由云臺(tái)等多種模塊與電力巡檢前端化目標(biāo)檢測(cè)系統(tǒng)結(jié)合,對(duì)變電站巡檢機(jī)器人進(jìn)行智能化升級(jí),架構(gòu)如圖8 所示,由雙目相機(jī)、激光雷達(dá)及GPS/慣性導(dǎo)航數(shù)據(jù)獲取導(dǎo)航數(shù)據(jù),實(shí)現(xiàn)機(jī)器人導(dǎo)航自主規(guī)劃、并控制巡檢相機(jī)完成巡檢數(shù)據(jù)智能分析,同時(shí)控制云臺(tái)和機(jī)器人移動(dòng)平臺(tái)對(duì)巡檢相機(jī)位姿進(jìn)行調(diào)整,實(shí)現(xiàn)變電站設(shè)備缺陷智能采集。

        圖8 變電站巡檢機(jī)器人智能化升級(jí)架構(gòu)

        變電站巡檢機(jī)器人升級(jí)前后功能及指標(biāo)對(duì)比如表3所示。

        表3 變電站巡檢機(jī)器人升級(jí)前后功能及指標(biāo)對(duì)比

        變電站巡檢機(jī)器人智能化升級(jí)后,圖像分析方式由后臺(tái)的非實(shí)時(shí)升級(jí)為實(shí)時(shí)分析,圖像分析效率為20 幀/s,可實(shí)現(xiàn)設(shè)備缺陷的全自主分析和自動(dòng)采集,巡檢范圍可實(shí)現(xiàn)變電站自主覆蓋巡檢,巡檢時(shí)間由48 h提升至3 h,作業(yè)效率提升至原來的16倍。

        4 結(jié)語

        研究前端化目標(biāo)檢測(cè)技術(shù),提出層間合并、參數(shù)量化的深度學(xué)習(xí)模型輕量化方法,模型體積壓縮為原模型的60%,模型推理效率提升10~20 倍,解決了深度學(xué)習(xí)模型網(wǎng)絡(luò)層數(shù)深、結(jié)構(gòu)復(fù)雜、存儲(chǔ)占用多、推理效率低的問題;將輕量化模型部署在邊緣側(cè)設(shè)備中,設(shè)計(jì)了電力巡檢圖像前端化目標(biāo)檢測(cè)系統(tǒng),分別與無人機(jī)、變電站巡檢機(jī)器人和變電站監(jiān)控終端進(jìn)行了集成,實(shí)現(xiàn)輸電站巡檢無人機(jī)的全自主巡檢與缺陷自動(dòng)采集和變電站巡檢機(jī)器人對(duì)變電站巡檢路徑自主規(guī)劃、巡檢數(shù)據(jù)智能分析和變電站缺陷的實(shí)時(shí)定位與智能采集,實(shí)現(xiàn)輸變電站機(jī)器人智能化升級(jí),同時(shí)與后端服務(wù)器進(jìn)行協(xié)同交互,建立了“云-邊-端”協(xié)同運(yùn)檢體系,輸電線路巡檢效率提升至原來的5 倍,變電站巡檢機(jī)器人巡檢效率提升至原來的16倍。

        猜你喜歡
        輕量化變電站機(jī)器人
        汽車輕量化集成制造專題主編
        一種輕量化自卸半掛車結(jié)構(gòu)設(shè)計(jì)
        關(guān)于變電站五防閉鎖裝置的探討
        電子制作(2018年8期)2018-06-26 06:43:34
        超高壓變電站運(yùn)行管理模式探討
        電子制作(2017年8期)2017-06-05 09:36:15
        220kV戶外變電站接地網(wǎng)的實(shí)用設(shè)計(jì)
        瞄準(zhǔn)掛車輕量化 鑼響掛車正式掛牌成立
        專用汽車(2016年1期)2016-03-01 04:13:19
        機(jī)器人來幫你
        認(rèn)識(shí)機(jī)器人
        機(jī)器人來啦
        認(rèn)識(shí)機(jī)器人
        日本在线观看不卡| 成人艳情一二三区| 被黑人猛烈30分钟视频| 久久欧美与黑人双交男男| 91短视频在线观看免费| 精品专区一区二区三区| 国内自拍速发福利免费在线观看 | 国产成人av一区二区三区| 亚洲中文字幕无码中字| 亚洲色图在线视频免费观看| 国产人妖视频一区二区| 色一情一乱一伦一视频免费看| 中文字幕人妻精品一区| 大肉大捧一进一出好爽视频动漫| 日本公妇在线观看中文版| 在线观看av手机网址| 日韩精品资源在线观看免费| 日韩亚洲中文有码视频| 日本黄页网站免费观看| 久久亚洲AV无码精品色午夜| 久久精品日韩免费视频| www国产亚洲精品| 99精品热这里只有精品| av少妇偷窃癖在线观看| 日韩中文字幕在线丰满| 国产三级精品三级在线专区| 亚洲中文字幕无码不卡电影| 国产一在线精品一区在线观看| 69搡老女人老妇女老熟妇| 国产精品久色婷婷不卡| 边喂奶边中出的人妻| 国产午夜福利精品| 亚洲aⅴ久久久噜噜噜噜| 国产精品亚洲二区在线| 一本大道道久久综合av| 欧洲熟妇色xxxxx欧美老妇伦| 欧洲亚洲视频免费| 99久久精品人妻一区二区三区| 国产综合色在线精品| 性色av闺蜜一区二区三区| 国产一区二区三区小说|