亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于Faster R-CNN級聯(lián)的輸電塔螺栓缺失檢測

        2021-07-02 05:58:50徐敏羅勁劉華
        廣東電力 2021年6期
        關(guān)鍵詞:候選框中心點部件

        徐敏,羅勁,劉華

        (廣東電網(wǎng)有限責(zé)任公司廣州供電局,廣東 廣州 510620)

        在輸電線路中,輸電塔螺栓起著固定塔身、連接導(dǎo)線等重要作用。由于長期暴露于室外,輸電塔容易出現(xiàn)螺栓缺失、老化、斷裂等問題,這嚴重危害輸電線路的安全;因此,需要對輸電塔進行定期巡檢,定位螺栓缺失位置。傳統(tǒng)的螺栓缺失檢測方法通常是人工巡檢,使用全站儀等設(shè)備,實地測量檢測。由于輸電塔所處地理環(huán)境復(fù)雜,實地測量困難,存在工作量大、效率低、不安全等問題。隨著無人機技術(shù)的發(fā)展,人工識別無人機拍攝的圖像成為常用方法,但該方法工作效率依舊低下,且人力成本高。為提高巡檢效率和精度,節(jié)省成本,目前常用的方法是將無人機技術(shù)和傳統(tǒng)圖像處理與深度學(xué)習(xí)相結(jié)合。

        傳統(tǒng)的圖像處理方法主要有:馮敏等[1]根據(jù)無人機采集得到的影像數(shù)據(jù)建立樣本庫,提取得到樣本影像的方向梯度直方圖(histogram of oriented gradient,HOG)特征,構(gòu)建支持向量機(support vector machine,SVM)分類器,實現(xiàn)對影像中螺栓的自動識別。黃志文等[2]對采集得到的影像分2步提取感興趣的區(qū)域,第1步利用灰度投影算法對輸電塔的橫擔(dān)區(qū)域進行定位,第2步利用改進的霍夫變換提取精確的位置,并利用面積閾值法去除背景信息,提取螺栓信息。

        深度學(xué)習(xí)與傳統(tǒng)圖像處理方法相比,具有更強的魯棒性,適用于海量螺栓數(shù)據(jù)。常用的目標檢測算法主要有:快速循環(huán)卷積神經(jīng)網(wǎng)絡(luò)(faster recurrent convolutional neural network,F(xiàn)aster R-CNN)、Mask R-CNN和YOLO[3]、SSD(single shot multibox detector)[4]。李寧等[5]利用無人機巡視的便捷性,采用Faster R-CNN算法對海量無人機影像和視頻進行預(yù)處理識別,同時對缺陷位置進行標注和分類,準確識別出輸電線路的缺陷影像,提高了缺陷巡視效率。薛陽等[6]采用改進的Faster R-CNN對螺栓的缺陷進行識別,用ResNet50替代原來的VGG-16,對影像進行特征提取,實現(xiàn)了對螺栓缺陷的精確檢測,具有較高的工程意義。麥俊佳等[7]構(gòu)建具有2級深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的缺陷識別模型,實現(xiàn)對輸電線路航拍照片中部件、缺陷的檢測識別和綜合應(yīng)用。王凱等[8]利用RetinaNet算法,在添加輔助數(shù)據(jù)樣本的情況下,實現(xiàn)銷釘缺陷智能識別。鄭秋梅等[9]使用ResNet作為YOLOv3網(wǎng)絡(luò)模型的特征提取網(wǎng)絡(luò),根據(jù)檢測目標的大小來調(diào)整損失函數(shù)的影響權(quán)重,增強小目標的檢測性能。范海兵等[10]使用Faster R-CNN和YOLOv3這2個檢測網(wǎng)絡(luò)實現(xiàn)電力設(shè)備的銹蝕檢測,效果較好。韋汶妍等[11]提出一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的輸電桿塔智能檢測算法,基于ImageNet進行前期訓(xùn)練和遷移學(xué)習(xí),實現(xiàn)桿塔的高效檢測。李瑞生等[12]基于SSD目標檢測網(wǎng)絡(luò),使用HSV(色調(diào)、飽和度、明度)顏色轉(zhuǎn)換完成空間映射,實現(xiàn)變壓器呼吸器缺陷智能識別。徐小冰等[13]提出一種電纜附件缺陷紅外圖像自動診斷方法,使用Faster R-CNN實現(xiàn)目標定位,其次使用Mean-Shift聚類算法計算溫度參數(shù),實現(xiàn)缺陷識別。顏宏文等[14]提出基于改進YOLOv3的絕緣子檢測方法,通過自主建立絕緣子樣本庫,采用Focal Loss函數(shù)和均衡交叉熵函數(shù)改進YOLOv3算法的損失函數(shù),基于多階段的遷移學(xué)習(xí)實現(xiàn)絕緣子檢測。上述方法均使用的是傳統(tǒng)目標檢測網(wǎng)絡(luò),針對通用數(shù)據(jù)集設(shè)計,對螺栓這種小目標物的檢測效果較差。此外,檢測效果受限于螺栓所處的背景,魯棒性較差。

        針對解決以上方法的不足,本文提出基于Faster R-CNN級聯(lián)的螺栓缺失檢測方法,根據(jù)輸電塔螺栓所在部件的特征及規(guī)律性,使用Faster R-CNN目標檢測網(wǎng)絡(luò),檢測包含螺栓的部件并生成影像,減少螺栓復(fù)雜背景的影響,提高信噪比。由于各類部件上螺栓數(shù)量和分布存在規(guī)律性,檢測部件影像中的正常螺栓,提取檢測到的正常螺栓中心點坐標,使用最近點迭代(iterative closest point,ICP)[15]算法實現(xiàn)檢測到的正常螺栓分布和部件上螺栓的固定分布配準,找到螺栓缺失位置,完成缺失檢測。

        1 基于Faster R-CNN級聯(lián)的螺栓定位

        由于螺栓尺寸較小,傳統(tǒng)的特征提取網(wǎng)絡(luò),例如視覺幾何群(visual geometry group,VGG)網(wǎng)絡(luò)[16]和ResNet[17]系列,都要進行幾次下采樣處理,導(dǎo)致螺栓在特征圖上的尺寸只有幾個像素的大小,目標檢測分類器對螺栓的分類效果較差。此外,如果在經(jīng)過幾次下采樣后的特征圖上進行分類和回歸,螺栓的感受野映射回原始影像上可能小于螺栓在原始影像上的尺寸,造成檢測效果差[18]。為解決上述問題,本文提出基于Faster R-CNN級聯(lián)的螺栓定位方法,先定位正常螺栓所在的部件,將檢測到的部件輸出為影像,再檢測部件影像中的正常螺栓,提高信噪比,提升檢測精度。

        基于Faster R-CNN級聯(lián)的螺栓定位主要流程如下:①將螺栓所在部件的數(shù)據(jù)集送入網(wǎng)絡(luò)訓(xùn)練,得到部件檢測結(jié)果,將檢測框內(nèi)的部件輸出,組成部件數(shù)據(jù)集;②將部件數(shù)據(jù)集送入網(wǎng)絡(luò)訓(xùn)練,得到部件上螺栓的檢測結(jié)果。

        1.1 Faster R-CNN原理

        Faster R-CNN結(jié)構(gòu)如圖1所示,基于Faster R-CNN的處理過程如下:

        圖1 Faster R-CNN結(jié)構(gòu)示意圖Fig.1 Structure diagram of Faster R-CNN

        a)使用VGG-16骨干網(wǎng)絡(luò)進行特征提取,獲取特征圖,VGG-16網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示;

        圖2 VGG-16網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Structure diagram of VGG-16 network

        b)將特征圖送入?yún)^(qū)域候選網(wǎng)絡(luò)(region proposal network,RPN),判斷錨框(Anchor)屬于前景還是背景,使用bounding box回歸修正Anchor,得到更精確的候選區(qū)域;

        c)感興趣區(qū)域(region of interst,ROI)池化層(Pooling)融合特征圖和RPN輸出的候選區(qū)域,得到固定大小的特征圖,輸入全連接層,判斷目標類別;

        d)使用特征圖計算候選區(qū)域的類別,同時利用bounding box回歸,修正得到Anchor的精確位置。

        由圖2可知整個特征提取網(wǎng)絡(luò)是“卷積+Relu激活+池化”的構(gòu)成。其中,CR-X代表共有X個“卷積層+RELU激活層”。影像每次經(jīng)過池化處理,尺寸都會縮小1/2,最終,特征圖大小為原始影像尺寸的1/16。

        其次,將特征提取到的特征圖送入RPN進行候選框提取,Anchor即大小和尺寸固定的候選框,共3種不同的尺寸和比例,組成9種不同類型的候選框。這些候選框在特征圖上移動,特征圖上的每個點對應(yīng)9個候選框,可以有效將絕大多數(shù)的真值框包含在其中。

        將特征圖分別送入分類和回歸2條通路,一條通路通過softmax分類得到特征圖中的前景和背景,另一條通路用于計算候選框偏移量,以獲得精確的推薦候選框。

        最后,挑選出128個推薦候選框樣本,對應(yīng)特征圖上不同大小的區(qū)域,使用ROI Pooling將這些不同尺寸的區(qū)域歸一化到同一個尺度上,使權(quán)重共享,如圖3所示。

        圖3 ROI Pooling原理Fig.3 Schematic diagram of ROI Pooling

        歸一化后,用VGG-16訓(xùn)練的權(quán)重初始化前2層全連接層,加上后面2個全連接層,分別預(yù)測候選框的類別和精確的位置。通過全連接層和softmax分類計算每個候選框的類別,輸出屬于該類別的概率;同時再次計算候選框偏差,得到精確的候選框。網(wǎng)絡(luò)的損失函數(shù)為

        (1)

        (2)

        1.2 部件檢測

        整合無人機采集的影像數(shù)據(jù)發(fā)現(xiàn),部位螺栓所在部件主要有4種類型,如圖4所示。

        圖4 4種類型螺栓部件Fig.4 Schematic diagram of bolt parts

        將部件數(shù)據(jù)集送入Faster R-CNN進行訓(xùn)練,得到部件的檢測結(jié)果。由于部件在影像中像素占比偏大,屬于大目標,特征表達能力較強,檢測效果好,如圖5所示。

        1.3 螺栓檢測

        根據(jù)檢測框的位置和尺寸信息,將圖5中部件裁剪出來,輸出為部件影像,可以減少螺栓復(fù)雜背景的影響,如圖6所示。

        圖5 部件檢測結(jié)果Fig.5 Schematic diagram of the detection results of parts

        圖6 部件影像Fig.6 Schematic diagram of parts images

        對圖6中的螺栓進行標注,送入Faster R-CNN訓(xùn)練,得到正常螺栓的檢測結(jié)果,如圖7所示。其中矩形框即檢測到的正常螺栓,存儲檢測框的中心點坐標(x,y),組成數(shù)據(jù)集Q,為缺失檢測提供坐標數(shù)據(jù)。

        圖7 螺栓檢測結(jié)果Fig.7 Schematic diagram of detection results of bolts

        2 螺栓缺失檢測

        由于1條輸電線路中存在不同類型的輸電塔,同時每種類型輸電塔上螺栓的分布和數(shù)量不固定,很難找到規(guī)律[20]。通過對影像進行整理、分析,發(fā)現(xiàn)輸電塔主要有直線塔和轉(zhuǎn)角塔2種,其中直線塔分為交流雙回路直線塔和交流單回路直線塔,轉(zhuǎn)角塔分為交流雙回路轉(zhuǎn)角塔和交流單回路轉(zhuǎn)角塔。直線塔和轉(zhuǎn)角塔各自有著特定的結(jié)構(gòu),從螺栓分布和數(shù)量上都可以直觀展現(xiàn)。圖8所示為輸電塔類型。

        圖8 輸電塔類型Fig.8 Schematic diagram of transmission tower types

        2.1 粗檢測

        基于不同塔型螺栓的分布和數(shù)量規(guī)律,若某種部件檢測結(jié)果中螺栓個數(shù)和該部件上螺栓的實際數(shù)量存在偏差,則該影像中可能存在螺栓缺失,也可能是螺栓漏檢。圖9所示為缺失分析示意圖。

        圖9 缺失分析Fig.9 Schematic diagram of missing analysis

        如圖9所示,以交流雙回路轉(zhuǎn)角塔絕緣子和導(dǎo)線連接處為例,通過先驗的大量數(shù)據(jù)觀察,矩形框內(nèi)的部件上螺栓的數(shù)量為11或15個。在檢測該區(qū)域時,計算正常螺栓檢測框中心點個數(shù),不滿足上述數(shù)量要求的影像輸出,組成缺失樣本數(shù)據(jù)集,完成粗檢測。

        2.2 基于ICP配準的精檢測

        上述粗檢測將需要進行螺栓缺失檢測的數(shù)據(jù)集壓縮,減少多余的計算量,提高檢測效率。由于已知部件上螺栓的分布,提取每個螺栓的中心點坐標,組成螺栓標準分布數(shù)據(jù)集S,與1.3節(jié)中檢測得到的數(shù)據(jù)集Q進行ICP配準,尋找2組點集間的差異,具體流程如下。

        步驟1,取si∈S,qi∈Q,使得‖si-qi‖數(shù)值最小。其中si和qi分別是數(shù)據(jù)集S和數(shù)據(jù)集Q的第i個坐標點的向量化表示,均為3維列向量,‖si-qi‖表示2個坐標點之間的歐氏距離。

        步驟2,計算3×3旋轉(zhuǎn)矩陣R和3×1平移矩陣T,使得損失函數(shù)最小,計算式為

        (3)

        式中:n為點集中坐標點個數(shù);‖Rsi+T-qi‖表示計算經(jīng)坐標轉(zhuǎn)換后的標準數(shù)據(jù)集的2個坐標點之間的歐式距離,使用奇異值分解法(singular value decomposition,SVD),求解R和T的參數(shù)值,使得該距離值最小。

        步驟3,對si進行旋轉(zhuǎn)矩陣為R、平移矩陣為T的變換,得到轉(zhuǎn)換后的坐標點s′i=Rsi+T,最終組成新的數(shù)據(jù)集S′,即s′i∈S′。

        步驟4,計算S′和數(shù)據(jù)集Q中對應(yīng)每個坐標點的歐式距離,從而得到平均距離d,

        (4)

        若d小于閾值或迭代次數(shù)大于設(shè)定的最大迭代次數(shù),停止迭代計算;否則,返回步驟2,迭代直到收斂為止。完成配準后,若數(shù)據(jù)集S中某個中心點,在數(shù)據(jù)集Q中不存在相應(yīng)的中心點,則說明該螺栓檢測結(jié)果中存在螺栓缺失。

        3 實驗結(jié)果

        本實驗數(shù)據(jù)來源于廣東電網(wǎng)有限責(zé)任公司廣州供電局,螺栓影像背景復(fù)雜,數(shù)據(jù)采集時光照、拍攝角度、距離等條件各異。通過對數(shù)據(jù)采用翻轉(zhuǎn)、平移、角度旋轉(zhuǎn)等方式增強數(shù)據(jù)集,采用精確率與召回率來衡量檢測效果。精確率為標記正確的邊界框個數(shù)與標記出的所有邊界框個數(shù)之比,召回率為被正確識別為正樣本的邊界框個數(shù)與測試集中所有正樣本邊界框個數(shù)之比;并且結(jié)合輸電塔部件結(jié)構(gòu)的特殊性和螺栓數(shù)量的規(guī)律性,對精度進行評定。

        本實驗采用開源的學(xué)習(xí)庫pytorch作為深度學(xué)習(xí)框架,使用圖形處理器(graphics processing unit,GPU)對訓(xùn)練過程進行加速;使用的硬件配置為32 GB內(nèi)存的i7處理器,NVIDIA TITAN X顯卡;軟件環(huán)境為Windows10系統(tǒng),python3.7;GPU加速庫采用CUDA10.0和CUDNN7.4。

        以部件為對象,訓(xùn)練Faster R-CNN時,訓(xùn)練樣本的個數(shù)和質(zhì)量在很大程度上決定著網(wǎng)絡(luò)的性能。實驗先后對200個、400個、600個“連接板”部件樣本進行標注、訓(xùn)練,結(jié)果見表1。

        表1 樣本數(shù)量實驗結(jié)果Tab.1 Experimental results of sample amounts

        從表1可以看出,訓(xùn)練樣本數(shù)量越多,網(wǎng)絡(luò)訓(xùn)練效果越好,部件檢測結(jié)果如圖10所示。

        圖10 部件檢測Fig.10 Detection of parts

        將檢測到的部件輸出為影像,對影像中正常螺栓進行標注,送入網(wǎng)絡(luò)訓(xùn)練,檢測精度高達95.7%,如圖11所示。

        圖11 螺栓檢測Fig.11 Detection of bolts

        如圖11所示,正常螺栓均被精準檢測。由于該部件上螺栓的分布固定,使用ICP算法實現(xiàn)檢測框中心點坐標點集和原始影像中螺栓中心點坐標點集的配準,尋找螺栓缺失的中心點坐標,并進行標記(圖12中黑色實心點),缺失檢測精度達到93.4%。

        圖12 螺栓缺失檢測Fig.12 Detection of missing bolts

        為驗證本文提出的級聯(lián)策略的優(yōu)越性,進行基于級聯(lián)策略的螺栓檢測和直接檢測螺栓2組實驗,結(jié)果見表2。

        表2 螺栓檢測策略對比實驗Tab.2 Contrast experiment of bolt detection strategies %

        為驗證本文算法的魯棒性,針對數(shù)據(jù)采集時不同拍攝距離、角度等因素進行實驗(如圖13、圖14所示),結(jié)果證明本文算法幾乎不受拍攝距離、角度等因素的影響。

        圖13 不同拍攝距離Fig.13 Different shooting distances

        圖14 不同拍攝角度Fig.14 Different shooting angles

        為驗證本文算法使用的Faster R-CNN的優(yōu)勢,針對不同的檢測網(wǎng)絡(luò)進行實驗,結(jié)果見表3。

        表3 不同檢測網(wǎng)絡(luò)對比實驗Tab.3 Contrastive experiment of different detection network

        4 結(jié)束語

        輸電塔螺栓作為小目標物,在目標檢測網(wǎng)絡(luò)中特征表達能力差,傳統(tǒng)的檢測網(wǎng)絡(luò)對螺栓檢測效果較差。此外,輸電塔所處地理環(huán)境復(fù)雜,導(dǎo)致影像中螺栓背景復(fù)雜,干擾螺栓檢測。本文以此為基點,借助二級網(wǎng)絡(luò)對螺栓進行缺失檢測,在提升精度的同時可以高效地完成日常輸電線路的巡檢,很大程度上提高了巡檢效率。

        猜你喜歡
        候選框中心點部件
        重定位非極大值抑制算法
        面向自然場景文本檢測的改進NMS算法
        基于Soft-NMS的候選框去冗余加速器設(shè)計*
        Scratch 3.9更新了什么?
        電腦報(2020年12期)2020-06-30 19:56:42
        如何設(shè)置造型中心點?
        電腦報(2019年4期)2019-09-10 07:22:44
        基于Siemens NX和Sinumerik的銑頭部件再制造
        一種針對特定目標的提議算法
        部件拆分與對外漢字部件教學(xué)
        水輪機過流部件改造與節(jié)能增效
        漢字藝術(shù)結(jié)構(gòu)解析(二)中心點處筆畫應(yīng)緊奏
        婷婷开心五月综合基地| 精品午夜福利无人区乱码一区| 97在线观看视频| 国产成人精品日本亚洲18| 在线看亚洲十八禁网站| 国产视频一区2区三区| 亚洲av无码日韩av无码网站冲| 国产真实乱对白精彩久久老熟妇女 | 国产一区二区三区中出| 国产 高潮 抽搐 正在播放| 乌克兰粉嫩xxx极品hd| 麻豆国产巨作AV剧情老师| 色老板在线免费观看视频日麻批| 亚洲精品在线视频一区二区| 国产国产人免费人成免费视频| 欧美最猛性xxxxx免费| 91久久久久无码精品露脸| av手机天堂在线观看| 精品国产一区二区三区色搞| av在线亚洲欧洲日产一区二区| 色老头一区二区三区| 91大神蜜桃视频在线观看| 亚洲最大中文字幕熟女| 精品国产一区二区三区av片| 无码人妻AⅤ一区 二区 三区| 少妇饥渴xxhd麻豆xxhd骆驼| 国产精品无码无片在线观看3d| 日韩在线一区二区三区免费视频 | 国产精品无码翘臀在线观看| 国产偷国产偷亚洲高清| 亚洲精品中文字幕视频色| 97人人超碰国产精品最新| 国产成人精品免费久久久久| 青青草视频在线免费观看91| av无码精品一区二区三区| 亚洲日本va午夜在线电影| 久久久久久国产福利网站| 亚洲精品一区二区三区52p| 国产午夜无码片在线观看影院| 免费人成黄页在线观看视频国产| 久久国产精品老人性|