陳廣華,葛夢(mèng)瑩,黃白瑤,梁國(guó)賢,李瀟凱
(北京交通大學(xué)機(jī)械與電子控制工程學(xué)院,北京100044)
電力塔長(zhǎng)期暴露在戶外,受到強(qiáng)風(fēng)、地震等自然災(zāi)害和人為因素的影響,導(dǎo)致受力不平衡發(fā)生傾斜,若不及時(shí)修復(fù)會(huì)發(fā)生嚴(yán)重事故,造成地區(qū)性的停電和經(jīng)濟(jì)損失,因此,建立高效智能的電力塔傾斜檢測(cè)系統(tǒng)對(duì)電力系統(tǒng)安全穩(wěn)定運(yùn)行有重大意義.
傳統(tǒng)電力塔傾斜檢測(cè)主要采用鉛垂法、平面鏡法、經(jīng)緯儀法和全站儀免棱鏡等方法.其中,鉛垂法適用范圍廣泛,要依靠人工登塔完成測(cè)量,安全性低[1].平面鏡法利用光學(xué)原理解決了特殊地形下的測(cè)量受限問(wèn)題,但平面鏡設(shè)置繁瑣,需要大量人工調(diào)整,一般在特殊地形下采用.經(jīng)緯儀法要依靠人工棱鏡來(lái)配合,儀器需多次設(shè)站,易受地形所限[2].全站儀免棱鏡測(cè)量法通過(guò)測(cè)量電力塔空間信息的特性,利用制圖工具繪圖,計(jì)算得到傾斜度[3-4],此法仍然需要人眼瞄準(zhǔn),受人為因素影響大.
近些年出現(xiàn)了多種測(cè)量塔傾斜度的先進(jìn)方法,如傳感器監(jiān)測(cè)法、激光雷達(dá)法、圖像處理法等.Ngabo 等[5]提出基于加速度計(jì)的無(wú)線傳感器網(wǎng)絡(luò)三 維 傾 斜 測(cè) 量,Zhang 等[6]通 過(guò)MPU6050 傾 斜 傳感器和無(wú)線通信LoRa 模塊,將桿塔傾斜參數(shù)通過(guò)NB-IoT 上傳到在線實(shí)時(shí)監(jiān)測(cè)系統(tǒng),Shi 等[7]提出了一種基于LoRa 傳感器節(jié)點(diǎn)和滑動(dòng)XGBoost 預(yù)測(cè)器的輸電塔傾角預(yù)測(cè)方法.以上3 種方法都利用傳感器可實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)或預(yù)測(cè).郭明等[8]利用地面激光雷達(dá)和高精度全站儀得到應(yīng)縣木塔的點(diǎn)云數(shù)據(jù)并進(jìn)行剖切,經(jīng)過(guò)點(diǎn)云處理得到木塔傾斜度.陳亮[9]提出基于高密度機(jī)載激光雷達(dá)點(diǎn)云的桿塔信息提取.這兩種方法都利用激光雷達(dá)重建三維點(diǎn)云,精度高,但成本較高.Gang 等[10]采用雙正方形人工標(biāo)記和由Matlab 確定的鉛垂線,基于單目圖像處理技術(shù)記錄建筑物傾斜角度的變化,此法能夠觀察到實(shí)地情況并預(yù)警,但數(shù)據(jù)處理工作繁雜、計(jì)算量大,且關(guān)于鏡頭畸變的計(jì)算部分理論上無(wú)法 通過(guò)計(jì) 算完全 消除[1].王榆夫等[11]利用無(wú)人機(jī)對(duì)航拍圖像中電力桿塔傾斜進(jìn)行自動(dòng)識(shí)別,此法通過(guò)無(wú)人機(jī)采集多張不同角度的二維圖像計(jì)算傾斜度,易受地形和風(fēng)力影響[4].
雙目視覺作為一種典型的測(cè)量技術(shù),廣泛應(yīng)用于許多領(lǐng)域,如幾何測(cè)量、機(jī)器人路徑校正和質(zhì)量檢測(cè).Lin 等[12]設(shè)計(jì)了一種基于雙目視覺技術(shù)的針尖自動(dòng)測(cè)量系統(tǒng),激光干涉儀被用作測(cè)量針尖位置的參考,并設(shè)計(jì)了一種針尖提取算法,可以在不安裝標(biāo)記點(diǎn)的情況下完成針尖像素坐標(biāo)的檢測(cè),最后通過(guò)實(shí)驗(yàn)評(píng)估提出系統(tǒng)的性能,系統(tǒng)精度可控制在0.362 1 mm 以內(nèi).Xia 等[13]提出了一種精確、魯棒的圓孔測(cè)量方法,通過(guò)像素強(qiáng)度信息并優(yōu)化邊緣來(lái)精確地重建空間圓孔,實(shí)驗(yàn)表明該方法測(cè)量誤差在0.05 mm 左右.此外,針對(duì)成捆原木自動(dòng)化檢尺中原木端面徑級(jí)檢測(cè)的關(guān)鍵問(wèn)題,一種利用雙目立體視覺原理完成原木徑級(jí)快速三維測(cè)量的方法被提出,該算法能夠在10 s內(nèi)完成原木徑級(jí)的檢測(cè),測(cè)量誤差在2 mm 內(nèi)[14].
雙目視覺方法是一種精確的非接觸式三維測(cè)量方法,與傳感器監(jiān)測(cè)法相比,擁有更多的現(xiàn)場(chǎng)信息,可靠性更高;與激光雷達(dá)法相比,成本更低且可實(shí)現(xiàn)遠(yuǎn)程檢測(cè).電力塔傾斜是在空間中的傾斜,單目視覺圖像處理不能直接準(zhǔn)確測(cè)量出空間角度,因此,本文作者提出利用雙目視覺技術(shù),結(jié)合深度學(xué)習(xí)方法實(shí)現(xiàn)復(fù)雜背景下電力塔區(qū)域的提取,并結(jié)合雙目三維測(cè)量原理[15]實(shí)現(xiàn)電力塔傾斜度的計(jì)算,對(duì)干字塔、貓頭塔、酒杯塔和鋼管塔等多種塔形可用,能夠?qū)崿F(xiàn)電力塔傾斜度遠(yuǎn)程智能檢測(cè),測(cè)量結(jié)果準(zhǔn)確.
電力桿塔傾斜度定義為桿塔傾斜值S與桿塔地面上部高度H之比的百分?jǐn)?shù).電力桿塔傾斜度如圖1 所示.
圖1 電力塔傾斜度Fig.1 Power tower tilt
桿塔傾斜度計(jì)算公式為
式中:θ為傾斜角.
國(guó)家標(biāo)準(zhǔn)規(guī)定:50 m 以下鐵塔允許的最大傾斜度是1.0%,50 m 及以上鐵塔允許的最大傾斜度是0.5%[16],以此作為衡量電力塔是否安全工作的依據(jù).電力塔傾斜檢測(cè)系統(tǒng)的總體結(jié)構(gòu)如圖2 所示.攝像機(jī)A 和攝像機(jī)B 布置在電力塔對(duì)角的延長(zhǎng)線上,利用水平儀保證攝像機(jī)主光軸方向垂直重力方向.攝像機(jī)與電力塔距離需要保證左右攝像機(jī)視野中能夠完整顯示電力塔左右側(cè)棱的下半部分,具體距離范圍需要根據(jù)攝像機(jī)廣角范圍和電力塔實(shí)際高度確定.左右相機(jī)分別同時(shí)拍攝電力塔圖像,左攝像機(jī)得到左圖像,右攝像機(jī)得到右圖像.左右圖像輸入到計(jì)算機(jī),計(jì)算機(jī)通過(guò)桿塔區(qū)域分割算法自動(dòng)識(shí)別出電力塔區(qū)域,將識(shí)別出來(lái)的結(jié)果再利用立體視覺測(cè)量算法,最終得到電力塔傾斜度并顯示在數(shù)據(jù)管理系統(tǒng)中.
圖2 電力塔傾斜檢測(cè)系統(tǒng)總體結(jié)構(gòu)Fig.2 Overall structure of detection system for power tower tilt
系統(tǒng)硬件由兩臺(tái)高分辨率的工業(yè)攝像機(jī)、標(biāo)定板、水平儀和固定架組成.電力塔傾斜檢測(cè)系統(tǒng)由計(jì)算機(jī)、兩臺(tái)500 萬(wàn)像素高分辨率攝像機(jī)、標(biāo)定板和攝像機(jī)水平輔助儀組成.其中標(biāo)定板和攝像機(jī)水平輔助儀屬于安裝校準(zhǔn)設(shè)備,需要在初次安裝時(shí)使用.攝像機(jī)通過(guò)USB3.0 接口進(jìn)行傳輸,兩臺(tái)攝像機(jī)光心距離(即基線)為160 mm.標(biāo)定板是格數(shù)9×7 的黑白棋盤格,每格為28 mm,用于攝像機(jī)標(biāo)定.
桿塔區(qū)域分割算法和立體視覺測(cè)量算法是檢測(cè)系統(tǒng)的核心部分.桿塔區(qū)域分割算法主要是在Deep-Lab V3+網(wǎng)絡(luò)基礎(chǔ)上實(shí)現(xiàn),由于電力塔側(cè)棱特征提取需要有較為精細(xì)的邊緣,所以在DeepLab V3+基礎(chǔ)上進(jìn)行改進(jìn),進(jìn)一步細(xì)化了分割邊緣.立體視覺測(cè)量算法包括雙目標(biāo)定與校正、立體匹配、三維重建和塔傾斜度算法,其中立體匹配和塔傾斜度算法是重難點(diǎn).檢測(cè)系統(tǒng)整體技術(shù)路線如圖3所示.
塔區(qū)域分割算法基于DeepLab V3+模型,分析了塔區(qū)域分割的需求,在網(wǎng)絡(luò)中增加了低階特征融合,使得塔分割邊緣更加精細(xì),邊緣大面積缺少情況減少.
圖3 電力塔傾斜檢測(cè)系統(tǒng)技術(shù)路線Fig.3 Technical route of detection system for power tower tilt
DeepLab V3+[17]圖像語(yǔ)義分割模型是由谷歌研究人員Chen 等提出的DeepLab[5,7,9,10]系列的最新版本,該模型是目前最先進(jìn)的圖像語(yǔ)義分割模型之一,DeepLab V3 是DeepLab V3+的前代模型.DeepLab[5,7,9,10]系列在圖像語(yǔ)義分割的發(fā)展中具有重要的意義,該系列所提出的一些思想或方法對(duì)后續(xù)的研究產(chǎn)生了深遠(yuǎn)的影響,DeepLab V3+被廣泛應(yīng)用于圖像分割領(lǐng)域[18].DeepLab V3+由編碼器和解碼器組成,編碼器主要由帶空洞卷積的特征提取模塊(DCNN)和空洞空間金字塔池化模塊(ASPP)組成.解碼器部分來(lái)自DCNN 的低階特征out1 和ASPP 模塊輸出的高階特征out2融合.圖4為DeepLab V3+網(wǎng)絡(luò)結(jié)構(gòu).
鑒于DeepLab 網(wǎng)絡(luò)的優(yōu)秀性能,本文以DeepLab V3+為基礎(chǔ),考慮到電力塔區(qū)域分割為二分類任務(wù),過(guò)多的網(wǎng)絡(luò)層數(shù)會(huì)使收斂變慢,而Resnet101 相對(duì)Resnet34 和Resnet50,分割結(jié)果的最佳精度和平均精度更高[19],所以骨干網(wǎng)絡(luò)采用DeepLab V3 的骨干網(wǎng)絡(luò)即ResNet[20]系列的ResNet101,將電力塔部分區(qū)域和背景作為二分類標(biāo)簽,建立基于DeepLab V3+的電力塔區(qū)域分割算法并進(jìn)行改進(jìn),實(shí)現(xiàn)電力塔區(qū)域的準(zhǔn)確分割.
圖4 DeepLab V3+網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Deeplab V3+ network architecture
圖5 顯示了增加低階特征融合后的模型結(jié)構(gòu).該模型由編碼器和解碼器兩部分組成.編碼器模塊使用ResNet-101 作為基本網(wǎng)絡(luò).本文中使用的網(wǎng)絡(luò)由5 個(gè)卷積層(Conv1-Conv5)組成,每個(gè)卷積層包含不同數(shù)量的瓶頸殘差模塊.較低級(jí)別的卷積結(jié)果具有較高分辨率且擁有更豐富的全局細(xì)節(jié).隨著卷積層的加深,卷積計(jì)算的輸出特征由于下采樣和匯集操作而降低了圖像的空間分辨率,導(dǎo)致初始全局細(xì)節(jié)的丟失.因此,為了細(xì)化邊緣特征,需要保留足夠數(shù)量的初始全局信息,選擇在匯集操作后,將第一卷積層的特征圖作為低階特征1,并且選擇第二卷積層中的第三瓶頸殘差塊的特征圖作為低階特征2,然后通過(guò)插值將其拉伸到與低階特征1 相同的大小.這兩個(gè)低階特征圖被連接成一個(gè)特征圖,該特征圖隨后通過(guò)與64 個(gè)通道的1 × 1 卷積,最終輸出通道的數(shù)量為64,不超過(guò)ASPP 模塊的輸出通道.
圖5 增加低階特征融合后的網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Network structure after adding low-order feature fusion
在5 個(gè)卷積層中執(zhí)行下采樣之后,連接ASPP 模塊.來(lái)自第5 卷積層的輸出特征圖被視為ASPP 模塊的輸入特征圖.ASPP 的5 個(gè)并行計(jì)算的特征圖被連接成一個(gè)具有1 280 個(gè)通道的特征圖,然后通過(guò)1 ×1 卷積層降維,再向上采樣,使得上采樣后的特征圖大小與要連接的低階特征圖大小相同.
雙目視覺三維空間坐標(biāo)計(jì)算原理[21]是利用兩臺(tái)不同位置的攝像機(jī)同時(shí)進(jìn)行拍攝,分別獲取兩幅圖像,通過(guò)立體匹配與三角測(cè)量原理計(jì)算目標(biāo)特征點(diǎn)在兩幅圖像上的成像偏差,以此獲取特征點(diǎn)的深度信息,深度信息能夠反映特征點(diǎn)與左攝像機(jī)光心在沿Zl軸方向上的距離,進(jìn)而計(jì)算三維空間坐標(biāo).電力塔特征點(diǎn)A三維空間坐標(biāo)計(jì)算原理圖如圖6 所示.
圖6 電力塔特征點(diǎn)三維空間坐標(biāo)計(jì)算原理圖Fig.6 Schematic diagram of 3D coordinate calculation of power tower feature points
圖6 中,A是電力塔上一特征點(diǎn),其三維坐標(biāo)為A(X,Y,Z);圖像1 是左攝像機(jī)成像面,圖像2是右攝像機(jī)成像面;A點(diǎn)在圖像1、2 上的成像位置分 別 為al(xl,yl),ar(xr,yr);Ol,Or分 別 是 左 右 攝像機(jī)光心,假設(shè)兩攝像機(jī)光軸距離為b且互相平行,以左攝像機(jī)光心為原點(diǎn)建立三維坐標(biāo)系XCYC-ZC,通過(guò)相似三角形定理可得
式中:xl-xr為視差.由式(2)可知電力塔特征點(diǎn)A的三維坐標(biāo)可由視差和攝像機(jī)參數(shù)計(jì)算得出.
空間點(diǎn)A在左相機(jī)坐標(biāo)系下的坐標(biāo)映射為
式中:R為左攝像機(jī)坐標(biāo)系相對(duì)世界坐標(biāo)系的旋轉(zhuǎn)矩陣(正交單位矩陣);T為左攝像機(jī)坐標(biāo)系相對(duì)世界坐標(biāo)系的平移向量;比例參數(shù)Zc和物體距離有關(guān);dx與dy分別表示每個(gè)像素在橫軸x和縱軸y上的物理尺寸;(u0,v0)代表圖像主點(diǎn)在像素坐標(biāo)系下的坐標(biāo).此式實(shí)現(xiàn)世界坐標(biāo)A(X,Y,Z)到像素坐標(biāo)(u,v)的轉(zhuǎn)化.
標(biāo)定的過(guò)程就是求解式(3)中未知參數(shù)的過(guò)程.未知參數(shù)的準(zhǔn)確性直接影響系統(tǒng)的定位精度[22].
張正友標(biāo)定法[23]是通過(guò)檢測(cè)棋盤格角點(diǎn)實(shí)現(xiàn)標(biāo)定參數(shù)的計(jì)算,相對(duì)傳統(tǒng)標(biāo)定法而言,僅需一個(gè)棋盤格,相對(duì)于自標(biāo)定而言,可操作性更強(qiáng).攝像機(jī)需要在安裝時(shí)進(jìn)行標(biāo)定,若運(yùn)行過(guò)程中相機(jī)位置沒有改變,則后續(xù)檢測(cè)不需要重新標(biāo)定.
對(duì)左右兩幅圖像進(jìn)行畸變校正和立體校正,消除失真,將匹配點(diǎn)約束在一條直線上,可以減少誤匹配并大大縮短匹配時(shí)間.
建立畸變模型如下
式中:(x,y)為校正前圖像坐標(biāo);(x′,y′)是校正后圖像 坐標(biāo);k1、k2、k3為 徑向畸 變系數(shù);p1、p2為切向畸變系數(shù).
立體校正采用Bouguet 校正算法,得到校正后的重投影矩陣如下
式中:cx、cy分別是左圖像主點(diǎn)的x、y坐標(biāo);c′x是右圖像主點(diǎn)的x坐標(biāo);Tx是右相機(jī)相對(duì)左相機(jī)的偏移矩陣.可實(shí)現(xiàn)電力塔特征點(diǎn)像素坐標(biāo)和世界坐標(biāo)的轉(zhuǎn)換.
畸變校正和立體校正后的圖像輸入電力塔區(qū)域分割算法,得到電力塔區(qū)域分割后的左右圖像分別記為圖像1 和圖像2.立體匹配是雙目測(cè)量中的核心環(huán)節(jié),通過(guò)立體匹配計(jì)算得到視差,進(jìn)而求取三維坐標(biāo).為了符合電力塔傾斜檢測(cè)的快捷需求,本文基于極線匹配的電力塔側(cè)棱視差計(jì)算方法,其主要原理是將雙目校正后的行對(duì)準(zhǔn)圖像,利用極線幾何約束,分別從圖像左右兩端向中間遍歷,且只在圖像1 和圖像2 的同一行上遍歷尋找匹配點(diǎn),能夠快速有效地獲取電力塔側(cè)棱視差圖.
雙目視覺中的對(duì)極幾何關(guān)系如圖7 所示,Ol為左圖像平面原點(diǎn),Or為右圖像平面原點(diǎn),OlOr為基 線,空間點(diǎn)P在左右視圖中的像點(diǎn)分別為Pl、Pr,極平面由左右圖像坐標(biāo)系原點(diǎn)Ol、Or和點(diǎn)P構(gòu)成.極平面與兩圖像平面分別相交于極線l1、l2.從圖中可以看出,Pl和Pr正位于各自對(duì)應(yīng)極線上.因此對(duì)極幾何約束定義為:Pl的對(duì)應(yīng)點(diǎn)Pr可以在對(duì)應(yīng)極線l1上尋找,Pr的對(duì)應(yīng)點(diǎn)Pl可以在對(duì)應(yīng)極線l2上尋 找.當(dāng)左右視圖通過(guò)雙目校正,實(shí)現(xiàn)行對(duì)準(zhǔn)后,匹配對(duì)應(yīng)點(diǎn)可以保證在對(duì)應(yīng)圖像的同一行上,極大地縮減了搜索時(shí)間和范圍.
圖7 對(duì)極幾何關(guān)系Fig.7 Geometric relationship of opposites
電力塔傾斜度算法主要由深度圖轉(zhuǎn)化為三維點(diǎn)云、求解方向向量、求解側(cè)棱與水平面夾角、求解電力塔傾斜度4個(gè)步驟組成.
深度與視差間的關(guān)系表示為
式中:Depth表示深度;disp為視差,baseline為基線距離;由攝像機(jī)內(nèi)參數(shù)矩陣得到.
由式(7)可將電力塔側(cè)棱視差圖轉(zhuǎn)換為深度圖,通過(guò)式(2)可將深度圖轉(zhuǎn)換成三維點(diǎn)云,運(yùn)用PCL讀取點(diǎn)云坐標(biāo). 由三維點(diǎn)云用奇異值(Singular Value Decomposition,SVD)分解法求擬合直線的方向向量a、c,取垂直于地面的法向量n=(0,1,0).如圖8 所示,ABCD為理想中絕對(duì)垂直地面的塔,A′BC′D′是實(shí)際中發(fā)生一定傾斜的塔,重力方向垂直W平面,b和c分別為電力塔左右側(cè)棱與絕對(duì)水平面W的夾角.b和c分別為
根據(jù)電力塔傾斜度定義,由幾何推導(dǎo)可得b、c與傾斜度的關(guān)系式為
整理總結(jié)得傾斜度表達(dá)式如式為
圖8 幾何關(guān)系圖Fig.8 Geometric diagram
實(shí)驗(yàn)基于英特爾酷睿i5-11 400f 平臺(tái),深度學(xué)習(xí)環(huán)節(jié)采用英偉達(dá)RTX2060 Super 顯卡以及Pytorch1.8.1 進(jìn)行訓(xùn)練.實(shí)驗(yàn)數(shù)據(jù)集來(lái)自北京市西小口實(shí)地拍攝的電力塔圖像10 000 張.數(shù)據(jù)集、驗(yàn)證集和測(cè)試集按照8∶1∶1比例劃分.
為了衡量每個(gè)模型的性能和學(xué)習(xí)成本,并更有效地評(píng)估模型,實(shí)驗(yàn)使用多級(jí)控制參數(shù)變量進(jìn)行評(píng)估.主要評(píng)價(jià)指標(biāo)包括模型訓(xùn)練時(shí)間、模型預(yù)測(cè)精度、內(nèi)存占用和模型參數(shù)大小.在控制硬件配置和固定參數(shù)的條件下,進(jìn)行了對(duì)比實(shí)驗(yàn).衡量圖像分割精度的標(biāo)準(zhǔn)有很多.在語(yǔ)義分割領(lǐng)域,最常用的指標(biāo)是平均交并比(MIoU),對(duì)于多類別來(lái)說(shuō),MIoU 就是分別對(duì)每個(gè)類計(jì)算(IoU)真實(shí)標(biāo)簽和預(yù)測(cè)結(jié)果的交并比,然后對(duì)所有類別的IoU 求均值,得出
式中:k是類別的數(shù)量,總共(k+1)個(gè)類別(包括背景類別);pii是預(yù)測(cè)正確的像素?cái)?shù);pij是預(yù)測(cè)為背景但實(shí)際上是正標(biāo)簽的像素?cái)?shù);pji是被預(yù)測(cè)為前景但實(shí)際上是負(fù)標(biāo)簽的像素?cái)?shù).
由于本文只針對(duì)電力塔區(qū)域進(jìn)行標(biāo)注和計(jì)算,因此就只計(jì)算一類的IoU 值,也就是對(duì)于實(shí)際標(biāo)注區(qū)域和最終生成的標(biāo)注區(qū)域之間進(jìn)行交并比的計(jì)算.總的來(lái)說(shuō),MIoU 是最具代表性的評(píng)價(jià)指標(biāo).改進(jìn)前后部分圖像預(yù)測(cè)結(jié)果對(duì)比如圖9所示.
圖9 改進(jìn)前后預(yù)測(cè)結(jié)果對(duì)比Fig.9 Comparison of prediction results before and after improvement
改進(jìn)后算法與DeepLab V3+(骨干網(wǎng)絡(luò)為ResNet101)相比,MIoU 提高了1.4%;但收斂速度稍微變慢.整體樣本檢測(cè)結(jié)果對(duì)比如表1.
表1 整體樣本檢測(cè)結(jié)果Tab.1 Test results of the whole sample
由以上實(shí)驗(yàn)結(jié)果可知,電力塔區(qū)域分割算法能有效地檢測(cè)出電力塔區(qū)域,為雙目測(cè)量提供條件.
在電力塔實(shí)地進(jìn)行實(shí)驗(yàn),實(shí)景圖如圖10(a)所示.雙目攝像機(jī)距離電力塔5~10 m,先進(jìn)行攝像機(jī)的調(diào)平,固定攝像機(jī)并通過(guò)氣泡水平儀進(jìn)行粗調(diào),再采用TLL-90 S 高精度雙軸數(shù)顯水平儀和燕尾微調(diào)儀進(jìn)行精細(xì)調(diào)平.之后進(jìn)行攝像機(jī)的標(biāo)定與校正,采集了20 對(duì)標(biāo)定板圖像如圖10(b)所示.校正前后電力塔左圖像分別如圖10(c)和如圖10(d)所示.
標(biāo)定與校正完成后,通過(guò)電力塔區(qū)域分割算法進(jìn)行塔區(qū)域分割,分割結(jié)果如圖11 所示.通過(guò)極線匹配,分別提取出左右側(cè)棱的深度圖像,左側(cè)棱深度圖如圖12 所示.求解三維點(diǎn)云并擬合側(cè)棱直線,最終得到此電力塔傾斜度為0.35%.輸電線路桿塔傾斜智能監(jiān)測(cè)裝置技術(shù)規(guī)范規(guī)定[16],50 m 以下桿塔傾斜度小于1%即為正常,所以此桿塔正常工作.移動(dòng)攝像機(jī)并重新調(diào)平拍攝其他桿塔得到更多實(shí)驗(yàn)結(jié)果,將得到的傾斜度與經(jīng)緯儀測(cè)得的結(jié)果對(duì)比并進(jìn)行誤差分析.如表2 所示.其中,攝像機(jī)雙軸傾斜角為精細(xì)調(diào)平后數(shù)顯水平儀示數(shù).誤差分析如圖13 所示.
通過(guò)經(jīng)緯儀方法與本文方法進(jìn)行結(jié)果對(duì)比,經(jīng)計(jì)算,可以得出本文方法測(cè)量結(jié)果相對(duì)經(jīng)緯儀測(cè)量結(jié)果的誤差.輸電線路桿塔傾斜智能監(jiān)測(cè)裝置技術(shù)規(guī)范規(guī)定,桿塔傾斜角度測(cè)量誤差的絕對(duì)值≤0.05°即為符合規(guī)定.由此可得本文方法的測(cè)量誤差符合技術(shù)規(guī)定.
圖10 實(shí)景及標(biāo)定圖像Fig.10 Real-world and calibrated images
圖11 分割結(jié)果Fig.11 Segmentation results
由圖13 可知,攝像機(jī)雙軸傾斜角與誤差絕對(duì)值存在線性相關(guān)關(guān)系,當(dāng)攝像機(jī)雙軸傾斜角為0.005°時(shí),誤差的絕對(duì)值分別為0.013 和0.014,誤差較小.當(dāng)攝像機(jī)雙軸傾斜角為0.015°時(shí),誤差的絕對(duì)值為0.028,誤差較大.擬合后直線表明攝像機(jī)雙軸傾斜角越大,誤差的絕對(duì)值也越大.由此可知調(diào)平的準(zhǔn)確性直接影響測(cè)量結(jié)果準(zhǔn)確性,測(cè)量前對(duì)攝像機(jī)進(jìn)行精細(xì)調(diào)平,應(yīng)當(dāng)使得攝像機(jī)光軸盡量垂直重力方向.除此之外,還可能引起誤差的原因有以下3 點(diǎn):1)雙目攝像機(jī)鏡頭參數(shù)略有不同.雙目攝像機(jī)兩個(gè)鏡頭會(huì)存在制造引起的參數(shù)差別,使得參數(shù)不能完全相同.2)攝像機(jī)標(biāo)定過(guò)程中存在一定誤差.標(biāo)定誤差會(huì)受到標(biāo)定圖像拍攝角度、標(biāo)定圖像張數(shù)、光照等因素影響.3)雙目圖像分辨率不高影響測(cè)量準(zhǔn)確度.
圖12 左側(cè)棱深度圖Fig.12 Left-edge depth map
上述實(shí)驗(yàn)證明了雙目測(cè)量理論和塔傾斜度算法的正確性和可行性.本文所提出的基于雙目視覺技術(shù)和DeepLab V3+網(wǎng)絡(luò)的電力塔傾斜度檢測(cè)方法實(shí)現(xiàn)了高精度、高效率的自動(dòng)化塔傾斜度測(cè)量,便于企業(yè)的數(shù)據(jù)化管理以及應(yīng)用推廣.
表2 本文算法與經(jīng)緯儀測(cè)量結(jié)果對(duì)比Tab.2 The algorithm in this paper is compared with the longitudinal measurement results
圖13 誤差分析圖Fig.13 Error analysis diagram
1)針對(duì)雙目測(cè)量中立體匹配的匹配效率低的問(wèn)題,直接利用極線幾何約束,縮減了匹配點(diǎn)搜索空間,提高了匹配效率,能夠快速準(zhǔn)確地獲取電力塔側(cè)棱特征點(diǎn)的三維坐標(biāo).
2)在電力塔特征提取中,采用了基于Deep-Lab V3+的電力塔區(qū)域分割算法,并根據(jù)電力塔邊緣分割結(jié)果進(jìn)行分析,提出需要進(jìn)一步優(yōu)化電力塔側(cè)棱邊緣的分割精確度.在DeepLab V3+網(wǎng)絡(luò)基礎(chǔ)上,引入了更多的低級(jí)特征,提高了電力塔邊緣劃分的準(zhǔn)確性,實(shí)現(xiàn)了電力塔區(qū)域的準(zhǔn)確分割.
3)設(shè)計(jì)電力塔傾斜度計(jì)算算法,進(jìn)行實(shí)驗(yàn)和誤差分析,檢測(cè)結(jié)果表明基于雙目視覺的電力塔傾斜檢測(cè)方法誤差滿足國(guó)家標(biāo)準(zhǔn)要求.
4)實(shí)驗(yàn)證明了利用雙目視覺和深度學(xué)習(xí)方法檢測(cè)電力塔傾斜度是合理且可靠的.本文提出的基于雙目視覺的電力塔傾斜檢測(cè)方法對(duì)多個(gè)不同種類的電力塔實(shí)現(xiàn)了高精度、高效率的傾斜度測(cè)量.且可行性高、成本低,便于大規(guī)模推廣使用.