闕 波 劉偉東 姜文東 王和平 鄒 彪

1國(guó)網(wǎng)浙江省電力有限公司，浙江 杭州，310007

2國(guó)網(wǎng)通用航空有限公司，北京，102209

隨著智能電網(wǎng)建設(shè)的不斷推進(jìn)［1，2］，對(duì)影響輸電線路正常送電的危險(xiǎn)源的自動(dòng)識(shí)別和報(bào)警是國(guó)家電網(wǎng)安全運(yùn)行的一個(gè)迫切需求。為了避免危險(xiǎn)源（高樓、大樹、帶揚(yáng)臂的危險(xiǎn)車輛等）對(duì)輸電線路的影響，除了檢測(cè)危險(xiǎn)源外，弧垂的重建也非常重要。

目前輸電線弧垂的重建主要是基于點(diǎn)云來完成的。文獻(xiàn)［3］基于機(jī)載激光雷達(dá)利用模型殘差聚類精確提取單根電力線點(diǎn)云；文獻(xiàn)［4］使用機(jī)載激光點(diǎn)云采用二分法提取每根分裂子導(dǎo)線點(diǎn)云，并采用二維直線擬合重建點(diǎn)云；文獻(xiàn)［5］使用機(jī)載激光雷達(dá)點(diǎn)云提取并重建輸電線；文獻(xiàn)［6］基于激光雷達(dá)點(diǎn)云，對(duì)比直線段與懸鏈線段相結(jié)合的模型，以及直線段與拋物線段相結(jié)合的模型重建輸電線的效果；文獻(xiàn)［7］通過對(duì)三角網(wǎng)漸進(jìn)加密濾波方法進(jìn)行改進(jìn)，采用k-means聚類分割單檔電力線點(diǎn)云，并采用兩種不同的方法重建輸電線；文獻(xiàn)［8］基于架空輸電線走廊重建輸電線，實(shí)現(xiàn)了對(duì)電力線數(shù)目、檔距長(zhǎng)度等因素魯棒的重建方法；文獻(xiàn)［9］通過點(diǎn)云聚類、懸掛點(diǎn)檢測(cè)和電力線三維建模等技術(shù)得到三維的輸電線。這些方法使用包含三維信息的點(diǎn)云，可以較好地重建輸電線，但其代價(jià)比較大。

三目視覺系統(tǒng)采用3個(gè)具有一定位置關(guān)系的攝像頭，模擬人的眼睛，構(gòu)建立體視覺系統(tǒng)，實(shí)現(xiàn)場(chǎng)景的三維重建，并且可以像普遍存在的監(jiān)控?cái)z像頭那樣，代替人完成長(zhǎng)時(shí)間的現(xiàn)場(chǎng)監(jiān)控。由于價(jià)格比較低，三目視覺系統(tǒng)可以在國(guó)家電網(wǎng)中大范圍的使用，提升智能電網(wǎng)的管理效率。而且，三目視覺系統(tǒng)使用3個(gè)攝像頭，相比于雙目視覺［10］，可以得到的信息更加豐富，標(biāo)定的更加準(zhǔn)確，可以更有效地實(shí)現(xiàn)三維重建。

因此，本文提出了一種基于三目視覺的輸電線弧垂三維重建方法。首先，單獨(dú)標(biāo)定各個(gè)攝像機(jī)，接著，基于特征點(diǎn)兩兩標(biāo)定攝像機(jī)，然后，采用光束平差參數(shù)優(yōu)化方法同時(shí)標(biāo)定3個(gè)攝像機(jī)?；跇?biāo)定好的三目攝像機(jī)，采用視點(diǎn)平面掃描技術(shù)為每個(gè)攝像機(jī)計(jì)算空間概率圖，并使用半全局代價(jià)空間優(yōu)化方法優(yōu)化空間概率圖得到3個(gè)深度點(diǎn)云。通過融合和過濾深度點(diǎn)云，最終得到重建后的深度圖?；谌恳曈X的三維重建可以自動(dòng)實(shí)現(xiàn)高精度的長(zhǎng)距離架空輸電線弧垂的三維重建。

本文的三目視覺系統(tǒng)架構(gòu)如圖1所示。系統(tǒng)采用3個(gè)12 mm焦距1 230萬像素鏡頭的同步工業(yè)攝像頭，安裝在電網(wǎng)鐵塔橫梁上，位于同一個(gè)水平線上，攝像機(jī)的光軸也都是水平的，并且中間的攝像機(jī)和左右兩邊的攝像機(jī)等間隔。整機(jī)采用太陽能供電，電壓12 V，電流60 A。

圖1 攝像頭的安裝位置（紅色的圈）Fig.1 Fixing Position of Cameras（Red Circles）

1 視覺標(biāo)定

1.1 單目標(biāo)定

對(duì)于每個(gè)攝像頭，采用張氏標(biāo)定法［11］基于棋盤格圖像確定攝像頭的內(nèi)部和外部參數(shù)。內(nèi)部參數(shù)是攝像頭的焦距和攝像機(jī)中心；外部參數(shù)是攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量。像素點(diǎn)的成像坐標(biāo)(u，v)與世界坐標(biāo)系的三維坐標(biāo)(X，Y，Z)的變換公式為：

式中，第一個(gè)3×3的矩陣是內(nèi)參矩陣，描述的是圖像中心點(diǎn)的偏移量和焦距；第二個(gè)3×4的矩陣是外參矩陣。通過采集一系列的(u，v，X，Y，Z)來計(jì)算其他最佳系數(shù)，實(shí)現(xiàn)單目標(biāo)定。單目標(biāo)定主要確定攝像機(jī)的內(nèi)部和外部參數(shù)。

1.2 雙目標(biāo)定

對(duì)于三目系統(tǒng)中的任意兩個(gè)攝像頭，采用雙目標(biāo)定的方法確定攝像頭之間的空間位置、旋轉(zhuǎn)角度等參數(shù)?；诿總€(gè)攝像頭采集的圖像，通過角點(diǎn)檢測(cè)技術(shù)［12］自動(dòng)檢測(cè)圖像中的特征點(diǎn)，并計(jì)算它們的判別性特征，使用Hamming距離兩兩匹配不同圖像中的對(duì)應(yīng)特征點(diǎn)，采用隨機(jī)采樣一致性來過濾掉特征點(diǎn)之間的錯(cuò)誤匹配，建立任意兩個(gè)攝像機(jī)之間的姿態(tài)關(guān)系。這里，特征點(diǎn)是圖像中在某方面屬性特別突出的像素點(diǎn)，是在某些屬性上強(qiáng)度最大或者最小的孤立點(diǎn)、線段的終點(diǎn)等。為了得到有效的判別性特征，提高標(biāo)定的效果，算法設(shè)計(jì)了深度神經(jīng)網(wǎng)絡(luò)，如圖2所示，用于在每個(gè)特征點(diǎn)處提取深度學(xué)習(xí)特征。其深度神經(jīng)網(wǎng)絡(luò)各層的設(shè)置如表1所示。

表1 深度神經(jīng)網(wǎng)絡(luò)各層的設(shè)置Table 1 Configuration of Layers for Deep Neural Network

圖2 提取特征點(diǎn)特征的深度神經(jīng)網(wǎng)絡(luò)Fig.2 Deep Neural Network for Feature Extraction of Feature Points

本文采用公開的ImageNet數(shù)據(jù)集，并在現(xiàn)有神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上外加一個(gè)全連接層用于輸出分類的結(jié)果。算法使用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)，在圖像的特征點(diǎn)處提取并輸出2 048維的深度特征。

為了標(biāo)定左、右攝像機(jī)，本文采用旋轉(zhuǎn)矩陣R和平移矩陣T來描述左、右兩個(gè)攝像機(jī)坐標(biāo)系的相對(duì)關(guān)系。假設(shè)空間中有一點(diǎn)Q，其在世界坐標(biāo)系下的坐標(biāo)為Q W，其在攝像機(jī)1和攝像機(jī)2坐標(biāo)系下的坐標(biāo)可以表示為：

進(jìn)一步可得到：

綜合式（2）、式（3）可知：

式中，R1、T1為攝像機(jī)1經(jīng)過單目標(biāo)定得到的相對(duì)標(biāo)定物的旋轉(zhuǎn)矩陣和平移向量；R2、T2為攝像機(jī)2經(jīng)過單目標(biāo)定得到的相對(duì)標(biāo)定物的旋轉(zhuǎn)矩陣和平移向量。

基于檢測(cè)到的一系列特征點(diǎn)，算法可以確定兩個(gè)攝像機(jī)的攝像頭間的空間位置和旋轉(zhuǎn)角度。雙目標(biāo)定除了進(jìn)一步確定攝像機(jī)的內(nèi)外參數(shù)外，還要確定攝像機(jī)之間的空間位置和旋轉(zhuǎn)角度等。

1.3 三目標(biāo)定

對(duì)于三目視覺系統(tǒng)，算法采用§1.2中的方法自動(dòng)檢測(cè)攝像機(jī)所采集的圖像中的特征點(diǎn)，并建立三目系統(tǒng)下特征點(diǎn)之間的對(duì)應(yīng)關(guān)系。采用光束平差參數(shù)優(yōu)化方法［13］，本文對(duì)3個(gè)攝像機(jī)的內(nèi)部、外部等參數(shù)同時(shí)優(yōu)化，建立3個(gè)攝像機(jī)的姿態(tài)關(guān)系，完成三目攝像機(jī)的標(biāo)定。

光束平差參數(shù)優(yōu)化是一個(gè)最小化問題：

式中，m取3，代表3個(gè)攝像機(jī)拍到的3個(gè)圖像；n是在3個(gè)圖像中共同可見的特征點(diǎn)的數(shù)量；x ij是第j個(gè)圖像上的第i個(gè)特征點(diǎn)的坐標(biāo)；v ij是一個(gè)開關(guān)量，如果第i個(gè)特征點(diǎn)在第j個(gè)圖像上有映射，則v ij=1，否則vij=0，每個(gè)圖像j由向量bj參數(shù)化表示，每個(gè)特征點(diǎn)由ai參數(shù)化表示；P(ai，bj)表示特征點(diǎn)i在第j個(gè)圖像上的通過上述攝像機(jī)的內(nèi)參、外參計(jì)算得到的坐標(biāo)；d(g，h)表示向量g和h的歐式距離。算法通過最小化n個(gè)特征點(diǎn)在3幅圖上投影的誤差，得到3個(gè)攝像機(jī)的參數(shù)和相互關(guān)系，標(biāo)定3個(gè)攝像機(jī)。三目標(biāo)定和雙目標(biāo)定一樣，除了進(jìn)一步確定攝像機(jī)的內(nèi)外參數(shù)外，還要確定攝像機(jī)之間的空間位置和旋轉(zhuǎn)角度等。

2 三維重建

基于標(biāo)定好的三目視覺系統(tǒng)所采集的3個(gè)圖像，本文通過多視點(diǎn)平面掃描技術(shù)依次為3個(gè)攝像機(jī)計(jì)算其所對(duì)應(yīng)的三維空間中的各點(diǎn)成為場(chǎng)景中物體的概率，得到3個(gè)概率圖。

通過上述的三目攝像機(jī)標(biāo)定，各個(gè)攝像機(jī)的圖像空間和相應(yīng)的真實(shí)世界的錐形空間之間建立了對(duì)應(yīng)的映射關(guān)系。利用這些映射關(guān)系，算法可以將3個(gè)圖像映射到上述的錐形空間，得到3個(gè)映射后的圖像Γk(k=1，2，3)。接著，在錐形空間中任選一個(gè)點(diǎn)p，并以該點(diǎn)為中心在每個(gè)映射后的圖像上取一個(gè)局部窗口W p，k(k=1，2，3)，計(jì)算3個(gè)圖像上的上述3個(gè)局部窗口上的互信息，并將互信息的值作為該點(diǎn)成為場(chǎng)景中物體的概率。

由于單幅圖像中每個(gè)像素的概率是獨(dú)立估算的，而且上述3個(gè)圖像之間可能會(huì)有尺度、光照上的差異，這些會(huì)導(dǎo)致初始相鄰像素間的概率相差過大，使獲得的概率圖不連續(xù)。因此，本文采用半全局代價(jià)空間優(yōu)化方法［14］去除這些不連續(xù)的噪點(diǎn)。

接著，算法以每個(gè)攝像頭為原點(diǎn)，通過射線的方式分別遍歷上訴概率圖，概率最大的位置對(duì)應(yīng)的深度就是這個(gè)位置的深度值，從而得到對(duì)應(yīng)的3個(gè)深度點(diǎn)云圖。深度點(diǎn)云位于攝像機(jī)的坐標(biāo)系中。

2.1 深度圖融合與過濾

為了得到世界坐標(biāo)下的深度圖，本文需要對(duì)3個(gè)深度點(diǎn)云進(jìn)行融合和過濾。依據(jù)每個(gè)攝像機(jī)和世界坐標(biāo)系的關(guān)系，將3個(gè)深度點(diǎn)云上的點(diǎn)映射到三維世界坐標(biāo)系中，使得每個(gè)三維世界坐標(biāo)系中的點(diǎn)對(duì)應(yīng)3個(gè)深度值d k(k=1，2，3)。

2.2 導(dǎo)線弧垂擬合

由于弧垂較細(xì)，重建后容易斷開［15］。本文通過隨機(jī)采樣一致性擬合出導(dǎo)線弧垂，實(shí)現(xiàn)弧垂的完整三維重建。擬合步驟如下：

1）隨機(jī)選擇n個(gè)三維重建的點(diǎn)rnd_points。

2）擬合二次方程M，并計(jì)算每個(gè)不在rnd_points中的數(shù)據(jù)點(diǎn)在這個(gè)擬合好的模型M上的誤差。如果誤差小于一個(gè)閾值th_error，就將這個(gè)重建點(diǎn)加到rnd_points里。

3）如果rnd_points中點(diǎn)的個(gè)數(shù)大于閾值th_num，則用rnd_points中的點(diǎn)再次擬合二次方程M：y=ax2+bx+c，并計(jì)算rnd_points中的所有點(diǎn)在新模型M中的誤差，如果誤差小于當(dāng)前的最優(yōu)誤差，就保存這個(gè)誤差以及對(duì)應(yīng)的二次方程M。

4）如果當(dāng)前迭代次數(shù)沒有達(dá)到最大的迭代次數(shù)，轉(zhuǎn)到步驟1），否則轉(zhuǎn)到步驟5）。

5）輸出最好的擬合模型M′。為了處理多個(gè)弧垂的不同情況，本文首先對(duì)各個(gè)弧垂進(jìn)行聚類，將不同的弧垂區(qū)分開來，再使用隨機(jī)采樣一致性擬合出導(dǎo)線弧垂［16］。

3 實(shí)驗(yàn)

本文選取浙江省和江蘇省實(shí)際電網(wǎng)場(chǎng)景來采集圖像，重建輸電導(dǎo)線弧垂，以此測(cè)試算法的有效性。本文三維重建采用256顆CUDA核的NVIDIA Jetson TX2主控板；三維重建精度的定量驗(yàn)證采用南方全站儀：NTS-342R10A，其測(cè)角經(jīng)度為2″，測(cè)距精度為±（2 mm+2×10-6×D）。

3.1 三維重建實(shí)驗(yàn)

以一個(gè)實(shí)際的高壓輸電線作為實(shí)驗(yàn)對(duì)象，如圖3所示，根據(jù)本文重建方法可以得到左、中、右3個(gè)攝像機(jī)視角下的三維重建圖像，如見圖4所示。從圖4中可以看出，三目視覺中的每個(gè)攝像頭都能得到較好的三維弧垂重建結(jié)果。

圖3 實(shí)際輸電線弧垂Fig.3 Real Power Line Arc Sag

圖4 左、中、右3個(gè)攝像機(jī)坐標(biāo)系中的三維點(diǎn)云圖Fig.4 3D Point Cloud Maps in the Three Cameras Coordinate Systems（Left，Middle，Right）

3.2 深度圖像融合實(shí)驗(yàn)

為了驗(yàn)證深度圖像融合的效果，本文選擇一個(gè)包含3個(gè)鐵塔、多條弧垂的場(chǎng)景，如圖5所示。其中左、中、右3個(gè)攝像機(jī)在坐標(biāo)系中的三維點(diǎn)云融合結(jié)果如圖6所示。

圖5 實(shí)際的弧垂圖像Fig.5 Real Arc Sag Image

圖6 融合后的深度圖像Fig.6 Fused Depth Image

3.3 圖像去噪實(shí)驗(yàn)

為了獲得更平滑的三維重建圖像，本文進(jìn)一步進(jìn)行了去噪處理，實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 去噪后的深度圖Fig.7 De-noised Depth Image

3.4 弧垂擬合實(shí)驗(yàn)

為了證明弧垂擬合的有效性，本文擬合了上面圖像中不連續(xù)的弧垂，得到了完整的弧垂，如圖8所示。由于多個(gè)不同的弧垂分別進(jìn)行了擬合，弧垂之間也沒有相互干擾。而且本文采用了隨機(jī)采樣一致性擬合導(dǎo)線弧垂，算法對(duì)噪聲等干擾具有較好的抗干擾能力，使得弧垂擬合的結(jié)果準(zhǔn)確。這驗(yàn)證了本文弧垂擬合方法是有效的。

圖8 弧垂擬合后的圖像Fig.8 Resulting Image of Arc Sag Fitting

3.5 本文三維重建方法的定量分析

為了定量衡量本文三維重建方法的精度，2019年7月26日在江蘇省南通海門市泰吳線上安裝該三維重建系統(tǒng)，采集并重構(gòu)點(diǎn)云數(shù)據(jù)。本文還采用南方全站儀獨(dú)立坐標(biāo)系測(cè)量方式采集單個(gè)區(qū)域共計(jì)6個(gè)檢查驗(yàn)證點(diǎn)。為了方便分析，檢查驗(yàn)證點(diǎn)主要選取特征明顯、圖片易分辨的特征點(diǎn)，比如目標(biāo)塔上的外角點(diǎn)、地面醒目固定物等，如圖9所示。

圖9 檢查驗(yàn)證點(diǎn)選點(diǎn)示意圖Fig.9 Illustration of Checking Points Selection

1）絕對(duì)精度驗(yàn)證。

根據(jù)選取的檢查驗(yàn)證點(diǎn)，使用Cloudcompare軟件打開本文方法重建的點(diǎn)云，并從中取出6個(gè)檢查驗(yàn)證點(diǎn)坐標(biāo)，和實(shí)際測(cè)量點(diǎn)坐標(biāo)值進(jìn)行對(duì)比。檢查驗(yàn)證點(diǎn)如圖9中的綠色圓圈所示，重建精度的絕對(duì)驗(yàn)證結(jié)果如表2所示。ΔX、ΔY、ΔZ代表實(shí)際測(cè)量值和重建后的點(diǎn)云測(cè)量值在X、Y、Z3個(gè)坐標(biāo)方向上的差值。

表2 檢查驗(yàn)證點(diǎn)坐標(biāo)差值/mTable 2 List of Coordinate Differences for Checking Points/m

2）相對(duì)精度驗(yàn)證。

為了測(cè)量三維重建的相對(duì)精度，用Cloudcompare打開本文重建的點(diǎn)云，并量取兩個(gè)檢查驗(yàn)證點(diǎn)的距離，與實(shí)地測(cè)量的兩點(diǎn)間距離進(jìn)行對(duì)比，得到相對(duì)精度差值。實(shí)驗(yàn)選取了6對(duì)檢查驗(yàn)證點(diǎn)對(duì)應(yīng)的5條線段，分別是L（W1-W2）、L（W3-W4）、Ld、L（KZ1-KZ2）、L（KZ3-KZ5），如圖9中5條黃色的線段所示，相對(duì)精度的對(duì)比結(jié)果如表3所示。

表3 檢查驗(yàn)證點(diǎn)相對(duì)距離差值表/mTable 3 List of Relative Distances for Checking Points/m

由表2中可知，在Y和Z方向上，本文的三維重建方法測(cè)得的檢查驗(yàn)證點(diǎn)的坐標(biāo)值和實(shí)際測(cè)量值之間的誤差不超過4 cm，在X方向上誤差為28.3 cm。從表3可以看出，在相對(duì)精度方面，本文的三維重建方法測(cè)得的檢查驗(yàn)證點(diǎn)間的相對(duì)距離和實(shí)際測(cè)量值之間的平均誤差為23.2 cm。這說明了本文的三維重建方法的準(zhǔn)確性。

4 結(jié)束語

針對(duì)輸電線弧垂的三維重建問題，本文提出了一種基于三目視覺的輸電線弧垂三維重建方法，能夠?qū)崿F(xiàn)單目、雙目、三目攝像機(jī)的標(biāo)定，自動(dòng)實(shí)現(xiàn)圖像采集和輸電弧垂的三維有效重建，在實(shí)際輸電場(chǎng)景中的實(shí)驗(yàn)驗(yàn)證后得到如下結(jié)論。

1）在三目視覺標(biāo)定過程中，采用深度神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)具有判別性的深度特征，可以更加準(zhǔn)確的匹配圖像間的對(duì)應(yīng)特征點(diǎn)，準(zhǔn)確的標(biāo)定攝像機(jī)。

2）三目視覺在輸電線弧垂三維重建中能夠捕捉更多的場(chǎng)景信息，獲得更豐富的點(diǎn)云，可以通過相互驗(yàn)證濾掉噪點(diǎn)，得到更好的重建效果，同時(shí)比雷達(dá)的成本更低。

本文的方法可以有效的從三目視覺系統(tǒng)采集的三個(gè)圖像中重建出輸電線弧垂，有利于發(fā)現(xiàn)可能影響輸電線安全的危險(xiǎn)源，這有益于保證輸電線路的安全，對(duì)電網(wǎng)的安全穩(wěn)定運(yùn)行具有重要意義。