王卓林，盧晨，黃昊，馬霄雯，吳名洲

(1.國(guó)網(wǎng)上海市電力公司工程建設(shè)咨詢(xún)分公司，上海 200122；2.武漢市迪特影像科技有限公司，武漢 430077)

0 引言

近年來(lái)電力行業(yè)三維數(shù)字化設(shè)計(jì)和管理進(jìn)入快速發(fā)展時(shí)期，高壓電力輸電線(xiàn)路的快速建模和調(diào)查監(jiān)測(cè)要求逐步提高。采用傳統(tǒng)的測(cè)量方式對(duì)輸電線(xiàn)路走廊資源進(jìn)行踏勘調(diào)查及規(guī)劃設(shè)計(jì)工作量大、效率低、成本高，且在復(fù)雜環(huán)境中的適用性差，難以滿(mǎn)足電網(wǎng)建設(shè)需求[1-2]。而基于無(wú)人機(jī)傾斜攝影測(cè)量技術(shù)的高壓電力輸電線(xiàn)路三維實(shí)景建模的這項(xiàng)新興技術(shù)得到了廣泛應(yīng)用。無(wú)人機(jī)傾斜攝影測(cè)量通過(guò)無(wú)人機(jī)獲取多視角地面物體的影像信息，快速重建地面物體的三維模型，可應(yīng)用于電力線(xiàn)路走廊影像采集、地形測(cè)繪以及線(xiàn)路和桿塔的幾何量測(cè)[3]?；趦A斜攝影測(cè)量技術(shù)的實(shí)景三維模型為電力工程三維數(shù)字化設(shè)計(jì)和管理提供了一個(gè)全新的途徑。

基于無(wú)人機(jī)傾斜攝影的高壓電力桿塔建模技術(shù)，是通過(guò)獲取的多個(gè)不同的角度，帶有一定重疊度的高分辨率影像、位置和姿態(tài)信息，經(jīng)過(guò)內(nèi)定向、相對(duì)定向、絕對(duì)定向、空中三角測(cè)量、多視密集匹配、泊松重建、紋理映射等技術(shù)構(gòu)建實(shí)景三維模型[4]。該項(xiàng)技術(shù)具有以下特點(diǎn)和優(yōu)勢(shì)：①無(wú)人機(jī)的飛行高度相對(duì)較低，可以快速獲取高壓電力桿塔的多角度影像數(shù)據(jù)；②實(shí)現(xiàn)自動(dòng)影像匹配和建模，減少了人工干預(yù)；③傾斜攝影獲取影像的顏色信息真實(shí)，分辨率高，能夠提供實(shí)景三維模型需要的精細(xì)紋理[5]；④實(shí)景數(shù)據(jù)采集快速，綜合成本相對(duì)較低。

高壓電力輸電線(xiàn)路三維實(shí)景建模的主要對(duì)象是電力桿塔。由于桿塔屬于線(xiàn)狀結(jié)構(gòu)地物，在進(jìn)行傾斜攝影三維重建電力桿塔的過(guò)程中，往往需要更加貼近桿塔攝影才能拍攝到桿塔細(xì)節(jié)，由此產(chǎn)生大量照片，增加內(nèi)業(yè)處理時(shí)間。在傳統(tǒng)的實(shí)景三維重建中，桿塔和背景是一起作為重建對(duì)象進(jìn)行空三、密集點(diǎn)生成和三維建模的。從電力桿塔重建的效率來(lái)說(shuō)，大量時(shí)間都被耗費(fèi)在與桿塔無(wú)關(guān)的背景地物的重建上?？梢园l(fā)現(xiàn)，電力桿塔在圖像上占比要遠(yuǎn)小于背景的占比，因此如果能夠精確選定電力桿塔范圍的圖像區(qū)域進(jìn)行三維重建，就可以極大提高建模效率，減少無(wú)效信息。

精確選定電力桿塔范圍的圖像區(qū)域可以通過(guò)圖像蒙版技術(shù)實(shí)現(xiàn)。Photoshop自2018版本以來(lái)就添加了基于機(jī)器學(xué)習(xí)的“選擇主體”功能，只需利用該功能便可對(duì)圖像中較為明顯的主體做出選擇，方便進(jìn)行批處理，從而實(shí)現(xiàn)主體的快速自動(dòng)選取和蒙版生成。然后在三維重建軟件中導(dǎo)入蒙版，圈出照片中參與三維重建的主體區(qū)域，主體區(qū)域只占圖片的很小部分，在同名點(diǎn)匹配環(huán)節(jié)大大減小匹配范圍，從而提高重建速度。

Photoshop自動(dòng)化的“主體選擇”功能要求主體和背景有較大的反差，故當(dāng)主體和背景沒(méi)有明顯差異時(shí)，“主體選擇”功能無(wú)法主動(dòng)識(shí)別出主體。而在室外攝影測(cè)量場(chǎng)景中，由于天氣的影響包括云朵遮擋等導(dǎo)致照片偏暗、地面顏色與電力塔顏色相近或者地面背景較為復(fù)雜時(shí)，Photoshop基本上識(shí)別不出主體。如圖1所示，紅色圓圈為Photoshop識(shí)別結(jié)果，存在識(shí)別范圍不全、識(shí)別范圍過(guò)大、識(shí)別錯(cuò)誤和未識(shí)別出來(lái)的情況。

圖1 Photoshop的桿塔“主體選擇”結(jié)果

為解決基于機(jī)器學(xué)習(xí)的方法在電力桿塔提取方面的不準(zhǔn)確問(wèn)題，本文通過(guò)標(biāo)注少量電力桿塔樣本，采用Mask RCNN深度學(xué)習(xí)網(wǎng)絡(luò)來(lái)進(jìn)行訓(xùn)練和識(shí)別，自動(dòng)形成每張圖像對(duì)應(yīng)的桿塔蒙版。相比Photoshop中的“主體識(shí)別”，Mask RCNN網(wǎng)絡(luò)專(zhuān)門(mén)識(shí)別電力桿塔，更具針對(duì)性，且該網(wǎng)絡(luò)對(duì)光照變化不敏感，不完全依托于背景識(shí)別主體，因此，具備比Photoshop更好的識(shí)別能力。最后對(duì)每張識(shí)別出電力桿塔的圖像，進(jìn)行基于蒙版選擇的空三重建和密集匹配，快速生成電力桿塔實(shí)景三維模型。

1 Mask RCNN電力桿塔蒙版的自動(dòng)生成

電力桿塔蒙版的自動(dòng)生成屬于模式識(shí)別的技術(shù)范疇。隨著CNN[6]、Fast RCNN[7]、Faster RCNN[8]以及Mask RCNN[9]的出現(xiàn)，目標(biāo)識(shí)別逐漸由目標(biāo)檢測(cè)[10]、語(yǔ)義分割[11]，發(fā)展到實(shí)例分割[12]。實(shí)例分割技術(shù)是通過(guò)對(duì)圖像多次進(jìn)行卷積運(yùn)算得到原始圖像中的目標(biāo)特征圖，結(jié)合語(yǔ)義特征完成對(duì)圖像中目標(biāo)的識(shí)別，有效檢測(cè)目標(biāo)的同時(shí)能輸出高質(zhì)量的實(shí)例分割。何愷明提出的Mask RCNN是當(dāng)前工業(yè)界最為流行的目標(biāo)檢測(cè)與分割框架之一，既能準(zhǔn)確檢測(cè)出圖像中的目標(biāo)，又能為一個(gè)目標(biāo)生成具有較高質(zhì)量的Mask[13]。Mask RCNN利用模型中的特征提取網(wǎng)絡(luò)及特征的金字塔網(wǎng)絡(luò)，通過(guò)空間金字塔池化獲取特征及特征圖，引入Mask分支生成候選框及邊界框，而二者又分別繼承了Fast RCNN和Faster RCNN的技術(shù)優(yōu)勢(shì)[14]，其技術(shù)流程如圖2所示。

圖2 實(shí)例分割技術(shù)流程圖

如圖3所示，在Mask RCNN中輸入單幅圖像進(jìn)行色彩、分辨率、長(zhǎng)寬比預(yù)處理；把結(jié)果輸入到預(yù)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，處理得到對(duì)應(yīng)的特征圖；為特征圖設(shè)定預(yù)定數(shù)量興趣區(qū)域(ROI)，將候選ROI送入?yún)^(qū)域候選網(wǎng)絡(luò)(RPN)，運(yùn)行二值分類(lèi)和邊框回歸運(yùn)算，濾掉部分候選ROI；對(duì)剩余ROI進(jìn)行興趣區(qū)域匹配(ROIAlign)操作；對(duì)ROI進(jìn)行N類(lèi)別分類(lèi)、邊框回歸和Mask生成。(在每一個(gè)ROI里面進(jìn)行全卷積(FCN)操作)。

圖3 Mask RCNN結(jié)構(gòu)圖

2 基于蒙版選擇的電力桿塔三維重建

在多數(shù)三維重建軟件中提供導(dǎo)入蒙版功能。通過(guò)蒙版導(dǎo)入，可以圈出照片中參與重建的區(qū)域，這些區(qū)域只占圖片的一小部分，在同名點(diǎn)匹配環(huán)節(jié)大大減小匹配范圍，從而提高重建速度?；诿砂孢x擇的桿塔三維重建的主要流程和普通三維重建流程相同。但需要導(dǎo)入蒙版，并且在空三解算環(huán)節(jié)選擇蒙版。

以Photoscan為例，基于蒙版選擇的電力桿塔三維重建流程如圖4所示。右擊模塊→Import→Import Masks，選擇從Alpha通道輸入模板、替換、應(yīng)用于所有圖片。在連接照片環(huán)節(jié)(空三解算，Align Photos)選擇將蒙版應(yīng)用于關(guān)鍵點(diǎn)(Key points)。再經(jīng)過(guò)IMU、DGPS(差分GPS)數(shù)據(jù)的聯(lián)合處理，利用POS(定位定向系統(tǒng))輔助空中三角測(cè)量技術(shù)，獲取每張像片的多個(gè)外方位元素，導(dǎo)入到Photoscan軟件后，實(shí)現(xiàn)多視角影像區(qū)域網(wǎng)的平差，經(jīng)過(guò)多次的迭代計(jì)算，得到符合精度要求的空中三角測(cè)量成果。

圖4 Photoscan中基于蒙版的三維重建界面

基于蒙版選擇的電力桿塔三維重建中，多視影像聯(lián)合平差和多視影像密集匹配是關(guān)鍵技術(shù)，相對(duì)于傳統(tǒng)垂直攝影測(cè)量，多視影像聯(lián)合平差充分考慮了多視影像的影像畸變和地物間的遮擋關(guān)系[15]。結(jié)合POS和IMU的外方位元素，在多級(jí)影像上進(jìn)行同名點(diǎn)自動(dòng)匹配和自由網(wǎng)光束法平差，得到更優(yōu)的同名點(diǎn)匹配結(jié)果，然后把連接點(diǎn)和連接線(xiàn)、控制點(diǎn)坐標(biāo)加入到自檢校區(qū)域網(wǎng)平差的誤差方程后，展開(kāi)聯(lián)合結(jié)算平差，確保平差精度[16]。影像匹配是傾斜攝影測(cè)量三維重建的關(guān)鍵問(wèn)題之一，多視影像具有覆蓋范圍大、分辨率高等特點(diǎn)[17]。因此，如何在匹配過(guò)程中充分考慮冗余信息，快速準(zhǔn)確地獲取多視影像上的同名點(diǎn)坐標(biāo)，進(jìn)而獲取地物的三維信息，是多視影像匹配的關(guān)鍵。由于單獨(dú)使用一種匹配基元或匹配策略往往難以獲取建模需要的同名點(diǎn)，近年來(lái)隨著計(jì)算機(jī)視覺(jué)發(fā)展起來(lái)的多基元、多視影像匹配逐漸成為人們研究的焦點(diǎn)，通過(guò)搜索多視影像上的邊緣和紋理特征來(lái)進(jìn)行密集匹配。

3 高壓電力桿塔快速三維重建實(shí)驗(yàn)對(duì)比與分析

實(shí)驗(yàn)區(qū)位于上海市金山區(qū)楓涇鎮(zhèn)，地形多為平地，實(shí)驗(yàn)覆蓋亭涇線(xiàn)169～174號(hào)共六座基塔，以及周邊其他五條電力線(xiàn)路、一條動(dòng)車(chē)線(xiàn)路、兩個(gè)村莊、一條干線(xiàn)公路在內(nèi)的約1 km2的電力大通道，如圖5所示。

圖5 實(shí)驗(yàn)區(qū)概況

經(jīng)現(xiàn)場(chǎng)踏勘，為確保飛行作業(yè)數(shù)據(jù)的穩(wěn)定性及精度要求，制定了荷載達(dá)5 kg的六軸多旋翼行業(yè)應(yīng)用無(wú)人機(jī)大疆M600Pro，搭載索尼A7R IV全畫(huà)幅微單實(shí)測(cè)方案。于2020年5月13—18日對(duì)實(shí)驗(yàn)區(qū)進(jìn)行了傾斜攝影，航飛當(dāng)天風(fēng)力小于5級(jí)，晴朗無(wú)云，飛行高度150 m，飛行速度8.7 m/s，完成了向下傾斜40°、呈“米”字型八個(gè)方向以及垂直正攝共九條航線(xiàn)飛行作業(yè)，航線(xiàn)設(shè)計(jì)如圖4所示。對(duì)項(xiàng)目擬定線(xiàn)路區(qū)域進(jìn)行了高重疊度精細(xì)化航片采集，并分別對(duì)區(qū)域內(nèi)各電力桿塔在多條交錯(cuò)的線(xiàn)路之間進(jìn)行了多角度上下垂直影像采集。針對(duì)單體電力鐵塔(鏤空建筑)建模效果差的問(wèn)題，為獲得更加精細(xì)的桿塔模型，進(jìn)行了區(qū)域內(nèi)各電力桿塔空中圓周環(huán)繞飛行拍攝，共獲取影像3 247張，采用WGS 84坐標(biāo)系和正高高程系統(tǒng)，航拍影像如圖6所示。通過(guò)對(duì)影像質(zhì)量檢查分析可知，航向重疊度80%，旁向重疊度70%，測(cè)區(qū)最高點(diǎn)地面分辨率為2 cm/像素，符合《電力工程數(shù)字?jǐn)z影測(cè)量規(guī)程》(DL/T 5138—2014)相關(guān)要求；通過(guò)對(duì)GPS和慣性測(cè)量單元(IMU)以及獲取的影像照片進(jìn)行分析，本次傾斜攝影飛行姿態(tài)穩(wěn)定，設(shè)計(jì)航線(xiàn)的航向航高保持良好，影像成果的分辨率合格，顏色、亮度及對(duì)比度均衡。

圖6 實(shí)驗(yàn)區(qū)航線(xiàn)(正射)布設(shè)圖

圖7 桿塔樣本采集

實(shí)例分割技術(shù)流程首先進(jìn)行樣本制作，如圖7所示。樣本制作工具選用麻省理工大學(xué)計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室研發(fā)的圖像標(biāo)注工具LabelMe，可以使用該工具創(chuàng)建定制化標(biāo)注任務(wù)或執(zhí)行圖像標(biāo)注，常用于實(shí)例分割、語(yǔ)義分割、目標(biāo)檢測(cè)、分類(lèi)任務(wù)的數(shù)據(jù)集標(biāo)注工作。樣本制作完成后，在Mask RCNN中進(jìn)行網(wǎng)絡(luò)訓(xùn)練，并利用測(cè)試數(shù)據(jù)進(jìn)行模型驗(yàn)證和優(yōu)化，從而建立識(shí)別分類(lèi)器，最后對(duì)全部原始圖像進(jìn)行桿塔目標(biāo)的自動(dòng)識(shí)別提取。

從圖8和圖9可以看到，Mask RCNN識(shí)別生成的蒙版能夠緊緊包圍電力塔，并且沒(méi)有遺漏。表1定量給出了蒙版識(shí)別質(zhì)量評(píng)價(jià)，顯示基于Mask RCNN的實(shí)例分割可以生成質(zhì)量較好的蒙版，為快速三維重建提供良好數(shù)據(jù)基礎(chǔ)。

圖8 Mask RCNN識(shí)別生成的蒙版(全部)

圖9 Mask RCNN識(shí)別生成的蒙版(局部)

表1 蒙版識(shí)別質(zhì)量評(píng)價(jià) %

空三處理的影像成功率為99.97%，平差報(bào)告中各項(xiàng)誤差值均優(yōu)于1像素。查看重建后模型，區(qū)域地形地物紋理顏色基本與現(xiàn)實(shí)環(huán)境相同，高壓電力桿塔外觀(guān)結(jié)構(gòu)清晰，紋理覆蓋均衡，空中三角測(cè)量誤差如表2所示。

表2 空中三角測(cè)量誤差

如表3所示，在Photoshop自動(dòng)提取蒙版、手動(dòng)提取蒙版、Mask RCNN提取蒙版和不使用蒙版等四種不同蒙版狀態(tài)下進(jìn)行空三和密集匹配時(shí)效性對(duì)比。結(jié)果顯示，通過(guò)蒙版選擇照片區(qū)域，可減少約四倍密集匹配用時(shí)，同時(shí)生成的點(diǎn)云數(shù)量也減少四倍左右；這充分說(shuō)明了采用Mask RCNN提取蒙版的技術(shù)在高壓電力桿塔快速三維重建中的優(yōu)勢(shì)。

表3 不同蒙版狀態(tài)下的空三和密集匹配時(shí)效性對(duì)比

最后通過(guò)羅列自動(dòng)提取模板和手動(dòng)提取模板的密集點(diǎn)云生成效果(圖10至圖13)可以看出：①通過(guò)蒙版選擇圖片處理范圍，可以極大程度地減少無(wú)效點(diǎn)云生成；②雖然Photoshop自動(dòng)提取的模板在某些照片上沒(méi)有包含整個(gè)電力塔，但是因?yàn)檎掌啥鄠€(gè)角度獲取得到，某些角度的照片可能會(huì)彌補(bǔ)相應(yīng)的電力塔缺失，因此電力塔總體看起來(lái)較為完整(圖10)；③在不提取蒙版的情況下，生成了最完整的拍攝場(chǎng)景，但是電力塔提取不完整，下半部分嚴(yán)重缺失，此情況的發(fā)生極有可能是因?yàn)殡娏λ儆跅U狀地物，當(dāng)不使用蒙版時(shí)，其在照片中占比較少。Photoscan算法存在一定的缺陷，在密集匹配的深度圖生成以及深度圖過(guò)濾環(huán)節(jié)中，電力塔的深度值難以正確計(jì)算并保存。④從圖11至圖13可以看出，自動(dòng)蒙版提取、Mask RCNN蒙版提取下的電力塔三維重建的完整程度同手動(dòng)模板提取的三維重建完整程度一致，而不使用蒙版時(shí)，從各個(gè)角度觀(guān)察電力塔重建均不完整。

圖10 重建出的總體密集點(diǎn)云

圖11 桿塔側(cè)面點(diǎn)云(視角1)

圖12 桿塔側(cè)面點(diǎn)云(視角2)

圖13 桿塔俯視點(diǎn)云

4 結(jié)束語(yǔ)

針對(duì)高壓電力走廊的特點(diǎn)，將桿塔三維重建從整個(gè)環(huán)境三維重建的任務(wù)中分離出來(lái)，通過(guò)桿塔樣本和實(shí)例分割技術(shù)，自動(dòng)生成傾斜攝影圖像的桿塔蒙版，采用基于蒙版的空三和密集匹配方法，直接對(duì)桿塔對(duì)象進(jìn)行實(shí)例化三維重建，從而顯著地提高了桿塔重建的效率。此外，通過(guò)引入蒙版縮小密集匹配搜索范圍的同時(shí)，有可能避免背景中重復(fù)紋理或者單一顏色的干擾，提高密集匹配準(zhǔn)確率，進(jìn)而提高了模型重建的完整性，這在本文研究的農(nóng)田或者山林等場(chǎng)景中的桿塔提取具有極大的應(yīng)用意義。

無(wú)人機(jī)傾斜攝影測(cè)量在輸電線(xiàn)路工程中具有顯著的技術(shù)優(yōu)勢(shì)，通過(guò)優(yōu)化設(shè)計(jì)航飛路線(xiàn)和成像參數(shù)，結(jié)合無(wú)地面控制的全局空中三角測(cè)量技術(shù)可以得到高精度的空三成果。在三維建模過(guò)程中基于蒙版的實(shí)例分割技術(shù)可以顯著提高桿塔建模的效率。無(wú)人機(jī)傾斜攝影三維實(shí)景建模技術(shù)將線(xiàn)路走廊用數(shù)字化、圖像化、模型化的技術(shù)手段重現(xiàn)，使得輸電線(xiàn)路設(shè)備及其走廊環(huán)境變得直觀(guān)、客觀(guān)真實(shí)和可量測(cè)。相對(duì)于傳統(tǒng)的測(cè)繪，無(wú)人機(jī)傾斜攝影測(cè)量能快速獲取輸電線(xiàn)路場(chǎng)景的影像信息，各流程的中間成果評(píng)價(jià)分析合理，處理后各種數(shù)據(jù)直觀(guān)展示，能快速高效重建輸電線(xiàn)路及桿塔設(shè)備真實(shí)準(zhǔn)確的三維空間場(chǎng)景，為電力工程三維數(shù)字化管理、設(shè)計(jì)和監(jiān)測(cè)提供了一個(gè)全新的途徑。

本文的研究成果對(duì)于安全檢測(cè)也具有重要意義。如“三跨”跨越架的安全檢測(cè)，對(duì)規(guī)劃線(xiàn)路周邊的高速公路、鐵路及有電線(xiàn)路開(kāi)展真實(shí)三維場(chǎng)景的模擬后，規(guī)劃跨越架安裝工程的形體檢測(cè)(高度、寬度、長(zhǎng)度)的三維可視化場(chǎng)景，保證跨越架安全和順利搭建。如抱桿安裝的安全檢測(cè)，對(duì)周邊已通電線(xiàn)路開(kāi)展真實(shí)三維場(chǎng)景的模擬后，建立抱桿吊裝點(diǎn)(完全張開(kāi)后半徑9 m，最大吊裝高度約70 m))的運(yùn)行三維的可視化模擬，實(shí)現(xiàn)抱桿安裝的安全距離的碰撞檢測(cè)，保證抱桿離通電節(jié)點(diǎn)最短6 m的安全范圍。針對(duì)安全檢測(cè)，對(duì)高壓輸電線(xiàn)路兩側(cè)各300 m，開(kāi)展真三維平行世界建模，實(shí)現(xiàn)場(chǎng)景的高精度再現(xiàn)和坐標(biāo)、長(zhǎng)度、高度的可量測(cè)；對(duì)跨越架、抱桿真實(shí)尺寸的高精度建模；通過(guò)三維可視化分析實(shí)現(xiàn)碰撞空間的檢測(cè)，對(duì)跨越架、抱桿的安裝規(guī)劃實(shí)現(xiàn)數(shù)據(jù)可視化的檢測(cè)依據(jù)，指導(dǎo)施工的安全開(kāi)展。