蘭文輝，沈 濤，齊少安，李廣彬，劉健苗（中訊郵電咨詢?cè)O(shè)計(jì)院有限公司鄭州分公司，河南鄭州 450007）

1 背景

2021 年政府工作報(bào)告提出：“加快數(shù)字化發(fā)展，打造數(shù)字經(jīng)濟(jì)新優(yōu)勢(shì)，協(xié)同推進(jìn)數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型，加快數(shù)字社會(huì)建設(shè)步伐，提高數(shù)字政府建設(shè)水平，營(yíng)造良好數(shù)字生態(tài)……”報(bào)告中的7個(gè)“數(shù)字”勾勒出“數(shù)字中國(guó)”的豐富內(nèi)涵，數(shù)字化是“數(shù)字—信息—智能”整體框架的基礎(chǔ)和核心。

數(shù)字化已經(jīng)是不可阻擋的大潮，面向未來，運(yùn)營(yíng)商及中國(guó)鐵塔也計(jì)劃將傳統(tǒng)“通信塔”升級(jí)打造成為具有數(shù)字化能力的“數(shù)字塔”。作為數(shù)字經(jīng)濟(jì)、智慧社會(huì)的戰(zhàn)略性基礎(chǔ)設(shè)施，“數(shù)字塔”將服務(wù)千行百業(yè)，賦能數(shù)字經(jīng)濟(jì)發(fā)展，助力社會(huì)治理體系的現(xiàn)代化［1］。

目前通信鐵塔數(shù)字化面臨的主要問題是數(shù)據(jù)采集困難。鐵塔、平臺(tái)、抱桿、天線等天面信息，均采用人工草圖、照片、記錄等方式進(jìn)行記錄，無法對(duì)塔上的情況做準(zhǔn)確、詳實(shí)采集，采集后的信息需要大量人員加工整理上傳系統(tǒng)，并且整理后的數(shù)據(jù)是以圖紙等形式保存，沒有實(shí)現(xiàn)數(shù)字化。

隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，基于多視圖圖像的三維重建和圖像識(shí)別技術(shù)得到廣泛應(yīng)用。按照目標(biāo)物體深度信息的獲取方法（被動(dòng)式測(cè)量與主動(dòng)式測(cè)量［2］），三維重建技術(shù)分為被動(dòng)式三維重建技術(shù)和主動(dòng)式三維重建技術(shù)。主動(dòng)式測(cè)量是指利用如激光、聲波、電磁波等光源或能量源發(fā)射至目標(biāo)物體，通過接收返回的光波來獲取物體的深度信息。考慮到現(xiàn)有的通信鐵塔所處的位置環(huán)境較為復(fù)雜（地面不平、無法靠近、高度過高）等因素。本文采用被動(dòng)式三維重建技術(shù)來構(gòu)建鐵塔的三維模型，進(jìn)而獲取鐵塔的數(shù)據(jù)信息。

2 被動(dòng)式三維重建技術(shù)

被動(dòng)式三維重建技術(shù)一般利用周圍環(huán)境如自然光的反射，使用相機(jī)獲取圖像，然后通過特定算法計(jì)算得到物體的立體空間信息。被動(dòng)式三維重建技術(shù)分為運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)、稠密三維重建、紋理貼圖、語義解析和模型矢量化等步驟。

2.1 運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)［3］

2.1.1 算法需要輸入的數(shù)據(jù)

需要輸入的數(shù)據(jù)為無人機(jī)拍攝的照片。

2.1.2 算法輸出結(jié)果

輸出結(jié)果為每一幀圖像對(duì)應(yīng)的相機(jī)姿態(tài)和場(chǎng)景的稀疏三維點(diǎn)云。相機(jī)姿態(tài)為6 自由度，包括3 自由度的位置（三維坐標(biāo)）和3自由度的三維旋轉(zhuǎn)。場(chǎng)景的稀疏三維點(diǎn)云指算法自動(dòng)提取的部分場(chǎng)景關(guān)鍵點(diǎn)，每一個(gè)點(diǎn)由三維空間坐標(biāo)（x，y，z）和顏色值（R，G，B）表示。

2.1.3 算法原理

運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)技術(shù)以采集的圖片序列為輸入，經(jīng)過特征提取、特征匹配、兩視幾何計(jì)算、相機(jī)位姿估計(jì)和場(chǎng)景結(jié)構(gòu)恢復(fù)4 個(gè)步驟，恢復(fù)出圖片的相機(jī)位姿和場(chǎng)景的稀疏三維點(diǎn)云。運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)技術(shù)的流程如圖1所示。

圖1 運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)技術(shù)流程

特征點(diǎn)檢測(cè)是檢測(cè)出圖像中紋理比較豐富、容易識(shí)別的點(diǎn)，常用的特征提取算法是SIFT［4］。特征匹配是指將2 幅圖像中的特征點(diǎn)進(jìn)行匹配，正確匹配的特征點(diǎn)對(duì)應(yīng)著實(shí)際場(chǎng)景中的同一個(gè)點(diǎn)。根據(jù)匹配特征在圖像中的位置和相機(jī)的焦距等內(nèi)在參數(shù)可以計(jì)算拍攝2幅圖像的相對(duì)位置和朝向，如圖2所示。

圖2 由2幅圖像中的特征匹配計(jì)算的相對(duì)相機(jī)位置和朝向

由所有的兩兩圖像對(duì)之間的相對(duì)位置和朝向可以計(jì)算出所有圖像在一個(gè)統(tǒng)一坐標(biāo)系下的相機(jī)位置和朝向，最后根據(jù)相機(jī)的位置和朝向，可以通過三角化把圖像之間相互匹配的特征點(diǎn)在空間中的三維坐標(biāo)計(jì)算出來，從而獲取場(chǎng)景的稀疏三維點(diǎn)云。

2.2 稠密三維重建

2.2.1 算法需要輸入的數(shù)據(jù)

需要輸入無人機(jī)拍攝的照片、運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法求解的相機(jī)位姿。

2.2.2 算法輸出結(jié)果

輸出結(jié)果為場(chǎng)景的稠密三維點(diǎn)云和網(wǎng)格模型，點(diǎn)云和網(wǎng)格模型的頂點(diǎn)均帶有顏色，點(diǎn)云和網(wǎng)格模型的坐標(biāo)與運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法求解的相機(jī)位姿的坐標(biāo)系一致。

2.2.3 算法原理

在運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)技術(shù)生成的相機(jī)位姿基礎(chǔ)上，從圖片序列中恢復(fù)場(chǎng)景的稠密三維點(diǎn)云結(jié)構(gòu)。該技術(shù)涉及到稠密立體匹配、深度恢復(fù)等多視圖幾何原理和技術(shù)。稠密三維重建流程如下。

a）基于相機(jī)位姿利用稠密立體匹配技術(shù)恢復(fù)每張圖像的深度圖。

b）基于相機(jī)位姿將圖像序列的深度圖融合成稠密三維點(diǎn)云。

c）利用表面網(wǎng)格提取技術(shù)從稠密三維點(diǎn)云中抽取場(chǎng)景的稠密三維網(wǎng)格。

2.3 紋理貼圖

2.3.1 算法需要輸入的數(shù)據(jù)

需要輸入的數(shù)據(jù)包括無人機(jī)拍攝的照片、運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法求解的相機(jī)位姿，以及場(chǎng)景的稠密網(wǎng)格模型。

2.3.2 算法輸出結(jié)果

輸出結(jié)果為帶紋理貼圖的稠密三維網(wǎng)格模型。模型的紋理貼圖數(shù)據(jù)包括紋理圖像集以及模型三角面片的紋理映射坐標(biāo)。

2.3.3 算法原理

紋理貼圖算法流程如下。

a）利用多視角的圖像序列和相機(jī)位姿對(duì)三維模型做紋理映射。

b）對(duì)重復(fù)映射的視角圖像集做最優(yōu)的視角選擇。

c）經(jīng)過多視圖拼接優(yōu)化技術(shù)獲得稠密三維模型的無縫拼接紋理映射坐標(biāo)。

d）對(duì)紋理圖像的拼接縫隙做色差消除。

經(jīng)過上述步驟的處理獲得最終帶無縫隙紋理貼圖的稠密三維網(wǎng)格模型。

2.4 語義解析

2.4.1 算法需要輸入的數(shù)據(jù)

算法需要輸入如下數(shù)據(jù)。

a）稠密三維點(diǎn)云。由重建產(chǎn)生的三維稠密點(diǎn)坐標(biāo)的集合。

b）稠密三維模型。由重建產(chǎn)生的三維稠密面片的集合。

c）圖像。無人機(jī)拍攝的照片。

d）相機(jī)參數(shù)。與上述圖像一一對(duì)應(yīng)的相機(jī)內(nèi)參和外參，用于計(jì)算三維模型與圖像之間的轉(zhuǎn)換關(guān)系。

2.4.2 算法輸出結(jié)果

輸出結(jié)果包括二維圖像稠密語義結(jié)果和三維模型稠密語義結(jié)果。

a）二維圖像稠密語義結(jié)果。算法輸出二維圖像上每個(gè)像素所屬的語義類別，如墻面、地面、天花板等。

b）三維模型稠密語義結(jié)果。算法輸出三維點(diǎn)云或三維面片每個(gè)單位元素（點(diǎn)、或面片）所屬的語義類別，語義定義與二維相同。

2.4.3 算法原理

語義分割是指將場(chǎng)景中的二維圖像或三維模型基本元素進(jìn)行語義分類，實(shí)現(xiàn)對(duì)場(chǎng)景內(nèi)容信息高緯度的理解。基于深度學(xué)習(xí)中全卷積的網(wǎng)絡(luò)結(jié)構(gòu)，以先編碼再解碼的方式，實(shí)現(xiàn)對(duì)任意大小的圖像輸入的語義分割，網(wǎng)絡(luò)結(jié)構(gòu)中的多尺度信息融合設(shè)計(jì)可以讓網(wǎng)絡(luò)對(duì)于場(chǎng)景中同一個(gè)物體的尺度變化具有更強(qiáng)的魯棒性。另外，配合所設(shè)計(jì)的半自動(dòng)語義標(biāo)注器，可以在現(xiàn)有模型的識(shí)別結(jié)果的基礎(chǔ)上對(duì)新場(chǎng)景進(jìn)行快速標(biāo)注，將標(biāo)注后的新場(chǎng)景擴(kuò)充到現(xiàn)有數(shù)據(jù)庫(kù)中，然后利用擴(kuò)充后的數(shù)據(jù)庫(kù)訓(xùn)練和更新深度學(xué)習(xí)網(wǎng)絡(luò)模型，從而獲得更好的識(shí)別性能。

2.5 模型矢量化

2.5.1 算法需要輸入的數(shù)據(jù)

需要輸入場(chǎng)景的稠密網(wǎng)格模型和三維面片的語義標(biāo)注信息。

2.5.2 算法輸出結(jié)果

輸出結(jié)果為場(chǎng)景中核心對(duì)象（例如鐵搭天線、鐵塔平臺(tái)等）的矢量化結(jié)構(gòu)。

2.5.3 算法原理

模型矢量化是針對(duì)應(yīng)用場(chǎng)景所關(guān)注的核心對(duì)象生成矢量化結(jié)構(gòu)的算法，主要包括以下2類方法。

a）模型矢量化方法。提取場(chǎng)景模型中同類語義的聯(lián)通區(qū)域。對(duì)于每個(gè)區(qū)域目標(biāo)根據(jù)其語義特性擬合出對(duì)應(yīng)的三維矢量化結(jié)構(gòu)。

b）基于附加屬性的矢量化方法。即根據(jù)提供的對(duì)象型號(hào)、排列順序和從屬組別，在三維空間上對(duì)矢量化的模型進(jìn)行再擬合，獲取實(shí)例級(jí)的三維對(duì)象矢量化結(jié)構(gòu)。

基于不同語義的核心對(duì)象要采用適合自身語義屬性的不同矢量化方法。

3 三維重建實(shí)例

3.1 三維重建過程及結(jié)果

結(jié)合實(shí)際工程中通信鐵塔的實(shí)例，數(shù)據(jù)采集人員攜帶無人機(jī)到達(dá)鐵塔現(xiàn)場(chǎng)，將無人機(jī)放置在平坦的地面，使用控制APP，按照規(guī)劃路線完成鐵塔照片的拍攝，然后將拍攝的照片上傳到服務(wù)器，服務(wù)器按照三維重建流程進(jìn)行三維重建，后端人員可以直接查看到三維重建結(jié)果。

通過稠密重建可以實(shí)現(xiàn)鐵塔、平臺(tái)、抱桿、天線等天面信息的自動(dòng)化采集，實(shí)現(xiàn)對(duì)塔上情況做準(zhǔn)確、詳實(shí)的記錄。通過語義分割可以實(shí)現(xiàn)鐵塔、平臺(tái)、抱桿、天線等天面信息的自動(dòng)化識(shí)別。通過矢量模型可以實(shí)現(xiàn)通信鐵塔信息的數(shù)字化。本文中所述的方法基本可以滿足鐵塔查勘自動(dòng)化、處理自動(dòng)化、結(jié)果數(shù)據(jù)化的要求，為鐵塔基站的數(shù)字化建設(shè)、運(yùn)維、優(yōu)化提供了基礎(chǔ)。本次實(shí)驗(yàn)的三維重建過程及結(jié)果見圖3。

圖3 三維重建過程實(shí)例及結(jié)果

3.2 三維重建時(shí)間

采用上述的三維重建方法和步驟，以角鋼塔為例，采集設(shè)備為大疆精靈4 無人機(jī)，處理平臺(tái)為Intel（R）Xeon（R）CPU E5-2680 v4（2.40 GHz，56 核Ge-Force GTX 1080 Ti），處理數(shù)據(jù)量為1 000+張圖片，采集時(shí)間為20 min，重建處理時(shí)間約為1.5 h。

3.3 三維重建識(shí)別效果

三維重建識(shí)別效果如表1所示。

表1 三維重建識(shí)別效果

4 結(jié)束語

本文介紹了通信鐵塔數(shù)字化的背景及數(shù)字化過程中存在的問題，分析了現(xiàn)有的三維重建技術(shù)。結(jié)合通信鐵塔的環(huán)境因素，本文采用了通過無人機(jī)拍攝通信鐵塔照片的方式來構(gòu)建鐵塔的三維模型的方案。通過實(shí)驗(yàn)結(jié)果可知，三維重建結(jié)果基本符合預(yù)期要求。后期隨著人工智能的發(fā)展、訓(xùn)練算法的改進(jìn)，識(shí)別率和識(shí)別精度會(huì)有進(jìn)一步的提高，三維重建技術(shù)能夠更好地支撐鐵塔數(shù)字化。當(dāng)前情況下，由于城市中存在無人機(jī)限飛、操作無人機(jī)需要專業(yè)人員持證操作等非技術(shù)因素，通過無人機(jī)拍照對(duì)鐵塔進(jìn)行三維建模來獲取鐵塔的數(shù)字化信息還無法大規(guī)模應(yīng)用。