張春玲，趙訓(xùn)威，王志剛，吳 冰，劉冬暉，范永學(xué)

（1.國網(wǎng)信息通信產(chǎn)業(yè)集團(tuán)有限公司，北京 100052；2.國網(wǎng)浙江省電力有限公司經(jīng)濟(jì)技術(shù)研究院，浙江 杭州 310020；3.北京國電通網(wǎng)絡(luò)技術(shù)有限公司，北京 100107）

0 引言

電網(wǎng)勘測領(lǐng)域中，在電網(wǎng)建設(shè)前期需對變電站選址、輸電線路桿塔及線路走向等進(jìn)行實(shí)地勘測和測繪，結(jié)合地形地貌等地理信息進(jìn)行規(guī)劃，同時要避開軍事、密集建筑、地質(zhì)災(zāi)害頻發(fā)等特殊區(qū)域。傳統(tǒng)的勘測作業(yè)方式多依賴人工赴野外現(xiàn)場進(jìn)行反復(fù)測繪及調(diào)查，很多地區(qū)交通不便、環(huán)境惡劣且容易受到極端天氣影響，導(dǎo)致人工勘測作業(yè)效率低下，且給作業(yè)人員帶來一定安全風(fēng)險隱患[1]。

隨著衛(wèi)星遙感、空間科學(xué)等技術(shù)的不斷發(fā)展成熟，通過衛(wèi)星遙感掛載傳感器采集地面信息已廣泛應(yīng)用在軍事、農(nóng)業(yè)、環(huán)保、礦業(yè)以及電力等諸多行業(yè)。由于衛(wèi)星遙感技術(shù)不受地理和環(huán)境約束，獲取信息便捷，可大范圍采集地形地貌等測繪信息，通過衛(wèi)星掛載多個傳感器，可高效率實(shí)現(xiàn)多種多源遙感數(shù)據(jù)采集和地形地貌特征分析[2]，如：掛載全色相機(jī)采集全色影像數(shù)據(jù)（Panchromatic image,PAN）能較好地獲取地物信息豐富、紋理和幾何特征明顯的灰度圖片[3]；掛載多光譜相機(jī)采集多光譜圖像（Multi?spectral image,MS）常用于突出如植物覆蓋、水岸沿線等特定地物和目標(biāo)[4]；掛載高光譜相機(jī)可采集高光譜圖像（Hyperspectral image,HS）能較好地進(jìn)行地物的識別分類[5]；通過掛載多孔徑雷達(dá)可采集合成孔徑雷達(dá)（Synthetic Aperture Radar,SAR）圖像，可對存在類似鐵路、鐵塔等低分辨率的地物和帶介電特性目標(biāo)的圖像進(jìn)行有效分析[6]。因此，采用衛(wèi)星遙感技術(shù)實(shí)現(xiàn)多源數(shù)據(jù)采集，已成為電網(wǎng)勘測的一種有效輔助手段。

由于這些數(shù)據(jù)來自多源，技術(shù)原理各異，圖像的分辨率和尺寸各不相同，且波段、光譜等信息不同會導(dǎo)致對地形地物特性分析能力也各不相同，如全色圖像波段單一且光譜信息缺失[7]。因此，研究如何通過信息化技術(shù)手段將上述多源遙感數(shù)據(jù)進(jìn)行融合，通過將不同成像模態(tài)的信息融合在一起，生成一幅信息豐富、質(zhì)量高的圖像，已成為一項技術(shù)研究方向，融合后的圖像可通過互補(bǔ)信息來更加全面地描述場景，更為清晰地分析地物地形地貌，也更好地為電網(wǎng)勘測選址選線提供輔助決策依據(jù)[8]。本文以常用的PAN、MS、HS 圖像為融合研究對象，設(shè)計并提出一種基于AI 人工智能的深度學(xué)習(xí)網(wǎng)絡(luò)，采用統(tǒng)一融合策略將不同光譜和空間屬性的三種遙感源數(shù)據(jù)進(jìn)行有效融合，生成具有精確光譜信息和清晰空間細(xì)節(jié)的高分辨率HS 圖像[9]。

1 AI 融合技術(shù)及其研究

1.1 相關(guān)技術(shù)介紹

圖像融合是理解圖像和計算機(jī)視覺領(lǐng)域非常重要的一種技術(shù)，按照融合理論可分為像素級融合、特征級融合和決策級融合三種類型[10]，如圖1 所示。

圖1 數(shù)據(jù)融合技術(shù)路線圖

1）像素級融合是一種低水平融合，它保留了盡可能多的像素信息，具有精度較高的優(yōu)點(diǎn)，但也存在效率低、分析能力弱、抗干擾性差等缺點(diǎn)，常用的方法有：代數(shù)法、IHS 變換、小波變換、主成分變換（PCT）、K?T變換等。

2）特征級融合的融合水平為中等，主要工作難點(diǎn)在于將多源數(shù)據(jù)中的特征信息進(jìn)行精確提取、分類，并將輸出的特征矢量進(jìn)行聚集和融合，最終生成涵蓋了多個圖像源中特征信息的新圖像。

3）決策級融合的融合水平較高，其側(cè)重分析能力，其融合的目的是為輔助決策和業(yè)務(wù)管理提供數(shù)字依據(jù)，融合時需要對特征提取及預(yù)處理進(jìn)行充分理解和預(yù)設(shè)[11]。

本文所提方法歸屬于特征級融合，也是目前較為主流的研發(fā)課題方向。針對遙感數(shù)據(jù)PAN、MS、HS 三類的融合，鑒于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）的優(yōu)勢，基于CNN 的融合近幾年已被廣泛開展研究和應(yīng)用[12]。經(jīng)調(diào)研，基于HS、MS、PAN 兩兩之間的融合多有研究，尤其是MS 和PAN 之間的融合研究較多，但基于三者之間的融合尚未開展充分研發(fā)，例如：文獻(xiàn)[13]中提出一種可解釋的空間?光譜重建網(wǎng)絡(luò)FHM，該方法實(shí)現(xiàn)了HS 和MS 的融合，并較好地保留了光譜信息，但由于MS 的空間分辨率有限，融合后的HS空間分辨率并沒有得到很大提高。文獻(xiàn)[14]中提出一種基于HS 和PAN 融合的FHP 網(wǎng)絡(luò)，可為PAN 提供更高的空間分辨率，但由于HS 和PAN 之間存在光譜和空間分辨率的巨大差異，容易出現(xiàn)一定的光譜扭曲問題。文獻(xiàn)[15]中首先提出一種基于耦合非負(fù)矩陣分解的HSI、MSI 和PAN 融合方法FHMP，但由于需要手工設(shè)計融合參數(shù)，易導(dǎo)致融合效率及性能欠佳。

由此，本文基于人工智能卷積網(wǎng)絡(luò)和注意力機(jī)制提出一種統(tǒng)一融合網(wǎng)絡(luò)（Unified Convergence Network,UCN），將HS、MS、PAN 三者間的不同光譜和空間屬性進(jìn)行融合研究，三者融合的最終目標(biāo)是生成具有精確光譜信息和清晰空間細(xì)節(jié)的高分辨率HS 圖像。

1.2 關(guān)鍵技術(shù)研究

1.2.1 總體設(shè)計思路

本文主要思路為首先將MS 和PAN 進(jìn)行融合，生成高分辨率的MS 圖像，然后基于生成的MS 圖像，再與源HS 進(jìn)行融合，最終生成高分辨率目標(biāo)HS 圖像。本文所提出的融合網(wǎng)絡(luò)構(gòu)架主要包括三個模塊：特征提取模塊、特征插入模塊、融合重構(gòu)模塊，如圖2 所示。

圖2 統(tǒng)一融合網(wǎng)絡(luò)架構(gòu)設(shè)計

具體融合設(shè)計如下：

1）特征提取模塊由多個多尺度注意力增強(qiáng)（Multiscale Attention Enhance,MAE）卷積塊（MAE ?Block）組成，用以提取MS 和PAN 中的空間信息。具體來說，通過采用多尺度卷積根據(jù)不同尺寸自適應(yīng)地獲取其局部結(jié)構(gòu)特征，同時，采用光譜和空間的注意力機(jī)制實(shí)現(xiàn)特征在光譜和空間維度上的選擇和增強(qiáng)。特征提取時，為更好地保留光譜信息，將通道和空間注意力單元按順序嵌入到MAE?Block 中。

2）特征插入模塊主要由特征細(xì)節(jié)插入（Feature Detail Insertion,FDI）卷積塊（FDI?Block）構(gòu)成，F(xiàn)DI?Block 包含提取出的空間和光譜特征流，并將MS 和PAN 空間特征細(xì)節(jié)按學(xué)習(xí)的關(guān)系及其密集連接的層注入到HS。

3）融合重構(gòu)模塊主要由重構(gòu)（Reconstruction）卷積塊（Re?Block）構(gòu)成，通過Re?Block 在重建模塊中生成最終的融合HS 圖像。

由于以上三個模塊是在整個統(tǒng)一融合網(wǎng)絡(luò)（UCN）框架中實(shí)現(xiàn)的，因此建議使用總損失函數(shù)來訓(xùn)練本融合網(wǎng)絡(luò)，以生成在頻譜和空間質(zhì)量之間具有良好平衡的期望HS 圖像。

圖2 中，將預(yù)期融合生成高分辨率的HS 表示為X。待融合的PAN、MS 和HS 分別表示為P、M和H。將MS和PAN 高頻部分的空間特征信息注入到HS 中，可用公式（1）描述：

式中，↑H和↑M分別表示與P大小相同的上采樣H和M；HM和HP分別表示用于從MS 和PAN 提取空間細(xì)節(jié)的高頻算子；fM和fP分別是MSI 和PAN 的空間細(xì)節(jié)注入到HS 的學(xué)習(xí)網(wǎng)絡(luò)。

1.2.2 網(wǎng)絡(luò)架構(gòu)設(shè)計

多源數(shù)據(jù)融合關(guān)鍵難點(diǎn)在于特征的提取，本文主要通過人工智能卷積網(wǎng)絡(luò)中的注意力機(jī)制（Attention Mechanism）來對多尺度注意力增強(qiáng)網(wǎng)絡(luò)MAE?Block 進(jìn)行設(shè)計[16]，如圖3 所示，MAE?Block 架構(gòu)包含了通道注意力和空間注意力單元。在MAE?Block 卷積塊中，首先將PAN 和MS 按照光譜維度連接起來，形成MAE?Block 的輸入，即O（0）。為了自適應(yīng)地提取不同尺度的特征，同時使用了3×3、5×5 和7×7 卷積核，并將獲得的特征進(jìn)行級聯(lián)。然后，依次引入通道注意力和空間注意力單元，通過將獲取的特征相乘以提高多尺度卷積核的級聯(lián)結(jié)果的表示能力。具體地，用不同權(quán)重的有效特征對應(yīng)注意力圖，其中一個通道注意力圖是通過沿著通道的池操作計算的。類似地，可通過壓縮輸入特征圖的空間維度來獲得空間方式的注意力圖。特別地，在兩個注意單元的乘法運(yùn)算之前，分別增加了一個卷積層和一個激活函數(shù)來優(yōu)化注意力圖中的信道和空間權(quán)重。

圖3 MAE?Block 網(wǎng)絡(luò)架構(gòu)設(shè)計

FDI?Block 旨在將從MS 和PAN 提取的豐富空間信息注入到HS，其網(wǎng)絡(luò)架構(gòu)設(shè)計如圖4 左側(cè)所示，首先利用具有密集連接層的兩個流來保存空間和光譜特征。在每個流中，使用三組卷積層和非線性激活函數(shù)ReLU來提取淺表示域和深表示域中的重要信息。同時，空間流中的特征被單向地插入到每個組的光譜流中，從而增強(qiáng)了從MS 和PAN 到期望結(jié)果的空間特征細(xì)節(jié)的傳遞。RE?Block 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計如圖4 右側(cè)所示，其通過3×3 核的兩個卷積層將FDI?Block 輸出進(jìn)行重構(gòu)并得到了融合后的HS。需要注意的是，除了MAE?Block 中的最后一層注意力單元之外，所有卷積層都使用ReLU 作為激活函數(shù)，因為其在梯度的反向傳播和非線性表示中更具有優(yōu)勢[17]。

圖4 FDI?Block 及RE?Block 網(wǎng)絡(luò)架構(gòu)設(shè)計

1.2.3 損失函數(shù)

通過在本文中結(jié)合空間注入和頻譜保留的預(yù)設(shè)目標(biāo)，本文相應(yīng)地為統(tǒng)一融合網(wǎng)絡(luò)（UCN）設(shè)計一個總損失函數(shù)，如下所示：

式中：λ為平衡兩個損失項的參數(shù)；L1可視為強(qiáng)度損失項，主要為保證融合結(jié)果與參考圖像的光譜相似性，基于融合結(jié)果和參考圖像之間的空間結(jié)構(gòu)的一致性約束而引入的損失項。為保留光譜特征，通過在損失函數(shù)中使用L1，很好地保留了圖像的強(qiáng)度分布和邊緣特性，L1公式如下所示：

在僅使用強(qiáng)度損失項L1的情況下，會引入一些模糊的局部細(xì)節(jié)，為在訓(xùn)練過程中保持高頻區(qū)域的對比度和紋理細(xì)節(jié)，生成光譜信息準(zhǔn)確、結(jié)構(gòu)紋理美觀的融合圖像，引入了多尺度結(jié)構(gòu)相似性（MS?SSIM）損失函數(shù)LMS?SSIM，可直接關(guān)注2 幅復(fù)雜結(jié)構(gòu)圖像之間的結(jié)構(gòu)變化：

MS?SSIM(，F(xiàn))計算公式為：

式中：j表示尺寸；l(,F)、c(,F)、s(,F)分別為亮度、對比度和結(jié)構(gòu)因子。具體細(xì)節(jié)可參考文獻(xiàn)[18]。

2 實(shí)驗與應(yīng)用情況

2.1 實(shí)驗情況

1）實(shí)驗設(shè)置。為對本文所提出的UCN 與前述提及的幾種典型融合方法FHM、FHP 和FHMP 進(jìn)行融合性能比較，分別采用一組衛(wèi)星真實(shí)數(shù)據(jù)進(jìn)行實(shí)驗研究。實(shí)驗采用TensorFlow 框架，服務(wù)器配置為：Intel Xeon Core 3.70 GHz 的CPU，GeForce GTX 2080Ti GPU 顯卡，以及11 GB 內(nèi)存。實(shí)驗數(shù)據(jù)來自于在一組由2 個衛(wèi)星采集山西城區(qū)同一地區(qū)的真實(shí)數(shù)據(jù)，其中采用了A 衛(wèi)星采集的HS 圖像，B 衛(wèi)星采集的MS 和PAN 圖像數(shù)據(jù)，HS 尺寸為2 136×2 165×246，MS 尺寸為10 680×10 825×4，PAN 尺寸為32 036×32 467。同時，本文選擇5 項指標(biāo)進(jìn)行融合性能評價，包括平均平方誤差（Root Mean Squared Error,RMSE）、圖像品質(zhì)指數(shù)（Universal Image Quality Index,UIQI）、平均結(jié)構(gòu)相似性（Mean Structural Similarity,MSSIM）、失真度（Degree of Distortion,DD）、光譜角制圖（Spectral Angle Mapper,SAM）[19]。

2）實(shí)驗結(jié)果。在本實(shí)驗中，從A 衛(wèi)星的HS 圖像中去除了未校準(zhǔn)及含噪聲的頻帶，留下246 個頻帶，并從采集的HS、MS 和PAN 中獲得了尺寸分別為760×1 520×246、3 800×7 600×4 和11 400×22 800 的子圖像用于實(shí)驗，其中空間分辨率比為1∶5∶15。將HS、MS 和PAN 數(shù)據(jù)的前80%裁剪到訓(xùn)練數(shù)據(jù)集中，并將剩余部分用于實(shí)驗的測試樣本。具體地，用于HS、MS 和PAN 訓(xùn)練數(shù)據(jù)尺寸大小分別為8×8×246、40×40×4 和120×120，測試數(shù)據(jù)尺寸大小分別為32×32×246、160×160×4 和480×480。融合測試后的可視化效果如圖5 所示。其中，圖5e）為原始可見光圖像。

圖5 融合實(shí)驗效果對比圖

FHP 融合后的效果參見圖5a），通過采用120、50 和10 波段生成了假彩色圖像，F(xiàn)HP 融合效果較為模糊不清；FHM 融合后的效果參見圖5b）所示，顯示效果較FHP 稍有清晰，但空間細(xì)節(jié)不清楚，且存在塊變形的現(xiàn)象；FHMP 融合后的效果參見圖5c）所示，圖中許多區(qū)域存在一些不正常的藍(lán)色光譜信息；本文所提出的統(tǒng)一融合模型融合后的效果參見圖5d），與前述效果比較，其在空間和光譜質(zhì)量之間實(shí)現(xiàn)了良好的平衡?？梢姳疚乃岢龅姆椒ㄈ诤蠄D像效果最佳且最接近參考真實(shí)RBG 圖像。融合效果的定量評估情況如表1 所示，本文所提出的統(tǒng)一融合網(wǎng)絡(luò)（UCN）與其他三種典型方法相比較，5 項評價指標(biāo)均為最好。由此可見，本文所提出的統(tǒng)一融合網(wǎng)絡(luò)的融合效果最好。

表1 融合實(shí)驗指標(biāo)效果表

2.2 應(yīng)用情況

通過上述研究可見，本文研究成果具備較好的融合效果，后續(xù)可利用其豐富的空間及光譜信息，更好地識別地形地物地貌等信息，為電網(wǎng)勘測領(lǐng)域業(yè)務(wù)應(yīng)用發(fā)揮有效的作用。

1）勘測設(shè)計階段線路選優(yōu)。圖6 所示為勘測設(shè)計線路優(yōu)選示意圖，設(shè)計人員通過對衛(wèi)星遙感圖像采用本文所述方法進(jìn)行融合處理，結(jié)合電力選線參數(shù)對地形地貌、地面交通、植物覆蓋、地質(zhì)災(zāi)害等情況進(jìn)行綜合分析。對建筑物及人口密集區(qū)、旅游景區(qū)、軍事區(qū)、機(jī)場、礦場等特殊區(qū)域，需進(jìn)行選線規(guī)避。選線優(yōu)化時，還需考慮地質(zhì)是否滿足穩(wěn)定條件、交通運(yùn)輸是否方便、路徑是否相對其他方案最短等條件，最終形成最優(yōu)選線方案。融合后的光譜特征信息能更好地識別地質(zhì)特征，便于設(shè)計人員選線時更好地避開地質(zhì)災(zāi)害區(qū)域[20]。

圖6 線路選優(yōu)示意圖

2）勘測設(shè)計階段變電站選址。圖7 所示為勘測設(shè)計變電站輔助選址示意圖，結(jié)合遙感圖像、已有變電站站址和線路數(shù)據(jù)，對站址的周邊地形地物進(jìn)行分析識別，從而進(jìn)行備選站點(diǎn)的選址。

圖7 變電站輔助選址示意圖

具體選址時，可根據(jù)本文提出的方法進(jìn)行地形地物地貌有效識別，并綜合以下幾點(diǎn)進(jìn)行考慮：

①地形滿足平坦條件，避開山坡等地形；地質(zhì)條件穩(wěn)定，無山體滑坡或塌陷隱患。

②避開旅游風(fēng)景區(qū)、軍事區(qū)、自然保護(hù)區(qū)等特殊區(qū)域。

③減少耕地占用及房屋拆遷數(shù)量，節(jié)約用地。

④結(jié)合提升周邊經(jīng)濟(jì)發(fā)展、國民生活質(zhì)量、城市發(fā)展水平、工農(nóng)業(yè)發(fā)展綜合考量設(shè)計。

⑤交通運(yùn)輸方便。

3）量測斷面和優(yōu)化排位。圖8 為量測斷面和優(yōu)化排位示意圖，設(shè)計階段對每處塔位的選址設(shè)計需重點(diǎn)考慮其穩(wěn)定性，避免存在山地滑坡或塌陷等風(fēng)險。采用本文研究成果將全色圖像與多光譜圖像進(jìn)行融合，可對塔位周邊的地質(zhì)情況進(jìn)行分析，有效避開地質(zhì)災(zāi)害隱患。同時，融合后的圖像可生成斷面圖，設(shè)計人員可更好地對桿塔進(jìn)行排位優(yōu)化，并可對選線線路路徑可行性進(jìn)行更好的分析。

圖8 量測斷面和優(yōu)化排位示意圖

3 結(jié)語

隨著衛(wèi)星遙感技術(shù)持續(xù)發(fā)展，應(yīng)用領(lǐng)域也越來越廣泛。通過多源遙感數(shù)據(jù)進(jìn)行融合，已獲取更精確的光譜信息和清晰空間細(xì)節(jié)的高分辨率的高光譜圖像，提供更為精細(xì)化及準(zhǔn)確的地形地貌地物特征識別，可作為較好的輔助測繪有效手段?；诖耍疚奶岢鲆环N基于人工智能卷積網(wǎng)絡(luò)及注意力機(jī)制的統(tǒng)一融合網(wǎng)絡(luò)。通過網(wǎng)絡(luò)中所設(shè)計的特征提取模塊、特征插入模塊、融合重構(gòu)模塊，先將MS 和PAN 進(jìn)行融合，生成高分辨率的MS 圖像；然后基于生成的MS 圖像與源HS 進(jìn)行融合，生成最終的高分辨率目標(biāo)HS 圖像。實(shí)驗結(jié)果表明，本文研究成果相比當(dāng)前典型的FHP、FHM、FHMP 方法具備更好的融合效果。最后，結(jié)合電網(wǎng)勘測應(yīng)用領(lǐng)域業(yè)務(wù)情況提出了研究展望，本文研究成果可在勘測設(shè)計階段線路選優(yōu)、變電站選址、量測斷面和優(yōu)化排位等方面發(fā)揮更有價值的作用。

未來，計劃研究進(jìn)一步提高本融合網(wǎng)絡(luò)的泛化性，使之能更好地或更為低成本高性能地融合其他類型的遙感數(shù)據(jù)；同時，也計劃結(jié)合無人機(jī)的采集數(shù)據(jù)與星載數(shù)據(jù)進(jìn)行融合研究，對某些勘測區(qū)域，可以通過無人機(jī)輔助采集的方式進(jìn)行補(bǔ)充，將電網(wǎng)勘測數(shù)字化手段進(jìn)一步進(jìn)行擴(kuò)展。