戴莫凡，徐 青，邢 帥，李鵬程

（1.戰(zhàn)略支援部隊(duì)信息工程大學(xué) 地理空間信息學(xué)院，河南 鄭州 450001；2.智慧中原地理信息技術(shù)河南省協(xié)同創(chuàng)新中心，河南 鄭州 450001）

1 引言

基于遙感數(shù)據(jù)的地物精確分類是對地觀測的重要研究內(nèi)容之一，在地理國情監(jiān)測［1］、智慧城市［2］、森林資源調(diào)查［3］、三維重建［4］等領(lǐng)域發(fā)揮著重要作用。近些年，隨著遙感影像光譜分辨率和時間分辨率的提高，大量基于深度學(xué)習(xí)的地物分類方法被陸續(xù)提出［5-7］，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于遙感影像可以顯著提高深度特征的提取能力。然而單一數(shù)據(jù)源由于缺乏豐富多樣的信息，仍面臨某些地物類別難以實(shí)現(xiàn)準(zhǔn)確分類的情況，聯(lián)合利用多源遙感數(shù)據(jù)是突破這一瓶頸的重要解決途徑［8-9］。激光雷達(dá)（Light Detection and Ranging，LiDAR）技術(shù)具有快速、主動、可穿透性強(qiáng)的特點(diǎn)，其獲取的點(diǎn)云數(shù)據(jù)結(jié)構(gòu)穩(wěn)定，能夠客觀真實(shí)地表達(dá)場景的復(fù)雜幾何信息，成為高精度地面三維信息的重要數(shù)據(jù)源［10］。目前，已有研究通過融合多源遙感數(shù)據(jù)的光譜和空間特性實(shí)現(xiàn)地物分類［11-13］，但受限于不同傳感器及數(shù)據(jù)結(jié)構(gòu)差異，多模態(tài)的遙感數(shù)據(jù)融合研究仍有很多挑戰(zhàn)［14］。

對影像和點(diǎn)云的融合分類研究主要分為在輸入層的前期融合、特征層的中間融合和決策層的后期融合三類。前期融合是最簡單也是早期常見的策略，在特征提取前直接將影像上像點(diǎn)的RGB 值與二維深度圖像上像點(diǎn)的深度值進(jìn)行融合［15］，但受限于多模態(tài)數(shù)據(jù)較顯著的結(jié)構(gòu)差異，其互補(bǔ)特性難以在輸入端被充分體現(xiàn)，冗余信息還需通過后續(xù)特征提取方法進(jìn)一步剔除；后期融合則避免了這種結(jié)構(gòu)差異，但由于在特征提取過程中多模態(tài)的特性沒有得到交互，分類誤差受到單模態(tài)特征提取方法影響較大。因此在特征層對多模態(tài)數(shù)據(jù)進(jìn)行交互是更為合理和靈活的融合策略，也是目前采用最多的融合方法。

在特征層融合影像和LiDAR 點(diǎn)云的方法通常以影像為基準(zhǔn)，通過將點(diǎn)云轉(zhuǎn)化為數(shù)字地面模型（Digital Surface Model，DSM），從影像和DSM 中提取空間特征，然后采用支持向量機(jī)（Support Vector Machine，SVM）、隨機(jī)森林（Random Forest，RF）和多項(xiàng)式邏輯回歸（Multinomial Logistic Regression，MLR）等分類器對疊加的空間和光譜特征進(jìn)行聯(lián)合分類［16-17］。近些年，隨著深度學(xué)習(xí)模型在海量數(shù)據(jù)上表現(xiàn)出了強(qiáng)大的特征提取能力，研究多通過對深度特征的概括提取和對數(shù)據(jù)結(jié)構(gòu)信息的重構(gòu)耦合，從而實(shí)現(xiàn)多源數(shù)據(jù)在特征級層次的融合，并取得了可觀的解譯精度［18］。其中，Hong 等［19］在2021 年首次提出了一個通用的和統(tǒng)一的遙感深度學(xué)習(xí)框架，對后續(xù)研究具有指導(dǎo)意義。

然而，目前提出的特征層融合方法大多以二維影像為基準(zhǔn)，忽略了點(diǎn)云的三維空間信息，或往往僅包含點(diǎn)云的高程信息［20］，而其獨(dú)有的三維優(yōu)勢結(jié)構(gòu)信息由于在特征輸入前被投影至二維平面造成了嚴(yán)重的丟失，例如植被點(diǎn)云最明顯的空間幾何形態(tài)特征在二維平面上則表現(xiàn)較差。同時，由于多模態(tài)數(shù)據(jù)間的高度信息耦合及數(shù)據(jù)結(jié)構(gòu)差異，現(xiàn)有以特征串聯(lián)的融合方式會導(dǎo)致信息融合不夠充分，甚至破壞單模態(tài)的特征學(xué)習(xí)過程，分類精度仍有待提高。

因此，針對上述問題，本文提出了一種采用獨(dú)立分支的自適應(yīng)二、三維數(shù)據(jù)特征融合的語義分割網(wǎng)絡(luò)。采用獨(dú)立分支的特征提取結(jié)構(gòu)進(jìn)一步兼顧了點(diǎn)云的空間幾何結(jié)構(gòu)，同時不干擾影像紋理信息的提取，在最大程度利用了二、三維數(shù)據(jù)特性的同時，實(shí)現(xiàn)不同模態(tài)間的交互。自適應(yīng)特征融合模塊能夠在網(wǎng)絡(luò)訓(xùn)練過程中動態(tài)優(yōu)化融合異源特征的權(quán)重，確保兩種類型的特征有效融合，從而使模型具備更強(qiáng)的泛化能力。

2 多源遙感影像融合方法

2.1 基于二維網(wǎng)絡(luò)的特征融合方法

早期嵌入式傳感器可以同時感知光學(xué)和深度信息，處理RGB-D 數(shù)據(jù)對計(jì)算機(jī)視覺領(lǐng)域有著重要的意義，因此大量融合研究集中于對點(diǎn)云深度圖的利用，這些方法同時也對后續(xù)基于二維網(wǎng)絡(luò)的特征融合方法有指導(dǎo)意義。其中，基于深度學(xué)習(xí)的融合方法多以平行的分支網(wǎng)絡(luò)結(jié)構(gòu)為主，Eitel 等［21］利用兩個平行卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN），在相同的完全連接層中對深度特征進(jìn)行簡單融合，實(shí)現(xiàn)RGBD 數(shù)據(jù)的分類。FuseNet［22］采用交叉融合算法 將雙支的SegNet 網(wǎng)絡(luò)架構(gòu)合并到編碼器部分，應(yīng)用于RGB-D 數(shù)據(jù)的語義分割。在計(jì)算機(jī)視覺領(lǐng)域，Liu 等人［23］提出了一種自適應(yīng)門控融合生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN），其采用兩個數(shù)據(jù)的編解碼網(wǎng)絡(luò)，通過RGB 特征引導(dǎo)深度特征的學(xué)習(xí)過程實(shí)現(xiàn)跨模式融合。

隨著激光雷達(dá)的發(fā)展，大范圍區(qū)域的高精度高程信息可以通過轉(zhuǎn)化為DSM 數(shù)據(jù)與影像相結(jié)合。Piramanayagam 等［15］采用基于FCN-32s 的深度神經(jīng)網(wǎng)絡(luò)，以合并點(diǎn)云和DSM 的特征，用于語義分割任務(wù)。Zhang 等［24］通過分析FCN 中各層的敏感性和貢獻(xiàn)從而創(chuàng)建了最佳的層融合架構(gòu)。Huang 等人［4］采用改進(jìn)的殘差網(wǎng)絡(luò)提取特征，并引入門控殘差細(xì)化網(wǎng)絡(luò)，將來自不同模式的原始數(shù)據(jù)連接到幾個通道中，實(shí)現(xiàn)特征的交互。

但通過簡單的級聯(lián)實(shí)現(xiàn)多模態(tài)特征的融合可能會進(jìn)一步增加模型的維數(shù)，并且由于缺乏大量的標(biāo)記數(shù)據(jù)，模型可能會出現(xiàn)維數(shù)詛咒，影響最終的多模態(tài)數(shù)據(jù)分類性能。這些因素都會在一定程度上影響光譜和LiDAR 數(shù)據(jù)的協(xié)同分類精度。區(qū)別于傳統(tǒng)的基于元素簡單求和或連接運(yùn)算的特征融合方法，Hosseinpour 等［25］提出了一種新的交叉模態(tài)融合網(wǎng)絡(luò)，通過將每個模態(tài)信息送入獨(dú)立的編碼器中，并在編碼器-解碼器結(jié)構(gòu)上，將具有高語義定義的高層次特征引入到低層次特征中實(shí)現(xiàn)對RGB 和DSM 數(shù)據(jù)的融合。

現(xiàn)有研究的結(jié)果表明，點(diǎn)云的高度信息與影像信息在二維神經(jīng)網(wǎng)絡(luò)中結(jié)合能夠有效提高地物的提取精度［21］，但不同傳感器獲取的數(shù)據(jù)本身存在較大的差異，而現(xiàn)有特征層線性融合方式會導(dǎo)致在網(wǎng)絡(luò)訓(xùn)練中產(chǎn)生不相關(guān)的特征而無法有效地利用模態(tài)的互補(bǔ)性。盡管多尺度信息對于影像提取上下文特征十分重要，但僅為了實(shí)現(xiàn)網(wǎng)絡(luò)的交互而對不同分辨率間特征進(jìn)行融合，往往會忽略了底層空間信息和高層語義信息間的聯(lián)系，損壞原有特征的提取過程。同時，基于二維神經(jīng)網(wǎng)絡(luò)的多模態(tài)融合方法雖然可以借助傳統(tǒng)特征有效提高分類精度［15］，但缺點(diǎn)是會造成三維空間結(jié)構(gòu)信息的丟失，在具有復(fù)雜空間結(jié)構(gòu)的地物或地形起伏變化較大處的點(diǎn)云上表現(xiàn)較差。

2.2 基于三維網(wǎng)絡(luò)的特征融合方法

近幾年，基于深度學(xué)習(xí)的點(diǎn)云分類方法迅速發(fā)展，并憑借其獨(dú)有的三維結(jié)構(gòu)優(yōu)勢展現(xiàn)出良好的應(yīng)用潛力。相較于早期將點(diǎn)云投影［26］或轉(zhuǎn)化為二維影像的多視圖［27］表征后采用二維卷積的方法，基于體素［28-29］的方法將無序點(diǎn)結(jié)構(gòu)轉(zhuǎn)化為三維網(wǎng)格并采用三維卷積實(shí)現(xiàn)分類。早期很多融合方法也采用同樣思路，但都面臨著固有空間結(jié)構(gòu)和幾何信息丟失并存在大量冗余計(jì)算的問題，而較難應(yīng)用于大范圍遙感場景。Qi 等［30］在2017 年提出的PointNet 是第一個能夠直接輸入并實(shí)現(xiàn)點(diǎn)云分類的網(wǎng)絡(luò)，相較于將點(diǎn)云轉(zhuǎn)化為二維深度圖的形式，三維的表征方式可以更直觀地還原真實(shí)的物理場景，并最大程度保留原有空間特性，為后續(xù)研究進(jìn)一步挖掘并利用點(diǎn)的空間鄰域關(guān)系提供了一個基準(zhǔn)框架。近些年的大量研究也是在該網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行改進(jìn)［31］，通過提取更豐富的邊緣和局部特征進(jìn)一步提高了點(diǎn)云的分類精度。

在特征融合方面，多視圖的方法多采用二維網(wǎng)絡(luò)進(jìn)行特征提?。?2-33］，F(xiàn)usionNet［34］和PVCNN［35］采用體素與點(diǎn)相融合的方法提高了對RGB-D 數(shù)據(jù)的特征提取能力，通過體素分支提取粗粒度特征進(jìn)行輔助。在影像與三維點(diǎn)云數(shù)據(jù)融合方面，Khaled 等［33］聯(lián) 合RGB 影像和Li-DAR 點(diǎn)云數(shù)據(jù)實(shí)現(xiàn)了三維語義分割，其突出貢獻(xiàn)是將RGB 影像轉(zhuǎn)換為極坐標(biāo)網(wǎng)格下的映射表示，建立了特征級的融合結(jié)構(gòu)。Li 等［36］利用機(jī)載多光譜LiDAR 點(diǎn)云自帶的光譜數(shù)據(jù)進(jìn)行特征補(bǔ)充，同時通過在圖卷積模型中引入幾何矩描述點(diǎn)云的幾何特征，能夠進(jìn)一步提高精度。Widyaningrum 等［37］結(jié)合正射影像的RGB 信息，通過將二維色彩信息投影至點(diǎn)云上，實(shí)現(xiàn)特征的融合。Poliyapram 等［38］則提出了端到端的逐點(diǎn)激光雷達(dá)和圖像的多模態(tài)融合網(wǎng)絡(luò)PMNet，分別采用二維和三維規(guī)則網(wǎng)絡(luò)對影像和點(diǎn)云進(jìn)行特征提取，通過特征連接和分類網(wǎng)絡(luò)，實(shí)現(xiàn)對機(jī)載LiDAR 點(diǎn)云的分類。

2.3 存在的問題

從現(xiàn)有融合方法中可以看出，多模態(tài)遙感數(shù)據(jù)的融合研究普遍存在以下難點(diǎn)：

（1）數(shù)據(jù)表征不同：二維影像數(shù)據(jù)是三維場景經(jīng)過投影后的規(guī)則像素表征，地物分辨率有限，而三維點(diǎn)云數(shù)據(jù)則是無序、不規(guī)則的離散點(diǎn)，三維坐標(biāo)信息準(zhǔn)確，但點(diǎn)密度低；

（2）特征表達(dá)差異大：對影像而言，光譜特征和上下文空間特征是準(zhǔn)確進(jìn)行地物表達(dá)的重要信息，研究重點(diǎn)在于通過挖掘像素間的相關(guān)性實(shí)現(xiàn)形態(tài)特征和紋理特征的提取，而點(diǎn)云是真實(shí)的三維場景，離散三維點(diǎn)間的幾何關(guān)系和空間結(jié)構(gòu)更為重要；

（3）特征融合難度高：為了提取上下文空間特征，規(guī)則的影像數(shù)據(jù)多以層次化卷積作為特征提取網(wǎng)絡(luò)的骨干結(jié)構(gòu)，而點(diǎn)云數(shù)據(jù)由于不規(guī)則的幾何結(jié)構(gòu)，無法采用二維卷積的網(wǎng)絡(luò)架構(gòu)，而多采用基于點(diǎn)的多層感知機(jī)和圖神經(jīng)網(wǎng)絡(luò)。

然而，現(xiàn)有研究無論是基于二維神經(jīng)網(wǎng)絡(luò)還是三維網(wǎng)絡(luò)，重點(diǎn)多放在如何設(shè)計(jì)復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)上，盡管廣泛使用的基于串聯(lián)的融合方式在特征表示方面取得了成功，但在融合不同屬性，尤其是異構(gòu)特征上的能力仍然有限，簡單的線性特征融合方法僅提供特征映射的固定線性聚合，會誤導(dǎo)模型關(guān)注與模態(tài)不相關(guān)的特征，影響單模態(tài)的特征提取能力，甚至降低模型的表示。同時，融合網(wǎng)絡(luò)架構(gòu)過度依賴某一模態(tài)，往往會造成對單模態(tài)信息的忽略，例如將點(diǎn)云轉(zhuǎn)化為二維DSM 或深度圖的方式會受限于投影，難以捕捉點(diǎn)云的局部特征，并存在與影像不一致的尺度問題；而將RGB 信息直接賦予三維點(diǎn)云，同樣面臨投影后的影像信息與坐標(biāo)信息不對稱的問題，目前對于激光雷達(dá)點(diǎn)云與影像的融合研究還未有突破性進(jìn)展。

3 獨(dú)立分支的自適應(yīng)特征融合網(wǎng)絡(luò)

3.1 采用獨(dú)立分支的特征提取網(wǎng)絡(luò)

模態(tài)融合的優(yōu)化目標(biāo)是使最終的分類網(wǎng)絡(luò)能夠獲得不同模態(tài)間更多的共同信息，但通常也會導(dǎo)致網(wǎng)絡(luò)僅使用了兩種模式之間共同信息，而丟棄了每個傳感器獨(dú)有的信息。因此，為了在特征層保留每個模態(tài)獨(dú)有的信息，本文對點(diǎn)云和影像分別采用了獨(dú)立分支的語義特征提取網(wǎng)絡(luò)，如圖1 所示，其中對于每個樣本點(diǎn)，它同時來自一個二維影像和一個三維點(diǎn)云，三維真實(shí)標(biāo)簽作為監(jiān)督分類的固定信息，當(dāng)影像標(biāo)簽存在時，也可以作為輔助監(jiān)督信息。

3.1.1 二維影像語義分割網(wǎng)絡(luò)

考慮到遙感影像普遍存在的同物異譜和異物同譜的特點(diǎn)，本文采用了改進(jìn)的多尺度特征融合全卷積神經(jīng)網(wǎng)絡(luò)［36］（Fully Convolutional Networks，F(xiàn)CN）用于遙感影像的特征提取?；A(chǔ)的FCN 網(wǎng)絡(luò)能夠接受任意尺寸的圖像輸入，并采用全卷積化、上采樣和跳躍結(jié)構(gòu)實(shí)現(xiàn)逐像素的圖像分類。其中跳躍結(jié)構(gòu)實(shí)現(xiàn)了不同層次特征圖的融合，能夠更好地兼顧圖像低層次的細(xì)節(jié)局部特征和高層次的語義特征。本文采用在三種不同分辨率的融合方法中，分類效果最好的FCN-8s網(wǎng)絡(luò)作為二維語義特征提取網(wǎng)絡(luò)。采用獨(dú)立分支的多源遙感數(shù)據(jù)自適應(yīng)融合分類網(wǎng)絡(luò)結(jié)構(gòu)如圖1。

圖1 采用獨(dú)立分支的多源遙感數(shù)據(jù)自適應(yīng)融合分類網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Self-adaptive fusion classification network structure of multi-source remote sensing data with independent branches

當(dāng)影像的二維標(biāo)簽存在時，其可用于影像語義分割網(wǎng)絡(luò)的監(jiān)督分類，作為增強(qiáng)三維網(wǎng)絡(luò)訓(xùn)練的輔助信息。通過采樣可得到三維點(diǎn)云集T=其中任一三維點(diǎn)ti所在的像素位置ts(xs，ys)，如公式（1）所示：

其中：xi和yi表示三維點(diǎn)的平面幾何坐標(biāo)，x0和y0表示影像所在區(qū)域的平面方向最小幾何坐標(biāo)，xs和ys表示三維點(diǎn)經(jīng)采樣后所在的像素坐標(biāo)，dp為像素分辨率，int(·)為取整函數(shù)。

3.1.2 LiDAR 點(diǎn)云語義分割網(wǎng)絡(luò)

針對大尺度的機(jī)載LiDAR 點(diǎn)云，最近很多研究通過網(wǎng)絡(luò)的改進(jìn)探索局部結(jié)構(gòu)來學(xué)習(xí)其多層次特征表示［39］。同樣，本文在現(xiàn)有研究的基礎(chǔ)上，采用作者之前所提出的一種融合幾何卷積的神經(jīng)網(wǎng)絡(luò)［40］用于機(jī)載LiDAR 點(diǎn)云的特征提取。該網(wǎng)絡(luò)通過層次化卷積編碼點(diǎn)的空間幾何結(jié)構(gòu)，并與全局信息聚合能夠提取多尺度逐點(diǎn)深度特征，實(shí)現(xiàn)對于大區(qū)域點(diǎn)云復(fù)雜幾何結(jié)構(gòu)的獲取。

同時，采用點(diǎn)云分區(qū)、類別均衡等處理方法，增強(qiáng)模型對機(jī)載點(diǎn)云的適用性，在數(shù)據(jù)輸入層面保留原始的三維空間結(jié)構(gòu)并直接輸出逐點(diǎn)的地物提取結(jié)果，此時三維的監(jiān)督分類損失函數(shù)為：

3.2 自適應(yīng)特征融合

考慮到盡管使用了獨(dú)立分支網(wǎng)絡(luò)用于多模態(tài)的特征提取，但由于點(diǎn)云和影像位于不同的度量空間，直接融合3D 點(diǎn)云與2D 圖像仍然困難。LiDAR 點(diǎn)云的三維坐標(biāo)準(zhǔn)確，包含更多的結(jié)構(gòu)信息，但點(diǎn)密度低；遙感影像覆蓋范圍廣，光譜信息豐富，但地物分辨率有限，幾何結(jié)構(gòu)信息不足，如建筑物側(cè)面等，因此在兩類數(shù)據(jù)特征融合時，考慮三維信息和三維特征對二維具有較好的兼容性，尤其是植被的多層空間表達(dá)，采用將圖像的二維特征采樣至三維點(diǎn)集上的方式實(shí)現(xiàn)特征的對齊。具體而言，本文在二維和三維網(wǎng)絡(luò)輸出概率前，通過式（1）的采樣過程從二維特征圖中得到與點(diǎn)云中N個點(diǎn)所對應(yīng)的N個像素，從而得到N個點(diǎn)的影像特征，將兩個分支網(wǎng)絡(luò)的語義特征輸出保持相同的維度，此時N個三維點(diǎn)既包含了二維影像的語義特征又包含了點(diǎn)云的深度幾何特征和語義特征。

其次，在特征融合策略上，簡單的拼接或相加的融合方法僅是對特征映射的固定線性聚合，當(dāng)場景改變時，無法保證模型的泛化能力。受人類視覺系統(tǒng)視覺感知的啟發(fā)，注意力機(jī)制能夠根據(jù)目標(biāo)的重要性自適應(yīng)分配相應(yīng)的權(quán)重，因此點(diǎn)云和影像提取的語義特征的權(quán)重也應(yīng)按照對分類性能的貢獻(xiàn)重新分配。本文受圖像中注意力特征融合方 法（Attention Feature Fusion，AFF）［41］的啟發(fā)，提出了一種面向異源特征的自適應(yīng)融合方法，如圖2 所示，能夠依據(jù)點(diǎn)云的三維標(biāo)簽，動態(tài)學(xué)習(xí)并以非線性的方式優(yōu)化點(diǎn)云二、三維特征的融合過程。

圖2 自適應(yīng)特征融合模塊結(jié)構(gòu)Fig.2 Self-adaptive feature fusion module structure

具體而言，給定要融合的點(diǎn)云二維和三維特征X2D，X3D∈RN×F，首先通過元素求和操作得到聚合特征。其次，利用逐點(diǎn)卷積實(shí)現(xiàn)每個點(diǎn)的跨通道信息融合，并通過瓶頸結(jié)構(gòu)計(jì)算局部通道特征L(F)∈RN×F和全局通道特征G(F)∈RN×F：

其中：g(·)表示全局平均池操作，δ(·)表示ReLU激活函數(shù)，B(·)表示批標(biāo)準(zhǔn)化處理（Batch Normalization，BN），PConvi(·)表示各層具有不同輸入輸出通道數(shù)的逐點(diǎn)卷積運(yùn)算。

值得注意的是，兩個特征均與初始特征具有相同的維度，可以保留和突出底層特征中的細(xì)微細(xì)節(jié)，而后計(jì)算得到兩類特征的注意力權(quán)重M(F)：

其中，⊕表示逐元素相加運(yùn)算。此時，融合的特征映射Z∈RC×F可以表示為：

其中，?表示逐元素乘法運(yùn)算，融合權(quán)重M(F)和1-M(F)均由0 到1 之間的實(shí)數(shù)組成。此時網(wǎng)絡(luò)能夠?qū)2D和X3D的權(quán)重軟選擇或加權(quán)平均，在訓(xùn)練過程中實(shí)現(xiàn)動態(tài)優(yōu)化，確保異源特征有效融合，從而得到對數(shù)據(jù)噪聲更魯棒的軟標(biāo)簽，使模型具備更強(qiáng)的泛化能力。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 數(shù)據(jù)集及評價指標(biāo)

本文試驗(yàn)采用ISPRS 提供的Vaihingen 多源數(shù)據(jù)集［42］，包括分辨率為0.09 m 的原始正射影像數(shù)據(jù)和平均點(diǎn)云密度為6.7 pts·m-2的機(jī)載Li-DAR 點(diǎn)云數(shù)據(jù)。試驗(yàn)前對兩塊同時具有點(diǎn)云和影像的區(qū)域進(jìn)行預(yù)處理，對其中的點(diǎn)云與影像數(shù)據(jù)進(jìn)行配準(zhǔn)與采樣，得到兩幅尺寸分別為2 006×3 007和1 919×2 569 的訓(xùn)練影像和測試影像，以及相應(yīng)分別包含348 702 個點(diǎn)的訓(xùn)練點(diǎn)云和174 145 個點(diǎn)的測試點(diǎn)云，試驗(yàn)區(qū)域如圖3 所示。同時，由于原始點(diǎn)云和影像數(shù)據(jù)的類別標(biāo)注不統(tǒng)一，需對其進(jìn)行類別分級及類別對齊，處理前后數(shù)據(jù)集的類別信息如表1 統(tǒng)計(jì)所示。

表1 Vaihingen 實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)信息Tab.1 Statics of Vaihingen experimental dataset

圖3 Vaihingen 數(shù)據(jù)訓(xùn)練集、測試集分布Fig.3 Distribution of the Vaihingen training and test sets

試驗(yàn)均在CPU Intel i7-9750H、Nvidia Ge-Force RTX3090 顯卡硬件平臺和基于Ubuntu 18.04 系統(tǒng)下的Cuda11.1、Python3.8 和Pytorch1.4 的軟件平臺下進(jìn)行。輸入批次（Batch）為16，迭代次數(shù)（Epoch）為200，初始學(xué)習(xí)率為0.005，學(xué)習(xí)率衰減系數(shù)為0.5，衰減步長為20 000，選擇隨機(jī)梯度下降和L2 正則化的優(yōu)化方法。精度評價指標(biāo)包括精確度（Accuracy）、總體精 度（Overall Accuracy，OA）和平均交并 比（Mean Intersection over Union，mIoU）。

4.2 實(shí)驗(yàn)結(jié)果分析

4.2.1 多源數(shù)據(jù)融合實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文融合方法在點(diǎn)云語義分割上的有效性，實(shí)驗(yàn)首先從數(shù)據(jù)融合角度與目前主流的四種三維點(diǎn)云分類網(wǎng)絡(luò)（即無影像數(shù)據(jù)條件下）進(jìn)行對比，評估多源數(shù)據(jù)融合的必要性以及本文采用的獨(dú)立分支結(jié)構(gòu)的性能，實(shí)驗(yàn)結(jié)果如表2所示。

表2 多源遙感數(shù)據(jù)融合分類精度Tab.2 Classification accuracy of multi-source remote sensing data fusion

本文方法在三類地物分類精度及總體精度上均獲得了最佳結(jié)果，總體精度達(dá)到85.87%。在三維點(diǎn)云分類網(wǎng)絡(luò)中，DGCNN 和RandLANet 更適合于大場景點(diǎn)云數(shù)據(jù)，其中DGCNN 通過對點(diǎn)云的不同尺度特征聚合，提高了對地面點(diǎn)和植被的分類精度，RandLA-Net 方法從局部特征增強(qiáng)的角度，進(jìn)一步提高了整體的分類精度，更有助于網(wǎng)絡(luò)對邊界進(jìn)行識別，其中建筑物的分類精度超過80%。本文方法相較單獨(dú)對點(diǎn)云分類的方法，通過獨(dú)立分支網(wǎng)絡(luò)引入影像數(shù)據(jù)特征極大豐富了網(wǎng)絡(luò)的可用信息，顯著提高了對植被和建筑物的提取能力，相比于RandLA-Net，精度分別提高了約16%和5 %，整體分類精度和平均交并比分別提高了10.12 %和11.64 %，證明了紋理信息在地物分類中的重要性，同時獨(dú)立分支結(jié)構(gòu)能夠極大程度保留多源數(shù)據(jù)的獨(dú)有信息，顯著提高了特征融合。

從圖4 顯示的定性分類結(jié)果對比中也可以看到，測試區(qū)域在本文方法下的分類結(jié)果變得清晰可靠，整體上建筑物邊界和主干道路邊界變得整齊。在復(fù)雜區(qū)域的分類效果顯著提高，當(dāng)建筑物尺寸較小，且與地面點(diǎn)和植被點(diǎn)交雜時（黑色框區(qū)域），建筑物和道路的邊界變得清晰，其他類點(diǎn)的干擾較少，相比于沒有影像支持下的分類結(jié)果，本文方法顯著提高了復(fù)雜點(diǎn)云分布區(qū)域的分類精度。

圖4 測試區(qū)域分類結(jié)果Fig.4 Test area classification results

4.2.2 自適應(yīng)特征融合模塊

賦予點(diǎn)云影像信息的自適應(yīng)特征融合模塊能夠?qū)μ崛〉漠愒瓷疃忍卣鬟M(jìn)行權(quán)值標(biāo)定，進(jìn)一步提高特征的識別能力。為了驗(yàn)證其有效性，實(shí)驗(yàn)從現(xiàn)有的獨(dú)立分支網(wǎng)絡(luò)結(jié)構(gòu)中刪除了該模塊來進(jìn)一步對比不同的特征融合策略。具體而言，在對齊二、三維語義特征后，分別采用將二維語義特征直接相加（3D-ADD）和拼接（3D-CAT）至三維點(diǎn)特征上的兩種線性特征融合方法代替基于注意力機(jī)制的自適應(yīng)特征融合模塊，進(jìn)而評估本文自適應(yīng)融合策略對異源特征的適用性能，實(shí)驗(yàn)結(jié)果如表3 所示。

從表3 中可以看出，在三類主要地物上，直接對兩類深度特征相加方法的分類結(jié)果最差，不加區(qū)分地對特征進(jìn)行融合會破壞各自提取特征的過程，采用拼接的線性特征堆疊方法盡管可以避免獨(dú)有特征的破壞，但會造成特征的冗余；而自注意模塊在一定程度上可以提高分類精度，相較線性拼接的方式分類精度提高了約3%。由此可以得出結(jié)論，使用非線性自適應(yīng)特征融合模塊可以更有效地融合異源特征，以獲得更好的分類結(jié)果。

表3 自適應(yīng)特征融合方法性能Tab.3 Performances of self-adaptive feature fusion methods

5 結(jié)論

針對現(xiàn)有基于深度學(xué)習(xí)的點(diǎn)云影像融合分類方法對異源信息利用不夠充分的問題，本文提出了一種采用獨(dú)立分支網(wǎng)絡(luò)結(jié)構(gòu)的多源遙感數(shù)據(jù)自適應(yīng)融合分類方法。具體而言，首先采用了具有2D 和3D 分支的雙流架構(gòu)，用于分別提取特定于遙感影像的空譜特征和LiDAR 點(diǎn)云的幾何特征，保證網(wǎng)絡(luò)學(xué)習(xí)到的特征不限于模態(tài)學(xué)習(xí)到的共同信息，避免了獨(dú)有信息的丟失；其次在對齊二、三維語義特征基礎(chǔ)上，將二維語義特征采樣重構(gòu)至三維點(diǎn)集上實(shí)現(xiàn)異源特征對齊，最后采用一種基于注意力的非線性特征融合方法，能夠使網(wǎng)絡(luò)在訓(xùn)練中自適應(yīng)地動態(tài)優(yōu)化異源特征的融合過程，從而具備更強(qiáng)的泛化能力。

在Vaihingen 多源數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文模型對三類地物的平均分類精度達(dá)到85.15%，相較僅使用三維網(wǎng)絡(luò)方法精度提高了10.12%，相較簡單的線性融合策略提高了17.34%；同時本文的可視化結(jié)果也顯示了模型在細(xì)節(jié)上的較強(qiáng)分類能力，特別是在高樹環(huán)繞的建筑和屋頂結(jié)構(gòu)復(fù)雜的多層建筑等困難情況下仍然取得了優(yōu)秀的性能。在未來的工作中，我們將進(jìn)一步考慮跨模態(tài)的融合方法，并嘗試在我們的框架中處理更復(fù)雜的城市點(diǎn)云。