杜星乾，侯艷杰，唐 軼

(1.中國(guó)科學(xué)院 西安光學(xué)精密機(jī)械研究所光譜成像技術(shù)重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710119； 2.中國(guó)科學(xué)院大學(xué)，北京 100049； 3.太原衛(wèi)星發(fā)射中心，山西 太原 030027；4.云南民族大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，云南 昆明 650500)

高光譜影像(hyperspectral image, HSI)是用途最為廣泛的遙感技術(shù)之一，高光譜遙感技術(shù)是一種被動(dòng)遙感技術(shù)，通過獲取地物反射的電磁波得到連續(xù)而豐富的光譜信息，這決定了借助高光譜遙感影像可以很好地區(qū)分出的不同材質(zhì)構(gòu)成的地物.但由于高光譜圖像空間分辨率較低，因此對(duì)于相似材質(zhì)的不同類型地物(如喬木和灌木，水泥地面和水泥屋頂)的分辨能力有限.

高程數(shù)據(jù)同樣是遙感中常用的數(shù)據(jù)類型，它能夠表征地面的高度信息.通過研究地物的高程分布特點(diǎn)可以實(shí)現(xiàn)對(duì)地物的分析與理解，在地理信息分析中起到重要的作用.激光雷達(dá)(light detection and ranging, LiDAR)技術(shù)是獲取精確高程信息的常見手段，它屬于主動(dòng)遙感技術(shù)，具有精度高、靈活性好、受天氣因素影響小等優(yōu)勢(shì).激光雷達(dá)技術(shù)通過主動(dòng)發(fā)射激光束，接收從地面反射回探測(cè)器的光波，計(jì)算出探測(cè)器與目標(biāo)之間的距離.使用脈沖激光對(duì)地面場(chǎng)景進(jìn)行不斷掃描即可得到地面場(chǎng)景的高程信息，還可以通過這種手段建立地面數(shù)字高程模型(digital elevation model, DEM).在使用通過激光雷達(dá)獲取到的高程數(shù)據(jù)進(jìn)行遙感場(chǎng)景的分類、識(shí)別等任務(wù)時(shí)，能夠很好地辨別出地物高程的差異，尤其是在分辨建筑物與地面、樹木與草地等任務(wù)中起到很好的效果.但由于缺乏光譜信息，對(duì)地物的光譜特性，包括材料、質(zhì)地、成分難以進(jìn)行有效的區(qū)分.

基于高光譜遙感影像和高程數(shù)據(jù)(激光雷達(dá)數(shù)據(jù))的上述特點(diǎn)，在遙感數(shù)據(jù)智能分析中，將這兩種數(shù)據(jù)進(jìn)行融合能夠最大限度地發(fā)揮各自的特點(diǎn)，實(shí)現(xiàn)更高精度的分類與識(shí)別.基于對(duì)比實(shí)驗(yàn)可以證明相比于使用單一類型的數(shù)據(jù)，兩種數(shù)據(jù)的融合能夠顯著提升對(duì)地物分類的精度[1].近年來(lái)，涌現(xiàn)了非常多的基于高光譜影像和激光雷達(dá)數(shù)據(jù)融合的工作，并成功地應(yīng)用于復(fù)雜場(chǎng)景地物分類[2]、植被覆蓋分析[3-7]、樹種分類[8-10]、生物量估算[11]、冰川地貌分析[12]、小氣候建模[13]等任務(wù)，取得了較好的效果[14].

本文側(cè)重于復(fù)雜場(chǎng)景地物分類的應(yīng)用，整理了近年來(lái)該領(lǐng)域的工作.在高光譜和激光雷達(dá)數(shù)據(jù)融合的地物場(chǎng)景分類的任務(wù)中，一般分成數(shù)據(jù)預(yù)處理、特征提取、特征融合以及特征分類幾個(gè)步驟.在對(duì)數(shù)據(jù)融合方法進(jìn)行分類時(shí)，常見的分類方法是按照融合的層級(jí)進(jìn)行分類，分為像素級(jí)融合、特征級(jí)融合以及決策級(jí)融合[15].像素級(jí)融合常用于具有不同光譜特性的影像數(shù)據(jù)，如多光譜和全色圖像的融合.由于激光雷達(dá)數(shù)據(jù)和高光譜圖像的像素點(diǎn)表征的信息類型差異較大，一般不進(jìn)行像素級(jí)融合.在該領(lǐng)域中，決策級(jí)融合的方法同樣較少，而特征級(jí)融合方法較為常見，因此按照融合層級(jí)進(jìn)行分類意義不大.在傳統(tǒng)的特征級(jí)融合中，使用的特征以形態(tài)學(xué)特征為主.近年來(lái)，深度學(xué)習(xí)技術(shù)發(fā)展迅速，在圖像處理等領(lǐng)域展現(xiàn)出了非常強(qiáng)大的潛力，具有較強(qiáng)的特征提取能力，在高光譜和激光雷達(dá)數(shù)據(jù)融合分類的領(lǐng)域也涌現(xiàn)了不少優(yōu)秀的相關(guān)工作.基于此，本文按照特征的類型進(jìn)行分類，分為基于形態(tài)學(xué)特征的融合方法和深度學(xué)習(xí)方法兩大類，分別對(duì)這兩類方法進(jìn)行介紹與總結(jié).文中首先介紹了基于形態(tài)學(xué)特征的融合方法，根據(jù)具體的特征融合方式又分為特征拼接的融合方法、基于低秩模型的融合方法、基于復(fù)合核(composite kernel)的融合方法以及基于圖結(jié)構(gòu)的融合方法.基于深度學(xué)習(xí)的方法又分為深度特征拼接的方法和深度特征核空間融合的方法.本文的最后還對(duì)該領(lǐng)域未來(lái)發(fā)展趨勢(shì)進(jìn)行了總結(jié)和展望.

1 基于形態(tài)學(xué)特征的融合方法

1.1 形態(tài)學(xué)特征拼接的融合方法

形態(tài)學(xué)特征(morphological profile, MP)從自然圖像推廣到高光譜圖像[16]，再到高光譜圖像與激光雷達(dá)數(shù)據(jù)的融合，已經(jīng)在各個(gè)領(lǐng)域廣泛地使用.形態(tài)學(xué)特征提取是通過一系列的開運(yùn)算和閉運(yùn)算以及結(jié)構(gòu)元素的擴(kuò)張來(lái)區(qū)分圖像中不同的區(qū)域，構(gòu)造出形態(tài)的輪廓，從而有效地提取紋理信息和空間特征，同時(shí)保留其他區(qū)域的幾何特性.基于形態(tài)學(xué)特征MP[17]，引申出了屬性特征(attribute profile, AP)[18]和消光特征(extinction profile, EP)[19-20].通過一系列的形態(tài)學(xué)腐蝕和膨脹運(yùn)算，可以得到圖像的屬性特征AP[1],而通過連續(xù)的形態(tài)學(xué)消光濾波可以得到圖像的消光特征EP[21].AP在特征提取的過程中融合了圖像多層級(jí)的信息，而相比于AP和MP，EP能夠更好地提取出圖像中的局部極值點(diǎn)，從而使算法具有更好的識(shí)別能力[22].使用MP、AP、EP等基于形態(tài)學(xué)特征的這一方法特點(diǎn)是時(shí)間復(fù)雜度低，運(yùn)算速度較快.該類方法的一般框架如圖 1所示，首先分別對(duì)兩種數(shù)據(jù)進(jìn)行預(yù)處理，如利用主成分分析(principle component analysis, PCA)降維，然后進(jìn)行特征提取，得到MP/AP/EP特征后，再通過向量拼接的方式進(jìn)行特征融合[23]，最后使用分類器對(duì)特征進(jìn)行分類，得到最終的分類結(jié)果.

圖1 形態(tài)學(xué)特征拼接融合方法的一般框架

Ghamisi等[19]的工作是這種方法的典型代表(圖 2).對(duì)激光雷達(dá)數(shù)據(jù)直接提取AP特征，對(duì)高光譜圖像首先進(jìn)行PCA降維，對(duì)提取到的前n個(gè)主成分分別提取AP特征.同時(shí)考慮到將所有特征向量進(jìn)行拼接，就得到了融合后的特征.最后，采用支持向量機(jī)(support vector machine, SVM)和隨機(jī)森林(random forest, RF)兩種模型作為分類器，得到分類結(jié)果.

Pedergnana等[21]在完成AP特征的提取后，引入了遺傳算法(genetic algorithm, GA)來(lái)進(jìn)行特征選擇，對(duì)特征進(jìn)行優(yōu)化和精煉.類似地，Ghamisi等[20]，還提取了高光譜圖像和激光雷達(dá)數(shù)據(jù)地EP特征，拼接后使用RF分類器進(jìn)行分類.

基于形態(tài)學(xué)特征拼接的融合方法存在的主要缺點(diǎn)是拼接后的特征維度過高，同時(shí)給后續(xù)分類步驟帶來(lái)較高的運(yùn)算復(fù)雜度.由于這類方法將提取出的特征進(jìn)行直接拼接，融合后的特征維度隨著數(shù)據(jù)的種類線性增加，而訓(xùn)練的樣本數(shù)量保持不變，因此給后續(xù)分類的數(shù)據(jù)處理帶來(lái)一定的壓力，且容易出現(xiàn)Hughes現(xiàn)象.為了解決上述問題，出現(xiàn)了低秩模型和復(fù)合核的方法，更加高效地融合高光譜和激光雷達(dá)數(shù)據(jù).

圖2 Ghamisi等的形態(tài)學(xué)特征拼接方法

1.2 基于低秩模型的融合方法

與特征拼接的融合方法相比，為了提高運(yùn)算效率，避免特征維度過高帶來(lái)的問題，同時(shí)考慮到高光譜圖像中光譜信息存在一定程度的冗余，許多學(xué)者研究了采用低秩模型的融合方法[1,22]，其主要思想是使用稀疏表示的方法將高光譜影像和激光雷達(dá)數(shù)據(jù)的特征從高維度映射到較低維度的空間中.該類方法的一般框架如圖 3所示.特征提取部分和特征分類部分與特征拼接的方法類似，但在特征融合過程中，建立稀疏的低秩模型來(lái)表示特征，通過求解稀疏模型的系數(shù)，就實(shí)現(xiàn)了特征的降維.

圖3 基于低秩模型融合方法的一般框架

Rasti等[1]提出了公式(1)所示的低秩模型來(lái)融合高光譜圖像的光譜信息、高光譜圖像的EP特征和激光雷達(dá)EP特征.

F=AVT+N,

(1)

其中F=F[f(i)]是融合后的n×p特征矩陣，V是未知的p×r低秩子空間基，A=A[a(i)]是被融合的特征，N=N[n(i)]是模型誤差和噪聲.高光譜的光譜特征和EP特征以及激光雷達(dá)EP特征在矩陣通過F=[FHSI,H,FLiDAR]的形式進(jìn)行融合.

在公式(1)中，矩陣A和V都是未知的，需要進(jìn)行估計(jì).Rasti等[1]使用了正交全變分分析(orthogonal total variation component analysis, OTVCA)[24]對(duì)這2個(gè)矩陣進(jìn)行估計(jì)，如公式(2)所示.

(2)

其中第二項(xiàng)，TV懲罰項(xiàng)用于融合空間特征，它保留了特征的空間結(jié)構(gòu)，同時(shí)促進(jìn)融合的特征分段平滑.

在基于低秩模型的另一個(gè)典型方法中[22]，作者采用了稀疏低秩成分分析(sparse and low-rank component analysis, SLRCA)的方式進(jìn)行特征融合.首先對(duì)兩種數(shù)據(jù)提取EP特征，然后使用稀疏低秩模型[25]進(jìn)行特征融合，如公式(3)所示.

F=DWVT+N，

(3)

其中F=[FHSI,H,FLiDAR]，F(xiàn)HSI和FLiDAR分別是從高光譜和激光雷達(dá)數(shù)據(jù)中提取到的EP特征，H是高光譜影像的光譜維度上的信息.D是包含2D小波基的n×n矩陣，W=[w(i)]是包含第i個(gè)融合分量的二維小波系數(shù)的n×r矩陣.之后再使用稀疏和低秩成分分析方法[25-26]估計(jì)W和V，如公式(4)所示.

(4)

基于低秩模型的融合方法通過稀疏表示的手段，在特征融合的同時(shí)能夠?qū)?shù)據(jù)進(jìn)行有效地降維，大大降低了后續(xù)分類任務(wù)的運(yùn)算復(fù)雜度.但常用的稀疏表示手段難以擬合光譜信息和地物特征之間的非線性關(guān)系，并且在降維的同時(shí)往往伴隨著信息的損失.

1.3 基于復(fù)合核的融合方法

基于復(fù)合核(composite kernel)的融合方法核心思想同樣是對(duì)特征進(jìn)行降維，在低維空間進(jìn)行融合.不同于低秩模型的方法，該方法采用另一種思路，通過將不同的特征空間的特征(包括激光雷達(dá)特征、高光譜圖像中的光譜特征，和空間特征等)全部映射到核空間，如希爾伯特空間(Hilbert space)，然后在核空間內(nèi)進(jìn)行融合[27].由于融合的信息包括光譜、空間鄰域、紋理、高程等復(fù)合信息，因此稱為復(fù)合核，其一般框架如圖4所示.

圖4 基于復(fù)合核融合方法的一般框架

Zhang等[28]提取了高光譜圖像和激光雷達(dá)數(shù)據(jù)的消光特征EP后先進(jìn)行局部區(qū)域?yàn)V波(local-region filter, LRF)減少類內(nèi)光譜差異和固有噪聲，再使用復(fù)合核的方法進(jìn)行特征融合，其復(fù)合核的表示如公式(5)所示

K(xi,xj)=μKs(xsi,xsj)+(1-μ)Kw(xwi,xwj),

(5)

其中xsi,xsj代表提取出的空間EP特征，xwi,xwj代表光譜EP特征，Ks(·)和Kw(·)分別是將2種特征映射到核空間的核函數(shù)，μ是用于調(diào)整融合中兩部分比重的參數(shù).

Khodadadzadeh等[29]采用了更為靈活的融合方法，基于AP特征提取和空間多項(xiàng)邏輯回歸(subspace multinomial logistic regression, MLRsub)分類器，將待學(xué)習(xí)的特征的權(quán)重遷移到分類器的權(quán)重，無(wú)需正則化參數(shù)，從而減輕多特征學(xué)習(xí)任務(wù)中的工作量.

Zhang等[30]提出了一種用于多源數(shù)據(jù)融合的聯(lián)合稀疏表示分類技術(shù)(adaptive locality weighted multisource joint sparse representation classification, ALWMJ-SRC)，該方法的核心思想是基于稀疏表示進(jìn)行分類.其中多種數(shù)據(jù)源采用多源稀疏表示的方法，使用字典的方法一同映射到低維子空間，得到數(shù)據(jù)的稀疏特征，再稀疏表示的過程中引入自適應(yīng)權(quán)重用于更好地表示數(shù)據(jù)的局部特征.然后利用核希爾波特變換(kernel Hilbert transform)將特征變換至核空間，使用子區(qū)域的每個(gè)樣本與其稀疏表示之間的最小二范數(shù)距離用于分配該類別的標(biāo)簽，從而完成分類.

Ge等[31]對(duì)高光譜圖像和激光雷達(dá)數(shù)據(jù)分別提取EP特征和局部二值模式(loacal binary pattern, LBP)特征，將計(jì)算出的特征用KCRT-NF(kernel collaborative representation with tikhonov regularization - neighborhood filtering)計(jì)算殘差.將光譜信息、HSI的特征、LiDAR的特征3部分計(jì)算出的殘差進(jìn)行特征-決策級(jí)融合，通過融合后的殘差得到分類結(jié)果.

基于復(fù)合核的方法針對(duì)特征拼接的方法維度過高的問題，采用核空間變換的方式進(jìn)行降維，其融合方式也是行之有效的.但這類方法存在的一個(gè)問題是模型精度受參數(shù)影響非常大，如Zhang等[28]的方法中參數(shù)μ的小幅改變可能對(duì)結(jié)果產(chǎn)生較大的影響.

1.4 基于圖結(jié)構(gòu)的融合方法

基于圖結(jié)構(gòu)的方法也是對(duì)特征進(jìn)行融合與降維的有效方式之一[32].由于圖結(jié)構(gòu)能夠很好地表征節(jié)點(diǎn)之間的連接關(guān)系，因此更利于同一類別間的相似像素進(jìn)行聚合，在特征融合的過程中縮小類內(nèi)方差.一般的方法是將特征拼接后作為圖的節(jié)點(diǎn)特征矩陣，根據(jù)高光譜和激光雷達(dá)數(shù)據(jù)中像素間的相似性使用K近鄰(k nearest neighbor, KNN)方法建立鄰接矩陣，從而完成圖的建立.得到圖以后，運(yùn)用圖拉普拉斯特征方法，計(jì)算出拉普拉斯矩陣，就完成了特征的降維.

Debes 等[2]的方法在這類工作中具有一定的代表性.他們首先提取高光譜圖像和激光雷達(dá)數(shù)據(jù)的MP特征，以及高光譜圖像本身的光譜特征，將這三者使用基于圖的特征融合方法進(jìn)行融合.分別在3個(gè)特征空間建立圖，以光譜特征為例，建立的圖為Gspe=(Xspe,Aspe)，其中Xspe代表空間維度提取出的特征，Aspe代表根據(jù)每個(gè)像素光譜特征之間的相似度建立的鄰接矩陣，如果像素xi和xj之間的光譜信息處于k近鄰范圍內(nèi)，那么Aspeij=1，否則Aspeij=0.按照相似的方式，建立空間特征圖Gspa=(Xspa,Aspa)和高程特征圖Gele=(Xele,Aele).那么融合后的圖可以表示為GD=(Xsta,Afused)，Afused定義為：

AFus=ASpe⊙ASpa⊙AEle，

(6)

其中⊙代表逐元素相乘，Xsta=[Xspe;Xspa;Xele]代表光譜特征、空間MP特征和高程MP特征的拼接.基于融合后的圖Gfused可以計(jì)算出其拉普拉斯矩陣：

Lfused=Dfused-Afused，

(7)

進(jìn)一步地，Liao等[33]提出了高光譜和激光雷達(dá)數(shù)據(jù)的決策融合方法，其方法框架如圖 5所示，共提取了4種特征：高光譜圖像的光譜信息、高光譜圖像的MP特征、激光雷達(dá)數(shù)據(jù)的MP特征以及對(duì)前三者基于圖的方法融合后的特征，其中融合方法與Debes 等[2]的融合方法類似.得到4種特征后，將每一種特征分別輸入SVM分類器進(jìn)行分類，對(duì)4個(gè)分類結(jié)果采用加權(quán)和投票機(jī)制的方式進(jìn)行融合，得到最終的分類結(jié)果.

圖5 Liao等提出的決策融合方法框架

Liao等[34]還提出了另一種基于圖的特征融合方法，半監(jiān)督圖融合方法，使用數(shù)據(jù)集中有標(biāo)簽的像素和無(wú)標(biāo)簽的像素分別約束樣本的類內(nèi)相似度和空間相似度.Xia等[35]在特征融合的過程中也加入了半監(jiān)督圖的方法.提取高光譜影像和激光雷達(dá)數(shù)據(jù)的MP特征后，再加上每個(gè)像素點(diǎn)的光譜信息，將這3個(gè)特征一同投影到低維子空間得到融合后的特征.在投影的過程中建立半監(jiān)督的圖，根據(jù)相同類別的節(jié)點(diǎn)間建立邊，進(jìn)而指導(dǎo)特征融合的過程.

基于圖理論，Iyer等[36]將高光譜圖像和激光雷達(dá)數(shù)據(jù)的每個(gè)像素點(diǎn)作為一個(gè)節(jié)點(diǎn)，建立了邊的權(quán)重大小和相似度正相關(guān)的圖.在此基礎(chǔ)上，計(jì)算圖的拉普拉斯矩陣的特征向量作為節(jié)點(diǎn)的特征，在這些特征上使用數(shù)據(jù)分割算法(如譜聚類等)得到最終的分類結(jié)果.Gu和Wang[37]提出了判別圖融合(discriminative graph-based fusion, DGF)方法，結(jié)合了降維和異構(gòu)特征融合，在激光雷達(dá)數(shù)據(jù)和高光譜影像空域和頻域分別建立圖，通過相似性度量將圖融合，最小化類內(nèi)相似度，最大化類間相似度將不同類別的樣本分開.

由于建立圖的過程考慮到了所有節(jié)點(diǎn)的連接關(guān)系，因此圖結(jié)構(gòu)的優(yōu)勢(shì)在于能夠?qū)φ麄€(gè)數(shù)據(jù)集中所有相似的節(jié)點(diǎn)進(jìn)行聚合，從而更好地考慮全局信息.伴隨而來(lái)的是運(yùn)算復(fù)雜度的增加——建立圖的過程需要對(duì)所有節(jié)點(diǎn)兩兩之間計(jì)算相似度，該過程中運(yùn)算量較大，耗時(shí)較多.

2 基于深度學(xué)習(xí)的方法

2.1 深度特征拼接的融合方法

深度學(xué)習(xí)是遙感領(lǐng)域中一個(gè)快速發(fā)展的方向，在激光雷達(dá)和高光譜數(shù)據(jù)融合的領(lǐng)域也出現(xiàn)了大量的應(yīng)用.深度神經(jīng)網(wǎng)絡(luò)的特征提取思路不同于邊緣、紋理、形態(tài)學(xué)特征等傳統(tǒng)特征提取，是通過大量的神經(jīng)元學(xué)習(xí)一系列的模型參數(shù)，在整個(gè)網(wǎng)絡(luò)上完成特征提取與分類.在使用單一數(shù)據(jù)源進(jìn)行分類時(shí)，一般的方法是使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)提取圖像的深度特征，然后再用多層感知機(jī)(multilayer percseptron)，即全連接網(wǎng)絡(luò)和softmax函數(shù)作為分類器，對(duì)提取出的深度特征進(jìn)行分類.將這種方法遷移到高光譜數(shù)據(jù)和激光雷達(dá)數(shù)據(jù)的融合上，最直接的思路就是類似Chen等[38]的方法(如圖 6所示)，使用兩路CNN網(wǎng)絡(luò)分別提取2種數(shù)據(jù)的深度特征，將提取出的2種特征進(jìn)行拼接，再使用邏輯回歸(logistic regression)或全連接網(wǎng)絡(luò)作為分類器對(duì)特征進(jìn)行分類，得到最終的分類結(jié)果.

圖6 Chen等提出的深度融合框架

進(jìn)一步地，基于類似的框架，Xu等[39]提出了另一種基于CNN的融合方法，雙分支CNN網(wǎng)絡(luò)(圖 7至圖 9).與文獻(xiàn)[38]類似，2種數(shù)據(jù)分別使用CNN提取特征，但不同的是Xu等[39]引入了新的網(wǎng)絡(luò)結(jié)構(gòu)，在高光譜分支增加了空間通道和光譜通道的融合，激光雷達(dá)分支增加了級(jí)聯(lián)模塊以提升對(duì)鄰域特征的提取能力.結(jié)構(gòu)對(duì)稱的CNN網(wǎng)絡(luò)提取2種數(shù)據(jù)的特征，對(duì)兩者的特征進(jìn)行拼接后使用全連接網(wǎng)絡(luò)作為分類器實(shí)現(xiàn)場(chǎng)景的分類任務(wù).

圖8展示的是高光譜分支的網(wǎng)絡(luò)結(jié)構(gòu)，該部分又分為2個(gè)小分支：空間分支和光譜分支.其中空間分支采用的是二維卷積、池化的操作，提取高光譜圖像中1個(gè)方形區(qū)域內(nèi)的空間特征，光譜分支提取空間分支中心點(diǎn)像素對(duì)應(yīng)的光譜信息，對(duì)該信息做一維卷積，這2個(gè)小分支提取到的空間特征和光譜特征進(jìn)行拼接，就得到了高光譜圖像的整體特征.在激光雷達(dá)分支中(圖 9)，加入了級(jí)聯(lián)模塊(cascade block)用于提取激光雷達(dá)數(shù)據(jù)的多尺度特征.

圖7 雙分支CNN網(wǎng)絡(luò)整體結(jié)構(gòu)

圖8 高光譜分支的網(wǎng)絡(luò)結(jié)構(gòu)

圖9 激光雷達(dá)分支的網(wǎng)絡(luò)結(jié)構(gòu)

2.2 深度特征核空間融合的方法

與1.3節(jié)中介紹的形態(tài)學(xué)特征基于復(fù)合核的方法類似，深度特征同樣可以變換到核空間進(jìn)行降維.典型的例子是Ghamisi等[40]使用了如圖 10所示的三分支卷積神經(jīng)網(wǎng)絡(luò)融合框架.

所謂三分支指的是光譜特征，空間特征和高程特征3種特征的3條提取路線.該方法首先對(duì)高光譜圖像和激光雷達(dá)數(shù)據(jù)提取形態(tài)學(xué)的EP特征，在EP特征的基礎(chǔ)上再使用CNN網(wǎng)絡(luò)進(jìn)一步對(duì)特征進(jìn)行精煉.同時(shí)，高光譜圖像各個(gè)像素的光譜信息也使用CNN網(wǎng)絡(luò)進(jìn)行特征提取.各分支的CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖 11所示.

經(jīng)過3條CNN網(wǎng)絡(luò)輸出的光譜、空間和高程特征分別為xspei,xspai,xelei，用Φ1(·),Φ2(·),Φ3(·) 表示對(duì)3個(gè)特征進(jìn)行的希爾伯特變換，將其分別變換到希爾伯特空間H1,H2,H3，有如下變換：

Φ(xi)={Φ1(x(spe)i),Φ2(xspai),Φ3(xelei)} .

(8)

在希爾伯特空間中，特征以點(diǎn)積的形式進(jìn)行融合，如公式(9)所示.

K(xi,xj)=[Φ(xi),Φ(xj)]=Kw(xwi,xwj)+KS(xSi,xSj)+Ke(xei,xej).

(9)

最后作者采用了支持向量機(jī)SVM和極限學(xué)習(xí)機(jī)(extreme learning machine, ELM)兩種分類器分別進(jìn)行分類，取得了較好的效果.

圖10 三分支卷積神經(jīng)網(wǎng)絡(luò)

圖11 3條分支的網(wǎng)絡(luò)結(jié)構(gòu)

3 總結(jié)與展望

將現(xiàn)有的高光譜圖像和激光雷達(dá)數(shù)據(jù)融合方法歸納總結(jié)成表格，如表1所示.

從表 1中可以看到，傳統(tǒng)的基于形態(tài)學(xué)特征的方法中，最簡(jiǎn)單而直接的方法是特征拼接的方法，直接將特征以向量的形式拼接再進(jìn)行后續(xù)分類任務(wù).針對(duì)其特征維度過高的缺點(diǎn)，出現(xiàn)了低秩模型、復(fù)合核以及圖結(jié)構(gòu)的特征融合方法，均能夠在融合的過程中起到降維的作用.其中低秩模型采用稀疏表示的方法，降維效果好，但可能存在較多信息損失，難以擬合非線性關(guān)系；復(fù)合核的核空間變換方法運(yùn)算復(fù)雜度較低，但分類精度受模型參數(shù)影響較大，易受參數(shù)影響；圖結(jié)構(gòu)的融合方法采用另一種思路，借用圖結(jié)構(gòu)特征提取范圍大的特點(diǎn)，能夠獲取更多的全局信息，但計(jì)算鄰接矩陣的過程可能引入較大的計(jì)算量.基于深度學(xué)習(xí)的方法能夠應(yīng)對(duì)復(fù)雜的地物信息，通過深層網(wǎng)絡(luò)提取高維度、抽象的語(yǔ)義特征，對(duì)復(fù)雜的數(shù)據(jù)集能夠起到更好的效果，達(dá)到更高的分類精度.同時(shí)，深度學(xué)習(xí)方法往往需要大量的標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練，在實(shí)際應(yīng)用情況下可能會(huì)受到限制.

表1 高光譜圖像和激光雷達(dá)數(shù)據(jù)融合方法優(yōu)缺點(diǎn)對(duì)比

在高光譜和激光雷達(dá)數(shù)據(jù)的融合工作中，現(xiàn)有的方法在常見的公開數(shù)據(jù)集上已經(jīng)取得了很好的效果，達(dá)到了較高的精度.未來(lái)的研究趨勢(shì)可能在以下方向開展.

1) 深度學(xué)習(xí)方法成為主流.深度學(xué)習(xí)相比于傳統(tǒng)特征提取方法具有強(qiáng)大的深層語(yǔ)義特征挖掘能力，這類方法將會(huì)是未來(lái)發(fā)展的主要方向，尤其是結(jié)合遷移學(xué)習(xí)(transfer learning)、元學(xué)習(xí)(meta learning)等方法，開展多時(shí)相、跨場(chǎng)景識(shí)別等任務(wù)，探索更加合理的融合方式，充分發(fā)掘高光譜和激光雷達(dá)數(shù)據(jù)包含的信息.

2) 基于圖模型的方法是一個(gè)備受關(guān)注的領(lǐng)域.在遙感圖像處理領(lǐng)域，傳統(tǒng)的深度學(xué)習(xí)方法大多采用卷積神經(jīng)網(wǎng)絡(luò)，而近年來(lái)基于圖模型進(jìn)行卷積運(yùn)算，做特征提取的方法已經(jīng)在自然圖像處理領(lǐng)域取得了一些顯著的成果.圖模型的特點(diǎn)是對(duì)全局信息的提取能力較好，相比于卷積神經(jīng)網(wǎng)絡(luò)不需要堆疊許多卷積層來(lái)獲得更大的感受野，從而能夠以更少的參數(shù)來(lái)達(dá)到相同甚至更高的分類精度.在高光譜和激光雷達(dá)圖像的處理中，全局信息對(duì)分類精度起著重要的作用，能夠彌補(bǔ)局部特征的不足，因此將圖模型和深度學(xué)習(xí)方法結(jié)合，構(gòu)建基于圖模型的深度網(wǎng)絡(luò)會(huì)在該領(lǐng)域得到很好的應(yīng)用.

3) 研究新的特征融合方法.無(wú)論是基于形態(tài)學(xué)特征或是深度學(xué)習(xí)，其完成的核心任務(wù)是特征的融合，融合的方法也具有一定的相似性.從表1中可以看到，基于深度學(xué)習(xí)的特征融合方法相比于傳統(tǒng)的形態(tài)學(xué)特征融合方法還較為單一，以特征拼接與核空間融合為主.CNN網(wǎng)絡(luò)本身具有降維的作用，因此深度特征融合的關(guān)鍵不在于降維，而是如何盡可能有效地將信息提取出來(lái)，針對(duì)高光譜和激光雷達(dá)數(shù)據(jù)的特點(diǎn)優(yōu)勢(shì)互補(bǔ)，提高分類精度.

4) 激光雷達(dá)數(shù)據(jù)中包含的信息還有待進(jìn)一步發(fā)掘和利用.現(xiàn)有的研究工作中，高光譜中豐富的光譜信息對(duì)地物分類起到主導(dǎo)作用.實(shí)驗(yàn)表明，僅使用高光譜數(shù)據(jù)進(jìn)行分類達(dá)到的精度要遠(yuǎn)高于僅使用激光雷達(dá)數(shù)據(jù)的分類精度[1].激光雷達(dá)包含的深度信息結(jié)合圖像二維坐標(biāo)能夠提供豐富的空間和形狀信息，充分利用這些信息能夠?qū)Ψ诸惾蝿?wù)起到重要的作用.高精度的激光雷達(dá)還可以重建出場(chǎng)景的三維模型，基于這些三維形狀信息本身就可以實(shí)現(xiàn)高精度的分類、分割、檢測(cè)等任務(wù).例如PointNet[41]、PointGrid[42]等深度網(wǎng)絡(luò)框架可以在僅使用三維信息的情況下完成場(chǎng)景的分類和語(yǔ)義分割.但現(xiàn)有工作中，鮮有人針對(duì)激光雷達(dá)的數(shù)據(jù)特點(diǎn)設(shè)計(jì)數(shù)據(jù)處理方法，整體方法框架依然以高光譜圖像為主.因此激光雷達(dá)數(shù)據(jù)包含的信息還有待進(jìn)一步發(fā)掘，以減少對(duì)光譜信息的依賴.

5) 小樣本學(xué)習(xí)、遷移學(xué)習(xí)等對(duì)數(shù)據(jù)標(biāo)注要求較低的方法發(fā)展迅速.深度學(xué)習(xí)往往需要大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，而在遙感領(lǐng)域，數(shù)據(jù)標(biāo)注的工作需要大量的人工成本，費(fèi)時(shí)費(fèi)力.因此弱監(jiān)督、無(wú)監(jiān)督學(xué)習(xí)的優(yōu)勢(shì)逐漸體現(xiàn)出來(lái).基于此，未來(lái)的發(fā)展方向可能會(huì)向小樣本學(xué)習(xí)、零樣本學(xué)習(xí)的方向發(fā)展，以減少對(duì)數(shù)據(jù)標(biāo)注的依賴.在這方面，遷移學(xué)習(xí)也具有一定的優(yōu)勢(shì)，在現(xiàn)有的標(biāo)注好的數(shù)據(jù)集上進(jìn)行訓(xùn)練，在新的數(shù)據(jù)上進(jìn)行微調(diào)與測(cè)試，同樣可以減輕數(shù)據(jù)標(biāo)注工作的負(fù)擔(dān).