宋廷強(qiáng)，宗達(dá)，劉童心，范海生，黃騰杰，蔣曉旭，王浩宇

1.青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院,青島 266061;

2.珠海歐比特宇航科技股份有限公司 人工智能研究院,珠海 519080

1 引 言

高光譜圖像中的光譜信息和空間信息可以充分反映地物的物理結(jié)構(gòu)和化學(xué)成分，單個(gè)像素點(diǎn)包含的信息遠(yuǎn)大于高分辨率圖像或者雷達(dá)圖像，對(duì)于不同的地物類(lèi)型的敏感度更高，因此更適合用于地物的分類(lèi)，并已廣泛應(yīng)用于地物監(jiān)測(cè)（Prey 等，2018）、農(nóng)作物疾病檢測(cè)（Zheng 等，2018）、資源勘測(cè)（Kirsch 等，2018）等多個(gè)領(lǐng)域。

高光譜分類(lèi)任務(wù)需對(duì)高光譜圖像的每一個(gè)像素點(diǎn)給出其所屬類(lèi)別。影響分類(lèi)準(zhǔn)確率的原因主要有兩個(gè)方面：首先是受成像傳感器的影響，空間分辨率低導(dǎo)致單個(gè)像素包含多種地物，出現(xiàn)混合像元（Chang 等，1998）的情況，天氣和大氣氣體的變化也會(huì)影響地物的光譜特性（周雨霽和田慶久，2008）；其次是高光譜圖像的高維性，在樣本有限的情況下，當(dāng)用于分類(lèi)的特征超過(guò)一定限度時(shí)，分類(lèi)精度反而會(huì)下降（孫偉偉等，2018）。

在早期的高光譜圖像分類(lèi)中，人們更關(guān)注于圖像的光譜信息，使用支持向量機(jī)（Archibald 和Fann，2007）、隨機(jī)森林（Joelsson 等，2005）等方法進(jìn)行分類(lèi)，Melgani 和Bruzzone（2004）提出了基于支持向量機(jī)SVM（Support Vector Machine）的分類(lèi)方法，但是該方法更適用于解決二分類(lèi)問(wèn)題，對(duì)于多分類(lèi)問(wèn)題和高維度的高光譜數(shù)據(jù)，矩陣的存儲(chǔ)和計(jì)算需要占用大量的機(jī)器內(nèi)存和計(jì)算資源。Li 等（2019a）對(duì)SVM 進(jìn)行了改進(jìn)，基于boost 算法使用多核SVM進(jìn)行訓(xùn)練，具有更好的分類(lèi)性能.

傳統(tǒng)機(jī)器學(xué)習(xí)（Li 等，2015）方法依賴(lài)于復(fù)雜的特征提取工程，采用主成分分析PCA（Principal Component Analysis））或者其他方法進(jìn)行降維處理，特征提取的好壞直接影響分類(lèi)器的效果。隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在特征提取與特征融合方面顯示出了強(qiáng)大的優(yōu)勢(shì)，端到端的訓(xùn)練過(guò)程舍棄了特征工程，并在多個(gè)領(lǐng)域出色的完成了任務(wù)（Redmon 和Farhadi，2018）。同時(shí)近年來(lái)深度學(xué)習(xí)也成為高光譜圖像分類(lèi)的研究熱點(diǎn)（Ball 和Wei，2018；Gao 等，2018；Makantasis等，2015； 張康等，2018），光譜信息與空間信息融合（Mei 等，2017；Fu 等，2015）成為高光譜圖像分類(lèi)的常用方法。

3D 卷積（He 等，2017）被驗(yàn)證適用于高光譜圖像的分類(lèi)任務(wù)。Liu 等（2018）提出了高光譜圖像分類(lèi)的新思路，基于3D 卷積搭建網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)來(lái)解決樣本小的問(wèn)題，這種訓(xùn)練方式取得了較好的效果，但是以3D 卷積搭建的神經(jīng)網(wǎng)絡(luò)信息傳遞的效率低，3D 卷積的卷積核帶來(lái)了大量的參數(shù)；Jiao 等（2017）通過(guò)計(jì)算機(jī)視覺(jué)中語(yǔ)義分割的方法來(lái)完成高光譜圖像分類(lèi)任務(wù)，首先利用PCA 降維和空譜特征融合方法對(duì)輸入圖像處理，得到圖像的空間特征，然后使用全卷積網(wǎng)絡(luò)FCN（Fully Convolutional Networks）進(jìn)行分類(lèi)，具有創(chuàng)新性，但是這種方法無(wú)可避免的丟失了大量信息，也舍棄深度學(xué)習(xí)端到端的優(yōu)勢(shì)；Paoletti 等（2019）提出基于殘差結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，但是相比于密集連接，殘差結(jié)構(gòu)雖然保留了信息傳遞但是增加了大量的網(wǎng)絡(luò)參數(shù)，對(duì)于高光譜小樣本來(lái)說(shuō)增大了過(guò)擬合的風(fēng)險(xiǎn)；王雷全等（2021）提出使用雙向RNN 提取圖像的光譜信息不適用于高光譜圖像，因?yàn)橄袼刂泄庾V信息相互獨(dú)立，使用卷積神經(jīng)網(wǎng)絡(luò)提取光譜變化信息效果要優(yōu)于RNN。

由于高光譜圖像空間分辨率通常較低，標(biāo)注困難；小樣本類(lèi)別地物的占地面積小，數(shù)據(jù)量少，不足以提供大量訓(xùn)練數(shù)據(jù)（崔賓閣等，2017）。高光譜分類(lèi)需要算法增強(qiáng)信息提取能力，同時(shí)防止小訓(xùn)練樣本造成的過(guò)擬合情況。為解決上述問(wèn)題，本文提出了一種基于可分離卷積（Separable convolution）和密集連接（Dense connection）的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)（Light Network），簡(jiǎn)稱(chēng)SDLN，在光譜信息提取部分使用密集連接，提高特征圖的復(fù)用，加入歸一化層和Dropout 降低過(guò)擬合的概率，使用可分離卷積替換3D 卷積減少網(wǎng)絡(luò)參數(shù)，聯(lián)合空間光譜信息，在小訓(xùn)練樣本的情況下也可實(shí)現(xiàn)較高的分類(lèi)精度。

2 相關(guān)工作

2.1 可分離卷積

卷積神經(jīng)網(wǎng)絡(luò)（Krizhevsky 等，2012）是一類(lèi)主要包含卷積計(jì)算的前饋神經(jīng)網(wǎng)絡(luò)統(tǒng)稱(chēng)，按計(jì)算方法分為：一維卷積、二維卷積和三維卷積。一維卷積用于處理序列信號(hào)的特征，二維卷積用于提取圖像空間特征，三維卷積跟據(jù)卷積核的設(shè)置可以同時(shí)提取空間信息與序列信息，而高光譜圖像可以被視為具有空間信息與光譜信息的三維立體數(shù)據(jù)塊。許多研究者使用3D 卷積作為基礎(chǔ)結(jié)構(gòu)（Rao 等，2020），但是這種方法需要更多的計(jì)算，影響分類(lèi)效率。

假設(shè)輸入數(shù)據(jù)為(N，Cin，Hin，Win，Din)，3D卷積核大小為(Kh，Kw，Kd)，個(gè)數(shù)為Kc，空洞率（dilation）為(d1，d2，d3)，步長(zhǎng)（Stride）為（S1，S2，S3，），填充（padding）為(P1，P2，P3)則輸出特征圖的大小和卷積計(jì)算量FLOPS如下：

Howard 等（2017）提出專(zhuān)注于移動(dòng)端和嵌入式設(shè)備中的輕量級(jí)CNN 網(wǎng)絡(luò)MobileNet，使用深度可分離卷積替換傳統(tǒng)的卷積操作，將標(biāo)準(zhǔn)卷積分解為depthwise convolution（逐通道卷積）和pointwise convolution（逐點(diǎn)卷積），如圖1所示，首先使用空間卷積對(duì)輸入進(jìn)行特征提取，同時(shí)保持通道維度不變，然后使用深度卷積進(jìn)行通道合并，在有同樣效果的情況下大大降低了模型參數(shù)量。

圖1 使用分離卷積代替3D卷積Fig.1 Use the separable convolution instead of 3D convolution

受MobileNet 啟發(fā)，本文將分離卷積引入高光譜分類(lèi)任務(wù)，使用分離卷積代替3D 卷積，將傳統(tǒng)的3D卷積核（Kh，Kw，Kd）替換為（Kh，Kw，1）和（1，1，Kd），保證有相同輸出的同時(shí)減少了計(jì)算量 。 分 離 卷 積 的 計(jì) 算 量 如 下 ：

假設(shè)卷積之后的輸出與輸入相同，則分離卷積與3D卷積計(jì)算量之比如下：

由此可得，卷積核越大時(shí)，分離卷積的計(jì)算量相對(duì)于3D卷積越少。

2.2 密集連接

高光譜圖像一般包括數(shù)百個(gè)波段，地物的類(lèi)別越多，就需要更加細(xì)致、更加豐富的特征提取，對(duì)于深度學(xué)習(xí)來(lái)說(shuō)是一個(gè)挑戰(zhàn)。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)為了提高性能一般是加深網(wǎng)絡(luò)層數(shù)，例如VGG （Visual Geometry Group Network）（Simonyan和Zisserman，2014），或者加寬網(wǎng)絡(luò)結(jié)構(gòu)Inception（Szegedy 等，2015），但是這種方法給網(wǎng)絡(luò)帶來(lái)了更多的參數(shù)，對(duì)于高光譜圖像數(shù)據(jù)難標(biāo)注、數(shù)據(jù)小的問(wèn)題，容易出現(xiàn)過(guò)擬合的現(xiàn)象。

Huang等（2017）提出了密集連接卷積神經(jīng)網(wǎng)絡(luò)（DenseNet），解決了這一問(wèn)題，如圖2 所示，該網(wǎng)絡(luò)結(jié)構(gòu)的思想是盡可能的保留輸入層到輸出層的信息傳遞，在每一層的輸入之前，將之前所有層的輸出進(jìn)行連接，作為一個(gè)整體的輸入連接到下一層。layerm表示第m層輸出，Hm表示第m層的卷積等操作，計(jì)算過(guò)程如下：

圖2 密集連接結(jié)構(gòu)Fig 2 Dense block

2.3 Dropout

Dropout 是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)正則化的一種手段（Srivastava 等，2014），如圖3 所示，它的原理是使某一層的每個(gè)神經(jīng)元以P的概率失活，把輸入x通過(guò)修改后的網(wǎng)絡(luò)進(jìn)行前向傳播，然后把損失結(jié)果通過(guò)修改后的網(wǎng)絡(luò)后向傳播，在第二次前向傳播的過(guò)程中，激活全部神經(jīng)元，再次使每個(gè)神經(jīng)元以P的概率失活，不斷重復(fù)以上過(guò)程。這種方法減少了神經(jīng)元之間的相互作用，避免對(duì)某一特征的過(guò)度依賴(lài)。

圖3 全連接層和加入Dropout后全連接層Fig.3 The connection layer and the connection layer with Dropout

由于采用大量的訓(xùn)練參數(shù)和有限的訓(xùn)練樣本，使得基于深度學(xué)習(xí)高光譜分類(lèi)中經(jīng)常存在過(guò)擬合問(wèn)題。因此，本文在網(wǎng)絡(luò)中加入了Dropout來(lái)防止這種現(xiàn)象。

2.4 歸一化層（Batch Normalization）

神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過(guò)程本質(zhì)是擬合訓(xùn)練數(shù)據(jù)的過(guò)程，當(dāng)?shù)谝粚訁?shù)出現(xiàn)變化時(shí)勢(shì)必會(huì)影響后面每一層的數(shù)據(jù)與參數(shù)變化，這種現(xiàn)象稱(chēng)為內(nèi)部協(xié)變量偏移（Internal Covariate Shift）（Santurkar 等，2018）；造成這種現(xiàn)象的原因是在網(wǎng)絡(luò)訓(xùn)練時(shí)不同批次的數(shù)據(jù)分布可能差距過(guò)大，網(wǎng)絡(luò)為了擬合不同分布的數(shù)據(jù)會(huì)不斷波動(dòng)，導(dǎo)致網(wǎng)絡(luò)難收斂，泛化能力差，BN 層（Ioffe 和Szegedy，2015）的提出解決了這個(gè)問(wèn)題，它的作用是將不同的數(shù)據(jù)分布拉成均值為0，方差為1 的標(biāo)準(zhǔn)正態(tài)分布，加快了網(wǎng)絡(luò)收斂，同時(shí)緩解神經(jīng)網(wǎng)絡(luò)中的“梯度彌散”問(wèn)題。以一個(gè)批次（batch）激活層函數(shù)的輸出作為輸入，B={x1…m}；計(jì)算過(guò)程如下：

2.5 網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，首先對(duì)全部數(shù)據(jù)進(jìn)行歸一化處理，降低不同維度數(shù)據(jù)之間的差異性，提高網(wǎng)絡(luò)梯度下降求最優(yōu)解的速度，假設(shè)圖像光譜波段數(shù)為N，以11 × 11 ×N的數(shù)據(jù)塊作為輸入數(shù)據(jù)。網(wǎng)絡(luò)結(jié)構(gòu)整體分為光譜信息提取，光譜壓縮，空間信息與光譜信息融合，投票求解共4個(gè)部分。

圖4 網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 The network structure

在光譜信息提取部分，目的是對(duì)像素點(diǎn)的光譜信息進(jìn)行深層次提取，密集連接支持特征圖的復(fù)用，使用小量卷積核可以生成大量深層特征，搭建3 層卷積層，每層使用1 × 1 × 7 的卷積核進(jìn)行光譜信息提取，并保持空間信息的獨(dú)立性，個(gè)數(shù)設(shè)置為60。結(jié)合DenseNet 思想，將第一層網(wǎng)絡(luò)輸出與第二層網(wǎng)絡(luò)輸出進(jìn)行光譜維度拼接，輸入到第三層網(wǎng)絡(luò)；將第一層、第二層與第三層的輸出同樣進(jìn)行維度拼接輸入到光譜壓縮部分。

在光譜壓縮部分，使用1 × 1 × 7 的卷積核，設(shè)置步長(zhǎng)為3，對(duì)光譜維進(jìn)行壓縮，通過(guò)減少特征圖的大小，降低更深層網(wǎng)絡(luò)的參數(shù)量。

在空間信息與光譜信息融合部分，目的是以3 × 3 ×K的感受野同時(shí)整合數(shù)據(jù)的空間信息和光譜信息，其中K的值等于輸入特征圖的光譜維度。使用3D 卷積會(huì)引入大量參數(shù)，因此使用可分離卷積代替3D 卷積，將3 × 3 ×K的卷積核分解為3 ×3 × 1 的空間卷積和1 × 1 ×K的光譜卷積，此時(shí)輸出40張9 × 9 × 1的特征圖。

投票的含義是指如果大部分像素點(diǎn)的輸出為同一個(gè)值，則所有值的平均值也會(huì)拉到這個(gè)值的附近。因此在投票求解部分，使用無(wú)參的全局平均池化，將9 × 9 × 1 的特征圖投票得出1 × 1 × 1 的輸出值，將其他總共40個(gè)輸出值拼接輸入兩個(gè)全連接層，通過(guò)softmax 輸出分類(lèi)。為了避免歸一化層和Dropout層同時(shí)使用帶來(lái)的方差偏移（Variance Shift）（Li 等，2019b），BN 層放在卷積層之后，Dropout設(shè)置在網(wǎng)絡(luò)最深層的全連接層之后。

3 實(shí)驗(yàn)和結(jié)果分析

3.1 數(shù)據(jù)集描述

在本文中，基于Indian Pines （IP）、Pavia University（PU）和Kennedy Space Center（KSC）作為研究對(duì)象，數(shù)據(jù)集從http://www.ehu.eus/ccwintco/index.php?title=Hyperspectral_Remote_Sensing_Scenes［2020?08?11］獲得。

（1） Indian Pines （IP）：Indian Pines 數(shù)據(jù)集（圖5）是由機(jī)載可視紅外成像光譜儀（AVIRIS）于1992 年對(duì)美國(guó)印第安納州一塊區(qū)域進(jìn)行成像，空間分辨率為20 m，包括苜蓿、免耕玉米地、玉米幼苗、玉米、草地—牧場(chǎng)、草地—樹(shù)木、修剪后草地、干草—料堆、燕麥、免耕大豆地、大豆幼苗、修剪后的大豆地、小麥、樹(shù)林、建筑—草—樹(shù)木—機(jī)器、石頭—鋼—塔等16 個(gè)地物類(lèi)型（圖5），成像波長(zhǎng)400—2500 nm，共220 個(gè)波段，但由于第104—108 波段、第150—163 波段和第220 波段不能被水反射，因此在實(shí)驗(yàn)中剔除這20個(gè)波段，選取其他200個(gè)波段作為研究對(duì)象。

圖5 Indian Pains數(shù)據(jù)集Fig.5 Indian Pains data set

（2）Pavia University（PU）：Pavia University 數(shù)據(jù)集（圖6）是由德國(guó)的機(jī)載反射光學(xué)光譜成像儀

ROSIS?03 （Reflective Optics Spectrographic Imaging System）于2003 年對(duì)意大利北部帕維亞上空飛行時(shí)捕捉到的場(chǎng)景，空間分辨率為1.3 m，包括柏油路、草地、碎石地、樹(shù)木、金屬板、裸地、瀝青路、瓷磚路、陰影等9 個(gè)地物類(lèi)型（見(jiàn)圖6），成像波長(zhǎng)430—860 nm，共115 個(gè)波段，在實(shí)驗(yàn)中剔除了12 個(gè)噪聲波段，選取其他103 個(gè)波段作為研究對(duì)象。

圖6 Pavia University數(shù)據(jù)集Fig.6 Pavia University dataset

（3） Kennedy Space Center （KSC）：Kennedy Space Centery 數(shù)據(jù)集是由機(jī)載可視紅外成像光譜儀（AVIRIS）于1996 年佛羅里達(dá)州肯尼迪航天中心（KSC）成像取得，空間分辨率18 m，如圖7 所示，由于某些植被類(lèi)型的光譜特征相似，很難區(qū)分這種環(huán)境下的土地覆蓋。為了進(jìn)行分類(lèi)，定義了13 個(gè)類(lèi)別，代表該環(huán)境中出現(xiàn)的各種土地覆蓋類(lèi)型，涵蓋多種濕地及沼澤，共13種類(lèi)型（見(jiàn)圖7），圖像成像波長(zhǎng)400—2500 nm，共224波段，剔除噪聲波段，選用剩余的176個(gè)波段作為研究對(duì)象。

圖7 Kennedy Space Center數(shù)據(jù)集Fig.7 Kennedy Space Center data set

3.2 實(shí)驗(yàn)設(shè)置

所有的實(shí)驗(yàn)基于Pytorch框架，CPU為Intel Xeon Silver 4114、Memory 為256 G、GPU 為NVIDIA GeForce TITAN Xp。對(duì)于本文提出的方法，初始學(xué)習(xí)率設(shè)為0.0005，采用學(xué)習(xí)率自動(dòng)下降的方法，迭代次數(shù)設(shè)為200，每個(gè)批次訓(xùn)練集大小為32；其它方法按照論文作者所設(shè)置的參數(shù)；同時(shí)，為了減少訓(xùn)練樣本帶來(lái)的隨機(jī)性，每個(gè)試驗(yàn)重復(fù)10 次取平均值作為最終試驗(yàn)結(jié)果。

實(shí)驗(yàn)采用分層抽樣的方式，每個(gè)類(lèi)別按一定比例抽取訓(xùn)練樣本，舍棄每個(gè)類(lèi)別抽取相同數(shù)量訓(xùn)練樣本的抽樣方式，雖然會(huì)增加樣本不均衡問(wèn)題，但是這種方法會(huì)更接近地面真實(shí)數(shù)據(jù)分布。

3.3 用于對(duì)比試驗(yàn)的分類(lèi)器描述

為了證明比較實(shí)驗(yàn)的有效性，本文選取了經(jīng)典的機(jī)器學(xué)習(xí)算法和多種先進(jìn)的深度學(xué)習(xí)方法作對(duì)比試驗(yàn)：

（1）SSRN：Zhong 等（2018）提出的3D 空譜聯(lián)合深度學(xué)習(xí)網(wǎng)絡(luò)，SOTA算法；

（2） SVM?RBF：基于高斯核函數(shù)的支持向量機(jī)；

（3）MDGCN：Wan 等（2020）提出的多尺度動(dòng)態(tài)圖卷積網(wǎng)絡(luò)用于高光譜圖像分類(lèi)；

（4）DBDA：Li 等（2020）提出基于空間注意力機(jī)制與光譜注意力機(jī)制的雙分支神經(jīng)網(wǎng)絡(luò)，通過(guò)搭建光譜分支與空間分支提取信息后進(jìn)行信息融合；

（5）pResNet：Paoletti 等（2019）通過(guò)使用金字塔形殘差塊搭建深層卷積網(wǎng)絡(luò)模型。

3.4 實(shí)驗(yàn)及結(jié)果

為驗(yàn)證分類(lèi)效果，本實(shí)驗(yàn)采用總體精度OA（Overall Accuracy）、平均精度AA（Average Accuracy）和Kappa系數(shù)（Kappa）進(jìn)行評(píng)價(jià)。

第1 個(gè)實(shí)驗(yàn)采用Indian Pines 數(shù)據(jù)集，按照分層抽樣的方法，每個(gè)類(lèi)別選取5%的數(shù)據(jù)作為訓(xùn)練集，實(shí)驗(yàn)結(jié)果如表1和圖8所示。

圖8 不同方法的Indian Pines分類(lèi)結(jié)果圖Fig.8 Results of Indian Pines data set classification by different methods

表1 Indian Pines數(shù)據(jù)集不同方法分類(lèi)精度Table 1 Accuracy of Indian Pines data set classification by different methods

由表1 給出的實(shí)驗(yàn)結(jié)果可以看出，本文提出的網(wǎng)絡(luò)對(duì)于IP 數(shù)據(jù)集有更好的分類(lèi)性能，使用5%數(shù)據(jù)集訓(xùn)練，整體精度達(dá)到97.4%，平均精度達(dá)到95.0%，Kappa 達(dá)到0.97，相比于雙分支雙注意力機(jī)制網(wǎng)絡(luò)，OA 提高1%，Kappa 提高0.21，相比于支持向量機(jī)，整體性能提高20%以上；SDLN相比于pResNet、SVM 的結(jié)果基本消除了“椒鹽現(xiàn)象”。

第2 個(gè)實(shí)驗(yàn)采用Pavia University 數(shù)據(jù)集，按照分層抽樣的方法，每個(gè)類(lèi)別選取0.5%的數(shù)據(jù)作為訓(xùn)練集，實(shí)驗(yàn)結(jié)果如表2和圖9所示。

表2 Pavia University數(shù)據(jù)集不同方法分類(lèi)精度Table 2 Accuracy of Pavia University data set classification by different methods

圖9 不同方法的Pavia University分類(lèi)結(jié)果圖Fig.9 Results of Pavia University data set classification by different methods

從表2 給出的實(shí)驗(yàn)數(shù)據(jù)中可以看出，在使用0.5%數(shù)據(jù)集訓(xùn)練，OA、AA、Kappa分別達(dá)到97.6%，97.1%，0.968，優(yōu)于其他方法，草地、裸土、瀝青路這3種地物的分類(lèi)準(zhǔn)確率高于99%，柏油路、樹(shù)木、金屬板、陰影這4 種地物的分類(lèi)準(zhǔn)確率高于97%；第8 類(lèi)是瓷磚路，5 種方法對(duì)該類(lèi)的分類(lèi)精度不高，錯(cuò)分的情況比較多，本文提出的方法取得了最好的結(jié)果，相比pResNet網(wǎng)絡(luò)提高23.8%。

第3 個(gè)實(shí)驗(yàn)采用Kennedy Space Center 數(shù)據(jù)集，按照分層抽樣的方法，每個(gè)類(lèi)別選取5%的數(shù)據(jù)作為訓(xùn)練集，實(shí)驗(yàn)結(jié)果如表3和圖10所示。

從表3 給出的實(shí)驗(yàn)數(shù)據(jù)中可以看出，在使用5%數(shù)據(jù)集訓(xùn)練，OA、AA、Kappa分別達(dá)到99.2%，98.8%，0.991，同時(shí)在沼澤、硬木、米草濕地、香蒲濕地、水這5個(gè)類(lèi)別中分類(lèi)準(zhǔn)確率達(dá)到了100%；從圖10 可以看出，本文方法的分類(lèi)結(jié)果更接近地面的真實(shí)值。

圖10 不同方法的Kennedy Space Center分類(lèi)結(jié)果圖Fig.10 Results of Kennedy Space Center data set classification by different methods

表3 Kennedy Space Center 數(shù)據(jù)集不同方法分類(lèi)精度Table 3 Accuracy of Kennedy Space Center data set classification by different methods

3.5 消融實(shí)驗(yàn)

為了驗(yàn)證密集連接和可分離卷積的有效性，刪除了密集連接、使用3D 卷積替換可分離卷積并進(jìn)行了實(shí)驗(yàn)。由于刪除了密集連接，網(wǎng)絡(luò)輸出特征圖的第3個(gè)光譜維度減少，深層的卷積核大于特征圖的維度，因此對(duì)卷積核進(jìn)行了縮放處理。實(shí)驗(yàn)結(jié)果見(jiàn)圖11，從中可以得出，加入密集連接和可分離卷積使網(wǎng)絡(luò)平均有2.7%以上的精度提高。

圖11 密集連接和可分離卷積的有效性Fig.11 Effectiveness of the Dense Connection and Separable Convolution

3.6 不同數(shù)量訓(xùn)練樣本對(duì)結(jié)果的影響

本文對(duì)算法進(jìn)行了進(jìn)一步的評(píng)估，在IP、UP、KSC 這3 個(gè)數(shù)據(jù)集上，設(shè)置不同大小的訓(xùn)練數(shù)據(jù)，測(cè)試了不同算法的泛化能力。

從圖12 給出的分析結(jié)果中可以看出，隨著數(shù)據(jù)集的增加，各種方法的整體精度、平均精度、Kappa系數(shù)都不斷提高，精度差距縮小。本文提出的網(wǎng)絡(luò)即使在小樣本的情況下，也取得較好的分類(lèi)表現(xiàn)，達(dá)到了最高分類(lèi)精度。對(duì)于IP 數(shù)據(jù)集，使用3%數(shù)據(jù)作為訓(xùn)練，總體分類(lèi)精度可以達(dá)到96%，使用5%作為訓(xùn)練，總體分類(lèi)精度可以達(dá)到97%；對(duì)于Pavia University 數(shù)據(jù)集，該數(shù)據(jù)集的空間分辨率高，混合像元少，使用0.6%的數(shù)據(jù)足以使整體分類(lèi)精度達(dá)到98%，使用更大的數(shù)據(jù)對(duì)提升分類(lèi)精度效果不大；對(duì)于KSC 數(shù)據(jù)集，本文提出的網(wǎng)絡(luò)在OA、AA 指標(biāo)上都優(yōu)于其他算法，使用5%數(shù)據(jù)訓(xùn)練，OA達(dá)到99.2%。

圖12 SSRN，SVM，MDGCN，DBDA，pResNet和本文方法在IP，PU，KSC中不同訓(xùn)練集大小下的OA、AA、Kappa結(jié)果Fig.12 The OA，AA，Kappa results of SVM，MDGCN，DBDA，pResNet and SDLN methods with varying proportions of training samples on the IP，PU

3.7 測(cè)試不同大小訓(xùn)練樣本輸入對(duì)結(jié)果的影響

在IP 數(shù)據(jù)集進(jìn)行輸入數(shù)據(jù)大小對(duì)分類(lèi)精度的測(cè)試，Batchsize 為32，Epoch 為200，將全部數(shù)據(jù)集按5%：95%的比例劃分為訓(xùn)練集、測(cè)試集。如圖13 所示，左側(cè)代表實(shí)驗(yàn)指標(biāo)（Kappa×100），右側(cè)代表訓(xùn)練所需時(shí)間（單位為秒）。結(jié)果表明，增大輸入數(shù)據(jù)的尺寸能使數(shù)據(jù)帶有更多的空間信息，也會(huì)使每一層的特征圖尺寸增加，造成網(wǎng)絡(luò)參數(shù)增加，訓(xùn)練時(shí)間加長(zhǎng)。當(dāng)輸入數(shù)據(jù)為9 × 9 和11 ×11 時(shí)，網(wǎng)絡(luò)能達(dá)到精度與效率的平衡；因?yàn)镮P 數(shù)據(jù)集的空間分辨率為20 m，當(dāng)輸入數(shù)據(jù)為13 × 13時(shí)，太大的空間信息對(duì)于網(wǎng)絡(luò)分類(lèi)精度的提升并沒(méi)有幫助，效果反而下降。

圖13 不同大小輸入數(shù)據(jù)分類(lèi)精度與訓(xùn)練所需時(shí)間Fig.13 Classification accuracy and training time of input data of different sizes

3.8 比較各個(gè)算法的運(yùn)行時(shí)間

對(duì)IP 數(shù)據(jù)集測(cè)試了不同算法訓(xùn)練測(cè)試所需的時(shí)間，Batchsize 為16，Epoch 為200，輸入數(shù)據(jù)設(shè)定為5 × 5 的數(shù)據(jù)塊，將全部數(shù)據(jù)集按5%：95%的比例劃分為訓(xùn)練集、測(cè)試集。如圖14 所示，柱狀圖代表訓(xùn)練所需時(shí)間，折線圖代表測(cè)試所需時(shí)間（單位為秒）。

圖14 不同算法訓(xùn)練測(cè)試所需時(shí)間Fig.14 Time required for training and testing of different algorithms

由圖14 可知，在相同數(shù)據(jù)大小輸入下，本文提出的網(wǎng)絡(luò)在速度上達(dá)到了最優(yōu)，網(wǎng)絡(luò)使用淺層密集連接，減少了卷積核參數(shù)量，增加了信息傳遞效率，在空間特征提取部分使用無(wú)參數(shù)的全局平均池化，減少了訓(xùn)練參數(shù)量。相比pResNet 網(wǎng)絡(luò)，訓(xùn)練時(shí)間縮短66.8%，測(cè)試時(shí)間縮短76.5%。

4 結(jié) 論

為了提高小樣本下高光譜圖像分類(lèi)的精度和速度，采用光譜密集連接方式增加了特征圖的復(fù)用，提高了算法的光譜特征提取能力，使用分離卷積代替3D 卷積提高算法運(yùn)行效率，基于IP、PU和KSC 這3 個(gè)數(shù)據(jù)集，與SSRN 等先進(jìn)深度學(xué)習(xí)進(jìn)行精度對(duì)比、消融實(shí)驗(yàn)、運(yùn)行時(shí)間對(duì)比等多個(gè)實(shí)驗(yàn)，證明了本文提出的算法可以有效提高高光譜圖像的分類(lèi)精度，在精度和效率上都獲得了理想的效果，相比于3D 卷積，深度可分離卷積能夠有效提高算法運(yùn)行效率，密集連接能夠更好的提取地物的光譜信息，提高分類(lèi)精度。

同時(shí)也研究了訓(xùn)練數(shù)據(jù)大小與輸入數(shù)據(jù)大小對(duì)分類(lèi)精度的影響，隨著訓(xùn)練數(shù)據(jù)的增加或者輸入數(shù)據(jù)的增大，網(wǎng)絡(luò)的分類(lèi)精度提升，但是超過(guò)一定界限，過(guò)多的訓(xùn)練數(shù)據(jù)和過(guò)大的輸入數(shù)據(jù)會(huì)帶來(lái)冗余信息增加，使分類(lèi)精度降低。

通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)在高光譜數(shù)據(jù)集和真實(shí)的遙感圖像中普遍存在樣本不均衡的問(wèn)題，每個(gè)地物的數(shù)量是不同的，但是數(shù)量少的地物并不意味著重要程度低。不平衡的樣本類(lèi)別會(huì)造成分類(lèi)模型的效果下降，分類(lèi)器會(huì)偏向于學(xué)習(xí)大的類(lèi)別，小類(lèi)別數(shù)據(jù)的分類(lèi)精度降低，因此下一步將重點(diǎn)研究高光譜圖像中類(lèi)別不均衡問(wèn)題，提高小類(lèi)別數(shù)據(jù)的分類(lèi)效果。

志 謝感謝珠海歐比特人工智能研究院提供的技術(shù)支持和山東省重點(diǎn)研發(fā)計(jì)劃的基金資助，在此表示衷心的感謝！