冷浩柏，盧涵宇，郭 彩，袁詠儀，楊文雅

(1.貴州大學大數(shù)據(jù)與信息工程學院，貴州 貴陽 550025； 2.貴州六盤水三力達科技有限公司，貴州 六盤水 532001)

0 引 言

在21世紀，隨著全球觀測系統(tǒng)以及衛(wèi)星技術(shù)的發(fā)展，進一步推動了遙感技術(shù)的發(fā)展、傳感器等技術(shù)設(shè)備的革新，使得遙感成像技術(shù)的分辨率越來越高。文獻[1]提出了分辨率向著高時間分辨率、高空間分辨率、高光譜分辨率的方向發(fā)展。高分辨率技術(shù)使得遙感影像呈現(xiàn)出紋理信息豐富化的特點，同時也給遙感場景分類提出一個新的挑戰(zhàn)；加之，遙感場景分類在自然資源監(jiān)測、土地資源規(guī)劃、自然災害監(jiān)測等領(lǐng)域發(fā)揮著重要的作用，如城市建筑用地規(guī)劃、農(nóng)作物的病害防治等,因此，對遙感場景分類是一個值得研究的課題。

對于遙感場景分類，前人提出了許多的傳統(tǒng)方法，如貝葉斯模型[2]、支持向量機[3]、隨機森林[4-5]以及視覺詞袋模型[6]等。這些傳統(tǒng)方法相對于人工分類方法，很大程度上減少了人力資源的耗費，在分類準確度上也有一定程度的提升。在2006年以前，運用傳統(tǒng)方法以及改進的傳統(tǒng)方法對遙感場景分類始終達不到人們所需的分類識別精度。2006年Hinton等[7]在《Science》上發(fā)表的論文中提出了深度學習的概念后，深度學習就迅速地滲透進了圖像識別與分類領(lǐng)域，同時也促進了遙感場景分類的研究。再者，神經(jīng)網(wǎng)絡(luò)也因深度學習概念的提出而發(fā)展，從人工神經(jīng)網(wǎng)絡(luò)發(fā)展到卷積神經(jīng)網(wǎng)絡(luò)，一直發(fā)展到今天的VGGNet[8]、GoogleNet[9]、ResNet[10](殘差神經(jīng)網(wǎng)絡(luò))等深度神經(jīng)網(wǎng)絡(luò)。業(yè)巧林等[11]在基于深度學習特征和支持向量機的遙感圖像分類中提出了將卷積神經(jīng)網(wǎng)絡(luò)與支持向量機相結(jié)合的模型，分類精度最高達到了90.5%。Yang等[12]提出了基于深度網(wǎng)絡(luò)分級傳遞的遙感影像場景分類方法，在WHU.RS和UCMerced_LandUse高分辨率遙感數(shù)據(jù)集上的分類準確度達到了90%以上。Ni等[13]使用中級深度特征學習進行遙感影像進行場景分類，在AID和UCMerced_LandUse遙感數(shù)據(jù)集分類中取得了不錯的效果。溫長吉等[14]提出改進稠密膠囊網(wǎng)絡(luò)模型對植物識別，其平均識別準確率較VGG-16提高了8.6%。馮偉業(yè)等[15]利用膠囊神經(jīng)網(wǎng)絡(luò)對合成孔徑雷達圖像分類,其分類準確率達到了94%。宋丹等[16]使用膠囊神經(jīng)網(wǎng)絡(luò)對宮頸病變圖像分類，其網(wǎng)絡(luò)性能較ResNet和Inception V3有了較大的提升。

目前，遙感影像難以獲取導致樣本集偏少，因此運用卷積神經(jīng)網(wǎng)絡(luò)進行遙感影像分類時，在實驗過程容易造成梯度“爆炸”、損失不收斂等問題，而運用膠囊神經(jīng)網(wǎng)絡(luò)和改進膠囊神經(jīng)網(wǎng)絡(luò)是解決遙感影像分類問題的一個可行性方案。

1 本文方法

從人工神經(jīng)網(wǎng)絡(luò)發(fā)展到卷積神經(jīng)網(wǎng)絡(luò)(CNN)是深度學習領(lǐng)域內(nèi)一個質(zhì)的飛躍。卷積神經(jīng)網(wǎng)絡(luò)主要由卷積層、池化層、全連接層組成。研究者在卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，不斷改進模型并于不同的領(lǐng)域應用，也就衍生出了AlexNet[17]、VGGNet[8]、GoogleNet[9]、膠囊神經(jīng)網(wǎng)絡(luò)等一系列深度神經(jīng)網(wǎng)絡(luò)。

1.1 膠囊神經(jīng)網(wǎng)絡(luò)

膠囊神經(jīng)網(wǎng)絡(luò)(CapsNet)是由國外學者Sabour等人[18]提出，其核心思想是使用膠囊來替代卷積神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元，使網(wǎng)絡(luò)可以保留對象之間詳細的姿態(tài)信息和空間層級關(guān)系[19]。卷積神經(jīng)網(wǎng)絡(luò)能夠通過卷積層、池化層一系列操作來保持輸入數(shù)據(jù)的空間不變性或者容忍空間微小變化，但是在一定程度上損失了細節(jié)信息，特別是對于細節(jié)紋理信息豐富的遙感影像。CapsNet很好地彌補了卷積神經(jīng)網(wǎng)絡(luò)的缺陷。

1.1.1 CapsNet網(wǎng)絡(luò)模型

CapsNet和卷積神經(jīng)網(wǎng)絡(luò)一樣，是由許多層組成，這些層稱為膠囊層，其中最低層稱為初級膠囊層。膠囊層通過動態(tài)路由算法學習輸入數(shù)據(jù)的豐富特征信息，初級層的結(jié)果送到高級膠囊層用于分類與識別。最簡單的CapsNet只用到了一層膠囊層，如圖1所示。

圖1 CapsNet網(wǎng)絡(luò)模型

圖1中，卷積層通過采用(9×9)尺寸大小的卷積核來提取輸入圖像的特征；primaryCaps(主膠囊層)具有32個主膠囊，其目的是將由前一層卷積層所提取的特征進行融合之后輸入到DigitCaps(數(shù)字膠囊層)，主膠囊層的本質(zhì)類似于卷積層。數(shù)字膠囊層具有10個膠囊層，即具有10個向量，每個膠囊層對應0～9的一個類別，在其內(nèi)部通過權(quán)重矩陣Wij將輸入的8維空間映射到輸出的16維空間；在DigitCaps的10個向量中，其每個向量元素的個數(shù)為16。與普通的深度卷積網(wǎng)絡(luò)不同的是最后結(jié)果是通過對DigitCaps的10個向量求模長，其模長值最大的一個向量就代表輸入影像預測概率最大的類別。

1.1.2 CapsNet工作原理

膠囊神經(jīng)網(wǎng)絡(luò)主要由3個部分構(gòu)成，即線性組合、路由參數(shù)更新和非線性激活。首先，線性組合部分可以由式(1)描述，gj|i是高層特征即ui的線性組合。第i層的輸出向量ui與相應的權(quán)重系數(shù)矩陣Wij相乘即可得到gj|i的值。

gj|i=uiWij

(1)

其次，路由參數(shù)更新只需對耦合系數(shù)cij進行迭代更新，其更新原理依據(jù)動態(tài)路由算法[12]進行。接下來將對算法進行詳盡描述：

1)bij的初值設(shè)置為0，如式(2)所示，bij取決于2個膠囊的位置和類型，并通過輸出向量Vj與gj|i進行點積運算使得bij更新，從而耦合系數(shù)cij得以更新。

2)將cij與gj|i進行求加權(quán)和運算，從而得到下一層網(wǎng)絡(luò)的輸入向量，如式(4)所示，這與卷積神經(jīng)元的加權(quán)求和是類似的。

3)輸出向量Vj可以通過式(5)求解，然而，Vj又用來更新bij，使耦合系數(shù)也得到更新，這就完成了整個路由參數(shù)更新的過程。具體路由算法如1.1.3節(jié)算法1所示。

bij=bij+gj|iVj

(2)

(3)

(4)

(5)

最后，非線性激活過程類似卷積神經(jīng)網(wǎng)絡(luò)的非線性激活函數(shù)ReLu、tanh等，膠囊神經(jīng)網(wǎng)絡(luò)的非線性激活函數(shù)如式(5)所示，式子的前半部分是對輸入向量進行尺度縮放，后半部分代表單位向量。因此，該函數(shù)既保留輸入向量的方向，又將輸入向量的長度壓縮到區(qū)間[0，1)。

1.1.3 膠囊神經(jīng)網(wǎng)絡(luò)損失函數(shù)

在運用經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)做圖像分類時，通常使用交叉熵損失函數(shù)。但是在CapsNet中這一損失函數(shù)不再適用，需要定義適宜的膠囊神經(jīng)網(wǎng)絡(luò)損失函數(shù)即間隔損失；式(6)中的權(quán)重系數(shù)Wij需要根據(jù)此損失函數(shù)進行迭代更新。其損失函數(shù)如式(6)所示。

式(6)中，c表示實驗分類；Tc是一個指示分類的函數(shù)，當c存在即Tc取1，否則取0；m+通常取值為0.9，表示懲罰假陽性；m-通常取值為0.1，表示懲罰假陰性；λ取值為0.5，是一個比例系數(shù)。

Lc=Tc·max(0,m+-‖Vc‖)2+λ(1-Tc)·max(0,‖Vc‖-m-)2

(6)

算法1 動態(tài)路由算法

1 輸入向量gj|i，循環(huán)迭代次數(shù)r,當前層數(shù)l

2 對于在l層的膠囊i和在(l+1)層的膠囊j

3 令bij=0

4 循環(huán)r次

5 對所有在l層的膠囊i有：

ci=softmax(bi)

6 對所有在(l+1)層的膠囊j有：

7 對所有在(l+1)層的膠囊j有:

Vj=squash(sj)

8 對于所有在l層的膠囊i和在(l+1)層的膠囊j有：

bij=bij+gj|iVj

9返回Vj

1.2 注意力機制

近幾年，隨著計算機視覺不斷發(fā)展，注意力機制在圖像處理領(lǐng)域中表現(xiàn)出十分強大的性能，尤其是在注意力機制與神經(jīng)網(wǎng)絡(luò)結(jié)合使用中。注意力機制源于對人類視覺的研究,人類會根據(jù)實際需要選擇視網(wǎng)膜內(nèi)特定區(qū)域進行集中關(guān)注,可以將有限的處理資源分配至重要的部分[10]。

1.2.1 SENet網(wǎng)絡(luò)結(jié)構(gòu)

SENet[20]是ImageNet2017分類任務(wù)冠軍。相比卷積神經(jīng)網(wǎng)絡(luò)，SENet更加注意每一層的特征，并且有選擇性地對有用特性信息進行加強。其主要思想有2個：1)通過擠壓對圖像數(shù)據(jù)進行降維處理；2)激勵操作起到了特征融合的效果[21]。本質(zhì)上SENet是一種通道注意力通過一系列的全連接、激活、相乘得到通道注意力特征圖[22]，SENet的運算過程由擠壓、激勵、注意力3個部分組成，其計算公式可以由式(7)～式(9)表示。其結(jié)構(gòu)如圖2所示。

圖2 SENet結(jié)構(gòu)圖

(7)

sc=σ(W2δ(W1Zc))

(8)

M=F×sc

(9)

式中，F(xiàn)為輸入特征圖，H和W為輸入特征圖的高與寬，σ和δ分別為ReLu和softmax激活函數(shù)，W1和W2為所學習到的權(quán)重，并通過此權(quán)重來激活每一層通道。

1.2.2 CBAM網(wǎng)絡(luò)結(jié)構(gòu)

CBAM[23]注意力模塊是注意力機制中的一種網(wǎng)絡(luò)結(jié)構(gòu)，SENet只關(guān)注圖像通道之間的特征關(guān)系，在此基礎(chǔ)上CBAM為了能夠描述圖像空間位置、像素點之間的特征關(guān)系，加入了空間注意力，形成了一種混合域注意力。CMBA由空間域注意力模塊和通道域注意力模塊組成，其CBAM的模型結(jié)構(gòu)如圖3所示。

圖3 CBAM結(jié)構(gòu)圖

1)通道域注意力。對于3通道的RGB圖片，每個通道所表征的特征信息是不同的。通道域注意力便能很好地學習每一通道的特征信息，并利用通道間的特征關(guān)系生成特征圖。對于給定的一個多通道特征圖F∈RC×H×W(其中C、H和W分別表示特征圖的通道數(shù)、高度、寬度)，Mc∈RC×1×1是經(jīng)過通道域注意力模塊后的特征圖[23]。通道域注意力結(jié)構(gòu)圖如圖4所示，其計算公式如式(10)所示：

圖4 通道域注意力結(jié)構(gòu)圖

Mc=σ(δ(avgpool(F))+δ(maxpool(F)))

(10)

式中，σ和δ分別代表sigmoid激活函數(shù)和多層感知機MLP。

2)空間域注意力?？臻g域注意力與通道域注意力不同是，空間注意力更加注重目標的空間位置關(guān)系。遙感影像的空間位置、結(jié)構(gòu)等特征信息是特別復雜的，利用空間注意力能進一步聚集圖像的目標語義信息?？臻g注意力計算公式如式(11)所示。其結(jié)構(gòu)如圖5所示。

圖5 空間域注意力結(jié)構(gòu)圖

Ms=σ(f3×3([avgpool(F);maxpool(F)]))

(11)

1.2.3 改進的膠囊神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)和膠囊神經(jīng)網(wǎng)絡(luò)的遙感影像分類識別精度以及特征提取所提取的信息的豐富程度都影響著膠囊層的運算。因此，本文將改進模型的特征提取功能，使之能夠提取更加豐富的特征信息，從而提高分類識別精度。

CapsNet的特征提取模塊由4層卷積層、2層池化層和激活函數(shù)組成，其中，卷積層1和卷積層2采用3×3大小的卷積核；卷積層3和卷積層4采用5×5的大小卷積核；激活函數(shù)采用非線性激活函數(shù)即ReLu；池化層1、池化層2采用最大池化方式(核為3×3)。這里采用最大池化層的目的有2個：1)目前CapsNet還不能支持大尺寸圖像數(shù)據(jù)集的分類,通過池化層對輸入圖像的特征圖進行壓縮;2)能夠簡化網(wǎng)絡(luò)計算的復雜度并保留輸入圖像的有用的特征信息[24]。CapsNet的特征提取模塊如圖6(a)所示。

(a) CapsNe特征提取模塊

為了達到神經(jīng)網(wǎng)絡(luò)模型學習到更加豐富的特征信息從而提高分類精度這一目的，同時，SENet和CBAM網(wǎng)絡(luò)能夠提取輸入影像的通道特征和空間特征信息，因此，在CapsNet特征提取模塊的基礎(chǔ)上，結(jié)合SENet和CBAM對特征提取模塊進行改進。將CBAM模塊順序相連接于第二個池化層后組成新的特征提取模塊,其改進后的網(wǎng)絡(luò)稱C-CapsNet，如圖6(b)所示；運用同樣的方法將SEtNet順序相連接于第二個池化層后組成新的特征提取模塊,其改進后的網(wǎng)絡(luò)稱S-CapsNet，如圖6(c)所示。卷積層3、4卷積核尺寸由5×5改為3×3，其目的是減少網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)，從而避免由于數(shù)據(jù)集樣本數(shù)量的缺乏而造成分類精度達不到理想要求。

2 實驗數(shù)據(jù)與實驗配置

本次實驗采用的數(shù)據(jù)集源于NWPU-RESISC45數(shù)據(jù)集和AID數(shù)據(jù)集。NWPU-RESISC45遙感數(shù)據(jù)集是由西北工業(yè)大學發(fā)布的高分遙感影像場景分類數(shù)據(jù)集，其中含有45個類別的場景影像，每個類別具有700幅影像，每幅影像的像素大小為256×256；該數(shù)據(jù)集具有類內(nèi)差距大和類間差距小的特征，是遙感影像場景分類的一個難點。從NWPU-RESISC45數(shù)據(jù)集中選擇了機場、沙漠、農(nóng)場、沙灘、教堂、停車場、森林、湖泊、濕地、立交橋這10個類別的影像組成模型訓練和測試的實驗數(shù)據(jù)集。圖7為NWPU-RESISC45數(shù)據(jù)集示例。AID數(shù)據(jù)集共有30個類別10000幅影像。影像主要從Google Earth影像上采集。場景影像的空間分辨率為0.5 m～8 m，影像大小為600×600像素，每類有220～420幅不等數(shù)量的影像。AID數(shù)據(jù)集用于測試模型的泛化能力。

圖7 NWPU-RESISC45數(shù)據(jù)集示例

實驗配置：CPU為Intel i5 -9400F；GPU為GTX 1660ti;內(nèi)存大小為24 GB;操作系統(tǒng)為Windows 10專業(yè)版；編程語言采用Python。

3 實驗結(jié)果與分析

本文實驗的技術(shù)路線如圖8所示。

圖8 技術(shù)路線流程圖

1)實驗數(shù)據(jù)預處理：①通過數(shù)據(jù)增強(旋轉(zhuǎn)、添加噪聲、色相調(diào)整等)增大數(shù)據(jù)集樣本數(shù)量；②對每個類別的遙感影像進行標注，打上相應的標簽；③通過運用Python函數(shù)將其歸一化以及按7∶2∶1的比例劃分為訓練集、驗證集、測試集。

2)模型訓練與驗證：運用Keras開源框架搭建神經(jīng)網(wǎng)絡(luò)模型，訓練時運用Tensorflow作為后端；訓練集負責訓練各隱含層的參數(shù)，驗證集的目的是用于篩選分類模型。

3)模型評估結(jié)果：為更準確地描述分類模型性能，因此將用測試集對模型進行評估，其評估指標選用準確率、kappa系數(shù)作為模型評價指標，計算公式如式(12)～式(14)所示。

(12)

kappa=(accuracy-pe)/(1-pe)

(13)

其中:

(14)

式中，h為預測正確的樣本數(shù)，f為樣本總數(shù)，a1,a2,…,am為每一類真實的樣本數(shù)，b1,b2,…,bm是預測出來的每一類的樣本數(shù)，n為樣本總數(shù)。

3.1 實驗結(jié)果

為了更好地在實驗后期對比模型的性能，所以設(shè)置相同的訓練參數(shù)。batch_size(即每一批次訓練的圖像數(shù)量)設(shè)置為36，epoch設(shè)置為200，初始學習率為0.001，并且根據(jù)損失收斂情況，使用Adam優(yōu)化算法自適應更新學習率以及尋找損失函數(shù)的最優(yōu)解。

其訓練結(jié)果如圖9和圖10所示，分別展示了訓練損失曲線圖和驗證集準確率圖。從圖9可知，50個epoch后，CapsNet、S-CapsNet和C-CapsNet的損失值都低于0.1，而且可以清楚看到收斂速度S-CapsNet優(yōu)于CapsNet，而CapsNet優(yōu)于C-CapsNet。250個epoch后，CapsNet、S-CapsNet和C-CapsNet三者的損失值分別為0.000153、0.00019、0.00085。從圖10可知，S-CapsNet和C-CapsNet的驗證集準確率要優(yōu)于CapsNet，其準確率在250個epoch后分別達到了99%和97.8%，而CapsNet的驗證集準確率只有94%左右。

圖9 訓練損失曲線

圖10 驗證集準確率曲線

驗證集準確率表示篩選的分類模型的好壞，并不能準確地代表分類模型的性能指標。針對這一情況，使用測試集對模型的性能進行檢測，同時其性能檢測中使用了準確率和kappa系數(shù)，模型檢測情況如表1所示。

表1 測試集在不同模型上的準確率及kappa

從表1可知，膠囊神經(jīng)網(wǎng)絡(luò)的分類識別精度較AlexNet、Pretrained VGG16和MobileNetV2[25]分別提高了9.72個百分點、7.25個百分點、4.53個百分點，kappa系數(shù)各自提高了0.108、0.081和0.051，可見CapsNet對遙感影像分類要優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)；S-CapsNet和C-CapsNet的測試集準確率較CapsNet有了質(zhì)的提升，其準確率分別提高了3.52個百分點和2.47個百分點，kappa系數(shù)提高了0.039和0.028。S-CapsNet和C-CapsNet的測試集準確率較ResNet34分別提升了3個百分點和1.95個百分點，kappa系數(shù)提高了0.034和0.023。可以看出基于注意力機制改進的膠囊神經(jīng)網(wǎng)絡(luò)分類精度高于其余分類模型。

從表1可知,S-CapsNet的分類準確率較C-CapsNet提高了1.05個百分點，kappa系數(shù)提高了0.011。這是由于遙感影像各個類別在空間特征上具有高度的相似性，引入空間注意力將相似的空間特征信息加強，導致C-CapsNet錯分率增加，從而使得C-CapsNet的分類精度比S-CapsNet稍遜一籌。綜上，結(jié)合SENet和CBAM這2種注意力機制改進特征提取模塊顯著地提高了膠囊神經(jīng)網(wǎng)絡(luò)的分類識別精度，使得錯分類率更低。

3.2 模型泛化能力分析

模型在測試集上表現(xiàn)出的性能優(yōu)勢并不能代表在其他同類數(shù)據(jù)集上表現(xiàn)出相同的性能優(yōu)勢，因此，用AID數(shù)據(jù)集對模型的泛化能力進行評估是有必要的。其評估情況如表2所示。

表2 AID數(shù)據(jù)集在不同模型上的準確率及kappa

從表2可知，基于SENet網(wǎng)絡(luò)改進特征提取的膠囊神經(jīng)網(wǎng)絡(luò)S-CapsNet的準確率和kappa系數(shù)分別為84.43%和0.821，在幾種模型中評估指標達到了最高。結(jié)果表明SENet改進膠囊神經(jīng)網(wǎng)絡(luò)是有效的，至于C-CapsNet性能弱于Pretrained VGG16、S-CapsNet和ResNet34，造成這一情況的原因可能是由于NWPU-RESISC45數(shù)據(jù)集和AID數(shù)據(jù)集的像素大小和空間分辨率不一至，而C-CapsNet相比其他模型提取了遙感影像的空間位置、像素等特征信息，從而導致了C-CapsNet的模型泛化能力較差；因為AlexNet和CapsNet的隱含層數(shù)量較少，使得不能充分地提取特征信息，也就導致了兩者的泛化能力較弱。ResNet34雖然能夠提取到不同圖像特征之間的微小變化，但是不能關(guān)注到遙感影像的重要特征信息和減輕遙感影像冗余地理特征的影響，這也就使得泛化能力弱于S-CapsNet。

4 結(jié)束語

本文將運用了SENet和CBAM的改進膠囊神經(jīng)網(wǎng)絡(luò)的特征提取模塊應用于遙感影像分類，并將改進的S-CapsNet和C-CapsNet與VGG16、AlexNet和ResNet34在數(shù)據(jù)集上進行對比實驗。實驗結(jié)果表明，將注意力機制融入到深度學習模型的特征提取模塊中能夠提取更豐富的特征信息，從而提高模型分類識別精度。同時，只加入通道注意力即SENet不僅能夠提高模型的分類識別精度，而且提升了模型的泛化能力。以上實驗結(jié)果表明了本文改進的模型在遙感影像分類領(lǐng)域具有一定的可行性和實用性。