鄭天佑，王 強

(哈爾濱工業(yè)大學航天學院，哈爾濱 150001)

0 引 言

隨著星載成像傳感器的快速發(fā)展，越來越多的在軌衛(wèi)星，例如GeoEye-1,WorldView-3和ZY-3均能夠捕獲高分辨率遙感圖像。利用遙感圖像進行場景分類的應用范圍正逐步擴大。遙感圖像場景分類的結(jié)果不僅能夠進行目標檢測定位，而且有助于對特定檢測目標的有效識別和深入決策。盡管衛(wèi)星獲得的遙感圖像分辨率高，但是復雜的場景信息、特征信息給遙感場景分類帶來了極大困難。傳統(tǒng)的遙感場景分類任務，主要依賴于人工設計特征結(jié)合傳統(tǒng)分類算法，比如通過主成分分析(Principal component analysis, PCA)算法融合遙感圖像來提高圖像空間分辨率，再利用支持向量機(Support vector machine, SVM)算法整合設計特征，這些方法一直備受眾多研究者的關注。隨著人工智能深度學習算法的發(fā)展，更多基于深度神經(jīng)網(wǎng)絡的算法被引入到遙感圖像場景分類問題中，并且較大地提升了分類準確率。卷積神經(jīng)網(wǎng)絡(Convolutional neural network, CNN)作為深度神經(jīng)網(wǎng)絡中研究最充分的方法，其模型被廣泛應用到自然場景分類中，例如VGGNets，ResNets和DenseNets。

對于擁有充足數(shù)據(jù)樣本的自然場景數(shù)據(jù)集，訓練后的CNN通常能夠獲得優(yōu)于傳統(tǒng)識別算法的分類精度。但是，現(xiàn)有的CNN在應用于遙感圖像場景分類時，尚存在很多待改進之處。首先，遙感圖像的數(shù)據(jù)采集需要結(jié)合星載成像設備進行，由于采集難度大、設備成本高，采集到的數(shù)據(jù)并不能像自然場景圖像一樣以百萬個計數(shù)，這就導致了使用大參數(shù)的CNN進行遙感場景分類時收斂不足，存在欠擬合現(xiàn)象；其次，遙感圖像是衛(wèi)星在不同光照條件下采集的數(shù)據(jù)，存在局部區(qū)域光照變化強烈的問題，也會出現(xiàn)圖像中局部包含無關特征的問題。上述現(xiàn)象都會影響最終的分類精度。

針對CNN在遙感圖像場景分類中存在的數(shù)據(jù)量不足、局部光照強度變化、局部存在無關特征的問題，本文提出一種基于批處理的協(xié)方差層來替代現(xiàn)有CNN中的卷積層。同時將神經(jīng)網(wǎng)絡模型在ImageNet上進行預訓練，通過遷移學習來進一步提高遙感場景分類任務的分類精度。

1 協(xié)方差對于遙感圖像場景分類的改進

星載成像采集的遙感場景圖像，由于高空拍攝，不可避免地存在局部光照強度的變化，以及每個類別圖像中都會存在與分類場景無關的特征，這些局部光強變化以及局部無關特征都會降低CNN的分類精度。

1.1 協(xié)方差算法對局部光強變化的適應性

卷積層作為CNN中的主要運算層，對輸入特征圖進行濾波，其輸出值表示卷積核與輸入的相關性。通過逐層濾波，CNN能夠聚焦于類別相關的區(qū)域，通過全連接層調(diào)整輸出的概率分布，完成分類。卷積層每個卷積核的運算可以表示為：

(1)

式中：(,)為輸出特征圖中坐標為(,)處的值；為輸入特征圖；為卷積核；卷積核中各點坐標用(,)表示；卷積核的尺寸為×。從式(1)可以看出，卷積算法在計算卷積核與輸入圖像的相關性時，并沒有剔除輸入圖像在×區(qū)域的均值，因此，其均值的取值范圍會影響最終的計算結(jié)果。卷積算法受局部光強變化的影響可以表示為：

(2)

式中:(,)表示理想情況下無光強變化影響的卷積核運算；(,)表示實際情況下有光強變化影響的卷積核運算；表示局部光強變化的均值。可見隨著局部光強的變化，由卷積算法得出的相關性會發(fā)生改變。

在CNN中，對輸入圖像進行正則化的數(shù)據(jù)增廣和對網(wǎng)絡層進行正則化的批歸一化方法(Batch normalization, BN)均針對整體尺寸的輸入進行歸一化，而對局部區(qū)域的變化缺乏歸一化能力，因此引入?yún)f(xié)方差算法以改善其性能。協(xié)方差算法分別減去輸入特征圖和卷積核的均值，可以表示為：

(3)

本文針對卷積算法和協(xié)方差算法在局部光強變化的適應性方面進行了對比實驗，如圖1所示。圖1選擇了存在局部光強變化的飛機圖像進行實驗，選取圖像中的一架飛機作為特征，該特征作為特征核與原圖分別進行卷積和協(xié)方差運算。如圖1所示，協(xié)方差算法能夠在與飛機特征相關的位置獲得較大值，如圖中高亮區(qū)域，而卷積算法則在整個光照明亮區(qū)域獲得較大值，圖中大范圍區(qū)域呈現(xiàn)高亮，已經(jīng)難以分辨飛機的位置。

圖1 局部光強變化圖像中協(xié)方差算法和卷積算法定位特征能力比較

1.2 協(xié)方差算法對局部無關特征的魯棒性

導致由卷積算法計算的相關性產(chǎn)生偏差的另一原因是遙感圖像中局部無關特征的均值過大，即式(2)中的過大。然而，從式(3)可以看出，協(xié)方差算法能夠減去局部無關特征的均值，從而消除過大產(chǎn)生的影響，保證(,)=(,)。

為了驗證協(xié)方差算法對于無關特征的魯棒性，本節(jié)給出了協(xié)方差算法和卷積算法在存在局部無關特征的圖像中定位相關特征能力的比較，如圖2所示。圖2選擇了遙感場景分類中常見的4類場景，由于高空拍攝，圖像中均包含無關特征，例如河流圖像中包含沙地，船的圖像中包含房屋，橋的圖像中包含草地，以及網(wǎng)球場的圖像中包含停車場。與分類相關的部分區(qū)域被選為特征核與原圖分別進行卷積和協(xié)方差的運算，從圖2可以看出，協(xié)方差算法能夠在與分類相關的位置獲得較大值，如圖中的高亮區(qū)域。卷積算法由于受到無關特征影響，會在與分類無關的區(qū)域獲得較大值，圖中高亮區(qū)域與實際分類目標之間存在偏差。

根據(jù)以上兩個小節(jié)的分析，從圖1可以看出協(xié)方差算法對于局部光強變化的適應性，從圖2可以看出協(xié)方差算法對局部無關特征的魯棒性。因此，協(xié)方差算法在遙感圖像場景分類任務中，能夠應對卷積算法難以應對的局部特征問題，提高神經(jīng)網(wǎng)絡的分類精度。CNN中的卷積層并不是單純的使用卷積算法，還需要針對多個輸入通道進行整合，因此，在CNN中引入?yún)f(xié)方差算法也需要針對網(wǎng)絡結(jié)構(gòu)進行調(diào)整。

圖2 協(xié)方差算法和卷積算法在存在局部無關特征圖像中對特征定位能力的比較

2 批處理協(xié)方差神經(jīng)網(wǎng)絡

根據(jù)以上分析，協(xié)方差算法能夠很好地解決遙感圖像場景分類中存在的局部特征均值變化問題。將協(xié)方差算法引入CNN中并替換原有卷積算法將有助于提升遙感場景分類的效果。本章將介紹把協(xié)方差算法整合進神經(jīng)網(wǎng)絡的具體方法。

2.1 批處理協(xié)方差層

在CNN算法中，可以用3×3大小的卷積核逐漸覆蓋任意尺寸的特征圖。對于含有個通道的遙感圖像，其卷積層可表示為：

(4)

式中：(,)為輸出特征圖中坐標為(,)的值；為輸入通道數(shù)；為第個通道的輸入特征圖；為第個輸入通道的卷積核；卷積核的尺寸為×。由于協(xié)方差算法是實現(xiàn)局部特征歸一化的有效方法，可以將卷積算法替換為協(xié)方差算法，并保證協(xié)方差算法中的均值覆蓋通道×大小的區(qū)域，即批處理協(xié)方差，可以表示為：

(5)

(6)

從式(6)可以看出，批處理協(xié)方差層通過剔除輸入特征圖中個×尺寸的均值來計算相關性。圖3將批處理協(xié)方差層與傳統(tǒng)歸一化層的結(jié)構(gòu)進行對比，圖中,分別表示特征圖的長寬尺寸，為一次性輸入圖像的數(shù)量(Batch)，與分別表示特征圖的輸入與輸出通道數(shù)。雖然批處理協(xié)方差層與傳統(tǒng)歸一化層都進行了歸一化操作，但兩者選擇的維度不同。歸一化層是針對整體尺寸×進行歸一化，其中批歸一化(BN)是針對每個通道的張圖進行歸一化，實例歸一化(Instance norm)是針對每個通道的每張圖進行歸一化，層歸一化(Layer norm)是針對全通道的每張圖進行歸一化。而批處理協(xié)方差層則是針對全通道的局部尺寸×進行歸一化，這使得批處理協(xié)方差層能有效地進行局部歸一化，可以更好地應對局部特征均值變化帶來的影響。從圖3也可看出，批處理協(xié)方差層計算了三個維度的數(shù)據(jù)均值，因此可以看作一種3D協(xié)方差層。

圖3 批處理協(xié)方差層和傳統(tǒng)歸一化層比較

將CNN的卷積層用批處理協(xié)方差層替換，即可得到批處理協(xié)方差神經(jīng)網(wǎng)絡(CovNN)。圖4對比了CNN和CovNN的結(jié)構(gòu)，可見，批處理協(xié)方差層可以通過替換現(xiàn)有的多數(shù)CNN中的卷積層，形成新的神經(jīng)網(wǎng)絡。

圖4 卷積神經(jīng)網(wǎng)絡和批處理協(xié)方差神經(jīng)網(wǎng)絡

2.2 CovNN的訓練

本節(jié)主要介紹CovNN的訓練過程，包括前向傳播、損失反向傳遞和梯度更新。

..前向傳播

為了利用現(xiàn)有CNN的GPU加速算法，將式(6)轉(zhuǎn)化為全部可用卷積運算表示的形式。式(6)可表示為：

(7)

式中：為一個×大小的全1卷積核。式(7)可以進一步改寫成卷積的計算方式：

(8)

..損失反向傳遞

通過式(8)可以將批處理協(xié)方差層轉(zhuǎn)化為卷積運算，使得CovNN的前向傳播與CNN相近，CovNN的損失反向傳遞也與CNN具有相似性。假設是第層獲得的反傳損失，如果第層是批處理協(xié)方差層，則經(jīng)過第層的反傳損失可以表示為：

(9)

(10)

(11)

式(11)描述了CovNN批處理協(xié)方差層的損失反傳，CovNN中其他層保留CNN損失反傳算法。

..梯度更新

合適的梯度更新算法有助于CovNN的快速收斂并且獲得良好的分類精度，隨機梯度下降常被選為梯度更新算法。批處理協(xié)方差層中每個核的梯度更新可以表示為：

(12)

(13)

3 實驗與結(jié)果分析

為驗證CovNN在衛(wèi)星采集的遙感圖像場景分類數(shù)據(jù)集中對于局部光強變化的適應性和對于局部無關特征的魯棒性，本文選取了2個常見的遙感場景分類數(shù)據(jù)集，即AID(Aerial image dataset)數(shù)據(jù)集和NWPU-RESISC45數(shù)據(jù)集。將現(xiàn)有表現(xiàn)優(yōu)異的CNN模型中的卷積層替換為批處理協(xié)方差層，用以形成對應的CovNN。由于遙感場景分類數(shù)據(jù)集相對于超大參數(shù)的神經(jīng)網(wǎng)絡所需的數(shù)據(jù)量仍有不足，本文引入ImageNet自然場景數(shù)據(jù)集進行預訓練，通過遷移學習的方式，對遙感場景分類進行再訓練。

3.1 遙感場景分類數(shù)據(jù)集介紹

AID和NWPU-RESISC45均是從融合了衛(wèi)星遙感圖像和地理信息的3D地球圖像中采集整理獲得的。這兩個數(shù)據(jù)集類別廣泛，但由于圖像尺寸較大，不同類別圖像之間又存在相似性，提高了場景分類問題的難度，部分圖像如圖5所示。

圖5 遙感場景分類數(shù)據(jù)集中圖像實例

AID數(shù)據(jù)集：包含有裸地、密集住宅、棒球場、橋、中心場館、教堂、火車站、商業(yè)區(qū)、高架橋、沙漠、儲油罐、農(nóng)場、森林、工業(yè)區(qū)、牧場、中等密度住宅區(qū)、沙灘、山地、公園、停車場、操場、池塘、港口、旅游區(qū)、河流、學校、廣場、體育場、稀疏住宅區(qū)、機場。數(shù)據(jù)集包括30個類別總計10000張圖片，每張圖片的分辨率是600×600。

NWPU-RESISC45數(shù)據(jù)集：包含有飛機、機場、棒球場、籃球場、海灘、橋梁、叢林、教堂、圓形農(nóng)田、云、商業(yè)區(qū)、密集住宅、沙漠、森林、高速公路、高爾夫球場、地面田徑場、港口、工業(yè)地區(qū)、交叉口、島、湖、草地、中型住宅、移動房屋公園、山、立交橋、宮殿、停車場、鐵路、火車站、矩形農(nóng)田、河、環(huán)形交通樞紐、跑道、海、船舶、雪山、稀疏住宅、體育場、儲水箱、網(wǎng)球場、露臺、火力發(fā)電站和濕地。數(shù)據(jù)集包含有45個不同場景，每個場景包含700張圖片，總計31500張圖片，每張圖片的分辨率是256×256。

3.2 基于CovNN的神經(jīng)網(wǎng)絡模型及預訓練

CNN模型從最初的LeNet模型發(fā)展到后來的深層神經(jīng)網(wǎng)絡，其分類精度也隨著層數(shù)與參數(shù)的增加而逐步提升。VGGNets通過合理地堆疊卷積層，獲得19層卷積的深度。隨著網(wǎng)絡的繼續(xù)加深，梯度消失問題逐漸加重，使得CNN難以訓練收斂，因此，殘差網(wǎng)絡(ResNets)被提出以改善深層神經(jīng)網(wǎng)絡的梯度反傳能力。DenseNets在此基礎上，提出了一種更廣泛的殘差網(wǎng)絡結(jié)構(gòu)，并且提高了在ImageNet上的分類精度。通過將神經(jīng)網(wǎng)絡中的卷積層替換為批處理協(xié)方差層，VGGCovNets，ResCovNets和DenseCovNets分別為現(xiàn)階段常用的CNN模型的CovNN版本。

基于CNN的研究已經(jīng)證明，CNN中參數(shù)的初始化值將影響最終的收斂結(jié)果，進而影響分類精度。用一個更大的數(shù)據(jù)集訓練的CNN參數(shù)可以賦予CNN一個更好的初值，有助于提升CNN的分類精度。這一點對于CovNN也同樣適用。通過星載成像系統(tǒng)采集的遙感圖像也屬于自然場景圖像，由于采集圖像難度大、成本高，導致最終用于訓練的數(shù)據(jù)集大小有限，因此充分利用現(xiàn)有的自然場景數(shù)據(jù)集將有助于進一步提高CovNN在遙感場景分類中的精度。本文引入ImageNet數(shù)據(jù)集做預訓練，為遙感場景分類任務的CovNN設置初值。

ImageNet是一個包含有128萬張自然場景圖像的大型數(shù)據(jù)集，數(shù)據(jù)集被細分為1000個常見生活場景，圖像的尺寸為224×224。VGGCovNets，Res-CovNets和DenseCovNets模型中的大量參數(shù)正需要ImageNet這種量級的數(shù)據(jù)集進行預訓練來更好地收斂。在利用ImageNet進行訓練時，圖像數(shù)據(jù)被歸一化到[0～1]范圍內(nèi)，并且進行了數(shù)據(jù)增廣。訓練使用隨機梯度下降算法更新梯度，循環(huán)次數(shù)為100次，初始學習率為0.1，在第40次和第70次分別變?yōu)?.01和0.001，采用測試的最佳結(jié)果計算該模型的識別錯誤率，列于表1中。由表1可見，CovNN的各模型均能夠提升分類精度。

由于ImageNet包含有豐富的數(shù)據(jù)，CovNN網(wǎng)絡的性能和其在ImageNet上取得的分類精度是息息相關的。同時，遙感場景分類數(shù)據(jù)集和ImageNet數(shù)據(jù)集都是基于自然場景的數(shù)據(jù)集，因此，在ImageNet上表現(xiàn)好的模型，在遙感場景分類任務上也具有優(yōu)勢。在表1中，DenseCovNet-121模型獲得最佳的分類效果，因此選擇DenseCovNet-121作為遙感場景分類的模型，并將其在ImageNet訓練得到的參數(shù)權重作為模型的預訓練初值。

表1 CNN模型和CovNN模型在ImageNet上的識別錯誤率

3.3 遙感場景分類評價指標

由于遙感場景分類數(shù)據(jù)集中經(jīng)常存在類別分布不均衡的問題，如果簡單地求取每個類別的準確率再求平均值，少數(shù)類的結(jié)果將對最終結(jié)果產(chǎn)生較為嚴重的影響。因此，本文使用召回率作為遙感場景分類模型的評估指標，每類的召回率可以表示為：

(14)

式中：表示每類的召回率;表示每類的真正例，即正樣本被預測正確的數(shù)量；表示每類的假負例，即正樣本被預測錯誤的數(shù)量。針對遙感場景分類所有類別的召回率可以表示為：

(15)

式中：表示數(shù)據(jù)集的總類別數(shù)。召回率能夠更好地評價一個模型針對遙感場景數(shù)據(jù)集的所有類別的分類能力。

3.4 實驗參數(shù)設定

數(shù)據(jù)集被隨機劃分為訓練集和測試集，AID的訓練集占整體的20%和50%，NWPU-RESISC45的訓練集占整體的10%和20%，剩下為測試集。同時為了減少整個網(wǎng)絡的內(nèi)存消耗，所有圖像的分辨率被調(diào)整為224×224。

模型使用DenseCovNet-121，訓練次數(shù)被設定為400次，每經(jīng)過一次訓練進行一次測試，每批次輸入圖像為64張。每張輸入圖像均經(jīng)過數(shù)據(jù)增廣的方式進行擴展，以獲得更好的分類效果，實驗中采用的數(shù)據(jù)增廣方式有：色彩轉(zhuǎn)換、明暗調(diào)節(jié)、對比度調(diào)節(jié)和銳度變化。模型進行了10次測試，取平均值作為最終的分類結(jié)果。本文所有模型均使用GeForce RTX 3090，24 GB顯存的GPU設備。網(wǎng)絡模型的程序使用Pytorch開發(fā)。

3.5 實驗模型表現(xiàn)

本文選取了近幾年用于遙感場景分類中表現(xiàn)較好的CNN算法：CaffeNet,GoogLeNet,D-CNN with VGGNet-16,TEX-TS-Net和DenseNet (with 3D GAP)與本文的DenseCovNet-121模型進行比較。分別針對兩個數(shù)據(jù)集、不同訓練集比例進行實驗，實驗結(jié)果見表2和表3。

表2 AID數(shù)據(jù)集上不同模型召回率比較

對于AID數(shù)據(jù)集，經(jīng)過10次重復實驗后，計算平均召回率以及標準偏差，其中DenseCovNet-121的召回率最高。相比于基于傳統(tǒng)卷積層DenseNet改進的DenseNet (with 3D GAP)，DenseCovNet-121仍有著不錯的提升，這符合前文的分析，即批處理協(xié)方差層通過減少局部特征均值變化的影響來提高分類精度，而這種影響在AID數(shù)據(jù)集中是廣泛存在的。

對于NWPU-RESISC45數(shù)據(jù)集，經(jīng)10次重復實驗后，計算平均召回率以及標準偏差。由表3可知，DenseCovNet-121的召回率最高，與現(xiàn)有表現(xiàn)優(yōu)秀的DenseNet (with 3D GAP)比較仍有優(yōu)勢。這符合前文分析，即CovNN中的批處理協(xié)方差層能有效改善數(shù)據(jù)集中圖像存在的局部特征均值變化影響，同樣這類問題在NWPU-RESISC45數(shù)據(jù)集中是廣泛存在的，也是CNN難以處理的。同時，提高訓練集的比率也有助于提高模型的召回率。

表3 NWPU-RESISC45數(shù)據(jù)集上不同模型召回率比較

4 結(jié) 論

針對衛(wèi)星遙感圖像場景分類中局部區(qū)域光強變化和局部存在無關特征的問題，本文提出了一種使用批處理協(xié)方差層的神經(jīng)網(wǎng)絡(CovNN)模型。該模型能夠?qū)斎霐?shù)據(jù)的局部區(qū)域進行歸一化，從而提高模型的分類精度。本文研究了協(xié)方差對局部特征均值變化影響的消除能力，通過將CNN的卷積層替換為批處理協(xié)方差層，可以將CNN轉(zhuǎn)化為CovNN；描述了CovNN中批處理協(xié)方差層的正傳、反傳和梯度更新細節(jié)。通過遷移學習的方式，引入ImageNet數(shù)據(jù)集作為遙感場景分類數(shù)據(jù)集的補充。通過在典型衛(wèi)星遙感數(shù)據(jù)集AID和NWPU-RESISC45的實驗研究，證明了本文所提方法能夠有效解決遙感場景分類中局部區(qū)域光強變化和局部存在無關特征的問題，從而明顯提高分類精度。