王研， 段琳琳， 楊玲

摘? 要： 在對遙感影像進行分類識別處理時，深度學習技術容易陷于局部最優(yōu)，模型參數(shù)往往需要手動調整。提出一種基于模擬退火算法的自適應學習率方法，并建立層疊去噪自動編碼器模型。給模型添加一定學習率比例，以實現(xiàn)學習率在迭代中自動改變。通過對比實驗以及曲面擬合方法，驗證了該方法的有效性、實用性和可靠性。該方法能自動調整學習率參數(shù)且能夠避免局部最優(yōu)解，分類精度和效率均有所提高。

關鍵詞： 模擬退火算法; 分類; 自適應; 學習率; 層疊去噪自動編碼器

中圖分類號：TP751? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）06-27-05

A remote sensing image classification method based on adaptive learning rate

Wang Yan1， Duan Linlin2， Yang Ling1

（1. Henan University， Kaifeng， Henan 475004， China; 2. No.1 Senior High School of Xiangcheng）

Abstract： When classifying and identifying remote sensing images， deep learning technologies are easy to fall into a local optimum， and model parameters are often adjusted manually. In this paper， a method of adaptive learning rate based on simulated annealing algorithm is proposed， and a stacked denoising auto encoder model is constructed. The learning rate is given a proportion so that it can change automatically in the iteration. The effectiveness， practicability and reliability of above algorithm are verified through comparative experiments and surface fitting methods. The results indicate that the proposed method can automatically adjust the learning rate and avoid local optimal solutions， which improves the classification accuracy and efficiency.

Key words： simulated annealing algorithm; classification; adaptive; learning rate; stacked denoising auto encoder

0 引言

在遙感影像分類領域，模型構建和參數(shù)取值對實驗結果有著很大影響。想要深入學習遙感影像特征，就需要依靠不時改變模型參數(shù)值來滿足[1]。

參數(shù)自適應方法的研究在一些領域內已有顯著成效，如米龍[2]將自適應調整算法用于改善紅豆的篩選分類結果;Shrestha等人[3]應用以權值收斂準則為基礎的自適應方法，顯著提高了收斂速度;楊德州等人[4]為解決訓練速度較慢的問題，建立了結合自適應學習率方法的光熱電場DNI預測模型;馬偉昌[5]在深度堆疊網(wǎng)絡的訓練算法中引用自適應學習率思想，改進了腦電信號識別方法。

在遙感影像處理領域，目前大多數(shù)研究依舊采用手動調整模型參數(shù)的方式，如宋廷強等人[6]根據(jù)訓練收斂速度，手動調整AA-SegNet網(wǎng)絡模型的學習率;雒培磊等人[7]應用超參數(shù)人工調優(yōu)的方式提高影像配準和拼接精度;朱友君[8]使用手動調節(jié)超參數(shù)的方式進行城市影像道路分割模型訓練;鄭重等人[9]通過大量實驗得到合適的地面塌陷識別參數(shù)。雖然均取得了較好成果，但過程耗時耗力。因此面對遙感影像特征復雜的現(xiàn)狀，本文以研究較少、結構簡單、能夠進行特征自動提取的自動編碼器（Auto encoder，AE）[10]為研究基礎，基于模擬退火算法并結合層疊去噪自動編碼器模型，提出一種方便可行的學習率自適應方法，以適應學習過程中不斷變化的狀況，跳出局部最優(yōu)解，進一步改善分類識別的精度和效率。

1 數(shù)據(jù)

本文實驗數(shù)據(jù)來源于數(shù)據(jù)集AID（Aerial image dataset），選擇其中部分內容作為實驗數(shù)據(jù)，以降低復雜度[11-13]。具體為：①抽選七類地物，其中二類的數(shù)量為收錄總量，其余五類的樣本數(shù)量均為100個;②用于訓練和測試的樣本各585個。表1為整體樣本信息。

影像尺寸過大，將導致數(shù)據(jù)復雜度增大，處理效率低。參考以往研究[14]、結合實驗設施性能，修改樣本尺寸大小為28pixel×28pixel。并使用最大最小值歸一化方法（Min-Max normalization，MMN）對影像數(shù)據(jù)進行預處理，從而減小數(shù)值之間差異[15]。另外，為了降低挑戰(zhàn)性，先前的分類研究中[16，17]大多均衡設置每個類別的樣本量，在本文中，每個類別的樣本量并不均衡，可以很好的驗證實驗方法的有效性。

2 學習率自適應模型

2.1 層疊去噪自動編碼器

層疊去噪自動編碼器（Stacked denoising auto encoder，SDAE），由能夠從注入噪聲的數(shù)據(jù)中重構出無噪聲數(shù)據(jù)的去噪自動編碼器（Denoising auto encoder，DAE）層疊構成，只需在其頂層加上分類器即可實現(xiàn)分類功能，圖1為其結構模型圖。

本文選用魯棒性較好的層疊去噪自動編碼器（SDAE）為主要模型，訓練過程主要分兩個階段。

⑴ 預訓練階段：運用逐層貪婪算法進行無監(jiān)督訓練。依據(jù)樣本和SDAE結構的特點，分別設置各層DAE的參數(shù)值。之后，導入樣本數(shù)據(jù)進行第一個DAE的訓練，然后將結果向下一級傳遞并重復訓練過程，各層DAE都完成訓練后結束。

⑵ 微調階段：預訓練完成后，對整體模型做反向調優(yōu)，以此微調模型參數(shù)。

2.2 模擬退火算法

模擬退火算法（Simulated annealing，SA），一種結合概率突跳特性的隨機尋優(yōu)算法[18，19]。基本思想為：按照Metropolis準則判斷物體從狀態(tài)[A]進入[B]時，是否保持[B]為當前狀態(tài)。設狀態(tài)[A]、[B]下的能量分別為：[EA]、[EB]。

⑴ [EB≤EA]，則接受狀態(tài)向[B]的移動（能量最低的狀態(tài)對應于最優(yōu)解）。

⑵ [EB>EA]，則以概率[PAB]接受[B]為當前狀態(tài)。

[PAB=exp?EKT]? ⑴

其中[?E]表示能量差，[K]表示Boltzmann常數(shù)，[T]表示溫度。

2.3 基于模擬退火算法的學習率自適應方法

本文基于模擬退火算法并結合SDAE模型提出的學習率自適應方法，主要過程如下。

⑴ 構建并初始化SDAE模型。依據(jù)參考文獻[20]將各層的單元數(shù)設置為：2352-2276-588-284-7。

⑵ 設迭代次數(shù)為[x]，學習率為[εx]。目標函數(shù)如式⑵所示。

[L=1mi=1mJai，li+λ2Ni=1Wi2]? ⑵

其中[ai]和[li]分別為含噪數(shù)據(jù)的輸入與重構信息，[Jai，li]表示[ai]與[li]之間的誤差絕對值，[λ]為正則系數(shù)，[Wi]為權值矩陣。

⑶ 設學習率比例為[R]，根據(jù)目標函數(shù)判斷學習率取值。若[Lx+1≤Lx]，則保留[εx+1]作為當前學習率;若[Lx+1>Lx]，則以[R?εx+1]作為當前學習率。

⑷ 判斷學習能否結束。若已達到終止條件，則停止學習;否則，依據(jù)條件循環(huán)上述步驟。這一過程有兩個依據(jù)：達到迭代上限或者得到所需精度時[21]。本文選用前者作為判斷條件以獲得實驗所能達到的最高精度。

根據(jù)該方法進行學習時，權值矩陣[W]和偏置量[b]的更新依據(jù)分別為：

[?W'n=κ??Wn+ε?Q?L?Wn]? ⑶

[?b'n=?bn+ε?Q?L?bn]? ?⑷

其中[κ]表示權值動量，[Q?L?Wn]、[Q?L?bn]分別表示[W]和[b]的偏導數(shù)均值。

3 實驗結果與分析

使用AID航空圖像數(shù)據(jù)集實驗以證實所提算法的有效性。此外，使用基于曲面擬合的方法驗證其分類結果的可靠性。

3.1 結果與分析

本文模型采用固定其他參數(shù)不變，分別變動加噪率、正則項和動量項的方法，依據(jù)參數(shù)最優(yōu)原則得出相應的最優(yōu)參數(shù)值分別為加噪率0.95、[L2]正則項0.1、動量項0.7，進而改變學習率取值以得到最佳實驗效果。為避免學習率取值過大導致無法收斂，故根據(jù)彈性間隔變動對學習率取0.01，0.05，0.1至0.9共11個取值。

添加自適應模型（方法1）與未添加學習率比例（方法2）的實驗結果如圖2所示。

觀察圖2可知：學習率在0.3處時，方法2的分類精度已經(jīng)達到最高，為82.05%，而在0.01處時，方法1達到最高精度，為98.97%。這說明學習率自適應方法能跳出局部最優(yōu)解。

實驗結果所對應的評價指標數(shù)據(jù)見表2、表3。

由表2、表3可知：

⑴ 方法1相較于方法2，Kappa系數(shù)提高了0.2146，整體分類精度（OA）提高了0.1692;

⑵ 添加自適應方法的實驗中，各類的生產精度（PA）與用戶精度（UA）也均有所提高，其中海灘的PA值增加了50%，教堂的UA值增加了39.31%。

圖3是在學習率為0.01的情況下，更改學習率比例得到的分類精度圖。

從圖3中可以看出，學習率比例取值0.01、0.05和0.1時，精度均是最大值98.97%。

本文計算機系統(tǒng)為Windows7（64Bit），4核，CPU 2.21GHZ，RAM 4GB;所使用軟件為Matlab（R2016a）。選取學習比例為0.1，進行自適應和手動賦予這兩種方法的實驗耗時對比。結果表明：當采用手動添加時，所用時間為1948.24s;運用學習率自適應方法時僅耗時1356.80s。說明自適應方法能夠明顯提高分類實驗效率。

綜合上述實驗結果可以看出，將本文方法應用到遙感影像分類實驗中，能夠避免陷入局部最優(yōu)陷阱、緩解手動操作效率低的狀況，提高分類精度，縮減實驗時長。

3.2 基于曲面擬合的精度驗證

最小二乘算法（Least Square Algorithm，LS）[22]能夠解出具有最優(yōu)參數(shù)的擬合曲線，使得各數(shù)據(jù)點與該曲線之間的距離和值達到最小。此外，依據(jù)相同的原理，LS還能夠處理最優(yōu)函數(shù)匹配問題。

設所擬合的曲面模型為：

[f=a1+a2x21+a3x22+a4x1x2+a5x1+a6x2ω]? ⑸

其中[x1]為學習率，[x2]為學習率比例，[y]為結果精度，[ai]為系數(shù)，[ω]為隨機誤差項。

由[x1]、[x2]、[y]構成的三維空間點與擬合曲面之間的距離和值達到最小，便是本文需要求得目標函數(shù)的本質。由此能夠驗證實驗結果的可靠性。三維空間點的形式可以表示為[x11，x21，y1，x12，x22，y2，…，x1i，x2i，yi]。實驗中根據(jù)空間點可求得：

[f=-0.1313-0.9117x21+0.3991x22- 0.2919x1x2]? ? ? ? ?[+1.8006x1-0.0582x2] ⑹

空間點與函數(shù)⑹之間的距離和值最小，就意味著結果誤差達到了最小值。圖4為可視化模型。

表4展示了空間點能夠擬合的幾個模型。其中F值（統(tǒng)計量觀測值）和R2（可決系數(shù)）越大，p值和σ（誤差方差估計值）越小，代表模型擬合效果越佳，具有較高的合理性。表中所展示函數(shù)模型的R2均大于0.6，P值均小于0.05，意味著這些模型都適用于上述空間點的擬合，證明了實驗結果的可靠性及研究方法的科學性。模型⑹的R2最高，σ值最小，故其擬合效果最好。

4 結束語

在遙感影像分類研究中，深度學習技術的應用在不斷進步的同時也遇到了一些阻礙。本文參考已有研究，提出一種結合模擬退火算法的自適應學習率方法，旨在研究中跳出局部最優(yōu)、實現(xiàn)自動調參。采用AID數(shù)據(jù)集進行實驗，結果證明了本文所提的自適應學習率計算方法能有助于更深層的學習影像特征，提高分類精度，學習效率也較高，能有效解決以往算法中的陷入局部最優(yōu)和需要手動調參等問題。下一步研究工作的重點是增加實驗的數(shù)據(jù)量，并增加分類類別以驗證本文算法的泛化性能。

參考文獻（References）：

[1] 段琳琳.基于深度學習的遙感影像分類研究[D]. 河南：河南大學，2018

[2] 米龍.自適應深度學習算法在目標分類問題中的應用[D].沈陽：東北大學，2014

[3] SHRESTHA S B， SONG Q. Weight convergence of SpikeProp and adaptive learning rate： Communication， Control， & Computing[C]， Fifty-first Annual Allerton Conference Allerton House： IEEE，2014

[4] 楊德州，李錦鍵，呂金歷，等.基于改進CNN的光熱電場太陽直接法向輻射預測研究[J].可再生能源，2021，39（2）：182-188

[5] 馬偉昌.基于自適應學習率深度堆疊網(wǎng)絡的腦電信號識別方法研究[D].重慶：重慶郵電大學，2020

[6] 宋廷強，李繼旭，張信耶.基于深度學習的高分辨率遙感圖像建筑物識別[J].計算機工程與應用，2020，56（8）：26-34

[7] 雒培磊，李國慶，曾怡.一種改進的基于深度學習的遙感影像拼接方法[J].計算機工程與應用，2017，53（20）：180-186

[8] 朱友君.基于卷積神經(jīng)網(wǎng)絡的城市遙感影像道路分割[D].成都：電子科技大學，2019

[9] 鄭重，張敬東，杜建華.基于深度學習的遙感圖像中地面塌陷識別方法研究[J].現(xiàn)代商貿工業(yè)，2017（35）： 189-192

[10] RIFAI S， VINCENT P， MULLER X， et al. Contractive Auto-Encoders： Explicit Invariance During Feature Extraction： Proceedings of the 28 th International Conference on Machine Learning[C]： ICML，2011

[11] SHAO W， YANG W， XIA G S， et al. A Hierarchical Scheme of Multiple Feature Fusion for High-Resolution Satellite Scene Categorization： Proceedings of the 9th international conference on Computer Vision Systems[C]：ICVS，2013

[12] ZHOU W， SHAO Z， DIAO C， et al. High-resolution remote-sensing imagery retrieval using sparse features by auto-encoder[J]. Remote Sensing Letters， 2015，6（10-12）：775-783

[13] YANG W， YIN X， XIA G. Learning High-level Features for Satellite Image Classification With Limited Labeled Samples[J]. Transactions on Geoscience and Remote Sensing，2015，53（8）：4472-4482

[14] 柳振東.卷積神經(jīng)網(wǎng)絡在圖像分類中的研究與應用[D].天津：中國民航大學，2017

[15] 湯榮志.數(shù)據(jù)歸一化方法對提升SVM訓練效率的研究[D].濟南：山東師范大學，2017

[16] QU B， LI X L， TAO D C， et al. Deep semantic understanding of high resolution remote sensing image： International Conference on Computer[C]： IEEE，2016

[17] HU F， XIA G， HU J， et al. Transferring Deep Convolutional Neural Networks for the Scene Classification of High-Resolution Remote Sensing Imagery[J].Remote sensing （Basel， Switzerland），2015，7（11）：14680-14707

[18] 江麗.基于粒子群與模擬退火算法的BP網(wǎng)絡學習方法研究[D].合肥：安徽大學，2013

[19] 陳國飛.基于模擬退火的粒子群算法的函數(shù)優(yōu)化研究[D].長沙：中南大學，2013

[20] 劉祖瑾，楊玲，劉祖涵，等.一種結合深度置信網(wǎng)絡與最優(yōu)尺度的植被提取方法[J].激光與光電子學進展，2018，55（2）：158-167

[21] 滿鳳環(huán)，陳秀宏，何佳佳.一種基于模擬退火算法改進的卷積神經(jīng)網(wǎng)絡[J].微電子學與計算機，2017，34（9）：58-62

[22] 張雪峰.最小二乘與最小二乘支撐向量機[D].成都：電子科技大學，2007