馬澤宇，盧小平

（1.河南理工大學(xué) 測繪與國土信息工程學(xué)院，河南 焦作 454003）

多層感知器分類技術(shù)能夠滿足各行業(yè)不斷增長的遙感服務(wù)需求，適用于需要即時性的居民區(qū)違規(guī)建筑監(jiān)測、裸土施工暴露監(jiān)測、洪淹范圍監(jiān)測，農(nóng)作物耕地面積、棄耕面積監(jiān)測、大型軍事目標識別監(jiān)測等任務(wù)[1-11]。本文擬采用Sklearn[12]機器學(xué)習(xí)包中的多層感知器分類算法，構(gòu)建多于3 層的多層感知器，對焦作Landsat/TM影像的標注數(shù)據(jù)進行學(xué)習(xí)和分類。

1 多層感知器原理及調(diào)參方法

1.1 多層感知器原理

多層感知器的網(wǎng)絡(luò)結(jié)構(gòu)具有如下3 個基本特征：①網(wǎng)絡(luò)中每個神經(jīng)元模型包含一個非線性激活函數(shù)；②網(wǎng)絡(luò)中包含一個或多個隱藏在輸入神經(jīng)節(jié)點之間的層（隱藏層）；③網(wǎng)絡(luò)展示出高度的連續(xù)性，其強度是由網(wǎng)絡(luò)的突觸權(quán)值決定的。

圖1 表示一個具有2 個隱藏層，一個輸出層的全連接多層感知器的拓撲結(jié)構(gòu)圖。其中輸入層具為4 維變量，共3 個隱藏層，每層有4 個神經(jīng)元。輸出層具有3 個神經(jīng)元。每一層的每個神經(jīng)元接受來自前一層神經(jīng)元傳遞過來的輸入信號，通過帶權(quán)值的連接進行傳遞。神經(jīng)元接收到的加總值將與神經(jīng)元的閾值進行比較，然后通過激活函數(shù)的處理以產(chǎn)生神經(jīng)元的輸出。

圖1 具有③個隱藏層的全連接多層感知器網(wǎng)絡(luò)結(jié)構(gòu)圖

正向傳播算法：設(shè)神經(jīng)網(wǎng)絡(luò)有nl層，第l層第j個神經(jīng)元的數(shù)學(xué)模型為：

式中，x(l-1)為前一層（第l-1 層）的輸出向量，也是本層接收的輸入向量；W(l)為本層神經(jīng)元和上一層神經(jīng)元的連接權(quán)重矩陣。設(shè)sl、sl-1 分別是本層、前一層神經(jīng)元數(shù)量，W(l)的每行為本層一個神經(jīng)元與上一層所有神經(jīng)元的權(quán)重向量；b(l)為本層的閾值（也稱偏置向量）；f為激活函數(shù)，分別作用于輸入向量的每一個分量，產(chǎn)生輸出。常用的激活函數(shù)有對稱型sigmoid函數(shù)、雙曲正切tanh函數(shù)、冪函數(shù)、修正線性單元ReLU等。

修正線性單元由于具有線性、非飽和性質(zhì)，能夠節(jié)約計算成本，避免梯度爆炸、梯度消失問題。對于隨機梯度下降算法的收斂有巨大的加速作用，近年來深層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中普遍采用ReLU作為激活函數(shù)[12]。

以3層網(wǎng)絡(luò)為例，神經(jīng)網(wǎng)絡(luò)實現(xiàn)的映射如下形式：

反向傳播算法由Rumel[3]等在1986 年提出，假設(shè)有m個訓(xùn)練樣本(xi,yi)，xi為輸入向量，yi為標簽向量。訓(xùn)練的目的是最小化樣本標簽值與神經(jīng)網(wǎng)絡(luò)預(yù)測值之間的誤差，讓損失函數(shù)的值達到最小。

損失函數(shù)：定義神經(jīng)網(wǎng)絡(luò)的優(yōu)化目標。全連接神經(jīng)網(wǎng)絡(luò)一般使用的損失函數(shù)有歐氏距離（二次損失函數(shù)）:

以及交叉熵函數(shù)（以二分類為例）：

損失函數(shù)近十幾年來相關(guān)的技術(shù)更新有擬合精度的度量新增交叉熵函數(shù)，為避免網(wǎng)絡(luò)過度出現(xiàn)擬合現(xiàn)象，新增正則項以控制懲罰力度。優(yōu)化損失函數(shù)方法引入adam（隨機梯度優(yōu)化算法）。

網(wǎng)絡(luò)訓(xùn)練：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時需要初始化權(quán)重參數(shù)，作為梯度下降算法的起始值。學(xué)習(xí)率是梯度下降算法中梯度的系數(shù)，它決定著參數(shù)的更新速度。多層感知器首先正向從左向右輸入，逼近函數(shù)的因變量正向傳播，然后優(yōu)化損失函數(shù)，誤差反向傳播，反復(fù)迭代。迭代停止條件一般設(shè)置為損失函數(shù)不再下降或達到最大迭代次數(shù)。圖2 顯示以7 通道影像為例，多層感知器影像分類器（MLP）的分類流程。

圖2 多層感知器7通道影像分類流程示意圖

1.2 超參數(shù)調(diào)整方法

超參數(shù)調(diào)參：將各個超參數(shù)取值范圍離散化，組成超參數(shù)網(wǎng)格點集。對隱藏層層數(shù)的細分格點集單獨搜索調(diào)參；或者將MLP隱藏層層數(shù)的細分格點集，與可能敏感超參數(shù)的粗分格點集組合在一起調(diào)參，確定MLP分類器的隱藏層層數(shù)，及MLP分類器的敏感超參數(shù)。隨后給出敏感超參數(shù)的備選空間，采用半隨機超參數(shù)優(yōu)化模型搜索方法調(diào)參。

全網(wǎng)格超參數(shù)搜索策略為對超參數(shù)空間進行分割，計算每一網(wǎng)格點超參數(shù)組合對應(yīng)的模型精度，擇優(yōu)錄用；半網(wǎng)格超優(yōu)化搜索策略為：初始搜索時，在較小的配對訓(xùn)練樣本集上，對所選超參數(shù)的每一格點組合上進行模型訓(xùn)練。選擇較優(yōu)超參數(shù)組合后，依次成倍增加訓(xùn)練用的配對樣本點，并進一步選擇最優(yōu)模型的超參數(shù)組合直至樣本點增大至極限。調(diào)參的速度較全網(wǎng)格搜索大為增加，精度幾乎不降。

當(dāng)超參數(shù)較多、或者超參數(shù)空間分割較細，模型訓(xùn)練緩慢時，會導(dǎo)致計算崩潰。針對此種情況可以采用半隨機網(wǎng)格優(yōu)化超參數(shù)組合搜索方法：每個超參數(shù)組合，對應(yīng)一個分類器。第一輪迭代，采用較少的訓(xùn)練樣本，全部估計器參與性能評估。第二輪迭代，在超參數(shù)的半網(wǎng)格空間中隨機選取指定數(shù)量的性能最估計器，并將訓(xùn)練樣本數(shù)量加倍。依次迭代下去，直至全部訓(xùn)練樣本用來訓(xùn)練估計器。評估性能最優(yōu)估計器，得到超參數(shù)最優(yōu)組合[13-15]。

1.3 集成學(xué)習(xí)

集成學(xué)習(xí)（ensemble learning）通過組合多個學(xué)習(xí)器來完成學(xué)習(xí)任務(wù)，有時也被稱為多分類器系統(tǒng)（multi-classifier system）、基于委員會的學(xué)習(xí)（committee-based learning）等。集成方法通常優(yōu)于最佳的單一模型。特別是當(dāng)單一模型會產(chǎn)生嚴重的不同類型的錯誤時更是如此。投票分類器是一種常用的集成方法，聚合每個分類器的預(yù)測，將得票最多的結(jié)果作為預(yù)測類別[16]。

2 實驗與分析

實驗區(qū)焦作市區(qū)的北面為山脈（青龍峽景區(qū)）余三面皆為農(nóng)田，武陟縣位于焦作的東南方向，修武縣則位于焦作市的正東方向，獲嘉縣毗鄰修武縣也位于焦作市的東方，博愛縣在焦作市的正西方向。實驗采用ENVI 5.3作為數(shù)據(jù)預(yù)處理和后處理軟件。在Python環(huán)境下，利用scikit-kearn建立MLP分類器，對2020-03-19焦作地區(qū)Landsat8影像在進行了快速大氣校正后進行土地資源利用情況進行土地資源分類，研究少量興趣區(qū)訓(xùn)練得出的MLP分類器的精度和訓(xùn)練速度等特性。

Landsat8 一共有10 個波段，具體參數(shù)見表1?？紤]到全色波段與3個以上波段融合時效果較差，B9波段不適合用于土地分類，B10、B11 波段空間分辨率過低，因此選取表1 中B1-B7 共7 個波段波段作為研究對象。

表1 Landsat8影像波段表

興趣區(qū)選取water,crop,bare,forest,mountain, factory,residential road，8 個種類，共9 508 個。除mountain,forest受到地形的限制，選取固定區(qū)域內(nèi)的相應(yīng)點，其余五類均在保證隨機性原則的前提下盡量從影像多個不同的區(qū)域中選取。

所選興趣區(qū)一部分用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練，另一部分用于驗證模型學(xué)習(xí)效果，其余部分用于測試優(yōu)化模型的預(yù)測精度。

以上為數(shù)據(jù)的預(yù)處理步驟，以下4 個實驗所建立的神經(jīng)網(wǎng)絡(luò)分類器均為多層感知器（MLP）。

2.1 實驗I7通道MLP分類器

將興趣區(qū)在表1 中的前7 個波段數(shù)據(jù)作為多層感知器的7 維輸入變量，類別作為多層感知器的輸出變量。將導(dǎo)入的9 058個興趣區(qū)數(shù)據(jù)點隨機拆分，訓(xùn)練數(shù)據(jù)、驗證數(shù)據(jù)和測試數(shù)據(jù)的比例為0.7∶0.15∶0.15。

建立多層感知器，對隱藏層大小，容忍度，學(xué)習(xí)率等超參數(shù)的初始值進行定義。導(dǎo)入興趣區(qū)數(shù)據(jù)集，利用網(wǎng)格搜索法搜索MLP 分類器合適的隱藏層層數(shù)；半網(wǎng)格搜索法搜索敏感超參數(shù)（容忍度，學(xué)習(xí)率的初始值，一階指數(shù)衰減率等）；半隨機網(wǎng)格搜索法搜索優(yōu)化的超參數(shù)組合。得到的最優(yōu)超參數(shù)組合為：隱藏層層數(shù)為7，隨機種子為5，最優(yōu)求解器為adam方法，訓(xùn)練集，驗證集，測試集的最優(yōu)分割比為0.7∶0.15∶0.15，adam 一階矩向量的指數(shù)衰減率為0.81，初始學(xué)習(xí)率為6.95e-4，容忍度為1e-7。為節(jié)約建模時間，后面3 個實驗均使用此超參數(shù)組合。得到精度為94.39%的MLP 分類器。該MLP 分類器的總訓(xùn)練時間為3.7 s，最終分類結(jié)果如圖3所示。

圖3 實驗I分類結(jié)果前后對比圖

2.2 實驗II 13通道MLP分類器

為提高分類器的精度，嘗試將地物點的地理方位信息加入到輸入變量中一同訓(xùn)練。

ENVI中可以利用ROI工具保存選取的興趣區(qū)的地理信息，實驗將各點在其像片中的位置和實際地理位置及經(jīng)緯度加入到輸入數(shù)據(jù)一同訓(xùn)練時，得到精度為100%的分類器，該MLP分類器的總訓(xùn)練時間為4.6 s，分類結(jié)果如圖4所示。

圖4 實驗II分類結(jié)果前后對比圖

2.3 實驗III兩步MLP分類器

為提高分類器對居民地和道路2 種地物類別的區(qū)分能力，嘗試增加道路類、居民區(qū)類訓(xùn)練樣本并單獨訓(xùn)練二分類MLP分類器，區(qū)分道路和居民區(qū)的子分類器2種方法以提高的相應(yīng)性能。

訓(xùn)練兩步分類器時，先將居民區(qū)（residential）、道路（road）歸為一類，訓(xùn)練第一個MLP 分類器。居民區(qū)，道路在該分類器內(nèi)統(tǒng)一歸為其他類。

使用新增的居民區(qū)的興趣區(qū)樣本（新增2 626個）和道路的樣本（新增775 個，從圖像中的各個地區(qū)隨機選?。﹩为氂?xùn)練第二個分類器。然后將2 個分類器的結(jié)果組合出最終結(jié)果。結(jié)果顯示兩步分類器識別出的城區(qū)、道路兩類的地物點總量明顯增加，兩步分類器精度有所上升。

實驗結(jié)果中第一個分類器的預(yù)測精度達到98.12%，第二個分類器細化調(diào)參前的預(yù)測精度為82.36%，細化調(diào)參后的預(yù)測精度達到86.95%。兩步MLP 分類器的總訓(xùn)練時間為3.56 s。將分類結(jié)果導(dǎo)入的ENVI中顯示，結(jié)果如圖5所示。

圖5 實驗III分類結(jié)果前后對比圖

2.4 實驗IV集成學(xué)習(xí)——投票分類器

嘗試設(shè)計一種將道路敏感分類器，居民區(qū)敏感分類器和道路居民區(qū)相似敏感分類器進行統(tǒng)籌決策的投票器，以得到更精確的分類結(jié)果。

將新選取的興趣區(qū)分批次加入輸入數(shù)據(jù)集：單獨將實驗III新增的道路類興趣區(qū)加入到輸入數(shù)據(jù)集進行訓(xùn)練，得到道路類地物敏感的MLP分類器。單獨將實驗III新增的居民區(qū)類興趣區(qū)加入到輸入數(shù)據(jù)集進行訓(xùn)練，得到道路分類敏感的MLP 分類器。將實驗III 中全部的新增興趣區(qū)加入到輸入變量進項訓(xùn)練，得到兩者兼顧的MLP分類器。

三者同時對圖像進行分類后，建立硬投票策略(少數(shù)服從多數(shù))的投票決策器，對3個分類器的結(jié)果綜合考慮，得出最終分類結(jié)果。

訓(xùn)練后得到的道路敏感的分類器分類精度為96.90%，居民區(qū)敏感的分類器的分類精度為96.44%，道路居民區(qū)敏感度相似的分類器分類精度為96.61%。3個分類器總訓(xùn)練時間為10.88 s，分類結(jié)果如圖6所示。

圖6 實驗IV分類結(jié)果前后對比圖

選取精度檢驗專用的興趣點，計算各個分類器的整體精度和kappa 系數(shù)。并使用其他常見監(jiān)督分類算法，使用與實驗相同的興趣點進行訓(xùn)練和分類。實驗的分析階段對各個算法進行比較。

2.5 實驗結(jié)果分析

各個分類器與其他流行的算法得出的結(jié)果的整體精度和kappa系數(shù)如表2所示。

表2 各分類器的精度與kappa系數(shù)

實驗一得到的MLP分類器具有較高的精度和較快的訓(xùn)練速度。分類結(jié)果與原圖像對比，道路和居民區(qū)兩類地物之間有較大混淆。農(nóng)村地區(qū)的鄉(xiāng)道多被識別為居民地或是耕地，一些地區(qū)的居民區(qū)區(qū)域被分為道路，盤山公路多被識別為居民區(qū)。

實驗二得到的13 通道MLP 分類器雖然在測試集上預(yù)測精度非常高，但對影像的分類結(jié)果與原影像對比具有明顯的錯誤。分析認為這種現(xiàn)象是受到與地物類別無關(guān)的地理位置信息的影響導(dǎo)致的。

實驗三單獨訓(xùn)練子分類器以便細分超參數(shù)搜索格點，增大搜索范圍，有助于尋找更優(yōu)的超參數(shù)組合。實驗得到的兩步MLP分類器的分類結(jié)果與實驗一的結(jié)果相近，沒有明顯的提升。分析認為分類結(jié)果的質(zhì)量與投入的計算資源呈弱正相關(guān)。該兩步分類器對居民區(qū)更為敏感，部分道路類地物被誤分為居民區(qū)。

實驗四得到的集成MLP分類器通過簡單的決策方式將3種地物識別敏感方向不同的MLP分類器集成學(xué)習(xí)，分類結(jié)果明顯優(yōu)于實驗一。焦作的居民區(qū)類地物分辨良好，基本無誤分，市區(qū)內(nèi)南部主干道輪廓明顯，北部較寬街道可見輪廓，耕地地區(qū)的小路相較之前的分類器清晰可見其輪廓，盤山公路識別效果有所提升但仍不理想。

最大似然和最小馬氏距離是較為成熟的分類算法，其算法簡單，易于實現(xiàn)。但高度依賴興趣區(qū)的選取，且精度較低，2種算法的分類結(jié)果均有明顯誤差。

隨機森林的分類方法有著快速，高精度的特點。實驗結(jié)果表明，訓(xùn)練用興趣區(qū)附近的分類效果較好，而其他地區(qū)的分類效果較差。支持向量機的分類方法具有較強的泛化能力，但是用SVM 解決多分類問題存在困難。從實驗結(jié)果來看，支持向量機在分辨難度較高的居民區(qū)類和道路類地物的分辨中產(chǎn)生了較多的誤差。

綜上4 個實驗可以得出結(jié)論：較高精度的分類器會由于興趣區(qū)選擇的局限性而使其分類結(jié)果與目視解譯結(jié)果具有較大差異。地物的地理信息與地物類別無關(guān)，興趣區(qū)的增加、提高超參數(shù)搜索網(wǎng)格的精度均可以提高分類器的精度，集成學(xué)習(xí)則可以綜合敏感方向不同的分類器的優(yōu)點，得到較為理想的分類結(jié)果。

3 結(jié) 語

多層感知器分類器作為小型的深度神經(jīng)網(wǎng)絡(luò)，具有快速、簡單的特點。通過研究興趣區(qū)的數(shù)量、地物地理方位信息、集成學(xué)習(xí)對多層感知器分類精度的影響，得到在犧牲一定計算速度的情況下，分類效果良好，綜合道路敏感、居民區(qū)敏感和居民區(qū)道路相似敏感分類器優(yōu)勢的集成多層感知器?，F(xiàn)階段的MLP分類器具有需要人工選擇區(qū)域內(nèi)興趣區(qū)的局限性，需進一步優(yōu)化。