王明常，張馨月，張旭晴，王鳳艷，牛雪峰，王 紅

1.吉林大學(xué)地球探測(cè)科學(xué)與技術(shù)學(xué)院，長(zhǎng)春 130026 2.湖北大學(xué)資源環(huán)境學(xué)院，武漢 430062 3.國(guó)土資源部城市土地資源監(jiān)測(cè)與仿真重點(diǎn)實(shí)驗(yàn)室，廣東 深圳 518000

0 引言

在大數(shù)據(jù)時(shí)代下，遙感數(shù)據(jù)獲取方法不斷豐富，信息提取技術(shù)高速發(fā)展，單一的遙感數(shù)據(jù)處理方法已經(jīng)無(wú)法滿足各類遙感數(shù)據(jù)的處理需求。另一方面，高分辨率和多光譜影像的大數(shù)據(jù)量促使傳統(tǒng)遙感圖像處理方法尋求機(jī)器學(xué)習(xí)方法的輔助。同時(shí)，準(zhǔn)確的遙感圖像分類可在礦產(chǎn)資源開(kāi)發(fā)現(xiàn)狀調(diào)查與監(jiān)測(cè)[1]等多方面發(fā)揮至關(guān)重要的作用。針對(duì)多數(shù)機(jī)器算法需要進(jìn)行多次迭代，會(huì)造成過(guò)擬合與訓(xùn)練時(shí)間過(guò)長(zhǎng)等問(wèn)題，Hinton等[2]提出了Dropout思想，在訓(xùn)練期間從神經(jīng)網(wǎng)絡(luò)中隨機(jī)放棄一些節(jié)點(diǎn)，防止出現(xiàn)過(guò)度適應(yīng)樣本，從而減低過(guò)擬合現(xiàn)象發(fā)生的概率；黃廣斌等[3]提出極限學(xué)習(xí)機(jī)算法，用線性問(wèn)題解決復(fù)雜的非線性關(guān)系，大幅度提高了算法訓(xùn)練速度；隨后，黃廣斌及其團(tuán)隊(duì)持續(xù)對(duì)極限學(xué)習(xí)機(jī)進(jìn)行了深入的改進(jìn)研究[4-7]。同時(shí)，許多國(guó)內(nèi)外學(xué)者也對(duì)極限學(xué)習(xí)機(jī)進(jìn)行了不斷的改進(jìn)與深入研究。王士同等[8]在極限學(xué)習(xí)機(jī)算法的基礎(chǔ)上提出了多層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的最小學(xué)習(xí)機(jī)算法；鄧萬(wàn)宇等[9]考慮到了樣本值的不同會(huì)對(duì)結(jié)果造成不同等級(jí)的影響，改進(jìn)了加權(quán)極限學(xué)習(xí)機(jī)算法；王杰等[10]將極限學(xué)習(xí)機(jī)與粒子群算法相結(jié)合，利用粒子群算法計(jì)算出最優(yōu)權(quán)值，再賦值給極限學(xué)習(xí)機(jī)進(jìn)行計(jì)算。實(shí)現(xiàn)高空間分辨率遙感圖像高效快速分類已成為遙感圖像領(lǐng)域的重要問(wèn)題，將傳統(tǒng)遙感圖像分類處理方法與機(jī)器學(xué)習(xí)方法相結(jié)合是高空間分辨率遙感數(shù)據(jù)處理的熱門(mén)研究方向。

GF-2衛(wèi)星作為我國(guó)自主研發(fā)的分辨率最高的民用光學(xué)遙感衛(wèi)星，有效地提升了我國(guó)衛(wèi)星綜合觀測(cè)效能，并且使之達(dá)到國(guó)際先進(jìn)水平。本文基于極限學(xué)習(xí)機(jī)理論，選取實(shí)驗(yàn)樣本進(jìn)行訓(xùn)練，對(duì)GF-2影像進(jìn)行地物分類；并將極限學(xué)習(xí)機(jī)算法與支持向量機(jī)算法和最大似然法進(jìn)行對(duì)比，以驗(yàn)證極限學(xué)習(xí)機(jī)算法能否取得較好的分類效果，實(shí)現(xiàn)對(duì)遙感影像的準(zhǔn)確分類。

1 極限學(xué)習(xí)機(jī)分類原理

為提高神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的學(xué)習(xí)速度，極限學(xué)習(xí)機(jī)算法將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問(wèn)題轉(zhuǎn)化為解線性方程組的問(wèn)題，訓(xùn)練前只需設(shè)置合適的隱含層節(jié)點(diǎn)數(shù)和激活函數(shù)，然后為輸入權(quán)值和隱含層偏差量進(jìn)行隨機(jī)賦值，最后引入矩陣廣義逆的思想且通過(guò)最小二乘法獲得輸出權(quán)值。整個(gè)訓(xùn)練過(guò)程快速簡(jiǎn)單，無(wú)需繁瑣的迭代和調(diào)整參數(shù)，且具有良好的全局搜索能力，因此極限學(xué)習(xí)機(jī)在回歸、分類和預(yù)測(cè)等領(lǐng)域得到了廣泛應(yīng)用。其基本原理如下[11]。

對(duì)于N個(gè)任意不相同的樣本(xi,yi)(i=1, 2, …,N)：

xi=[xi1,xi2,xi3,…,xin]T∈Rn，

(1)

yi=[yi1,yi2,yi3,…,yim]T∈Rm。

(2)

則具有L個(gè)隱神經(jīng)元、激勵(lì)函數(shù)為G(x)的極限學(xué)習(xí)機(jī)(extreme learning machine, ELM)輸出可以表示為

al∈Rn,βl∈Rm,i=1, 2, …,N。

(3)

式中：al=(al1,al2,al3,…,aln)T是輸入到第l個(gè)隱神經(jīng)元的輸入權(quán)重向量；bl是第l個(gè)隱神經(jīng)元的偏置；βl=[βl1,βl2,βl3,…,βlm]是連接第l個(gè)隱神經(jīng)元的輸出權(quán)值；al·xi表示向量al與xi的內(nèi)積。參數(shù)al、bl隨機(jī)產(chǎn)生，本文中激勵(lì)函數(shù)設(shè)置為Sigmoid函數(shù)。

如果這個(gè)含有L個(gè)隱神經(jīng)元的神經(jīng)網(wǎng)絡(luò)能以零誤差逼近樣本(xi,yi)(i=1, 2, …,N)，則存在al、bl、βl，使

yi,xi∈Rn,al∈Rn,βl∈Rm。

(4)

將式(4)簡(jiǎn)化為

Hβ=Y。

(5)

式中：β為βl組成的矩陣；Y為樣本中yi組成的矩陣；H被稱為隱藏層輸出矩陣，即

(6)

式中：H11=G(a1·x1+b1)，H12=G(a2·x1+b2)，H1L=G(aL·x1+bL)，H21=G(a1·x2+b1)，H22=G(a2·x2+b2)，H2L=G(aL·x2+bL)，HN1=G(a1·xN+b1)，HN2=G(a2·xN+b2)，HNL=G(aL·xN+bL)。

由此，輸出層參數(shù)β可以由式(5)的極小2-范數(shù)最小二乘解得：

β=H+Y。

(7)

式中，H+為H的Moore-Penrose廣義逆[12]。

極限學(xué)習(xí)機(jī)算法的圖像分類基本流程為[13]：

1)在圖像中選取54個(gè)特征區(qū)域作為訓(xùn)練樣本，對(duì)應(yīng)54個(gè)類別，并設(shè)置激活函數(shù)G(x)及隱含層個(gè)數(shù)L。

2)隨機(jī)賦值al及bl，得到H。

3)根據(jù)式(7)計(jì)算輸出層參數(shù)β。

4)最后將圖像進(jìn)行初步分類，將所得54類進(jìn)行同種地物的合并，完成最終分類。

2 研究區(qū)域及遙感數(shù)據(jù)

2.1 研究數(shù)據(jù)及區(qū)域介紹

本文選取吉林省長(zhǎng)春市卡倫湖水庫(kù)附近區(qū)域作為分類的研究區(qū)(圖1)。以GF-2衛(wèi)星0.8 m全色及3.2 m多光譜分辨率影像作為基礎(chǔ)數(shù)據(jù)源，將預(yù)處理后的影像重采樣為1-m全色及4-m多光譜分辨率影像；基于圖像特征采用scale invariant features transform算法進(jìn)行圖像配準(zhǔn)[14]，再通過(guò)NNDiffuse Pan Sharpening方法將兩幅影像進(jìn)行融合，將融合后(5 705像素×4 575像素)影像作為研究區(qū)地物分類的原始圖像(圖1)。由圖1可以看出，該區(qū)域內(nèi)主要為耕地，東部有大面積水域，工業(yè)倉(cāng)儲(chǔ)用地較為集中，住宅用地零散分布在耕地中，林地大致分布在水域周邊及道路兩旁，地物較為豐富且具有代表性。

圖1 研究區(qū)影像圖Fig.1 Image of the study area

2.2 實(shí)驗(yàn)訓(xùn)練樣本選取

實(shí)驗(yàn)過(guò)程中，首先對(duì)分類原數(shù)據(jù)進(jìn)行線性拉伸，以達(dá)到圖像增強(qiáng)的目的；然后，根據(jù)試驗(yàn)區(qū)的實(shí)際地物類型，將試驗(yàn)區(qū)分為6類地物，按照不同地物形狀、面積等特征，提取每類地物適當(dāng)大小的特征區(qū)域作為訓(xùn)練樣本。所有54個(gè)訓(xùn)練樣本(表1)均勻分布在研究區(qū)域內(nèi)，其中水域8個(gè)，交通運(yùn)輸用地16個(gè)，住宅用地6個(gè)，工業(yè)倉(cāng)儲(chǔ)用地9個(gè)，耕地6個(gè)，林地9個(gè)。

3 GF-2遙感圖像分類結(jié)果及分析

將水域、交通運(yùn)輸用地、住宅用地、工業(yè)倉(cāng)儲(chǔ)用地、耕地、林地6類樣本分別采用極限學(xué)習(xí)機(jī)、支持向量機(jī)和最大似然3種監(jiān)督分類方法進(jìn)行圖像分類，運(yùn)行環(huán)境Intel(R) core(TM)i5-3 210 M，運(yùn)行內(nèi)存6 GB，顯卡Nvidia GeForce GT 630 M，得到分類結(jié)果圖，分析其分類精度及各類地物分類結(jié)果。

表1 訓(xùn)練樣本表

由分類結(jié)果(圖2)的正確性可以看出，極限學(xué)習(xí)機(jī)、支持向量機(jī)和最大似然3種方法均可以分類出大致的水域、交通運(yùn)輸用地、耕地、林地等，其中雖然存在一些錯(cuò)分、誤分現(xiàn)象，但不同地物間存在明顯邊界，能夠準(zhǔn)確識(shí)別各類地物的位置。極限學(xué)習(xí)機(jī)分類結(jié)果(圖2a)與支持向量機(jī)分類結(jié)果(圖2b)更為相似，分類總體精度(表2)在85%以上，kappa系數(shù)在0.7以上，說(shuō)明分類結(jié)果與真實(shí)地物分類基本一致；但極限學(xué)習(xí)機(jī)分類運(yùn)行時(shí)間明顯優(yōu)于支持向量機(jī)分類(表2)。最大似然法分類運(yùn)行時(shí)間最短，但其總體精度僅為71.552%，kappa系數(shù)為0.558，對(duì)比其他兩種分類結(jié)果，其分類精度較差。

a. ELM；b. SVM；c. 最大似然法。圖2 分類結(jié)果Fig.2 Classification results

由表3可見(jiàn)，3種分類方法對(duì)于水域分類最為穩(wěn)定，分類正確率為78.22%～84.01%；最大似然法雖總體精度較低，對(duì)于工業(yè)倉(cāng)儲(chǔ)用地的分類不如其他兩種方法，但是對(duì)于交通運(yùn)輸用地和林地的分類明顯優(yōu)于其他兩種方法；極限學(xué)習(xí)機(jī)分類總體精度與支持向量機(jī)相差較小，在對(duì)水域、工業(yè)倉(cāng)儲(chǔ)用地、耕地等類別的分類正確率略低于支持向量機(jī)分類，但在住宅用地及林地的分類中優(yōu)于支持向量機(jī)方法；支持向量機(jī)方法分類總體精度最高，但在交通運(yùn)輸用地分類中存在不足，對(duì)于住宅用地存在明顯錯(cuò)分。

表3 各類別分類正確率

4 結(jié)論與展望

1)極限學(xué)習(xí)機(jī)算法能有效地利用圖像的信息進(jìn)行地物分類，得到的分類結(jié)果與實(shí)際地物分類達(dá)到基本一致。

2)極限學(xué)習(xí)機(jī)算法適用于遙感影像分類問(wèn)題，其高效且穩(wěn)定等特點(diǎn)明顯優(yōu)于SVM和最大似然法，符合當(dāng)前追求效率的趨勢(shì)。

3)將極限學(xué)習(xí)機(jī)算法引入基于像元的監(jiān)督分類中，該方法在遙感圖像分類中有較好的推廣性，但一些易混淆的地物根據(jù)像元值無(wú)法被正確分類。在之后的研究中，將優(yōu)化極限學(xué)習(xí)機(jī)算法，結(jié)合地物本身特征對(duì)遙感影像進(jìn)行分類，進(jìn)一步提高分類精度，為影像分類提供理論和技術(shù)支持。

[1] 陳圣波，劉彥麗，楊倩，等.植被覆蓋區(qū)衛(wèi)星高光譜遙感巖性分類[J].吉林大學(xué)學(xué)報(bào)(地球科學(xué)版)，2012，42(6)：1959-1965.

Chen Shengbo，Liu Yanli，Yang Qian，et al. Lithologic Classification from Hyperspectral Data in Dense Vegetation Cover Area[J].Journal of Jilin University (Earth Science Edition)，2012，42(6)：1959-1965.

[2] Nitish S，Geoffrey H，Alex K，et al. Dropout：A Simple Way to Prevent Neural Networks from Overfitting[J].Journal of Machine Learning Research，2014，15(6)：1929-1958.

[3] Huang G B，Zhu Q Y，Siew C K. Extreme Learning Machine：A New Learning Scheme of Feedforward Neural Networks[J]. Proc Int Joint Conf Neural Netw，2004，2(2)：985-990.

[4] Zong W W，Huang G B，Chen Y Q. Weighted Extreme Learning Machine for Imbalance Learning[J]. Neurocomputing，2013，101：229-242.

[5] Huang G B，Ding X J，Zhou H M. Optimization Me-thod Based Extreme Learning Machine for Classification[J]. Neurocomputing，2010，74：155-163.

[6] Zong W W，Huang G B. Face Recognition Based on Extreme Learning Machine[J].Neurocomputing，2011，74(16)：2541-2551.

[7]Huang G B，Li M B，Chen L，et al. Incremental Extreme Learning Machine with Fully Complex Hidden Nodes[J]. Neurocomputing，2008，71(4)：576-583.

[8] 王士同，鐘富禮.最小學(xué)習(xí)機(jī)[J].江南大學(xué)學(xué)報(bào)(自然科學(xué)版)，2010，9(5)：505-510.

Wang Shitong，Zhong Fuli. On Least Learning Machine[J]. Journal of Jiangnan University (Natural Science Edition)，2010，9(5)：505-510.

[9] 鄧萬(wàn)宇，鄭慶華，陳琳，等．神經(jīng)網(wǎng)絡(luò)極速學(xué)習(xí)方法研究[J].計(jì)算機(jī)學(xué)報(bào)，2010，33(2)：280-287.

Deng Wanyu，Zheng Qinghua，Chen Lin，et al. Research on Extreme Learning of Neural Networks[J].Chinese Journal of Computer，2010，33(2)：280-287.

[10] 王杰，畢浩洋．一種基于粒子群優(yōu)化的極限學(xué)習(xí)機(jī)[J].鄭州大學(xué)學(xué)報(bào)(理學(xué)版)，2013，45(1)：100-104.

Wang Jie，Bi Haoyang. A New Extreme Learning Machine Optimized by PSO[J]. Journal of Zhengzhou University (Natural Science Edition)，2013，45(1)：100-104.

[11] 陳建原，何建農(nóng).基于在線連續(xù)極限學(xué)習(xí)機(jī)的圖像分類改進(jìn)算法[J].福州大學(xué)學(xué)報(bào)(自然科學(xué)版)，2015，42(2)：176 -181.

Chen Jianyuan，He Jiannong. A Modified Algorithm for Image Classification Based on Online Sequential Extreme Learning Machine[J].Journal of Fuzhou University (Natural Science Edition)，2015，42(2)：176-181.

[12] 王禮云，毛文濤，胡武鵬.極限學(xué)習(xí)機(jī)多目標(biāo)模型選擇研究[J].計(jì)算機(jī)仿真，2014，31(8)：387-391.

Wang Liyun，Mao Wentao，Hu Wupeng. Multi-Objective Model Selection for Extreme Learning Machine[J]. Computer Simulation，2014，31(8)：387-391.

[13] 吳軍，王士同，趙鑫.正負(fù)模糊規(guī)則系統(tǒng)、極限學(xué)習(xí)機(jī)與圖像分類[J].中國(guó)圖象圖形學(xué)報(bào)，2011，16(8)：1408-1417.

Wu Jun，Wang Shitong，Zhao Xin. Positive and Negative Fuzzy Rule System，Extreme Learning Machine and Image Classification[J].Journal of Image and Graphics，2011，16(8)：1408-1417.

[14] 崔利凱，孫建孟，閆偉超，等.基于多分辨率圖像融合的多尺度多組分?jǐn)?shù)字巖心構(gòu)建[J].吉林大學(xué)學(xué)報(bào)(地球科學(xué)版)，2017，47(6)：1904-1912.

Cui Likai，Sun Jianmeng，Yan Weichao，et al. Construction of Multi-Scale and Component Digital Cores Based on Fusion of Different Resolution Core Images[J].Journal of Jilin University (Earth Science Edition)，2017，47(6)：1904-1912.