金永濤，楊秀峰，高 濤，郭會敏，劉世盟

(1.北華航天工業(yè)學(xué)院，廊坊 065000； 2.航天恒星科技有限公司，北京 100086；3.河北省航天遙感信息處理與應(yīng)用協(xié)同創(chuàng)新中心，廊坊 065000)

0 引言

遙感圖像解譯有兩大難點，即不同地物難以分割且地物類型難以精準(zhǔn)識別。目前，遙感影像的分類方法按其分類基本單元的不同可分為基于像元的分類方法和面向?qū)ο蟮姆诸惙椒?大類[1]?；谙裨姆诸惙椒ㄒ杂跋駟我幌裨獮榛締卧饕糜跋竦墓庾V特征進行分類[2]，分類結(jié)果容易出現(xiàn)椒鹽現(xiàn)象，而且由于影像存在“同物異譜”或“異物同譜”現(xiàn)象，易造成地物類別的錯分和漏分，導(dǎo)致分類結(jié)果精度較低。面向?qū)ο蟮姆诸惙椒ㄊ抢谩巴|(zhì)均一”的多個像元為基礎(chǔ)分類對象，利用影像的光譜和空間紋理特征，突破了基于像元分類方法的限制[3]，很大程度上解決了農(nóng)作物、林地、水體、道路及建筑物等典型地物區(qū)分不開的問題。

深度學(xué)習(xí)是計算機科學(xué)機器學(xué)習(xí)領(lǐng)域中一個新的研究方向。其概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)[4-7]。Lecun 等在 1998 年提出的卷積神經(jīng)網(wǎng)絡(luò)是第一個真正的多層結(jié)構(gòu)學(xué)習(xí)算法，它利用空間相對關(guān)系減少參數(shù)數(shù)目以提高樣本訓(xùn)練性能[8-9]。深度學(xué)習(xí)可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)復(fù)雜函數(shù)的逼近，展現(xiàn)了強大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力[10-13]。

本文結(jié)合面向?qū)ο笈c深度學(xué)習(xí)的技術(shù)特點提出了一種新的典型地物信息提取方法。首先，采用面向?qū)ο蠓椒ㄌ崛〉湫偷匚飳ο筇卣鳎?然后，選用卷積神經(jīng)網(wǎng)絡(luò)Caffe框架對分割后的不同尺度對象進行深度學(xué)習(xí)，獲取不同對象的形狀和紋理特征，用以指導(dǎo)對象分類； 最后，有效解決典型地物信息提取分不準(zhǔn)的問題。

1 研究區(qū)概況及數(shù)據(jù)源

本研究選擇廊坊市永清縣龍虎莊鄉(xiāng)為試驗區(qū)。該區(qū)位于E116°22′～116°36′，N39°11′～39°23′之間，主要土地利用類型為農(nóng)作物、林地、水體、道路和建筑物等。選取了2016年8月27日2景國產(chǎn)高分二號(GF-2)衛(wèi)星晴空影像數(shù)據(jù)，首先，對數(shù)據(jù)進行了幾何精校正處理，將各波段數(shù)據(jù)進行影像的自動配準(zhǔn)和鑲嵌； 然后，對全色影像和多光譜(紅、綠、藍(lán)波段)影像采用ENVI Gram-Schmiddt Spectral Sharpening 方法進行了融合，使多光譜影像具備了豐富的紋理特征，最后通過矢量裁剪出試驗區(qū)域，結(jié)果如圖1所示。

圖1選取的實驗樣本區(qū)域GF-2影像

Fig.1GF-2imageoftheselectedsamplearea

2 研究方法

2.1 技術(shù)流程

傳統(tǒng)的面向?qū)ο蠓椒ǜ鶕?jù)不同類對象在特征上表現(xiàn)出來的差異建立模糊規(guī)則。對象特征包括顏色、光譜特征(如亮度值、歸一化水體指數(shù)(normalized difference water index,NDWI)和歸一化植被指數(shù)(normalized difference vegetation index,NDVI))、形狀紋理(如邊界指數(shù)、緊致度、長寬比)等，但對于特征描述得不夠全面、準(zhǔn)確。深度學(xué)習(xí)方法可以通過樣本訓(xùn)練，掌握不同地物的形狀、紋理、背景等特性，但也需要大量的標(biāo)簽，人工標(biāo)識工作量大。表1對2種方法的優(yōu)缺點進行了對比分析。典型地物目標(biāo)識別技術(shù)流程見圖2。

表1 面向?qū)ο笈c深度學(xué)習(xí)方法優(yōu)缺點對比分析Tab.1 Advantages and disadvantages of object-oriented and in-depth learning methods

圖2 典型地物目標(biāo)識別技術(shù)流程圖Fig.2 The flow chart of typical objects recognition technology

在表1基礎(chǔ)上，對GF-2影像全色波段和多光譜波段進行融合處理后，首先采用多尺度分割算法對試驗區(qū)影像進行圖像分割; 然后在面向?qū)ο蠓指罱Y(jié)果的基礎(chǔ)上，構(gòu)建耕地、林地、水體、道路、建筑物等典型地物對象特征規(guī)則集，對分割對象進行分類提取，得到訓(xùn)練樣本，形成典型地物學(xué)習(xí)樣本庫； 之后根據(jù)訓(xùn)練樣本進行深度學(xué)習(xí)，得到訓(xùn)練結(jié)果，并進一步對訓(xùn)練樣本進行分類； 最后對提取的典型地物目標(biāo)結(jié)果進行精度評價與分析。典型地物目標(biāo)識別技術(shù)流程圖如圖2所示。

2.2 多尺度面向?qū)ο蠓指钏惴?/h3>

多尺度面向?qū)ο蠓指钏惴▽D像看作是一個由區(qū)域和區(qū)域之間的拓?fù)潢P(guān)系組成的一張區(qū)域鄰接圖[14]，根據(jù)指定尺度進行分割，采用從單像元大小的區(qū)域開始，相鄰影像區(qū)域兩兩合并增長的方法，設(shè)定閾值控制合并區(qū)域，保證生成高度同質(zhì)性(或異質(zhì)性最小)的影像分割區(qū)域(影像對象)[15]，從而適于最佳分離和表示地物目標(biāo)。

算法的基本思想是： 從單一像元開始，與鄰近像元分別進行差異性度量計算，降低異質(zhì)性，完成一輪合并后，以上一輪生成的對象為基本單元，繼續(xù)與相鄰對象分別進行計算，直到在規(guī)定的尺度上已經(jīng)不能再進行任何對象的合并為止。這種異質(zhì)性是由對象之間的光譜和幾何形狀差異決定的。初始時, 每個像素作為一個區(qū)域，差異性度量準(zhǔn)則(f)的計算公式為

f=w1x+(1-w1)y,

(1)

式中：w1為權(quán)值，0≤w1≤1；x為光譜異質(zhì)性；y為形狀異質(zhì)性；x與y的計算采用

(2)

y=w2u+(1-w2)v,

(3)

式中：pi為第i影像層的權(quán)值；σi為第i影像層光譜值的標(biāo)準(zhǔn)差；u為影像區(qū)域整體緊密度；v為影像區(qū)域邊界平滑度；w2為權(quán)值，0≤w2≤1。u,v的計算式為

(4)

v=E/L,

(5)

式中：E為影像區(qū)域?qū)嶋H的邊界長度；N為影像區(qū)域的像元總數(shù)；L為包含影像區(qū)域范圍的矩形邊界總長度。

在影像區(qū)域的合并過程中, 從區(qū)域鄰接圖中的每個區(qū)域入手, 尋找滿足局部最優(yōu)合并條件的區(qū)域?qū)? 將這2個區(qū)域合并, 并更新與原來2個區(qū)域相連的所有區(qū)域的特征值及其與新區(qū)域的合并代價。當(dāng)合并相鄰的2個區(qū)域時，合并新生成的更大影像區(qū)域?qū)ο蟮漠愘|(zhì)性f′的計算式為

f′=w1x′+(1-w1)y′，

(6)

式中：x′，y′分別為合并新生成的更大影像區(qū)域的光譜異質(zhì)性和形狀異質(zhì)性，即

(7)

y′=w2u′+(1-w2)v′，

(8)

(9)

(10)

式中：E′和L′分別為合并新生成的更大影像區(qū)域的實際邊界長度和包含該新生成影像區(qū)域范圍的矩形邊界總長度；E1和L1分別為合并前的相鄰影像區(qū)域1的實際邊界長度和包含該影像區(qū)域范圍的矩形邊界總長度；E2和L2分別為合并前的相鄰影像區(qū)域2的實際邊界長度和包含該影像區(qū)域范圍的矩形邊界總長度。不同尺度的地類分割的結(jié)果如圖3所示。

(a) 實驗區(qū)真彩色原始影像 (b) 分割尺度45、顏色0.7、平滑度0.5 (c) 分割尺度65、顏色0.7、平滑度0.5 (d) 分割尺度100、顏色0.7、平滑度0.5

圖3多尺度分割結(jié)果示意圖

Fig.3Schematicdiagramofmultiscalesegmentation

2.3 基于多尺度規(guī)則集的樣本庫構(gòu)建

結(jié)合試驗區(qū)地表下墊面類型，通過對象的特征信息與地物之間的對應(yīng)關(guān)系，建立樣本分類選取的層次結(jié)構(gòu)，即利用多尺度的分層分割，不同的地物采取不同的尺度進行分割； 然后，根據(jù)對象的光譜特征、幾何紋理特征以及拓?fù)浣Y(jié)構(gòu)特征設(shè)置分類規(guī)則。建筑物、道路、水體和植被(包括農(nóng)作物、林地)大類在大尺度分割層(分割尺度100、顏色0.7、平滑度0.5)中，分別利用亮度值、NDWI和NDVI作為判斷依據(jù)進行初步提??； 再在植被大類的影像對象上選取適合其子類的分割尺度(分割尺度65、顏色0.7、平滑度0.5)來進行分割，考慮耕地的形狀比林地規(guī)則，綜合兩者對象的邊界指數(shù)、緊致度、長寬比等形狀指數(shù)進行區(qū)分，具體的對象規(guī)則集如表2所示。

表2 對象規(guī)則集Tab.2 The rule set of objects

①式中B2，B3，B4分別為2，3，4波段亮度值。

基于對象判定規(guī)則，通過程序自動追蹤各個類別下的樣本邊界，建立了包括耕地、林地、水體、道路及建筑物等主要典型地物信息遙感影像特征集，獲取訓(xùn)練樣本集。如表3所示。

表3 典型地類訓(xùn)練樣本Tab.3 The training sample of typical objects

2.4 基于深度學(xué)習(xí)的典型地物自動識別

利用實驗區(qū)各個類別的樣本圖片作為訓(xùn)練數(shù)據(jù)，將深度學(xué)習(xí)與面向?qū)ο蟮姆椒ㄏ嘟Y(jié)合，選用卷積神經(jīng)網(wǎng)絡(luò)模型，對訓(xùn)練樣本數(shù)據(jù)進行深度學(xué)習(xí)，自動獲取樣本特征，利用面向?qū)ο蠓指罱Y(jié)果實現(xiàn)典型地物的自動識別分類。其中，卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計是問題關(guān)鍵，本文的深度學(xué)習(xí)框架采用Caffe框架，用到的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

2.4.1 卷積神經(jīng)層

卷積神經(jīng)層是對圖像的每個像素點進行卷積運算，卷積核作為訓(xùn)練參數(shù)，經(jīng)過幾次處理之后，能夠提取出圖像的“特征值”。卷積神經(jīng)層中，卷積核越大，對圖像“抽象”的效果越好，但需要訓(xùn)練的參數(shù)就越多； 卷積核越小，越能夠精細(xì)地處理圖像，但要達(dá)到同樣的“抽象”效果，需要更多的層數(shù)[16]。圖像卷積過程如圖5所示。在經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，采用11×11的卷積核。為達(dá)到預(yù)期結(jié)果，需引入大量參數(shù)，在不考慮偏置的情況下，11×11的卷積核參數(shù)是3×3卷積核的(11×11+1)/(3×3+1)=12.2倍，且每個輸出點對應(yīng)11×11次乘法和11×11次加法，計算量大，從而導(dǎo)致算法性能的降低，因此，本文采用3×3 和5×5 較小的卷積核。

圖5 圖像卷積過程示意圖Fig.5 Imagine convolution process diagram

2.4.2 ReLU層

深度卷積網(wǎng)絡(luò)一般都需要大量的數(shù)據(jù)進行訓(xùn)練，如果使用傳統(tǒng)的激活函數(shù)(如sigmoid 函數(shù)和 tanh函數(shù))，數(shù)據(jù)計算量大，幾乎不能夠配合卷積神經(jīng)層完成訓(xùn)練，因此，本文采用了線性激活函數(shù)(Rectified Linear Units，ReLU)，不僅減少了訓(xùn)練時間，而且提高了算法性能。在ReLU中，對于給定的一個輸入值x，如果x> 0，ReLU層的輸出為x； 如果x< 0，ReLU層的輸出為0。sigmoid 函數(shù)、 tanh函數(shù)、ReLU函數(shù)公式分別為：

sigmoid 函數(shù)：f(x) = 1 /[1+exp(-1)]g′(x) =[1-g(x)]g(x)。

(11)

tanh函數(shù) ：f(x) = sinh(x)/cosh(x)=[exp(x)- exp(-x)]/[exp(x) + exp(-x)] 。

(12)

Rectified 函數(shù):f(x)=max(0,x)。

(13)

2.4.3 池化層

輸入圖像經(jīng)過卷積神經(jīng)層和ReLU 處理之后，圖像中的每個像素點都包含了相鄰區(qū)域的信息，造成了信息冗余，繼續(xù)計算不僅會降低算法性能，還會破壞算法的平移不變性。為了提升算法的性能和魯棒性，需要對圖像進行二次采樣[17]，在深度卷積網(wǎng)絡(luò)中，這種操作稱為池化(pooling)，即將圖像分成一小塊一小塊的區(qū)域，對每個區(qū)域計算出一個值，然后將計算出的值依次排列，輸出為新的圖像。如果劃分的區(qū)域之間互不重疊，其算法稱為非重疊型池化，否則稱為重疊性池化。對每個區(qū)域計算輸出的方法也分為2種： 求平均值(mean pooling)或者取最大值(max pooling)。本文采用可重疊的、取最大值的池化運算，可以在一定程度上降低過度擬合。池化計算過程如圖6所示。

2.4.4 規(guī)范化神經(jīng)層

為了讓圖像更加具有對比性，需要設(shè)計規(guī)范化神經(jīng)層。規(guī)范化神經(jīng)層的作用類似于對圖像進行“增加對比度”的操作。本文選用局部響應(yīng)歸一化(local response normalization，LRN)算法，選擇通道內(nèi)空間區(qū)域歸一化，局部區(qū)域在空間上擴展，將每個輸入值都除以

(14)

式中，α為縮放因子，默認(rèn)值為1； β為指數(shù)項，默認(rèn)值為5；n為局部尺寸大小，默認(rèn)值為5。如此完成“臨近抑制”操作后，可有效提高主體部分與其他部分的區(qū)分度。

圖6 池化運算Fig.6 Pooling operation

3 結(jié)果與分析

根據(jù)龍虎莊鄉(xiāng)試驗區(qū)下墊面類型特征，將影像分類為建筑物、道路、水體、林地、農(nóng)作物及其他6種類別?；诿嫦?qū)ο蠛徒Y(jié)合深度學(xué)習(xí)模型的面向?qū)ο蠓诸惙椒ǖ牡湫偷貐^(qū)提取結(jié)果如圖7和8所示。

圖7 基于面向?qū)ο蠓诸惙椒ǖ牡湫妄埢⑶f鄉(xiāng)地物提取結(jié)果圖Fig.7 Typical class selection result of Longhuzhuang township by Object-Oriented method

圖8 結(jié)合深度學(xué)習(xí)模型的龍虎莊鄉(xiāng)典型地物提取結(jié)果圖Fig.8 Typical class selection result of Longhuzhuang township by deep learning method

本文采用隨機抽樣方法進行精度評價[18]，在龍虎莊鄉(xiāng)試驗區(qū)GF-2衛(wèi)星融合影像中隨機選擇了300個樣本點像元，以目視解譯結(jié)果為標(biāo)準(zhǔn)進行評價。隨機點分布效果如圖9所示。然后，通過混淆矩陣計算出用戶精度、制圖精度、錯分誤差、漏分誤差、總體精度、Kappa系數(shù)等精度指標(biāo)，對分類結(jié)果進行精度評價，計算結(jié)果如表4—表7所示。

圖9 龍虎莊鄉(xiāng)試驗區(qū)隨機點分布圖Fig.9 Random point distribution of Longhuzhuang township

表4 基于面向?qū)ο蠓诸惙椒ǖ牡湫偷匚锓诸惢煜仃嘥ab.4 Confusion matrix of typical classification by object-oriented method (個)

表5 基于面向?qū)ο蠓诸惙椒ǖ牡匚锓诸愬e分誤分、漏分誤分、制圖精度與用戶精度Tab.5 Commission and omission error，production and user precision by object-oriented method (%)

表6 結(jié)合深度學(xué)習(xí)模型分類方法的典型地物分類混淆矩陣Tab.6 Confusion matrix of typical classification by deep learning method (個)

表7 結(jié)合深度學(xué)習(xí)模型分類方法的地物分類錯分誤分、漏分誤分、制圖精度與用戶精度Tab.7 Commission and omission error，production and user precision by deep learning method (%)

根據(jù)2種分類結(jié)果的混淆矩陣計算得到，基于面向?qū)ο蠓诸惙椒ǖ姆诸惪偩葹?5.33%，Kappa系數(shù)為0.96； 結(jié)合深度學(xué)習(xí)模型面向?qū)ο蠓诸惙椒ǖ姆诸惪偩葹?4.40%，Kappa系數(shù)為0.97，分類結(jié)果優(yōu)于前者，主要是新提出的分類方法考慮利用了對象之間的相鄰關(guān)系模型，可以很好地切割地物邊界線，較好地劃分了農(nóng)作物和林地，建筑物和道路等易混淆地區(qū)，優(yōu)于基于單一對象特征的分類方法。

4 結(jié)論

針對農(nóng)作物、林地、水體、道路、建筑物等典型地物信息提取，提出了一種將面向?qū)ο笈c深度學(xué)習(xí)相結(jié)合的新方法。新方法將圖像多尺度分割基礎(chǔ)上構(gòu)建通用規(guī)則集獲取的典型地物樣本特征為輸入，然后通過深度學(xué)習(xí)方法進一步進行樣本訓(xùn)練和特征提取，最后再將學(xué)習(xí)后的樣本特征運用于分割結(jié)果完成遙感影像的信息提取。選取廊坊市永清縣龍虎莊鄉(xiāng)為試驗區(qū)進行實驗和精度驗證，精度為84.40%。實驗結(jié)果表明，新方法將面向?qū)ο笈c深度學(xué)習(xí)進行了合理、高效的結(jié)合，有效解決了典型地物分不準(zhǔn)的問題，分類精度高于面向?qū)ο蠓诸惙椒ā５切路椒ㄔ谕ㄓ靡?guī)則集構(gòu)建和深度學(xué)習(xí)結(jié)構(gòu)設(shè)計方面尚不完善，有待進一步改進。

[1] 鄭 毅,武法東,劉艷芳.一種面向?qū)ο蠓诸惖奶卣鞣治龇椒╗J].地理與地理信息科學(xué),2010,26(2):19-22.

Zheng Y,Wu F D,Liu Y F.A feature analysis approach for object-oriented classification[J].Geography and Geo-Information Science,2010,26(2):19-22.

[2] 趙英時.遙感應(yīng)用分析原理與方法[M].北京:科學(xué)出版社,2003.

Zhao Y S.Theory and Methods of Remote Sensing Application Analysis[M].Beijing:Science Press,2003.

[3] 黃慧萍.面向?qū)ο笥跋穹治鲋械某叨葐栴}研究[D].北京:中國科學(xué)院研究生院遙感應(yīng)用研究所,2003.

Huang H P.Scale Issues in Object-oriented Image Analysis[D].Beijing:Institute of Remote Sensing Applications Chinese Academy of Sciences,2003.

[5] Deng L.An overview of deep-structured learning for information processing[C]//Proceedings of Asian-Pacific Signal & Information Processing Annual Summit & Conference (APSIPA-ASC).Xi’an:Chinese Information Processing Society of China,2011:301-313.

[6] Arel I,Rose D C,Karnowski T P.Deep machine learning-a new frontier in artificial intelligence research[research frontier][J].IEEE Computational Intelligence Magazine,2010,5(4):13-18.

[7] Do V H,Xiao X,Chng E S.Comparison and combination of multilayer perceptrons and deep belief networks in hybrid automatic speech recognition systems[C]//Proceedings of Asian-Pacific Signal & Information Processing Annual Summit & Conference(APSIPA-ASC).Xi’an:Chinese Information Processing Society of China,2011.

[8] Farabet C,Couprie C,Najman L,et al.Learning hierarchical features for scene labeling[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(8):1915-1929.

[9] Kavukcuoglu K,Sermanet P,Boureau Y L,et al.Learning convolutional feature hierarchies for visual recognition[C]//Proceedings of the 23rd International Conference on Neural Information Processing Systems.Vancouver,British Columbia,Canada:ACM,2010:1090-1098.

[10] Charalampous K,Kostavelis I,Amanatiadis A,et al.Sparse deep-learning algorithm for recognition and categorisation[J].Electronics Letters,2012,48(20):1265-1266.

[11] Olshausen B A,Field D J.Emergence of simple-cell receptive field properties by learning a sparse code for natural images[J].Nature,1996,381(6583):607-609.

[12] Olshausen B A,Field D J.Sparse coding with an overcomplete basis set:A strategy employed by V1?[J].Vision Research,1997,37(23):3311-3325.

[13] Goodfellow I,Courville A,Bengio Y.Large-scale feature learning with spike-and-slab sparse coding[J].arXiv preprint arXiv:1206.6407,2012.

[14] 王衛(wèi)紅,何 敏.面向?qū)ο笸恋乩眯畔⑻崛〉亩喑叨确指頪J].測繪科學(xué),2011,36(4):160-161.

Wang W H,He M.Multi-scale segmentation in land-use information extraction based on object-oriented method[J].Science of Surveying and Mapping,2011,36(4):160-161.

[15] Woodcock C E,Strahler A H.The factor of scale in remote sensing[J].Remote Sensing of Environment,1987,21(3):311-332.

[16] Alain G,Bengio Y,Rifai S.Regularized auto-encoders estimate local statistics[J].arXiv:1211.4246,2012:1-17.

[17] Rifai S,Bengio Y,Dauphin Y,et al.A generative process for sampling contractive auto-encoders[J]. arXiv:1206.6434,2012:2.

[18] Zhan Q M,Molenaar M,Tempfli K,et al.Quality assessment for geo-spatial objects derived from remotely sensed data[J].International Journal of Remote Sensing,2005,26(14):2953-2974.

[19] 宮 鵬,黎 夏,徐 冰.高分辨率影像解譯理論與應(yīng)用方法中的一些研究問題[J].遙感學(xué)報,2006,10(1):1-5.

Gong P,Li X,Xu B.Interpretation theory and application method development for information extraction from high resolution remotely sensed data[J].Journal of Remote Sensing,2006,10(1):1-5.

[20] 曹 雪,柯長青.基于對象級的高分辨率遙感影像分類研究[J].遙感信息,2006(5):27-30,51.

Cao X,Ke C Q.Classification of high-resolution remote sensing images using object-oriented method[J].Remote Sensing Information,2006(5):27-30,51.