郭穎李增元陳爾學張旭趙磊陳艷王雅慧

(中國林業(yè)科學研究院資源信息研究所 北京 100091)

近年來，隨著遙感技術迅速發(fā)展，衛(wèi)星遙感影像的空間、輻射和時間分辨率逐步提升，為提高森林資源的監(jiān)測效率和精度奠定了良好數據基礎。但遙感影像空間分辨率大小對影像分類精度的影響具有兩面性：一方面，精細的空間分辨率可減少邊界混合像元，在一定程度上提高分類精度； 另一方面，過高的分辨率也可能導致類別內部的光譜可變性增大，采用傳統(tǒng)機器學習算法進行森林類型分類時，仍存在分類精度和可有效區(qū)分類別總數較低的問題(任沖， 2016)。

深度學習(deep learning，DL)是機器學習領域一個新的研究方向，其本質是構建含有多隱層的機器學習架構模型，通過大規(guī)模數據進行訓練，得到大量更具代表性的特征信息，近年來在計算機視覺、自動駕駛等多類應用中取得了突破性進展(尹寶才， 2015)。深度卷積神經網絡(convolutional neural network, CNN)是一類包含卷積計算且擁有深度結構的前饋神經網絡(feedforward neural networks)，是深度學習的代表算法之一，具有局部連接、權值共享等特性，可有效提高圖像處理能力，但也存在計算量大、神經元感受野受限以及容易丟失像元位置信息等不足(L?ngkvistetal.， 2016)。為了克服這些缺陷，Long等(2014)提出了全卷積神經網絡(fully convolutional networks, FCN)模型，該模型可以接受任意大小的輸入圖像，能夠從抽象的特征中恢復出每個像素所屬類別，使得分類從圖像級別延伸到像素級別，同時更加高效。目前，國內外許多學者已成功將FCN應用于高空間分辨率遙感影像分類中(方旭等， 2018； 何小飛等， 2016； 陳廣勝等， 2018； Sherrah, 2016)，但是對于森林類型，特別是細化至優(yōu)勢樹種級別的森林類型遙感精細分類還未見相關報道。

從FCN構建方式來看，現階段主要有完全訓練、預訓練和微調3種策略(Nogueiraetal.， 2016)。完全訓練是指從頭開始構建網絡，可以完全控制參數和架構，具有很高的穩(wěn)健性，但是需要大量的訓練數據(Bengio， 2009)。預訓練和微調2種策略依賴于使用預先訓練的卷積核，其中，預訓練策略通過移除網絡最后的分類層，僅將預先訓練的卷積核作為特征提取器進行分類； 微調策略則是使用預先訓練的卷積核，并基于當前參與建模的遙感數據對卷積核的權重進行微調。許多研究表明，微調策略可以優(yōu)化遙感地物類型分類效果(Marmanisetal.， 2018； Rezaeeetal.， 2018)。

歸一化植被指數(normalized difference vegetation index，NDVI)已被廣泛用于森林類型遙感分類領域中，研究(黃建文等， 2004； 雷光斌等， 2014)表明，針對高空間分辨率遙感影像分類問題，將影像光譜反射率與紋理特征、NDVI、地形因子等結合，可以提升FCN的分類效果。劉大偉等(2016)在原始光譜特征基礎上加入紋理特征，實現了基于高空間分辨率遙感影像的深度神經網絡模型分類。徐慧敏(2018)將多源數據相結合，有效改善了U-Net模型的分類精度。張永宏等(2018)基于多特征源輸入的 FCN 模型，提升了高空間分辨率遙感影像道路提取精度。Sun等(2018)通過加入數字表面模型數據，有效提高了FCN模型的分類精度。

雙支結構的深度神經網絡是深度學習領域的一類新興方法。Gaetano等(2018)針對多光譜和全色遙感影像分類，提出一種基于雙分支的端到端深度卷積神經網絡，并在大區(qū)域范圍內取得了良好分類效果。Liu等(2018)發(fā)展一種基于深度多實例學習的雙支端到端深度卷積模型，聯合高空間分辨率多光譜和全色數據的光譜和空間信息進行分類，發(fā)現該方法優(yōu)于卷積神經網絡和堆疊自編碼網絡。Tan等(2018)提出一種雙支卷積神經網絡模型，結合高空間分辨率全色和多光譜影像的信息自動提取建筑物，結果表明該方法具有較高的分類精度和較好的泛化能力。

綜上可見，為了充分利用多光譜和全色遙感影像的空間和光譜信息，前人已從網絡微調、增加NDVI等多源特征、設計雙支結構網絡等方面對FCN的具體應用方法進行了優(yōu)化改進，但這些研究多是以市區(qū)一般地物類型的分類為目標，很少有針對森林類型細分的應用報道。鑒于此，本研究基于FCN8s模型構建雙支結構的深度神經網絡，綜合利用網絡微調以及增加NDVI遙感特征等策略，以期改善高空間分辨率遙感影像用于森林類型分類的效果，從而發(fā)展一種面向高空間分辨率遙感影像森林類型精細分類的雙支FCN-8s方法。

1 研究區(qū)概況與數據獲取

1.1 研究區(qū)概況

以內蒙古赤峰市旺業(yè)甸林場所轄區(qū)域為研究區(qū)。該區(qū)位于赤峰市喀喇沁旗西南部，118°09′—118°30′E，41°35′—41°50′N，屬生態(tài)主導型多功能林業(yè)區(qū)，行政區(qū)域屬于喀喇沁旗美林鎮(zhèn)。年均氣溫7.4 ℃，年均降雨量400 mm。區(qū)內植物種類豐富，森林覆蓋率達94%。林場總面積2 530 7 hm2， 其中有林地面積22 016 hm2，包括天然林11 218 hm2、人工林10 798 hm2。人工林以油松(Pinustabulaeformis)、華北落葉松(Larixprincipis-rupprechtii)為主，天然林以白樺(Betulaplatyphylla)為主。

1.2 遙感影像及其預處理

采用GF-2 PMS遙感影像，成像時間為2017年9月5日。對遙感影像進行預處理，預處理過程包括輻射定標、大氣校正、正射和地形輻射校正以及影像融合。進行輻射定標時，利用中國資源衛(wèi)星數據與應用中心公布的絕對輻射定標系數，將衛(wèi)星觀測的像元亮度值轉換為表觀輻亮度，根據GF-2衛(wèi)星多光譜和全色數據附帶的太陽高度角參數，將獲得的表觀輻亮度轉換為表觀反射率。采用ENVI5.3軟件的FLAASH(fast line-of-sight atmospheric analysis of hypercubes)模塊完成全色數據和多光譜數據的大氣校正。利用全色和多光譜影像自帶的參數進行正射校正，并參考2 m空間分辨率的ZY-3數字正射影像產品(digital orthophoto map，DOM)，通過尺度不變特征變換算法自動進行影像配準，同時手工采集30個控制點對校正模型進行優(yōu)化，控制點高程信息來自研究區(qū)的ZY-3 DEM。優(yōu)化后的正射模型東西向誤差為1.55 m，南北向誤差為1.25 m。運用VECA地形輻射校正模型(高永年等， 2008)和ZY-3 DEM數據對GF-2 PMS影像進行地形輻射校正處理，采用ENVI5.3軟件的融合工具NNDiffuse Pan Sharpening將全色與多光譜影像融合，得到0.8 m高空間分辨率多光譜遙感影像，見圖1。

圖1 預處理后GF-2影像Fig.1 Preprocessed GF-2 image

1.3 樣本數據

為了構建深度學習模型，本研究在外業(yè)調查數據基礎上，基于多期高空間分辨率遙感影像并結合林相圖，通過目視解譯方式構建了154塊樣本，每塊樣本均由1個預處理后的遙感影像塊和1個在像素級別匹配的解譯圖像塊構成，樣本大小為310像元×310像元(圖2)，其中林相圖數據可提供每個小班的樹種起源、林種、優(yōu)勢樹種、郁閉度、小班面積和地類等屬性信息。在模型訓練過程中，隨機選取80%樣本塊(124塊)作為訓練數據，剩余20%樣本塊(30塊)作為測試數據?？紤]到樣本不均衡會影響分類效果，本研究在構建樣本時將樣本均勻分布在影像空間范圍內(圖3)，且保證每個類別所對應的樣本數目均衡。

此外，為了驗證深度學習模型的分類精度，于2017年9月進行外業(yè)實地調查，共采集404個樣點的地類信息，樣點對整個林場的覆蓋情況如圖3所示，圖中方塊區(qū)域為部分訓練樣本塊的空間分布情況，圓形區(qū)域為采集樣點的分布范圍。

1.4 分類系統(tǒng)和擬分類別

參考《森林資源規(guī)劃設計調查主要技術規(guī)定(2010)》規(guī)定的地類分類系統(tǒng)，通過對遙感影像預分類結果進行潛在地類分析，確定本研究的分類系統(tǒng)如表1所示。共分12個類別，包括油松、華北落葉松、紅松(Pinuskoraiensis)、白樺、山楊、蒙古櫟、其他林地、灌木林地、草地、耕地、建設用地和其他非林地，其中油松、華北落葉松、紅松、白樺、山楊(Populusdavidiana)、蒙古櫟(Quercusmongolica)、灌木林地和其他木地屬于林地的細分類別，其他非林地主要包括裸地、水體等。

圖2 部分訓練樣本細節(jié)Fig.2 Examples in details for some of the training samplesa.原始影像塊Original image blocks； b.與原始影像塊對應的解譯影像塊Ground truth (GT) image blocks corresponding to the original image blocks.

圖3 實地調查樣點和部分訓練樣本分布Fig.3 Spatial distribution of the field survey sample points and some of the training samples

2 研究方法

2.1 FCN模型

FCN模型的核心是經典CNN網絡結構，不同的是FCN模型將CNN模型中的全連接層替換為卷積層，這一改變使得模型可以輸入任意大小的圖像，直接在輸出端得到每個像素所屬類別，從而實現一對一的端到端訓練。

FCN模型具有卷積化、反卷積和跳躍結構3個特點。卷積化是指將CNN模型的全連接層替換為卷積層，完成對任意大小圖像的分類。反卷積也稱為轉置卷積，是卷積的逆過程。FCN模型使用反卷積方式還原圖像原始大小，反卷積卷積核大小ks的計算公式如下(假設輸入特征圖像大小為wl×wl, 輸出特征圖像大小為wl′×wl′)：

ks=wl′+2×padding-stride×(wl-1)。

(1)

式中： stride為步長； padding為邊界填充值。

由于FCN模型的池化操作會降低圖像分辨率，造成圖像空間細節(jié)信息丟失，為此Long等(2014)提出了跳躍結構進行優(yōu)化。該結構的基本思想是將FCN模型中低層網絡的細節(jié)信息和高層網絡的語義信息進行融合，然后對融合結果進行反卷積操作得到最終結果。

FCN模型主要包括FCN-32s、FCN-16s和FCN-8s 3種基本結構，如圖4所示。FCN-32s模型將conv7層生成的特征圖像進行32倍上采樣，得到輸出結果； FCN-16s模型首先對conv7層生成的特征圖像進行2倍上采樣，然后與pool4層生成的特征圖像相結合，并對結合結果進行16倍上采樣，得到輸出結果； FCN-8s模型則首先對conv7層和pool4層生成的特征圖像分別進行4和2倍上采樣，然后與pool3層生成的特征圖像相結合，并對結合結果進行8倍上采樣，得到輸出結果?？梢钥闯觯現CN-8s模型在反卷積過程中結合了多個低層特征，較FCN-32s、FCN-16s模型使用了更多細節(jié)和語義信息，結果也優(yōu)于2種模型(Longetal.， 2014)。本研究以FCN-8s為基礎模型。

表1 研究區(qū)分類系統(tǒng)Tab.1 Classification system of the study area

圖4 FCN模型架構Fig.4 FCN model architecture

2.2 雙支FCN-8s分類方法

雙支FCN-8s分類方法的總體流程如圖5所示。該方法包含2個FCN-8s子模型，基礎分類器均為Resnet(Heetal.， 2016)，其中一個子模型使用GF-2全色增強后影像的R、G、B三波段，基于ImageNet數據集上預訓練好的權重，采用微調方式構建； 另一個子模型使用GF-2全色增強后影像的四波段(R、G、B、NIR)和NDVI特征構建。在結果輸出部分，2個子模型分別提取下采樣8、16和32倍時的輸出結果，將模型對應位置的輸出結果進行級聯卷積，并上采樣至與輸入影像相同大小(圖6)； 同時將上采樣結果進行融合，輸入softmax分類器中，得到每個像元的類別概率值和標號。

2.3 支持向量機分類方法

支持向量機(support vector machine, SVM)是一種基于統(tǒng)計學習理論的機器學習方法(Vapniketal.， 1963)，其基本原理是通過將樣本空間映射到一個高維特征空間中，使得在原有樣本空間中非線性可分的問題轉化為在特征空間中線性可分的問題。在高維特征空間中，對數據進行分類的直線稱為超平面【式(2)】，距離超平面最近的點稱為支持向量，可通過引入Lagrnage乘子αi轉換為對偶問題【式(3)】求解(丁世飛等， 2011)：

圖5 雙支FCN-8s分類方法的總體流程Fig.5 The general workflow of the two-branch FCN-8s classification method

圖6 雙支FCN-8s分類方法的數據流程Fig.6 The data flow of the two-branch FCN-8s classification method

wTx+b=0；

(2)

(3)

選擇不同核函數，可以生成不同SVM模型。本研究選擇徑向基核函數，通過格網化方法對參數進行優(yōu)選，其中懲罰系數C為100，核函數參數γ為0.001。

使用SVM模型進行森林類型分類的主要流程為： 首先，對GF-2遙感影像進行分割； 其次，提取光譜波段均值和植被指數，包括比值植被指數(ratio vegetation index，RVI)、歸一化植被指數(normalized difference vegetation index，NDVI)、重新歸一化植被指數(re-normalized difference vegetation index，RDVI)、優(yōu)化土壤調節(jié)植被指數(optimized soil adjusted vegetation index，OSAVI)、歸一化水體指數(normalized difference water index，NDWI)、歸一化綠度指數(normalized difference greenness index，NDGI)、可見光波段差異植被指數(visible difference vegetation index，VDVI)、近紅外波段與藍波段的比值[ratio of near-infrared (NIR) band to blue band，NIRB](Fengetal.， 2017； 黃建文等， 2004； Wangetal.， 2015； 2017)，以及紋理特征，包括均值、標準差、對比度、差異性、熵和同質性(Haralicketal.， 1973)； 然后采用隨機森林算法計算每個特征的重要性并排序，通過序列后向搜索方法，每次從特征集合中去掉重要性最小的特征后進行分類，逐次迭代計算每次的分類精度，得到變量個數最少、分類正確率最高的特征序列，具體為光譜信息中4個波段均值、NDVI、OSAVI、NDGI、VDVI、NIRB、紅波段同質性、藍波段和近紅外波段的熵、綠波段和近紅外波段的標準差； 最后將優(yōu)選的特征導入SVM分類器進行分類。

2.4 網絡訓練

雙支FCN-8s網絡模型基于Tensorflow框架構建，使用Adam方法作為優(yōu)化器訓練網絡，參數按照Kingma(2014)推薦的參數進行設置，其中，平滑參數為1e-08，每次更新后的學習率衰減值為0.004，學習率初始值為1e-04。網絡權重共更新20 000次，每次更新過程中，共迭代15次，每次迭代使用16個樣本對，網絡權重每更新1次，所有訓練樣本均參與建模。當權重停止更新的次數大于10次后，網絡停止訓練。網絡在1塊NVIDIA Tesla K40C計算顯卡上訓練，GPU內存為8 G。

2.5 精度檢驗方法

采用基于混淆矩陣的方法評價分類結果，具體評價指標包括總體精度(overrall accuracy，OA)、用戶精度(user accuracy，UA)、生產者精度(producer accuracy，PA)和Kappa系數(Foody， 2010)。

3 研究結果

3.1 雙支FCN-8s方法的分類結果

雙支FCN-8s方法的分類結果混淆矩陣見表2，總體分類精度為85.89%，Kappa系數為0.84。該方法可有效對大部分森林類型進行提取，其中，對針葉樹種、蒙古櫟、草地和灌木林地等類別的分類，生產者精度均在90%左右，但對白樺、山楊和其他林地容易混分和錯分，分析其原因是因為這些類別均屬闊葉樹種，影像獲取時間為生長季，具有相似的光譜信息，較難區(qū)分。具體分類結果如圖7所示。

圖7 雙支FCN-8s方法分類結果Fig.7 Classification result of the two-branch FCN-8s method

3.2 雙支FCN-8s與其他模型的分類效果比較

為驗證所提方法的有效性，本研究對雙支FCN-8s方法與傳統(tǒng)FCN-8s方法(本研究簡稱FCN-8s)的分類效果進行比較。FCN-8s方法的基分類器為Resnet，雙支FCN-8s方法在建模時不僅使用融合后的四波段光譜信息，而且還使用NDVI特征，FCN-8s方法同樣使用上述特征參與建模。

從表3可以看出，FCN-8s方法的總體分類精度為82.67%，Kappa系數為0.80。相比FCN-8s方法，雙支FCN-8s方法可以提高大部分森林類型的分類精度，尤其對油松、紅松、白樺等類別改善效果明顯。

為進一步驗證該方法的效果，本研究同時與經過特征優(yōu)選與SVM模型分類效果進行比較，結果發(fā)現，相對傳統(tǒng)基于特征優(yōu)選的SVM模型而言，雙支FCN-8s方法的總體分類精度由75%上升至85.89%，精度提升大于10%(表3)，各類別的分類效果均有改善。

從分類細節(jié)(圖8)中可以看出，雙支FCN-8s方法可明顯優(yōu)化闊葉混交林和針闊混交林的分類效果，相比而言，FCN-8s會將大部分其他林地錯分為山楊，SVM則會將大面積油松錯分為華北落葉松，白樺和其他林地也會出現大面積錯分現象，同時SVM相對于本研究的深度學習方法而言，分類邊界破碎，不夠平滑。

3.3 網絡微調策略和NDVI特征對分類效果的影響

為探究微調策略對分類結果的貢獻，本研究進一步分析不使用微調策略的雙支FCN-8s分類效果。由表4可知，不使用微調策略得到的總體分類精度為79.46%，Kappa系數為0.77； 使用微調策略后，模型的總體分類精度由79.46%上升至85.89%，可顯著提高油松、白樺、灌木林地及建筑用地的分類精度。

同時，本研究也對加入NDVI特征前后雙支FCN-8s方法的分類效果進行比較分析。由表4可知，未使用NDVI特征的總體分類精度為81.93%，Kappa系數為0.80； 加入NDVI特征后，模型對油松、山楊改善效果明顯。

從分類細節(jié)(圖8)中可以看出，使用微調策略以及加入NDVI特征，可明顯改善其他林地以及山楊和白樺的錯分現象，同時能優(yōu)化灌木林地、草地和蒙古櫟的混分問題，對于建設用地和耕地的混分現象也有明顯改善。

圖8 分類結果細節(jié)Fig.8 The detailed classification resultsa.GF-2 PMS； b.解譯樣本Label； c.雙支FCN-8s Two-branch FCN-8s； d.FCN-8s； e.SVM； f.雙支 FCN-8s不使用微調策略Two-branch FCN-8s without finetune strategy； g.雙支FCN-8s 不加入 NDVI Two-branch FCN-8s without NDVI.

表2 雙支FCN-8s方法的分類結果混淆矩陣①Tab.2 Confusion matrix of classification result of two-branch FCN-8s

① 總體精度Overall accuracy： 85.89%； Kappa系數Kappa coefficient： 0.84.

表3 雙支FCN-8s與FCN-8s、SVM的分類精度對比Tab.3 Comparison of classification accuracy among two-branch FCN-8s, FCN-8s and SVM

表4 NDVI特征和微調策略對雙支FCN-8s模型分類效果的影響Tab.4 Impact of NDVI features and finetune strategy on classification accuracy of two-branch FCN-8s model

4 討論

本研究提出的雙支FCN-8s高空間分辨率遙感影像森林類型深度學習精細分類方法，可有效提升森林類型的細分程度和分類精度，滿足高空間分辨率遙感影像林地類型信息提取及森林類型精細識別的應用需求。雙支FCN-8s方法對大部分森林類型都可得到90%以上的生產者精度，在同等樣本數量的條件下，相對于傳統(tǒng)經過特征優(yōu)選的SVM模型而言，雙支FCN-8s方法可將分類精度提升10%以上，有效改善分類效果，在一定程度上驗證了該方法的優(yōu)越性。

然而，對于白樺、山楊和其他林地類別，雙支FCN-8s方法的分類精度較低，可能有以下2個原因： 首先，圖9展示了基于GF-2 PMS的典型地物類型(圖9a)以及白樺、山楊和其他林地(圖9b)的光譜曲線，從圖9b中可以看出，白樺、山楊和其他林地的光譜差異很小，特別是白樺和山楊2個類別，本應是2條光譜曲線，但現在光譜曲線基本重疊，這不可避免增加了區(qū)分該森林類型的難度； 其次，旺業(yè)甸林場山楊的分布范圍較小，采集的樣本相對較少，在一定程度上會導致模型欠擬合現象，同時由于基于該時相的遙感數據，白樺和山楊的邊界難以明確區(qū)分，進一步增加了分類的難度。

圖9 地物類型光譜曲線Fig.9 Spectral curves of land cover typesa.典型地物類型Typical land cover types； b.白樺、山楊和其他林地Betula platyphylla, Populus davidiana and other forest land.

雙支FCN-8s方法的總體分類精度為85.89%，雖然相比傳統(tǒng)基于特征優(yōu)選的SVM模型分類精度明顯提升，但是相對于部分已發(fā)表的基于FCN進行高空間分辨率遙感分類精度高于90%以上的研究而言，本研究分類精度并不高，這可能主要歸結于以下2方面原因： 首先，本研究僅有124塊樣本塊參與建模，相對于其他研究而言，樣本量成倍減少； 其次，本研究包括12個地物類別，其中6個屬于樹種級類別，較其他研究而言分類類別較細。如Liu等(2018)基于FCN模型對7個地物類型進行遙感分類，分類精度為87.1%，但是該研究利用400個正射影像，共提取2 800塊樣本塊，樣本量遠遠大于本研究； Fu等(2017)基于FCN模型和兩期GF-2影像對城市區(qū)域的地物進行分類，雖然同樣是12個地物類型，但是該研究將兩期遙感影像分割為74塊影像塊，每塊影像塊的像素大小為1 024像元×1 024像元，其中70塊用于訓練，4塊進行測試，4塊測試影像最終的平均分類精度為81%。本研究每塊影像塊的像素大小僅為310像元×310像元，樣本量遠低于該研究，但本研究分類精度略高于該研究。這些比較結果表明本研究提出方法在樣本量有限情況下的有效性。

與以往高空間分辨率遙感影像森林類型精細分類，尤其是樹種分類的研究結果比較表明，如果只使用單一時相的高空間分辨率遙感影像進行森林類型精細分類，難以有效區(qū)分闊葉樹種，分類精度較低。Xie等(2019)基于多時相ZY-3數據在本研究區(qū)進行地物細分類型分類，雖然整體分類精度為84.9%，但是對于白樺、山楊等闊葉樹種的分類精度可達85%左右。使用多時相數據進行森林類型精細分類的效果同樣也已被其他一些研究所證明，如任沖等(2016)基于多時相SPOT-5和GF-1數據進行森林類型精細分類，精度高達92%；Agata等(2019)基于多時相Sentinel-2和DEM進行大區(qū)域范圍內的樹種分類，精度高達94.8%?；诖?，將多時相遙感數據結合深度學習方法進行森林類型精細分類可作為下一階段的研究內容。

5 結論

本研究以內蒙古赤峰市旺業(yè)甸林場為研究區(qū)，基于GF-2衛(wèi)星多光譜和全色遙感影像，發(fā)展了一種雙支FCN-8s高空間分辨率遙感影像深度學習分類方法，并驗證了該方法的有效性。結果表明： 1) 雙支FCN-8s方法的總體分類精度為85.89%，Kappa系數為0.84；相比傳統(tǒng)FCN-8s，雙支FCN-8s方法可提高大部分森林類型的分類精度，尤其對油松、紅松、白樺等類別改善效果明顯。2) 相對于傳統(tǒng)基于特征優(yōu)選的SVM模型而言，雙支FCN-8s方法的總體分類精度由75%上升至85.89%，精度提升大于10%，各類別的分類效果均有改善。3) 使用微調策略以及加入NDVI特征后，模型可有效改善油松、山楊和白樺等樹種的分類效果。總之，本研究提出的雙支FCN-8s高空間分辨率遙感影像森林類型深度學習精細分類方法，可有效提升森林類型的細分程度和分類精度。