張俊前，王文進(jìn)（1.重慶市勘測(cè)院，重慶 40000； .重慶建筑工程職業(yè)學(xué)院，重慶 40007）

基于交叉驗(yàn)證的遙感影像精細(xì)分類研究

張俊前1?，王文進(jìn)2
（1.重慶市勘測(cè)院，重慶 400020； 2.重慶建筑工程職業(yè)學(xué)院，重慶 400072）

隨著遙感技術(shù)的發(fā)展，多光譜和高分辨率遙感已成為重要發(fā)展趨勢(shì)。這對(duì)分類方法提出更高要求，也增加了難度，特別在精細(xì)分類實(shí)踐應(yīng)用中，相似地物間性狀差異較小，同物異譜、同譜異物現(xiàn)象普遍存在。本文以美國(guó)印第安納州地區(qū)高光譜影像（AVIRIS影像）和武漢九峰地區(qū)高分辨率影像（Quickbird影像）為研究對(duì)象，利用交叉驗(yàn)證的方法進(jìn)行參數(shù)估計(jì)，分別采用支持向量機(jī)（Support Vector Machine，SVM）和留一驗(yàn)證法（Leave-One-Out Cross Validation，LOOCV）對(duì)影像進(jìn)行分類，并根據(jù)實(shí)地調(diào)查數(shù)據(jù)估計(jì)精度，實(shí)驗(yàn)結(jié)果顯示出該方法有較高精度和良好效果。

高光譜；高分辨率；SVM；LOOCV；交叉驗(yàn)證

1 引 言

遙感影像可以真實(shí)地反映一定區(qū)域范圍內(nèi)的地物信息。隨著遙感技術(shù)的發(fā)展，對(duì)地觀測(cè)技術(shù)不斷提高，高光譜和高分辨率遙感已成為重要發(fā)展趨勢(shì)。傳統(tǒng)的多光譜遙感以其較高的光譜分辨率和空間分辨率可以在一定程度上識(shí)別和區(qū)分地物類別，但難以滿足精細(xì)分類的需要，尤其單景多光譜影像幾乎達(dá)不到精細(xì)分類的目的。高光譜遙感是20世紀(jì)80年代發(fā)展起來(lái)的重要技術(shù)，具有前所未有的光譜分辨率，使圖譜合一成為現(xiàn)實(shí)，也使基于遙感影像的精細(xì)分類成為可能。高分辨率遙感一般指空間分辨率在 10 m以內(nèi)的遙感影像［1］。它具有豐富的空間信息，地物幾何結(jié)構(gòu)和紋理信息更加明顯，更便于認(rèn)知地物目標(biāo)的屬性特征［2］。高分辨率遙感的出現(xiàn)使得植被類型判讀的精度大大提高［3］。

傳感器技術(shù)的發(fā)展增加了人們對(duì)地物識(shí)別的需求，尤其體現(xiàn)在精細(xì)程度上，這不僅對(duì)分類方法提出更高要求，也增加了分類難度。特別地，在精細(xì)分類實(shí)踐應(yīng)用中，相似地物間性狀差異較小，同物異譜、同譜異物現(xiàn)象普遍存在，且人工選取樣本具有一定的局限性，會(huì)帶來(lái)樣本不純凈、樣本數(shù)量不足、樣本偏斜等問(wèn)題。在這種情況下，傳統(tǒng)分類器的性能降低，其原因主要有兩方面:一是分類器的模型框架自身存在缺陷；二是分類器參數(shù)選擇不合理。

本實(shí)驗(yàn)利用統(tǒng)計(jì)增強(qiáng)的思想，在訓(xùn)練樣本訓(xùn)練分類器的過(guò)程中，采用交叉驗(yàn)證的方法，估計(jì)分類器的參數(shù)，并利用高光譜影像和高分辨率影像分別做了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明該方法可以較好地估計(jì)分類器的參數(shù)，并具有一定的普適性。

2 交叉驗(yàn)證方法介紹

交叉驗(yàn)證（Cross Validation，CV）方法多用來(lái)驗(yàn)證模型或分類器的性能，是一種統(tǒng)計(jì)分析的方法。基本思想是把已知數(shù)據(jù)或樣本進(jìn)行分組，一部分作為訓(xùn)練集，另一部分作為測(cè)試集。首先利用訓(xùn)練集訓(xùn)練模型或分類器，再把模型或分類器應(yīng)用到測(cè)試集，來(lái)驗(yàn)證訓(xùn)練好的模型或分類器，交替進(jìn)行，以平均性能指標(biāo)作為評(píng)價(jià)模型或分類器的標(biāo)準(zhǔn)。

常見(jiàn)的交叉驗(yàn)證方法主要有兩種:

（1）K折交叉驗(yàn)證（K-fold Cross Validation）

把原始數(shù)據(jù)平均分成K份，每一份輪流作為測(cè)試集，其余（K-1）份作為訓(xùn)練集，這樣得到K個(gè)模型或分類器，利用K個(gè)模型或分類器對(duì)與其對(duì)應(yīng)的K個(gè)測(cè)試集的驗(yàn)證精度的平均值及均方根誤差等，作為分類器的性能指標(biāo)。K值是根據(jù)數(shù)據(jù)量大小和應(yīng)用需求確定的，一般大于2。

（2）留一法交叉驗(yàn)證（Leave-One-Out Cross Validation，LOOCV）

LOOCV是K-fold的極限情況，假設(shè)樣本數(shù)量為n，那么K=n，即每一個(gè)樣本單獨(dú)作為測(cè)試集，其余所有樣本作為訓(xùn)練集，各個(gè)測(cè)試集的驗(yàn)證精度作為分類器的性能指標(biāo)。該方法優(yōu)點(diǎn)是訓(xùn)練的模型或分類器更適應(yīng)樣本的分布，結(jié)果可靠；缺點(diǎn)是計(jì)算成本高，在訓(xùn)練樣本數(shù)量非常多時(shí)，會(huì)消耗計(jì)算時(shí)間。

在每次交叉驗(yàn)證中采用不同的模型或分類器參數(shù)，平均精度最高的交叉驗(yàn)證結(jié)果所對(duì)應(yīng)的參數(shù)就是最佳參數(shù)。

? 收稿日期:2015—12—17

作者簡(jiǎn)介:張俊前（1981—），男，高級(jí)工程師，主要研究方向?yàn)楹綔y(cè)與遙感。

基金項(xiàng)目：住房城鄉(xiāng)建設(shè)部2015年科學(xué)技術(shù)項(xiàng)目（2015-K8-009）

3 分類算法概述

3.1 SVM

支持向量機(jī)（SVM）是一種建立在結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則（Structural Risk Minimization，SRM）［4，5］和VC維（Vapnik-Chervonenkis Dimension，VC）理論基礎(chǔ)上的學(xué)習(xí)機(jī)，它在解決小樣本、非線性和高維模式識(shí)別問(wèn)題中有較大優(yōu)勢(shì)。

SVM的基本公式是:

約束條件:

引入拉格朗日乘子αi，問(wèn)題轉(zhuǎn)化為:

約束條件:

求解此二次優(yōu)化問(wèn)題（求解過(guò)程略）得到w，b，分類函數(shù)為:

對(duì)于線性不可分的情況，引入松弛變量ξi，目標(biāo)函數(shù)轉(zhuǎn)化為:

約束條件:

C被稱為懲罰系數(shù)，反映了算法的復(fù)雜性和松弛性之間的平衡度。

對(duì)于非線性可分的情況，還可利用核函數(shù):

K（x，x）=φ（x）φ（x）（8）

把數(shù)據(jù)映射到高維特征空間，在高維特征空間中建立超平面，φ（x）表示向量x的某種非線性變換。分類函數(shù)變?yōu)?

核函數(shù)可以有多種形式，包括徑向基核函數(shù)（Radial basis function，RBF）:exp（-g?|u-v|^2）；Sigmoid核函數(shù):tanh（r?u′?v+coef）；線性核函數(shù)（linear）: u′?v；多項(xiàng)式核函數(shù)（Polynomial）:（g?u′v+coef）^ degree。根據(jù)不同情況可選擇不同核函數(shù)及參數(shù)，目前對(duì)于核函數(shù)的選擇仍沒(méi)有明確的指導(dǎo)原則。

3.2 留一法協(xié)方差估計(jì)

在高維數(shù)據(jù)的應(yīng)用中，當(dāng)訓(xùn)練樣本數(shù)量不足時(shí)，高斯概率密度函數(shù)難以描述樣本分布，尤其當(dāng)樣本數(shù)與數(shù)據(jù)維數(shù)相當(dāng)或小于后者時(shí)，會(huì)導(dǎo)致協(xié)方差矩陣近似奇異或奇異。由中心極限定理得知，當(dāng)樣本數(shù)趨近于無(wú)限大時(shí)，高斯概率密度函數(shù)才服從正態(tài)分布，從而使得經(jīng)典最大似然法分類失效，為了消除這種統(tǒng)計(jì)估計(jì)誤差，需要對(duì)協(xié)方差矩陣進(jìn)行有效估計(jì)。留一法協(xié)方差估計(jì)含有4個(gè)參數(shù):類別協(xié)方差矩陣、總體協(xié)方差矩陣以及兩者的對(duì)角陣，采用分段兩兩組合的方法進(jìn)行優(yōu)化，來(lái)判斷何種組合更適合此數(shù)據(jù)集。

（1）協(xié)方差估計(jì)形式

協(xié)方差估計(jì)具有如下形式:

αi的取值意義如下:

0:類別中各個(gè)特征之間不相關(guān)，不同類的協(xié)方差矩陣不同；

1:類別中各個(gè)特征之間相關(guān)，不同類的協(xié)方差矩陣不同；

2:類別中各個(gè)特征之間相關(guān)，不同類的協(xié)方差矩陣相同；

3:類別中各個(gè)特征之間不相關(guān)，不同類的協(xié)方差矩陣相同；

其他:兩種分布的混合。

其中，αi取1時(shí)，就是最大似然法分類器的默認(rèn)參數(shù)。

（2）留一法協(xié)方差估計(jì)

參數(shù)αi的估計(jì)是由留一法交叉驗(yàn)證得到的，具體過(guò)程如下:

①去除一個(gè)樣本，利用剩余樣本估計(jì)均值向量和協(xié)方差矩陣，見(jiàn)式（11）:

其中i|k表示第i類中去除了樣本k。

②利用①中得到的均值向量和協(xié)方差矩陣計(jì)算該去除的樣本的log似然值，每一個(gè)樣本輪流替換，并計(jì)算平均log似然值:

③αi從0～3變化，使平均log似然值最大的αi為其最終估計(jì)值。αi確定后，我們可以利用完整的樣本集完成協(xié)方差的估計(jì)，見(jiàn)式（10）。最終的結(jié)果可以應(yīng)用在最大似然分類器（Maximum Likelihood Classification，MLC）中。

4 基于交叉驗(yàn)證的遙感影像精細(xì)分類

4.1 實(shí)驗(yàn)數(shù)據(jù)

（1）Indian Pine數(shù)據(jù)集（高光譜）

Indian Pine數(shù)據(jù)集是由 Airborne Visible/Infrared Imaging Spectrometer（AVIRIS）機(jī)載高光譜成像傳感器獲取的美國(guó)印第安納州影像。該影像空間分辨率為20 m，數(shù)據(jù)大小為145×145像元，包含400 nm～2 500 nm共220個(gè)波段。該數(shù)據(jù)集被分為12個(gè)類別，共 10 171個(gè)有標(biāo)記像素點(diǎn)，主要覆蓋農(nóng)作物和樹(shù)木等農(nóng)業(yè)用地，是最常見(jiàn)的標(biāo)準(zhǔn)數(shù)據(jù)集之一。本實(shí)驗(yàn)中去掉水汽吸收嚴(yán)重和噪聲較大的波段，共選取158個(gè)有效波段。

AVIRIS影像信息 表1

Indian Pine 數(shù)據(jù)集地面實(shí)況數(shù)據(jù)分布 表2

圖1　Indian Pine數(shù)據(jù)集影像

（2）九峰地區(qū)Quickbird（快鳥(niǎo)）影像（高分辨率）

九峰森林保護(hù)區(qū)占地333公頃，擁有植被580多種，其中喬木200余種，整個(gè)保護(hù)區(qū)林木綠化率達(dá)63.2%，林種配置合理，具有武漢地區(qū)最豐富的森林資源。

Quickbird影像多光譜星下點(diǎn)分辨率為 2.44 m，包括藍(lán)、綠、紅、近紅外4個(gè)通道，如表3所示。本文所采用九峰地區(qū)的Quickbird原始影像為 2 439×5 837，根據(jù)實(shí)驗(yàn)需要，截取其中物種相對(duì)集中和多樣的800× 800區(qū)域作為實(shí)驗(yàn)區(qū)域。該區(qū)域覆蓋8類地物，包括水、針葉闊葉混交林、針葉林、闊葉林、耕地、荒山、苗圃以及工業(yè)用地。

Quickbird影像光譜波段 表3

圖2　九峰地區(qū)彩色合成快鳥(niǎo)影像

4.2數(shù)據(jù)預(yù)處理

針對(duì)高光譜影像預(yù)處理，本文采用了基于流形學(xué)習(xí)的降維方法。流形學(xué)習(xí)是21世紀(jì)開(kāi)始在模式識(shí)別領(lǐng)域興起的一種非線性特征提取方法。該方法以微分幾何學(xué)中的黎曼流形為基礎(chǔ)，從高維樣本數(shù)據(jù)空間中找到低維流形結(jié)構(gòu)，該方法是基于數(shù)據(jù)分布的特征提取方法，適應(yīng)性要強(qiáng)于基于模型的方法，如主成分分析（Principal component analysis，PCA）、最小噪聲分離變換（Minimum Noise Fraction Rotation，MNF Rotation）等。流形學(xué)習(xí)最具代表性的兩種算法是等角特征映射算法（Isomap）［6］和拉普拉斯特征映射算法（Laplacian Eigenmaps）［7］，本文采用精度較高的等角特征映射算法進(jìn)行數(shù)據(jù)降維。

對(duì)具有220個(gè)波段的AVIRIS高光譜影像，去掉水汽吸收嚴(yán)重和噪聲較大的波段，保留其中158個(gè)波段。對(duì)其采用等角特征映射算法進(jìn)行降維處理，保留10個(gè)特征，作為分類的輸入。

4.3 分類實(shí)驗(yàn)

（1）高光譜影像分類

對(duì)Indian Pine數(shù)據(jù)集采用SVM和LOOCV算法分類。對(duì)于SVM分類器，分別選用徑向基（Radial basis function，RBF）和多項(xiàng)式（Polynomial）兩種核函數(shù)做了實(shí)驗(yàn)。我們選取的訓(xùn)練樣本數(shù)占有效像素的10%，將全部樣本（有標(biāo)記像素點(diǎn)）平均分成10份，選取其中1份作為訓(xùn)練樣本，其余作測(cè)試樣本，輪流實(shí)驗(yàn)，取平均精度為最終分類精度。

基于交叉驗(yàn)證的分類器參數(shù)優(yōu)化過(guò)程是在訓(xùn)練樣本中進(jìn)行的，即將樣本平均分成5份，其中4份做訓(xùn)練，1份做測(cè)試，交替實(shí)驗(yàn)。這一過(guò)程是在分類器參數(shù)不斷變化中進(jìn)行的。5次交叉驗(yàn)證的最高平均精度所對(duì)應(yīng)的分類器參數(shù)將被應(yīng)用到全部測(cè)試樣本中，我們認(rèn)為這組參數(shù)是適合此分類問(wèn)題的。

對(duì)于徑向基核函數(shù)，實(shí)驗(yàn)中默認(rèn)參數(shù)degree為2，只對(duì)其余3個(gè)參數(shù)估計(jì)，且范圍相對(duì)較小，步長(zhǎng)相對(duì)較大，這是因?yàn)閰⑴c估計(jì)的參數(shù)增加會(huì)消耗巨大的計(jì)算時(shí)間；對(duì)于LOOCV算法，只列出單次實(shí)驗(yàn)的參數(shù)估計(jì)情況，其總體精度為67.9677%。

分類精度和參數(shù)估計(jì)情況如表4～表6所示。

通過(guò)比較實(shí)驗(yàn)結(jié)果，對(duì)于SVM分類器RBF精度略高于POLYNOMIAL，而且更穩(wěn)定，不過(guò)POLYNOMIAL核函數(shù)的參數(shù)多，估計(jì)范圍較小，步長(zhǎng)較大，會(huì)影響精度；LOOCV精度最低。從參數(shù)估計(jì)表中可以明顯看出，對(duì)于任意帶參分類器，訓(xùn)練樣本不同，引起的最佳分類器參數(shù)的變化是很大的，而不是固定不變的。

SVM-RBF分類精度表 表4

SVM-POLYNOMIAL分類精度表 表5

LOOCV參數(shù)估計(jì)表（單次實(shí)驗(yàn)） 表6

（2）高分辨率影像分類

對(duì)九峰地區(qū)的Quickbird影像，所采用的分類器為SVM，核函數(shù)為 RBF。我們結(jié)合實(shí)地調(diào)查資料和GOOGLE地圖，人工從影像上選擇 6 773個(gè)訓(xùn)練樣本，精度的評(píng)定是在樣本集中進(jìn)行的，隨即選取其中20%的樣本做測(cè)試，其余樣本作為訓(xùn)練樣本，實(shí)驗(yàn)得到精度如表7所示。

分類精度/混淆矩陣（最優(yōu)C=9；最優(yōu)g=0.11） 表7

圖3　截取九峰地區(qū)精細(xì)分類效果圖

從實(shí)驗(yàn)結(jié)果中可以看出，總體上達(dá)到較高的精度，即使去除精度類別精度較高的水體和工業(yè)用地，僅針對(duì)植被，精度也達(dá)到了82.74%；值得一提的是闊葉林的類別精度較高，用戶精度和制圖精度分別為98.3%和97.2%；不過(guò)耕地、荒山、苗圃之間錯(cuò)分率較高。本實(shí)驗(yàn)區(qū)域的混交林中針葉林占的比重較高，混交林和針葉林混雜程度也較高，這是造成錯(cuò)分現(xiàn)象的一重要原因。

4 結(jié) 語(yǔ)

本文利用交叉驗(yàn)證的思想，分別采用支持向量機(jī)和留一交叉驗(yàn)證法對(duì)高光譜和高分辨率遙感影像分類，達(dá)到較高精度和良好效果。從實(shí)驗(yàn)結(jié)果中不難得出結(jié)論，在大多遙感影像精細(xì)分類的實(shí)踐中，我們利用訓(xùn)練樣本訓(xùn)練分類器，僅訓(xùn)練得到其未知參數(shù)（如SVM中w、b，MLC中的均值和方差）是不夠的，對(duì)固定參數(shù)（如SVM中的懲罰系數(shù)和MLC中的混合系數(shù)）的估計(jì)是提高分類精度的重要途徑。

此外，對(duì)高分辨率影像的實(shí)驗(yàn)只是在光譜上進(jìn)行的，沒(méi)有加入紋理信息，而紋理特征在高分辨率影像上是較為顯著的，光譜與紋理等輔助信息的結(jié)合是下一步研究的重點(diǎn)之一。

隨著遙感傳感器和植被精細(xì)分類技術(shù)研究的深入，我們需要在已有植被分類體系的基礎(chǔ)上，建立一個(gè)全新的、面向遙感的植被精細(xì)分類體系，體系的構(gòu)建可以對(duì)可分性提供預(yù)測(cè)，指導(dǎo)分類方法的選擇，為植被精細(xì)分類問(wèn)題提供依據(jù)。

［1］文沃根.高分辨率IKONOS衛(wèi)星影像及其產(chǎn)品的特性［J］.遙感信息，2001（1）：37～38.

［2］杜鳳蘭，田慶久，夏學(xué)齊等.面向?qū)ο蟮姆诸惙椒ǚ治雠c評(píng)價(jià)［J］.遙感技術(shù)與應(yīng)用，2004，19（1）：20～23.

［3］陳君穎，田慶久.高分辨率遙感植被分類研究［J］.遙感學(xué)報(bào)，2007，11（2）：221～227.

［4］Vapnik VN.Statistical Learning Theory［M］.NY：Springer，1998：732.

［5］Vapnik VN.The Nature of Statistical Learning Theory［M］. NY：Springer，2000（3）.

［6］J.B.Tenenbaum，V.de Silva，J.C.Langford.A Global Geometric Framework for Nonlinear Dimensionality Reduction［J］. Science，2000，290（5500）：2319～2323.

［7］Mikhail Belkin，Partha Niyogi.Laplacian Eigenmaps and Spectral Techniques for Embedding and Clustering［C］.Boston：MIT Press，2001：586～691.

［8］Jan Tigges，Tobia Lakes，Patrick Hostert.Urban vegetation classification：Benefits of multitemporal RapidEye satellite data［J］.Remote Sensing of Environment，2013，136：66～75.

［9］周源，方圣輝，李德仁.利用光譜角敏感森林的高光譜數(shù)據(jù)快速匹配方法［J］.武漢大學(xué)學(xué)報(bào)·信息科學(xué)版，2011，36（6）：687～690.

The Research of Remote Sensing Image Fine Classification Based on Cross Validation

Zhang Junqian1，Wang Wenjin2
（1.Chongqing survey institute，Chongqing 400020，China；
2.Chongqing vocational college architectural engineering，Chongqing 400072，China）

With the development of remote sensing technology，the remote sensing of multispectral and high resolution has become an important development trend.This put forward higher requirements on the classification method，also increased the degree of difficulty.Especially in the fine classification practice，there is similarly small difference between objects.Synonyms spectrum and foreign body in the same spectrum are common phenomenon.In this pater，we took hyperspectral image of Indian Pine and high resolution image of Jiufeng Wuhan as research objects.We used cross validation methods to estimate parameters of classifiers，and applied Support Vector Machine（SVM）and Leave-One-Out Cross Validation（LOOCV），approach to AVIRIS and Quickbird Images.Field survey data was used to estimate the accuracy which showed high accuracy and good effect.

hyperspectral；high resolution；SVM；LOOCV；cross validation

1672-8262（2016）02-88-06中圖分類號(hào)：P236

A