劉 峰 ， 張立民 ， 張瑞峰

（1.海軍航空工程學(xué)院 電子信息工程系，山東 煙臺(tái) 264001；2.解放軍92785部隊(duì) 河北 秦皇島 066200）

遙感是接收地表物質(zhì)波譜反射信息的一種被動(dòng)式遙感技術(shù)。隨著遙感技術(shù)朝著高空間分辨率、高光譜分辨率、高時(shí)相分辨率的迅猛發(fā)展，人們將獲取越來越龐大的遙感數(shù)據(jù)。作為遙感影像處理過程中的重要步驟，分類一直被從事遙感信息處理的廣大科技人員所重視。遙感影像分類方法包括統(tǒng)計(jì)模式識(shí)別、神經(jīng)網(wǎng)絡(luò)、遺傳算法、模擬退火算法等，上述方法大多要求已知先驗(yàn)概率或基于漸近理論，在實(shí)際應(yīng)用過程中，樣本的數(shù)目通常是有限的，上述方法都難以取得理想的效果?；诮Y(jié)構(gòu)風(fēng)險(xiǎn)最小化原則（SRM）的支持向量機(jī)（SVM）模型可以有效地解決小樣本條件下的學(xué)習(xí)問題，而遙感影像具有較強(qiáng)的不確定性，主要表現(xiàn)在同物異譜、同譜異物、時(shí)相變化以及地物單元空間分布的相互交錯(cuò)關(guān)系等方面，粗糙集理論是一種處理不精確、不完全和不確定信息的新型數(shù)據(jù)分析工具，1990年以后逐漸引起世界各國(guó)學(xué)者的廣泛關(guān)注，將粗糙集理論和支持向量機(jī)相結(jié)合已成為信息科學(xué)最活躍的研究領(lǐng)域之一，本文將基于粗糙集理論的支持向量機(jī)用于遙感影像的處理和分類，并進(jìn)行了仿真實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明計(jì)算量大大減少，并且提高了分類精度。

1 基于粗糙集理論的支持向量機(jī)

粗糙集是一個(gè)強(qiáng)大的數(shù)據(jù)分析工具，屬性約簡(jiǎn)是其理論的一個(gè)重要內(nèi)容，就是在保持分類能力小變的前提下，通過屬性約簡(jiǎn)，導(dǎo)出概念的分類規(guī)則[1]。而粗糙集理論的容錯(cuò)能力與泛化能力相對(duì)軟弱，且只能處理量化數(shù)據(jù)等問題，而這恰好是SVM算法的長(zhǎng)處。SVM基于SRM原則，它最小化泛化誤差的上界，而不是最小化訓(xùn)練誤差，保證了SVM具有更好的泛化性能[7]。由于RS理論與SVM算法在信息處理方面有很強(qiáng)的互補(bǔ)性，因此將RS的屬性約簡(jiǎn)作為前置系統(tǒng)，再根據(jù)RS方法預(yù)處理后的信息結(jié)構(gòu)，用SVM進(jìn)行數(shù)據(jù)訓(xùn)練與預(yù)測(cè)，實(shí)現(xiàn)粗糙集支持向量機(jī)（RS-SVM）。

1.1 粗糙集理論的屬性約簡(jiǎn)

屬性約簡(jiǎn)是粗糙集理論的核心內(nèi)容之一，人類在對(duì)一個(gè)事物做出判斷和決策時(shí)，并不是依據(jù)被判斷事物的全部特性，而是依據(jù)最主要的一個(gè)或幾個(gè)重要特點(diǎn)做出判斷。屬性約簡(jiǎn)就是根據(jù)這一原理，剔除冗余屬性，簡(jiǎn)化判斷規(guī)則[2]。

1.2 支持向量機(jī)

支持向量機(jī)是統(tǒng)計(jì)學(xué)習(xí)理論結(jié)構(gòu)風(fēng)險(xiǎn)最小化SRM原則的實(shí)現(xiàn)方法[3]，它是從線性可分情況下的最優(yōu)分類面發(fā)展而來的，基本思想如圖1所示。

圖1 兩類線性分類的最優(yōu)分類面Fig.1 Optimal separating surface of two classes linear classificatio

圖1中，實(shí)心點(diǎn)和空心點(diǎn)代表兩類樣本，H為分類線，H1和H2分別為過各類中離分類線最近的樣本且平行于分類線的直線，它們之間的距離叫做分類間隔（margin）。所謂最優(yōu)分類線就是要求分類線不但能使兩類正確分開（訓(xùn)練錯(cuò)誤率為0，而且使分類間隔最大。對(duì)分類線方程（w·x）+b=0進(jìn)行標(biāo)準(zhǔn)化處理，使得對(duì)線性可分的樣本集

滿足 yi（（w·x）+b）≥1，i=1，…，l，此時(shí)分類間隔等于 2/‖w‖，使間隔最大等價(jià)于使最小，訓(xùn)練樣本正確可分，且使‖w‖/2最小的分類面就是最優(yōu)分類面，位于H1和H2的訓(xùn)練樣本點(diǎn)稱作支持向量。

在線性可分條件下構(gòu)建最優(yōu)分類面，就轉(zhuǎn)化為下面的二次規(guī)劃問題：

但是在實(shí)際應(yīng)用時(shí)，大多數(shù)情況下并不能滿足線性可分性，即使問題是線性可分的，由于各種原因，訓(xùn)練集中也可能會(huì)出現(xiàn)“野點(diǎn)子”，比如一個(gè)標(biāo)錯(cuò)的點(diǎn)，可能會(huì)對(duì)最終的分類超平面產(chǎn)生嚴(yán)重影響。事實(shí)上，對(duì)于線性不可分的情況，可以在條件中增加一個(gè)松弛項(xiàng)ξi≥0，將約束放寬為

此時(shí)目標(biāo)函數(shù)變?yōu)?/p>

其中，C為可調(diào)參數(shù)，表示對(duì)錯(cuò)誤的懲罰程度，C越大懲罰越重。上述模型稱為“軟間隔”線性支持向量機(jī)，這是一個(gè)二次規(guī)劃問題，其最優(yōu)解為下面Lagrange函數(shù)的鞍點(diǎn)

其中，z=yi（w·xi+b）+ξi-1，根據(jù) KKT 定理，構(gòu)建最優(yōu)超平面的問題可轉(zhuǎn)化為下面的對(duì)偶二次規(guī)劃問題：

最終的分類函數(shù)為

對(duì)于非線性SVM問題，基本思想是通過非線性變換將輸入變量x轉(zhuǎn)化到某個(gè)高維空間中，然后在變換空間求最優(yōu)分類面。這種思想一般不易實(shí)現(xiàn)，但上面的對(duì)偶問題只涉及訓(xùn)練樣本之間的內(nèi)積運(yùn)算，即在高維空間只需要進(jìn)行內(nèi)積運(yùn)算，根據(jù)泛函的有關(guān)理論，只要一種核函數(shù) K（xi，xj），滿足 Mercer條件[4-5]，它就對(duì)應(yīng)某一變換空間中的內(nèi)積。核函數(shù)的引入使SVM得以實(shí)用化，可以用K（xi，xj）間接地計(jì)算特征空間中輸入向量的像之間的內(nèi)積，從而避免維數(shù)災(zāi)難。支持向量機(jī)中常用的核函數(shù)有線性核函數(shù)、多項(xiàng)式核函數(shù)、徑向基核函數(shù)等。

1.3 粗糙集支持向量機(jī)

基于RS預(yù)處理的SVM分類預(yù)測(cè)系統(tǒng)框圖如圖2所示。

圖2 基于RS預(yù)處理的SVM分類預(yù)測(cè)系統(tǒng)框圖Fig.2 SVM classification prediction system diagram based on RS preprocessing

首先對(duì)訓(xùn)練樣本集的條件屬性值進(jìn)行量化，量化后的多屬性決策表是一張二維表格，每一行描述一個(gè)對(duì)象，每一列描述對(duì)象的一種屬性，屬性約簡(jiǎn)包括條件屬性簡(jiǎn)化和決策規(guī)則簡(jiǎn)化，逐一剔除冗余屬性和重復(fù)信息，直到?jīng)Q策表最簡(jiǎn)為止，然后用約簡(jiǎn)后的訓(xùn)練樣本集對(duì)SVM進(jìn)行學(xué)習(xí)和訓(xùn)練，得到訓(xùn)練模型，再對(duì)相應(yīng)屬性測(cè)試樣本集進(jìn)行測(cè)試，輸出分類結(jié)果[6-7]。此系統(tǒng)具有兩個(gè)優(yōu)點(diǎn)：1）首先運(yùn)用RS方法對(duì)數(shù)據(jù)進(jìn)行屬性約簡(jiǎn)，消除冗余信息，使SVM輸入端的數(shù)據(jù)量大大減小，提高系統(tǒng)運(yùn)行的速度。2）把SVM作為后置系統(tǒng)，有較好的抑制噪聲干擾的能力，且具有良好的泛化能力[8]。

2 基于RS-SVM的遙感影像分類的實(shí)驗(yàn)仿真

遙感影像分類一直是遙感應(yīng)用研究中的一個(gè)熱點(diǎn)問題，涉及遙感、人工智能和統(tǒng)計(jì)理論等學(xué)科，快速有效地對(duì)遙感影像進(jìn)行分類具有重要的價(jià)值。眾所周知，遙感影像數(shù)據(jù)量非常大，對(duì)其進(jìn)行處理和分類需要巨大的計(jì)算量，而且由于噪聲數(shù)據(jù)的存在，也使得分類準(zhǔn)確率降低，RS-SVM不僅可以降低數(shù)據(jù)維數(shù)，降低計(jì)算量，而且具有良好的抗干擾能力，因此本文將其用于遙感影像的分類。為了驗(yàn)證此方法的可行性和有效性，采用了UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫的遙感影像數(shù)據(jù)庫，共4個(gè)波段82×100個(gè)像素的遙感數(shù)據(jù)，每個(gè)數(shù)據(jù)由一個(gè)3×3區(qū)域的像素值組成，類別由中心像素確定，此數(shù)據(jù)庫有4 435個(gè)訓(xùn)練集數(shù)據(jù)和2 000個(gè)測(cè)試集數(shù)據(jù)。

實(shí)驗(yàn)采用由挪威科技大學(xué)計(jì)算機(jī)與信息科學(xué)系和波蘭華沙大學(xué)研究所合作開發(fā)的Rosetta軟件包進(jìn)行對(duì)數(shù)據(jù)的約簡(jiǎn)處理。支持向量機(jī)處理采用LIBSVM軟件包。根據(jù)RS-SVM分類預(yù)測(cè)系統(tǒng)框圖，首先對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行屬性約簡(jiǎn)，36個(gè)屬性剔除了29個(gè)冗余屬性，剩下7個(gè)對(duì)分類起主要作用的核屬性，分別為第 1，2，10，12，25，27，35 個(gè)屬性，再加上樣本區(qū)域的中心屬性構(gòu)成樣本屬性的一個(gè)約簡(jiǎn)，然后按約簡(jiǎn)后的屬性形成最小屬性訓(xùn)練樣本集，應(yīng)用SVM對(duì)最小屬性訓(xùn)練樣本集進(jìn)行訓(xùn)練，最后對(duì)相應(yīng)屬性測(cè)試樣本集進(jìn)行分類，輸出分類結(jié)果。約簡(jiǎn)前后分類預(yù)測(cè)的結(jié)果比較如表1所示，為達(dá)到比較的目的，均選用徑向基核函數(shù)，懲罰系數(shù)C=50。

表1 約簡(jiǎn)前后分類結(jié)果比較Tab.1 Classification results before and after reduction

通過分類結(jié)果的比較，可以看出屬性約簡(jiǎn)后，支持向量減少了大約10%，降低了計(jì)算量，同時(shí)分類正確率得到了一定的提高，由此可見，RS-SVM模型不僅減少了屬性的數(shù)量，提取了主要的特征屬性，而且降低了SVM的復(fù)雜性和訓(xùn)練時(shí)間，提高了學(xué)習(xí)能力和分類能力，可以有效地對(duì)遙感影像進(jìn)行預(yù)測(cè)和分類，與傳統(tǒng)方法相比具有更大的優(yōu)勢(shì)。

3 結(jié) 論

文中將粗糙集支持向量機(jī)應(yīng)用于遙感影像分類，實(shí)驗(yàn)結(jié)果表明這種模型是有效可行的，為遙感影像分類提供了一條新的途徑，但仍有很大的研究空間，在粗糙集約簡(jiǎn)算法以及與模糊支持向量機(jī)結(jié)合等方面仍有較大的研究?jī)r(jià)值。

[1]王國(guó)胤.Rough集理論與知識(shí)獲取[M].西安：西安交通大學(xué)出版社，2001.

[2]Chan C C.A rough set approach to attribute generalization in data mining[J].Journal of Information Sciences，1998（107）：169-176.

[3]鄧乃揚(yáng)，田英杰.數(shù)據(jù)挖掘中的新方法：支持向量機(jī)[M].北京：科學(xué)出版社，2004.

[4]Burges C J C.A tutorial on support vector machines for pattern recognition [C]//Data Mining and Dnowledge Discover，1998.

[5]HSU Chih-wei，CHANG Chih-chung，LIN Chih-jen.A practical guide to support vector classification[EB/OL].http：//home.eng.iastate.edu/～julied/classes/ee547/Handouts/SVMuseguide.pdf.

[6]LI Ye，CAI Yun-ze，LI Yuan-gui，et al.Rough set method for SVM data processing[C]//Proceeding of the IEEE Conference on Cybernetics and Intelligent System Siagap-ore，2004.

[7]Polkowski L，Tsumoto S，LinT Y.Rough set methods and applications[M].Physica-Verlag， Heidelberg，2000.

[8]ZHAO Jun，WANG Guo-yin.Research on system uncertainty measures based on rough set theory[C]//Proceedings of the RSKT2006，Chong-qing，2006：227-232.

[9]孫如英，韓榮蒼.基于FCM的模糊粗糙屬性約簡(jiǎn)[J].現(xiàn)代電子技術(shù)，2009（17）：194-196.

SUN Ru-ying，HAN Rong-cang.Attribute reduction approach based on fuzzy rough set and FCM[J].Modern Electronics Technique，2009（17）：194-196.