譚 熊，余旭初，秦志遠，張鵬強，魏祥坡

信息工程大學地理空間信息學院，河南 鄭州450001

1 引 言

20世紀80年代出現(xiàn)的高光譜遙感技術(shù)，將圖像和光譜相結(jié)合，克服了傳統(tǒng)光學遙感在地物屬性信息精細探測方面的不足［1］。高光譜遙感的優(yōu)勢主要表現(xiàn)為對地觀測時能夠獲取眾多連續(xù)波段的光譜影像，從而實現(xiàn)對地面目標的精細描述，達到識別地物的目的［2］。

高光譜影像分類是高光譜影像處理與分析以及廣泛應用的關鍵問題和核心技術(shù)。然而，高光譜影像數(shù)據(jù)的高維小樣本、波段間的高相關性以及非“線性可分”等特點制約著高光譜影像分類技術(shù)的發(fā)展與應用。訓練樣本的不足使得傳統(tǒng)統(tǒng)計模式分類中參數(shù)估計的可靠性成為一個挑戰(zhàn)，容易出現(xiàn)“維數(shù)災難”現(xiàn)象［4］。

為了提高數(shù)據(jù)處理效率，確保分類精度，通?？刹捎脙煞N有效策略：一是在分類處理前，對原始高光譜影像數(shù)據(jù)進行特征降維處理即光譜特征選擇與提?。?］；二是采用以支持向量機（support vector machine，SVM）為主的核方法［7］?？傮w上講，這兩種不同的分類策略在不同的應用場合均取得了較好的成果，其中以SVM為主的核方法越來越成為高光譜影像分類的重點。盡管如此，SVM仍存在一定的不足之處，如核函數(shù)必須滿足Mercer定理、模型訓練時間較長、參數(shù)選擇較困難、結(jié)果不具有概率統(tǒng)計意義以及稀疏性有限等。

針對這些問題，文獻［9］在稀疏貝葉斯分類模型的基礎上，提出利用相關向量機（relevance vector machine，RVM）進行高光譜影像分類，得到了相對稀疏的、具有概率統(tǒng)計意義的分類結(jié)果，但其分類精度仍低于SVM分類器。另外，高斯過程（Gaussian process，GP）［10］是一種幾乎與支持向量機（SVM）同時出現(xiàn)的基于核函數(shù)的機器學習算法。相較于SVM，高斯過程是在貝葉斯框架下的非參數(shù)概率模型，核函數(shù)參數(shù)可自適應獲得，且其輸出結(jié)果具有一定的概率意義，主要用于數(shù)據(jù)降維、回歸與分類等方面。但其在處理大樣本數(shù)據(jù)時仍存在計算效率低、內(nèi)存耗費大和稀疏性弱的問題。文獻［11］通過最小化KL散度來達到稀疏數(shù)據(jù)子集選擇的目的；文獻［12—14］利用信息原理中的貪婪準則來選擇訓練樣本，提出了信息向量機（informative vector machine，IVM）。 目 前，IVM 在 手 寫 數(shù) 字 識別［12］、人臉識別［15］和神經(jīng)活動分類［16］等方面得到一定的應用。

本文在高斯過程回歸模型的基礎上，利用假定密度濾波算法（assume density filtering，ADF）將分類中的概率噪聲模型逼近高斯噪聲模型，采用最大化邊緣似然函數(shù)自適應獲得模型參數(shù)，通過選擇活動子集（active subset）中信息向量的數(shù)量來進行模型的訓練，達到稀疏的目的，采用一系列的兩類IVM分類器組合解決多類分類問題，并將其應用于高光譜影像分類。通過ROSIS高光譜影像分類試驗，驗證了基于IVM的高光譜影像分類方法的優(yōu)勢。

2 高斯過程回歸模型

2．1 高斯過程

高斯過程是指一系列隨機變量的集合，集合中任意有限數(shù)量的隨機變量均服從聯(lián)合高斯分布。簡而言之，高斯過程是把多元高斯分布推廣到無限多個隨機變量的形式，即多元高斯分布由均值向量和協(xié)方差矩陣確定，而高斯過程由均值函數(shù)和協(xié)方差函數(shù)確定。

如果一個隨機變量的集合x＝（x1，x2，…，xN）的聯(lián)合分布服從均值為μ，協(xié)方差矩陣為Σ的高斯分布即x＝（x1，x2，…，xN）～N（μ，Σ），那么將隨機變量以函數(shù)的形式表示為一個隨機過程f（x），則可以通過隨機過程f（x）的均值函數(shù)m（x）和協(xié)方差函數(shù)或核函數(shù)k（x，x′）來完全確定高斯過程

式中，m（x）＝E（f（x））；k（x，x′）＝cov［f（x），f（x′）］。

2．2 高斯過程回歸模型

給定一個訓練樣本集 D＝｛xn，yn，設輸入數(shù)據(jù)為X＝［x1x2… xN］T，輸出觀察值為y＝［y1y2…yN］T，考慮如下的回歸模型

式中，ε為噪聲；f（x）＝wTφ（x）表示隱變量函數(shù)，φ（x）為映射函數(shù)，f表示f（x）函數(shù)的值，由所有樣本數(shù)據(jù)組成的隱變量函數(shù)集為f＝［f1（x1）f2（x2）… fN（xN）］T。

在回歸模型中，一般認為輸出觀測值是由函數(shù)值f和噪聲ε組成的，即式（2）的形式。在式（2）中，假設噪聲ε是服從0均值，σ20方差的高斯分布，即

同時假設訓練樣本服從獨立同分布，那么訓練樣本集的似然函數(shù)即y關于f的條件概率密度可間接地用噪聲的高斯分布來表示

一般的，隱變量f是一個高斯過程。根據(jù)高斯過程的定義，并將其均值函數(shù)設為0，則隱變量集f的先驗分布可表示為

式中，θ為協(xié)方差函數(shù)的參數(shù)；K為協(xié)方差矩陣或核矩陣。

根據(jù)貝葉斯公式，隱變量集f和輸出觀測值y的聯(lián)合分布可表示為

2．3 參數(shù)學習和數(shù)據(jù)預測

一般情況，高斯過程回歸問題可歸結(jié)為訓練和測試兩個步驟。訓練是指利用訓練樣本數(shù)據(jù)根據(jù)最大化邊緣似然函數(shù)進行核參數(shù)θ的學習，自適應地選擇核參數(shù)θ的過程；測試是指當確定核參數(shù)θ后，利用測試樣本數(shù)據(jù)集根據(jù)后驗概率對測試數(shù)據(jù)的輸出進行預測的過程。

（1）參數(shù)學習。通過對式（5）的聯(lián)合分布進行積分，可得邊緣似然函數(shù)

最大化似然p（y｜X，θ），得到包含核參數(shù)θ的目標函數(shù)為

式中，μ＝ΣBy；Σ＝（B＋K－1）－1。

同時，根據(jù)隱變量f的先驗假設和多元高斯分布的性質(zhì)可得到［f f（x）］的聯(lián)合分布，在測試數(shù)據(jù)x處，隱變量f（x）的分布可通過［f f（x）］的聯(lián)合分布與后驗分布的積分求得

式中，σ2（x）＝k（x，x）＋kTK－1（Σ－K）K－1k為后驗協(xié)方差函數(shù)；μ（x）＝kTK－1ΣBy為后驗均值函數(shù)。

高斯過程回歸模型的主要優(yōu)點就是一旦給出

在實際應用中，一般將最大值問題轉(zhuǎn)化為最小值問題進行求解，即將式（7）的最大化邊緣似然函數(shù)轉(zhuǎn)化為最小化負對數(shù)邊緣似然函數(shù)。

（2）數(shù)據(jù)預測。在給定最優(yōu)核參數(shù)θML的條件下，預測的目的就是給定測試數(shù)據(jù)x，確定隱函數(shù)f（x）的分布，即在x處預測f（x）的函數(shù)值。

根據(jù)貝葉斯公式以及多元高斯分布的性質(zhì)，聯(lián)合式（5）和式（6）可得f的后驗概率了邊緣似然p（y｜X，θ），則協(xié)方差函數(shù)（或核函數(shù)）參數(shù)θ可通過最大化邊緣似然函數(shù)估計得到，避免了像SVM、RVM需要通過交叉驗證選擇核函數(shù)參數(shù)計算量較大的問題。然而，高斯過程回歸模型中的一個重要假設條件是噪聲模型必須服從高斯分布，否則，邊緣似然函數(shù)和后驗概率密度都無法通過積分求解。因此，為了能夠使高斯過程適用于非高斯噪聲模型，學者們在這方面展開了大量的研究工作，提出了一系列的近似逼近方法，比較典型的有變分法［17］、馬爾科夫鏈蒙特卡洛近似法（Markov chain Monte Carlo，MCMC）［18］、拉普拉斯近似法（Laplace approximation，LA）［19］、期望傳播法（expectation propagation，EP）［20］和假定密度濾波（assume density filtering，ADF）［11］等。本文采用ADF近似逼近法進行噪聲模型的轉(zhuǎn)換。

3 信息向量機

3．1 假定概率濾波近似

ADF近似法的基本思想是：每次選擇一個訓練樣本數(shù)據(jù)后，計算改變后的后驗概率密度，使其近似服從某一高斯分布，并利用該高斯分布代替后驗概率密度。

ADF算法將訓練樣本數(shù)據(jù)分為兩個集合：一個是活動子集I，表示已經(jīng)選擇的訓練樣本數(shù)據(jù)，主要用于計算近似高斯分布；另一個是非活動子集J，表示未被選擇的訓練樣本數(shù)據(jù)。初始化時，I為空集，而J為所有訓練樣本數(shù)據(jù)。假設在選擇了第i個訓練樣本后，近似逼近qi（f）為

式中，N（mI｜fI，）為活動子集I中訓練樣本數(shù)據(jù)近似的噪聲模型，包含參數(shù)和，該參數(shù)可通過順序序列選擇獲得。初始近似可表示為q0（f）＝t0（f）＝N（f｜0，K）。

ADF近似真實后驗的過程就是從非活動子集J中選擇一個訓練樣本數(shù)據(jù)ni到活動子集I中，加入ni后的后驗分布為

式中，Zi為歸一化常數(shù)約束，其表達式為

通過最小化qi（f）和＾p（f）之間的 KL散度，可得到新的近似qi（f）

式中，μi和Σi分別為近似qi（f）的均值向量和協(xié)方差矩陣，其更新表達式為

通過上述分析可知，利用ADF算法可將任何噪聲模型近似逼近高斯噪聲模型，利用高斯過程回歸模型進行求解。

3．2 高斯過程分類

在高斯過程分類問題中，噪聲模型一般不具有高斯分布的形式。因此，需要將高斯過程分類問題轉(zhuǎn)化為回歸問題進行求解。本文采用累積高斯函數(shù)進行概率轉(zhuǎn)換，得到高斯過程分類的概率噪聲模型（probit noise model）為

式中，λ為控制曲線傾斜度的參數(shù)；φ（z）為累積高斯函數(shù)

將式（11）的概率噪聲模型代入式（8）可得歸一化常數(shù)Zi

式中，μi－1，n為均值μi－1的第n 個元素；ζi－1，n為協(xié)方差陣Σi－1中第n個對角元素；φ（λyn（fn＋b））的表達式為

將式（14）代入式（13），并交換積分的順序，可得歸一化常數(shù)約束為

式中

由此可得如式（9）和式（10）的近似逼近qi（f）中均值向量和協(xié)方差矩陣更新公式，其中的參數(shù)分別為

式中，gin為gi的第n個元素；γin為Г的第n個對角線元素；vin為對角矩陣（gigTi－2Γi）的第n個對角線元素。

那么近似高斯分布為 N（mn｜fn，），其中mn和βn的表達式為

則分類問題中的邊緣似然函數(shù)可表示為如下形式

3．3 信息向量機

在ADF近似算法的高斯過程分類中，所有的訓練樣本數(shù)據(jù)都被用于確定模型學習的參數(shù)，若訓練樣本總數(shù)為N，波段數(shù)為d，則在計算核矩陣及其逆的過程中，計算的復雜度為O（N3）；同時，在核參數(shù)θ的估計中，需要求邊緣似然對θ的梯度，這也將導致O（N3）的計算復雜度和O（N2）的內(nèi)存耗費。當訓練樣本數(shù)量N較大時，將嚴重影響計算效率。本文采用文獻［12］提出的通過選擇活動子集中的信息向量數(shù)量來進行模型的訓練即信息向量機（IVM）。IVM能夠?qū)DF近似算法的計算復雜度從O（N3）降低到O（d2N），內(nèi)存耗費從O（N2）降低到O（d N）；由于d?N，因此IVM方法極大地提高了計算效率、降低了內(nèi)存耗費。

3．3．1 活動子集選擇

IVM通過最大后驗微分熵選擇下一個將被包含于活動子集中的訓練樣本。針對第i個訓練樣本，近似逼近qi（f）的熵表示為

式中，〈·〉qi（f）表示在qi（f）分布下的數(shù)學期望。根據(jù)高斯分布熵的性質(zhì)，并聯(lián)合式（10），可得后驗微分熵為

通過最大化式（21）來確定某一訓練樣本是否被選擇包含于活動子集中。

同時，為了保存整個后驗協(xié)方差矩陣Σi－1，需要O（N2）的內(nèi)存空間，為了降低大量的內(nèi)存耗費，需要尋找一個有效的方法來稀疏表示Σi－1。考慮后驗協(xié)方差矩陣Σi的特殊結(jié)構(gòu)，即Σi可通過原始先驗協(xié)方差矩陣Σ0＝K的連續(xù)外積得到

式中，Mi的第k行為表示包含的第k 個訓練樣本；si－1，ni為Σi－1的第ni列。si－1，nk可根據(jù)Mi－1和K計算得到式中，kni＝s0，ni表示K＝Σ0的第ni列向量；ai－1，ni表示矩陣Mi－1的第ni個列向量。這樣，利用列或行向量來代替矩陣存儲于內(nèi)存中，內(nèi)存需求將大大降低，變?yōu)镺（（i－1）N）。

另外，由于后驗協(xié)方差矩陣Σi為對角矩陣，其形式可表示ζi＝diag（Σi），以對角形式表示的更新公式和后驗均值向量的更新公式分別為

以上兩個更新公式的復雜度為O（N）。因此，通過選擇活動子集中一定數(shù)量的信息向量以及協(xié)方差矩陣的對角化表示這兩種策略，能較大程度降低計算效率和內(nèi)存需求。

算法1：IVM分類中活動子集信息向量數(shù)量選擇。

步驟1：初始化。設活動子集中信息向量數(shù)量為d；m＝0；β＝0；設ζ0＝diag（K）；μ＝0；非活動子集為所有訓練樣本數(shù)據(jù)J＝｛1，2，…，N｝；活動子集為空集I＝?，S0為空矩陣，i＝1，2，…，d，n∈J。

步驟2：當i＝1時，遍歷所有的訓練樣本n∈J，根據(jù)式（17）計算gin和γin；根據(jù)式（21）計算ΔHin。

步驟3：計算最大后驗微分熵ni＝argmaxn∈JΔHin。

步驟4：根據(jù)式（19）更新mn和βn。

步驟5：根據(jù)式（23）、式（24）和式（25）計算ζi和μi。

步驟7：將第ni個數(shù)據(jù)添加到活動子集中，同時在非活動子集中去掉ni個數(shù)據(jù)點。

步驟8：當i＝2，3，…，d時，重復步驟2至步驟7，直到選出d個數(shù)據(jù)包含于活動子集中。

3．3．2 參數(shù)的優(yōu)化

IVM中核函數(shù)參數(shù)θ可以通過最大化邊緣似然函數(shù)自適應地獲取，這種方法被稱為第Ⅱ類型邊緣似然最大化（marginal likelihood maximisation，MLM）方法。當噪聲模型為非高斯噪聲模型時，需要通過ADF算法將其近似高斯分布，得到式（20）形式。IVM算法利用活動子集中的訓練樣本代替所有訓練樣本進行高斯近似，可得邊緣似然函數(shù)為

核函數(shù)參數(shù)θ包含于KI中，可采用尺度共軛梯度法（scaled conjugate gradient，SCG）［21］最大化式（26）的邊緣似然函數(shù)即可得到最優(yōu)的θ。

算法2：IVM參數(shù)θ優(yōu)化。

步驟1：設活動子集中訓練樣本個數(shù)為d，迭代次數(shù)為T。

步驟2：當i＝1，2，…，T 時，通過算法1選擇活動子集的訓練樣本。

步驟3：利用式（26）計算邊緣似然函數(shù)，通過SCG算法估計核函數(shù)參數(shù)θ。

4 試驗與分析

基于SVM和RVM的高光譜影像分類方法是目前研究較多且分類效果較好的分類方法。因此，本文采用SVM、RVM與IVM分類器進行高光譜影像分類性能比較分析。

4．1 試驗數(shù)據(jù)

試驗數(shù)據(jù)采用德國宇航中心研制的反射式光學系統(tǒng)成像光譜儀ROSIS成像光譜儀獲取的意大利帕維亞城市中心（Pavia center）的高光譜影像，影像大小為1096像素×715像素，空間分辨率1．3 m，原始數(shù)據(jù)共115個波段，去除較低信噪比的波段后余下102個波段進行試驗。影像中包含水、樹木等9種地物類型，由波段15、89、52組成的數(shù)據(jù)立方體如圖1（a）所示，樣本分布如圖1（b）所示，采集的樣本數(shù)量信息如表1所示。

表1 ROSIS影像樣本信息Tab．1 Samples information of ROSIS imagery

4．2 核函數(shù)的選擇

在核方法中，常用的核函數(shù)（或協(xié)方差函數(shù)）有線性核函數(shù)（linear）、徑向基核函數(shù)（RBF）和多層感知器核函數(shù)（multi－layer perceptron，MLP）等。試驗過程中，選用這3種核函數(shù)進行比較分析，選擇最優(yōu)核函數(shù)進行后續(xù)分類性能比較試驗。為便于比較分析，信息向量的數(shù)量d固定，設置為100。Pavia center高光譜數(shù)據(jù)不同核函數(shù)IVM分類的訓練時間、測試時間和分類錯誤率如表2所示，表中數(shù)字加粗部分為3種核函數(shù)所得結(jié)果的最優(yōu)值。

表2 不同核函數(shù)的IVM分類結(jié)果Tab．2 IVM Classification result with different kernel function

從表2的試驗結(jié)果分析可知：

（1）線性核函數(shù)的模型訓練時間最短，但分類錯誤最高。

（2）MLP核函數(shù)的分類錯誤最低，但模型訓練時間最長。

（3）RBF核函數(shù)在模型訓練時間和分類錯誤率上都在線性核函數(shù)和MLP核函數(shù)之間，但分類錯誤率與MLP相差較小。

（4）3種核函數(shù)的測試時間基本一致且都較短。

因此，綜合考慮以上試驗結(jié)果，本文選擇RBF核函數(shù)進行后續(xù)的活動子集信息向量數(shù)量的選擇和分類性能比較試驗。

4．3 信息向量數(shù)量的選擇

選擇RBF核函數(shù)，設置活動子集信息向量數(shù)量最大為500個，當樣本數(shù)量少于500個時，將訓練樣本數(shù)量設置為最大信息向量數(shù)量。ROSIS高光譜影像數(shù)據(jù)不同信息向量數(shù)量與模型訓練時間和分類錯誤率如圖2所示。

通過對圖2高光譜影像數(shù)據(jù)不同信息向量數(shù)量條件下的IVM模型訓練速度和分類錯誤率試驗結(jié)果的綜合分析可知，隨著信息向量數(shù)量的不斷增加，模型訓練速度急劇增加，分類錯誤率快速減少，且經(jīng)過少量的信息向量數(shù)量后逐漸趨于平穩(wěn)，達到最優(yōu)。

4．4 分類性能比較

在確定核函數(shù)和活動子集中信息向量數(shù)量的條件下，通過與SVM、RVM分類試驗，比較分析IVM的分類性能。

在SVM和RVM分類器中，懲罰系數(shù)和核函數(shù)參數(shù)的選擇一般都是通過交叉驗證的方法獲取。因此，為了增加試驗結(jié)果的可比性，需統(tǒng)一設置參數(shù)。首先根據(jù)不同信息向量數(shù)量的試驗結(jié)果，選擇高光譜數(shù)據(jù)的最優(yōu)信息向量數(shù)量，然后進行高光譜影像的IVM分類，通過最大化邊緣似然函數(shù)估計得到最優(yōu)的RBF核函數(shù)參數(shù)σIVM，再將SVM和RVM的核函數(shù)參數(shù)設置為σIVM進行分類試驗。其中，在進行SVM試驗時，通過2－折交叉驗證在0．2×i，i＝｛1，2，…，10｝范圍內(nèi)選擇最優(yōu)懲罰系數(shù)C。SVM分類器采用序列最小優(yōu)化算法（SMO）進行模型學習［22］，RVM分類器采用快速序列稀疏貝葉斯學習算法（sequential sparse Bayesian learning algorithm，SSBLA）進行模型的學習［9］。SVM、RVM和IVM的多類分類構(gòu)造策略均采用一對余法。

ROSIS高光譜影像數(shù)據(jù)的IVM與SVM、RVM分類結(jié)果如表3所示。表中，基向量數(shù)量分別表示支持向量、相關向量和信息向量的數(shù)量；訓練時間表示利用訓練樣本進行模型學習的時間；測試時間為對測試樣本數(shù)據(jù)進行預測的時間；錯誤率為錯誤分類的樣本數(shù)據(jù)占全部測試樣本數(shù)據(jù)的比例。另外，在SVM分類器中，參數(shù)σ和訓練時間一欄括號中的數(shù)字表示最優(yōu)懲罰系數(shù)C以及交叉驗證時間。

表3 ROSIS影像IVM與SVM、RVM分類比較Tab．3 IVM，SVM and RVM classification comparison of the ROSIS imagery

圖1 ROSIS影像數(shù)據(jù)立方體和樣本分布Fig．1 Data cube and samples distribution of ROSIS imagery

圖2 ROSIS影像不同信息向量數(shù)量IVM分類結(jié)果Fig．2 IVM classification result with different number of informative vector for ROSIS imagery

ROSIS高光譜影像數(shù)據(jù)的IVM分類結(jié)果如圖3所示。

通過以上試驗結(jié)果分析可得出如下結(jié)論：

（1）高光譜影像SVM、RVM和IVM分類錯誤率都較低。

（2）即使在固定核函數(shù)參數(shù)σ的條件下，SVM交叉驗證選擇最優(yōu)懲罰系數(shù)的時間也較長。

（3）在相同核函數(shù)參數(shù)σ的條件下，IVM分類器的基向量數(shù)量少于SVM和RVM，稀疏性更強；IVM模型訓練時間更短，效率更高；IVM分類器的分類錯誤率更低，精度更高。

（4）高光譜影像數(shù)據(jù)的IVM分類結(jié)果較好，且所分結(jié)果地物類別基本接近真實地表覆蓋。

圖3 ROSIS影像分類結(jié)果比較Fig．3 The comparison of ROSIS imagery classification result

5 結(jié)束語

本文提出了一種基于信息向量機的高光譜影像分類方法。針對分類問題中的概率噪聲模型，采用假定概率濾波法近似逼近某一高斯噪聲模型，將分類問題轉(zhuǎn)化為高斯回歸模型，并通過微分后驗熵得分來選擇活動子集中信息向量數(shù)量進行模型學習，達到稀疏的目的，采用一對余的多類分類處理進行高光譜影像分類處理。通過ROSIS高光譜影像試驗表明，IVM分類器基向量數(shù)量少、稀疏性強；訓練時間短、效率高；分類錯誤率低、可靠性高。

本文只是將高光譜影像作為一個向量數(shù)據(jù)的集合，利用其光譜特征進行分類處理。實際上，由于地物分布的連續(xù)性和同質(zhì)性，高光譜影像中還包含如紋理特征、上下文特征和形狀結(jié)構(gòu)特征等多種空間信息，如何將這些空間特征信息與光譜特征信息相結(jié)合進行分類處理將是下一步研究的重點。

［1］ YANG Guopeng，YU Xuchu，F(xiàn)ENG Wufa，et al．The Development and Application of Hyperspectral RS Technology［J］．Bulletin of Surveying and Mapping，2008（10）：1－4．（楊國鵬，余旭初，馮伍法，等．高光譜遙感技術(shù)的發(fā)展與應用現(xiàn)狀［J］．測繪通報，2008（10）：1－4．）

［2］ TAN Xiong，YU Xuchu，ZH ANG Pengqiang，et al．A Classification Algorithm for Hyperspectral Images Based on Fuzzy Mixed Pixel Decomposition［J］．Journal of Geomatics Science and Technology，2013，30（3）：279－283．（譚熊，余旭初，張鵬強，等．一種基于模糊混合像元分解的高光譜影像分類方法［J］．測繪科學技術(shù)學報，2013，30（3）：279－283．）

［3］ YU Xuchu，F(xiàn)ENG Wufa，YANG Guopeng，et al．Analysis and Application for Hyerspectral Imagery［M］．Beijing：Science Press，2013．（余旭初，馮伍法，楊國鵬，等．高光譜影像分析與應用［M］．北京：科學出版社，2013．）

［4］ TAN Xiong．Research on Classification Techniques for Hyperspectral Imagery Based on Combined Spectral and Spatial Features［D］．Zhengzhou：Information Engineering University，2014．（譚熊．聯(lián)合光譜和空間特征的高光譜影像分類技術(shù)研究［D］．鄭州：信息工程大學，2014．）

［5］ SUN Weiwei．Theory and Methods of Dimensionality Reduction Using Manifold Learning for Hyperspectral Imagery［J］．Acta Geodaetica et Cartographica Sinica，2014，43（4）：439．（孫偉偉．基于流形學習的高光譜影像降維理論與方法研究［J］．測繪學報，2014，43（4）：439．）

［6］ SHI Qian，DU Bo，ZHANG Liangpei．A Dimensionality Reduction Method for Hyperspectral Imagery Based on Local Discriminative Tangent Space Alignment［J］．Acta Geodaetica et Cartographica Sinica，2012，41（3）：417－420．（石茜，杜博，張良培．一種基于局部判別正切空間排列的高光譜遙感影像降維方法［J］．測繪學報，2012，41（3）：417－420．）

［7］ TAN Kun，DU Peijun．Wavelet Support Vector Machines Based on Reproducing Kernel Hilbert Space for Hyperspectral Remote Sensing Image Classification［J］．Acta Geodaetica et Cartographica Sinica，2011，40（2）：142－147．（譚琨，杜培軍．基于再生核Hilbert空間的小波核函數(shù)支持向量機的高光譜遙感影像分類［J］．測繪學報，2011，40（2）：142－147．）

［8］ ZHANG Lei，SHAO Zhenfeng，ZHOU Xiran，et al．Semisupervised Collaborative Classification for Hyperspectral Remote Sensing Image with Combination of Cluster Feature and SVM［J］．Acta Geodaetica et Cartographica Sinica，2014，43（8）：855－861．（張磊，邵振峰，周熙然，等．聚類特征和SVM組合的高光譜影像半監(jiān)督協(xié)同分類［J］．測繪學報，2014，43（8）：855－861．）

［9］ YANG Guopeng，YU Xuchu，ZHOU Xin，et al．Research on Relevance Vector Machine for Hyperspectral Imagery Classification［J］．Acta Geodaetica et Cartographica Sinica，2010，39（6）：572－577．（楊國鵬，余旭初，周欣，等．基于相關向量機的高光譜影像分類研究［J］．測繪學報，2010，39（6）：572－577．）

［10］ YAO Futian，QIAN Yuntao．Gaussian Process and Its Applications in Hyperspectral Image Classification［J］．CAAI Transactions on Intelligent Systems，2011，6（5）：396－404．（姚伏天，錢沄濤．高斯過程及其在高光譜圖像分類中的應用［J］．智能系統(tǒng)學報，2011，6（5）：396－404．）

［11］ C SA Tó L．G aussian P rocesses－iterative Sparse Approximations［D］．Aston：Aston University，2002．

［12］ LAWRENCE N D，SEEGER M，HERBRICH R．The Informative Vector Machine：A Practical Probabilistic Alternative to the Support Vector Machine［R］．Sheffield，UK：Technical Report，Department of Computer Science，2005．

［13］ LAWRENCE N D，SEEGER M，HERBRICH R．Fast Sparse Gaussian Process Methods：The Informative Vector Machine［M］∥Advances in Neural Information Processing Systems．［S．l．］：MIT Press，2003：625－632．

［14］ LAWRENCE N D，PLATT J C．Learning to Learn with the Informative Vector Machine［C］∥Proceedings of the 21st International Conference in Machine Learning．San Francisco：［s．n．］，2004：512－519．

［15］ LIU Jianwei，XU Xiang，LUO Xionglin．Face Recognition Based on Orthogonal Locality Preserving Projection and Informative Vector Machine［J］．Computer Engineering，2010，36（7）：200－202．（劉建偉，徐翔，羅雄麟．基于OLPP和信息向量機的人臉識別［J］．計算機工程，2010，36（7）：200－202．）

［16］ XU Xiang，LIU Jianwei，LUO Xionglin．Research on Nerval Activity Classification and Decoding Based on Informative Vector Machine［J］．Computer Engineering，2010，36（7）：198－199，202．（徐翔，劉建偉，羅雄麟．基于信息向量機的神經(jīng)活動分類和譯碼研究［J］．計算機工程，2010，36（7）：198－199，202．）

［17］ GIBBS M N，M ACK A Y D J C．Variational Gaussian Process Classifiers［J］．IEEE Transactions on Neural Networks，2002，11（6）：1458－1464．

［18］ NEAL R M．Regression and Classification Using Gaussian Process Priors［J］．Bayesian Statistics，1998，6（10）：475－501．

［19］ WILUAMS C K I，BARBER D．Bayesian Classification with Gaussian Processes［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence， 1998， 20 （12）：1342－1351．

［20］ MINKA T P．A Family of Algorithms for Approximate Bayesian Inference［D］．Cambridge：Massachusetts Institute of Technology，2001：36－48．

［21］ M?LLER M F．A Scaled Conjugate Gradient Algorithm for Fast Supervised Learning［J］．Neural Networks，1993，6（4）：525－533．

［22］ LI Hang．Statistical Learning Method［M］．Beijing：Tsinghua University Press，2012．（李航．統(tǒng)計學習方法［M］．北京：清華大學出版社，2012．）