王立國，李陽

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001)

融合主動學(xué)習(xí)的高光譜圖像半監(jiān)督分類

王立國，李陽

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001)

針對高光譜數(shù)據(jù)維數(shù)高、有標(biāo)簽樣本少等特點(diǎn)，采用半監(jiān)督分類利用未標(biāo)記樣本信息提高高光譜圖像分類精度。主動學(xué)習(xí)研究訓(xùn)練樣本的選擇方法，以少量的標(biāo)記樣本得到盡可能好的泛化能力。本文提出了一種結(jié)合主動學(xué)習(xí)算法的半監(jiān)督分類算法。該方法使用支持向量機(jī)作為基本的學(xué)習(xí)模型，通過主動學(xué)習(xí)方法選取訓(xùn)練樣本，以偽標(biāo)記的形式加入到分類器的訓(xùn)練中，結(jié)合驗(yàn)證分類器迭代選出置信度較高的偽標(biāo)記樣本，通過差分進(jìn)化算法交叉變異偽標(biāo)記樣本擴(kuò)充標(biāo)記樣本群。在兩個(gè)數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn)，與傳統(tǒng)分類算法相比，所提算法的總體分類精度分別提高了1.97%、0.49%，表明該算法能夠有效地提升主動學(xué)習(xí)樣本選擇的效率，在有限帶標(biāo)記樣本情況下提高了分類器精度。

高光譜圖像； 半監(jiān)督分類； 支持向量機(jī)； 主動學(xué)習(xí)； 差分進(jìn)化

隨著高光譜成像技術(shù)及相關(guān)數(shù)據(jù)的不斷發(fā)展，高光譜圖像分類技術(shù)已成為遙感領(lǐng)域的研究熱點(diǎn)問題[1-2]。相對于其他遙感圖像，高光譜圖像高維非線性、波段間相關(guān)性高以及訓(xùn)練樣本標(biāo)記難以獲得等特點(diǎn)，給分類工作帶來了巨大的挑戰(zhàn)。因此，在已標(biāo)記樣本比較少的情況下，如何快速、準(zhǔn)確地對高光譜遙感圖像地物目標(biāo)進(jìn)行分類日益成為數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和模式識別等領(lǐng)域的熱點(diǎn)研究問題之一。針對此類問題，半監(jiān)督分類[3-4]結(jié)合監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，同時(shí)運(yùn)用已標(biāo)記數(shù)據(jù)的信息和未標(biāo)記數(shù)據(jù)的信息來提高分類器泛化性能，能夠更好地反映出整個(gè)地物目標(biāo)的樣本集合的空間分布，從而使訓(xùn)練得到的分類器具有更好的性能。主動學(xué)習(xí)[5]也是從未標(biāo)記樣本中選取“有價(jià)值”的樣本從而提高分類器性能，目前已經(jīng)廣泛應(yīng)用于遙感圖像處理[6-10]。因此，融合主動學(xué)習(xí)的半監(jiān)督學(xué)習(xí)為解決高光譜遙感圖像地物分類識別提供了新的研究思路。

1974年，Simon最早提出主動學(xué)習(xí)概念[11]。在主動學(xué)習(xí)中，主動學(xué)習(xí)算法作為構(gòu)造有效訓(xùn)練集的方法，通過迭代抽樣，分類器主動選擇包含信息量大的未標(biāo)記樣本，更新訓(xùn)練集，在已標(biāo)記樣本少的前提下提高分類算法的效率。主動學(xué)習(xí)廣泛應(yīng)用于文本分類、語音識別、圖像檢索、遙感圖像分類等領(lǐng)域。支持向量機(jī)是基于統(tǒng)計(jì)學(xué)習(xí)理論的常用的機(jī)器學(xué)習(xí)方法，具有較強(qiáng)的泛化能力，應(yīng)用廣泛。Simon較早地提出了SVMactive算法[12]，該算法迭代選取距離超平面最近的樣本，這些樣本可能改變超平面位置，選取這類樣本能夠有效地改善分類器性能。主動學(xué)習(xí)與SVM相結(jié)合，能夠得到更有價(jià)值的訓(xùn)練樣本，提高分類性能的同時(shí)保持了SVM的泛化性。主動學(xué)習(xí)算法大致可以分為三類：1)基于邊緣采樣[13]，2)基于后驗(yàn)概率估計(jì)，3)基于委員會[14]。主動學(xué)習(xí)通過特定的啟發(fā)式選擇函數(shù)隨機(jī)選擇置信度較低的樣本增加了訓(xùn)練集的擾動性，這類樣本信息量較高有利于增加基分類器間的差異性。而半監(jiān)督分類通常選擇高置信度的樣本并對其標(biāo)記，更新訓(xùn)練集。主動學(xué)習(xí)和半監(jiān)督學(xué)習(xí)均是最大可能的挖掘有價(jià)值的無標(biāo)記樣本，因此利用主動學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的差異互補(bǔ)，可以在增加多分類器差異性的同時(shí)又提高學(xué)習(xí)模型分類精度。大量研究表明，融合主動學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的算法具有更好的魯棒性和更快的學(xué)習(xí)能力[15-17]。

如何引入偽標(biāo)記樣本是融合半監(jiān)督學(xué)習(xí)和主動學(xué)習(xí)的一個(gè)重要技巧[18]。如果加入了錯誤的偽標(biāo)記樣本，可能會降低學(xué)習(xí)模型的泛化能力。大部分的研究工作通過加入偽標(biāo)記樣本彌補(bǔ)帶標(biāo)簽樣本不足的概況，往往忽視偽標(biāo)記樣本正確性的問題，因而如何獲取可信度高的偽標(biāo)記樣本也是一個(gè)值得研究的問題。

傳統(tǒng)的半監(jiān)督算法中，無標(biāo)記訓(xùn)練樣本錯分帶來的錯誤累積問題非但不會利用好無標(biāo)記樣本信息反而會導(dǎo)致分類器性能下降，針對此類問題進(jìn)行改進(jìn)，提出了一種新的融合主動學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的分類算法(semi-supervised and active learning framework based on DE algorithm, SemiALDE)，該算法能夠提高無標(biāo)記樣本標(biāo)簽的準(zhǔn)確性，增強(qiáng)訓(xùn)練集可靠性。對Indian和Pavia高光譜數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)證明所提算法能夠有效提高分類精度。

1 SVM基本理論

支持向量機(jī)(support vector machine，SVM)是一種典型的監(jiān)督分類模型，在解決小樣本、非線性以及高維模式識別中表現(xiàn)出良好的泛化性能，已成為機(jī)器學(xué)習(xí)領(lǐng)域研究熱點(diǎn)。SVM是一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的機(jī)器學(xué)習(xí)方法，邊緣采樣策略 (margin sampling, MS)是一種非常適合SVM模型的主動學(xué)習(xí)方法。SemiALDE算法采用SVM作為學(xué)習(xí)模型，邊緣采樣(MS)作為基本采樣方法。

支持向量機(jī)的基本原理是尋找分類超平面使得兩類樣本點(diǎn)能夠分開，實(shí)際上是求解一個(gè)凸優(yōu)化問題。設(shè)xi∈Rd為訓(xùn)練樣本，yi∈{+1,-1}為相應(yīng)的類別標(biāo)簽，SVM的優(yōu)化問題可描述為

(1)

式中：w是權(quán)向量，b是決策函數(shù)的截距，ξi是松弛變量，C是懲罰系數(shù)，φ(·)是非線性映射函數(shù)。

代入拉格朗日函數(shù)得到原始問題的對偶問題，求解對偶問題，得到判別函數(shù)為

(2)

式中：b*可由Kuhn-Tucher定理推得，K(xi,x)為高斯徑向基核函數(shù)

(3)

對于二分類問題的SVM算法，最優(yōu)超平面位于兩個(gè)不同的類的最大Margin中間。越靠近最優(yōu)超平面的樣本點(diǎn)越有可能作為一個(gè)支持向量。因此，選擇這些樣本點(diǎn)更有可能改進(jìn)當(dāng)前學(xué)習(xí)模型，MS算法更適合SVM學(xué)習(xí)模型。

MS算法可以描述為選擇符合以下條件的樣本：

(4)

2 結(jié)合偽標(biāo)記技術(shù)與DE算法的半監(jiān)督分類

在SemiALDE算法中，首先利用偽標(biāo)記技術(shù)選擇信息量豐富的無標(biāo)記樣本，然后利用DE算法從偽標(biāo)記樣本中選擇多樣性的樣本并對其進(jìn)行標(biāo)記，最終加入到有標(biāo)記樣本集中對SVM分類器訓(xùn)練。

在高光譜圖像分類中，如何有效地從無標(biāo)記樣本中獲取有價(jià)值的信息是樣本選擇的關(guān)鍵。為了盡可能地利用無標(biāo)記樣本信息，SemiALDE算法采取偽標(biāo)記技術(shù)從無標(biāo)記樣本中篩選有價(jià)值的偽標(biāo)記樣本來擴(kuò)充有限的帶標(biāo)記樣本集。加入偽標(biāo)記的優(yōu)點(diǎn)在于在有標(biāo)記樣本很少的情況下，盡可能構(gòu)造具有代表性的訓(xùn)練集，偽標(biāo)記技術(shù)利用學(xué)習(xí)模型自動賦予置信度高的樣本偽標(biāo)記，極大減少了人工標(biāo)記的成本。然而，偽標(biāo)記技術(shù)比較依賴初始有標(biāo)記樣本的分布，訓(xùn)練樣本的空間分布特性會對學(xué)習(xí)模型產(chǎn)生一定的影響。因此完全依賴偽標(biāo)記技術(shù)篩選無標(biāo)記樣本會造成一定的錯誤累積。針對半監(jiān)督學(xué)習(xí)作為偽標(biāo)記技術(shù)的不足，SemiALDE算法使用DE算法進(jìn)一步改善偽標(biāo)記樣本的準(zhǔn)確度。在眾多啟發(fā)式優(yōu)化方法中，差分進(jìn)化是一種基于群體差異的啟發(fā)式隨機(jī)搜索算法，并且DE算法原理簡單、受控參數(shù)少，表現(xiàn)出高可靠性、強(qiáng)魯棒性和良好的優(yōu)化性能。DE算法在偽標(biāo)記策略篩選的基礎(chǔ)上進(jìn)一步篩選最優(yōu)的偽標(biāo)記樣本，提高了偽標(biāo)記樣本的準(zhǔn)確度和多樣性，偽標(biāo)記技術(shù)結(jié)合DE算法是本文算法的關(guān)鍵。

2.1 偽標(biāo)記技術(shù)

SemiALDE算法的關(guān)鍵是偽標(biāo)記技術(shù)，該方法通過結(jié)合迭代驗(yàn)證技術(shù)改進(jìn)偽標(biāo)記的準(zhǔn)確性。利用學(xué)習(xí)模型在迭代過程中的差異性來修正錯誤的偽標(biāo)記樣本提高偽標(biāo)記的準(zhǔn)確性，從而提升學(xué)習(xí)模型的學(xué)習(xí)能力。

主動學(xué)習(xí)過程中，SVM學(xué)習(xí)模型利用新加入的偽標(biāo)記樣本迭代改進(jìn)，經(jīng)過新一輪的采樣，學(xué)習(xí)模型在改進(jìn)過程中產(chǎn)生的差異性將會進(jìn)一步修正偽標(biāo)記樣本集，提高了偽標(biāo)記樣本的可靠性。

半監(jiān)督學(xué)習(xí)作為偽標(biāo)記技術(shù)的不足通常體現(xiàn)在兩點(diǎn)。1)從未標(biāo)記樣本中選擇偽標(biāo)記樣本的評估準(zhǔn)則往往難以給出確定的方案。偽標(biāo)記樣本的數(shù)量和閾值選取總是和當(dāng)前的學(xué)習(xí)模型密切相關(guān)，數(shù)量或閾值選取不當(dāng)可能會導(dǎo)致大量錯誤標(biāo)記樣本的產(chǎn)生，無法提升算法性能。2)初始帶標(biāo)記樣本的空間分布特性也會對偽標(biāo)記樣本的選取產(chǎn)生影響，難以構(gòu)造較好的學(xué)習(xí)模型。

本文采取迭代驗(yàn)證思想獲得偽標(biāo)記樣本，首先基于有標(biāo)記樣本集和偽標(biāo)記樣本集來創(chuàng)建分類器h1。然后利用MS采樣方法從無標(biāo)記樣本集中選擇樣本，并對其標(biāo)記加入到有標(biāo)記樣本集中，更新有標(biāo)記、無標(biāo)記樣本集。然后基于有標(biāo)記樣本集創(chuàng)建驗(yàn)證分類器h2。用分類器h1和h2給偽標(biāo)記樣本和無標(biāo)記樣本標(biāo)記。在h1和h2中具有相同標(biāo)記類別的無標(biāo)記樣本會被加入到偽標(biāo)記樣本集中同時(shí)更新偽標(biāo)記樣本集。

2.2 差分進(jìn)化(DE)算法

差分進(jìn)化 (differential evolution algorithm，DE)算法是一種基于群體進(jìn)化的全局搜索優(yōu)化算法, 根據(jù)父代個(gè)體間的差分矢量進(jìn)行編譯、交叉、選擇操作探索整個(gè)種群空間, 并利用貪婪競爭機(jī)制選擇下一代個(gè)體, 尋求最優(yōu)解[19]。

設(shè)D問題維數(shù)，NP為種群規(guī)模，G為進(jìn)化代數(shù)，第i個(gè)種群向量為

(5)

1)差分變異：

基本的變異方式 DE/rand/1 的方程為

(6)

2)交叉操作：

交叉操作通過隨機(jī)選擇，使得實(shí)驗(yàn)向量至少有一位是變異向量

(7)式中:jrand∈[1,2,…,D]為隨機(jī)整數(shù)，Cr為交叉概率。

3)選擇：

DE采用“貪婪”搜索策略, 根據(jù)目標(biāo)向量和實(shí)驗(yàn)向量的適應(yīng)值選擇最優(yōu)個(gè)體為下一代目標(biāo):

(8)

式中f(X)為適應(yīng)度函數(shù)。

在DE算法中, 種群內(nèi)個(gè)體的差分向量經(jīng)過縮放后, 與種群內(nèi)另外的相異個(gè)體相加得到變異向量，根據(jù)變異向量生成方法的不同, 形成了多種變異策略[20]。SemiALDE算法使用式(6)的一種改進(jìn)形式：

(9)

式中λ是縮放因子。

對于多分類問題，通常對二分類模型的支持向量機(jī)進(jìn)行組合使用，主要有一對多和一對一兩種策略，本文通過“one-against-rest”轉(zhuǎn)化為多個(gè)二分類問題。

2.3 算法流程

1)在有標(biāo)記樣本集SL和偽標(biāo)記樣本集Up上構(gòu)建SVM分類器h1；

2)利用MS抽樣從無標(biāo)記樣本中選擇靠近SVM超平面邊緣的r個(gè)樣本并對其標(biāo)記，組成集合SR：

3)更新有標(biāo)記、無標(biāo)記樣本集:SL=SL∪SR、SU=SUSR；

4)利用更新后的有標(biāo)記樣本集訓(xùn)練驗(yàn)證SVM分類器h2；

5)分類器h1、h2分別對新的無標(biāo)記樣本進(jìn)行標(biāo)記，記為Label1和Label2；

6)更新偽標(biāo)記樣本，分類器h1、h2分類結(jié)果相同的無標(biāo)記樣本計(jì)入偽標(biāo)記樣本集:

Up={(xi,Label1(xi))|Label1(xi)=Label2(xi)}

7)重復(fù)步驟1～6直至滿足迭代次數(shù)，獲得最新的偽標(biāo)記樣本Up；

8)利用改進(jìn)的DE算法從Up中篩選出一定量最優(yōu)偽標(biāo)記樣本記為UpDE；

9)對UpDE進(jìn)行標(biāo)記，加入到有標(biāo)記樣本集中，訓(xùn)練SVM學(xué)習(xí)模型。

10)利用所得分類器開始對測試樣本進(jìn)行標(biāo)記，測評分類精度。

3 實(shí)驗(yàn)數(shù)據(jù)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

為驗(yàn)證算法有效性，本文選取兩個(gè)高光譜圖像數(shù)據(jù)，印第安納高光譜AVIRIS圖像數(shù)據(jù)和Pavia工程學(xué)院高光譜數(shù)據(jù)，從中選取8個(gè)主要類別參與實(shí)驗(yàn)。兩個(gè)數(shù)據(jù)集的地物圖如圖1所示，圖像大小均設(shè)為144×144，其中，印第安納高光譜AVIRIS圖像參與處理的圖像波段數(shù)為200個(gè)，Pavia工程學(xué)院原始數(shù)據(jù)集包含125個(gè)波段，去除噪聲后，參與實(shí)驗(yàn)的波段數(shù)為103。

圖1 監(jiān)督信息圖Fig.1 Supervised information map

3.2 實(shí)驗(yàn)仿真

本實(shí)驗(yàn)的仿真條件：電腦處理器為Intel(R)Core(TM)i3-2310M，6G的RAM，電腦系統(tǒng)為64位windows8操作系統(tǒng)，仿真軟件為Matlab2015b。

評價(jià)準(zhǔn)則：總體分類精度(overall accuracy, OA)，平均分類精度(average accuracy, AA)，Kappa系數(shù)。

設(shè)N是樣本總數(shù)，m為類別數(shù)，mii是i類正確分類的樣本數(shù)，Ai為第i類的分類精度。

總體分類精度OA為

(10)

第i類分類精度Ai：

(11)

平均分類精度AA：

(12)

Kappa系數(shù)：

(13)

在實(shí)驗(yàn)中，偽標(biāo)記部分迭代次數(shù)N設(shè)為5，差分進(jìn)化算法的參數(shù)為NP=20,F=0.5,λ=0.5,Cr=0.8。采用標(biāo)準(zhǔn)SVM作為基分類器，核函數(shù)為徑向基核函數(shù)。多分類方法：one-against-rest方式。SVM懲罰因子C、核參數(shù)σ通過網(wǎng)格搜索法在從[10,103] 和 [10-2,102]中選取最優(yōu)值。

3.3 仿真結(jié)果分析

通過實(shí)驗(yàn)對比標(biāo)準(zhǔn)SVM、SVM_MS、所提算法三種分類算法的優(yōu)劣。實(shí)驗(yàn)隨機(jī)選取10%為訓(xùn)練樣本，剩下的是測試樣本。首先對印第安納高光譜圖像進(jìn)行分類，表1給出了平均分類精度(AA)，總體分類精度(OA)、Kappa系數(shù)以及運(yùn)行時(shí)間，從中可以看出SVM_MS算法的分類性能明顯好于SVM，AA提高了5.16%，OA提高了6.52%，Kappa提高了0.069 9。對比SVM_MS算法，SemiALDE算法分類性能明顯提升了， AA提高了1.87%，OA提高了1.97%，Kappa提高了0.028。SemiALDE算法通過融合主動學(xué)習(xí)半監(jiān)督分類，產(chǎn)生富含信息且置信度較高的偽標(biāo)記樣本，DE算法又對其擇優(yōu)選出最優(yōu)樣本引入訓(xùn)練樣本集，明顯提高了分類精度。從時(shí)間上分析，本文算法的運(yùn)行效率較低，算法采用迭代的方式選擇訓(xùn)練樣本造成一定的時(shí)間消耗。圖2為三種算法分類結(jié)果的灰度圖表示，可以直觀的觀察到圖2(c)的錯分樣本數(shù)量明顯少于圖2(a)和圖2(b)，由圖可知SemiALDE算法可以有效提高高光譜圖像的分類精度。

對Pavia高光譜圖像進(jìn)行相同的實(shí)驗(yàn)，同樣選取10%作為訓(xùn)練樣本，剩余的為測試樣本。表2列出了標(biāo)準(zhǔn)SVM、SVM_MS和SemiALDE算法的仿真結(jié)果，從表2可以看出SVM_MS算法的AA比SVM提高了1.94%，OA提高了0.29%，Kappa提高了0.0337。而所提出的SemiALDE算法比SVM_MS算法的分類結(jié)果有進(jìn)一步的提高，其中AA、OA 和Kappa 分別提高1.19%，0.49%和0.017。針對Pavia數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果，本文算法的時(shí)間消耗較大。標(biāo)準(zhǔn)SVM、SVM_MS和SemiALDE算法的仿真結(jié)果灰度圖如圖3所示，圖3(c)所示的SemiALDE算法表現(xiàn)了明顯的優(yōu)越性。

表1 印第安納高光譜圖像分類結(jié)果

Table 1 Classification results for the AVIRIS data of Indian Pine

算法AA/%OA/%Kappat/sSVM75496921066391994SVM＿M(jìn)S816577730733824050SemiALDE835279700761843577

表 2 Pavia工程學(xué)院高光譜圖像分類結(jié)果

Table 2 Classification results for the data of University of Pavia

算法AA/%OA/%Kappat/sSVM87568381075421469SVM＿M(jìn)S895084100787923055SemiALDE906984590804536161

此外圖4、圖5分別展示了兩個(gè)數(shù)據(jù)集帶標(biāo)簽樣本數(shù)目s與總體分類精度(OA)的關(guān)系曲線，帶標(biāo)簽樣本數(shù)目s分別取5、10、15、20、25、30。由曲線圖可以看出，SemiALDE算法優(yōu)于SVM和SVM_MS算法。在樣本數(shù)目很少的情況下，SemiALDE算法加入新的偽標(biāo)記樣本擴(kuò)充訓(xùn)練樣本集，帶來的優(yōu)勢更為明顯。

圖2 印第安納高光譜圖像三種方法的分類結(jié)果圖Fig.2 Classification maps for the AVIRIS data of Indian Pine obtained by SVM, SVM_MS，SemiALDE

圖3 Pavia工程學(xué)院高光譜圖像三種方法的分類結(jié)果圖Fig.3 Classification maps for the data of University of Pavia obtained by SVM, SVM_MS，SemiALDE

圖4 帶標(biāo)簽樣本數(shù)s與OA的關(guān)系曲線印第安納高光譜圖像Fig.4 Influence of s on the overall accuracy (OA) for the AVIRIS data of Indian Pine

圖5 帶標(biāo)簽樣本數(shù)s與OA的關(guān)系曲線Pavia工程學(xué)院高光譜圖像Fig.5 Influence of s on the overall accuracy (OA) for the data of University of Pavia

4 結(jié)論

本文利用融合半監(jiān)督學(xué)習(xí)的主動學(xué)習(xí)思想，提出了一種新的半監(jiān)督算法(SemiALDE)。不同于其他傳統(tǒng)的分類算法，SemiALDE算法優(yōu)勢體現(xiàn)在兩個(gè)方面：1)融合主動學(xué)習(xí)算法、半監(jiān)督分類模型協(xié)同篩選富含信息量且置信度較高的樣本；2)偽標(biāo)記技術(shù)結(jié)合DE算法構(gòu)造具有差異性的訓(xùn)練樣本集。綜述過往研究可知，標(biāo)記樣本的可靠性及噪聲問題是影響半監(jiān)督學(xué)習(xí)性能的關(guān)鍵因素，錯誤的標(biāo)記樣本會使學(xué)習(xí)機(jī)性能顯著下降，這里SemiALDE算法將偽標(biāo)記策略與DE算法相結(jié)合，有效地減少錯誤標(biāo)記樣本對學(xué)習(xí)過程產(chǎn)生的不良影響。

為證明本章算法的有效性，對兩個(gè)高光譜數(shù)據(jù)集分別進(jìn)行了仿真實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，SemiALDE算法的分類精度和Kappa系數(shù)都有明顯提高。尤其是在帶標(biāo)記樣本少的情況下，SemiALDE算法能夠高效地選取準(zhǔn)確性較高、具有代表性的樣本擴(kuò)充帶標(biāo)簽樣本，有效地提升了主動學(xué)習(xí)選擇樣本的效率和學(xué)習(xí)模型的性能，與標(biāo)準(zhǔn)SVM_MS算法相比具有明顯的優(yōu)勢。研究表明，偽標(biāo)記技術(shù)比較依賴初始有標(biāo)記樣本的分布，訓(xùn)練樣本的空間分布特性會對學(xué)習(xí)模型產(chǎn)生一定的影響。

今后的研究工作將關(guān)注偽標(biāo)記樣本與標(biāo)記樣本分布性問題，提高偽標(biāo)記樣本對小樣本學(xué)習(xí)性能的改善效果。另外，本文算法的復(fù)雜度較高，時(shí)間消耗較大，減少樣本篩選環(huán)節(jié)的復(fù)雜度也是今后研究工作的重點(diǎn)。

[1] MATHER P M, KOCH M. Computer processing of remotely-sensed images: an intruction[M]. New York: John Wiley & Sons, 2011: 229-285.

[2] SHAHSHAHANI B M, LANGGREDE D A. The effect of unlabeled samples in reducing the small sample size problem and mitigating the hughes phenomenon [J]. IEEE transactions on geoscience and remote sensing, 1994, 32(5): 1087-1095.

[3] MILLER D J, UYAR H S. A mixture of experts classifier with learning based on both labeled and unlabeled data[J]. Journals of processing systems,1997,12 (9): 571-577.

[4] CHAPELLE O, ZENT A. Semi-supervised classification by low density separation[C]//Proceeding of the tenth international workshop on artificial intelligence and statistics, Barbados, 2005: 57-64.

[5] SETTLES B. Active learning literature survey [J]. University of Wisconsin Madison, 2010, 39(2): 127-131.

[6] CAMPBELL N, CRISTIANINI A S. Query learning with large margin classifiers[C]//Proc 17th ICML, 2000: 111-118.

[7] SCHOHN D A C. Less is more: active learning with support vector machines[C]//In Proc 17th ICML, 2000: 839-846.

[8] LUO T, KRAMER K, GOLDGOF D B, et al. Active learning to recognize multiple types of plankton[C]//J Mach Learn Res, [S.l.],2005: 589-613.

[9] MITRA P, SHANKAR B U, PAL S K. Segmentation of multispectral remote sensing images using active support vector machines[J]. Pattern recognition letters, 2004, 25(9): 1067-1074

[10] XU Z, YU K, TRESP V, et al. Representative sampling for text classification using support vector machines[C]//Proc 25th Eur Conf Inf Retrieval Res, [S.l.],2003: 393-407.

[11] SIMON H A, LEA G. Problem solving and rule education: A unified view knowledge and organization[J]. Erbuam, 1974,15(2): 63-73.

[12] SIMON T. Active learning: theory and application[M]. Stanford University, 2001: 24-31.

[13] SCHOHN G，COHN D. Less is more: active learning with support vectors machines[C]//Proc 17th ICML, Stanford, 2000: 839-846.

[14] FREUND Y, SEUNG H S, SHAMIR E, et al. Selective sampling using the query by committee algorithm[J]. Machine learning, 1997， 28(2/3)： 133-168.

[15] MING Li, ZHANG Hongyu, WU Rongxin, et al. Sample based software defect prediction with active and semi-supervised learning[J]. Automated software engineering, 2012, 19 (2): 201-230.

[16] DING Ni, MA Hongbing. Active learning for hyperspectral image classification using sparse code histogram and graph-based spatial refinement[J]. International journal of remote sensing, 2017(3):

[17] JUN Xu, HANG Renlong, LIU Qingshan. Patch-based active learning (PTAL) for spectral-spatial classification on hyperspectral data[J]. International journal of remote sensing, 2014, 35 (5): 1846-1875.

[18] LI M, WANG R, TANG K．Combining semi-supervised and active learning for hyperspectral image classification[C]//Proceedings of Computational Intelligence and Data Mining(CIDM)．[S.l.],2013.

[19] STORN R, PRICE K. Differential evolution-a simple and efficient heuristic for global optimization over continuous spaces[J]. Journal of global optimization, 1997, 11(4): 341-359.

[20] BREST J, MAU EC M S. Population size reduction for the differential evolution algorithm[J]. Applied intelligence, 2008, 29(3): 228-247.

本文引用格式：

王立國，李陽. 融合主動學(xué)習(xí)的高光譜圖像半監(jiān)督分類[J]. 哈爾濱工程大學(xué)學(xué)報(bào)， 2017， 38(8): 1322-1327.

WANG Liguo, LI Yang. Semi-supervised classification for hyperspectral image collaborating with active learning algorithm[J]. Journal of Harbin Engineering University， 2017， 38(8): 1322-1327.

Semi-supervised classification for hyperspectral image collaborating with active learning algorithm

WANG Liguo, LI Yang

(College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China)

High-dimensional dataset and limited labeled samples are characteristics of a hyperspectral image. Semi-supervised methods can improve classification accuracy by using the information of unlabeled samples. An active learning model is commonly used to select training samples, and it aims to improve generalization ability with a small number of labeled samples. In this paper, a semi-supervised classification framework that collaborates with an active learning algorithm was proposed. In this framework, support vector machine (SVM) was used as a basic learning model. The proposed algorithm first uses active learning methods to select informative unlabeled samples and adds them to the training dataset in the form of pseudo-label. Then, the methods iteratively select samples with a high-confidence degree from pseudo-labeled samples that collaborate with verification classifiers. Finally, the labeled sample group is expanded by new pseudo-samples after the optimization process using a differential evolution algorithm. Compared with the traditional classification algorithm, the overall classification accuracy of the proposed algorithm was improved by 1.97% and 0.49%, respectively. Experimental results show that this method can effectively improve the selection efficiency of active learning and improve the accuracy of a classifier with limited labeled samples.

hyperspectral imagery; semi-supervised classification; support vector machine; active learning; differential evolution algorithm algorithm

2016-06-15.

日期：2017-04-26.

國家自然科學(xué)基金項(xiàng)目(61675051); 黑龍江省自然科學(xué)基金項(xiàng)目(F201409).

王立國(1974-)，男，教授，博士生導(dǎo)師.

王立國，E-mail:wangliguo@hrbeu.edu.cn.

10.11990/jheu.201606046

TP75

A

1006-7043(2017)08-1322-06

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/23.1390.u.20170426.1801.068.html