陳立偉，崔玉婕，房赫，佟志勇

1.哈爾濱工程大學(xué) 信息與通信工程學(xué)院, 黑龍江 哈爾濱 150001

2.黑龍江省軍區(qū), 黑龍江 哈爾濱 150001

高光譜圖像分類 (hyperspectral image classification, HIC)是高光譜圖像解譯中的重要分支，然而高光譜圖像中已標(biāo)記訓(xùn)練樣本十分稀缺，嚴(yán)重限制了高光譜圖像分類精度的提升[1]。針對上述的小樣本情景，研究學(xué)者發(fā)現(xiàn)主動學(xué)習(xí)可以很好地解決此問題[2]。主動學(xué)習(xí)算法的研究主要可以分為單視圖主動學(xué)習(xí)(single view active learning, SVAL)和 多 視 圖 主 動 學(xué) 習(xí) (multi view active learning,MVAL)[3]。然而，單一的視圖特征對圖像的特征表示是有限的[4]，高光譜圖像中豐富的光譜信息和空間特征信息促使多視圖主動學(xué)習(xí)成為一個重要的研究方向[5]。

多視圖主動學(xué)習(xí)包括2個重要的內(nèi)容：多視圖生成和樣本選擇策略[6]，其中視圖的質(zhì)量會直接影響樣本選擇策略，從而影響最終的分類結(jié)果[7]，因此，如何獲得兼具差異性、互補(bǔ)性和多樣性的視圖引起學(xué)者廣泛關(guān)注。Di等[8?9]提出波段的平均劃分和基于相關(guān)性的光譜聚類方法；Chen等[10]提出隨機(jī)劃分法，利用光譜波段子集合形成多個視圖。然而，這些方法僅關(guān)注到高光譜圖像（hyperspectral image，HSI）的光譜特征，忽視了HSI中豐富的空間特征信息，因此得到的分類精度不高。Wang等[11]提出2D-Gabor濾波的視圖生成方法；Zhou等通過三維冗余離散小波變換提取空間特征，從而產(chǎn)生了多個視圖；Hu等[12]提出了基于3D-Gabor濾波的視圖生成方法，利用不同頻率和方向的3D-Gabor濾波器將原始的HSI轉(zhuǎn)換為具有不同特征的空?譜特征集，再結(jié)合多視圖篩選策略，選擇最具充分性和多樣性的視圖特征形成最終視圖。Xu等[13?14]通過計算視圖條件互信息 (conditional mutual information, CMI)來衡量 2 個視圖之間的多樣性，然而條件互信息的計算量大、耗時長，對于高維的HSI數(shù)據(jù)來講，其實現(xiàn)難度較大。

針對上述視圖間條件互信息難以計算問題，本文提出了一種視圖多樣性強(qiáng)度值衡量方法，將經(jīng)過視圖充分性篩選的多視圖再次進(jìn)行排列組合，計算每個組合下的多樣性強(qiáng)度值，選擇多樣性強(qiáng)度值最大的一組排列組合作為最終視圖特征。傳統(tǒng)基于條件互信息的視圖多樣性篩選的數(shù)值計算對象是三維HSI數(shù)據(jù)，而本文計算多樣性強(qiáng)度值是面向HSI像元，計算視圖間對應(yīng)像元特征向量（即光譜曲線）的相似性，從而實現(xiàn)了低維中視圖多樣性強(qiáng)度值計算，有效地減少了計算量，使得本文提出的多視圖主動學(xué)習(xí)在保持HSI分類精度的同時，有效地減少耗時，降低時間成本。

1 雙層視圖篩選策略下多視圖主動學(xué)習(xí)算法框架

近年來，越來越多學(xué)者發(fā)現(xiàn)HSI數(shù)據(jù)包含有豐富空間信息，盡管對空間信息的提取方式各有異同，但是都認(rèn)同空間信息對HSI分類的重要貢獻(xiàn)[15?16]。其中，對高光譜圖像進(jìn)行3D-Gabor濾波將高光譜圖像的光譜信息和空間信息相結(jié)合的方法獲得廣泛關(guān)注。為了使最終獲取的多視圖特征同時具有差異性、互補(bǔ)性和多樣性的特點，本文引入了雙層視圖篩選策略對3D-Gabor濾波后產(chǎn)生的特征數(shù)據(jù)集進(jìn)行2次篩選，通過計算多樣性強(qiáng)度值，有效降低了視圖篩選過程中的計算量。

基于雙層視圖篩選策略下高光譜圖像多視圖主動學(xué)習(xí)分類框圖如圖1所示，其包括3個主要部分：多視圖生成、多視圖篩選和候選樣本篩選。首先，對原始HSI采用Z個不同頻率和方向的3D-Gabor濾波器進(jìn)行濾波，得到與原始高光譜圖像尺寸相同、兼具空間?光譜信息的Z個數(shù)據(jù)立方體。然后，進(jìn)行雙層視圖篩選，先利用Fisher’s (FR) 準(zhǔn)則[12]衡量全部Z個 3D-Gabor立方體的類別可分性，再將類別可分性按大小進(jìn)行排序，選擇其中FR值最大的X個3D-Gabor立方體，然后從這X個立方體中選擇Y個（Y≤X）個彼此最不相似的立方體，將這Y個數(shù)據(jù)立方體作為Y個多視圖進(jìn)行后續(xù)的多視圖主動學(xué)習(xí)。最后，利用Y個視圖訓(xùn)練Y個分類器，并分別預(yù)測全部樣本的類別標(biāo)簽，利用分類器間預(yù)測結(jié)果的不一致性找出信息量最大的未標(biāo)記樣本，并交給人工專家標(biāo)注，加入分類器訓(xùn)練集，進(jìn)而使用擴(kuò)充后的訓(xùn)練樣本集繼續(xù)訓(xùn)練Y個分類器，依次迭代，直到滿足設(shè)定的最大迭代次數(shù)或最終的分類精度達(dá)到預(yù)設(shè)值。

圖1 雙層視圖篩選策略下高光譜圖像多視圖主動學(xué)習(xí)框圖

2 多視圖生成與多視圖雙層篩選策略

2.1 基于 3D-Gabor濾波的視圖生成方法

Gabor濾波器由于其能夠從光譜和空間域提取相關(guān)信息，可獲得最佳的聯(lián)合時頻分辨率，因此被廣泛應(yīng)用于特征提取。3D-Gabor濾波器的數(shù)學(xué)模型可以表示為

式中： ω 為波向量的中心頻率，φ為向量和光譜維度的夾角，θ是樣本的特征向量在地面x、y上的投影與x軸的夾角， ωx、ωy、ωλ分別為樣本的特征向量在高光譜圖像的橫縱坐標(biāo)軸x、y和光譜方向上的投影，g(x,y,λ)是在 (x,y,λ)域的三維高斯包絡(luò)線，其他因子為指數(shù)諧波。

為了得到多個3D-Gabor濾波器，通過改變φ和 θ值可獲得多個3D-Gabor濾波器，文中的 φ和θ分別選取 (0、π/4、π/2、3π/4)。需要特別說明的是，當(dāng) φ取值為0時，θ的值也受限于0，因此實際只有13個方向；為了獲取不同尺度的紋理特征，本文還選取了5個不同的頻率值 ω進(jìn)行計算，分別是(1/4、1/8、1/12、1/16、1/20)。高光譜圖像經(jīng)過3D-Gabor濾波后，得到65個在頻率和方向上不一樣的高光譜圖像特征立方體，這些3DGabor立方體與原始高光譜圖像尺寸完全相同。

2.2 基于 FR 準(zhǔn)則的視圖充分性篩選

FR準(zhǔn)則利用類間和類內(nèi)的散度矩陣衡量每個3D-Gabor立方體的類別可分性，確保篩選后的視圖具有充分性，對于視圖m,m∈ (1,2,···,Z)，其FR值的計算表達(dá)式為

式中：Ds為初始已標(biāo)記樣本集，r為地物類別數(shù)，(μi?μj)(μi?μj)T為第i類與第j類均值類間散射矩陣 ， ( μi?x)(μi?x)T+(μj?x)(μj?x)T為 第i類與 第j類的方差類內(nèi)分散矩陣。FR值越大表明對此視圖的類別區(qū)分能力越強(qiáng)，即視圖的充分性越強(qiáng)。因此，本文中通過計算Z個視圖下的FR值，選擇前X個最大的FR值對應(yīng)的視圖，進(jìn)行下個階段視圖多樣性篩選。

2.3 基于視圖多樣性強(qiáng)度值的視圖多樣性篩選

傳統(tǒng)條件互信息的視圖多樣性篩選方法通過計算視圖間條件互信息測度來選出彼此最不相似的幾個數(shù)據(jù)立方體，然而條件互信息計算對象是三維HSI立方體，因此計算量大、耗時長，尤其對于高維的高光譜圖像數(shù)據(jù)來講，其實現(xiàn)難度較大。針對上述問題，本文計算多樣性強(qiáng)度值是面向HSI像元，計算視圖間對應(yīng)像元特征向量（即光譜曲線）的相似性，從而實現(xiàn)了低維空間下視圖多樣性的衡量，有效地減少計算量。其主要流程如下：

1）首先，計算從X個視圖中選取Y個視圖存在k=種組合可能性，Gl（l=1,2,···,k）表示其中的第l種組合。

2）計算排列組合下的多樣性強(qiáng)度值DI，第Gl個組合下的視圖多樣性強(qiáng)度計算公式為

式中：d(vi,vj)表示視圖vi和視圖vj之間的多樣性，vi和vj均為第Gl種排列組合下包含的視圖。d(vi,vj)計算公式為

式中： | ?|為取絕對值，A和B為視圖vi和視圖vj對應(yīng)的二維矩陣，mn是HSI的圖像大小，A和B每行代表一個像元的光譜曲線，A和B是矩陣A和B的所有元素的平均值。d(vi,vj)∈[0,1]，若d(vi,vj)=0，則說明視圖vi和視圖vj完全不相關(guān)，即多樣性最強(qiáng)；若d(vi,vj)=1，則表示視圖vi和視圖vj完全相關(guān)，多樣性最弱。

3）將k種組合下k個多視圖強(qiáng)度值DI進(jìn)行排序，選取前Y個最小的DI值所對應(yīng)的視圖，將其作為最終的Y個視圖。

3 樣本采樣策略

本文采用的樣本采樣策略基于各個視圖預(yù)測結(jié)果的不一致性。通過比較不同分類器對樣本的不同預(yù)測結(jié)果的個數(shù)，衡量樣本的不確定性，從候選集選出不同預(yù)測標(biāo)簽個數(shù)最多的樣本進(jìn)行查詢，該方法稱為自適應(yīng)最大不一致策略(adaptive maximum disagreement, AMD)[8]，具體表達(dá)式為

式中：Ll(xi)為第l個分類器對樣本xi的分類結(jié)果，共有Y個分類器；DC為候選集； | ?|count表示不同元素的個數(shù)。

通過計算候選集中所有候選樣本的QAMD值，選取值最大的c個候選樣本經(jīng)過人工標(biāo)注后加入至訓(xùn)練集，進(jìn)行下一輪迭代。

4 實驗結(jié)果與討論

4.1 實驗數(shù)據(jù)集

為了驗證本文提出的雙層視圖篩選策略的有效性，本文選取了2幅常用的高光譜圖像，分別是Indian Pines數(shù)據(jù)集和Salinas數(shù)據(jù)集。

Indian Pines數(shù)據(jù)集中包含了大量的農(nóng)林場景，具有相似光譜信息的地物類別給此數(shù)據(jù)集下的分類識別帶來很強(qiáng)的挑戰(zhàn)性。其圖像大小為145 像素×145 像素，即包含 21 025 個像元，空間分辨率可達(dá)20 m，去除噪聲波段后，最終剩余200個波段用于分類識別。但是以上21 025個像元中只對10 249個像元進(jìn)行了16個類別的標(biāo)定。

Salinas數(shù)據(jù)集是在美國的Salinas山谷中拍攝獲取的，其空間的分辨率達(dá)到了3.7 m，去除噪聲和水吸收波段后，剩余204個波段用于后續(xù)分類，其圖像大小為512 像素×217 像素，經(jīng)過類別標(biāo)注后，54 129個樣本被標(biāo)注為了16個類別。

4.2 實驗設(shè)計

本文采用的分類精度評價指標(biāo)為總體精度(overall accuracy, OA)、平均精度 (average accuracy,AA) 和 Kappa 系數(shù)。所有實驗均在 Intel (R) Core(TM) i5- 10210U CPU @ 1.60 GHz 的 MATLAB R2018a 中進(jìn)行。

為了驗證本文基于視圖多樣性強(qiáng)度值的多視圖主動學(xué)習(xí)方法的有效性，本文實驗結(jié)果將分別與其他4種方法進(jìn)行比較：第1種方法是光譜平均分割法[7](spectral uniform slicing, SUS)；第 2 種是3D-Gabor濾波產(chǎn)生多視圖后隨機(jī)篩選視圖(3D-Gabor and random selection, 3D-Gabor-RS)， 其屬于無視圖篩選下的空?譜多視圖主動學(xué)習(xí)算法；第3種是3D-Gabor濾波后分別學(xué)習(xí)單個視圖的類別區(qū)分能力后，將類別區(qū)分能力最強(qiáng)的Y個視圖 組 成 多 視 圖[13](3D-Gabor and selection based single-view learning, 3D-Gabor-SV)，其屬于一層視圖篩選下的空?譜多視圖主動學(xué)習(xí)算法；第4種是3D-Gabor濾波后基于多視圖條件互信息篩選多 視 圖[14](3D-Gabor and selection based conditional mutual information, 3D-Gabor-CMI)。

所有實驗均選用相同參數(shù)的MLR分類器，樣本篩選策略均使用上述的AMD采樣策略，其中c值取15，即每次迭代根據(jù)采樣策略從候選集選擇15個未標(biāo)記樣本；學(xué)習(xí)迭代次數(shù)為20。涉及3D-Gabor濾波器的算法中，均采用相同參數(shù)的3D-Gabor濾波器進(jìn)行視圖生成，得到65個不同頻率和方向的3D-Gabor立方體。為了避免實驗的隨機(jī)性，每組實驗重復(fù)10次后計算平均值。主動學(xué)習(xí)通常是一個迭代過程，文中涉及的所有主動學(xué)習(xí)均為迭代算法，因此后續(xù)中運算時間均是指訓(xùn)練時間與測試時間之和，即從初始已標(biāo)記樣本開始第一次迭代訓(xùn)練至所有的訓(xùn)練完成，輸出最終分類結(jié)果的時間總和。

4.3 實驗結(jié)果

實驗1比較不同算法下多視圖主動學(xué)習(xí)分類效果。Indian Pines數(shù)據(jù)集和Salinas數(shù)據(jù)集下，初始訓(xùn)練集均隨機(jī)選取每類別5個標(biāo)記樣本，Indian Pines數(shù)據(jù)集和 Salinas數(shù)據(jù)集中，3D-Gabor-CMI算法和本文算法中X取10，最終的視圖個數(shù)均為6個，即2種算法下的Y值取6。Indian Pines數(shù)據(jù)集上，5種不同算法的分類性能可由表1對比得出，每個評價指標(biāo)下的最優(yōu)值已用粗體標(biāo)明。

表1 Indian Pines數(shù)據(jù)集不同算法下分類結(jié)果對比

SUS算法是將原始光譜特征平均分割后產(chǎn)生多視圖，然而光譜波段分割使每組波段的地物區(qū)分能力被削弱，此算法僅利用了光譜特征，其分類性能遠(yuǎn)低于另外4種空?譜分類算法，如與3DGabor-RS相比，OA精度要低22.23%，說明高光譜圖像的空間特征對類別區(qū)分的重要性；3D-Gabor-RS算法雖然提取空間特征產(chǎn)生了多視圖，但是由于缺少視圖篩選過程，故其分類性能與另外3種算法相比分類性能差別明顯，但是由于上述2種算法并未涉及視圖篩選，故其運算時間小于另外3種算法；3D-Gabor-SV算法分別學(xué)習(xí)單個視圖的類別區(qū)分能力，再將類別區(qū)分能力最強(qiáng)的幾個視圖組成多視圖，與3D-Gabor-RS相比，OA精度提升了6.28%，該算法種雖然包含了視圖篩選過程，但是視圖篩選過程既要保證多樣性又要保證充分性，故其分類性能與另外2種算法相比稍顯遜色；3D-Gabor-CMI和本文算法分類性能差別不大，但就運算時間來看，本文算法的運算時間遠(yuǎn)小于3D-Gabor-CMI，說明本文算法在低維空間下視圖多樣性的衡量，在保證分類精度的同時，有效地減少了計算量。

Salinas數(shù)據(jù)集上，5種不同算法的分類性能可由表2對比得出，每個評價指標(biāo)下的最優(yōu)值已用粗體標(biāo)明。Salinas數(shù)據(jù)集上幾種對比算法的對比結(jié)果與Indian Pines數(shù)據(jù)集上類似，其中3DGabor-CMI算法和本文算法均獲得明顯的分類性能提升，同時本文算法所需運算時間遠(yuǎn)小于3DGabor-CMI算法，說明本文算法在減少視圖篩選運算量的有效性。

表2 Salinas 數(shù)據(jù)集不同算法下分類結(jié)果對比

實驗2不同初始已標(biāo)記樣本數(shù)量下算法穩(wěn)定性。 由實驗1發(fā)現(xiàn)，3D-Gabor-CMI算法與本文算法較另外幾種算法有很大的分類性能提升，但是兩者之間的運算時間有一定差距。為了進(jìn)一步驗證不同初始樣本數(shù)量對算法穩(wěn)定性的影響，分別對Indian Pines數(shù)據(jù)集和Salinas數(shù)據(jù)集上進(jìn)行不同初始已標(biāo)記樣本數(shù)量對比，其中Indian Pines數(shù)據(jù)集的初始已標(biāo)記樣本數(shù)量S分別選擇{5，10，15，20，25}，由于 Salinas數(shù)據(jù)集的像素規(guī)模大于Indian Pines數(shù)據(jù)集，為了更能體現(xiàn)差異性，Salinas數(shù)據(jù)集上的初始已標(biāo)記樣本數(shù)量S分別選擇{5，15，25，35，45}，3D-Gabor-CMI算法和本文算法中X取10，最終的視圖個數(shù)均為6個，即2種算法下的Y值取6，2種算法的分類性能和運算時間對比結(jié)果如表3和表4所示。

表3 Indian Pines數(shù)據(jù)集下不同初始樣本數(shù)量時分類性能和運算時間對比

表4 Salinas數(shù)據(jù)集下不同初始樣本數(shù)量時分類性能和運算時間對比

表3給出的為Indian Pines數(shù)據(jù)集下不同初始樣本數(shù)量時的分類性能和運算時間對比，可以看出隨著初始已標(biāo)記樣本數(shù)量的增加，3D-Gabor-CMI算法和本文算法的OA精度均有明顯提升，且兩者相差無幾；就運算時間來講，隨著初始已標(biāo)記樣本數(shù)量的增加，本文算法的運算時間與3D-Gabor-CMI算法相比一直保持著明顯優(yōu)勢，這也反映出了本文算法在降低視圖篩選運算量方面始終保持著穩(wěn)定性，進(jìn)一步驗證了本文算法的有效性。

表4給出的為Salinas數(shù)據(jù)集下不同初始樣本數(shù)量時的分類性能和運算時間對比，其對比結(jié)果與 Indian Pines數(shù)據(jù)集下類似，3D-Gabor-CMI算法與本文算法的分類性能不相上下，但本文算法的運算時間與3D-Gabor-CMI算法相比明顯降低。

為了進(jìn)一步直觀展示本文算法在降低運算量，減少視圖篩選運算時間上的優(yōu)勢，在不同初始已標(biāo)記樣本數(shù)量下進(jìn)一步取不同(X,Y)值進(jìn)行實驗，繪制了如圖2、圖3的運算時間縮減倍數(shù)曲線圖，其主要展現(xiàn)的是本文算法與3D-Gabor-CMI算法相比運算時間減少的倍數(shù)。

圖2 Indian Pines 數(shù)據(jù)集時間開銷縮減倍數(shù)曲線圖

圖3 Salinas數(shù)據(jù)集時間開銷縮減倍數(shù)曲線圖

從圖2中可以看出，在Indian Pines數(shù)據(jù)集下不同初始已標(biāo)記樣本數(shù)量和不同(X,Y)值組合時，本文算法與3D-Gabor-CMI算法相比，時間開銷的縮減倍數(shù)是不同的，進(jìn)一步觀察圖2可以發(fā)現(xiàn)，無論初始已標(biāo)記樣本數(shù)量為多少時，在X=10、Y=6時，即(10,6)時的縮減倍數(shù)是最大的，進(jìn)一步分析原因發(fā)現(xiàn)，在(X,Y)= (10,6)時，可以組合出210種組合，因為=210，而另外3種取值(X,Y)取值時，僅分別能組合出45種、84種和56種組合。當(dāng)可以組成的組合數(shù)越多時，3DGabor-CMI算法中需要計算的視圖的條件互信息次數(shù)越多，計算過程也就越繁瑣，此時本文算法在低維計算視圖多樣性的優(yōu)勢越明顯，因此此時的縮減倍數(shù)也就越大。在Indian Pines數(shù)據(jù)集中本文算法與3D-Gabor-CMI算法相比，時間開銷縮減倍數(shù)最高可達(dá)7.42倍。從圖3的Salinas數(shù)據(jù)集時間開銷縮減倍數(shù)曲線圖中得出與Indian Pines數(shù)據(jù)集下相似結(jié)果，即無論初始已標(biāo)記樣本數(shù)量為多少時，在X=10、Y=6時，即(10,6)時的縮減倍數(shù)是最大的，進(jìn)一步驗證了本文算法在降低視圖篩選運算量的有效性和穩(wěn)定性。

5 結(jié)論

針對傳統(tǒng)多視圖主動學(xué)習(xí)中視圖篩選耗時大的問題，提出了基于視圖多樣性強(qiáng)度值DI的雙層視圖篩選策略。

1）與傳統(tǒng)多視圖主動學(xué)習(xí)算法中直接產(chǎn)生所需視圖不同的是，本文算法首先產(chǎn)生遠(yuǎn)大于所需視圖數(shù)量的多視圖，再進(jìn)行視圖篩選得到需要的多視圖，以此來保證視圖的充分性、多樣性。

2）針對傳統(tǒng)視圖多樣性篩選方法計算量大、耗時長的問題，本文面向HSI像元計算2個視圖像元間特征向量（即光譜曲線）的相似性，從而實現(xiàn)了低維空間下視圖多樣性的衡量，完成視圖多樣性篩選。

3）在 Indian Pines數(shù)據(jù)集和 Salinas數(shù)據(jù)集進(jìn)行多組仿真實驗對比，結(jié)果表明所提出的算法在保證與傳統(tǒng)多視圖主動學(xué)習(xí)相似的分類精度的同時，有效減少耗時，節(jié)省大量時間成本。

本文的視圖生成方法依賴于不同參數(shù)的3DGabor濾波器，針對不同高光譜圖像數(shù)據(jù)集，對應(yīng)的合適參數(shù)無法自適應(yīng)選擇，未來需要在此方面深入研究；另一方面，HSI包含了豐富空間特征，如何在多視圖主動學(xué)習(xí)中更好融合空-譜特征是另外一個研究重點。