劉 峰，李佳君，李宇海，高裴裴

（1.天津大學(xué) 精密測(cè)試技術(shù)及儀器國(guó)家重點(diǎn)實(shí)驗(yàn)室，天津 300072；2.中國(guó)電子科技集團(tuán)公司第五十三研究所，天津 300300；3.南開(kāi)大學(xué) 計(jì)算機(jī)學(xué)院，天津 300071）

0 引言

計(jì)算機(jī)視覺(jué)分類(lèi)的場(chǎng)景中出現(xiàn)顏色形狀等特征相似的不同類(lèi)別物體時(shí)會(huì)對(duì)圖像分類(lèi)的精度造成極大的影響，所以提高在此類(lèi)場(chǎng)景下的圖像分類(lèi)精度在視覺(jué)探測(cè)領(lǐng)域具有重要的理論和應(yīng)用價(jià)值。由于光譜信息是由物體的內(nèi)在性質(zhì)所決定的，所以不同物質(zhì)的光譜信息必定存在差異，利用不同物體不同譜段的光譜差異就可以挖掘出物體的隱蔽特征。深度學(xué)習(xí)作為挖掘和分析高光譜數(shù)據(jù)的有效手段，通過(guò)適當(dāng)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)可以在高光譜圖像的分類(lèi)上取得比傳統(tǒng)分類(lèi)算法更好的效果。Song 等人[1]通過(guò)PCA（principal component analysis）降維和訓(xùn)練殘差網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)高光譜圖像分類(lèi)，羅建華等[2]提出了PCA 數(shù)據(jù)降維和深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)合的分類(lèi)方法，雖然這兩種方法都取得了不錯(cuò)的效果，但是僅利用了高光譜數(shù)據(jù)的光譜特征而忽略了其空間特征；Chen 等人[3]通過(guò)空譜聯(lián)合以及深度信念網(wǎng)絡(luò)的方式對(duì)高光譜數(shù)據(jù)進(jìn)行分類(lèi)，但是在高光譜數(shù)據(jù)處理階段沒(méi)有考慮譜段的降維，在數(shù)據(jù)譜段較多時(shí)會(huì)極大的增加網(wǎng)絡(luò)運(yùn)行的負(fù)載；Zhao 等人[4]利用PCA 進(jìn)行數(shù)據(jù)降維并提出了一種空譜結(jié)合的MCNN（multiscale convolutional neural network）分類(lèi)網(wǎng)絡(luò)，張倩等人[5]利用PCA和改進(jìn)的自編碼器進(jìn)行了高光譜數(shù)據(jù)的分類(lèi)，上述方法在University of Pavia 遙感數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，但是PCA是從數(shù)據(jù)方差的角度進(jìn)行數(shù)據(jù)的降維，舍棄了光譜特征的局部線(xiàn)性部分并且沒(méi)有解決在自然環(huán)境小樣本數(shù)據(jù)集條件下的分類(lèi)問(wèn)題。

高光譜圖像容易受光照強(qiáng)度、采集視角、色彩等因素的影響，而膠囊網(wǎng)絡(luò)作為一種較為獨(dú)特的深度學(xué)習(xí)方法，其構(gòu)造的膠囊結(jié)構(gòu)善于捕捉圖像中物體的姿態(tài)、紋理、色調(diào)等特征，將其應(yīng)用到圖像分類(lèi)可以減輕光照強(qiáng)度、姿態(tài)、色彩等因素的影響從而提取到更豐富的譜段特征[6]。另外，高光譜數(shù)據(jù)在空間上的相鄰像素可能屬于相同的類(lèi)，因此空間特征在高光譜圖像分類(lèi)中越來(lái)越重要，做好高光譜空譜聯(lián)合的特征工程對(duì)最終的分類(lèi)精度影響極大。基于上述特點(diǎn)，本文提出了一種具有隱蔽色特征物體的圖像分類(lèi)方法，通過(guò)結(jié)合鄰域像素實(shí)現(xiàn)空譜聯(lián)合特征的構(gòu)造，然后將所有譜段進(jìn)行均分并分別對(duì)每個(gè)譜段區(qū)間進(jìn)行基于局部線(xiàn)性嵌入算法的特征降維，該算法形成了保留更多局部線(xiàn)性特征的空譜聯(lián)合構(gòu)造樣本，最后在此基礎(chǔ)上構(gòu)建了小樣本條件下的主動(dòng)學(xué)習(xí)膠囊網(wǎng)絡(luò)分類(lèi)器，針對(duì)具有隱蔽色特征物體的場(chǎng)景在自建高光譜數(shù)據(jù)集上取得了優(yōu)于其他分類(lèi)算法的性能。

1 隱蔽色物體的高光譜數(shù)據(jù)

高光譜成像技術(shù)是一種基于方位和光譜三維信息探測(cè)的光電探測(cè)技術(shù)，利用高光譜成像技術(shù)針對(duì)具有多個(gè)隱蔽特征物體的場(chǎng)景進(jìn)行數(shù)據(jù)采集，在獲取觀測(cè)對(duì)象二維空間信息的同時(shí)對(duì)每個(gè)空間像素色散，形成幾十到幾百個(gè)波段的連續(xù)光譜，從而使每一個(gè)像素?fù)碛猩习倬S的數(shù)據(jù)。目前，成像光譜儀的探測(cè)波長(zhǎng)范圍一般分為400～1000 nm、900～1700 nm、1100～2500 nm、3000～15000 nm。本文的高光譜數(shù)據(jù)均是在波長(zhǎng)范圍384.612～1005.620 nm 下進(jìn)行采集，共有853個(gè)譜段，光譜分辨率達(dá)到了0.7 nm，空間像素大小為635×1004。圖1展示了在不同的波段下的圖像數(shù)據(jù)，可以看出在不同波長(zhǎng)的采樣下，不同物體的反射強(qiáng)度是具有明顯區(qū)別的。特別的，在采集場(chǎng)景中都存在幾個(gè)隱蔽色人造物體，但由于其與周?chē)伾嗨?，幾乎看不到其位置分布在哪里。圖2展示了高光譜數(shù)據(jù)場(chǎng)景中不同物體的光譜曲線(xiàn)圖，拍攝場(chǎng)景主要分為隱蔽物-網(wǎng)、隱蔽物-車(chē)、草地、樹(shù)木、陰影和天空等6類(lèi)。

圖1 不同波段下的高光譜圖像（單位：nm）Fig.1 Hyperspectral images in different wavebands(Unit:nm)

圖2 場(chǎng)景中不同物體的光譜曲線(xiàn)Fig.2 Spectral curves of different objects in the scene

2 分類(lèi)過(guò)程及算法描述

2.1 膠囊網(wǎng)絡(luò)

Hinton 認(rèn)為卷積神經(jīng)網(wǎng)絡(luò)沒(méi)有考慮到簡(jiǎn)單對(duì)象和復(fù)雜對(duì)象之間存在的重要空間層次，弱化了圖像特征的表達(dá)能力。為了解決卷積神經(jīng)網(wǎng)絡(luò)的這一固有缺點(diǎn)，Hinton 于2017年提出了膠囊網(wǎng)絡(luò)[7]，其模型結(jié)構(gòu)如圖3所示。

首先，膠囊網(wǎng)絡(luò)會(huì)對(duì)輸入的圖像數(shù)據(jù)進(jìn)行卷積操作并進(jìn)行ReLU激活，從而得到ReLU Conv層；然后將ReLU Conv 作為下一層的輸入，再次進(jìn)行卷積操作并將其調(diào)整成適用于膠囊網(wǎng)絡(luò)模型的向量神經(jīng)元層而不是卷積神經(jīng)網(wǎng)絡(luò)中的標(biāo)量神經(jīng)元層，該卷積層被定義為主膠囊層（primary capsule）。不同于卷積神經(jīng)網(wǎng)絡(luò)中的標(biāo)量神經(jīng)元，膠囊網(wǎng)絡(luò)中的每一個(gè)膠囊是由一個(gè)向量表示的，該向量中的每個(gè)值即代表了當(dāng)前需要分類(lèi)物體的一個(gè)特征。主膠囊層的每個(gè)膠囊通過(guò)動(dòng)態(tài)路由算法的正向傳播得到特征更加緊湊的膠囊，該膠囊層被定義為數(shù)字膠囊層（digit capsule），其數(shù)字膠囊的總個(gè)數(shù)便為分類(lèi)任務(wù)中的物體類(lèi)別總數(shù)，通過(guò)計(jì)算數(shù)字膠囊層中各個(gè)膠囊的模值||L||2可以得到輸入樣本屬于各個(gè)類(lèi)別的概率，從而以最大模值膠囊所代表的類(lèi)別作為樣本的分類(lèi)輸出結(jié)果。

圖3 膠囊網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.3 Architecture of capsule network

2.2 主動(dòng)學(xué)習(xí)

影響深度學(xué)習(xí)分類(lèi)精度的因素不僅包括合適的分類(lèi)網(wǎng)絡(luò)選擇，還包括訓(xùn)練分類(lèi)器所需樣本的質(zhì)量。在具有顏色相似特征物體的高光譜圖像場(chǎng)景下，膠囊網(wǎng)絡(luò)訓(xùn)練器面臨著標(biāo)注樣本稀缺、人工標(biāo)注成本高昂的問(wèn)題[8]。為了提高標(biāo)注樣本的數(shù)量和質(zhì)量，本文采用了主動(dòng)學(xué)習(xí)的策略。假設(shè)總體樣本分為已標(biāo)注樣本庫(kù)（訓(xùn)練樣本庫(kù)）T和未標(biāo)注樣本庫(kù)U，主動(dòng)學(xué)習(xí)會(huì)以迭代方式從U中選擇最具有代表性、對(duì)訓(xùn)練器最有益的樣本經(jīng)由專(zhuān)家標(biāo)注擴(kuò)充到T中，更新T、U 后再次重復(fù)，最終提高T的數(shù)量和質(zhì)量，其更新和擴(kuò)充T的過(guò)程為：①?gòu)目傮w樣本庫(kù)中隨機(jī)選取少量的樣本進(jìn)行人工標(biāo)注得到初始T，T中應(yīng)當(dāng)包含所有6類(lèi)物體；②使用初始T 訓(xùn)練得到初始化的膠囊網(wǎng)絡(luò)分類(lèi)器C；③利用查詢(xún)函數(shù)F對(duì)U 進(jìn)行采樣得到最有價(jià)值的未標(biāo)注樣本；④使用初始化膠囊網(wǎng)絡(luò)分類(lèi)器C 對(duì)采樣的樣本進(jìn)行分類(lèi)；⑤將明顯錯(cuò)分的樣本認(rèn)為是對(duì)C 最有益的樣本，交由專(zhuān)家E 標(biāo)注后加入T 并更新T和U，再次進(jìn)行模型訓(xùn)練優(yōu)化分類(lèi)器C；⑥重復(fù)③～⑤步驟，不斷更新樣本庫(kù)結(jié)構(gòu)，最終得到分類(lèi)性能最好的高光譜膠囊網(wǎng)絡(luò)分類(lèi)器C。其整個(gè)工作流程如圖4所示。

查詢(xún)函數(shù)直接決定了主動(dòng)學(xué)習(xí)對(duì)模型訓(xùn)練帶來(lái)的收益大小，其設(shè)計(jì)常依從兩個(gè)準(zhǔn)則：不確定性準(zhǔn)則[9]和差異性準(zhǔn)則[10]。不確定性準(zhǔn)則可以從信息熵的概念來(lái)進(jìn)行解讀，那就是樣本包含的信息量越豐富信息熵就越大，就代表著較大的不確定性。查詢(xún)函數(shù)應(yīng)該想辦法來(lái)避免數(shù)據(jù)冗余、保證每次新加入的樣本與原有訓(xùn)練集中樣本的差異性。

圖4 主動(dòng)學(xué)習(xí)工作流程Fig.4 Active learning process

為了綜合考慮訓(xùn)練樣本庫(kù)中各個(gè)樣本的不確定性差異和樣本總體的均值差異，本文提出了一種結(jié)合信息熵和最大均值差異的查詢(xún)函數(shù)：

式中：α和β分別為信息熵和最大均值差異的比例參數(shù)，本文均設(shè)置為0.5；s為通過(guò)限定條件篩選出的待擴(kuò)充樣本集合，l是需要利用主動(dòng)學(xué)習(xí)補(bǔ)充樣本的目標(biāo)類(lèi)別；L是所有的目標(biāo)類(lèi)別；sl是未標(biāo)注樣本集中類(lèi)別l的n維高光譜特征向量；是已標(biāo)注樣本集中類(lèi)別l的n維平均高光譜特征向量，f(·)是把特征從原樣本空間映射到希爾伯特空間的核函數(shù)。

通過(guò)抽取高光譜一個(gè)譜段所形成的光譜反射圖，利用二維圖像標(biāo)注工具對(duì)其中的隱蔽物-車(chē)、隱蔽物-網(wǎng)、草、樹(shù)、陰影和天空6類(lèi)物體進(jìn)行方框標(biāo)注，標(biāo)注結(jié)果如圖5所示。

圖5 二維圖像標(biāo)注Fig.5 2-d image annotation

可以看出由于場(chǎng)景中各類(lèi)物體分布不均、形狀不規(guī)則，初始的人工標(biāo)注比較難以覆蓋目標(biāo)類(lèi)別的所有部分且不一定是該類(lèi)別最具代表性的樣本像素，另外特定類(lèi)別具有隱蔽性特征不易分辨，為標(biāo)注工作帶來(lái)困難。通過(guò)(1)式的查詢(xún)函數(shù)可以在限定條件下尋找未標(biāo)注類(lèi)別的像素集合，并通過(guò)信息熵和最大均值差異得到該集合下最具代表性的待構(gòu)造像素樣本，從而擴(kuò)大原本的樣本數(shù)量。基于改進(jìn)的結(jié)合信息熵和最大均值差異查詢(xún)函數(shù)的主動(dòng)學(xué)習(xí)方法，相比于單一考慮不確定性或者差異性的主動(dòng)學(xué)習(xí)方法，對(duì)代表性樣本的提取效率更高，從而使目標(biāo)分類(lèi)精度得到提升。

2.3 空譜聯(lián)合及改進(jìn)LLE（local linear embedding）算法的特征工程

2.3.1 空譜聯(lián)合的特征構(gòu)造

現(xiàn)有的高光譜圖像分類(lèi)方法多注意到空間信息的利用，但卻很少考慮地物在空間分布上具有連續(xù)性的特點(diǎn)，基于此，在特征構(gòu)造階段應(yīng)當(dāng)考慮光譜圖像在空間鄰域的有效特征[11]。高光譜空間圖像中的每一個(gè)像素可以向譜段延伸，即每一個(gè)譜段內(nèi)相同位置的像素都可以用來(lái)表達(dá)同一個(gè)物體，本文所使用的高光譜數(shù)據(jù)具有853個(gè)譜段，即每一個(gè)二維空間中的像素都對(duì)應(yīng)一個(gè)853×1的光譜特征向量，對(duì)該向量進(jìn)行光譜特征與空間特征結(jié)合的主要思想就是選擇一定大小空間（m×m）鄰域的樣本均值作為空域特征并將其融合到譜段之中。假設(shè)空間中某一點(diǎn)(i,j)的譜特征為f1(x,y)，則基于空間鄰域Q計(jì)算得到的空域特征為：

本文由于譜段較多，為了降低空域的計(jì)算量，選擇鄰域大小為3×3且只融合物理距離最近的4個(gè)像素的空域特征，然后將融合空域特征的光譜數(shù)據(jù)拼接到采樣像素自身光譜數(shù)據(jù)之后形成一個(gè)1706×1的構(gòu)造向量。如圖6所示為融合空譜特征示意圖，圓點(diǎn)是采樣像素點(diǎn)，其4個(gè)鄰域像素由三角點(diǎn)表示，通過(guò)卷積可以得到樣本像素的鄰域平均值，該平均值用菱形點(diǎn)表達(dá)，最終通過(guò)將采樣數(shù)據(jù)和融合空域特征的數(shù)據(jù)拼接得到空譜聯(lián)合構(gòu)造的樣本。

2.3.2 波段均分的LLE 特征降維

由于高光譜數(shù)據(jù)在采集時(shí)譜域和空域一樣也具有連續(xù)性的特點(diǎn)，而傳統(tǒng)的PCA、LDA（linear discriminant analysis）等關(guān)注樣本方差的降維方法卻并沒(méi)有將這一特點(diǎn)考慮進(jìn)去，而是從譜段的成分占比和分布情況進(jìn)行降維，相比之下，局部線(xiàn)性嵌入（locally linear embedding，簡(jiǎn)稱(chēng)LLE）算法關(guān)注于降維時(shí)保持樣本局部的線(xiàn)性特征，在較窄范圍的譜段進(jìn)行降維后可以出色的保證特征的連續(xù)性，很適合對(duì)譜段分辨率較高的高光譜數(shù)據(jù)進(jìn)行降維。LLE算法假設(shè)數(shù)據(jù)在較小的局部區(qū)域內(nèi)是呈線(xiàn)性關(guān)系的，也就是說(shuō)任何一個(gè)數(shù)據(jù)可以由它鄰域中的其他數(shù)據(jù)線(xiàn)性表示，比如有一個(gè)樣本pi，它可以用距離其最近的其他3個(gè)樣本pj、pk、pl線(xiàn)性表示：

式中：wij、wik、wil為權(quán)重系數(shù)；pj、pk、pl為樣本。

圖6 空譜特征融合Fig.6 Merging spatial-spectral features

利用LLE 進(jìn)行特征降維后，樣本pi在低維空間對(duì)應(yīng)的投影pi′和pj、pk、pl對(duì)應(yīng)的投影pj′、pk′、pl′也盡量保持同樣的線(xiàn)性關(guān)系：

式中：wij、wik、wil為權(quán)重系數(shù)；pj′、pk′、pl′為樣本。

也就是說(shuō)，投影前后線(xiàn)性關(guān)系的權(quán)重系數(shù)wij、wik、wil是盡量不變或者最小改變的。由于樣本總是由距離最近的其他樣本所表示，導(dǎo)致該算法所保持的線(xiàn)性關(guān)系僅僅局限在采樣樣本的附近，離采樣樣本歐氏距離較遠(yuǎn)的其他樣本將不會(huì)嚴(yán)格保持這一線(xiàn)性關(guān)系[12]。為了盡量克服LLE的這一缺陷，本文通過(guò)將高光譜波段進(jìn)行均分，將總長(zhǎng)為1706的構(gòu)造波段分為19個(gè)區(qū)間，前18個(gè)區(qū)間均具有90個(gè)波段，最后一個(gè)區(qū)間具有86個(gè)波段，通過(guò)在各個(gè)較窄波段區(qū)間的降維維持了LLE對(duì)線(xiàn)性關(guān)系的敏感度，改進(jìn)的算法也保留了LLE 對(duì)高光譜降維的獨(dú)特優(yōu)勢(shì)。本文最終通過(guò)波段均分的LLE降維方法將前18個(gè)區(qū)間從90維降到25維，最后一個(gè)區(qū)間從86維降到50維，總譜段從1706維降到500維。具體的算法流程如下：

輸入：

近鄰數(shù)k，降到的維數(shù)

輸出：

低維樣本集：

1）對(duì)于xm，以歐式距離||L||2在Di中檢索出其最近的k個(gè)近鄰{xm1,xm2,…,xmk}，Q(i)表示xm的k個(gè)近鄰樣本集合；

2）對(duì)Di的每個(gè)樣本xm，求出局部協(xié)方差矩陣Zi及其對(duì)應(yīng)的權(quán)重系數(shù)向量Wi：

式中：1k為k維全1 向量。

3）假設(shè)Di在低維的di維投影為{y1,y2,y3}，則對(duì)其加一個(gè)約束條件：

4）由權(quán)重系數(shù)向量Wi組成權(quán)重系數(shù)矩陣W，計(jì)算矩陣：

5）計(jì)算矩陣M的前di＋1個(gè)特征值及其di＋1個(gè)特征值對(duì)應(yīng)的特征向量V：

6）取第二個(gè)特征向量到第di＋1個(gè)特征向量組成的矩陣即為輸出的低維樣本集矩陣：

7）將所有輸出的低維樣本集拼接得到D′：

圖7展示了類(lèi)別為隱蔽物-車(chē)的采樣像素的樣本構(gòu)造和降維過(guò)程，首先獲取采樣點(diǎn)及其鄰域的光譜信息，然后通過(guò)卷積拼接得到預(yù)處理的特征向量，最后經(jīng)過(guò)波段均分LLE（band averaging LLE）降維得到膠囊網(wǎng)絡(luò)分類(lèi)器的輸入樣本向量。

圖7 樣本構(gòu)造過(guò)程Fig.7 Sample construction process

2.4 高光譜數(shù)據(jù)的膠囊分類(lèi)網(wǎng)絡(luò)

本文所提出的分類(lèi)方法的主要工作流程包括：①對(duì)輸入的高光譜圖像數(shù)據(jù)進(jìn)行空譜聯(lián)合的特征構(gòu)造；②利用波段均分的局部線(xiàn)性嵌入算法對(duì)構(gòu)造特征進(jìn)行降維并得到膠囊網(wǎng)絡(luò)的輸入樣本向量；③對(duì)高光譜數(shù)據(jù)進(jìn)行空間域的隨機(jī)標(biāo)注，得到少量標(biāo)注的訓(xùn)練樣本；④采用主動(dòng)學(xué)習(xí)擴(kuò)充訓(xùn)練樣本庫(kù)并迭代更新未標(biāo)注樣本庫(kù)和標(biāo)注樣本庫(kù)；⑤通過(guò)迭代更新的訓(xùn)練樣本不斷訓(xùn)練膠囊網(wǎng)絡(luò)分類(lèi)器從而迭代優(yōu)化其在具有隱蔽色特征場(chǎng)景下的高光譜分類(lèi)性能；⑥對(duì)所有樣本的輸出結(jié)果進(jìn)行拼接得到膠囊網(wǎng)絡(luò)分類(lèi)效果圖，其中每類(lèi)樣本用不同顏色進(jìn)行表示。該方法的總體流程圖如圖8所示。

圖8 分類(lèi)方法的總體流程圖Fig.8 Overall flow chart of classification method

基于主動(dòng)學(xué)習(xí)的膠囊分類(lèi)網(wǎng)絡(luò)主體架構(gòu)如圖9所示。通過(guò)特征工程得到的膠囊分類(lèi)器的輸入樣本大小為500×1，ReLU Conv 卷積層的卷積核大小為9×1×256，該卷積層的作用是將高光譜樣本的像素特征轉(zhuǎn)換成局部特征，然后作為輸入送入到膠囊構(gòu)造層中；膠囊構(gòu)造層的卷積核大小為3×1×256，卷積得到的向量通過(guò)膠囊構(gòu)造（capsule construction）形成多個(gè)主膠囊單元，膠囊構(gòu)造核大小為32×8，即把256維的向量分為32 份，每一份有8個(gè)通道，每8個(gè)通道組成一個(gè)主膠囊單元，該層共輸出32個(gè)膠囊單元，后接一個(gè)全連接層為動(dòng)態(tài)路由選擇做準(zhǔn)備；路由選擇層使用膠囊網(wǎng)絡(luò)特有的動(dòng)態(tài)路由算法通過(guò)迭代的一致性完成信息的傳遞，形成6個(gè)16維大小的數(shù)字膠囊；分類(lèi)層按順序保存6個(gè)數(shù)字膠囊的模值||L||2，以其中的最大模值代表的物體類(lèi)別作為分類(lèi)器的輸出結(jié)果，從而實(shí)現(xiàn)高光譜的圖像分類(lèi)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境以及實(shí)驗(yàn)性能的評(píng)價(jià)

實(shí)驗(yàn)環(huán)境為Ubuntu 16.04 LTS 64位操作系統(tǒng)，實(shí)驗(yàn)平臺(tái)為NVIDIA Jetson TX2 嵌入式平臺(tái)，其GPU 擁有256個(gè)CUDA核心，CPU為四核ARM A57 Complex，內(nèi)存為8 GB 128位的LPDDR4，實(shí)驗(yàn)所用深度學(xué)習(xí)框架為PyTorch。實(shí)驗(yàn)裝置如圖10所示。

由于分類(lèi)網(wǎng)絡(luò)的輸入樣本是以高光譜圖像中的單一像素構(gòu)造而成的，則輸出結(jié)果也將是該像素的類(lèi)別，在膠囊分類(lèi)器輸出分類(lèi)結(jié)果后對(duì)數(shù)據(jù)進(jìn)行拼接和著色處理，可以得到如圖11所示的分類(lèi)效果。從分類(lèi)效果圖可以看出，前述的具有隱蔽色特征的人造偽裝物體被明顯區(qū)分出來(lái)；自然場(chǎng)景中的樹(shù)林、草地、迷彩網(wǎng)等其他顏色接近的物體也同時(shí)得到了精確的分類(lèi)。

通過(guò)計(jì)算原始圖像中各類(lèi)物體的像素總數(shù)與膠囊分類(lèi)網(wǎng)絡(luò)輸出分類(lèi)圖中各類(lèi)物體像素的比值來(lái)評(píng)價(jià)各種方法的分類(lèi)性能，即：

式中：Ri為類(lèi)別i的物體的分類(lèi)準(zhǔn)確率；ri為分類(lèi)網(wǎng)絡(luò)輸出的類(lèi)別i的物體檢測(cè)正確的像素總數(shù)；ei為實(shí)際的類(lèi)別i的物體的像素總數(shù)。

圖9 高光譜數(shù)據(jù)分類(lèi)結(jié)構(gòu)圖Fig.9 Architecture of hyperspectral data classification

3.2 標(biāo)注方法對(duì)比實(shí)驗(yàn)

為了驗(yàn)證利用主動(dòng)學(xué)習(xí)進(jìn)行樣本標(biāo)注有利于提高膠囊網(wǎng)絡(luò)的分類(lèi)性能，本文進(jìn)行了如下4組實(shí)驗(yàn)：訓(xùn)練樣本全部從已標(biāo)注樣本中隨機(jī)選擇、主動(dòng)學(xué)習(xí)選擇樣本占比20%、主動(dòng)學(xué)習(xí)選擇樣本占比30%、主動(dòng)學(xué)習(xí)選擇樣本占比40%。特征構(gòu)造的方法保持一致，設(shè)置膠囊網(wǎng)絡(luò)的Batch_size為64，總共迭代次數(shù)為30000次，共計(jì)進(jìn)行320個(gè)Epoch。模型初始學(xué)習(xí)率設(shè)置為0.001，每迭代訓(xùn)練10個(gè)Epoch，學(xué)習(xí)率調(diào)整為原來(lái)的一半，通過(guò)標(biāo)記樣本得到預(yù)訓(xùn)練模型，然后通過(guò)查詢(xún)函數(shù)選擇與已有標(biāo)記樣本差異較大的未標(biāo)記樣本，通過(guò)專(zhuān)家標(biāo)注后送入訓(xùn)練模型，每查詢(xún)到300個(gè)未標(biāo)記樣本進(jìn)行一次網(wǎng)絡(luò)參數(shù)的優(yōu)化，參與訓(xùn)練的樣本共有6000個(gè)，分為隱蔽物-車(chē)、隱蔽物-網(wǎng)、草、樹(shù)木、陰影和天空6類(lèi)，每個(gè)類(lèi)別分別有1000個(gè)樣本，測(cè)試樣本共4000個(gè)。表1是5種不同標(biāo)注樣本占比的分類(lèi)實(shí)驗(yàn)結(jié)果，從圖5的二維標(biāo)注可以看出每類(lèi)物體的樣本像素是不一樣的，其中草地樣本數(shù)是最多的，隱蔽物-車(chē)、陰影和天空的總樣本偏少。實(shí)驗(yàn)發(fā)現(xiàn)這些類(lèi)別在50%、60%占比的情況下主動(dòng)學(xué)習(xí)擴(kuò)大的標(biāo)記樣本和40%情況下的擴(kuò)大標(biāo)記樣本基本沒(méi)有差異，故繼續(xù)擴(kuò)大主動(dòng)學(xué)習(xí)選擇樣本的比例對(duì)網(wǎng)絡(luò)分類(lèi)性能沒(méi)有顯著提高。實(shí)驗(yàn)數(shù)據(jù)證明訓(xùn)練樣本中利用主動(dòng)學(xué)習(xí)選擇的樣本占比為30%時(shí)，網(wǎng)絡(luò)分類(lèi)精度最高。

圖10 實(shí)驗(yàn)裝置圖Fig.10 Display of the experimental devices

圖11 高光譜分類(lèi)效果圖Fig.11 Hyperspectral image classification effect map

3.3 分類(lèi)方法對(duì)比實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證膠囊網(wǎng)絡(luò)的有效性，本文分別選擇LR、AlexNet 兩種分類(lèi)方法進(jìn)行實(shí)驗(yàn)與之對(duì)比，LR、AlexNet和膠囊網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)均為30000次，特征構(gòu)造、降維的方法均保持一致，選擇準(zhǔn)確率作為不同方法分類(lèi)性能的評(píng)價(jià)指標(biāo)。AlexNet 各項(xiàng)參數(shù)設(shè)置與膠囊網(wǎng)絡(luò)相同，即Batch_size為64，總共迭代次數(shù)為30000，共計(jì)進(jìn)行320個(gè)Epoch，模型初始學(xué)習(xí)率設(shè)置為0.001，每迭代訓(xùn)練10個(gè)Epoch，學(xué)習(xí)率調(diào)整為原來(lái)的一半；LR的初始學(xué)習(xí)率設(shè)置為0.001，每迭代1000次，學(xué)習(xí)率降低為原來(lái)的一半。參與訓(xùn)練的樣本共有6000個(gè)，同樣分為隱蔽物-車(chē)、隱蔽物-網(wǎng)、草、樹(shù)木、陰影和天空6類(lèi)，每個(gè)類(lèi)別分別有1000個(gè)樣本，其中隨機(jī)標(biāo)注的樣本占比70%，主動(dòng)學(xué)習(xí)標(biāo)注的樣本占比30%；測(cè)試樣本共4000個(gè)。表2是3種分類(lèi)方法的實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)結(jié)果表明本文提出的針對(duì)具有隱蔽色特征物體分類(lèi)的主動(dòng)學(xué)習(xí)膠囊網(wǎng)絡(luò)算法具有出色的分類(lèi)效果，不論是相比與AlexNet 還是LR算法，分類(lèi)精度都取得了較大的提升。

表1 不同標(biāo)注方法的分類(lèi)性能比較Table1 Comparison of detection performance of different methods of labelling

表2 不同分類(lèi)方法的性能比較Table2 Comparison of detection performance of different methods of classification

4 結(jié)論

針對(duì)具有不同類(lèi)別隱蔽物的場(chǎng)景進(jìn)行圖像分類(lèi)的問(wèn)題，本文提出了一種具有隱蔽色特征物體的圖像分類(lèi)方法，采用光譜分析技術(shù)并將圖像的空間特征融入到高光譜特征中并通過(guò)改進(jìn)的特征降維算法更好地實(shí)現(xiàn)了高光譜空譜聯(lián)合特征的保留，利用膠囊網(wǎng)絡(luò)學(xué)習(xí)隱蔽物高光譜數(shù)據(jù)中豐富的特征信息，取得了比現(xiàn)有其他分類(lèi)方法出色的分類(lèi)精度。另外，針對(duì)實(shí)際面臨的樣本標(biāo)注困難的情況，本文選擇了基于改進(jìn)查詢(xún)函數(shù)的主動(dòng)學(xué)習(xí)方法對(duì)訓(xùn)練樣本進(jìn)行擴(kuò)充，最終使標(biāo)注的樣本更具有代表性，有效減少了樣本標(biāo)注的工作量以及網(wǎng)絡(luò)模型的訓(xùn)練量。實(shí)驗(yàn)結(jié)果表明，該方法在自建高光譜數(shù)據(jù)集上，針對(duì)具有隱蔽色特征的物體和其他自然場(chǎng)景物體的分類(lèi)精度都取得了出色的效果。