劉 娜，宋 娟，董 麗，尤洪峰

(1. 青島黃海學(xué)院智能制造學(xué)院，山東青島 266427；2. 新疆大學(xué) 信息科學(xué)與工程學(xué)院，新疆烏魯木齊 830000)

1 引言

高光譜圖像(HSIs)在每個(gè)像素中包含數(shù)百個(gè)波段。由于高光譜圖像光譜的豐富性，它們被廣泛用于農(nóng)業(yè)[1]、林業(yè)[2]和城市分區(qū)等[3]。豐富的波段給HSIs圖像帶來(lái)了足夠的特征的同時(shí)也產(chǎn)生了許多冗余特征。最近，研究人員提出了一些新的方法來(lái)解決冗余特征。聶飛平[9]等提出了一種特征自動(dòng)加權(quán)模型，使得冗余特征最小化。Ayinde等人[10]通過(guò)為不同的冗余特征建立相對(duì)余弦距離，最終消除了大量冗余特征并降低了模型計(jì)算成本。主成分分析(PCA)在消除冗余特征方面起著重要作用[11-14]，并且它不受參數(shù)設(shè)置的影響，所以選擇了PCA模型做特征預(yù)處理。小樣本HSIs也是特征挖掘和分類中的一個(gè)難題。為了更好地實(shí)現(xiàn)高光譜圖像的小樣本分類，研究者們做了大量的研究，如支持向量機(jī)(SVM)[4]，條件隨機(jī)場(chǎng)(CRF)[5]，k最近鄰(KNN)[15]，基于聚類[16]等。然而，上述方法對(duì)挖掘高維特征不夠充分。近年來(lái)，深度學(xué)習(xí)由于其強(qiáng)大的特征學(xué)習(xí)和分類能力，在圖像分類方面取得了越來(lái)越大的成就[17]。為了更好地挖掘高維特征，Mesut Salman[6]等人使用AlexNet提取高光譜圖像的形態(tài)特征，并通過(guò)形態(tài)特征來(lái)加強(qiáng)特征間的空間關(guān)系；Mercedes E.Paoletti等人[7]提出了一種殘差神經(jīng)網(wǎng)絡(luò)(ResNet)，逐步增加卷積維數(shù)，最終實(shí)現(xiàn)冗余特征的消除。Gefei Yang 等人[8]提出了一種雙通道稠密卷積網(wǎng)絡(luò)(DenseNet)來(lái)提取高光譜圖像的光譜特征和空間特征，并通過(guò)充分利用多種特征進(jìn)一步提高了圖像分類的精度。以上方法在特征挖掘中表現(xiàn)出優(yōu)異的性能。

然而，由于卷積核的大小決定了最終學(xué)習(xí)的特征，且高光譜圖像具有高維特征的性質(zhì)，使得單個(gè)卷積核難以適用。雖然深層網(wǎng)絡(luò)可以通過(guò)挖掘更深的特征來(lái)獲取更多的信息，但隨著模型層數(shù)量的增加，大量的有用特征同樣被丟失。最終導(dǎo)致復(fù)雜的小樣本高光譜圖像識(shí)別變得困難。H Lee[18]等人提出了上下文CNN挖掘不同尺度的高光譜圖像特征，并取得了良好的效果，但這方面的工作只是對(duì)輸入部分進(jìn)行了改進(jìn)，模型的中后期對(duì)特征的挖掘還不夠全面。為了解決上述問(wèn)題，提出了一種MSC運(yùn)算方法，在整個(gè)網(wǎng)絡(luò)中同時(shí)對(duì)每個(gè)模塊提取不同尺度的卷積特征。實(shí)驗(yàn)結(jié)果表明，該算法能較好地挖掘高光譜圖像的特征。這篇文章的主要貢獻(xiàn)如下：1)首次將MSC方法應(yīng)用于任意模型中的每個(gè)卷積模塊。這種方法特別適用于樣本有限的小規(guī)模數(shù)據(jù)集。2)為了更好地理解MSC卷積的訓(xùn)練結(jié)果，對(duì)三個(gè)公共數(shù)據(jù)集進(jìn)行了收斂性可視化分析。

2 模型結(jié)構(gòu)

圖1顯示了基于AlexNet算法提出的MSC運(yùn)算方法。首先，利用PCA算法對(duì)原始高光譜圖像進(jìn)行降維，保留其大部分信息維數(shù)，降低了計(jì)算量。其次，將降維后的特征輸入改進(jìn)后的AlexNet模型，最后通過(guò)Softmax預(yù)測(cè)每個(gè)像素并實(shí)現(xiàn)識(shí)別。

圖1 改進(jìn)后的AlexNet模型

圖1中，MSC代表提議的MSC，虛線表示MSC方法，綠色矩陣表示Maxpooling層，藍(lán)色矩陣表示密集層，紫色矩陣表示Softmax函數(shù)，⊕表示特征融合操作。

2.1 傳統(tǒng)卷積

卷積可以根據(jù)給定的權(quán)重自動(dòng)計(jì)算特征，最終保留有用的信息(如圖像方向邊、線、點(diǎn)等)。局部信息通過(guò)Flatten 層組合得到圖像的全局信息。每個(gè)卷積核對(duì)應(yīng)于一個(gè)基本特征，并且生成一對(duì)特征映射，并且共享特征圖中的權(quán)重。傳統(tǒng)的卷積運(yùn)算如圖2所示。

圖2 傳統(tǒng)的卷積運(yùn)算過(guò)程

圖2 中，綠色矩陣表示輸入特征，橙色矩陣表示3的卷積核，粉紅色矩陣表示輸出。

傳統(tǒng)的卷積公式如下所示

i，j代表了圖像輸入特征點(diǎn)的橫坐標(biāo)和縱坐標(biāo)；n代表了卷積運(yùn)算的次數(shù)；X代表了圖像特征矩陣；Wk代表了卷積核為k的權(quán)重矩陣；bk代表了卷積核為k的偏置函數(shù)；S表示得到的新特征矩陣；*表示卷積運(yùn)算公式。

2.2 多尺度卷積

特征挖掘直接受卷積核尺度的影響。有時(shí)單個(gè)卷積核不能充分挖掘復(fù)雜圖像中的關(guān)鍵特征，導(dǎo)致一些關(guān)鍵特征的丟失。為了解決上述問(wèn)題，提出了一種新的MSC方法，通過(guò)多個(gè)卷積核利用多個(gè)尺度同時(shí)挖掘特征。實(shí)驗(yàn)結(jié)果表明，MSC能更多的保留關(guān)鍵特征。MSC運(yùn)算如圖3所示。

圖3 MSC運(yùn)算過(guò)程

圖3中，綠色表示輸入特征；紅色、橙色和黃色表示不同尺度下卷積核的大小，粉色表示各卷積核運(yùn)算結(jié)果；多顏色矩陣表示輸出的特征結(jié)果；多尺度特征通過(guò)級(jí)聯(lián)融合作為下一模塊的輸入。

多尺度卷積公式如下所示：

W(k-1，k，k+2)代表了k-1，k，k+1 三個(gè)不同尺度的卷積核運(yùn)算；b(k-1，k，k+1)分別代表了k-1，k，k+1 三個(gè)卷積的偏執(zhí)函數(shù)。

2.3 特征融合與分類

首先提取包含豐富空間信息和光譜信息的三維特征矩陣D(x，y，b)，然后利用PCA算法進(jìn)行降維，保留其包含重要特征的維數(shù)。最后，將降維的3-D特征矩陣轉(zhuǎn)換為2-D(x*b，y)特征矩陣作為模型輸入。公式如下：

Input=Reshape(PCA(Dx，y，b))

PCA代表了降維算法；Reshape代表了維度轉(zhuǎn)換函數(shù)；Dx，y，b代表了原始特征數(shù)據(jù)；Input代表了模型輸入矩陣；x表示圖像的橫向長(zhǎng)度；y代表了圖像的縱向長(zhǎng)度；b表示圖像的光譜緯度。

當(dāng)特征被輸入到MSC運(yùn)算方法時(shí)，每個(gè)卷積核分別計(jì)算其特征，最后將生成的多尺度特征融合，其公式表示如下：

溫度是影響生物生命活動(dòng)的最重要的環(huán)境因子之一。一般能在45℃以上生長(zhǎng)和繁殖的細(xì)菌可稱為高溫菌，主要包括部分細(xì)菌，古菌和真菌［10］。ClpP存在于細(xì)菌和真核生物中，除了柔膜細(xì)菌和部分真菌外［11］。它是高度保守的絲氨酸蛋白酶。ClpP最早發(fā)現(xiàn)于大腸桿菌中［12］。ClpP的結(jié)構(gòu)有一個(gè)共同點(diǎn):它包含了14個(gè)亞單元，有兩個(gè)七瓣環(huán)形成一個(gè)圓柱樣結(jié)構(gòu)，該結(jié)構(gòu)圍成一個(gè)大腔室內(nèi)含蛋白酶的活性部位［13］。ClpP能形成AAA+(ATP酶聯(lián)合不同細(xì)胞間的活性)伴侶蛋白復(fù)合物，它可以使底物變性以及通過(guò)軸孔把它們轉(zhuǎn)移到蛋白酶的蛋白水解腔室中進(jìn)行降解，將蛋白降解成7～8個(gè)殘基后從腔室中釋放出來(lái)［14］。

Output=Concatenate(F1⊕F2⊕F3)

Output代表了最終多尺度特征融合后的輸出; Concatenate特征融合函數(shù)；F1代表了卷積核尺寸為 k-1的運(yùn)算結(jié)果；F2代表了卷積核尺寸為 k的運(yùn)算結(jié)果；F3代表了卷積核尺寸為 k+1的運(yùn)算結(jié)果；⊕代表了融合運(yùn)算公式。

3 數(shù)據(jù)集及實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集及評(píng)估方法

在這篇文章中，實(shí)驗(yàn)是基于三個(gè)高光譜公共數(shù)據(jù)集進(jìn)行的。第一個(gè)數(shù)據(jù)集是Indina Pines，其大小為145*145，并通過(guò)PCA降至到100維，整個(gè)圖像有16個(gè)不同的類。第二個(gè)數(shù)據(jù)集是Pavia University，其大小為610*340，并通過(guò)PCA降至到50維。整個(gè)圖像有9個(gè)不同的類。第三個(gè)數(shù)據(jù)集是Salinas，其大小為512*217，并通過(guò)PCA降至到29維。整個(gè)圖像有16個(gè)不同的類?？傮w準(zhǔn)確度(OA)、平均準(zhǔn)確度(AA)和kappa coefficient (Kappa)被用作評(píng)估所提算法策略的性能指標(biāo)。

表1 部分MSC模塊的算法模型

3.2 傳統(tǒng)卷積與MSC卷積性能比較

為了比較單卷積與MSC性能哪個(gè)更好，在三個(gè)數(shù)據(jù)集上驗(yàn)證了它。構(gòu)造了一組卷積核尺度由3，4，5組成的MSC和單卷積3，4，5比較。實(shí)驗(yàn)一共運(yùn)行了100輪，每輪迭代20次。實(shí)驗(yàn)結(jié)果如圖4所示。從圖4可以看出，本文提出的MSC在特征挖掘和收斂方面都有更好的表現(xiàn)。

圖4 收斂曲線(紅色線代表了MSC運(yùn)算。其它顏色線代表了單卷積運(yùn)算)

3.3 不同模型在不同數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

為了進(jìn)行公平的比較，在本實(shí)驗(yàn)中，將MSC運(yùn)算到三個(gè)經(jīng)典的深度學(xué)習(xí)分割算法中，包括AlexNet[6]，ResNet[7]，DenseNet[8]，并與原算法進(jìn)行比較。不同數(shù)據(jù)集的結(jié)果顯示在下表中(其中表2為Indian數(shù)據(jù)集；表3為Pavia大學(xué)數(shù)據(jù)集和表4為Salinas數(shù)據(jù)集)。

表2 提取5%，10%，15%的Indian數(shù)據(jù)集的樣本作為訓(xùn)練集實(shí)現(xiàn)分類，其中粗體表示改進(jìn)算法之后的結(jié)果

表3 提取1%，5%，10%的Pavia數(shù)據(jù)集的樣本作為訓(xùn)練集實(shí)現(xiàn)分類，其中粗體表示改進(jìn)算法之后的結(jié)果

表4 提取1%，5%，10%的Salinas數(shù)據(jù)集的樣本作為訓(xùn)練集實(shí)現(xiàn)分類，其中粗體表示改進(jìn)算法之后的結(jié)果

1) Indian數(shù)據(jù)集的結(jié)果：印度松樹(shù)數(shù)據(jù)集屬于小樣本數(shù)據(jù)集，其中9個(gè)類小于500個(gè)樣本，最小類只有20個(gè)樣本。從表2中，可以清楚地看到，提出的MSC運(yùn)算效果比單卷積的效果高2%到4%，對(duì)OA、AA和Kappa都是如此。圖5對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了可視化(使用5%的樣本作為訓(xùn)練集進(jìn)行訓(xùn)練)?？梢郧宄乜吹剑倪M(jìn)后的模型顯著提高了分類精度(通過(guò)紅色圓圈展示了原始算法與改進(jìn)算法在某些地方的明顯差異)。

圖5 Indian數(shù)據(jù)集可視化結(jié)果

2) Pavia數(shù)據(jù)集的結(jié)果：該數(shù)據(jù)集分為9類，每類有數(shù)千個(gè)樣本，但樣本形狀不規(guī)則。從表3可以清楚地看出，改進(jìn)的卷積算法提高了OA，AA和Kappa，并且評(píng)估標(biāo)準(zhǔn)隨著訓(xùn)練樣本數(shù)量的增加而顯著增加。圖6對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了可視化(使用1%的樣本作為訓(xùn)練集進(jìn)行訓(xùn)練)?？梢郧宄乜吹剑S著訓(xùn)練樣本比例的增加，噪聲顯著降低。相對(duì)于傳統(tǒng)的單卷積算法，改進(jìn)的卷積算法的分類效果明顯更強(qiáng)。

圖6 Pavia數(shù)據(jù)集可視化結(jié)果

圖7 Salinas數(shù)據(jù)集可視化結(jié)果

4 總結(jié)

針對(duì)傳統(tǒng)卷積挖掘深層特征會(huì)導(dǎo)致部分關(guān)鍵特征丟失，從而給小樣本分類帶來(lái)困難的問(wèn)題。本文提出了一種MSC卷積運(yùn)算算法改進(jìn)了傳統(tǒng)卷積運(yùn)算方式，通過(guò)同時(shí)計(jì)算多個(gè)卷積并融合運(yùn)算后的多尺度深層特征，有效地保留了更多關(guān)鍵性特征。在三個(gè)公共數(shù)據(jù)集和三個(gè)改進(jìn)算法上取得了最好的結(jié)果。充分證明了本文方法的可行性。下一步將研究關(guān)鍵特征間的序列問(wèn)題，從而通過(guò)增強(qiáng)特征間的關(guān)系來(lái)獲取更高的分類效果。