李成范 趙俊娟

( 1. 東華理工大學(xué)江西省數(shù)字國土重點實驗室, 江西南昌 330013;2. 上海大學(xué)計算機工程與科學(xué)學(xué)院, 上海 200444)

隨著星載傳感器和小衛(wèi)星技術(shù)的不斷發(fā)展, 遙感技術(shù)已成為地球資源調(diào)查和生態(tài)環(huán)境監(jiān)測的重要手段, 應(yīng)用領(lǐng)域也越來越廣泛[1-2]. 遙感圖像中目標(biāo)數(shù)量眾多, 種類繁雜, 普遍存在小樣本顯著以及部分目標(biāo)樣本采集困難等現(xiàn)象. 如對于偏遠(yuǎn)地區(qū)或一些人類不易到達的地區(qū), 不同類型的目標(biāo)樣本數(shù)量稀少、分布不均衡且目標(biāo)尺度大小變化不一, 導(dǎo)致目標(biāo)的可提取特征弱化. 早期的遙感圖像目標(biāo)檢測主要是通過基于目視和像元解譯實現(xiàn), 目前已成為有效的遙感圖像分析輔助手段[3]. 隨后出現(xiàn)的面向?qū)ο蟮姆椒軌虺浞掷孟裨庾V和地物的空間與形狀、紋理等特征, 盡管目標(biāo)檢測效果較好, 但是在對象分割過程中如何設(shè)定合理的分割窗口和分類特征則成為制約高精度應(yīng)用的難點[4].

隨著遙感數(shù)據(jù)量的激增, 傳統(tǒng)的遙感圖像分析方法已不能適應(yīng)高精度遙感應(yīng)用的需要,而新出現(xiàn)的一些遙感目標(biāo)檢測方法, 如神經(jīng)網(wǎng)絡(luò)、專家系統(tǒng)、支持向量機(support vector machine, SVM)等, 行業(yè)應(yīng)用明顯, 通常僅在某一領(lǐng)域中取得較好的效果, 普適性較差[5]. 深度神經(jīng)網(wǎng)絡(luò)是一種基于人工智能的分類算法, 該算法通過計算機來模擬人類學(xué)習(xí)過程, 使目標(biāo)檢測結(jié)果更趨于合理化和自動化, 具有較好的容錯能力和強大的自適應(yīng)性, 有效克服了傳統(tǒng)遙感目標(biāo)檢測方法造成的模糊性和不確定性.K近鄰(K-nearest neighbor, KNN)回歸算法是一種基于統(tǒng)計的非參數(shù)模式識別分類算法, 其應(yīng)用領(lǐng)域已由最初的時間序列預(yù)測逐漸擴展到多個領(lǐng)域的預(yù)測, 如文本分類預(yù)測、災(zāi)害監(jiān)測、年平均降雨量預(yù)報等[6-8]. 然而, KNN 在學(xué)習(xí)過程中需要不斷地存儲已知的訓(xùn)練數(shù)據(jù), 占用內(nèi)存較大. VGG-16 模型包含卷積層、全連接層、池化層, 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)較少, 能夠更加有效地學(xué)習(xí)到復(fù)雜的圖像級特征[9-10]. 得益于強大的特征表示能力, 目前深度神經(jīng)網(wǎng)絡(luò)已經(jīng)得到了深入關(guān)注和廣泛應(yīng)用[11-13].

小樣本學(xué)習(xí)是從每類單個或少量樣本中學(xué)習(xí)特定任務(wù)的信息. 早期嘗試小樣本問題的算法是基于稀疏表示的方法[14]. 隨著基于貝葉斯理論的表示方法的提出, 先驗知識被更好地引入和利用[15-16]. 但是, 這些早期的傳統(tǒng)方法往往是針對具體問題設(shè)計的, 其模型通用性較差.隨著深度學(xué)習(xí)的興起, 小樣本學(xué)習(xí)有了更廣闊的研究空間, 吸引了越來越多研究人員的關(guān)注,且所提出的模型具有更好的通用性. 例如, 早期出現(xiàn)的孿生網(wǎng)絡(luò)、匹配網(wǎng)絡(luò)、原型網(wǎng)絡(luò)、圖神經(jīng)網(wǎng)絡(luò)、協(xié)方差度量網(wǎng)絡(luò)等度量學(xué)習(xí)方法[17-20]能夠有效地提升小樣本學(xué)習(xí)的性能. 目前, 基于度量學(xué)習(xí)的小樣本分類方法大多為上述網(wǎng)絡(luò)的改進, 通過考慮樣本局部信息, 盡可能地捕捉類內(nèi)相似、差異和類間差異, 從而提高分類的準(zhǔn)確性; 基于長短時記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory network, LSTM)的元學(xué)習(xí)器模型、模型無關(guān)元學(xué)習(xí)、Reptile 元學(xué)習(xí)優(yōu)化算法、基于元學(xué)習(xí)的訓(xùn)練網(wǎng)絡(luò)、meta-transfer 算法等的深度學(xué)習(xí)模型, 通過梯度的反向傳播解決了在訓(xùn)練樣本不足的情況下梯度學(xué)習(xí)收斂問題[21-23]. 盡管基于深度學(xué)習(xí)的小樣本分類算法取得了一些進展, 但是仍然存在一些問題, 如非常依賴于源域且很難應(yīng)用到與源域差別較大的情形中[24], 小樣本目標(biāo)檢測中源域有大量樣本而目標(biāo)域僅有少量標(biāo)注的樣本[25], 采用少量卷積層作為特征提取大多不能有效提取圖像的特征[26], 算法通用性較弱, 難以適用于存在少量樣本且缺少大量無標(biāo)注樣本問題等.

傳統(tǒng)的小樣本目標(biāo)檢測方法普遍存在目標(biāo)類型判別不穩(wěn)定、特征提取能力較弱, 而部分新興算法網(wǎng)絡(luò)復(fù)雜度較高, 遷移學(xué)習(xí)能力較弱等問題. 縱觀眾多基于遙感圖像的小樣本分類算法, 目前以深度學(xué)習(xí)算法最為有效. 其中, 深度神經(jīng)網(wǎng)絡(luò)具有強大的復(fù)雜網(wǎng)絡(luò)模型學(xué)習(xí)能力, 可以滿足高精度的遙感圖像小樣本分類需求. 本工作提出了通過利用KNN回歸構(gòu)建局部鄰域, 同時分別利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)卷積層和最大池化層進行特征提取與特征聚合, 提高局部特征的魯棒性; 最后, 利用全連接層與縮放指數(shù)型線性單元(scaled expected linear unit, SELU)激活函數(shù)計算不同類別小樣本目標(biāo)的概率并進行分類. 實驗結(jié)果表明, 基于改進的CNN 算法能夠更有效地融合局部特征, 提高遙感圖像小樣本目標(biāo)識別與檢測精度, 保持信息的非局部擴散.

1 算法原理

1.1 VGG16 模型和KNN 回歸模型

VGG16 網(wǎng)絡(luò)通過堆疊多個小尺度的卷積核和引入多個非線性層操作, 一定程度上提高了網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜特征的能力, 減小了模型的優(yōu)化參數(shù), 模型泛化能力更強.

假定n維空間中任一個樣本的最近鄰均可用歐氏距離定義, 則對于任一樣本x的特征向量x=(x1,x2,··· ,xi), 那么2 個樣本xm和xn在2 維空間中的距離可以定義為

式中:xi為樣本x的第i個特征值. 對于待分類樣本xm而言,x1,x2,··· ,xk為訓(xùn)練集中與xm距離最近的k個最近鄰樣本.

1.2 改進CNN 算法

假設(shè)深度網(wǎng)絡(luò)表示的函數(shù)為fθ, 每個樣本及其對應(yīng)標(biāo)簽記為(xi,yi),Sj表示為支撐集中類別為j的樣本集合, 則每個類的原型為

給定一個距離度量d, 原型網(wǎng)絡(luò)基于查詢樣本到其他原型之間距離和SELU 激活函數(shù)歸一化而產(chǎn)生的類別的分布為

對于每幅圖像, 經(jīng)過CNN 提取特征后, 利用卷積層、池化層和激活函數(shù)層進一步進行特征嵌入, 生成一個局部特征, 進而得到融合局部特征的圖像嵌入表示. 對每類支撐集中的樣本的特征嵌入進行平均, 得到每類的原型. 此時查詢樣本取每類原型概率值的最大值作為查詢樣本屬于該類別的概率. 但是在考慮局部特征時增加了網(wǎng)絡(luò)復(fù)雜度, 在小樣本條件下, 引入Triplet Loss 代價函數(shù)來增強特征的表達能力:

圖1 為本工作提出的改進CNN 算法模型示意圖, 圖中卷積核大小為3×3, 池化層的步長為2. 該模型包含一個VGG16 結(jié)構(gòu)、13 個卷積層、5 個池化層和3 個全連接層以及嵌入CNN中的KNN 結(jié)構(gòu).

圖1 改進的CNN 模型結(jié)構(gòu)Fig.1 Improved CNN model structure

在該模型中, 首先輸入原始數(shù)據(jù), 經(jīng)過VGG-16 處理形成n×3 維的張量; 構(gòu)建每個點的局部鄰域得到3 個n×k維的特征圖; 經(jīng)過卷積操作形成64 個n×k維的特征圖; 對于第3 次池化操作后生成一個1 024×1 維的特征向量, 通過全連接層進行分類; 最后采用SELU 激活函數(shù)將全連接層的輸出轉(zhuǎn)化為相對應(yīng)的概率. SELU 能使CNN 每一層的輸出自動歸一化到均值接近0. 方差接近1 的高斯分布, 訓(xùn)練效果更佳, CNN 模型魯棒性更強. 這里, 各類別對應(yīng)的概率表達式為

式中:λ為縮放因子,λ=1.05;α為常數(shù),α=1.67.

2 實 驗

2.1 數(shù)據(jù)集和預(yù)處理

本工作將采用超光譜成像(hyperspectral imager, HSI)儀高光譜遙感數(shù)據(jù)集驗證所提算法的準(zhǔn)確性. HSI 傳感器搭載在中國首顆環(huán)境與減災(zāi)衛(wèi)星(HJ-1A)上, 回歸周期為4 d, 譜段范圍為0.45～0.95 μm, 擁有115 個譜段數(shù), 平均光譜分辨率為5 nm, 系統(tǒng)信噪比為50～100 dB. 本工作中獲取的數(shù)據(jù)為HSI 的2 級產(chǎn)品. 本實驗室擁有自建的HSI 高光譜數(shù)據(jù)集, 該數(shù)據(jù)集共包含6 類場景, 每類場景中都有300 幅500×500 像素的圖像. 該數(shù)據(jù)集的選取標(biāo)準(zhǔn)之一就是同一地物類型內(nèi)部之間差異大、不同地物類型之間相似度高, 更有利于測試算法的準(zhǔn)有效性. 其中, 隨機選取各類型地物目標(biāo)的60%作為訓(xùn)練, 20%進行驗證, 余下20%進行測試(下文中的全部試驗結(jié)果都是基于ImageNet 數(shù)據(jù)集遷移學(xué)習(xí)而得到的).

在深度網(wǎng)絡(luò)學(xué)習(xí)語義特征時, 由于缺少足夠多的標(biāo)注樣本, 故往往會導(dǎo)致網(wǎng)絡(luò)參數(shù)訓(xùn)練效果不理想. 在實驗中, 首先在ImageNet 上預(yù)訓(xùn)練VGG16 的網(wǎng)絡(luò)參數(shù), 將圖像級分類網(wǎng)絡(luò)轉(zhuǎn)換為像素級特征預(yù)測網(wǎng)絡(luò); 隨后在KNN 回歸構(gòu)建局部鄰域的基礎(chǔ)上, 分別利用CNN 卷積層和最大池化層進行特征提取與特征聚合; 最后將通過訓(xùn)練好的網(wǎng)絡(luò)參數(shù)遷移提取HSI 數(shù)據(jù)集中潛在的深層結(jié)構(gòu)信息, 得到表征HSI 數(shù)據(jù)集空間分布的21 個特征結(jié)果(見圖2).

圖2 HSI 圖像空間分布Fig.2 Spatial distribution in HSI image

圖2 為HSI 圖像空間分布圖. 在圖2 中, 不同的特征圖分別對應(yīng)神經(jīng)網(wǎng)絡(luò)預(yù)測層的若干神經(jīng)元, 不同的目標(biāo)在每個神經(jīng)元能夠產(chǎn)生相應(yīng)的反應(yīng). 通過融合局部特征的深度神經(jīng)網(wǎng)絡(luò)能夠更好地識別和檢測出HSI 數(shù)據(jù)集中局部細(xì)節(jié)信息.

本實驗采用自適應(yīng)矩估計(adaptive moment estimation, Adam)優(yōu)化器優(yōu)化CNN 模型. 設(shè)置初始學(xué)習(xí)率為0.001 5, 動量設(shè)置為0.9, 批量規(guī)模(batch size)設(shè)置為32, 丟棄率(dropout)設(shè)置為0.5, 網(wǎng)絡(luò)訓(xùn)練初始權(quán)重w初始化為高斯分布的隨機數(shù), 初始偏差b設(shè)置為0. 訓(xùn)練中通過對圖像的曝光量、色調(diào)和飽和度等不斷進行調(diào)整, 以此提高模型的泛化能力.

本實驗是在Anaconda 平臺上通過Python 3.7 實現(xiàn),編程環(huán)境為Cuda-toolkit 8.0,深度學(xué)習(xí)框架為Tensorflow2.0, 所有的實驗均在Intel Xeon E5-2620 v4 CPU,Nvidia Quadro M4000 GPU(內(nèi)存為8 GB)的Linux Ubuntu 系統(tǒng)上完成的.

2.2 目標(biāo)檢測評價指標(biāo)

在實驗中, 本工作主要采用總體精度(overall accuracy, OA)和Kappa 系數(shù)等指標(biāo)對提出的測算法進行性能評估. 此外, 為了得到較準(zhǔn)確的評估結(jié)果, 本實驗均采用50 次實驗的平均分類結(jié)果進行統(tǒng)計.

本實驗總精度的計算公式為

式中:N為所有真實參考的像元總數(shù);xii為混淆矩陣對角線;r為不同的目標(biāo)類型.

Kappa 系數(shù)的計算公式為

式中:i+為矩陣行元素; +i為矩陣列元素.

通常來說, Kappa 系數(shù)的計算結(jié)果范圍為[-1, 1], 一致性程度按照Kappa 系數(shù)范圍均勻地劃分為輕微、一般、中度、大量和近似完全這5 個等級. Kappa 系數(shù)數(shù)值分布和一致性之間的關(guān)系如表1 所示.

表1 Kappa 數(shù)值分布與一致性的關(guān)系Table 1 Relationship between the Kappa numerical distribution and consistency

3 結(jié)果分析

3.1 不同K 值和樣本數(shù)量變化

在利用KNN 回歸構(gòu)建局部鄰域的過程中, 不同近鄰點K值條件下的局部結(jié)構(gòu)信息并不完全相同. 表2 展示了K值與改進算法精度的關(guān)系.

表2 K 值與改進CNN 算法精度的關(guān)系Table 2 Relationship between the K value and accuracy of the improved CNN approach

從表2 中可以看出, 隨著鄰近點K值的增大, 本算法的總體分類精度不斷提高, 且增大的幅度隨著K值的增大逐漸減小, 表明在構(gòu)建局部鄰域時局部鄰域內(nèi)必須包含一定數(shù)量的特征,避免局部特征數(shù)量較少對識別分類結(jié)果產(chǎn)生的影響. 但是,K值的增大在一定程度上會引起構(gòu)建的局部鄰域增大, 訓(xùn)練耗時增加.

圖3 展示了本算法與CNN、CRNN、LSTM 等常用算法之間分類精度與訓(xùn)練樣本數(shù)量的關(guān)系.

圖3 不同算法分類精度與訓(xùn)練樣本數(shù)量的關(guān)系Fig.3 Relationship between different approaches and training samples

從圖3 中可以看出, 在小樣本條件下, 尤其是在訓(xùn)練樣本數(shù)量為0～200 時, 本算法的分類精度要明顯的優(yōu)于其他3 種方法, 且隨著訓(xùn)練樣本數(shù)量的增加, 不同算法的分類精度也呈現(xiàn)逐漸增高的趨勢. 本算法在訓(xùn)練樣本數(shù)量為200 時達到了最優(yōu)的分類精度(約為97%); LSTM 算法變化趨勢與本算法一致, 但是其總體分類精度要低于本算法; CNN 和CRNN 算法達到最高分類精度所需要的訓(xùn)練樣本數(shù)量要多于LSTM 算法和本算法. 當(dāng)樣本數(shù)量達到500 時, 不同算法的分類精度逐漸趨于穩(wěn)定. 此后, 隨著樣本量的持續(xù)增加, 不同方法的分類精度并未出現(xiàn)明顯增高, 這在一定程度上體現(xiàn)出本算法在小樣本條件下的適用性和準(zhǔn)確性.

3.2 算法精度和時間復(fù)雜度

表3 分別展示了CNN、CRNN、LSTM 和本算法的訓(xùn)練情況與測試精度.

表3 訓(xùn)練情況和測試精度Table 3 Training and testing accuracy

從表3 中看出, 本算法在訓(xùn)練集上的精度達到90.5%, 損失為0.33, 都要優(yōu)于傳統(tǒng)的CNN、CRNN 和LSTM 方法. 相應(yīng)地, 在測試集上, 本算法的精度達到83.2%, 也優(yōu)于上述3種方法的測試精度, 表明本算法能夠有效地從HSI 圖像中檢測出小樣本目標(biāo).

圖4 和表4 分別展示了本算法和CNN、CRNN、LSTM 算法在相同HSI 數(shù)據(jù)集中的小樣本目標(biāo)檢測結(jié)果.

表4 不同方法分類對比結(jié)果Table 4 Comparison results of different methods

從圖4 中看出, 由于本算法能夠通過融合局部特征更有效地獲取圖像的全局特征, 故在一定程度上加強了小樣本目標(biāo)的邊界定位特征, 使其在分辨率較低的遙感圖像應(yīng)用中的表現(xiàn)更為突出.

圖4 HSI 遙感圖像檢測結(jié)果Fig.4 Detection results of HSI remote sensing images

從表4 可以發(fā)現(xiàn), 在整體檢測類型方面, 本算法在HSI 數(shù)據(jù)集上的分類精度達到90.32%,Kappa 系數(shù)達到0.879 2. 與其他3 種算法相比, 本算法的檢測精度優(yōu)勢明顯, 這也在圖4 中得到了驗證, 本算法的檢測圖像目視效果最好. 另外, 在單一檢測類型方面, 本算法獲取的單類別目標(biāo)信息的精度普遍優(yōu)于其他算法的效果. 其中, 縱觀不同類型檢測信息, class4 和class5的檢測結(jié)果混淆程度最大, 而其他類別混淆程度相對較小. 據(jù)分析, 這主要是由于class4 和class5 的地物目標(biāo)光譜特征較為接近, 在檢測過程中極易引起錯誤識別, 這也與圖4(b)和(c)的檢測結(jié)果相一致. 盡管class4 和class5 的混淆較為嚴(yán)重, 但是本算法得益于局部特征融合, 在完成高檢測精度的同時仍能確保較好的空間一致性.

表5 展示了不同算法在相同HSI 數(shù)據(jù)集上的平均運行時間對比. 為了獲得公平穩(wěn)定的時間對比, 實驗中將在不同樣本數(shù)量情況下分別統(tǒng)計50 次運行的時間均值作為該算法的運算時間.

表5 不同算法平均運行時間對比Table 5 Comparison of operation time of different approaches

在表5 中, 與傳統(tǒng)的CNN、CRNN 和LSTM 算法相比, 本算法需要較多的運行時間. 據(jù)分析, 這主要是由于本算法中的最優(yōu)鄰域窗口半徑較小, 在小樣本條件下大量重復(fù)計算的劣勢逐漸凸顯出來, 計算復(fù)雜度急劇增大. 尤其是當(dāng)各類樣本數(shù)量低于400 時, 這種現(xiàn)象更加明顯.盡管本算法具有較高的時間復(fù)雜度, 但是隨著樣本量的增加, 運行時間并未出現(xiàn)急劇性增加,在通常情況下這些差距被認(rèn)為在可接受范圍內(nèi).

4 結(jié)束語

針對遙感圖像目標(biāo)檢測研究中面臨的小樣本以及每類地物目標(biāo)樣本隨機分布等問題, 本工作提出了一種面向遙感圖像的小樣本目標(biāo)檢測改進算法. 通過KNN 回歸和CNN 網(wǎng)絡(luò)卷積層提取了特征構(gòu)建局部鄰域, 進而聚合所有局部特征來表示全局特征, 從而提高小樣本目標(biāo)檢測精度. 本算法在HSI 高光譜遙感數(shù)據(jù)集上得到驗證. 實驗結(jié)果表明, 與傳統(tǒng)的CNN、CRNN、LSTM 算法相比, 本算法在小樣本條件下構(gòu)建局部鄰域時通過包含一定數(shù)量的局部特征, 顯著提高了目標(biāo)的檢測精度, 同時又保持整體信息的非局部擴散. 盡管如此, 本算法在處理極少樣本情況下的數(shù)據(jù)時, 目標(biāo)檢測耗時較長, 后續(xù)的改進可從如下2 個方面著手:①對模型參數(shù)和K值的選擇進行優(yōu)化, 構(gòu)建合理的參數(shù)選擇機制; ②基于本算法模型層數(shù)相對較淺難以提取更深層次的特征, 制定與模型計算量和計算復(fù)雜度相適應(yīng)的模型層數(shù).