胡 娟，楊厚群，杜欣然，王漢洋

(海南大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，?？?570228)

0 引 言

遙感影像應(yīng)用在測繪地理信息[1]、監(jiān)測環(huán)境質(zhì)量[2]、識別地物特征與分類[3]等方面具有重大意義，成為近年來地球影像識別研究的熱點。隨著深度學(xué)習(xí)算法的不斷發(fā)展與完善，遙感影像的分類與識別也越來越精確。但是，深度學(xué)習(xí)基于大量數(shù)據(jù)[4]，而遙感影像的許多應(yīng)用領(lǐng)域缺乏足夠的樣本數(shù)據(jù)，這使得遙感影像的分類與識別極易出現(xiàn)過擬合、模型泛化性能差等問題。關(guān)于小樣本學(xué)習(xí)的魯棒性和可擴展性[5]研究較多，將小樣本學(xué)習(xí)跟遙感影像分類與識別結(jié)合起來，通過學(xué)習(xí)一定類別的大量數(shù)據(jù)后，模型只需少量樣本就能快速學(xué)習(xí)出新類別，在一定程度上減少過擬合。

本文通過研究對比小樣本學(xué)習(xí)的發(fā)展現(xiàn)狀和遙感影像應(yīng)用需求，給出系統(tǒng)性的總結(jié)。首先介紹小樣本學(xué)習(xí)的方法和現(xiàn)狀，以及小樣本學(xué)習(xí)的應(yīng)用領(lǐng)域；其次通過分析遙感影像處理存在的問題，說明結(jié)合小樣本學(xué)習(xí)處理遙感影像問題的優(yōu)勢，最后展望了該領(lǐng)域的未來研究方向。本文的主要貢獻如下：

1)總結(jié)歸納小樣本學(xué)習(xí)方法，按模型從整體上分成生成模型和對抗模型兩大類分別進行梳理；

2)指出遙感影像處理的特殊性，分析小樣本學(xué)習(xí)應(yīng)用到遙感影像分類與識別上的突出特點；

3)對小樣本學(xué)習(xí)方法處理遙感影像分類與識別研究作出展望。

1 小樣本學(xué)習(xí)

自2000年數(shù)字圖像測試[6]首次被提出以來，圖像識別逐漸發(fā)展為深度學(xué)習(xí)的一個重要分支。目前，其成果在人臉識別、基因分析數(shù)據(jù)、作物病害識別、醫(yī)療圖像、真?zhèn)舞b定等研究中使用較多。這些領(lǐng)域?qū)嶋H積累的數(shù)據(jù)樣本量遠不能滿足深度學(xué)習(xí)對訓(xùn)練數(shù)據(jù)的要求。小樣本學(xué)習(xí)目的是在樣本量較少時學(xué)習(xí)出泛化能力強的分類器，以更小的內(nèi)存占用率得出與最新基準測試一樣好的性能[7]。當訓(xùn)練和測試數(shù)據(jù)來自相同的分布時，區(qū)分學(xué)習(xí)方法的分類效果固然很好，但以源域標記訓(xùn)練數(shù)據(jù)，學(xué)習(xí)出一種在具有不同分布的目標域上表現(xiàn)良好的分類器[8]也同樣重要。例如，基于大量源域圖像集合的半監(jiān)督設(shè)置來支持標簽傳播[9-13]、訓(xùn)練分類器。

在沒有足夠數(shù)據(jù)的情況下，訓(xùn)練出能夠提取相對準確的特征提取器往往很困難[14-18]。小樣本學(xué)習(xí)涉及數(shù)據(jù)處理和樣本識別[19-23]，在處理小樣本問題時常見思路有兩種：一是改進算法以適應(yīng)小樣本環(huán)境，通常這種方式需要具有對研究領(lǐng)域的專業(yè)知識和經(jīng)驗，存在較大的局限性；二是對已有數(shù)據(jù)樣本進行處理，通過某種方式進行數(shù)據(jù)增強——對已有數(shù)據(jù)集做微小調(diào)整，如壓縮、裁剪或翻轉(zhuǎn)等操作來擴充數(shù)據(jù)?；谀Ｐ退糜嬎惴椒ǖ牟煌槍π颖緦W(xué)習(xí)的模型可歸結(jié)為生成模型和判別模型兩種。

生成模型是根據(jù)數(shù)據(jù)學(xué)習(xí)輸入和輸出聯(lián)合概率分布P(x,y)之后求出后驗概率分布P(y|x)[24]。作為預(yù)測的模型，生成模型通常收斂速度較快，因為聯(lián)合分布能夠提供更多的信息；但同時意味著更多的樣本量和計算量。判別模型由數(shù)據(jù)直接學(xué)習(xí)決策函數(shù)f(x) 或者條件概率分布P(y|x)。作為預(yù)測的模型，判別方法只關(guān)注給定輸入x應(yīng)得到什么樣的輸出y。因此能夠節(jié)省計算資源并有效分辨類間差異特征，準確率比生成模型高，但往往無法反映訓(xùn)練數(shù)據(jù)本身的特性。小樣本學(xué)習(xí)的模型分類見表1。

表1 小樣本學(xué)習(xí)的模型分類Tab.1 Model classification for fewshot learning

1.1 小樣本學(xué)習(xí)方法

深度學(xué)習(xí)在諸多領(lǐng)域中成功應(yīng)用的基礎(chǔ)是豐富的標記樣本數(shù)據(jù)和計算資源，反襯出小樣本學(xué)習(xí)研究進展緩慢。小樣本問題是深度學(xué)習(xí)研究方法實際應(yīng)用時的關(guān)鍵性難題之一。小樣本學(xué)習(xí)在文本分析的應(yīng)用較為成熟，如基于記憶的嵌入學(xué)習(xí)方法[25-30]、用于多標簽文本分類的小樣本和零標注方法[31]以及短文本分類框架[32]等，甚至在法律助理系統(tǒng)中小樣本學(xué)習(xí)也發(fā)揮出至關(guān)重要的作用[33]；此外，如行人重識別[34]，用無標記軌跡的方法提高卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)特征表示識別能力的單標注學(xué)習(xí)行人重識別[35]等，也是基于小樣本的方法。文本和語音信息在日常生活中往往具有上下文聯(lián)系，有助于小樣本學(xué)習(xí)模型的訓(xùn)練。

小樣本學(xué)習(xí)中基于生成的方法，是通過生成數(shù)據(jù)來改變數(shù)據(jù)量，從而將小樣本問題轉(zhuǎn)化為一般分類問題。不同于在原圖像基礎(chǔ)上做簡單旋轉(zhuǎn)、平移、對稱等操作的傳統(tǒng)數(shù)據(jù)擴充方式，也不同于通過對比度變換、添加噪聲等簡單圖像處理手段，生成對抗網(wǎng)絡(luò)(generative adversarial nets，GAN)可通過博弈生成語義相同但具備不同姿態(tài)、屬性的新樣本。GAN主要分為數(shù)據(jù)擴充生成對抗網(wǎng)絡(luò)和元生成對抗網(wǎng)絡(luò)。利用GAN[36-40]可以幫助小樣本分類器學(xué)習(xí)更清晰的決策邊界，即使用生成數(shù)據(jù)填充特征空間。此外，相應(yīng)的研究還包括了采取自動擴充和搜索改進的數(shù)據(jù)擴充策略[41]、EDA(easy data augmentation, EDA)數(shù)據(jù)增強技術(shù)[17]、利用已有的圖像去生成新的圖像[42]來做數(shù)據(jù)擴充等，通過不同形式數(shù)據(jù)變換達到數(shù)據(jù)增強目的。文獻[43]總結(jié)了幾種類型的方法實現(xiàn)數(shù)據(jù)增強：利用半監(jiān)督學(xué)習(xí)和transductive learning等流信息學(xué)習(xí)one-shot模型；利用預(yù)訓(xùn)練模型借用近似類別的數(shù)據(jù)來增強訓(xùn)練數(shù)據(jù)集，合成新標簽訓(xùn)練數(shù)據(jù)；通過GAN來學(xué)習(xí)合成模型等。一些研究提出對稱編解碼結(jié)構(gòu)把視覺特征映射到語義空間，利用屬性引導(dǎo)增強。這些方法重點體現(xiàn)在適時加入遷移學(xué)習(xí)和數(shù)據(jù)增強方法進行引導(dǎo)、解決小樣本的分類決策邊界的問題。

判別模型中基于度量學(xué)習(xí)[44]的方法以及基于元學(xué)習(xí)的方法[28,29,45-55]發(fā)展較快。圖1為度量學(xué)習(xí)網(wǎng)絡(luò)框架，通過樣本特征嵌入、獲取表示特征和特征度量最終實現(xiàn)分類。其原理是基于距離對樣本分布進行建模：縮減相同類別樣本距離，增大不同類別樣本距離，將特征嵌入一定的度量空間。度量學(xué)習(xí)網(wǎng)絡(luò)主要分為三種：原型網(wǎng)絡(luò)[56]、孿生網(wǎng)絡(luò)[57]和關(guān)系網(wǎng)絡(luò)[58]。在產(chǎn)生原型時使用未標記的例子來增強網(wǎng)絡(luò)[59]、將網(wǎng)絡(luò)中一個分類器推廣到訓(xùn)練集中測試新類[60]、針對新數(shù)據(jù)排列輸入之間的相似性和來自未知分布全新類的學(xué)習(xí)暹羅神經(jīng)網(wǎng)絡(luò)方法[61]以及將未標記的樣本映射到已標記的支持集中標記[62]，上述方法促進了度量學(xué)習(xí)的發(fā)展。然而，度量學(xué)習(xí)的研究已經(jīng)處于瓶頸期，原因在于實驗設(shè)置方面存在多種缺陷：實驗比較不合理、測試集標簽存在問題以及評價指標不合理等。

圖1 度量網(wǎng)絡(luò)Fig.1 Metric network

判別模型中基于元學(xué)習(xí)可以有效地針對數(shù)據(jù)分布進行靈活調(diào)整來適應(yīng)模型訓(xùn)練。使用元網(wǎng)絡(luò)[63]來學(xué)習(xí)跨任務(wù)知識并通過快速參數(shù)化來轉(zhuǎn)移其歸納偏差以實現(xiàn)快速泛化。基于長短時記憶(long-short term memory, LSTM)的元學(xué)習(xí)模型[59]用于訓(xùn)練分類器的精確優(yōu)化算法，允許快速收斂。此后的擴展模型不可知元學(xué)習(xí)[64](model-agnostic meta-learning, MAML)用于在無標注數(shù)據(jù)存在的情況下快速適應(yīng)新的分類任務(wù)。MAML既可以適應(yīng)沒有任何標注示例的新任務(wù)，也可擴展到半監(jiān)督的小樣本學(xué)習(xí)場景。導(dǎo)向傳播網(wǎng)絡(luò)[65](transductive propagation network, TPN)能利用數(shù)據(jù)中流形結(jié)構(gòu)的圖構(gòu)造模塊，學(xué)習(xí)將標簽從有標注的實例傳播到?jīng)]有標注的測試實例。元學(xué)習(xí)方法在不斷的改進優(yōu)化中逐步克服已有問題，從各個方面有效緩解數(shù)據(jù)規(guī)模小的問題。

圖2 關(guān)系網(wǎng)絡(luò)Fig.2 Relation network

1.2 小樣本數(shù)據(jù)的特征提取

特征提取階段是進行影像識別時最為關(guān)鍵的一環(huán)，由于可用數(shù)據(jù)相對較少，特征提取對小樣本而言尤為重要?；陬愰g距離的條件GAN方法[66]運用最大期望算法對原始樣本中的缺失值進行填充，并在生成網(wǎng)絡(luò)中加入類間區(qū)分度信息，克服類內(nèi)和類間生成樣本難以區(qū)分的問題；端到端學(xué)習(xí)框架提取更健壯的跨域多模態(tài)表示[67]能將自動編碼器與跨領(lǐng)域?qū)W習(xí)標準(即最大平均差異損失)相結(jié)合，學(xué)習(xí)語義和視覺特征的聯(lián)合(包括標注和非標注數(shù)據(jù))嵌入，應(yīng)用于單樣本學(xué)習(xí)和小樣本圖像識別和檢索。

小樣本數(shù)據(jù)的特征維數(shù)相對于其樣本數(shù)量而言較多帶來特征降維問題。特征選擇對樣本數(shù)據(jù)中的不相關(guān)和冗余性特征起過濾作用，提高數(shù)據(jù)集中可用數(shù)據(jù)的質(zhì)量，可最大限度減少訓(xùn)練過程中使用的計算資源，達到加快數(shù)據(jù)挖掘的效果?；诨バ畔⒌倪^濾型特征選擇方法[68]和采用MIFS(MI-haled feature selection)算法計算選出最大相關(guān)性的特征以降低數(shù)據(jù)集維度的方法[69]是兩種較為經(jīng)典的方法，前者同時考慮相關(guān)性與冗余性，后者通過計算篩選出最大相關(guān)性特征。此外，在分析小樣本數(shù)據(jù)時，結(jié)合貝葉斯模型[27,70-79]同樣能從單一訓(xùn)練例子中學(xué)習(xí)新類別，將先驗知識從先前學(xué)習(xí)的類別遷移到新的類別，可更好地對所提取特征進行關(guān)聯(lián)分析。

1.3 小樣本圖像分類

深度學(xué)習(xí)的小樣本分類與識別模型的優(yōu)化主要基于數(shù)據(jù)增強和模型泛化。數(shù)據(jù)增強技術(shù)能在一定程度上增加樣本數(shù)量，提高模型泛化性。但過擬合現(xiàn)象依舊存在，甚至某些數(shù)據(jù)增強手段可能會污染樣本。盡管結(jié)合生成模型和遷移學(xué)習(xí)的訓(xùn)練可提高準確率，但基于詞袋模型[38,39,80](bag-of-words, BoW)的小樣本圖像分類不具備通用性。傳統(tǒng)的基于梯度的非線性優(yōu)化技術(shù)應(yīng)用于小樣本數(shù)據(jù)通常會出現(xiàn)問題[40]，基于梯度[42,43]的元學(xué)習(xí)方法可利用梯度下降來學(xué)習(xí)各種任務(wù)之間的共性。殘差網(wǎng)絡(luò)[81]在圖像分類上取得很好的效果，是因為其核心殘差塊既能減輕網(wǎng)絡(luò)層數(shù)負擔，又能在網(wǎng)絡(luò)的任何位置插入，緩解梯度爆炸等問題。

由于小樣本學(xué)習(xí)往往只關(guān)注目標的分類問題，一旦學(xué)習(xí)到的模型對源數(shù)據(jù)類別不適用，將帶來災(zāi)難性遺忘的后果。使用特定的損失函數(shù)來緩解該問題，如EWC(elastic weight consolidation)模型[82]將當前任務(wù)的重要性權(quán)重引入其中，或者添加到蒸餾神經(jīng)網(wǎng)絡(luò)[83]，用來保證網(wǎng)絡(luò)更新前后不過多影響新任務(wù)輸出的特征來克服災(zāi)難性遺忘。使用關(guān)系網(wǎng)絡(luò)[84](relation network, RN)通過計算查詢圖像和每個新類的少數(shù)例子之間的關(guān)系分數(shù)來對新類進行圖像分類，無需進一步更新網(wǎng)絡(luò)。采取對數(shù)據(jù)集的操作如使用LSTM控制器和注意機制來保證寫入到抽象內(nèi)存的數(shù)據(jù)與查詢示例相關(guān)聯(lián)[85]，引入基于屬性的分類來解決訓(xùn)練類和測試類不相交時的目標分類問題[86]，以及直接訓(xùn)練示例嵌入層激活的適當比例獲取印記權(quán)重向量[87]等方法解決災(zāi)難性遺忘，會帶來計算量的增加。

視頻影像的分類涉及到動態(tài)圖像的捕捉和識別，某一個對象或者某種狀態(tài)都可看成是單樣本，對網(wǎng)絡(luò)結(jié)構(gòu)的要求相對較高，這一應(yīng)用的進步也帶動小樣本圖像分類的發(fā)展。例如，將可變長度的視頻序列編碼為固定大小的矩陣表示形式的多顯著性嵌入算法[88]；基于注意力的小樣本分類權(quán)重生成器的對象識別系統(tǒng)[89]；基于全卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的單樣本視頻對象分割(one-shot video object segmentation, OSVOS)[90]方法；采用匹配網(wǎng)絡(luò)的單樣本學(xué)習(xí)技術(shù)提出基于示例的動作檢測方法[91]等，視頻分類主要方向是對于樣本數(shù)據(jù)的擴充。此外， 共現(xiàn)分析(co-occurrence statistics, COSTA)[92]結(jié)合知識遷移并使用共現(xiàn)矩陣來定義權(quán)重，指出零標注分類器可以用作小樣本學(xué)習(xí)的先驗條件。類似的方法還包括：在零標注學(xué)習(xí)場景中引入圖像和標簽嵌入兼容性[75]、從單個示例學(xué)習(xí)對象分類器[93]、利用語義嵌入和分類關(guān)系來預(yù)測分類器的圖卷積網(wǎng)絡(luò)(graph convolutional network, GCN)[94]、使用源數(shù)據(jù)構(gòu)建大量模型庫[95]后通過分類器來使目標數(shù)據(jù)回歸到模型庫中。若作為小樣本學(xué)習(xí)的先驗條件，移植到小樣本下作為參考，或能在一定程度上降低學(xué)習(xí)新類別的訓(xùn)練難度。

2 小樣本學(xué)習(xí)方法應(yīng)用于遙感影像分類與識別

遙感影像分類與識別領(lǐng)域存在普遍性與特殊性。其普遍性在于遙感影像是一類圖像，對圖像的處理已有相對成熟的方法和體系，如深度信念網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等；其特殊性在于遙感影像是一種特殊的圖像，影像信息量大但細節(jié)針對性不強，因為在影像背后留有大量信息，如地理坐標、矢量數(shù)據(jù)，并且很可能涉及一些敏感信息。因此，遙感影像數(shù)據(jù)必然需要經(jīng)過預(yù)處理。與此同時，對于某些地物特征或者識別物的識別，必然存在小樣本問題。綜合小樣本學(xué)習(xí)在各領(lǐng)域的應(yīng)用，可以確定小樣本學(xué)習(xí)應(yīng)用于遙感影像領(lǐng)域極有研究價值。

無論是基于ImageNet、CIFAR10/100、AFW等數(shù)據(jù)集的計算機視覺研究，還是基于MSAR、CNMER、CAIL2018等數(shù)據(jù)集的自然語言處理研究，深度學(xué)習(xí)的方法、模型之所以迅速發(fā)展緣于類別多樣、數(shù)據(jù)規(guī)模龐大的樣本集合。對于遙感影像，公開且便于模型訓(xùn)練的數(shù)據(jù)集相當匱乏。這導(dǎo)致研究者使用的都是從不同渠道獲得的非開源數(shù)據(jù)庫，其他研究人員既無從復(fù)現(xiàn)結(jié)果也很難作為實際研究參考，造成研究理論和實驗方法對比困難，這在很大程度上減緩了深度學(xué)習(xí)應(yīng)用于遙感影像處理的進展。

2.1 高分遙感影像分類與識別

遙感影像的分類與識別存在較多問題[96]。其一，遙感影像數(shù)據(jù)集存在數(shù)量不足及質(zhì)量不高等問題：一是數(shù)據(jù)集樣本少，由于研究者獲取數(shù)據(jù)來源不足以及處理數(shù)據(jù)成本高，收集實驗數(shù)據(jù)需花費大量精力；二是數(shù)據(jù)尺度不同，不同數(shù)據(jù)獲取方式所得遙感影像數(shù)據(jù)尺度有差別，如不同地物特征尺度不同，而常見的機器學(xué)習(xí)模型多難以處理多尺度數(shù)據(jù)；三是數(shù)據(jù)因遠距離獲取而包含噪聲，且包含大范圍復(fù)雜場景，使得區(qū)分度不明顯，進行多場景分類時導(dǎo)致精度降低；四是數(shù)據(jù)分布不均衡，類間不均衡，類內(nèi)也不均衡。其二，遙感影像不同于常規(guī)圖像，使用現(xiàn)有模型多無法處理到影像本身包含的多層信息，導(dǎo)致關(guān)鍵的細節(jié)信息被忽略，故深度學(xué)習(xí)通用模型很難直接用于遙感影像處理。

深度學(xué)習(xí)理論針對激活函數(shù)、參數(shù)初始化、過擬合問題等多方面的研究越來越完善，結(jié)合深度學(xué)習(xí)模型的影像分類取得越來越多的成果。但隨著網(wǎng)絡(luò)模型深度的增加，梯度彌散問題也越來越嚴重。深度殘差網(wǎng)絡(luò)(deep residual network, ResNet)用殘差塊代替深度神經(jīng)網(wǎng)絡(luò)中的網(wǎng)絡(luò)層，使得網(wǎng)絡(luò)深度可跨越性地增加到上千層，同時還能在一定程度上改善深度網(wǎng)絡(luò)梯度彌散的問題。小樣本數(shù)據(jù)的梯度彌散問題與過擬合存在聯(lián)系[97]，若僅考慮改善梯度彌散問題，并不一定能同時減少過擬合。此外，與中、低分辨率影像相比，高分辨率遙感影像表現(xiàn)出明顯的分辨率差異、復(fù)雜的失真和可重復(fù)的紋理等特點。因此，通過多級相似模型[98]解決關(guān)鍵點錯誤匹配的問題，基于尺度可變區(qū)域合并的分割算法[99]解決不同地理對象大小相差較大的問題，可為高分遙感影像處理提供思路[100]。

2.2 結(jié)合小樣本學(xué)習(xí)的高分遙感影像分類與識別

遙感影像分類與識別是生產(chǎn)實踐中的重要環(huán)節(jié)，特別是影像的分類精度，是進行其他統(tǒng)計分析的必要前提和條件。分類精度與分類過程中的數(shù)據(jù)預(yù)處理、樣本選擇、波段選擇、分類算法等諸多因素密切相關(guān)。在多種因素的影響下，模型分類精度最終表現(xiàn)具有不確定性。目前，能夠兼顧整個分類過程的影響，提高模型整體分類精度的方法和技術(shù)很少[101]。

針對遙感影像數(shù)據(jù)的特點，特征提取可考慮“多源數(shù)據(jù)+空間特征+時序特征”相結(jié)合，充分利用影像數(shù)據(jù)的特殊性及時間關(guān)聯(lián)性。常規(guī)影像分類模型設(shè)計方法，如支持向量機與最近鄰算法都能較好地區(qū)分傳統(tǒng)影像。若基于深度學(xué)習(xí)模型進行特征提取，通過訓(xùn)練模型提取所需特征，則是由模型區(qū)分最佳模型得到最終分類[102]?；趯\生網(wǎng)絡(luò)的時空注意神經(jīng)網(wǎng)絡(luò)[103]，加入自注意力機制來對時空關(guān)系進行建模，自我注意模塊計算任意兩個像素在不同時間和位置之間的注意權(quán)重，并使用它們來生成更具區(qū)別性的特征。通過“通道注意”[104]選擇最具判別性的濾波器(特征)，并引入“領(lǐng)域特定遷移學(xué)習(xí)”，利用不同分辨率的遙感數(shù)據(jù)進行預(yù)訓(xùn)練來緩解數(shù)據(jù)稀缺問題。這些研究表明，通過加入注意力機制可獲得更具區(qū)分性的特征。

樣本及波段選擇決定了影像處理的粒度。遙感影像分類包括基于底層特征如形狀大小、顏色、紋理的場景分類方法，基于中層特征如視覺詞袋模型、概率模型的場景分類方法，以及基于高層特征如語義信息的場景分類方法。一些研究方法的主要思路從利用已有模型和已公開數(shù)據(jù)集兩個方面展開：其一是通過已獲取的遙感影像數(shù)據(jù)訓(xùn)練得出深度卷積神經(jīng)網(wǎng)絡(luò)模型模型，經(jīng)過微調(diào)后或直接應(yīng)用在遙感影像的場景分類中；其二是基于目前已公開遙感影像場景數(shù)據(jù)集自主設(shè)計和訓(xùn)練出不同于已有模型的新卷積神經(jīng)網(wǎng)絡(luò)[100]。例如，將CNN和高分遙感影像的紋理特征集成在一起[31]的灰度共生矩陣紋理特征提取方法可減少訓(xùn)練樣本和參數(shù)；差分增強密集注意卷積神經(jīng)網(wǎng)絡(luò)[105]則是結(jié)合空間上下文，利用類別信息豐富的高層特征來指導(dǎo)低層特征的選擇；基于稀疏編碼的空間金字塔最大池化模型的零樣本學(xué)習(xí)算法[106]可獲取尺度不變特征完成圖像的屬性預(yù)測，基于多尺度特征和集成遷移學(xué)習(xí)的細粒度圖像分類算法[107-108]可以分別提取不同尺度的特征圖并訓(xùn)練得到較高的分類準確率；通過各自的卷積神經(jīng)網(wǎng)絡(luò)來達到減少訓(xùn)練數(shù)據(jù)的目的[109-111]，利用GAN來解決生成圖像建模，從復(fù)雜的數(shù)據(jù)集(例如ImageNet)中生成高分辨率、多樣本的問題。

由于遙感影像的特殊性，分類算法選擇涉及諸多因素。對高分、高光譜影像分類而言，普遍存在數(shù)據(jù)維度高、數(shù)據(jù)樣本少的問題。相關(guān)研究包括：對高光譜的光譜通道降維，通過波段選擇和特征變換提取光譜特征，并選擇針對小樣本的分類器用于分類；融合高光譜影像的空間信息增加樣本的穩(wěn)定性，減少數(shù)據(jù)中的噪聲影響，結(jié)合地物的空間特征和光譜特征信息緩解“維數(shù)災(zāi)難”；設(shè)計激活函數(shù)PRetanh用于循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)中的高光譜數(shù)據(jù)處理[108]；通過主成分變換方法消除光譜冗余信息[109]；通過三維卷積計算進行高光譜影像的三維空間特征和光譜特征的提取[110]；采用全卷積層和無池化層的網(wǎng)絡(luò)有效提取小樣本光譜特征，獲得較高的影像分類性能[111]。而結(jié)合殘差網(wǎng)絡(luò)的思想加入殘差塊對高光譜影像進行分類，也可緩解影像數(shù)據(jù)高維、小樣本所帶來的問題。這些特征提取的研究思路與方法，可以借鑒到高分遙感影像上。對于高分(very high resolution, VHR)遙感影像而言，結(jié)合語義分割模型DeepLabv3與基于對象的圖像分析(object-based image analysis, OBIA)相結(jié)合的VHR影像語義分割方法[112]可增強影像解釋能力，結(jié)合YOLO v4和隨機森林算法[113]與改進條件隨機場[114]的方法可用于縮短對所分類影像的提取時間。密集殘差神經(jīng)網(wǎng)絡(luò)[115](dense residual neural network, DR-Net)明顯提升建筑物提取準確率；金字塔自注意網(wǎng)絡(luò)[116](pyramid self-attention network, PISANet)利用局部特征、全局特征和綜合特征降低網(wǎng)絡(luò)復(fù)雜度。這些研究方法表明，特征提取方式和提取時間是高分遙感影像分類面臨的主要挑戰(zhàn)。

2.3 小樣本學(xué)習(xí)在高分遙感影像分類與識別的發(fā)展

應(yīng)用注意力機制和遷移學(xué)習(xí)，小樣本學(xué)習(xí)在遙感影像識別與分類研究中有較大的提升空間和推廣價值。小樣本學(xué)習(xí)由于訓(xùn)練樣本量較少，模型從訓(xùn)練集中提取信息相對有限；而注意力機制通過權(quán)重分配可有針對性地提取所需的必要信息。因此在有限的訓(xùn)練樣本下可以通過注意力機制來提取對影像具有更強表示性的特征,即對分類效果產(chǎn)生明顯影響的關(guān)鍵特征。小樣本學(xué)習(xí)的目標是希望通過神經(jīng)網(wǎng)絡(luò)等模型讓機器去模擬甚至學(xué)會跟人類相近的學(xué)習(xí)方式和泛化能力。人類之所以能在識別過程中無須大量樣本就對物體、影像等具備很強的識別能力，關(guān)鍵之一就是利用視覺注意力——一旦獲取主體特征就能迅速識別。注意力機制之所以被普遍使用，其原因之一是其能夠提高神經(jīng)網(wǎng)絡(luò)的可解釋性[95]。在各類不同應(yīng)用場景下，研究者提出的軟、硬注意力機制[96]、自注意力機制[97]以及相互注意力機制[98]等注意力模型，因其直觀性、通用性以及可解釋性對小樣本影像分類任務(wù)作出了諸多貢獻。

給定源域與對應(yīng)學(xué)習(xí)任務(wù)、目標域與對應(yīng)學(xué)習(xí)任務(wù)，通過遷移學(xué)習(xí)獲取源域及其學(xué)習(xí)任務(wù)中的知識提升目標域中預(yù)測函數(shù)的性能。遷移學(xué)習(xí)的應(yīng)用不限于特定領(lǐng)域，只要所研究問題滿足遷移學(xué)習(xí)場景即可。遷移學(xué)習(xí)不僅可以借助預(yù)訓(xùn)練模型進一步學(xué)習(xí)，還可以基于樣本遷移、特征遷移和關(guān)系遷移達到同樣目的。當源域與目標域重疊、特征眾多時可基于樣本實現(xiàn)遷移；只有一部分重疊時可實現(xiàn)基于特征遷移，最終通過特征變換的方式互相遷移以減少源域和目標域之間的差距。最常用的基于模型的遷移則是源域和目標域共享學(xué)習(xí)方法的參數(shù)或超參數(shù)。基于關(guān)系的遷移是因為在域或者任務(wù)之間樣本之間的某些關(guān)系是相似的。結(jié)合遷移學(xué)習(xí)思想與元學(xué)習(xí)的策略進行小樣本數(shù)據(jù)的訓(xùn)練，可得到表示性更強的遷移特征。

綜上，小樣本學(xué)習(xí)方法在遙感影像處理時相對其他方法有較好的效果。

3 未來研究展望

針對當前高分遙感影像分類與識別存在的問題，未來研究工作可考慮從以下4方面著手：

1)建設(shè)公共遙感實驗數(shù)據(jù)集和統(tǒng)一的評估標準。當使用不同的數(shù)據(jù)采集方式或者不同的遙感信息源時，制作出來的遙感數(shù)據(jù)集規(guī)格和數(shù)據(jù)尺寸存在較大差異，使得數(shù)據(jù)預(yù)處理更加困難。因此制定統(tǒng)一的遙感公共數(shù)據(jù)集標準對遙感影像研究和應(yīng)用至關(guān)重要。

2)提高算法的泛化能力。首先，由于受到成像時間、位置和平臺的差異而導(dǎo)致的域偏移的影響，模型的學(xué)習(xí)性能需要在小樣本條件下足夠穩(wěn)健。其次，尋找可行的單樣本學(xué)習(xí)不僅可以運用于具有固定類型的特定對象類別，而且能以快速的適應(yīng)能力推廣到多個對象的學(xué)習(xí)任務(wù)中。

3)增強算法的魯棒性以提高承受標簽噪聲能力。針對數(shù)據(jù)尺度不同問題，采取多尺度融合方式提取獲得適合影像處理需要的特征尺度圖；針對噪聲問題采取對訓(xùn)練集數(shù)據(jù)同步添加噪聲來抑制噪聲對影像處理結(jié)果的影響；至于數(shù)據(jù)分布不均衡問題，考慮模型集成結(jié)合使用多個模型方法，在影像處理不同階段分別使用不同的模型而非一個模型貫穿到底。

4)使用GAN和感知損失生成細節(jié)豐富的影像。利用GAN擴充和加強遙感影像數(shù)據(jù)的細節(jié)，通過對抗訓(xùn)練挖掘影像數(shù)據(jù)的更多信息，能夠避免高分辨率影像缺乏紋理細節(jié)信息的問題。