劉 瑄，池明旻

（復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室，上海 201203）

0 概述

遙感場(chǎng)景圖像的地物分類與識(shí)別表示對(duì)遙感圖像中提取的子區(qū)域進(jìn)行語義類別預(yù)測(cè)，其為遙感應(yīng)用中的一個(gè)關(guān)鍵環(huán)節(jié)，對(duì)城市規(guī)劃、環(huán)境監(jiān)測(cè)和資源管理等任務(wù)具有重要意義。

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）［1］因其在圖像處理中的高效性而被廣泛應(yīng)用于計(jì)算機(jī)視覺等領(lǐng)域，并在圖像分類、目標(biāo)檢測(cè)以及語義分割［2-4］等任務(wù)中取得了較高的精度。因此，越來越多的研究人員將CNN 引入遙感圖像處理領(lǐng)域，并證實(shí)了基于深度學(xué)習(xí)的方法比傳統(tǒng)方法更具優(yōu)越性與魯棒性。

隨著遙感對(duì)地觀測(cè)技術(shù)的日益發(fā)展，更多分辨率高、覆蓋面廣的遙感影像數(shù)據(jù)被研究人員所獲取，遙感影像數(shù)據(jù)量越來越龐大，如何高效且精確地對(duì)海量遙感數(shù)據(jù)進(jìn)行處理和分析，為在實(shí)時(shí)或嵌入式設(shè)備上進(jìn)行遙感圖像識(shí)別提供解決方案，如將遙感影像識(shí)別模型內(nèi)置于嵌入式實(shí)時(shí)處理相機(jī)中，成為遙感數(shù)據(jù)分析應(yīng)用及發(fā)展的一個(gè)重要方向。在計(jì)算資源充足的前提下，隱層多的網(wǎng)絡(luò)模型往往比淺層模型的分類精度高［2，5-6］，然而，這些大規(guī)模的深層網(wǎng)絡(luò)模型也帶來了更龐大的計(jì)算量、更高的參數(shù)存儲(chǔ)需求以及更冗長(zhǎng)的推斷時(shí)間，阻礙了遙感圖像識(shí)別技術(shù)在嵌入式設(shè)備上的推廣與應(yīng)用。

為了高效靈活地實(shí)現(xiàn)遙感圖像分類，并將其應(yīng)用于計(jì)算量和存儲(chǔ)量有限的實(shí)時(shí)設(shè)備上，同時(shí)保證分類的效率與精度，一種有效的解決方案是壓縮網(wǎng)絡(luò)以獲得更精簡(jiǎn)有效的模型。本文提出一種多粒度特征蒸餾方法，對(duì)遙感圖像場(chǎng)景分類模型進(jìn)行壓縮，將高精度的深層網(wǎng)絡(luò)、計(jì)算量較少的淺層網(wǎng)絡(luò)分別作為教師網(wǎng)絡(luò)、學(xué)生網(wǎng)絡(luò)，從教師網(wǎng)絡(luò)中提取知識(shí)用于指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練，以提高學(xué)生網(wǎng)絡(luò)的預(yù)測(cè)精度。針對(duì)遙感圖像覆蓋語義廣、細(xì)節(jié)信息豐富的特點(diǎn)，本文同時(shí)訓(xùn)練教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)并將教師網(wǎng)絡(luò)各階段的輸出作為學(xué)生網(wǎng)絡(luò)相應(yīng)階段訓(xùn)練的中繼監(jiān)督信號(hào)，在網(wǎng)絡(luò)的每個(gè)階段累計(jì)中間損失并加入損失函數(shù)，以融合多層特征進(jìn)行輔助分類。鼓勵(lì)學(xué)生網(wǎng)絡(luò)模仿教師網(wǎng)絡(luò)各階段的輸出分布，使得學(xué)生網(wǎng)絡(luò)能學(xué)習(xí)到泛化性更強(qiáng)的網(wǎng)絡(luò)表達(dá)，從而接近教師網(wǎng)絡(luò)的性能。在UC Merced Land-Use［7］和SIRIWHU［8］2 個(gè)公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，以驗(yàn)證本文多粒度特征蒸餾方法的分類性能。

1 相關(guān)工作

1.1 基于深度卷積網(wǎng)絡(luò)的遙感圖像場(chǎng)景分類

近年來，深度學(xué)習(xí)技術(shù)已廣泛應(yīng)用于高分辨率遙感圖像場(chǎng)景分類任務(wù)。文獻(xiàn)［9］采用多層感知機(jī)對(duì)遙感場(chǎng)景進(jìn)行分類，但其淺層網(wǎng)絡(luò)的精度遠(yuǎn)低于深層網(wǎng)絡(luò)。文獻(xiàn)［10］使用預(yù)訓(xùn)練的Inception-v3 進(jìn)行特征提取與分類。文獻(xiàn)［11］構(gòu)建帶有5 層卷積、3層全連接結(jié)構(gòu)的模型以進(jìn)行場(chǎng)景分類。文獻(xiàn)［12-13］在模型訓(xùn)練過程中集合中間層特征，并在多個(gè)場(chǎng)景分類數(shù)據(jù)集上驗(yàn)證了多尺度特征能提高遙感場(chǎng)景分類模型的分類性能。

基于深層模型的方法能夠大幅提高遙感圖像分類的準(zhǔn)確率，但是大規(guī)模的網(wǎng)絡(luò)對(duì)參數(shù)量與計(jì)算量均有較高要求。隨著遙感技術(shù)的快速發(fā)展，越來越多的影像數(shù)據(jù)被獲取，因此，提高遙感數(shù)據(jù)的處理效率，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)性處理，并使得模型方法廣泛應(yīng)用于更通用的嵌入式設(shè)備上，成為遙感領(lǐng)域新的任務(wù)與挑戰(zhàn)。

1.2 模型壓縮方法

目前，較為通用的模型壓縮方法可以歸納為網(wǎng)絡(luò)剪枝、具有特殊結(jié)構(gòu)的高效卷積網(wǎng)絡(luò)和知識(shí)蒸餾三類。

知識(shí)蒸餾［14-16］是將已完成預(yù)訓(xùn)練的深層網(wǎng)絡(luò)輸出作為軟目標(biāo)（soft target）以幫助淺層網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而提高該簡(jiǎn)單網(wǎng)絡(luò)的學(xué)習(xí)與泛化能力，最終在保持模型性能的同時(shí)實(shí)現(xiàn)模型壓縮的效果。針對(duì)分類任務(wù)的深度網(wǎng)絡(luò)知識(shí)蒸餾相關(guān)研究，大多以類分布概率或靠近類分布輸出的網(wǎng)絡(luò)層輸出作為淺層網(wǎng)絡(luò)的軟目標(biāo)。文獻(xiàn)［14］通過懲罰淺層網(wǎng)絡(luò)與深層網(wǎng)絡(luò)的邏輯輸出差異以提高淺層網(wǎng)絡(luò)的精度。文獻(xiàn)［15］使用復(fù)雜教師網(wǎng)絡(luò)的softmax 輸出作為簡(jiǎn)單學(xué)生網(wǎng)絡(luò)的軟標(biāo)記，并引入蒸餾溫度對(duì)學(xué)生的軟目標(biāo)進(jìn)行調(diào)節(jié)。文獻(xiàn)［16］通過匹配教師與學(xué)生的隱藏層信息以訓(xùn)練得到更窄更深的學(xué)生網(wǎng)絡(luò)。上述方法在簡(jiǎn)單分類任務(wù)且沒有多層中間特征輔助的情況下具有較好的性能表現(xiàn)。

隨后一些研究人員對(duì)蒸餾框架進(jìn)行調(diào)整。文獻(xiàn)［17］引入對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)，通過加入判別器的損失以鼓勵(lì)學(xué)生網(wǎng)絡(luò)產(chǎn)生與教師網(wǎng)絡(luò)相似的邏輯輸出。文獻(xiàn)［18］提出再生神經(jīng)網(wǎng)絡(luò)（Born Again Neural Network，BAN），其通過多代訓(xùn)練逐次地將前一代訓(xùn)練收斂的網(wǎng)絡(luò)作為后一代的教師網(wǎng)絡(luò)，以提高學(xué)生網(wǎng)絡(luò)的表征能力，最后采用多代子網(wǎng)絡(luò)的集成進(jìn)行預(yù)測(cè)。上述改進(jìn)的蒸餾框架往往訓(xùn)練過程復(fù)雜且需要一定的人工干涉，因此，在改變應(yīng)用場(chǎng)景時(shí)它們的泛化性不強(qiáng)。

本文以文獻(xiàn)［15］提出的蒸餾模型為基礎(chǔ)，針對(duì)遙感圖像數(shù)據(jù)的特點(diǎn)，提出一種應(yīng)用于遙感圖像場(chǎng)景分類的多粒度特征蒸餾方法。該方法同時(shí)訓(xùn)練教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)，將教師網(wǎng)絡(luò)各個(gè)階段的多粒度特征和高階的輸出概率特征作為學(xué)生網(wǎng)絡(luò)的監(jiān)督信號(hào)，使得學(xué)生網(wǎng)絡(luò)不僅能學(xué)習(xí)到高階知識(shí)（類別概率），還能學(xué)習(xí)到教師網(wǎng)絡(luò)中低階的語義特征，從而提高學(xué)生網(wǎng)絡(luò)的泛化能力，在降低模型計(jì)算量與參數(shù)量的前提下簡(jiǎn)化訓(xùn)練過程，提高學(xué)生網(wǎng)絡(luò)的分類精度并使模型適配于嵌入式設(shè)備。

2 基于多粒度特征蒸餾的深度模型壓縮

為使遙感圖像分類模型能夠應(yīng)用于實(shí)時(shí)設(shè)備，需要減輕模型的計(jì)算負(fù)擔(dān)，降低參數(shù)存儲(chǔ)成本，并結(jié)合遙感數(shù)據(jù)特點(diǎn)盡量避免模型精度損失。為此，本文構(gòu)建一種基于多粒度特征蒸餾的遙感場(chǎng)景圖像分類模型。通過訓(xùn)練簡(jiǎn)單淺層模型（學(xué)生網(wǎng)絡(luò)）以模仿復(fù)雜深層模型（教師網(wǎng)絡(luò)），從而提高學(xué)生模型的分類能力。

知識(shí)蒸餾模型由訓(xùn)練充分的復(fù)雜教師網(wǎng)絡(luò)與淺層的簡(jiǎn)單學(xué)生網(wǎng)絡(luò)2 個(gè)部分組成。文獻(xiàn)［15］將學(xué)生模型和預(yù)訓(xùn)練的教師網(wǎng)絡(luò)的softmax 層輸出概率相匹配，從而使得復(fù)雜教師網(wǎng)絡(luò)中的暗知識(shí)被遷移到學(xué)生網(wǎng)絡(luò)，提高了學(xué)生網(wǎng)絡(luò)的精度與泛化能力。文獻(xiàn)［15］引入蒸餾溫度T，將教師網(wǎng)絡(luò)的邏輯輸出值除以T后經(jīng)過softmax 層的結(jié)果作為學(xué)生網(wǎng)絡(luò)的軟目標(biāo)概率。定義分類數(shù)為C，i為類別索引，softmax 輸入層的第i個(gè)單元輸出為oi，S為softmax 層的輸出，softmax 層的計(jì)算如式（1）所示：

模型的知識(shí)蒸餾基于如下假設(shè)：教師網(wǎng)絡(luò)訓(xùn)練充分后產(chǎn)生的分類概率中的隱藏信息（如非目標(biāo)的輸出概率值），可以幫助并指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練過程。模型知識(shí)蒸餾訓(xùn)練流程描述如下：

算法1傳統(tǒng)模型知識(shí)蒸餾訓(xùn)練過程

輸入訓(xùn)練集D=（x，y），蒸餾溫度T，教師網(wǎng)絡(luò)，學(xué)生網(wǎng)絡(luò)

輸出收斂后的教師網(wǎng)絡(luò)參數(shù)與學(xué)生網(wǎng)絡(luò)參數(shù)

步驟1初始化教師網(wǎng)絡(luò)與學(xué)生網(wǎng)絡(luò)的參數(shù)

步驟2對(duì)訓(xùn)練集D=（x，y）的每一批數(shù)據(jù)：

3）基于梯度下降算法，根據(jù)交叉熵?fù)p失Lt更新教師網(wǎng)絡(luò)的參數(shù)集θt；

4）若教師網(wǎng)絡(luò)收斂，則結(jié)束步驟2，返回教師網(wǎng)絡(luò)此時(shí)的參數(shù)；否則，繼續(xù)步驟2。

步驟3對(duì)訓(xùn)練集D=（x，y）的每一批數(shù)據(jù)：

1）計(jì)算由步驟2 訓(xùn)練得到的教師網(wǎng)絡(luò)的邏輯輸出l（參數(shù)固定為）；

2）令St=softmax（l/T）作為學(xué)生網(wǎng)絡(luò)訓(xùn)練的軟目標(biāo)，真實(shí)標(biāo)簽y為硬目標(biāo)；

3）分別計(jì)算學(xué)生網(wǎng)絡(luò)的softmax 輸出與軟目標(biāo)St以及硬目標(biāo)y的交叉熵?fù)p失，加和得到整體的蒸餾損失值Ls；

4）基于梯度下降算法，根據(jù)蒸餾損失Ls更新學(xué)生網(wǎng)絡(luò)的參數(shù)集θs；

5）若學(xué)生網(wǎng)絡(luò)收斂，則結(jié)束步驟3；否則，繼續(xù)步驟3。

步驟4輸出網(wǎng)絡(luò)收斂后的參數(shù)，結(jié)束。

傳統(tǒng)的知識(shí)蒸餾網(wǎng)絡(luò)僅能模擬已訓(xùn)練收斂的教師網(wǎng)絡(luò)的預(yù)測(cè)概率分布，而本文基于多粒度特征蒸餾的遙感場(chǎng)景分類網(wǎng)絡(luò)，針對(duì)遙感圖像分辨率高、覆蓋語義廣、結(jié)構(gòu)信息豐富的特性，通過將教師網(wǎng)絡(luò)各個(gè)階段的輸出作為學(xué)生網(wǎng)絡(luò)相應(yīng)階段訓(xùn)練的監(jiān)督信號(hào)的方式以融合多層特征，鼓勵(lì)學(xué)生網(wǎng)絡(luò)模仿教師網(wǎng)絡(luò)從特征提取到分類預(yù)測(cè)的分步過程。

圖1 所示為本文基于多粒度特征蒸餾的遙感場(chǎng)景分類模型的訓(xùn)練框架。從圖1 可以看出，該網(wǎng)絡(luò)由較復(fù)雜、隱藏層較多的教師網(wǎng)絡(luò)和網(wǎng)絡(luò)構(gòu)成較簡(jiǎn)單的淺層學(xué)生網(wǎng)絡(luò)組成，教師與學(xué)生網(wǎng)絡(luò)均由多個(gè)卷積層、殘差模塊構(gòu)成，且在網(wǎng)絡(luò)各個(gè)階段可提取2 個(gè)子網(wǎng)絡(luò)的中間層特征作為監(jiān)督信息。當(dāng)訓(xùn)練樣本圖像輸入網(wǎng)絡(luò)時(shí)，教師與學(xué)生子網(wǎng)絡(luò)的參數(shù)集均根據(jù)網(wǎng)絡(luò)總損失進(jìn)行迭代更新。本文方法通過提高教師網(wǎng)絡(luò)與學(xué)生網(wǎng)絡(luò)softmax 層的概率輸出相似性來提升淺層學(xué)生網(wǎng)絡(luò)的分類能力。

圖1 基于多粒度特征蒸餾的遙感場(chǎng)景分類模型Fig.1 Remote sensing scene classification model based on multi-granularity feature distillation

給定訓(xùn)練數(shù)據(jù)D=｛（x1，y1），（x2，y2），…，（xn，yn）｝，在D上訓(xùn)練教師網(wǎng)絡(luò)與學(xué)生網(wǎng)絡(luò)。傳統(tǒng)模型蒸餾方法將2 個(gè)網(wǎng)絡(luò)分成不同階段進(jìn)行訓(xùn)練，而本文方法一次性地完成訓(xùn)練過程。將參數(shù)為θt的教師網(wǎng)絡(luò)記作T（x；θt），參數(shù)為θs的學(xué)生網(wǎng)絡(luò)記作S（x；θs）。相應(yīng)地，將學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)在各個(gè)階段輸出再經(jīng)過softmax 操作后產(chǎn)生的概率值分別記作Ps、Pt，N為計(jì)入損失項(xiàng)的輸出階段總數(shù)。因此，在訓(xùn)練期間所采用的損失函數(shù)可表示為：

其中，C_loss(T(x；θt)，y)和C_loss(S(x；θs)，y)分別為教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)的分類損失，損失項(xiàng)D_loss(Ps_i，Pt_i)表示2 個(gè)網(wǎng)絡(luò)第i個(gè)階段概率輸出之間的距離，即第i個(gè)階段的卷積輸出在全局平均池化（Global Average Pooling，GAP）后的結(jié)果，該新增的損失項(xiàng)即為學(xué)生網(wǎng)絡(luò)訓(xùn)練時(shí)加入的中繼監(jiān)督，目的在于鼓勵(lì)學(xué)生網(wǎng)絡(luò)與教師網(wǎng)絡(luò)做出相近的預(yù)測(cè)，此處使用交叉熵進(jìn)行距離計(jì)算。此外，損失函數(shù)中還引入了超參數(shù)α、β和γ，以平衡3 個(gè)損失項(xiàng)的權(quán)重，便于控制不同項(xiàng)對(duì)訓(xùn)練過程的影響程度。最終損失函數(shù)計(jì)算公式如下：

3 實(shí)驗(yàn)結(jié)果與分析

在UC Merced Land-Use 和SIRI-WHU 2 個(gè)公開數(shù)據(jù)集上對(duì)本文所提基于多粒度特征蒸餾的遙感圖像分類模型進(jìn)行實(shí)驗(yàn)與評(píng)估。實(shí)驗(yàn)中采用ResNet-50和ResNet-18［5］分別作為教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)。ResNet 在網(wǎng)絡(luò)中堆疊殘差結(jié)構(gòu)，并已在ImageNet 數(shù)據(jù)集上驗(yàn)證了ResNet 的有效性。為保證輸出特征的維度相同，實(shí)驗(yàn)中使用ResNet-50 的第1 個(gè)、第2 個(gè)殘差塊輸出作為ResNet-18 的第2 個(gè)、第4 個(gè)殘差塊輸出，以計(jì)算中繼監(jiān)督損失。

所有實(shí)驗(yàn)均在一塊NVIDIA GTX 1080Ti GPU上進(jìn)行，實(shí)驗(yàn)中的參數(shù)更新機(jī)制均采用隨機(jī)梯度下降（SGD）算法，批量大?。˙atch Size）設(shè)置為32，采用交叉熵?fù)p失、Adam 優(yōu)化器對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，初始學(xué)習(xí)速率為1e-3。除最后一層外，其他網(wǎng)絡(luò)層采用ReLU 作為激活函數(shù)。

將本文遙感圖像分類模型與文獻(xiàn)［15］提出的基礎(chǔ)蒸餾模型、文獻(xiàn)［18］提出的BAN 進(jìn)行比較。文獻(xiàn)［15］模型是一個(gè)經(jīng)典并被廣泛應(yīng)用的蒸餾模型，已經(jīng)在數(shù)字分類和語音識(shí)別等任務(wù)中驗(yàn)證了其有效性。文獻(xiàn)［18］中的BAN 是通過迭代進(jìn)行串行訓(xùn)練的蒸餾方法，在CIFAR-10 和CIFAR-100［19］等通用數(shù)據(jù)集上可以降低驗(yàn)證誤差。此外，本文實(shí)驗(yàn)也將未經(jīng)知識(shí)蒸餾的學(xué)生網(wǎng)絡(luò)、教師網(wǎng)絡(luò)作為基礎(chǔ)模型進(jìn)行比較。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

UC Merced Land-Use［7］是一個(gè)土地利用數(shù)據(jù)集，該數(shù)據(jù)集是從美國(guó)地質(zhì)勘探局國(guó)家地圖城市區(qū)域的大型圖像中提取得到，共有21 類，每類包含100 個(gè)256×256 的RGB 圖像樣本，分辨率為0.304 8 m。SIRI-WHU 數(shù)據(jù)集［8］包含12 個(gè)場(chǎng)景類別，圖片均來源于Google Earth，主要覆蓋中國(guó)城市地區(qū)，每類包含200 個(gè)樣本，每個(gè)樣本包含200 像素×200 像素，空間分辨率為2 m。2 個(gè)數(shù)據(jù)集具體類別示例如圖2 所示，其中，前3 行為UC Merced Land-Use 數(shù)據(jù)集，后2行為SIRI-WHU 數(shù)據(jù)集。

圖2 2 個(gè)數(shù)據(jù)集圖片示例Fig.2 Image examples of two datasets

實(shí)驗(yàn)中隨機(jī)選取每類圖片的20%作為測(cè)試集，剩余作為訓(xùn)練集。在數(shù)據(jù)預(yù)處理時(shí)，將像素值歸一化到［0，1］范圍內(nèi)，實(shí)驗(yàn)前對(duì)圖片進(jìn)行平移和隨機(jī)水平翻轉(zhuǎn)等預(yù)處理。

3.2 結(jié)果分析

從表1 可以看出，本文所提知識(shí)蒸餾方法可將ResNet-18 在UC Merced Land-Use 數(shù)據(jù)集上的測(cè)試精度提升4.04 個(gè)百分點(diǎn)，而所需參數(shù)量?jī)H為ResNet-50 的47.46%。在數(shù)據(jù)集SIRI-WHU 中，本文知識(shí)蒸餾方法將ResNet-18 的準(zhǔn)確率提高了3.96 個(gè)百分點(diǎn)。實(shí)驗(yàn)結(jié)果表明，本文基于多粒度特征蒸餾的遙感圖像分類方法在參數(shù)量與計(jì)算量不變的前提下可以大幅提升學(xué)生網(wǎng)絡(luò)的分類能力。在參數(shù)量相同的條件下，本文方法在2 個(gè)實(shí)驗(yàn)數(shù)據(jù)集上均取得了最高的精度，該方法相比傳統(tǒng)知識(shí)蒸餾方法在UC Merced Land-Use 和SIRI-WHU 上的測(cè)試精度分別提高2.38 個(gè)百分點(diǎn)和1.88 個(gè)百分點(diǎn)，相比BAN 中經(jīng)第3 次蒸餾的學(xué)生網(wǎng)絡(luò)（ResNet-18-S3）在2 種數(shù)據(jù)集上的測(cè)試精度分別提高1.9 個(gè)百分點(diǎn)與1.46 個(gè)百分點(diǎn)，相比BAN 的3 次蒸餾集成結(jié)果（ResNet-18 Ensemble）的測(cè)試精度也有所提高，但所需參數(shù)量?jī)H為BAN 集成模型的1/3。

表1 不同網(wǎng)絡(luò)模型在2種數(shù)據(jù)集上的測(cè)試精度及參數(shù)量對(duì)比Table 1 Comparison of test accuracy and parameters of different network models on two datasets

3.3 模型有效性分析及可視化效果

為驗(yàn)證多粒度特征蒸餾方法的有效性，將取消了除最后預(yù)測(cè)概率輸出外的中、低階特征損失后的網(wǎng)絡(luò)與原網(wǎng)絡(luò)以及文獻(xiàn)［15］中的基礎(chǔ)蒸餾方法在同等設(shè)置下進(jìn)行實(shí)驗(yàn)對(duì)比，結(jié)果如表2 所示。從表2 可以看出，在2 個(gè)數(shù)據(jù)集上采用本文融合多粒度特征的蒸餾方法時(shí)，學(xué)生網(wǎng)絡(luò)的分類精度分別有4.04 個(gè)百分點(diǎn)和3.96 個(gè)百分點(diǎn)的增長(zhǎng)。在取消中間特征層的監(jiān)督損失后，本文方法在UC Merced Land-Use 和SIRI-WHU 上分別有2.14 個(gè)百分點(diǎn)和1.25 個(gè)百分點(diǎn)的精度損失，與傳統(tǒng)蒸餾方法相比，性能相差不多，但相較于原學(xué)生網(wǎng)絡(luò)的精度仍有所提升。表2 中的實(shí)驗(yàn)結(jié)果再次驗(yàn)證了所提基于多粒度特征蒸餾的遙感圖像分類模型的有效性，表明同時(shí)訓(xùn)練教師網(wǎng)絡(luò)與學(xué)生網(wǎng)絡(luò)并加入教師網(wǎng)絡(luò)各階段輸出作為學(xué)生網(wǎng)絡(luò)的監(jiān)督信號(hào)，以及融合網(wǎng)絡(luò)多階段特征的方式，可以有效提高學(xué)生網(wǎng)絡(luò)的學(xué)習(xí)能力。

表2 多粒度特征融合對(duì)模型精度的影響效果Table 2 Effect of multi-granularity feature fusion on models accuracy %

本文用UC Merced Land-Use 數(shù)據(jù)作為輸入，將經(jīng)教師網(wǎng)絡(luò)（ResNet-50）、學(xué)生網(wǎng)絡(luò)（ResNet-18）以及有/無多粒度特征融合的方法提取的圖像特征分別用二維TSNE 嵌入表征進(jìn)行可視化，結(jié)果如圖3 所示。從圖3 可以看出，本文方法能有效提高學(xué)生網(wǎng)絡(luò)對(duì)多類樣本的區(qū)分能力。在融合多粒度的特征后，二維特征映射下的類間距離更為清晰，模型生成的嵌入表示能更好地分離出目標(biāo)類，說明基于多粒度特征的蒸餾方法在遙感場(chǎng)景分類中具有有效性，本文方法能利用多層特征使得學(xué)生網(wǎng)絡(luò)更充分地模仿教師網(wǎng)絡(luò)。

圖3 不同模型特征的二維TSNE 嵌入表征可視化效果對(duì)比Fig.3 Comparison of visualization effect of two-dimensional TSNE embedded representation of different model features

3.4 參數(shù)分析

為驗(yàn)證本文方法中損失函數(shù)超參數(shù)α、β和γ對(duì)分類精度的影響，在不同參數(shù)設(shè)置的情況下進(jìn)行實(shí)驗(yàn)，分別對(duì)參數(shù)α、β和γ從0～1 進(jìn)行枚舉，當(dāng)改變目標(biāo)參數(shù)時(shí)固定其余參數(shù)為1。實(shí)驗(yàn)結(jié)果如圖4 所示，從圖4 可以看出，在UC Merced Land-Use 數(shù)據(jù)集上取α=1.0、β=1.0、γ=0.5 時(shí)，模型達(dá)到最好的效果，而在SIRI-WHU 數(shù)據(jù)集上，當(dāng)α=1.00、β=1.00、γ=0.75 或γ=1.00 時(shí)模型能取得最高的分類精度。本文模型在不同參數(shù)設(shè)置下測(cè)試精度未產(chǎn)生大幅波動(dòng)，驗(yàn)證了所提方法具有一定的魯棒性。當(dāng)目標(biāo)參數(shù)值低于0.5 時(shí)，模型精度會(huì)有一定損失，而當(dāng)目標(biāo)參數(shù)值在0.5 以上時(shí)，分類精度基本不變，說明了教師網(wǎng)絡(luò)、學(xué)生網(wǎng)絡(luò)損失項(xiàng)以及多粒度特征輸出距離損失項(xiàng)均對(duì)模型有重要影響。綜合圖4 的實(shí)驗(yàn)結(jié)果，本文在表1、表2 的實(shí)驗(yàn)中設(shè)置α=1.0、β=1.0、γ=1.0，可以在2 個(gè)實(shí)驗(yàn)數(shù)據(jù)集上都取得較好的效果。

圖4 不同參數(shù)設(shè)置下的分類精度對(duì)比Fig.4 Comparison of classification accuracy under different parameter settings

4 結(jié)束語

本文提出一種基于多粒度特征蒸餾的遙感圖像場(chǎng)景分類模型壓縮方法，以減少測(cè)試時(shí)的計(jì)算負(fù)擔(dān)及參數(shù)需求量，簡(jiǎn)化傳統(tǒng)知識(shí)蒸餾模型的訓(xùn)練過程。該方法針對(duì)遙感圖像覆蓋語義廣、細(xì)節(jié)豐富的特點(diǎn)，通過鼓勵(lì)教師網(wǎng)絡(luò)與學(xué)生網(wǎng)絡(luò)相應(yīng)階段產(chǎn)生相似輸出的方式，同時(shí)訓(xùn)練深層的教師網(wǎng)絡(luò)和淺層的學(xué)生網(wǎng)絡(luò)，從而提高學(xué)生網(wǎng)絡(luò)的分類能力。在UC Merced Land-Use 和SIRI-WHU 2 個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法良好的分類性能。為了進(jìn)一步提高學(xué)生網(wǎng)絡(luò)的分類性能，今后將為其設(shè)計(jì)新的卷積結(jié)構(gòu)，或在可接受范圍內(nèi)加深學(xué)生網(wǎng)絡(luò)。此外，在學(xué)生網(wǎng)絡(luò)中采用深度可分離卷積結(jié)構(gòu)［20］來降低其網(wǎng)絡(luò)計(jì)算量也是下一步的研究方向。