黃凱凱，余萬(wàn)里，陸黎明

(上海師范大學(xué) 信息與機(jī)電工程學(xué)院，上海 201400)

0 引 言

場(chǎng)景識(shí)別是計(jì)算機(jī)視覺(jué)中一個(gè)研究熱點(diǎn)，有很多研究者提出各種識(shí)別模型。利用手工標(biāo)注特征進(jìn)行場(chǎng)景識(shí)別的方法：文獻(xiàn)[1]提出方向金字塔匹配(OPM)算法在Indoor67和SUN397數(shù)據(jù)集上分別取得了63.48%和45.91%的分類準(zhǔn)確率；文獻(xiàn)[2]提出局部顏色對(duì)比描述符(LCCD)算法在Indoor67和SUN397數(shù)據(jù)集上分別取得了65.96%和49.68%的分類準(zhǔn)確率。利用深度學(xué)習(xí)進(jìn)行場(chǎng)景分類的識(shí)別的方法：文獻(xiàn)[3]利用多神經(jīng)網(wǎng)絡(luò)結(jié)合多分辨率和類間相似性知識(shí)這種多模型集成的方法在Indoor67數(shù)據(jù)集上取得了84.80%的分類準(zhǔn)確率；文獻(xiàn)[4]利用FV(fisher vector)編碼將神經(jīng)網(wǎng)絡(luò)的中層輸出與全連接輸出結(jié)合的方法在Indoor67和SUN397數(shù)據(jù)集上分別取得了83.75%和67.56%的分類準(zhǔn)確率。

在移動(dòng)端且有高實(shí)時(shí)性要求的系統(tǒng)中，大型深度學(xué)習(xí)模型[5-7]無(wú)法使用。雖然有適合運(yùn)行于移動(dòng)端的網(wǎng)絡(luò)[8-11]，但由于識(shí)別準(zhǔn)確率太低，不能直接應(yīng)用于場(chǎng)景識(shí)別任務(wù)?；诖耍疚奶岢鲆环N能夠運(yùn)行于移動(dòng)設(shè)備上的端到端的深度學(xué)習(xí)模型進(jìn)行場(chǎng)景識(shí)別。

1 相關(guān)工作

模型壓縮。模型壓縮與輕量模型是兩個(gè)不同的概念，雖然兩者的目標(biāo)都是想要減少網(wǎng)絡(luò)參數(shù)和計(jì)算量，但兩者的實(shí)現(xiàn)方法不同。模型壓縮有剪枝[12]、知識(shí)遷移[13-15]等方法?，F(xiàn)今網(wǎng)絡(luò)修剪方法主要有，通過(guò)評(píng)估神經(jīng)元的重要性進(jìn)行修剪[12]、保持神經(jīng)元多樣性，合并相似結(jié)構(gòu)。知識(shí)遷移[13-15]主要是通過(guò)一個(gè)或多個(gè)預(yù)訓(xùn)練好的大模型，提取大模型中的某樣先驗(yàn)知識(shí)，將這個(gè)大模型的先驗(yàn)知識(shí)加入到需要訓(xùn)練的小模型中，使小模型能夠在大模型的監(jiān)督下訓(xùn)練，從而使小模型能加速收斂，提高模型準(zhǔn)確率。知識(shí)遷移主要差別在于知識(shí)，文獻(xiàn)[13]提出將預(yù)訓(xùn)練好的模型的輸出作為物體的“軟標(biāo)簽”，與手工標(biāo)注的one hot標(biāo)簽一起監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)，而這里的知識(shí)就是“軟標(biāo)簽”。文獻(xiàn)[14]提出在特征圖中，不同神經(jīng)元所關(guān)注的圖像區(qū)域是不同的，所以將預(yù)訓(xùn)練大模型某層的特征圖與小模型進(jìn)行特征匹配，使小模型的特征與預(yù)訓(xùn)練大模型特征更加接近，而這里的知識(shí)就是預(yù)訓(xùn)練大模型的卷積特征圖。

卷積網(wǎng)絡(luò)不同層特征。深度學(xué)習(xí)模型的一大優(yōu)勢(shì)就是可以自動(dòng)提取圖像特征，而且卷積網(wǎng)絡(luò)不同層所提取的特征性質(zhì)也有很大區(qū)別。卷積網(wǎng)絡(luò)中層含有圖像局部和細(xì)節(jié)信息，而卷積網(wǎng)絡(luò)頂層含有圖像全局信息。但提取的特征直觀上很難讓人理解，所以想要探究深度學(xué)習(xí)模型不同層的特征圖有什么特點(diǎn)，直接查看各層特征圖的參數(shù)是無(wú)法得出有效結(jié)論的。所以本文通過(guò)類激活圖[16](CAM)的方法，直接把卷積不同層提取的特征可視化，在原圖上顯示特征重點(diǎn)關(guān)注的部分。圖1是我們?cè)贛IT Indoor67數(shù)據(jù)集上做的CAM實(shí)驗(yàn)，從上下對(duì)應(yīng)的對(duì)比圖可以證實(shí)，中層特征包含圖像局部信息，更關(guān)注圖像背景、物體細(xì)節(jié)，而頂層特征包含圖像全局信息，關(guān)注點(diǎn)集中于圖中某樣區(qū)分性很強(qiáng)的物體。所以通過(guò)卷積網(wǎng)絡(luò)多層特征融合，能夠更加全面的表示圖片，能夠更好完成場(chǎng)景識(shí)別任務(wù)。

圖1 卷積網(wǎng)絡(luò)中層(上圖)與頂層(下圖)特征激活圖

FLOPs(floating point operations)浮點(diǎn)運(yùn)算數(shù)，用來(lái)衡量算法、模型的復(fù)雜度。在卷積神經(jīng)網(wǎng)絡(luò)中，卷積的方式各有不同，對(duì)應(yīng)的計(jì)算復(fù)雜度也有很大差異。普通卷積核(如ResNet)浮點(diǎn)運(yùn)算次數(shù)的計(jì)算公式[10]如下

FLOPs=HWK2CinCout

普通分組卷積核(如ResNeXt)浮點(diǎn)運(yùn)算次數(shù)的計(jì)算公式[10]如下

其中，H,W,Cin分別為輸入特征圖的高，寬和通道數(shù)，K為卷積核的寬(假設(shè)是一個(gè)對(duì)稱的卷積核)，Cout是輸出特征圖的通道數(shù)，G是分組卷積的分組數(shù)。

2 場(chǎng)景識(shí)別模型

根據(jù)上述分析，場(chǎng)景識(shí)別在圖像信息表示上有其特殊性，所以原有的ShuffleNet[10]網(wǎng)絡(luò)無(wú)法滿足該任務(wù)。根據(jù)場(chǎng)景識(shí)別的特性，對(duì)ShuffleNet[10]1x(g=8)這個(gè)版本的網(wǎng)絡(luò)結(jié)構(gòu)做出改動(dòng)(如圖2所示)，使其不僅能夠進(jìn)行多特征融合，還可以在同一個(gè)網(wǎng)絡(luò)中使用多分辨率輸入進(jìn)行訓(xùn)練，而且網(wǎng)絡(luò)依然保持端到端，保證了網(wǎng)絡(luò)在移動(dòng)設(shè)備上高速運(yùn)行的可能。

圖2 基于移動(dòng)端的場(chǎng)景識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

ShuffleNet主要的卷積結(jié)構(gòu)分別在3個(gè)Stage中。我們將Stage2、Stage3和Stage4輸出的特征圖進(jìn)行融合，從而使其符合場(chǎng)景識(shí)別對(duì)圖像的表示。通過(guò)對(duì)Stage的Output Size分析，每個(gè)Stage內(nèi)部卷積的H(高)、W(寬)都是不變的，而在每個(gè)Stage與Stage之間也沒(méi)有通過(guò)Pooling下采樣，而是通過(guò)將卷積的Stride設(shè)為2來(lái)減小卷積尺寸。而進(jìn)一步分析ShuffleNet的小結(jié)構(gòu)單元，與ResNet的結(jié)構(gòu)單元極其相似，也使用了一個(gè)跨層連接，而在跨層連接時(shí)，使用Avarage Pooling，并將Stride設(shè)為2來(lái)使跨層連接的卷積與主網(wǎng)絡(luò)卷積尺寸相同，然后進(jìn)行合并，而在ResNet中，是進(jìn)行相加。借鑒ShuffleNet小結(jié)構(gòu)單元，將Stage2跨層連接，首先與Stage3的輸出進(jìn)行合并，但由于Stage2與Stage3輸出的卷積尺寸不同，通過(guò)在Stage2后加入一個(gè)卷積層(Conv1)來(lái)調(diào)節(jié)Stage2的卷積尺寸，使其與Stage3卷積尺寸一致，從而使Stage2與Stage3的輸出能夠合并。Conv1只改變卷積高與寬，不改變深度，具體卷積參數(shù)設(shè)為Padding=1，kernel_size=3，Stride=2，然后用同樣的方式將Stage4的特征輸出與Stage2、Stage3合并后的特征再次進(jìn)行合并，這樣就完成了卷積層多層特征融合。

2.2 同一網(wǎng)絡(luò)多分辨率輸入

同一張圖片，在不同分辨率下所保持的信息量是不同的。低分辨率下，圖片會(huì)損失很多細(xì)節(jié)信息，而在高分辨率下圖片的信息更加豐富。雖然同樣使用了多分辨率的策略去訓(xùn)練網(wǎng)絡(luò)，但實(shí)現(xiàn)方法是完全不同的。Wang等[7]把不同分辨率使用不同的網(wǎng)絡(luò)訓(xùn)練，通過(guò)多網(wǎng)絡(luò)的方式將不同分辨率下獲得分類結(jié)果集成。而我們是在同一個(gè)網(wǎng)絡(luò)中使用多分辨率進(jìn)行訓(xùn)練，通過(guò)隨機(jī)輸入3種不同分辨率{180*180*3，224*224*3，386*386*3，512*512*3}對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。與多網(wǎng)絡(luò)集成不同，這將不同信息的圖片集成在同一個(gè)網(wǎng)絡(luò)中，在分類層之前使用global average pooling，使最后網(wǎng)絡(luò)的特征輸出只與最后特征圖的深度有關(guān)和特征圖的H(高)、W(寬)無(wú)關(guān)。這不僅保證了端到端學(xué)習(xí)，而且有效防止過(guò)擬合。

2.3 訓(xùn) 練

首先在原圖的基礎(chǔ)上隨機(jī)裁剪，隨機(jī)裁剪大小的比例是原圖的0.08～1.0，然后將裁剪之后的圖隨機(jī)resize到{180*180*3，224*224*3，386*386*3，512*512*3}，將隨機(jī)resize之后的圖再經(jīng)過(guò)隨機(jī)水平翻轉(zhuǎn)之后輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。我們使用隨機(jī)梯度下降算法進(jìn)行優(yōu)化，在單張1080ti顯卡上訓(xùn)練，將batch size設(shè)為32，momentum設(shè)為0.9，weight decay 設(shè)為5e-4，learning rate根據(jù)準(zhǔn)確率調(diào)整，當(dāng)準(zhǔn)確率在10輪之后依然不提高，就將learning rate 乘以0.2，learning rate最小值設(shè)為e-8。

3 知識(shí)遷移

深度學(xué)習(xí)模型輸出層經(jīng)過(guò)softmax激活之后，各神經(jīng)元的輸出就代表概率分布。在一個(gè)有N個(gè)神經(jīng)元的輸出層中，用P(y=i|x),i∈[0,N-1] 代表第i個(gè)類的概率輸出，若P(y=j|x)=max(p(y=i|x),i∈[0,N-1]) 代表在0～N-1個(gè)類中第j個(gè)類輸出值最大，那就代表此次分類的預(yù)測(cè)結(jié)果為第j個(gè)類。但并不能完全保證此次預(yù)測(cè)結(jié)果就一定是對(duì)的，可能目標(biāo)類并不是第j個(gè)類，可能是top-K(輸出值經(jīng)過(guò)排序后前K個(gè)大的值所對(duì)應(yīng)的類)個(gè)類中的其中一個(gè)類。對(duì)于當(dāng)前輸入，將輸出層的top-K個(gè)類稱為相似類，這K個(gè)類相對(duì)于剩下的N-K個(gè)類來(lái)說(shuō)，目標(biāo)類更可能在K個(gè)類中，而在N-K個(gè)類中的可能性應(yīng)該是微乎其微的，因?yàn)楫?dāng)P(y=i|x),i∈[0,N-1] 值小到一定程度時(shí)，說(shuō)明目標(biāo)類不可能是其對(duì)應(yīng)的i類。

針對(duì)上文討論的場(chǎng)景識(shí)別普遍存在的類間相似性問(wèn)題，本文提出一種相似類知識(shí)遷移的模型壓縮方法對(duì)目標(biāo)模型進(jìn)行監(jiān)督訓(xùn)練。

首先選用一個(gè)大型深度學(xué)習(xí)模型(下文統(tǒng)稱為teacher模型)提取相似類知識(shí),然后將teacher模型在當(dāng)前運(yùn)行的數(shù)據(jù)集上進(jìn)行fine-tune，最后在訓(xùn)練目標(biāo)模型(下文統(tǒng)稱為student模型)時(shí)，將teacher模型的輸出經(jīng)過(guò)閥值篩選出相似類之后，作為先驗(yàn)知識(shí)來(lái)監(jiān)督student模型訓(xùn)練。student模型損失函數(shù)如下

其中，D是訓(xùn)練數(shù)據(jù)集，Ii是第i張圖片，N是模型輸出向量的維度，yi是圖片Ii的真實(shí)one hot標(biāo)簽向量，H(yi=n) 是向量yi索引位置為n上的值，Pi,x是圖片Ii在student模型中沒(méi)有經(jīng)過(guò)softmax激活的預(yù)測(cè)輸出，λ是真實(shí)標(biāo)簽造成的損失與相似類知識(shí)標(biāo)簽造成的損失的調(diào)節(jié)參數(shù)，fi,n是圖片Ii在teacher模型中的輸出值經(jīng)過(guò)相似類篩選之后的值。fi,n具體計(jì)算過(guò)程如下

其中，F(xiàn)(xi,n) 是圖片Ii在teacher模型中篩選后且沒(méi)有經(jīng)過(guò)softmax激活第n個(gè)節(jié)點(diǎn)的預(yù)測(cè)輸出值，具體篩選方法如下

本文實(shí)驗(yàn)中λ=1，K=10。 網(wǎng)絡(luò)加入這種相似性先驗(yàn)知識(shí)之后可以有效加速收斂速度與分類準(zhǔn)確率，從表1中的A2可以看到加入相似性知識(shí)后網(wǎng)絡(luò)分類準(zhǔn)確率明顯提高。因?yàn)镃NN學(xué)習(xí)到的特征更加多元化，不至于像使用one hot標(biāo)簽一樣，分類的概率分布會(huì)不斷趨向于單一類，所以CNN學(xué)習(xí)到的特征也會(huì)變得單一，無(wú)法學(xué)到相似類的特征。文獻(xiàn)[3]通過(guò)使用混淆矩陣的方式對(duì)相似類進(jìn)行合并，從而解決場(chǎng)景識(shí)別中類間相似性問(wèn)題，但求混淆矩陣的算法很復(fù)雜，而且此時(shí)深度學(xué)習(xí)模型也無(wú)法實(shí)現(xiàn)端到端。文獻(xiàn)[13]也使用網(wǎng)絡(luò)輸出作為先驗(yàn)知識(shí)加入到student模型中，但它并沒(méi)有使用相似類篩選。文獻(xiàn)[13]提出的方法其實(shí)是本文提出的相似類知識(shí)的一個(gè)特例，即K為數(shù)據(jù)集分類數(shù)。在MIT Indoor67上對(duì)這兩種方法做了對(duì)比，即在上文提出的網(wǎng)絡(luò)結(jié)構(gòu)相同的基礎(chǔ)上，分別設(shè)置K=10與K=67。K=10時(shí)分類準(zhǔn)確率為75.9%，K=67時(shí)分類準(zhǔn)確率為73.1%。在本文提出的網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，加入本文相似類先驗(yàn)知識(shí)要比加入文獻(xiàn)[13]中所提出的知識(shí)，在場(chǎng)景識(shí)別上能獲得更高的分類準(zhǔn)確率。

表1 ShuffleNet與本文提出方法的比較

4 實(shí) 驗(yàn)

我們主要是在兩個(gè)常用的場(chǎng)景識(shí)別數(shù)據(jù)集MIT Indoor67和SUN397上進(jìn)行實(shí)驗(yàn)，從而評(píng)估我們?yōu)閳?chǎng)景識(shí)別改進(jìn)的ShuffleNet網(wǎng)絡(luò)、同一網(wǎng)絡(luò)的多分辨率輸入和相似類知識(shí)遷移，以及網(wǎng)絡(luò)在測(cè)試集上的結(jié)果與其它實(shí)現(xiàn)方法在相同測(cè)試集上的結(jié)果進(jìn)行對(duì)比。

MIT Indoor67數(shù)據(jù)集一共有15 620張圖片，每一個(gè)類至少有100張圖片，一共有67個(gè)不同的室內(nèi)場(chǎng)景。我們的實(shí)驗(yàn)使用原論文的評(píng)估協(xié)議，即每一個(gè)類80張圖作為訓(xùn)練集，每一個(gè)類20張圖作為測(cè)試集。SUN397一共有108 754張圖片，397個(gè)不同的場(chǎng)景，每一個(gè)類至少有100張圖，我們同樣根據(jù)原論文的評(píng)估協(xié)議，即每類50張圖作為訓(xùn)練集和50張圖作為測(cè)試集。最終在10個(gè)這種數(shù)據(jù)集下對(duì)測(cè)試集進(jìn)行評(píng)估，取其平均。

在MIT Indoor67上分別評(píng)估：為場(chǎng)景識(shí)別問(wèn)題改進(jìn)的網(wǎng)絡(luò)，單網(wǎng)絡(luò)多分辨率輸入，相似類知識(shí)遷移。這3種情況與原始的ShuffleNet網(wǎng)絡(luò)分別進(jìn)行對(duì)比，其結(jié)果在表1中。在評(píng)估為場(chǎng)景識(shí)別改進(jìn)的移動(dòng)網(wǎng)絡(luò)中，采用單分辨率輸入方式，先從圖片中隨機(jī)剪切一個(gè)區(qū)域，然后resize到224*224，不加入遷移知識(shí)。在評(píng)估單網(wǎng)絡(luò)多分辨率輸入中，使用原始ShuffleNet網(wǎng)絡(luò)，在圖像中隨機(jī)剪切一個(gè)區(qū)域之后從{180，224，386，512}隨機(jī)選擇尺寸進(jìn)行resize，不加入遷移知識(shí)。在評(píng)估相似類知識(shí)遷移中，預(yù)訓(xùn)練網(wǎng)絡(luò)使用DenseNet162，移動(dòng)網(wǎng)絡(luò)使用原始ShuffleNet，采用單分辨率輸入方式，先從圖片中隨機(jī)剪切一個(gè)區(qū)域，然后resize到224*224，預(yù)訓(xùn)練網(wǎng)絡(luò)的輸出中保留相似類個(gè)數(shù)的閾值threshold=10。以上4種方法中，在測(cè)試數(shù)據(jù)集上都采用將原圖resize到338 * 338作為輸入，然后直接預(yù)測(cè)結(jié)果。

在MIT Indoor67和SUN397上將為場(chǎng)景識(shí)別改進(jìn)的ShuffleNet網(wǎng)絡(luò)、同一網(wǎng)絡(luò)的多分辨率輸入和相似類知識(shí)遷移這3種方法同時(shí)使用，并且為移動(dòng)網(wǎng)絡(luò)提供相似類知識(shí)遷移的預(yù)訓(xùn)練網(wǎng)絡(luò)都使用DensNet162。MIT indoor67和SUN397都是使用原始論文中的評(píng)估協(xié)議選擇訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。每輪數(shù)據(jù)輸入從{180，224，386，512}中隨機(jī)選擇尺寸進(jìn)行resize，測(cè)試數(shù)據(jù)只做resized到338*338的簡(jiǎn)單處理。之所以測(cè)試數(shù)據(jù)不進(jìn)行multi-crop處理，是因?yàn)樵趯?shí)際應(yīng)用中，multi-crop之后再取預(yù)測(cè)結(jié)果的平均值會(huì)大幅降低預(yù)測(cè)速度，不符合移動(dòng)設(shè)備應(yīng)用的實(shí)際需求。

雖然場(chǎng)景識(shí)別研究方法[3-5,21,22]很多，但端到端的方法并不多，而且有些方法[3,21,22]使用的是多模型集成的方法，因此我們的方法在與其它方法對(duì)比時(shí)，會(huì)與對(duì)比網(wǎng)絡(luò)在同一標(biāo)準(zhǔn)下進(jìn)行對(duì)比。表2是與早期手工提取特征進(jìn)行對(duì)比。表3是與各端到端的卷積網(wǎng)絡(luò)進(jìn)行對(duì)比，同時(shí)利用FLOPs計(jì)算公式[10]分別計(jì)算了各網(wǎng)絡(luò)在輸入圖片長(zhǎng)寬都為224時(shí)的FLOPs。表4是與多模型集成進(jìn)行對(duì)比，我們使用多模型集成時(shí)，通過(guò)訓(xùn)練時(shí)調(diào)節(jié)相似類個(gè)數(shù)K，獲得不同模型。從以上的對(duì)比表中可以看出以下幾點(diǎn)：①即使是使用輕量卷積網(wǎng)絡(luò)，其準(zhǔn)確率要遠(yuǎn)高于傳統(tǒng)手工標(biāo)注場(chǎng)景識(shí)別特征的方法；②多模型集成是提高分類準(zhǔn)確率非常簡(jiǎn)單卻有效的方法，我們模型通過(guò)集成之后，與各個(gè)大型集成模型準(zhǔn)確率相差很??；③使用與目標(biāo)問(wèn)題相似的預(yù)訓(xùn)練模型進(jìn)行fine-tune，準(zhǔn)確率可以獲得大幅提高。例如表3中文獻(xiàn)[4,20]方法都是在Place205或Place365數(shù)據(jù)集上預(yù)訓(xùn)練好的網(wǎng)絡(luò)(VGGNet-16、GoogLeNet)再分別在數(shù)據(jù)集MIT Indoor67和SUN397上進(jìn)行fine-tune，相對(duì)于使用在ImageNet上預(yù)訓(xùn)練的VGGNet-16再在MIT Indoor67和SUN397進(jìn)行fine-tune，前者[20]準(zhǔn)確率要比后者[5]高很多。本文使用的是在ImageNet上預(yù)訓(xùn)練的網(wǎng)絡(luò)，但相比于文獻(xiàn)[5]方法，不僅FLOPs只有它的1%，而且分類準(zhǔn)確率比其高8.2%，顯示了本文方法的有效性。

表2 手工標(biāo)注特征的方法與本文提出方法的比較

表3 端到端的場(chǎng)景分類方法與本文提出方法的比較

表4 多模型集成方法與本文提出方法的比較

5 結(jié)束語(yǔ)

本文研究了在移動(dòng)設(shè)備上能夠端到端高效運(yùn)行的場(chǎng)景識(shí)別模型，困難主要來(lái)自兩方面：一方面是需要能夠在移動(dòng)神經(jīng)網(wǎng)絡(luò)中能夠有一種端到端高效運(yùn)行且場(chǎng)景識(shí)別分類準(zhǔn)確率高的網(wǎng)絡(luò)。二是來(lái)自場(chǎng)景識(shí)別問(wèn)題本身，即場(chǎng)景識(shí)別需要更加豐富的特征表示和場(chǎng)景識(shí)別存在類間相似性。針對(duì)這兩方面的問(wèn)題，本文分別提出了相應(yīng)的解決方法，但由于硬件條件的限制，主要在MIT Indoor67和SUN397數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。在單模型的對(duì)比中，雖然我們網(wǎng)絡(luò)的FLOPs只有其它模型的1%，但分類準(zhǔn)確率依然獲得了明顯優(yōu)勢(shì)。在多模型集成的對(duì)比中，通過(guò)調(diào)節(jié)相似類個(gè)數(shù)K來(lái)進(jìn)行多模型集成的效果并不顯著，分類準(zhǔn)確率提高非常有限，仍然需要進(jìn)一步研究。