孟慶祥，吳 玄

(武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430072)

隨著高分辨率遙感衛(wèi)星的迅速發(fā)展，高分影像商業(yè)用途越來(lái)越廣。高分影像具有分辨率高、信息量大、細(xì)節(jié)特征豐富等優(yōu)點(diǎn)，傳統(tǒng)的影像解譯方法很難有效地從高分影像上提取知識(shí)。如今高分影像信息提取已逐步從基于像元、紋理的解譯向面向?qū)ο?、語(yǔ)義識(shí)別和場(chǎng)景理解的方向發(fā)展[1]。因此，研究高層次特征的抽象方法成為高分影像理解的一個(gè)重要方向。

場(chǎng)景分類(lèi)的關(guān)鍵是圖像特征的提取。目前，場(chǎng)景分類(lèi)方法大致可分為3類(lèi)：基于紋理、顏色特征等低層特征的場(chǎng)景分類(lèi)，基于中層語(yǔ)義特征的場(chǎng)景分類(lèi)和基于高層視覺(jué)信息的深度網(wǎng)絡(luò)模型場(chǎng)景分類(lèi)[2]。文獻(xiàn)[3]提出了空間包絡(luò)面的方法，不用對(duì)整幅圖像進(jìn)行分割，使用多維低層次特征組合，實(shí)現(xiàn)了對(duì)自然場(chǎng)景的分類(lèi)。文獻(xiàn)[4]提出了一種高效的區(qū)域檢測(cè)算法，使用SIFT特征對(duì)局部特征進(jìn)行描述，由于SIFT特征對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化等均保持不變性，因此被廣泛地運(yùn)用到場(chǎng)景分類(lèi)中。文獻(xiàn)[5]將視覺(jué)詞包方法引入到場(chǎng)景分類(lèi)的研究中，首先對(duì)SIFT、Gist特征進(jìn)行提取，并用K-means聚類(lèi)方法進(jìn)行聚類(lèi)形成視覺(jué)詞包，最后使用支持向量機(jī)分類(lèi)器進(jìn)行訓(xùn)練，取得了良好的分類(lèi)效果。

近年來(lái)，深度學(xué)習(xí)在圖像領(lǐng)域得到了廣泛的運(yùn)用[6-7]。文獻(xiàn)[8]使用基于卷積神經(jīng)網(wǎng)絡(luò)的模型Alex-net，利用多層卷積提取特征，利用全連接層融合特征，利用Dropout層提高網(wǎng)絡(luò)的泛化能力，防止模型的過(guò)擬合。該模型有效地實(shí)現(xiàn)了圖像分類(lèi)，比支持向量機(jī)算法精度提高了15%。由于卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域上的出色表現(xiàn)，越來(lái)越多的學(xué)者將其運(yùn)用到高分影像的場(chǎng)景分類(lèi)中。文獻(xiàn)[9]利用多層感知機(jī)分類(lèi)器對(duì)影像進(jìn)行場(chǎng)景分類(lèi)，但是網(wǎng)絡(luò)過(guò)淺，無(wú)法學(xué)習(xí)到高層特征。文獻(xiàn)[10]提出了一種卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)組合模型，分類(lèi)精度雖然有所提升，但是未解決過(guò)擬合問(wèn)題。為了解決過(guò)擬合問(wèn)題，文獻(xiàn)[11]使用了遷移學(xué)習(xí)的方法，利用ImageNet比賽的預(yù)訓(xùn)練模型Inception-v3提取特征，最后用單層全連接層進(jìn)行分類(lèi)輸出。該網(wǎng)絡(luò)雖然在一定程度上提高了模型的泛化能力，但是只用單層全連接并未從根本上解決網(wǎng)絡(luò)的過(guò)擬合問(wèn)題。因此，本文提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolution neural network,DCNN)的高分影像分類(lèi)模型,通過(guò)鏡像、旋轉(zhuǎn)、亮度變化等方法對(duì)數(shù)據(jù)集進(jìn)行增廣，利用正則化和drought[12-13]層調(diào)整模型參數(shù)，運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)高分影像進(jìn)行分類(lèi)。

1 原理和方法

誤差的反向傳播是深度學(xué)習(xí)的基礎(chǔ)，深度網(wǎng)絡(luò)通過(guò)反向傳播求解梯度，根據(jù)梯度進(jìn)行學(xué)習(xí)得到模型，利用模型完成分類(lèi)任務(wù)。卷積神經(jīng)網(wǎng)絡(luò)是目前圖像處理領(lǐng)域使用最多的模型，該網(wǎng)絡(luò)能夠自動(dòng)提取出高層語(yǔ)義特征。

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)模型是一種基于反向傳播的模型，主要用于圖像識(shí)別領(lǐng)域。遙感影像也是一種圖像，影像場(chǎng)景可以看作是不同語(yǔ)義特征的組合，如住宅可以看作是房屋、道路、樹(shù)木的組合。這些語(yǔ)義特征具有不同的紋理和結(jié)構(gòu)信息，而卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)恰好是對(duì)特征的提取。卷積神經(jīng)網(wǎng)絡(luò)一般可以分為4層(如圖1所示)：①卷積層：卷積層通過(guò)卷積核提取特征。卷積核不斷在輸入影像上滑動(dòng)進(jìn)行局部感知，計(jì)算出下一層的特征圖。假設(shè)輸入的是w×w×d圖像，其中w是影像尺寸，d代表通道數(shù)，利用一個(gè)尺寸為r×r×d的卷積核在圖像上滑動(dòng)，如不用全0填充，最后得到的是一個(gè)大小為[(w-r+1)/s]×[(w-r+1)/s]的特征圖，其中s是滑動(dòng)步長(zhǎng)。②池化層：池化層的作用是將卷積層得到的特征圖進(jìn)行過(guò)濾。假設(shè)用2×2的過(guò)濾器，以2為步長(zhǎng)對(duì)特征圖進(jìn)行過(guò)濾，最后得到原圖1/4大小的特征圖。通過(guò)以上的操作，可以使網(wǎng)絡(luò)參數(shù)大大減少，池化后的特征維度的下降也很好地避免了過(guò)擬合的問(wèn)題。③激活函數(shù)[14]：當(dāng)網(wǎng)絡(luò)通過(guò)多個(gè)卷積和池化層疊加后，其本質(zhì)上是矩陣的相乘，因此構(gòu)成的還是線性模型。激活函數(shù)引入了非線性因素，使模型能夠解決更為復(fù)雜的問(wèn)題。常用的激活函數(shù)包括Sigmoid、Tanh、Relu等，本文采用Relu函數(shù)。④全連接層：卷積層和池化層都是對(duì)圖像局部特征的提取，而全連接層則是對(duì)特征的高度綜合，方便將結(jié)果交給最后的分類(lèi)器。一般最后一層全連接輸出維數(shù)是分類(lèi)的類(lèi)別數(shù)，對(duì)應(yīng)概率最大的即為最后結(jié)果。

1.2 基于DCNN的場(chǎng)景分類(lèi)

1.2.1 DCNN的網(wǎng)絡(luò)結(jié)構(gòu)

本文使用的DCNN模型共計(jì)8層，如圖2所示，其中5層卷積層，3層全連接層。卷積層包括4個(gè)階段：卷積、池化、激活和局部歸一化響應(yīng)。卷積階段采用3×3的卷積核和1的步長(zhǎng)對(duì)影像進(jìn)行特征提取，由于使用了全0填充，卷積所得到的特征圖大小不會(huì)變化。池化階段使用2×2的過(guò)濾器，以2為步長(zhǎng)對(duì)特征圖進(jìn)行過(guò)濾，得到1/4大小的過(guò)濾特征圖。激活階段使用Relu(rectified linear unit)函數(shù)對(duì)過(guò)濾特征圖進(jìn)行激活，加快訓(xùn)練的收斂速度，縮短模型的訓(xùn)練時(shí)間，并將模型變?yōu)榉蔷€性模型。局部歸一化響應(yīng)階段作用是使反饋較大的神經(jīng)元反饋更大，并抑制反饋較小的神經(jīng)元，提高模型的泛化能力。全連接層將卷積層提取到的特征拉成一個(gè)一維向量，以便將分類(lèi)結(jié)果交給最后的分類(lèi)器。這里以3×3的卷積核闡述模型運(yùn)行過(guò)程，輸入影像大小為256×256×3，經(jīng)過(guò)第1層3×3×3×16卷積核后(前兩個(gè)3代表卷積核尺寸，第3個(gè)3表示3通道，16表示下一層輸入通道)，大小變?yōu)?56×256×16，經(jīng)過(guò)池化后，大小變?yōu)?28×128×16。第2層卷積核為3×3×16×32，經(jīng)過(guò)池化后，特征圖再次縮小，變?yōu)?4×64×32。前5層卷積層重復(fù)以上操作，最后得到大小為8×8×256的特征圖。第1層全連接將8×8×256的特征圖拉成一個(gè)16 384維的向量，輸出一個(gè)4096的向量，如此重復(fù)，最后得到一個(gè)與類(lèi)別維數(shù)相同的向量，最后將其輸入到Softmax分類(lèi)器，得到最終的分類(lèi)結(jié)果。

1.2.2 激活函數(shù)、Dropout和正則化

Relu函數(shù)的公式如式(1)所示，當(dāng)輸入值非負(fù)時(shí)，Relu函數(shù)返回原值，當(dāng)輸入值為負(fù)時(shí)，返回0。相比于Sigmoid、Tanh激活函數(shù)，Relu函數(shù)免去了復(fù)雜的計(jì)算量，并且對(duì)其求導(dǎo)時(shí)Relu函數(shù)大于0的部分導(dǎo)數(shù)恒為1，而Sigmoid、Tanh函數(shù)導(dǎo)數(shù)會(huì)逐漸趨近于0。因此Relu函數(shù)能夠有效地避免梯度消失的現(xiàn)象，并且大幅度提高了模型收斂速度。

Relu(x)=max(0,x)

(1)

在每個(gè)全連接層后，筆者都加入了Dropout函數(shù)，Dropout函數(shù)能夠隨機(jī)刪除網(wǎng)絡(luò)中的一些隱藏神經(jīng)元，將修改后的網(wǎng)絡(luò)進(jìn)行前向傳播和反向傳播，如此反復(fù)迭代，可以有效地避免過(guò)擬合問(wèn)題。

關(guān)于大學(xué)生創(chuàng)業(yè)及相關(guān)問(wèn)題，從中國(guó)知網(wǎng)檢索的文獻(xiàn)梳理來(lái)看，學(xué)術(shù)界已進(jìn)行了大量探索并取得了一定的研究成果。但是，以“大學(xué)生返鄉(xiāng)就業(yè)創(chuàng)業(yè)”視角所做的研究顯得不足，特別是如何構(gòu)建促進(jìn)大學(xué)生返鄉(xiāng)就業(yè)創(chuàng)業(yè)的社會(huì)支持體系的研究更為匱乏?；诖耍疚脑谇叭搜芯康幕A(chǔ)上，嘗試?yán)迩宕髮W(xué)生返鄉(xiāng)就業(yè)創(chuàng)業(yè)社會(huì)支持要素的內(nèi)涵及外延，并著重探討社會(huì)支持要素在大學(xué)生返鄉(xiāng)就業(yè)創(chuàng)業(yè)過(guò)程中的作用發(fā)揮情況。

在損失函數(shù)中，筆者加入了正則化。正則化是在損失函數(shù)的基礎(chǔ)上加入正則項(xiàng)，其作用是在參數(shù)數(shù)量不變的情況下，減小某些參數(shù)的值，從而解決數(shù)據(jù)的噪聲問(wèn)題。

1.2.3 數(shù)據(jù)增廣

本文使用了6種算法對(duì)數(shù)據(jù)進(jìn)行增廣，分別是水平鏡像變換、轉(zhuǎn)置變換、隨機(jī)亮度變換、隨機(jī)對(duì)比度變換、隨機(jī)色相變換和隨機(jī)飽和度變換。

(1) 水平鏡像變換算法公式為

f(x1,y1)=f(w-x0,y0)

(2)

式中，(x1，y1)為變換后圖像像素坐標(biāo)；(x0，y0)為變化前圖像像素坐標(biāo)；w為圖像寬度。

(2) 轉(zhuǎn)置變換算法公式為

f(x1,y1)=f(y0,x0)

(3)

式中，(x1，y1)為變換后圖像像素坐標(biāo)；(x0，y0)為變化前圖像像素坐標(biāo)。

2 結(jié)果與討論

2.1 數(shù)據(jù)集

UC Merced-21數(shù)據(jù)集一共21類(lèi)場(chǎng)景，每類(lèi)100張，共計(jì)2100張影像，每張影像大小為256×256。此數(shù)據(jù)集相同類(lèi)間差距大，不同類(lèi)間相似性高，可用于場(chǎng)景分類(lèi)。由于數(shù)據(jù)集每類(lèi)影像較少，為了提高模型的泛化能力，使用了數(shù)據(jù)增廣，擴(kuò)充后每類(lèi)影像700張，其中600張作為訓(xùn)練數(shù)據(jù)，100張作為測(cè)試數(shù)據(jù)。具體類(lèi)別如圖3所示。

本文對(duì)UC Merced-21數(shù)據(jù)集進(jìn)行了鏡像變換、轉(zhuǎn)置變換、亮度變換、對(duì)比度變換、色相調(diào)整及飽和度調(diào)整，調(diào)整后的結(jié)果如圖4所示。

2.2 結(jié)果分析

本文在UC Merced-21數(shù)據(jù)集上進(jìn)行了試驗(yàn)。表1描述了3個(gè)尺寸卷積核在21類(lèi)數(shù)據(jù)集上的分類(lèi)精度。從表1中可以看出，本文模型在機(jī)場(chǎng)、沙灘、灌木叢、密集住宅、林地、高速公路、高爾夫球場(chǎng)、海港、交叉口、中等住宅、立交橋、停車(chē)場(chǎng)、鐵路、稀疏住宅14個(gè)類(lèi)別取得了很好的分類(lèi)效果，平均精度為95.36%，在其余的7個(gè)類(lèi)別中表現(xiàn)一般，平均精度為83.29%。

表2為21類(lèi)場(chǎng)景的混淆矩陣。從表2中可看出，每種類(lèi)別都有一種以上的類(lèi)別干擾分類(lèi)結(jié)果，這些類(lèi)別由于紋理、顏色等特征存在一定的相似性，如網(wǎng)球場(chǎng)與高爾夫球場(chǎng)、農(nóng)田與灌木、棒球場(chǎng)與高爾夫球場(chǎng)、建筑物與密集住宅等，因此最終分類(lèi)精度受到了一定的影響。而對(duì)于一些有明顯特征的場(chǎng)景，如機(jī)場(chǎng)、港口、灌木叢、鐵路等都有很高的識(shí)別度。

2.3 結(jié)果討論

傳統(tǒng)方法一般由紋理和顏色等特征描述場(chǎng)景，然而這些低階特征無(wú)法描述復(fù)雜的大型數(shù)據(jù)集。經(jīng)過(guò)國(guó)內(nèi)外學(xué)者的探索，原本用于描述文檔的視覺(jué)詞袋方法被引入場(chǎng)景分類(lèi)，這種方法使用中層語(yǔ)義特征建模，將特征抽象成對(duì)象，使用對(duì)象來(lái)描述場(chǎng)景能夠有效地提高分類(lèi)精度[15-16]。深度學(xué)習(xí)興起后，學(xué)者們發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別與分類(lèi)中表現(xiàn)卓越，于是各種不同的模型被用到場(chǎng)景分類(lèi)，分類(lèi)精度在不斷提高。本文將DCNN方法與其他文獻(xiàn)在UC Merced-21數(shù)據(jù)集上的分類(lèi)精度與方法進(jìn)行了對(duì)比，對(duì)比結(jié)果見(jiàn)表3。

表3 各種方法分類(lèi)精度

3 結(jié) 語(yǔ)

本文利用深度卷積網(wǎng)絡(luò)對(duì)UC Merced-21數(shù)據(jù)集進(jìn)行場(chǎng)景分類(lèi)，對(duì)數(shù)據(jù)不足的數(shù)據(jù)集進(jìn)行了數(shù)據(jù)增廣，并采用正則化和Dropout算法解決了深度學(xué)習(xí)模型的過(guò)擬合問(wèn)題。從試驗(yàn)結(jié)果可以看出，深度卷積神經(jīng)網(wǎng)絡(luò)可以有效地對(duì)高分影像進(jìn)行場(chǎng)景分類(lèi)，并且其分類(lèi)精度要優(yōu)于傳統(tǒng)算法。同時(shí)，筆者發(fā)現(xiàn)不同尺寸的卷積核對(duì)于不同類(lèi)別場(chǎng)景有一定影響，選取合適的卷積核尺寸可以有效地提高分類(lèi)精度。場(chǎng)景分類(lèi)是遙感影像處理的方向之一，利用深度學(xué)習(xí)模型對(duì)遙感影像進(jìn)行處理是將來(lái)研究的熱點(diǎn)。本文驗(yàn)證了深度學(xué)習(xí)模型在影像場(chǎng)景分類(lèi)任務(wù)中的有效性，下一步會(huì)將深度卷積神經(jīng)網(wǎng)絡(luò)運(yùn)用到中高分辨率影像的分類(lèi)。但是，深度的卷積網(wǎng)絡(luò)參數(shù)較多，結(jié)構(gòu)復(fù)雜，訓(xùn)練時(shí)間過(guò)長(zhǎng)，如何進(jìn)一步提高特征提取效率，也是未來(lái)研究的重點(diǎn)之一。