何小飛，鄒崢嶸，陶　超，張佳興

中南大學(xué)地球科學(xué)與信息物理學(xué)院，湖南 長沙 410083

?

聯(lián)合顯著性和多層卷積神經(jīng)網(wǎng)絡(luò)的高分影像場景分類

何小飛，鄒崢嶸，陶超，張佳興

中南大學(xué)地球科學(xué)與信息物理學(xué)院，湖南 長沙 410083

高分辨率遙感影像中的場景信息，對于影像解譯和現(xiàn)實世界的理解具有重要意義。傳統(tǒng)的場景分類方法多利用中、低層人工特征，但是高分辨率遙感影像的信息豐富，場景構(gòu)成復(fù)雜，需要高層次的特征來表達。本文提出了一種聯(lián)合顯著性和多層卷積神經(jīng)網(wǎng)絡(luò)的方法，首先利用顯著性采樣獲取包含影像主要信息的有意義的塊，將這些塊作為樣本集輸入卷積神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練，獲得不同層次的特征表達，最后聯(lián)合多層特征利用支持向量機進行分類。兩組高分影像場景數(shù)據(jù)UC Merced 21類和Wuhan 7類試驗表明，顯著性采樣能夠有效地獲取主要目標，減弱其他無關(guān)目標的影響，降低數(shù)據(jù)冗余；卷積神經(jīng)網(wǎng)絡(luò)能夠自動學(xué)習(xí)高層次的特征，相比已有方法，本文方法能夠有效提高分類精度。

卷積神經(jīng)網(wǎng)絡(luò)；顯著性探測；高分辨率遙感影像；場景分類

隨著科學(xué)技術(shù)的進步，遙感衛(wèi)星獲取影像的分辨率不斷提升，目前已經(jīng)出現(xiàn)的高分衛(wèi)星IKONOS、QuickBird使得遙感影像的分辨率達到米級、甚至亞米級別，標志著遙感領(lǐng)域已經(jīng)進入了高分辨率影像時代。高分辨率遙感影像不僅具有豐富的空間、紋理特征，而且包含了大量場景語義信息。然而，由于場景的構(gòu)成復(fù)雜且地物覆蓋類別眾多，很難從海量的影像數(shù)據(jù)中，直接獲取感興趣的場景信息。如何有效地表達和識別高分影像中的場景成為極具挑戰(zhàn)的課題，已引起了遙感學(xué)術(shù)界的廣泛關(guān)注[1]。

為了理解和識別高分影像中的場景信息，學(xué)者們先后提出了很多場景分類方法, 大致可以分為兩類: 基于低層次特征的方法和基于中層語義特征建模的方法[2]。基于低層次特征方法通常采用顏色、紋理等全局統(tǒng)計信息來表達場景。文獻[3]利用貝葉斯網(wǎng)絡(luò)集成顏色特征、小波紋理特征和先驗語義特征對室內(nèi)、外場景影像進行分類。文獻[4]提出了基于全局低層次特征的Gist方法，該方法將整幅場景作為對象，無需對場景中的目標進行分割，計算簡單、快速，但只能區(qū)分較少類別的場景且精度有限?；谥袑诱Z義建模的典型方法就是視覺詞袋模型(BoVW)[5]，通過對圖像低級特征進行量化統(tǒng)計，進而表示視覺單詞分布，為圖像分類提供基礎(chǔ)數(shù)據(jù)，它建立了場景對象的低層次特征和高層次語義之間的聯(lián)系，能夠較好地表達場景信息，獲得比較高的分類精度，但是需要大量的存儲空間和計算量，場景對象的分割效果也直接影響分類結(jié)果。文獻[6]提出了一種基于詞袋模型的影像表達方法——空間金字塔匹配核(SPMK)，計算簡單有效。文獻[7]通過計算視覺字典的共現(xiàn)，再結(jié)合BoVW方法，提出了一種空間共現(xiàn)核方法(SPCK++)，相比傳統(tǒng)方法BoVW和SPMK分類精度最高，但是以上兩種核方法都采用了非線性莫西核，計算復(fù)雜度非常高。此外，應(yīng)用較多的場景分類方法還有主題模型(LDA)[8-10]，它是一種層次概率模型，基于視覺詞典的分布來無監(jiān)督的學(xué)習(xí)主題分布?；谥黝}模型還有很多擴展方法，例如將其與支持向量機(SVM)結(jié)合的SVM-LDA[11]方法，以上特征建模方法都依賴于K均值聚類來產(chǎn)生視覺字典，因此特征表達對于分類有很大的局限性。

最近，還有學(xué)者將深度學(xué)習(xí)算法應(yīng)用到影像分類中，例如，文獻[12]提出一種無監(jiān)督特征學(xué)習(xí)方法，利用稀疏自編碼網(wǎng)絡(luò)提取特征，分類結(jié)果較已有算法有所提高，但是稀疏自編碼只是一個淺層的網(wǎng)絡(luò)，提取特征有限。文獻[13]利用卷積神經(jīng)網(wǎng)絡(luò)[14]對遙感影像進行分類，雖然分類精度很高，但是沒有涉及場景?？傮w而言，當前卷積神經(jīng)網(wǎng)絡(luò)在圖像方面的應(yīng)用主要集中在人臉識別、字母識別(車牌號、手寫體等)、車輛檢測以及自然場景分類，對于高分辨率遙感影像場景分類的研究甚少。因此，本文提出一種聯(lián)合顯著性和多層卷積神經(jīng)網(wǎng)絡(luò)的高分影像場景分類方法。通過顯著性算法，獲取能夠表達場景信息的顯著目標區(qū)域，然后在這些顯著區(qū)域進行采樣，構(gòu)建初始樣本集；利用深度卷積神經(jīng)網(wǎng)絡(luò)從樣本集中提取高層次特征，最后聯(lián)合不同層次特征輸入支持向量機中分類。

1　原理與方法

1.1場景分類存在的問題

影像場景可以看成多個獨立目標的集合，例如商業(yè)區(qū)由道路、建筑物、停車場等組成，這些獨立目標具有不同的結(jié)構(gòu)和紋理信息，通過不同的組合以及空間排列方式，形成不同的場景類別。場景分類對于影像解譯和理解具有重大的意義，同一場景類別具有語義一致性，但是由于影像自身的差異和變化(例如光照、物體的形狀、大小、位置等)使得同一類別的對象不一致；此外，不同場景類別之間還具有視覺相似性，這就給場景分類帶來了困難[15]。具體表現(xiàn)為：

(1) 相同類內(nèi)差異性：屬于同一類別的場景影像，具有不同的表現(xiàn)形式，如圖1中的高爾夫球場，有樹木圍繞的球場，也有寬闊沒有草的球場，還有茂盛草地的球場，這些不同形式的高爾夫球場，在紋理、色調(diào)等方面都存在差異。

圖1　相同類內(nèi)差異性(類別為高爾夫球場)Fig.1　Differences within the same class (category: golf course)

(2) 不同類間相似性：場景類別雖然多種多樣，但是組成場景的基本目標卻是少量的，因此在不同的場景影像中，依然能夠發(fā)現(xiàn)相似之處。如圖2的3類不同場景類別交叉路口、建筑物、居民區(qū)，都有房子、道路等目標存在，區(qū)別只在于哪種目標占據(jù)影像的比例大，因此在分類時，這些類別很容易互相混淆，影響最終的分類精度。

圖2　不同類間相似性(類別依次為：交叉路口、建筑物、居民區(qū))Fig.2　Similarity between different classes (categories: intersection、building、residential)

1.2顯著性采樣

由于類內(nèi)差異性和類間相似性的存在，直接利用原始影像進行特征提取，類別之間會相互影響，導(dǎo)致分類效果差。通過采樣獲取有意義的影像塊，來代替原始影像的方法能夠有效地提高分類效率和結(jié)果。傳統(tǒng)的方法是直接分塊，即對影像進行規(guī)則格網(wǎng)劃分，然后隨機選取塊，此方法的前提是假定影像的不同區(qū)域包含相同的信息，對于遙感影像不太適用。文獻[16]中利用SIFT采樣，首先提取影像的SIFT特征點，將影像劃分成格網(wǎng)，隨機選取位于格網(wǎng)內(nèi)的SIFT特征點，再以這些特征點為中心，選取一個矩形塊，最后將很多塊連接起來構(gòu)成一個新影像作為初始輸入。SIFT采樣相比直接分塊，能夠針對性地選取一些與場景有關(guān)聯(lián)的塊，但是SIFT主要是一些邊緣和角點，并不能選取可以表達場景信息的區(qū)域。

因此，本文采用顯著性探測算法[17]來指導(dǎo)采樣。顯著性探測，就是在大量信息中選擇感興趣區(qū)域的過程，這些感興趣區(qū)域通常包含了影像中的絕大部分信息，因此能夠很好地表達影像。本文選取一種新的顯著性探測方法——PCA Saliency[18]。該方法通過計算圖案差異性、顏色差異性以及影像結(jié)構(gòu)的先驗知識，得到最終的顯著圖。一般的顯著性方法在定義差異性時，采用最鄰近算法，未考慮影像塊內(nèi)部的統(tǒng)計規(guī)律，該方法引入了影像塊內(nèi)部統(tǒng)計分析，利用主成分分析(PCA)來表達影像塊，進而定義差異性。

(3) 影像結(jié)構(gòu)的先驗信息。先驗信息包括以下內(nèi)容：顯著像素通常集聚成類，在場景中對應(yīng)一個實際目標；人眼定位目標通常趨向于影像中心。通過計算高斯權(quán)重圖G(px)來表示先驗知識。

(1)

(2)

(2) 顏色差異性。在CIE LAB色彩空間，通過計算某個區(qū)域與其他區(qū)域的L2范數(shù)距離之和，來表征顏色差異性

(3)

(1) 圖案差異性。傳統(tǒng)度量圖案差異性是通過計算每個影像塊與其他影像塊之間的距離，忽略了像素之間的聯(lián)系。這里基于兩個準則來計算圖案差異性：自然影像中的非顯著區(qū)通常集中在高維空間，而顯著區(qū)則更加發(fā)散[18]；計算到平均塊距離時，應(yīng)該考慮影像塊的分布。通過計算主成分可以得到分布情況

煤厚基本在2.0m左右，最厚達3.6m。井田內(nèi)構(gòu)造簡單，褶皺一般不發(fā)育。煤層沿走向雖有小的起伏，但大斷層稀少，僅在井田中、深部發(fā)現(xiàn)落差在20-40m的正、逆斷層五條，并伴有次一級寬緩向斜和背斜，井田內(nèi)小斷層較發(fā)育。

最終的顯著圖是上面三者的乘積S(px)=G(px)×P(px)×C(px)，結(jié)果歸一化到[0,1]之間，為了獲得更加準確的顯著圖，還采用多個尺度：100%、50%、25%來計算，具體細節(jié)可以參考文獻[18]。用上述方法計算高分影像的顯著圖，如圖3所示。

從圖3的顯著性探測結(jié)果來看，不同區(qū)域?qū)?yīng)不同的值，在圖像上顯示為明暗的差異。對于飛機、港口、儲罐，顯著區(qū)域是較明亮的飛機、船艇和圓形罐體，其他區(qū)域接近黑色；農(nóng)田由于紋理重復(fù)出現(xiàn)，都比較顯著，所以整體較亮。以上大部分類別的顯著區(qū)域都是比較亮的，但對于河流和交叉路口來說，顯著區(qū)域正好相反，都比較暗。總體來說，顯著區(qū)域與非顯著區(qū)域的對比差異明顯，合理定義閾值可以獲取感興趣的顯著區(qū)域。從目視來看，顯著區(qū)域包含的目標對于場景理解最具代表性(例如港口中的船)，識別出關(guān)鍵目標也就相應(yīng)地識別出了場景。

顯著區(qū)域得到以后，就可以采集樣本塊。假設(shè)有N幅影像，對于每幅影像都可以得到對應(yīng)的顯著圖，由于不同類別影像差異，顯著區(qū)域有可能在明或暗處，因此筆者定義兩個閾值α、β來區(qū)分顯著與非顯著區(qū)域，在大于α或小于β的區(qū)域隨機選擇M個塊，每塊大小為m×m，波段數(shù)為3(RGB)。因此，每幅影像構(gòu)建樣本集的大小為：m×m×3×M。

圖3　6類高分場景影像以及顯著性探測結(jié)果Fig.3　Six categories of high resolution scene image and corresponding saliency detection results

除了以上基本的網(wǎng)絡(luò)層，為了更好地訓(xùn)練卷積網(wǎng)絡(luò)，通常會加入一些技巧或策略，例如局部反差調(diào)整(local response normalization)和Dropout策略，局部反差調(diào)整通過將神經(jīng)元激活值規(guī)范化，可以防止梯度彌散；Dropout能夠有效避免過擬合，提高網(wǎng)絡(luò)的泛化能力，合理地利用這些策略會加快網(wǎng)絡(luò)的訓(xùn)練過程。

影像分類的關(guān)鍵在于特征提取，選取特征的好壞決定了最終的分類結(jié)果。人工設(shè)計的低層次特征，比如Gabor、LBP、SIFT等，在特定的分類和識別任務(wù)中取得了非常大的成功。然而，對于新的數(shù)據(jù)和任務(wù)，人工設(shè)計有效的特征需要大量新的先驗知識，這無疑是困難的[19]。近年來，深度學(xué)習(xí)引起了廣泛的關(guān)注，其通過建立類似于人腦的分層模型結(jié)構(gòu)，對輸入數(shù)據(jù)逐級提取從底層到高層的特征，從而能很好地建立從底層信號到高層語義的映射關(guān)系[20]。在圖像處理方面，應(yīng)用比較成功的深度學(xué)習(xí)模型就是卷積神經(jīng)網(wǎng)絡(luò)(CNNs)，它的起源可以追溯到1980年的神經(jīng)認知機，它也是第一個真正成功訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)算法，該方法將局部感受野、權(quán)值共享、空間亞采樣3種思想結(jié)合起來獲得某種程度的位移、尺度、形變不變性，具有結(jié)構(gòu)簡單、訓(xùn)練參數(shù)少和適應(yīng)性強等特點。一個基本的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以分為3層：特征提取層(過濾器層)、特征映射層(非線性映射層)以及特征池化層(亞采樣層)，通過堆積多個基本網(wǎng)絡(luò)結(jié)構(gòu)可以形成一個深度卷積神經(jīng)網(wǎng)絡(luò)。

在位于昆明市金鼎山的空氣自動監(jiān)測站，24小時不間斷地對周圍25平方公里以內(nèi)的空氣質(zhì)量進行監(jiān)測和評價。省生態(tài)環(huán)境廳環(huán)境監(jiān)測處處長鄧加忠介紹，從2017年起，全省投入近兩億元，在16個州市推廣環(huán)境空氣自動監(jiān)測站的建設(shè)。全省129個縣（市、區(qū)）已建成154個站點。正式投入運行后，全省環(huán)境空氣質(zhì)量監(jiān)測不僅能實現(xiàn)“縣縣能監(jiān)測”，隨著環(huán)境空氣質(zhì)量預(yù)警預(yù)報工作的完善，還可實現(xiàn)“縣縣能預(yù)報”。

yi=bi+∑ikij*xi

(4)

式中，*表示卷積運算；xi表示卷積層的輸入；kij是卷積核參數(shù)；bi是偏差值；s為步長，每個濾波器對應(yīng)一種特定的特征。

(2) 特征映射層：為保證特征有效性，利用一個非線性函數(shù)對過濾器層的結(jié)果進行映射，得到特征圖F

2.涉及油田的行政事業(yè)性收費被取消。2011年12月財政部、發(fā)改委發(fā)布《關(guān)于公布取消253項涉及企業(yè)行政事業(yè)性收費的通知》（財綜〔2011〕127號）。其中，如山東省財政廳、物價局轉(zhuǎn)發(fā)了該文件，取消了19項涉企行政事業(yè)性收費，其中取消了涉及勝利油田的落地原油管理費、工農(nóng)工作協(xié)調(diào)費、水工程占用補償費、石油勘探開發(fā)排污費等有12項費用，進一步緩解了油田生產(chǎn)經(jīng)營壓力。

fs=σ(bi+∑ikij×xi)

(5)

式中，σ是激活函數(shù)，常用的激活函數(shù)有tanh、sigmoid和softplus。tanh函數(shù)是sigmoid函數(shù)的一種變體，它的取值范圍是[-1,1]，而sigmoid取值范圍是[0,1]。線性修正單元ReLU[21]與生物神經(jīng)元受刺激后的激活模型最為接近，而且具有一定的稀疏性，計算簡單，有助于提升效果，也逐漸被用來作為神經(jīng)網(wǎng)絡(luò)的激活函數(shù)。

南朝時期，高昌籍僧人道普泛海求法未獲成功。高昌籍另一位僧人智林，跟隨其師道亮法師，終于來到了嶺南，在廣州弘法整整6載?！陡呱畟鳌份d：

B企業(yè)的創(chuàng)始團隊多為重點大學(xué)畢業(yè)的碩士研究生，在大疆、邁瑞、聯(lián)想等知名企業(yè)工作多年，有無人機、機器人、智能家電設(shè)備等領(lǐng)域的研發(fā)經(jīng)驗，擁有十余項專利技術(shù)，并將其成功應(yīng)用到新產(chǎn)品的研發(fā)中?？梢哉f，產(chǎn)品上市前，企業(yè)主要是拼湊手頭的研發(fā)經(jīng)驗和技術(shù)資源，屬于手段導(dǎo)向型拼湊模式（11＞2）。產(chǎn)品上市后被評為粵港澳大灣區(qū)的明星產(chǎn)品，受到消費者的好評，獲得了政府創(chuàng)業(yè)補貼和天使投資，與國內(nèi)外數(shù)十家供應(yīng)商、渠道商建立了合作關(guān)系，以拼湊外部優(yōu)勢資源。據(jù)表6編碼顯示，產(chǎn)品上市后，社會網(wǎng)絡(luò)型條目數(shù)遠遠超過手段導(dǎo)向型條目數(shù)（12＞4），可將其判定為社會網(wǎng)絡(luò)型拼湊模式。

1.3卷積神經(jīng)網(wǎng)絡(luò)

為了驗證本文方法的有效性，根據(jù)采樣策略的不同(有、無顯著性)以及分類策略的不同(利用單層特征、利用多層特征)進行了交叉試驗。無顯著性采樣的方法，直接從原始影像中隨機選取相同數(shù)目的影像塊進行分類；多層特征是指將兩個全連接層(fc6和fc7)和第5個卷積層(C5)的特征聯(lián)合起來，而單層特征只用最后的全連接層特征(fc7)。試驗參數(shù)設(shè)置及結(jié)果如下所述。

圖4　本文試驗構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)圖Fig.4　A convolutional neural network structure parameter map constructed in this paper

2　高分影像場景分類試驗

本文方法的整體流程如圖5所示，首先利用顯著性探測算法，獲取影像的顯著區(qū)域，在對應(yīng)的原始影像上采集樣本塊(包含3個波段)；然后將采集的樣本塊劃分為訓(xùn)練集和測試集，將訓(xùn)練集輸入卷積神經(jīng)網(wǎng)絡(luò)中訓(xùn)練，提取層次特征并結(jié)合樣本標簽訓(xùn)練SVM分類器；測試階段，利用分類器對樣本塊進行分類，獲取樣本塊標簽，由于每個場景影像由很多塊組成，所以對樣本塊標簽進行直方圖統(tǒng)計，將最大頻數(shù)所對應(yīng)的標簽作為最終場景影像的類別。

（2）健全獨立董事的選舉方式。獨董是由股東大會根據(jù)參選名單，采取簡單多數(shù)的投票制選舉產(chǎn)生的，這樣固然可以提高股東大會參與選舉的熱情和參與感，但是最終結(jié)果仍舊是由董事會決定的。因此，應(yīng)盡可能削弱大股東在選舉中產(chǎn)生的作用，將參選名單的確認由董事會提出改為由中小股東聯(lián)名提出并選舉。

2.1試驗數(shù)據(jù)集

本文所用的兩類高分辨率遙感影像分別是：①UCMerced21類場景影像，該數(shù)據(jù)選自美國USGS國家城市地圖圖像中的不同地區(qū)的航空遙感影像，分辨率為0.3m左右，每類有100幅，大小為256×256，影像類別具有高度的重復(fù)性，例如密集住宅區(qū)、中等住宅區(qū)和稀疏住宅區(qū)；②Wuhan7類場景影像，該數(shù)據(jù)集是將武漢地區(qū)的QuickBird影像融合后，人工選取了7個場景類別，分辨率為0.6m左右，每類有200幅，尺寸為256×256，影像示例如圖6所示。

2.2試驗結(jié)果與分析

兩組患者耐受性均較好，不良反應(yīng)主要為膀胱局部不良反應(yīng)。觀察組患者用藥后發(fā)生3例尿痛、3例尿急、1例尿頻、2例尿道灼燒感，不良反應(yīng)發(fā)生率為23.08%(9/39)；對照組患者用藥后發(fā)生3例尿急、2例尿頻、3例尿道灼燒感，不良反應(yīng)發(fā)生率為20.51%(8/39)，兩組間比較無明顯差異(P>0.05)，不具備統(tǒng)計學(xué)意義(表1)。兩組患者用藥后并未發(fā)生尿道狹窄以及白細胞減少或嚴重的肝腎功能損害。

選擇 [Spatial Analyst 工具]→ [地圖代數(shù)]→[柵格計算器]，在對話框中輸入公式：＂backl2＂* ＂dem _ buildings＂，計算建筑物背光面輪廓高度，如圖7所示。同理，獲得在時刻13∶00和14∶00的建筑物背光面輪廓及輪廓高度數(shù)據(jù) dem _13 和 dem_14。

卷積神經(jīng)網(wǎng)絡(luò)是一種監(jiān)督學(xué)習(xí)模型，需要一定的標記樣本來訓(xùn)練，訓(xùn)練過程與傳統(tǒng)的BP算法相似，所有權(quán)重在訓(xùn)練之前隨機初始化，然后進行前向傳播并輸出結(jié)果，計算輸出結(jié)果與實際樣本標簽的差，按極小化誤差的方法反向傳播調(diào)整權(quán)矩陣。假設(shè)有輸入樣本(X,Yp)，前向傳播后得到輸出Op=Fn(…(F2(F1(XpW(1))W(2)…)W(n))，計算代價函數(shù)cost=Op-Yp，然后利用隨機梯度下降法或L-BFGS[22]優(yōu)化算法求解。本文試驗構(gòu)建了一個13層的卷積神經(jīng)網(wǎng)絡(luò)，包括輸入層、5個卷積層、兩個池化層，兩個局部反差調(diào)整層、兩個全連接層和一個輸出層，網(wǎng)絡(luò)參數(shù)和結(jié)構(gòu)如圖4所示，利用ReLU作為激活函數(shù)，采用最大池化，最后聯(lián)合多層特征一起分類。利用顯著性采樣后，每幅影像由很多塊代替，最后計算分類結(jié)果時，需要統(tǒng)計這些塊的分類情況，將個數(shù)最多的類別作為該影像的最終分類結(jié)果。

(1)UCMerced：定義交叉路口、立交橋和河流的顯著區(qū)域閾值β=0.3，其余類別的顯著閾值α=0.8，每幅影像隨機選取100塊，每塊大小為64×64×3，與文獻[23]一樣，每類影像隨機選取80%作為訓(xùn)練樣本，其余作為測試樣本，卷積神經(jīng)網(wǎng)絡(luò)各層參數(shù)設(shè)置如圖4所示。幾種交叉試驗的分類結(jié)果見表1。

圖5　方法總體流程Fig.5　Overall architecture of the proposed method

圖6　武漢7類場景影像庫Fig.6　Wuhan 7 scene datasets

從表1的結(jié)果來看，利用顯著性采樣比直接采樣的分類結(jié)果都高， 說明顯著性采樣結(jié)果更具代

表性，選取的樣本都是與場景信息強相關(guān)的；通常利用卷積神經(jīng)網(wǎng)絡(luò)提取特征進行分類，都只用單層特征(輸出層特征)。表1結(jié)果說明結(jié)合不同層次特征進行分類相比單層特征分類精度有所提高，不同層次的特征增加了目標的可區(qū)分性。從圖7的分類混淆矩陣可以看出，飛機、海灘、叢林、港口、停車場、河流等大多數(shù)類別分類精度較高，甚至達到100%，由于這些場景內(nèi)的目標復(fù)雜程度不高，且不同類別目標的差異性大，用顯著性可以準確地提取出關(guān)鍵目標，識別出關(guān)鍵目標也就相應(yīng)的識別出場景；而分類精度較低的類別主要是建筑物、密集住宅區(qū)、中等住宅區(qū)、稀疏住宅區(qū)，這些類別場景相似性高，區(qū)別僅在于密集程度不同，而利用顯著性提取的都是建筑物，容易混淆，導(dǎo)致分類結(jié)果差。此外，針對圖1的類內(nèi)差異性問題，從高爾夫球場的分類精度(90%)來看，有差異的影像都能正確地分為一類，說明本文方法能有效地解決這個問題；UCMerced21類中比較相似的類別有高速公路、交叉路口、立交橋、跑道，這些可以看作道路類；建筑物、密集住宅區(qū)、中等住宅區(qū)、稀疏住宅區(qū)、活動住房這些可以看作建筑類。對于圖2的類間相似性問題，可以從這兩個大類的分類結(jié)果來分析：表2分別為道路類和建筑類的分類精度，從表中可以看出每個子類的精度至少在80%以上，平均分類精度也達到88%以上，說明對于相似性的類別，本文方法也能夠有效的區(qū)分。表3為已有分類方法的比較，本文方法總體分類精度達到92.86%，相比傳統(tǒng)的詞袋模型和主題模型方法，分類精度有了一定的提高。

水利部于2013年11月27日在京組織召開了試點工作座談會，胡四一副部長參加會議并作重要講話，各試點地區(qū)水行政主管部門分管領(lǐng)導(dǎo)和代表參加會議。座談會總結(jié)交流了試點工作階段性經(jīng)驗與成效，查找解決了試點實施中的有關(guān)問題，研究部署了下一階段試點工作。

表1UC Merced 21類數(shù)據(jù)不同策略總體分類精度比較

Tab.1Overall classification accuracy on UC Merced 21 data set for different strategies (%)

特征無顯著性有顯著性單層特征多層特征單層特征多層特征精度87.6289.7692.1492.86

表2　道路類和建筑類的分類精度

表3　UC Merced 21類數(shù)據(jù)已有分類精度比較

圖7　UC Merced 21類衛(wèi)星場景影像分類混淆矩陣(顯著性+多層特征)Fig.7　Confusion matrix showing the classification performance with the UC Merced 21 dataset(with saliency and multi-layer features)

(2) Wuhan：該數(shù)據(jù)集是從大影像上人工選取的，影像類別數(shù)較少，采樣塊大小仍為64×64×3，每幅圖選取100塊，顯著區(qū)域閾值α=0.8，選取80%影像作為訓(xùn)練，其余作為測試；卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)與UC Merced基本相同(只是最后輸出層參數(shù)不一樣)，也針對不同策略進行了交叉試驗。表4為不同策略交叉試驗的分類結(jié)果。

表4Wuhan 7類數(shù)據(jù)不同策略總體分類精度比較

Tab.4Overall classification accuracy on Wuhan 7 data set for different strategies (%)

特征無顯著性有顯著性BOVW[23]單層特征多層特征單層特征多層特征精度91.3694.8695.7198.2198.93

由于Wuhan數(shù)據(jù)集是從實際的大影像選取的，類別數(shù)沒有那么多，所以分類精度很高，從表4可以看出詞袋模型的分類精度也有91.36%，而利用卷積神經(jīng)網(wǎng)絡(luò)的精度達到98.93%，說明卷積特征對于目標具有很好的識別能力。此外，可以得出與UCM數(shù)據(jù)相同的結(jié)論，即利用顯著性采樣和聯(lián)合多層特征，對于分類精度具有一定的提升。

三是缺乏對主題的深化與挖掘。教師讓學(xué)生們課前準備名人的故事，并在課堂上與其他同學(xué)分享，但故事講完，教學(xué)就戛然而止了。對孩子們來說，這節(jié)課只是聽了一個又一個的故事，不斷強化和重復(fù)“失敗是成功之母”的道理，缺乏對主題的深化與挖掘，難以撥動學(xué)生的心弦。

3　結(jié)　論

本文針對高分辨率遙感影像多利用中、低層次特征，難以有效表達場景語義信息的問題，提出了一種聯(lián)合顯著性和多層卷積神經(jīng)網(wǎng)絡(luò)的分類算法。通過顯著性采樣，可以獲取能夠表達影像信息的有意義的關(guān)鍵目標，減弱了其他無關(guān)或次要目標的影響，降低了數(shù)據(jù)冗余；卷積神經(jīng)網(wǎng)絡(luò)具有權(quán)值共享，結(jié)構(gòu)簡單、訓(xùn)練參數(shù)少及適應(yīng)性強等特點，能夠逐層學(xué)習(xí)，獲取高層次的特征，更好地表達場景信息。兩類高分影像的結(jié)果表明，該方法能夠有效提高分類精度，但是本文方法依然存在不足，例如，卷積神經(jīng)網(wǎng)絡(luò)的層次結(jié)構(gòu)和參數(shù)設(shè)置是否最優(yōu)依然是值得研究的問題；此外，對于只有細微差異的類別來說，像不同密度的住宅區(qū)，顯著性算法也較難區(qū)分它們。以后的工作可以借鑒已有的網(wǎng)絡(luò)模型結(jié)構(gòu)進一步研究，以期得到更高的分類精度。

[1]CHERIYADAT A M. Unsupervised Feature Learning for Aerial Scene Classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(1): 439-451.

[2]VAILAYA A, FIGUEIREDO M A T, JAIN A K, et al. Image Classification for Content-based Indexing[J]. IEEE Transactions on Image Processing, 2001, 10(1): 117-130.

[3]SERRANO N, SAVAKIS A E, LUO Jiebo. Improved Scene Classification Using Efficient Low-level Features and Semantic Cues[J]. Pattern Recognition, 2004, 37(9): 1773-1784.

[4]OLIVA A, TORRALBA A. Modeling the Shape of the Scene: A Holistic Representation of the Spatial Envelope[J]. International Journal of Computer Vision, 2001, 42(3): 145-175.

[5]SIVIC J, ZISSERMAN A. Video Google: A Text Retrieval Approach to Object Matching in Videos[C]∥Proceedings of the Ninth IEEE International Conference on Computer Vision. Nice, France: IEEE, 2003, 2: 1470-1477.

[6]LAZEBNIK S, SCHMID C, PONCE J. Beyond Bags of Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories[C]∥Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York, NY: IEEE, 2006: 2169-2178.

[7]YANG Yi, NEWSAM S. Spatial Pyramid Co-occurrence for Image Classification[C]∥Proceedings of IEEE International Conference on Computer Vision. Barcelona: IEEE, 2011: 1465-1472.

[8]BLEI D M, NG A Y, JORDAN M I. Latent Dirichlet Allocation[J]. The Journal of Machine Learning Research, 2003, 3: 993-1022.

[9]LIENOU M, MAITRE H, DATCU M. Semantic Annotation of Satellite Images Using Latent Dirichlet Allocation[J]. IEEE Geoscience and Remote Sensing Letters, 2010, 7(1): 28-32.

[11]BOSCH A, ZISSERMAN A, MUOZ X. Scene Classification Using a Hybrid Generative/Discriminative Approach[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(4): 712-727.

[12]ZHANG Fan, DU Bo, ZHANG Lianpei. Saliency-guided Unsupervised Feature Learning for Scene Classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(4): 2175-2184.

[13]趙爽. 基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像分類方法研究[D]. 北京: 中國地質(zhì)大學(xué)(北京), 2015.

ZHAO Shuang. Remote Sensing Image Classification Method Based on Convolutional Neural Networks[D]. Beijing: China University of Geosciences (Beijing), 2015.

[14]LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based Learning Applied to Document Recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[15]解文杰. 基于中層語義表示的圖像場景分類研究[D]. 北京: 北京交通大學(xué), 2011.

XIE Wenjie. Research on Middle Semantic Representation Based Image Scene Classification[D]. Beijing: Beijing Jiaotong University, 2011.

[16]CHENG Dongyang, SUN Tanfeng, JIANG Xinghao, et al. Unsupervised Feature Learning Using Markov Deep Belief Network[C]∥Proceedings of the 2013 20th IEEE International Conference on Image Processing. Melbourne, VIC: IEEE, 2013: 260-264.

[17]溫奇, 李苓苓, 劉慶杰, 等. 基于視覺顯著性和圖分割的高分辨率遙感影像中人工目標區(qū)域提取[J]. 測繪學(xué)報, 2013, 42(6): 831-837.

WEN Qi, LI Lingling, LIU Qingjie, et al. A Man-made Object Area Extraction Method Based on Visual Saliency Detection and Graph-cut Segmentation for High Resolution Remote Sensing Imagery[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(6): 831-837.

[18]MARGOLIN R, TAL A, ZELNIK-MANOR L. What Makesa Patch Distinct?[C]∥Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR: IEEE, 2013: 1139-1146.

[19]BENGIO Y, COURVILLE A, VINCENT P. Representation Learning: A Review and New Perspectives[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8): 1798-1828.

[20]余凱, 賈磊, 陳雨強, 等. 深度學(xué)習(xí)的昨天、今天和明天[J]. 計算機研究與發(fā)展, 2013, 50(9): 1799-1804.

YU Kai, JIA Lei, CHEN Yuqiang, et al. Deep Learning: Yesterday, Today, and Tomorrow[J]. Journal of Computer Research and Development, 2013, 50(9): 1799-1804.

[21]MAAS A L, HANNUN A Y, NG A Y. Rectifier Nonlinearities Improve Neural Network Acoustic Models[C]∥Proceedings of ICML Workshop on Deep Learning for Audio, Speech, and Language. [S.l.]: ICML, 2013: 1.

[22]SCHMIDT M, VAN DEN BERG E, FRIEDLANDER M, et al. Optimizing Costly Functions with Simple Constraints: A Limited-memory Projected Quasi-Newton Algorithm[C]∥Proceedings of the 12th International Conference on Artificial Intelligence and Statistics. Florida: ACM, 2009: 456-463.

[23]YANG Y, NEWSAM S. Bag-of-visual-words and Spatial Extensions for Land-use Classification[C]∥Proceedings of the 18th SIGSPATIAL International Conference on Advances in Geographic Information Systems. San Jose: ACM, 2010: 270-279.

(責(zé)任編輯：陳品馨)

Combined Saliency with Multi-Convolutional Neural Network for High Resolution Remote Sensing Scene Classification

HE Xiaofei,ZOU Zhengrong,TAO Chao,ZHANG Jiaxing

School of Geosciences and Info-Physics, Central South University, Changsha 410083, China

The scene information existing in high resolution remote sensing images is important for image interpretation and understanding of the real world. Traditional scene classification methods often use middle and low-level artificial features, but high resolution images have rich information and complex scene configuration, which need high-level feature to express. A joint saliency and multi-convolutional neural network method is proposed in this paper. Firstly, we obtain meaningful patches that include dominant image information by saliency sampling. Secondly, these patches will be set as a sample input to the convolutional neural network for training, obtain feature expression on different levels. Finally, we embed the multi-layer features into the support vector machine (SVM) for image classification. Experiments using two high resolution image scene data show that saliency sampling can effectively get the main target, weaken the impact of other unrelated targets, and reduce data redundancy; convolutional neural network can automatically learn the high-level feature, compared to existing methods, the proposed method can effectively improve the classification accuracy.

convolutional neural network; saliency detection; high resolution remote sensing image; scene classification

The National Natural Science Foundation of China (Nos.41301453；51479215); The National Basic Research Program of China (973 Program) (No.2012CB719903); Research Fund for the Doctoral Program of Higher Education (No. 20130162120027)

HE Xiaofei(1991—), male, master, majors in high resolution remote sensing image classification.

TAO Chao

何小飛，鄒崢嶸，陶超，等.聯(lián)合顯著性和多層卷積神經(jīng)網(wǎng)絡(luò)的高分影像場景分類[J].測繪學(xué)報，2016,45(9)：1073-1080.

10.11947/j.AGCS.2016.20150612.

HE Xiaofei, ZOU Zhengrong, TAO Chao,et al.Combined Saliency with Multi-Convolutional Neural Network for High Resolution Remote Sensing Scene Classification[J]. Acta Geodaetica et Cartographica Sinica,2016,45(9):1073-1080. DOI:10.11947/j.AGCS.2016.20150612.

由表1，表2和圖2可知，隨著翁結(jié)水庫壩下南碧河干流沿程工農(nóng)業(yè)及生活供水量的不斷增加，相應(yīng)的退水污染物入河量不斷增加，南碧河干流水質(zhì)從上游至下游是逐漸變差的過程，污染物濃度增值在逐漸擴大，至灌區(qū)末梢小黑江匯口前斷面，水質(zhì)最差，相比工程建成前的COD、NH3-N濃度的增幅也最大。但工程建成后，南碧河干流水質(zhì)總體均能滿足水環(huán)境功能區(qū)劃要求的地表水Ⅳ類目標，說明翁結(jié)水庫下泄的水量過程能夠滿足下游河道水環(huán)境目標的要求。

P237

A

1001-1595(2016)09-1073-08

國家自然科學(xué)基金(41301453；51479215)；國家973計劃(2012CB719903)；教育部博士點基金(20130162120027)

2015-12-04

何小飛(1991—)，男，碩士，研究方向為高分遙感影像分類。

E-mail： hxf0321@qq.com

陶超

E-mail： kingtaochao@126.com

修回日期： 2016-07-01