李英　宋麗娟

摘要：傳統(tǒng)圖像處理技術(shù)的分類算法由于受復(fù)雜背景干擾較大及其算法本身局限性的影響，已經(jīng)漸漸跟不上時(shí)代的步伐，無(wú)法滿足許多復(fù)雜的分類問(wèn)題。因此，本文提出了一種基于GoogLeNet模型的遙感圖像分類識(shí)別算法，利用NWPU-RESISC 45遙感影像數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，本文方法能夠達(dá)到90%的分類精度。

關(guān)鍵詞：GoogLeNet;圖像分類;遙感圖像

文獻(xiàn)標(biāo)識(shí)碼： A? ? 中圖分類號(hào)： TP391.4

中圖分類號(hào)：TP39? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）12-0004-03

Abstract：The classification algorithm of traditional image processing technology has been gradually unable to keep up with the pace of the times due to the large interference of complex background and the limitation of the algorithm itself， and cannot meet many complex classification problems. Therefore， this paper proposes a remote sensing image classification and recognition algorithm based on the GoogLeNet model， using the NWPU-RESISC 45 remote sensing image data set for experiments， the method in this paper can achieve 90% classification accuracy.

Key words： GoogLeNet; Image Classification; Remote Sensing

引言

在大數(shù)據(jù)的浪潮下遙感影像技術(shù)的發(fā)展也蒸蒸日上。目前遙感影像的研究仍然集中在場(chǎng)景分類[1]，目標(biāo)識(shí)別[2]和分割等領(lǐng)域，而遙感影像的相關(guān)研究只是簡(jiǎn)單地對(duì)圖像中的對(duì)象進(jìn)行識(shí)別分類，而沒(méi)有深層次挖掘影像的屬性及屬性之間的關(guān)聯(lián)。其次，如果分類目標(biāo)不同，模型的網(wǎng)絡(luò)結(jié)構(gòu)和各種參數(shù)就不能通用，可以有針對(duì)性地調(diào)整和修改網(wǎng)絡(luò)模型，使其適用于不同的場(chǎng)景。本文運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)模型并對(duì)其進(jìn)行調(diào)參實(shí)現(xiàn)了遙感的識(shí)別與分類，且取得了可觀的效果。

1 卷積神經(jīng)網(wǎng)絡(luò)

1.1 卷積神經(jīng)網(wǎng)絡(luò)概述

卷積神經(jīng)網(wǎng)絡(luò)（（Convolutional Neural Networks，CNN）[3]是由視覺(jué)神經(jīng)機(jī)制觸發(fā)的多層次神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的每一層都由單個(gè)獨(dú)立的神經(jīng)元構(gòu)成。卷積神經(jīng)網(wǎng)絡(luò)是無(wú)監(jiān)督的學(xué)習(xí)模型[4]。卷積神經(jīng)網(wǎng)絡(luò)與其他神經(jīng)網(wǎng)絡(luò)最大的不同在于，卷積操作和采樣操作是基于人工神經(jīng)網(wǎng)絡(luò)[5]引入的。這使得卷積神經(jīng)網(wǎng)絡(luò)提取的特征具有一定程度的空間不變性。在圖像識(shí)別和分類領(lǐng)域被廣泛使用。

1.2 卷積神經(jīng)網(wǎng)絡(luò)原理

卷積神經(jīng)網(wǎng)絡(luò)包含多個(gè)網(wǎng)絡(luò)層數(shù)[6-8]，這些網(wǎng)絡(luò)層大致分為卷積層，池層和全連接層，每個(gè)網(wǎng)絡(luò)層映射著不同類型的數(shù)據(jù)線性關(guān)系。 將卷積層和池層合并以組合一些卷積組，并為每一層提取特征，最后，通過(guò)多個(gè)所有連接層將其連接以執(zhí)行分類工作。 盡管卷積神經(jīng)網(wǎng)絡(luò)具有各種模型，但是其基本結(jié)構(gòu)幾乎相同，以下為卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，如圖1所示。

1.3 卷積神經(jīng)網(wǎng)絡(luò)模型

CNN卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展得益于GoogLeNet[9]等不同結(jié)構(gòu)網(wǎng)絡(luò)的改進(jìn)。GoogLeNet網(wǎng)絡(luò)結(jié)構(gòu)中的子模型Inception Module是作為本文使用的基準(zhǔn)模型。

1.3.1 先驗(yàn) GoogLeNet

在2014年ImageNet比賽中脫穎而出的是由知名的互聯(lián)網(wǎng)巨頭公司Google設(shè)計(jì)的劃時(shí)代意義的GoogLeNet模型，其擁有卓越的性能和豐富的結(jié)構(gòu)參考設(shè)計(jì)意義。GoogLeNet具有創(chuàng)新的意義，其開(kāi)創(chuàng)性地使用了不同于以往線性模型的框架，并行的分支結(jié)構(gòu)標(biāo)新立異，并解決傳統(tǒng)網(wǎng)絡(luò)特征提取不足的情況。

Google在這一項(xiàng)研究中表明，增加模型的深度（層）或?qū)挾龋▽?、核或神?jīng)元）可以使高質(zhì)量的模型更安全。啟發(fā)我們帶來(lái)一個(gè)權(quán)衡數(shù)據(jù)量與網(wǎng)絡(luò)復(fù)雜度的問(wèn)題。其中對(duì)于小樣本問(wèn)題或者數(shù)據(jù)集比較小的情況下，網(wǎng)絡(luò)存在過(guò)擬合問(wèn)題。網(wǎng)絡(luò)規(guī)模越大，計(jì)算復(fù)雜度越高，在資源受限的實(shí)驗(yàn)環(huán)境中應(yīng)用就越困難;網(wǎng)絡(luò)越深，梯度就越容易消失，接踵而來(lái)的是計(jì)算量增加的問(wèn)題。

GoogLeNet使用了多種數(shù)據(jù)增強(qiáng)的方式，引入了BN正則化技術(shù)，使用一個(gè)此技術(shù)可以減少網(wǎng)絡(luò)冗余的結(jié)構(gòu)，充分利用密集矩陣的高計(jì)算性能的出發(fā)點(diǎn)，GoogLeNet提出了名為Inception的模塊化結(jié)構(gòu)來(lái)實(shí)現(xiàn)此目的，用了Inception Module即初始模塊之后整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的寬度和深度都可擴(kuò)大，能夠使性能提升2-3倍。

初始模塊其概念是網(wǎng)絡(luò)結(jié)構(gòu)中嵌套的一個(gè)網(wǎng)絡(luò)，它是具有靈活的變形和即插即用的特征，即原始節(jié)點(diǎn)是一種子網(wǎng)絡(luò)。這種技術(shù)是將傳統(tǒng)的卷積操作保持在低層次網(wǎng)絡(luò)而不發(fā)生變化，并且只使用高層次網(wǎng)絡(luò)的變化模型。通過(guò)精心設(shè)計(jì)模塊組合可以來(lái)保持深度和寬度的合理科學(xué)性。該模型在設(shè)計(jì)中主要有兩種特性：首先它使用1×1卷積核，這個(gè)操作和靈活改變特征維度增加或減少，其次是同時(shí)采集一組不同尺寸的feature map，通過(guò)融合不同尺寸的特征再輸入到下一個(gè)模塊中。

為省去patch對(duì)齊的問(wèn)題，起始模塊的卷積核的大小限制為1 x 1、3 x 3、5 x5。由于卷積核在起始模塊中相互堆疊，因此相關(guān)統(tǒng)計(jì)信息的輸出是不固定的。為了在上層提取更多的抽象特征，有必要減少空間聚集。因此可通過(guò)在上層添加起始模塊中的3×3，5×5卷積的方法以獲得大量的特征數(shù)。

初始模塊的基本結(jié)構(gòu)如圖2所示，它基本包含1×1卷積、3 x 3卷積，5 x 5卷積、3×3四個(gè)最大池化，在通道上將最終運(yùn)算結(jié)果進(jìn)行組合排序。 其基本思想是通過(guò)多個(gè)卷積核在不同比例的圖像上提取信息，最后將它們?nèi)诤弦垣@得更好的圖像特征。

在上面的初始模塊中，由于池化操作，5×5尺寸的卷積核增加了卷積核的數(shù)量并增加了計(jì)算開(kāi)銷，同時(shí)池化層輸出和卷積層輸出的集成也增加了輸出值的數(shù)量，最重要的是的稀疏結(jié)構(gòu)優(yōu)化被忽略了，導(dǎo)致非常低效的計(jì)算爆炸。 因此引出如圖3的經(jīng)過(guò)降維的Inception模型。

如圖3所示，新改進(jìn)的模型共有4個(gè)分支，分別使用1×1卷積核、1×1卷積和3×3卷積、1×1卷積和5×5卷積和3×3池化和1×1卷積，最終將各個(gè)分支所提取的特征使用連接操作合并，并作為下一個(gè)模塊的輸入。

在目標(biāo)檢測(cè)任務(wù)中我們需要保障真實(shí)目標(biāo)與先驗(yàn)框的對(duì)應(yīng)問(wèn)題。我們規(guī)定交并比（IoU）是量化真實(shí)框與預(yù)測(cè)框的交互比率，它是目標(biāo)檢測(cè)重要的度量方式。計(jì)算IoU主要考慮真實(shí)框與預(yù)測(cè)框的相對(duì)位置，使用數(shù)學(xué)的方法計(jì)算兩個(gè)集合重合部分交集。根據(jù)交互比例的閾值（這個(gè)參數(shù)可以根據(jù)任務(wù)人為調(diào)整，通常情況下使用0.5作為基準(zhǔn)），最終確定匹配的情況。我們規(guī)定匹配成功的樣本為正樣本;反之成為負(fù)樣本。

2基于GoogLeNet網(wǎng)絡(luò)的遙感影像分類實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)主要是以圖像處理技術(shù)和相關(guān)理論為基礎(chǔ)，利用Imagelabel工具標(biāo)注NWPU-RESISC 45遙感影像數(shù)據(jù)集。圖像固定為224×224像素，但具有不同的分辨率，如圖4為部分?jǐn)?shù)據(jù)集。運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)能夠快速、準(zhǔn)確和高效地實(shí)現(xiàn)數(shù)據(jù)集中圖像的場(chǎng)景分類。

2.1模型訓(xùn)練

對(duì)于網(wǎng)絡(luò)模型中的不同參數(shù)，如訓(xùn)練步長(zhǎng)、迭代次數(shù)、學(xué)習(xí)率等進(jìn)行調(diào)整，都會(huì)對(duì)模型的訓(xùn)練結(jié)果產(chǎn)生影響，適當(dāng)?shù)恼{(diào)整參數(shù)可以使模型訓(xùn)練的效率及準(zhǔn)確率都有所提升。

本設(shè)計(jì)分別對(duì)GoogleNet模型訓(xùn)練迭代15000次，模型識(shí)別準(zhǔn)確率能夠較快地進(jìn)行收斂，迭代前2000次時(shí)識(shí)別率在0.2—0.3之間徘徊，但超過(guò)2000次以后，識(shí)別準(zhǔn)確率逐漸上漲，損失函數(shù)的Loss值也慢慢減小，最終迭代到15000時(shí)準(zhǔn)確率已能達(dá)到1。如圖5—圖7為GoogleNet網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程。

訓(xùn)練模型時(shí)若Loss值基本不再下降時(shí)，可以對(duì)學(xué)習(xí)率進(jìn)行調(diào)整，將其調(diào)整為更小的值繼續(xù)進(jìn)行訓(xùn)練，使得模型的學(xué)習(xí)精度更高，整個(gè)模型最后的識(shí)別準(zhǔn)確率也會(huì)更高。

2.3 實(shí)驗(yàn)結(jié)果分析

在本實(shí)驗(yàn)中，本團(tuán)隊(duì)使用softmax回歸在卷積神經(jīng)網(wǎng)絡(luò)的輸出層中計(jì)算歸一化預(yù)測(cè)數(shù)和類別標(biāo)簽的交叉熵，并以交叉熵?fù)p失和總權(quán)重衰減項(xiàng)之和來(lái)獲得該分類模型的目標(biāo)函數(shù)對(duì)影像數(shù)據(jù)集進(jìn)行分類并識(shí)別。

如圖8為GoogleNet網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)集圖像進(jìn)行識(shí)別的結(jié)果。

經(jīng)實(shí)驗(yàn)，基于Matlab的傳統(tǒng)圖像處理方法共識(shí)別正確1500張圖像，識(shí)別率大概為75%左右?；诰矸e神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法中，GoogleNet網(wǎng)絡(luò)模型識(shí)別正確1900張圖像，其識(shí)別率都可達(dá)到90%以上。

3 結(jié)論

目前雖然有很多種不同的卷積神經(jīng)網(wǎng)絡(luò)模型可供我們靈活使用，也都能解決相應(yīng)的問(wèn)題，但由于其本身較為復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，導(dǎo)致模型訓(xùn)練的時(shí)間偏長(zhǎng)，這使得整體的計(jì)算成本在實(shí)際應(yīng)用中變得較高。而且，在訓(xùn)練模型時(shí)對(duì)圖像數(shù)據(jù)集的需求量較大，只有用足夠多的圖像對(duì)模型進(jìn)行訓(xùn)練，才能得到較好的分類模型。其次，對(duì)于不同的分類目標(biāo)，模型的網(wǎng)絡(luò)結(jié)構(gòu)及各個(gè)參數(shù)不能通用，必須有針對(duì)性地對(duì)其進(jìn)行調(diào)整和修改，才能使網(wǎng)絡(luò)模型在不同的場(chǎng)景下得以應(yīng)用。

本文雖然已經(jīng)成功的運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)了遙感的識(shí)別分類，且效果良好，但在實(shí)驗(yàn)過(guò)程中，仍需對(duì)模型訓(xùn)練速度的優(yōu)化以及模型參數(shù)的設(shè)置與調(diào)整不斷地進(jìn)行改進(jìn)與完善。

參考文獻(xiàn)：

[1] Lu X Q，Zheng X T，Li X L.Latent semantic minimal hashing for image retrieval[J].IEEE Transactions on Image Processing，2017，26（1）：355-368.

[2] Cheng G，Han J W，Lu X Q.Remote sensing image scene classification：benchmark and state of the art[J].Proceedings of the IEEE，2017，105（10）：1865-1883.

[3] Coudray N，Ocampo P S，Sakellaropoulos T，et al.Classification and mutation prediction from non-small cell lung cancer histopathology images using deep learning[J].Nature Medicine，2018，24（10）：1559-1567.

[4] Deng L，Abdel-Hamid O，Yu D.A deep convolutional neural network using heterogeneous pooling for trading acoustic invariance with phonetic confusion[C]//2013 IEEE International Conference on Acoustics，Speech and Signal Processing.May 26-31，2013，Vancouver，BC，Canada.IEEE，2013：6669-6673.

[5] 王志明.數(shù)字圖像處理與分析[M].北京：清華大學(xué)出版社，2012：184-204.

[6] Yang J C，Yu K，Gong Y H，et al.Linear spatial pyramid matching using sparse coding for image classification[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition.June 20-25，2009，Miami，F(xiàn)L，USA.IEEE，2009：1794-1801.

[7] Han J W，Zhang D W，Cheng G，et al.Object detection in optical remote sensing images based on weakly supervised learning and high-level feature learning[J].IEEE Transactions on Geoscience and Remote Sensing，2015，53（6）：3325-3337.

[8] Zheng X T，Yuan Y，Lu X Q.A target detection method for hyperspectral image based on mixture noise model[J].Neurocomputing，2016，216：331-341.

[9] Cheng G，Han J W，Guo L，et al.Effective and efficient midlevel visual elements-oriented land-use classification using VHR remote sensing images[J].IEEE Transactions on Geoscience and Remote Sensing，2015，53（8）：4238-4249.

【通聯(lián)編輯：唐一東】