張博涵,徐曉敏

(北京信息科技大學(xué) 信息管理學(xué)院,北京 100192)

0 引言

地物分類是指通過(guò)提取遙感影像中豐富且復(fù)雜的地表數(shù)據(jù)信息特征,依據(jù)特征信息識(shí)別地物目標(biāo)的方法。目前遙感圖像地物分類技術(shù)常被用于對(duì)自然環(huán)境的監(jiān)測(cè)[1],包括農(nóng)業(yè)勘測(cè)、災(zāi)害偵察和地質(zhì)查礦等諸多領(lǐng)域,可以快速準(zhǔn)確地識(shí)別出伐木、焚燒、違規(guī)開礦等對(duì)環(huán)境的破壞情況。

近年來(lái),遙感影像地物分類的相關(guān)研究在不斷深入。如楊成財(cái)?shù)萚2]提出了基于支持向量機(jī)與能量最小化的極化合成孔徑雷達(dá)(polarimetric synthetic aperture radar,PolSAR)圖像地物分類方法。王瑞等[3]改進(jìn)了k均值聚類算法,并采用點(diǎn)云表面粗糙度進(jìn)行聚類分析,實(shí)現(xiàn)地物精確分類。Sun等[4]提出基于元標(biāo)簽學(xué)習(xí)和特征選擇的多標(biāo)簽分類方法。Koda等[5]在多標(biāo)簽任務(wù)中引入空間結(jié)構(gòu)支持向量機(jī),達(dá)到關(guān)注圖像區(qū)域與周邊信息間聯(lián)系的目的。Zeggada等[6]提出利用條件隨機(jī)場(chǎng)對(duì)既定區(qū)域上下文信息聯(lián)系建模的方法,并且還提出了通過(guò)設(shè)定閾值來(lái)篩選預(yù)測(cè)所需標(biāo)簽的方法。Stivaktakis等[7]提出數(shù)據(jù)增強(qiáng)動(dòng)態(tài)法,用以彌補(bǔ)數(shù)據(jù)集樣本數(shù)量不足的問(wèn)題。Shao等[8]采用多種傳統(tǒng)機(jī)器學(xué)習(xí)與深度學(xué)習(xí)圖像檢索分類法進(jìn)行實(shí)驗(yàn),得出在遙感影像分類中多標(biāo)簽分類比單標(biāo)簽分類更具優(yōu)勢(shì)的結(jié)論。Sumbul等[9]提出了基于長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(long short term memory,LSTM)圖像空間上下文信息建模的多標(biāo)簽識(shí)別法。Hua等[10]提出一種關(guān)系推理模塊,該模塊可對(duì)標(biāo)簽間的對(duì)應(yīng)關(guān)系做出推理和預(yù)測(cè)。

本文利用遷移學(xué)習(xí)方法,先訓(xùn)練不同深度的殘差網(wǎng)絡(luò)(residual network,ResNet)[11]預(yù)訓(xùn)練模型,再通過(guò)微調(diào)(fine-tuning)方法來(lái)對(duì)模型進(jìn)一步訓(xùn)練,根據(jù)評(píng)價(jià)指標(biāo)選出最優(yōu)模型,最終實(shí)現(xiàn)對(duì)遙感影像中人為破壞區(qū)域的自動(dòng)精確識(shí)別。

1 模型構(gòu)建

1.1 模型選擇

本文采用的ResNet是目前廣泛應(yīng)用的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)[12]結(jié)構(gòu)之一。ResNet巧妙地引入了捷徑連接(shortcut connection),構(gòu)成了殘差塊結(jié)構(gòu),解決了網(wǎng)絡(luò)層數(shù)加深,出現(xiàn)梯度下降,導(dǎo)致錯(cuò)誤率升高的問(wèn)題。

假設(shè)輸入源圖像樣本為x,輸出最優(yōu)解映射為H(x),H(x)與輸入值x的差值,稱為殘差(residual),殘差結(jié)構(gòu)如圖1所示。其中:

F(x)=H(x)-x

(1)

圖1 殘差塊結(jié)構(gòu)Fig.1 Residual block structure

殘差塊的輸入與輸出按式(2)、(3)計(jì)算:

yl=h(xl)+F(xl,ωl)

(2)

xl+1=f(yl)

(3)

式中:xl、yl分別為第l個(gè)殘差單元的輸入與輸出;h(xl)為恒等映射;F(xl,ωl)為殘差;ωl為權(quán)值矩陣,是第l個(gè)殘差單元的系列權(quán)重;f為激活函數(shù)。

為簡(jiǎn)化問(wèn)題,可以忽略激活函數(shù),令:

xl+1=f(yl)=yl

(4)

根據(jù)式(1)、(2)可知,殘差塊可以表示為

xl+1=xl+F(xl,ωl)

(5)

通過(guò)層層遞歸得到深層L網(wǎng)絡(luò)與淺層l網(wǎng)絡(luò)的關(guān)系,對(duì)于任意L:

(6)

由導(dǎo)數(shù)鏈?zhǔn)椒▌t可知,反向傳播梯度可表示為

(7)

本文將采用目前應(yīng)用范圍較廣的5種不同深度的殘差網(wǎng)絡(luò):ResNet18、ResNet34、ResNet50、ResNet101、ResNet152,對(duì)比分析5種網(wǎng)絡(luò)模型對(duì)遙感地物影像識(shí)別效果的影響。

1.2 深度遷移學(xué)習(xí)

遷移學(xué)習(xí)是深度學(xué)習(xí)領(lǐng)域[14]的重要研究方向之一,指的是將源域的知識(shí)遷移到目標(biāo)域的方法。本文采用了深度遷移學(xué)習(xí),即基于深度學(xué)習(xí)的遷移學(xué)習(xí)方法。本文基于模型進(jìn)行遷移學(xué)習(xí)[14],將源域的ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的ResNet模型參數(shù),遷移至目標(biāo)域的衛(wèi)星遙感地物影像數(shù)據(jù)集上。其中,ImageNet數(shù)據(jù)集有1 400萬(wàn)張圖像,1 000個(gè)類別,在該數(shù)據(jù)集上訓(xùn)練得到的權(quán)重信息能夠涵蓋廣泛的基本特征,具有較好的遷移性。本文在保證模型分類精度的前提下,通過(guò)深度遷移學(xué)習(xí)達(dá)到節(jié)約模型訓(xùn)練時(shí)間,增強(qiáng)模型的泛化能力的效果的目的。此外,本文還通過(guò)微調(diào)的方法對(duì)模型進(jìn)一步訓(xùn)練[15],進(jìn)而優(yōu)化模型識(shí)別效果,使模型更加適合于多標(biāo)簽遙感影像地物分類問(wèn)題,獲得穩(wěn)定、高精度的深度網(wǎng)絡(luò)模型。

1.3 多標(biāo)簽分類算法

本文采用Sigmoid替換ResNet模型分類層中原有的Softmax,有效改善了Softmax致使多標(biāo)簽分類損失函數(shù)難以收斂的問(wèn)題。Sigmoid將多標(biāo)簽分類問(wèn)題轉(zhuǎn)化為多個(gè)獨(dú)立二分類問(wèn)題,使得每類標(biāo)簽的輸出概率轉(zhuǎn)換到[0,1]之間。當(dāng)一個(gè)或多個(gè)標(biāo)簽類別的輸出概率大于等于某一閾值時(shí),模型就會(huì)返回該標(biāo)簽類別并輸出。本文先將閾值設(shè)為0,每次增加0.05的值進(jìn)行訓(xùn)練和驗(yàn)證,再對(duì)比不同閾值下的驗(yàn)證集精度,最終選取精度最高的閾值為最佳閾值。損失函數(shù)設(shè)為Sigmoid交叉熵,用于衡量模型準(zhǔn)確性,方法為計(jì)算每個(gè)二分類的交叉熵,再累加求和。

(8)

式中:L為交叉熵;K為標(biāo)簽類別數(shù)量;yk為第k個(gè)標(biāo)簽的真實(shí)概率;y′k為第k個(gè)標(biāo)簽的預(yù)測(cè)概率。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

本文采用planet亞馬遜多標(biāo)簽遙感圖像數(shù)據(jù)集:每張圖像包含單個(gè)或多個(gè)標(biāo)簽,像素為256×256,包括原始森林(primary)、風(fēng)倒木(blow_down)、耕田(cultivation)、常規(guī)礦區(qū)(conventional_mine)、陰霾(haze)、居民區(qū)(habitation)、選擇性伐木(selective_logging)、刀耕火種(slash_burn)、湖泊河流(water)、農(nóng)田(agriculture)、晴天(clear)、多云天氣(cloudy)、部分多云天氣(partly_cloudy)、裸地(bare_ground)、小規(guī)模人工采礦區(qū)(artisinal_mine)、花開(blooming)、道路(road)17類標(biāo)簽。本文以該數(shù)據(jù)集24 000幅遙感圖像及其對(duì)應(yīng)標(biāo)簽作為實(shí)驗(yàn)原始數(shù)據(jù),按照4∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。在不改變訓(xùn)練集數(shù)量的情況下對(duì)其進(jìn)行數(shù)據(jù)增強(qiáng)(data augmentation),通過(guò)隨機(jī)角度旋轉(zhuǎn)、變焦、改變亮度、歸一化操作,降低后續(xù)模型訓(xùn)練時(shí)過(guò)擬合的風(fēng)險(xiǎn)。

本文實(shí)驗(yàn)基于Kaggle遠(yuǎn)程虛擬機(jī)完成訓(xùn)練與測(cè)試,軟硬件參數(shù)如表1所示。

表1 硬件設(shè)置與軟件版本Table 1 Hardware settings and software versions

2.2 評(píng)價(jià)指標(biāo)

本文采用精確率與F1值衡量遙感影像多標(biāo)簽分類算法性能。

精確率按式(9)計(jì)算:

(9)

式中:nTP為將正標(biāo)簽正確歸類正標(biāo)簽的數(shù)目;nFP為負(fù)標(biāo)簽錯(cuò)誤歸類正標(biāo)簽的數(shù)目。

F1值按式(10)計(jì)算:

(10)

式中:R為召回率。

(11)

式中:nFN為將正標(biāo)簽錯(cuò)誤歸為負(fù)標(biāo)簽的數(shù)目。

2.3 實(shí)驗(yàn)結(jié)果與分析

本文的模型訓(xùn)練過(guò)程分為2個(gè)階段:1)遷移學(xué)習(xí)階段。首先引入ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的ResNet模型參數(shù)進(jìn)行初始化,凍結(jié)網(wǎng)絡(luò)除全連接層外所有層,采用小批量隨機(jī)梯度下降法(mini-batch stochastic gradient descent)更新模型參數(shù)。梯度最小值為0.05,設(shè)為第一階段的學(xué)習(xí)率,訓(xùn)練輪數(shù)設(shè)為5,保存最優(yōu)模型參數(shù)。2)微調(diào)階段。在上一階段最優(yōu)模型參數(shù)的基礎(chǔ)上,解凍模型除最后分類層以外所有的模型參數(shù),引入周期性學(xué)習(xí)率(cyclical learningrates)[16],動(dòng)態(tài)調(diào)整學(xué)習(xí)率數(shù)值,從而加速模型收斂,減少訓(xùn)練輪次。梯度最小值為0.000 1,設(shè)為第二階段的初始學(xué)習(xí)率,最大學(xué)習(xí)率設(shè)為第一階段學(xué)習(xí)率的1/10,即0.005,此為周期性學(xué)習(xí)率的經(jīng)驗(yàn)值。訓(xùn)練輪數(shù)設(shè)為10,同樣保存最優(yōu)模型參數(shù)。

圖2為5種ResNet模型的訓(xùn)練驗(yàn)證損失曲線,其中ResNet34的曲線最為平滑,訓(xùn)練損失與驗(yàn)證損失之間的差距較小,模型擬合效果較好。

不同深度的殘差網(wǎng)絡(luò)模型對(duì)應(yīng)的測(cè)試精確率和F1值如表2所示,測(cè)試效果最好的模型是ResNet34網(wǎng)絡(luò),其精確率與F1值高達(dá)96.02%與90.38%,ResNet34的地物分類效果最為突出。通過(guò)分析表2可知,模型分類評(píng)價(jià)指標(biāo)與網(wǎng)絡(luò)深度呈非線性關(guān)系,因此對(duì)于當(dāng)前遙感影像數(shù)據(jù)完成多標(biāo)簽分類任務(wù),不用追求過(guò)深的神經(jīng)網(wǎng)絡(luò),采用適宜、簡(jiǎn)單的網(wǎng)絡(luò)能夠起到節(jié)約計(jì)算資源的作用。而層數(shù)更深、參數(shù)量更大的殘差網(wǎng)絡(luò)則適用于標(biāo)簽類別更為均衡、豐富,樣本數(shù)量更龐大的數(shù)據(jù)集。

圖2 不同深度ResNet模型訓(xùn)練效果Fig.2 Training effect of ResNet models with different depth

表2 不同深度殘差網(wǎng)絡(luò)模型測(cè)試結(jié)果

2.4 交互界面系統(tǒng)

為了快速、直觀地監(jiān)測(cè)人類對(duì)自然環(huán)境的破壞情況,方便系統(tǒng)終端用戶使用,本文將Kaggle遠(yuǎn)程虛擬機(jī)上訓(xùn)練好的最優(yōu)模型導(dǎo)入至本地環(huán)境,再通過(guò)基于Python的GUI開發(fā)工具Tkinter設(shè)計(jì)交互界面系統(tǒng)。該系統(tǒng)的主要按鈕、窗口功能如下:

1)載入圖片按鈕:自由選取本地測(cè)試圖像。

2)圖樣、路徑窗口:顯示所選圖像及其路徑。

3)識(shí)別圖像標(biāo)簽按鈕:調(diào)用訓(xùn)練好的模型進(jìn)行識(shí)別。

4)標(biāo)簽文本框:顯示識(shí)別出的圖樣標(biāo)簽。

通過(guò)點(diǎn)擊載入圖片按鈕,可以在本地選擇需要測(cè)試的圖像,路徑窗口會(huì)顯示路徑信息,圖樣窗口會(huì)顯示所選圖像,再通過(guò)點(diǎn)擊圖像標(biāo)簽識(shí)別按鈕后,即可在標(biāo)簽文本框內(nèi)顯示標(biāo)簽內(nèi)容。其交互界面如圖3所示。

圖3 交互界面Fig.3 Interactive interface

3 結(jié)束語(yǔ)

本文將深度遷移學(xué)習(xí)方法引入多標(biāo)簽遙感圖像地物分類任務(wù)當(dāng)中,在保證精度的情況下大幅降低訓(xùn)練成本,并使模型快速收斂。本文基于深度遷移學(xué)習(xí)訓(xùn)練并微調(diào)不同深度的ResNet模型,發(fā)現(xiàn)ResNet34的預(yù)測(cè)效果最優(yōu),測(cè)試精確率達(dá)到96.02%,F1值達(dá)到90.38%,最后調(diào)用該最優(yōu)模型,設(shè)計(jì)面向用戶的交互界面系統(tǒng)。本研究能清晰地檢測(cè)出遙感影像中出現(xiàn)的人為破壞自然環(huán)境現(xiàn)象,如伐木、焚燒等。本研究切實(shí)符合和遵循了自然保護(hù)、可持續(xù)發(fā)展的新時(shí)代觀念,對(duì)于減少人為毀林伐木等行為有一定意義。