張 戩，高 雅

（江蘇省測繪研究所，江蘇南京210013）

0 引言

地表覆蓋變化檢測是目前遙感研究領(lǐng)域的熱點(diǎn)之一，在災(zāi)害監(jiān)測、城市變遷、國土規(guī)劃、自然資源等領(lǐng)域有廣泛的應(yīng)用。地表覆蓋變化檢測指利用多時(shí)相獲取的覆蓋同一地表區(qū)域的遙感影像及其他輔助數(shù)據(jù)來確定和分析地表變化。變化檢測的目的是提取對(duì)比圖像明顯變化區(qū)域，并生成變化后的圖像。

近10年來，我國對(duì)地觀測基礎(chǔ)設(shè)施建設(shè)取得突破性進(jìn)展，發(fā)射了資源、高分等一系列遙感衛(wèi)星，大幅提高了對(duì)山、水、林、田、湖、草等自然資源全要素、全覆蓋、全天候調(diào)查監(jiān)測能力。盡管高分辨率遙感影像數(shù)據(jù)已經(jīng)得到了自然資源主管部門的高度重視和廣泛應(yīng)用，但是當(dāng)前的解譯方法仍存在局限，主要以人工目視解譯或半自動(dòng)計(jì)算機(jī)解譯為主。人工解譯精度可靠，但要耗費(fèi)大量時(shí)間和人力；半自動(dòng)的計(jì)算機(jī)解譯效率較人工解譯顯著提高，但解譯模型的適用范圍有限，需要根據(jù)具體情況選擇適用的地表特征，設(shè)計(jì)恰當(dāng)?shù)慕庾g規(guī)則，這一過程需要具備一定的知識(shí)經(jīng)驗(yàn)，一般要行業(yè)專家來完成，無法推廣普及。

在變化檢測方面，目前仍沒有形成通用成熟的方法。在已有的遙感影像變化檢測方法中，影像配準(zhǔn)與特征提取的好壞是影像變化檢測結(jié)果的關(guān)鍵，絕大多數(shù)變化檢測模型都對(duì)圖像的配準(zhǔn)有很高要求。但由于不同衛(wèi)星傳感器的差異以及多時(shí)相遙感影像成像條件的差別，即使在精確配準(zhǔn)后，誤差也難以消除。這導(dǎo)致在不同高分衛(wèi)星影像間使用傳統(tǒng)影像變化檢測方法時(shí)，影像對(duì)比區(qū)域不一致，產(chǎn)生許多偽變化區(qū)域。所以大多變化檢測方法都是利用同一傳感器的相同分辨率影像，大大制約了變化監(jiān)測的時(shí)效性。

深度學(xué)習(xí)是一種解決方案，為了讓計(jì)算機(jī)從經(jīng)驗(yàn)中學(xué)習(xí)，并通過層次化概念體系來理解世界，其中每個(gè)概念通過與較簡單概念之間的聯(lián)系來定義。讓計(jì)算機(jī)通過經(jīng)驗(yàn)獲取知識(shí)，就不需要人類來形式化地列舉計(jì)算機(jī)需要的所有知識(shí)。層次化的概念讓計(jì)算機(jī)構(gòu)建較簡單的概念來學(xué)習(xí)復(fù)雜概念［1］。近年來，以深度學(xué)習(xí)為代表的人工智能技術(shù)快速發(fā)展，目前已經(jīng)在圖像分類、目標(biāo)檢測、語義分割、人臉識(shí)別、語音識(shí)別、視頻分類和自然語言處理等多個(gè)領(lǐng)域成功運(yùn)用。近年來圖像處理方面的研究大多集中于卷積神經(jīng)網(wǎng)絡(luò)［2］，并發(fā)展了一系列卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模型。采用深度學(xué)習(xí)進(jìn)行影像解譯主要有以下幾個(gè)優(yōu)點(diǎn)，如圖1所示。

圖1 深度學(xué)習(xí)特點(diǎn)

（1）具有增量學(xué)習(xí)能力。目前主流的深度學(xué)習(xí)優(yōu)化方法往往利用基于小批量樣本的隨機(jī)梯度下降法，無須一次將所有樣本供給與模型進(jìn)行訓(xùn)練，通過增量迭代的方式令模型進(jìn)行學(xué)習(xí)，因此可以利用大量的歷史數(shù)據(jù)進(jìn)行訓(xùn)練。

（2）模型遷移能力強(qiáng)。深度學(xué)習(xí)在進(jìn)行具備小數(shù)據(jù)量的領(lǐng)域或任務(wù)時(shí)，可以基于相近領(lǐng)域或任務(wù)的大數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，采用小數(shù)據(jù)量的領(lǐng)域數(shù)據(jù)對(duì)于深度神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào)，從而實(shí)現(xiàn)不同領(lǐng)域或任務(wù)的遷移學(xué)習(xí)。

（3）無須人工設(shè)計(jì)特征。深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)的最大不同就在于，無須人工設(shè)計(jì)特征，由深度學(xué)習(xí)模型自動(dòng)提取并進(jìn)行訓(xùn)練，因此可以避免大量的特征工程工作以及人為設(shè)計(jì)對(duì)訓(xùn)練精度的影響。

本文基于深度學(xué)習(xí)的影像自動(dòng)解譯方法研究，以深度殘差全卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)模型架構(gòu)，構(gòu)建深度殘差全卷積神經(jīng)網(wǎng)絡(luò)遙感影像地表覆蓋分類框架，實(shí)現(xiàn)遙感影像地表覆蓋自動(dòng)化分類和典型地物要素提取。并在此基礎(chǔ)上利用訓(xùn)練后的變化監(jiān)測模型，對(duì)多期遙感影像進(jìn)行解譯，將解譯結(jié)果求差值再進(jìn)行后續(xù)處理，確定變化范圍，幫助發(fā)現(xiàn)違法用地等異常情況。

1 基于深度學(xué)習(xí)影像解譯的變化檢測方法

基于影像解譯的變化檢測指利用多時(shí)相獲取的覆蓋同一地表區(qū)域的遙感影像及其他輔助數(shù)據(jù)來確定和分析地表變化。地表覆蓋變化檢測的一般處理流程包括圖像預(yù)處理、變化檢測及檢測結(jié)果輸出3個(gè)部分（見圖2）。

圖2 基于深度學(xué)習(xí)影像解譯的變化檢測具體流程

1.1 預(yù)處理

由于獲取條件的差異，多時(shí)相遙感圖像中存在非地物變化而造成的圖像變化。因此，消除非地物變化是變化檢測中不可缺少的步驟，如云層的遮擋以及不同季節(jié)等產(chǎn)生的地物變化，如雨雪以及植被在不同季節(jié)的生長變化等。

1.2 變化信息獲取

變化信息獲取是變化檢測處理中的關(guān)鍵步驟。變化信息獲取采用基于深度殘差全卷積神經(jīng)網(wǎng)絡(luò)的地表覆蓋分類方法，提取4種類型的地表覆蓋要素。首先基于預(yù)處理的影像與矢量數(shù)據(jù)，制作可供訓(xùn)練的樣本庫，然后對(duì)使用殘差全卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使用訓(xùn)練完成的模型對(duì)不同時(shí)相的影像進(jìn)行預(yù)測分類，預(yù)測圖像像素的分類信息。最后，對(duì)需要進(jìn)行變化檢測的影像分類結(jié)果進(jìn)行求差運(yùn)算，得到變化結(jié)果。

1.3 檢測結(jié)果后處理及輸出

變化檢測的后處理是指對(duì)得到的檢測結(jié)果進(jìn)行再次處理以滿足實(shí)際需求。主要方法包括濾波處理、數(shù)學(xué)形態(tài)學(xué)處理等。由于是基于像素級(jí)別的差值運(yùn)算，因此可能會(huì)產(chǎn)生噪聲點(diǎn)，這里采用形態(tài)學(xué)處理方式，先進(jìn)行腐蝕操作，后進(jìn)行膨脹操作，以消除部分噪聲點(diǎn)和平滑變化檢測結(jié)果，并設(shè)定各類要素的變化，得到差值圖像。

1.1 自然資源訓(xùn)練樣本庫構(gòu)建方法

為了實(shí)現(xiàn)高精度的土地地表覆蓋自動(dòng)化分類，需要利用大量訓(xùn)練樣本對(duì)深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，從而使得深度神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)到泛化能力強(qiáng)的語義特征，為地表覆蓋自動(dòng)化分類奠定基礎(chǔ)。

本文主要基于基礎(chǔ)測繪矢量數(shù)據(jù)和國土三調(diào)矢量數(shù)據(jù)，構(gòu)建土地地表覆蓋訓(xùn)練樣本庫。在基礎(chǔ)測繪成果數(shù)據(jù)中，DLG要素包含居民地、植被、水體、道路等要素，分類相對(duì)較粗。而國土三調(diào)數(shù)據(jù)的分類更為細(xì)致，對(duì)各類農(nóng)村農(nóng)業(yè)用地和城鎮(zhèn)建設(shè)用地的性質(zhì)和用途均做了詳細(xì)劃分。土地分為耕地、園地、林地、草地等，城鎮(zhèn)區(qū)域分商業(yè)用地、住宅用地、工業(yè)用地、公共用地等，水體分為河流水面、湖泊水面、水庫水面、灘涂等。由于地表類型很多，需要針對(duì)重點(diǎn)監(jiān)測變化的地表類型，選擇矢量數(shù)據(jù)中的相應(yīng)要素，為影像增加類型學(xué)習(xí)標(biāo)簽，制作訓(xùn)練樣本庫。

1.2 基于殘差全卷積神經(jīng)網(wǎng)絡(luò)模型的分類方法

基于深度殘差全卷積神經(jīng)網(wǎng)絡(luò)的遙感影像地表覆蓋分類方法是基于全卷積的編碼-解碼框架，編碼部分主要負(fù)責(zé)本質(zhì)特征的提取，解碼部分則負(fù)責(zé)將提取到的本質(zhì)特征映射至分類圖（見圖3）。由于高分辨率遙感影像，地物分布隨機(jī)，地物組成復(fù)雜，紋理多樣，需要高度非線性模型才能提取到本質(zhì)特征，因此本文采用深度殘差網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)對(duì)高分辨率遙感影像進(jìn)行特征描述。由于骨干網(wǎng)絡(luò)會(huì)產(chǎn)生不同分辨率的特征圖，其中：高分辨率特征對(duì)地物細(xì)節(jié)描述較好，但語義描述較差；低分辨率特征對(duì)語義描述較好，但地物細(xì)節(jié)描述較差。對(duì)于一些線狀地物（道路、水體）其細(xì)節(jié)特征具有較好的識(shí)別效果，因此本模型結(jié)合高分辨率、細(xì)節(jié)豐富的特征與低分辨率、語義豐富的特征，令這些特征相互補(bǔ)充，從而學(xué)習(xí)獲得更加魯棒的表征。

圖3 殘差全卷積神經(jīng)網(wǎng)絡(luò)模型

1.3 差值變化檢測方法

測試數(shù)據(jù)經(jīng)過深度殘差全卷積神經(jīng)網(wǎng)絡(luò)模型處理后，獲取到影像解譯結(jié)果，將兩幅不同時(shí)相的分類結(jié)果圖進(jìn)行配準(zhǔn)，并進(jìn)行求差操作，得到地表覆蓋變化的初始結(jié)果，由于是按像素進(jìn)行分類，因此會(huì)有較多的噪聲點(diǎn)，將初始結(jié)果進(jìn)行形態(tài)學(xué)變換后處理得到最終變化的檢測結(jié)果。

1.4 形態(tài)學(xué)變化處理

數(shù)字形態(tài)學(xué)指以形態(tài)為基礎(chǔ)對(duì)圖像進(jìn)行分析，其基本思想是用具有一定形態(tài)的結(jié)構(gòu)元素去度量和提取圖像中的對(duì)應(yīng)形狀，以達(dá)到對(duì)圖像分析和識(shí)別的目的。形態(tài)學(xué)圖像處理的應(yīng)用可以簡化圖像數(shù)據(jù)，保持它們基本的形狀特性，并除去不相干的結(jié)構(gòu)。由于基于深度學(xué)習(xí)影像解譯的變化檢測是基于像素分類而實(shí)現(xiàn)的，因此不可避免地會(huì)產(chǎn)生噪聲點(diǎn)和局部的誤分類，形態(tài)學(xué)處理可以很大程度上減輕該問題。

形態(tài)學(xué)圖像處理的基本運(yùn)算有4個(gè)：膨脹、腐蝕、開操作和閉操作。

1.4.1 膨脹

膨脹就是求局部最大值的操作，其目的是使圖像擴(kuò)大，本質(zhì)上就是將圖像或圖像的一部分區(qū)域與核進(jìn)行卷積操作。

將核與圖形卷積，即計(jì)算核覆蓋區(qū)域的像素點(diǎn)最大值，并把這個(gè)最大值賦值給參考點(diǎn)指定的像素，這樣就會(huì)使圖像中的高亮區(qū)域逐漸增長，如圖4所示。

圖4 膨脹效果

1.4.2 腐蝕

腐蝕和膨脹的基本原理類似，差別在于腐蝕是求局部最小值的操作，其目的是使圖像縮小。圖5演示了包含邊長為1，3，5，7，9和15像素的正方形的二值圖像用13*13像素大小的結(jié)構(gòu)元素腐蝕后的結(jié)果。

圖5 腐蝕效果

1.4.3 開操作

開操作（Opening operation）其實(shí)就是先腐蝕后膨脹的過程，目的是使得圖像的輪廓變得光滑，斷開狹窄的間斷和消除細(xì)小的突出物，消除小物體、在纖細(xì)點(diǎn)處分離物體、平滑較大物體的邊界的同時(shí)并不明顯改變其面積，其表達(dá)式如下：

dist=open（src，element）=dilate（erode（src，element）

1.4.4 閉操作

閉操作（Closing operation）就是先膨脹后腐蝕的過程，其目的同樣是使得圖像的輪廓變得光滑，但與開操作相反，它能消弭狹窄的間斷和長細(xì)的鴻溝，消除小的空洞，并填補(bǔ)輪廓線中的裂痕，閉運(yùn)算能夠排除小型黑洞（黑色區(qū)域），其表達(dá)式如下：

dist=close（src，element）=erode（dilate（src，element））

對(duì)影像解譯結(jié)果求差得到粗糙的變化檢測結(jié)果進(jìn)行形態(tài)學(xué)處理，可以有效地減少神經(jīng)網(wǎng)絡(luò)帶來的像素級(jí)斑點(diǎn)誤差，如圖6所示。

2 具體實(shí)現(xiàn)

2.1 樣本庫構(gòu)建

圖6 形態(tài)學(xué)處理效果

本文采用常州市0.3 m分辨率遙感影像、基礎(chǔ)測繪矢量數(shù)據(jù)和國土三調(diào)矢量數(shù)據(jù)，選取植被、水系、居民地、道路這四類地表類型，構(gòu)建訓(xùn)練樣本庫（見圖7）。由于影像數(shù)據(jù)、基礎(chǔ)測繪矢量數(shù)據(jù)和國土三調(diào)矢量數(shù)據(jù)的制作時(shí)間具有一定的時(shí)間差，地表狀態(tài)不可能全部一致。因此首先采用人工篩選與異常值檢測方法，清洗不匹配的矢量數(shù)據(jù)與對(duì)應(yīng)影像區(qū)塊，再對(duì)標(biāo)注精細(xì)程度不足的部分，采用人工標(biāo)注的方法進(jìn)行補(bǔ)充。最后，將矢量數(shù)據(jù)轉(zhuǎn)換為掩膜，對(duì)所有矢量要素對(duì)應(yīng)的影像區(qū)域賦予類別標(biāo)簽，即可構(gòu)建深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本庫。

構(gòu)建完成后的樣本庫，由于矢量要素存在重疊現(xiàn)象，會(huì)在同一位置存在多個(gè)標(biāo)注類別，需要進(jìn)行拓?fù)錂z查。設(shè)置類別優(yōu)先級(jí)進(jìn)行唯一標(biāo)注，依據(jù)標(biāo)注精度與地物重要程度設(shè)置：居民地>道路>水系>植被。設(shè)置類別后地物掩膜值如圖8所示。

圖7 樣本庫構(gòu)成

圖8 樣本庫成果（局部）

2.2 模型訓(xùn)練與測試

本文采用Pytorch構(gòu)建了基于命令行的軟件系統(tǒng)［3］，實(shí)現(xiàn)了變化檢測和違法建筑目標(biāo)提取的訓(xùn)練和測試，同時(shí)對(duì)上層用戶提供透明的、可供調(diào)用的接口，用戶可以不用處理具體技術(shù)細(xì)節(jié)就實(shí)現(xiàn)樣本庫的導(dǎo)入、模型的訓(xùn)練和測試。系統(tǒng)構(gòu)建在GPU服務(wù)器之上，使用GPU加速模式，提供更高的性能，設(shè)計(jì)基于殘差全卷積神經(jīng)網(wǎng)絡(luò)的分類架構(gòu)，如圖9所示。

圖9 基于殘差全卷積神經(jīng)網(wǎng)絡(luò)的分類架構(gòu)

根據(jù)常州市自然資源局提供的常州市第一季度和第二季度衛(wèi)星影像，以及常州的矢量數(shù)據(jù)制作出影像解譯樣本庫，進(jìn)行訓(xùn)練。利用訓(xùn)練后的模型對(duì)常州市兩個(gè)季度的影像進(jìn)行分類，結(jié)果如圖10、11所示。

圖10 兩季度原始影像

圖11 兩季度影像解譯結(jié)果

采用深度學(xué)習(xí)影像解譯的方法獲取到第一季度和第二季度的分類結(jié)果圖后，對(duì)兩幅圖按像素求差值，根據(jù)不同的差值判斷不同的變化，生成變化檢測圖，由于是按像素分類并求差值，因此存在很多細(xì)碎的噪聲點(diǎn)，實(shí)際地表并未發(fā)生變化。為了清理噪聲點(diǎn)，采用形態(tài)學(xué)的腐蝕和膨脹算法進(jìn)行處理，最終得到變化檢測結(jié)果，檢測精度可以達(dá)到80%以上，如圖12所示（其中背景表示不屬于四類基本要素的其他地物）。

3 結(jié)語

本文提出了一種基于深度學(xué)習(xí)的變化檢測方法，提升了遙感數(shù)據(jù)解譯和信息提取的精度和效率，為提升自然資源調(diào)查監(jiān)管決策能力，建立高效、完善的自然資源遙感監(jiān)測服務(wù)體系提供了更為先進(jìn)的技術(shù)手段?；跀?shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法具有端到端學(xué)習(xí)，無須人工設(shè)計(jì)特征，逐層提取高層語義特征等優(yōu)良特性，深度學(xué)習(xí)方法可作為高分辨率遙感數(shù)據(jù)特征挖掘的有效手段，為遙感影像的變化檢測提供一條新的途徑，建立快捷有效的核查指揮和快速反應(yīng)機(jī)制，提升自然資源執(zhí)法督察的科學(xué)性和時(shí)效性，推動(dòng)自然資源管理的信息化和智能化。

圖12 變化檢測結(jié)果