王松倫,馬曉楠,潘子軒

(河南省水利勘測有限公司,河南 鄭州 450000)

生產(chǎn)建設(shè)活動會使原狀地貌或土壤結(jié)構(gòu)遭到干擾或破壞,從而加劇區(qū)域內(nèi)的水土流失,存在較大的安全隱患,如洪澇災(zāi)害、土地資源匱乏、生態(tài)環(huán)境失調(diào)等[1]。遙感信息技術(shù)的進步和高分辨率衛(wèi)星影像的普及為水土保持遙感監(jiān)管提供了豐富的數(shù)據(jù),但目前仍主要采用目視解譯的方法從遙感影像中獲取生產(chǎn)建設(shè)項目擾動圖斑信息,存在耗時費力、經(jīng)濟成本高及具有一定的人為主觀性等問題[2],無法適應(yīng)現(xiàn)階段生產(chǎn)建設(shè)項目水土保持遙感監(jiān)管任務(wù)中監(jiān)測對象變化快、監(jiān)測范圍廣、監(jiān)測頻次高的需求[3]。因此,如何在大范圍內(nèi)實現(xiàn)生產(chǎn)建設(shè)項目擾動圖斑的高效自動化、精準化識別和提取成為研究的熱點問題。

近年來,深度學(xué)習(xí)已經(jīng)被證明是一種強大的遙感圖像處理技術(shù),在土地覆蓋分類、目標提取、變化檢測等方面均有廣泛應(yīng)用[4-6]。部分學(xué)者也在此基礎(chǔ)上開展了生產(chǎn)建設(shè)項目擾動圖斑自動識別技術(shù)的探索性研究,文獻[7]基于深度學(xué)習(xí)原理,參照VGG16網(wǎng)絡(luò)架構(gòu)構(gòu)建生產(chǎn)建設(shè)項目擾動圖斑自動識別分類模型,區(qū)分給定區(qū)域的影像數(shù)據(jù)為擾動還是非擾動,但并未實現(xiàn)對擾動圖斑范圍的識別;文獻[8]將深度學(xué)習(xí)理論應(yīng)用到不同時期影像的變化檢測分析中,分別采用基于語義信息和端到端的變化圖斑提取方法,對重慶市水土保持擾動變化圖斑實現(xiàn)自動識別。深度學(xué)習(xí)為基于大范圍高分遙感影像的擾動圖斑提取提供了新的技術(shù)思路,但相關(guān)研究較少且精度無法滿足現(xiàn)階段水土保持遙感監(jiān)管的應(yīng)用要求。

針對上述生產(chǎn)建設(shè)項目擾動圖斑提取的局限性,本文從人類和人工智能深度相結(jié)合的角度出發(fā),提出 “智能提取模型+遙感監(jiān)管協(xié)同解譯平臺”的生產(chǎn)建設(shè)項目擾動圖斑人機協(xié)同智能提取框架。

1 研究區(qū)概況

本文以河南省生產(chǎn)建設(shè)項目水土保持遙感監(jiān)管為依托開展相關(guān)研究。河南省位于我國中東部,全省總面積為16.7萬km2。河南地處亞熱帶向暖溫帶和山區(qū)向平原雙重過渡帶,地跨長江、黃河、淮河、海河4大流域。地貌自西向東突變,山區(qū)到平原過渡帶短,特殊的氣候條件和復(fù)雜的地貌類型,造成自然災(zāi)害頻發(fā),而且人口分布密集,生產(chǎn)活動頻繁,加劇了水土流失。嚴重的水土流失導(dǎo)致水土資源破壞、生態(tài)環(huán)境惡化、自然災(zāi)害加劇,成為制約河南省經(jīng)濟和社會可持續(xù)發(fā)展的突出因素。

2 研究內(nèi)容與方法

總體技術(shù)路線如圖1所示。首先,對雙時相高分遙感影像數(shù)據(jù)進行預(yù)處理,并依托河南省2022年第三季度生產(chǎn)建設(shè)項目擾動圖斑目視解譯成果制作標簽,通過數(shù)據(jù)增強的手段創(chuàng)建生產(chǎn)建設(shè)項目擾動專題數(shù)據(jù)集;然后,基于專題數(shù)據(jù)集對改進的U-Net++模型進行訓(xùn)練,訓(xùn)練后的模型可對指定區(qū)域高分遙感影像中的生產(chǎn)建設(shè)項目變化擾動圖斑進行自動提取;最后,構(gòu)建遙感監(jiān)管分布式并行協(xié)同解譯平臺,可實現(xiàn)圖斑后處理、協(xié)同編輯、統(tǒng)計分析及用戶管理等功能,解譯人員基于該平臺利用先驗知識對自動提取的圖斑進行綜合判定與驗證,得到滿足生產(chǎn)要求的規(guī)范性解譯成果?；趨f(xié)同解譯平臺產(chǎn)生的最終成果可作為新樣本反饋給模型進行自主學(xué)習(xí),進一步提升模型精度和自動化程度,形成良好的循環(huán)機制。

圖1 總體技術(shù)路線

2.1 數(shù)據(jù)集構(gòu)建

2.1.1 高分辨率遙感影像預(yù)處理

遙感影像數(shù)據(jù)源主要選取高分六號、資源三號等衛(wèi)星數(shù)據(jù),前時相為2022年4—6月,后時相為2022年7—9月。雙時相遙感影像數(shù)據(jù)對于變化擾動地塊提取任務(wù)而言,存在的主要問題包括:①原始數(shù)據(jù)存在幾何和輻射變形、缺失值等;②因季節(jié)原因?qū)е虑昂髢蓵r相影像風(fēng)格不統(tǒng)一,存在較大的地物地貌差異。

對于上述問題,本文通過輻射定標、正射校正、幾何配準、插值填充、傅里葉變換和逆變換等操作對影像進行預(yù)處理,以滿足任務(wù)需要?？焖俑道锶~變換和逆變換可消除不同時期影像之間的風(fēng)格差異,其主要包括:①通過傅里葉變換(FFT)將圖像空間域轉(zhuǎn)換為頻率域;②將其中一幅圖像的低頻域部分替換為另外圖像的低頻域部分;③再通過傅里葉逆變換(iFFT)將頻率域轉(zhuǎn)換為空間域,實現(xiàn)圖像間的風(fēng)格遷移。經(jīng)過預(yù)處理后的影像包含紅、綠、藍3波段,空間分辨率約為2 m。

2.1.2 數(shù)據(jù)集標注

有監(jiān)督的深度學(xué)習(xí)模型需要大量的標簽數(shù)據(jù)輔助其學(xué)習(xí)訓(xùn)練。本文以河南省2022年第三季度生產(chǎn)建設(shè)項目遙感監(jiān)管解譯成果作為標注數(shù)據(jù),制作生產(chǎn)建設(shè)項目擾動圖斑標簽。

為保證兩期影像及對應(yīng)變化標簽的尺寸統(tǒng)一,首先構(gòu)建研究區(qū)漁網(wǎng)數(shù)據(jù)(網(wǎng)格大小為256×256像素),篩選出與矢量圖斑相交的網(wǎng)格作為裁剪樣本的矢量數(shù)據(jù)A;然后利用ArcGIS對已有的遙感監(jiān)管解譯圖斑數(shù)據(jù)進行矢柵轉(zhuǎn)換和重分類(變化擾動區(qū)域柵格值為1,非擾動變化區(qū)域柵格值為0);最后利用矢量數(shù)據(jù)A對兩時相的遙感影像數(shù)據(jù)及變化擾動圖斑柵格數(shù)據(jù)進行批量裁剪,最終得到前時相影像、后時相影像及標簽數(shù)據(jù),且位置一一對應(yīng),共得到2071組標注樣本。

2.1.3 數(shù)據(jù)增強

在卷積神經(jīng)網(wǎng)絡(luò)的算法中,算法的最終效果很大程度上依賴于數(shù)據(jù)的質(zhì)量,鑒于目前樣本數(shù)據(jù)量有限,本文通過數(shù)據(jù)增強的手段擴充樣本量,從而提高模型的泛化能力。充分利用已有樣本,分別采用單樣本和多樣本數(shù)據(jù)增強的方法對樣本數(shù)據(jù)集進行擴增,擴增后總樣本量約為10 768組。將處理好的樣本數(shù)據(jù)集隨機劃分,訓(xùn)練集和驗證集的比例為8∶2。

單樣本數(shù)據(jù)增強即在增強一個樣本時全部圍繞著該樣本本身進行操作,本文主要進行水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、旋轉(zhuǎn)、平移縮放等幾何變換,如圖2所示。

圖2 單樣本數(shù)據(jù)增強

多樣本數(shù)據(jù)增強則是利用多個樣本產(chǎn)生新的樣本。為了增加正樣本的比例,采用混合粘貼增強[9]的方法提升樣本多樣性,該方法是通過隨機抽取另一樣本數(shù)據(jù),利用掩膜提取將其變化區(qū)域以對象的方式分別粘貼到當(dāng)前樣本中,從而得到一個新的混合樣本,如圖3所示。

圖3 多樣本混合粘貼增強

2.2 生產(chǎn)建設(shè)項目擾動圖斑智能提取模型

2.2.1 U-Net++網(wǎng)絡(luò)架構(gòu)

U-Net++是一種基于深度監(jiān)督的編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu),具有較強的特征提取和細節(jié)保留能力[10]。原始U-Net網(wǎng)絡(luò)首先利用4次下采樣獲得高維信息,然后利用4次上采樣將特征圖恢復(fù)到原始大小,并通過4個跳躍連接合并特征圖?；赨-Net的改進方法并不總使用4層結(jié)構(gòu),但下采樣、上采樣和跳躍連接的組合保持不變,它可以從不同深度的結(jié)構(gòu)中提取不同特征。無論低層次還是高層次的語義特征對于目標識別任務(wù)而言均很重要,U-Net++[11]通過稠密連接的方式將每層的細節(jié)信息和全局信息都盡可能多的保留,且每層之間架起橋梁實現(xiàn)多尺度特征融合,最終共享給最后一層,減少由于卷積層增加而導(dǎo)致的信息丟失。

2.2.2 模型構(gòu)建及參數(shù)優(yōu)化

選用高效的輕量型網(wǎng)絡(luò)Effici-entNetb0作為編碼器骨干網(wǎng)絡(luò)。此外,為了獲取更加有用的重點信息并抑制非重點區(qū)域的特征,在解碼器網(wǎng)絡(luò)中加入了注意力機制模塊scSE(spatial-channel sequeeze & excitation),模型結(jié)構(gòu)如圖4所示。

圖4 U-Net++(scSE)模型結(jié)構(gòu)

在訓(xùn)練網(wǎng)絡(luò)模型學(xué)習(xí)參數(shù)的過程中,使用基于ImageNet數(shù)據(jù)集的預(yù)訓(xùn)練模型進行參數(shù)初始化,選取AdamW優(yōu)化算法,學(xué)習(xí)率為1E-3,權(quán)重衰退系數(shù)為1E-3,最低學(xué)習(xí)率為1E-5。由于部分樣本數(shù)據(jù)中非變化擾動區(qū)域和變化擾動區(qū)域的比例差距較大,存在樣本不均衡影響,因此模型訓(xùn)練的損失函數(shù)采用Dice損失函數(shù)和二值交叉熵損失函數(shù)(BCE Loss)的組合。Dice損失函數(shù)訓(xùn)練更關(guān)注前景區(qū)域的挖掘,即保證模型有較低的目標值識錯率,但會存在損失飽和的問題,而BCE Loss平等地計算每個類別的損失,當(dāng)背景區(qū)域大于目標區(qū)域時,訓(xùn)練時會使模型嚴重偏向背景,導(dǎo)致預(yù)測效果較差。兩者單獨使用往往無法取得較好的效果,因此本文選擇組合使用,從而提高模型預(yù)測精度。

2.2.3 變化檢測評價指標

變化檢測的評價指標多種多樣,本文選擇準確率(Precision,P)、召回率(Recall,R)、F1得分和交并比(IoU)4個指標對模型提取效果進行評定。通過變化檢測得到的預(yù)測值和真實值的組合見表1。

表1 變化檢測任務(wù)混淆矩陣

(1)準確率(P)表示預(yù)測值和真實值均為正的樣本在預(yù)測為正樣本中的占比,其表達式為

(1)

(2)召回率(R)表示在已知的正樣本中有多少被正確預(yù)測,其表達式為

(2)

(3)F1得分是綜合了準確率和召回率的綜合評價指標,提出該指標的原因是P和R會出現(xiàn)矛盾的現(xiàn)象,導(dǎo)致無法判斷模型好壞,因此通過計算兩個指標的調(diào)和平均值進行綜合性評價。其取值范圍為0～1,值越接近1表示模型訓(xùn)練效果越出色,公式為

(3)

(4)交并比(IoU)是指模型預(yù)測變化擾動區(qū)域與真實變化擾動區(qū)域的交疊率或重疊度,即兩者交集與并集的面積比,取值范圍為0～1,值越接近于1表示預(yù)測圖與真實圖的重合程度越高,即模型預(yù)測效果越好,其計算公式為

(4)

2.3 遙感監(jiān)管分布式并行協(xié)同解譯平臺

深度學(xué)習(xí)技術(shù)使生產(chǎn)建設(shè)項目擾動圖斑解譯工作效率得到了大幅提升,但由于多時相的衛(wèi)星遙感影像不可避免地會存在偽變化、云霧遮擋等問題,使得模型對于遙感影像的變化檢測存在一定局限性,尤其在兼顧檢測速率的基礎(chǔ)上,精確獲取變化地物的輪廓信息仍具有較大難度,單一利用模型自動化手段難以滿足生產(chǎn)應(yīng)用需要。基于此,本文通過構(gòu)建遙感監(jiān)管分布式并行協(xié)同解譯平臺,充分發(fā)揮人機協(xié)同技術(shù)在遙感信息提取領(lǐng)域的重要性,將深度學(xué)習(xí)與專家知識、模型自動提取與目視判讀相結(jié)合,實現(xiàn)人與算法之間的優(yōu)勢互補,全面提升擾動圖斑要素提取的精度及自動化程度。

協(xié)同解譯平臺的技術(shù)流程如圖5所示。搭建的深度學(xué)習(xí)模型可對大范圍內(nèi)的生產(chǎn)建設(shè)項目擾動圖斑進行快速提取,智能提取結(jié)果經(jīng)過矢柵轉(zhuǎn)換、定義投影、屬性賦值等前期處理后,發(fā)布標準化數(shù)據(jù)服務(wù)供平臺調(diào)用。協(xié)同解譯平臺能夠?qū)崿F(xiàn)對自動提取圖斑的可視化展示、批量后處理、協(xié)同編輯及統(tǒng)計分析等操作,可由專業(yè)解譯人員通過多人在線協(xié)作的工作模式,憑借視覺感知及綜合認知決策能力對模型自動化提取的圖斑進行判定與驗證,判斷其邊界和屬性信息是否與實際擾動相符,若不相符則選擇相應(yīng)的人機交互工具進行要素協(xié)同編輯,最終將符合實際生產(chǎn)需要的圖斑存入解譯成果庫。通過驗證的解譯成果將會作為新樣本反饋給模型樣本庫,使模型再次進行自主學(xué)習(xí),不斷迭代優(yōu)化模型參數(shù)進而提升模型性能。

圖5 協(xié)同解譯平臺技術(shù)流程

協(xié)同解譯平臺主要包括圖斑智能提取、后處理、協(xié)同編輯、統(tǒng)計分析及用戶管理等模塊。圖斑智能提取模塊的主要功能是基于本文構(gòu)建的模型實現(xiàn)大范圍遙感影像的變化擾動圖斑自動化提取;后處理模塊主要是對模型自動提取的圖斑進行孔洞填充、輪廓規(guī)則化、碎化圖斑剔除等批處理操作,可對模型輸出結(jié)果進行初步調(diào)整和優(yōu)化;協(xié)同編輯模塊則由解譯人員對經(jīng)過后處理的大量圖斑數(shù)據(jù)進行邊界修正、屬性賦值、合并拆分、采集新面等增、刪、改操作,并同步完成對現(xiàn)有擾動圖斑的質(zhì)量檢查;統(tǒng)計分析模塊包括工作進度統(tǒng)計、圖斑分類統(tǒng)計、解譯人員工作量統(tǒng)計等功能;用戶管理模塊可實現(xiàn)賬號注冊、人員管理、任務(wù)分配;此外,本平臺可以實現(xiàn)對多期遙感影像數(shù)據(jù)、歷史擾動圖斑及最新解譯成果的可視化管理及展示。

3 結(jié)果分析

將本文搭建的U-Net++網(wǎng)絡(luò)模型在制作好的數(shù)據(jù)集上進行訓(xùn)練,通過調(diào)節(jié)超參數(shù)獲得最優(yōu)變化檢測模型,并對在驗證集上的提取結(jié)果進行精度評價。采用五折交叉驗證進行模型評估:將所有的樣本數(shù)據(jù)集隨機分為數(shù)量近似相等的5份,輪流選取其中1份為測試集,其余為訓(xùn)練集依次訓(xùn)練模型,使數(shù)據(jù)集中的所有數(shù)據(jù)都得到了充分的利用,五折交叉驗證的損失-精度隨迭代次數(shù)的變化曲線如圖6所示。模型的總體提取精度見表2。

表2 模型驗證精度評價結(jié)果

圖6 五折交叉驗證損失-精度

本文構(gòu)建的生產(chǎn)建設(shè)項目擾動圖斑智能提取模型可基于深度學(xué)習(xí)算法自動提取高分辨率遙感影像中的擾動圖斑要素,相較于人工目視解譯而言,智能提取模型在解譯效率方面具備明顯優(yōu)勢,對比結(jié)果見表3。根據(jù)項目經(jīng)驗可知,采用目視判別的方法初步實現(xiàn)河南省全域16.7萬km2的生產(chǎn)建設(shè)項目擾動圖斑遙感解譯,至少需要10名解譯人員花費約20 d(8 h/d)的時間完成,其特點是操作簡單且對設(shè)備性能要求較低;而利用本文構(gòu)建的智能提取模型,完成相同工作量的解譯任務(wù)只需2臺較高性能計算機(NVIDIA GeForce GTX 1070 8 GB顯存)同時運行8 h即可完成,極大地縮減了擾動圖斑遙感解譯任務(wù)的時間成本。

表3 解譯效率統(tǒng)計

為保證模型能夠?qū)⑦b感影像中的疑似生產(chǎn)建設(shè)項目擾動圖斑盡可能地都提取出來,在模型訓(xùn)練過程中通過調(diào)整閾值提高了模型的查全率。整體而言,模型對于由耕地(或裸地)變?yōu)榻ㄖ?或施工動土)的區(qū)域具有較強的識別和提取能力,漏提少、邊界相對規(guī)則。圖7為利用本文模型對驗證集中疑似生產(chǎn)建設(shè)項目擾動圖斑提取的部分結(jié)果。可以發(fā)現(xiàn),模型能夠較為準確地定位到影像變化擾動區(qū)域,提取到的變化圖斑與實際變化范圍基本一致,尤其對引調(diào)水工程、工業(yè)園區(qū)、公路工程等規(guī)模性的生產(chǎn)建設(shè)活動有良好的提取效果,如圖7(a)—(c)所示。

圖7 生產(chǎn)建設(shè)項目擾動圖斑提取結(jié)果

智能提取模型很好地解決了人工目視解譯不客觀、效率低等問題,但同時也會存在“誤提取”的情況。如圖7(d)將鄰近的不同生產(chǎn)建設(shè)項目合并解譯為同一圖斑,而圖7(e)則將因農(nóng)事耕作等非生產(chǎn)建設(shè)活動引起的地表變化區(qū)域誤判為擾動圖斑。以上情況只需后期由解譯人員充分結(jié)合項目及解譯經(jīng)驗進行綜合判定,并做出簡單的編輯修改即可。

針對擾動圖斑智能提取模型存在的少量“誤提、漏提”等情況,通過搭建遙感監(jiān)管協(xié)作解譯平臺對自動化提取圖斑進行人機交互修正,在保證解譯效率的同時全面提高解譯精確性,為水土保持監(jiān)管后續(xù)的核查和查處提供可靠的作業(yè)依據(jù)。遙感監(jiān)管協(xié)作解譯平臺部分子模塊的圖斑編輯如圖8(a)—(d)所示,孔洞消除和輪廓規(guī)則化子模塊可對自動提取的圖斑結(jié)果進行快速批處理,分別實現(xiàn)矢量面數(shù)據(jù)的微小孔洞填補和復(fù)雜線段簡化。協(xié)同編輯模塊可將經(jīng)過后處理的矢量圖斑數(shù)據(jù)進一步精確化,由解譯人員通過多人在線協(xié)作的方式逐個對圖斑進行綜合判定,對不滿足要求的圖斑進行合并拆分、邊界修整、錯提圖斑剔除等操作。圖8(b)所示模塊是將位置鄰近但明顯不屬于同一生產(chǎn)建設(shè)項目的圖斑進行切分,并修改其對應(yīng)的屬性值。圖8(c)所示的邊界修整子模塊是通過編輯折點調(diào)整矢量范圍,使解譯圖斑邊界更加清晰準確。圖斑剔除子模塊則可刪除如圖8(d)所示的農(nóng)業(yè)大棚搭建等模型誤提取的非生產(chǎn)建設(shè)項目擾動圖斑。

圖8 遙感監(jiān)管協(xié)作解譯平臺圖斑編輯

4 總結(jié)與討論

本文利用高分遙感影像和河南省生產(chǎn)建設(shè)項目水土保持遙感監(jiān)管成果構(gòu)建專題數(shù)據(jù)集,并從人與機器深度相結(jié)合的角度出發(fā),基于深度學(xué)習(xí)理論提出一個生產(chǎn)建設(shè)項目擾動圖斑人機協(xié)同智能提取框架,主要實現(xiàn)了以下內(nèi)容:①針對擾動圖斑變化檢測任務(wù)特點對雙時相的遙感影像進行預(yù)處理,消除其誤差及風(fēng)格差異,并通過多種數(shù)據(jù)增強方法進行擴充,構(gòu)建豐富的數(shù)據(jù)集。②通過融合注意力機制的U-Net++網(wǎng)絡(luò)模型深度挖掘生產(chǎn)建設(shè)項目擾動圖斑的影像特征,實現(xiàn)變化擾動范圍的自動化提取,模型準確率和召回率分別為79.59%和80.90%,IoU為0.752 0。表明模型對于目標要素具有良好的提取效果,但同時也存在少量“誤提、漏提”的情況。③通過搭建遙感監(jiān)管分布式并行協(xié)同解譯平臺實現(xiàn)對自動化解譯圖斑的批量后處理、協(xié)同編輯、統(tǒng)計分析等操作,在保證解譯自動化、高效化的基礎(chǔ)上,充分發(fā)揮專業(yè)解譯人員的綜合知識決策能力,對“誤提、漏提”圖斑進行修改。最終將規(guī)范化解譯成果作為新樣本存入樣本庫,并反饋給模型進行自主學(xué)習(xí),進一步提高模型精度,實現(xiàn)人機協(xié)同感知、交互和決策。

本文提出的人機協(xié)同智能提取技術(shù)框架實現(xiàn)了生產(chǎn)建設(shè)項目擾動圖斑的高效精準提取,但仍存在不足。首先由于樣本數(shù)據(jù)集制作時,非生產(chǎn)建設(shè)項目擾動的負樣本數(shù)量有限,雖然模型最終收斂但同時增加了過擬合的風(fēng)險,使其容易對非生產(chǎn)建設(shè)項目擾動進行錯分。因而在下一步工作中應(yīng)充分考慮非生產(chǎn)建設(shè)項目擾動的干擾,豐富數(shù)據(jù)集,增強模型的穩(wěn)健性。其次耦合深度學(xué)習(xí)算法和綜合知識圖譜的遙感影像解譯方法有待進一步探究和完善,以自主學(xué)習(xí)為核心、領(lǐng)域先驗知識為引導(dǎo),全面提升遙感解譯的效率和質(zhì)量。