魏之皓,賈克斌,賈曉未
(1.北京工業(yè)大學(xué) 信息學(xué)部,北京 100124;2.先進(jìn)信息網(wǎng)絡(luò)北京實驗室,北京 100124;3.計算智能與智能系統(tǒng)北京市重點實驗室,北京 100124;4.匹茲堡大學(xué) 計算機科學(xué)學(xué)院,美國 賓夕法尼亞州 匹茲堡 15112)
地表水體提取是自然遙感領(lǐng)域重要的研究方向之一[1]。其中,對于水體區(qū)域進(jìn)行準(zhǔn)確提取是監(jiān)測不同歷史時間點的河流流域變化的關(guān)鍵實現(xiàn)步驟和重要數(shù)據(jù)基礎(chǔ)。作為自然生態(tài)循環(huán)中重要的組成部分,自然河流具有跨區(qū)域流動的特點,因此開展大范圍水體區(qū)域高精度提取研究對于自然河流的整體性變化監(jiān)測具有重要意義[2]。
傳統(tǒng)的水體提取主要依靠人工實地考察為主,雖然河流的水體區(qū)域識別結(jié)果準(zhǔn)確,但是人工成本極高,且河流區(qū)域考察任務(wù)的準(zhǔn)備和考察周期長,無法滿足日益增長的大范圍、多頻次、常態(tài)化的水體區(qū)域提取的實際需求[3]。隨著空間探測技術(shù)的發(fā)展,基于遙感衛(wèi)星的對地觀測遙感數(shù)據(jù)為大范圍水體提取提供了新的數(shù)據(jù)基礎(chǔ),同時也對現(xiàn)有的遙感數(shù)據(jù)分析方法提出了極大的挑戰(zhàn)。
大范圍水體提取對應(yīng)的遙感數(shù)據(jù)涉及多種遙感衛(wèi)星所采集的全球不同地域、不同季節(jié)的河流水體影像,如圖1所示。通過對圖1中展示的河流水體遙感光譜信息的偽彩色圖像可視化結(jié)果進(jìn)行分析可知,河流因其所處地域地理環(huán)境和季節(jié)的不同,其河流流域的水體區(qū)域及其周圍地表環(huán)境的光譜信息會出現(xiàn)極大的差異。同時,復(fù)雜的自然氣候也會使得遙感數(shù)據(jù)中包含大量云霧及陰影干擾,即遙感數(shù)據(jù)整體上呈現(xiàn)出了異構(gòu)性的特點。另一方面,當(dāng)前遙感數(shù)據(jù)源極為多樣,其在光譜維度、時間維度、空間維度的分辨率均各不相同,整體上呈現(xiàn)出了多源性的特點[4]。綜上所述,當(dāng)前遙感數(shù)據(jù)的多源性和異構(gòu)性對于大范圍水體提取研究提出了極大挑戰(zhàn)。
在遙感數(shù)據(jù)異構(gòu)性的研究方面,遙感影像早期主要采用人工解譯模式,通過經(jīng)驗豐富的技術(shù)人員對遙感影像中的水體區(qū)域進(jìn)行人工標(biāo)注。該過程需要對技術(shù)人員進(jìn)行早期專業(yè)培訓(xùn),且人工遙感圖像解譯過程十分耗時[5],無法適應(yīng)基于多源異構(gòu)遙感影像數(shù)據(jù)的大范圍水體提取的客觀需求。為此,Mcfeeters[6]提出了一種基于經(jīng)驗閾值的歸一化水指數(shù)(normalized difference water index,NDWI)標(biāo)注方法,通過對河流水體在遙感影像的不同光譜帶上的數(shù)值特征進(jìn)行經(jīng)驗閾值設(shè)定,采用線性運算的方法實現(xiàn)了一種半自動的河流提取。該方法相比于早期的人工解譯方法,減少了人工標(biāo)注的時間成本。然而,由于不同地區(qū)的水體成分存在差異,其遙感影像的表征也各不相同,因此識別范圍極為有限,且易受到陰影及云霧遮擋的影響,存在識別結(jié)果魯棒性低的問題。
在機器學(xué)習(xí)領(lǐng)域,F(xiàn)arid等[7]將支持向量機、決策樹等模型引入到了遙感影像解譯過程中。相比于傳統(tǒng)的經(jīng)驗閾值方法,機器學(xué)習(xí)模型的判決邏輯更具魯棒性,影像內(nèi)容識別的穩(wěn)定性得到了提升。但是由于該類方法是基于單一像素點進(jìn)行內(nèi)容識別,未考慮遙感影像中的各個像素點間的相關(guān)性,信息的利用率較低,識別性能仍存在極大提升空間。
隨著近年來人工神經(jīng)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展,以深度學(xué)習(xí)模型為代表的標(biāo)注模型在眾多領(lǐng)域得到了研究與應(yīng)用[8]。在遙感影像解譯領(lǐng)域,基于多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的分類解譯模型因其具有感受野機制,可以將遙感影像中相鄰像素間的相關(guān)性引入到內(nèi)容識別過程中,有效提高了遙感影像解譯的識別精度[9]。如Isikdogan等[10]提出了一種適合于雨雪密集地區(qū)的高光譜圖像分別全卷積網(wǎng)絡(luò)模型,進(jìn)一步提升了影像解譯的準(zhǔn)確率。但是由于該類方法所研究的遙感影像數(shù)據(jù)對象多為人工篩選后的少云霧、陰影的場景,因而在實際應(yīng)用中,模型易受到大范圍遙感場景的特定對象目標(biāo)提取任務(wù)中云霧、陰影等復(fù)雜噪聲的干擾,進(jìn)而影響復(fù)雜云霧背景下的目標(biāo)提取準(zhǔn)確度。
在遙感數(shù)據(jù)多源性的研究方面,目前主流的遙感數(shù)據(jù)源呈現(xiàn)出影像波段覆蓋面廣、數(shù)據(jù)獲取途徑多樣且開放度高的特點。其中,不同波段集合的遙感影像數(shù)據(jù)具有各自的成像優(yōu)勢[11-13]。進(jìn)一步對圖1所包含的哨兵一號合成孔徑雷達(dá)影像(synthetic aperture radar,SAR)和哨兵二號多光譜影像(multi-spectral imaging,MSI)對于同一段河流的水體區(qū)域的可視化結(jié)果進(jìn)行分析可知,哨兵二號影像能夠獲取高精度河流水體區(qū)域影像,但是影像中心部分因云霧陰影的遮擋而無法辨認(rèn)河流的水體區(qū)域邊緣。而哨兵一號遙感影像因其成像機理原因,河流區(qū)域中心位置邊緣保留完整,但是影像整體分辨率精度較低。因此,不同類型的遙感影像可以滿足不同類型的遙感監(jiān)測需求。Li等[14]提出了一種基于合成孔徑雷達(dá)影像的遙感去云模型,利用合成孔徑雷達(dá)影像不易受到云霧影響的特點,對目標(biāo)影像中的云霧進(jìn)行去除。Tan等[15]提出了一種基于兩種遙感影像的分類神經(jīng)網(wǎng)絡(luò)模型,通過對兩類遙感影像數(shù)據(jù)間的同一目標(biāo)像素相關(guān)性進(jìn)行分析,提升遙感影像中城鎮(zhèn)區(qū)域識別的準(zhǔn)確率。以上研究中,研究目標(biāo)普遍為單源遙感影像去云,及無云霧遮擋的遙感影像目標(biāo)識別,而針對云霧、陰影等存在成像干擾的自然河流流域的多源遙感影像高精度水體提取的研究方向上仍有極大的提升空間。同時,如何針對不同類型的多源遙感數(shù)據(jù)的異構(gòu)性特點,對多源異構(gòu)遙感影像數(shù)據(jù)進(jìn)行有效融合,完成大范圍水體區(qū)域的精確提取仍面臨巨大挑戰(zhàn)[16]。
圖1 同一河流流域的水體區(qū)域在不同時間點所對應(yīng)的多源異構(gòu)遙感數(shù)據(jù)的可視化圖像
對現(xiàn)有利用多源異構(gòu)遙感數(shù)據(jù)進(jìn)行大范圍水體區(qū)域提取方法分析可知,現(xiàn)有研究算法不足之處在于:大范圍水體區(qū)域提取的研究領(lǐng)域,同時構(gòu)建具備多源遙感影像數(shù)據(jù)信息和高精度水體區(qū)域分布真值信息的大規(guī)模遙感數(shù)據(jù)庫方面仍存在數(shù)據(jù)基礎(chǔ)的空白;包含云霧、陰影干擾的多源異構(gòu)遙感數(shù)據(jù)缺乏有效的多尺度融合手段;沒有深入挖掘水體遙感影像數(shù)據(jù)中深層次的高維特征。本文從以上三個角度出發(fā),構(gòu)建了一個基于哨兵一號合成孔徑雷達(dá)遙感數(shù)據(jù)和哨兵二號多光譜遙感數(shù)據(jù)的大規(guī)模多源異構(gòu)遙感數(shù)據(jù)庫,為大范圍水體區(qū)域提取的研究提供了包含全球不同地區(qū)水體的遙感數(shù)據(jù)作為數(shù)據(jù)基礎(chǔ)。隨后,提出了一種基于多源異構(gòu)遙感影像數(shù)據(jù)融合的水體提取深度學(xué)習(xí)模型,利用合成孔徑雷達(dá)成像不易受到云霧遮擋的成像特點及多光譜影像在波段覆蓋度廣的優(yōu)勢,由合成孔徑雷達(dá)影像提供水體區(qū)域的邊緣輪廓信息,并由多光譜影像提供水體區(qū)域的細(xì)部特征信息,完成遙感數(shù)據(jù)的多尺度特征融合。進(jìn)一步,針對異構(gòu)遙感影像在數(shù)據(jù)結(jié)構(gòu)上復(fù)雜的特點,基于數(shù)據(jù)深層次特征的提取過程,提出了一種面向深層特征提取的高維卷積單元結(jié)構(gòu),對遙感影像進(jìn)行高維特征提取。經(jīng)過對比現(xiàn)有水體提取方法中具有代表性的NDWI方法、機器學(xué)習(xí)領(lǐng)域的經(jīng)典算法支持向量機(support vector machine,SVM)以及深度學(xué)習(xí)領(lǐng)域的主流圖像分割U-Net網(wǎng)絡(luò)[17]、PSPNet網(wǎng)絡(luò)[18],驗證本文所提出方法在水體提取過程的多源異構(gòu)遙感數(shù)據(jù)融合和深層特征提取方面的性能。
本文的研究技術(shù)路線如圖2所示。
圖2 研究技術(shù)路線
首先,本文構(gòu)建了一個面向大面積區(qū)域水體提取的大規(guī)模多源異構(gòu)遙感數(shù)據(jù)庫;隨后,提出了一種多源異構(gòu)遙感數(shù)據(jù)融合模型,并通過所設(shè)計的高維卷積單元實現(xiàn)異構(gòu)遙感數(shù)據(jù)的深層特征提??;最后,采用主觀和客觀評價方法對本文所提出方法的水體提取效果進(jìn)行性能評估。
為開展大范圍水體區(qū)域識別研究任務(wù),本文建立了一個大規(guī)模多源異構(gòu)遙感數(shù)據(jù)數(shù)據(jù)庫,研究對象涉及全球不同大洲的自然河流的水體區(qū)域,數(shù)據(jù)類型包括了合成孔徑雷達(dá)遙感數(shù)據(jù)和多光譜遙感數(shù)據(jù),兩種遙感數(shù)據(jù)的信息如表1所示。
表1 哨兵一號及哨兵二號遙感數(shù)據(jù)參數(shù)信息
為保證衛(wèi)星數(shù)據(jù)的輪廓信息完整和數(shù)據(jù)內(nèi)容一致性,本文選取了哨兵一號衛(wèi)星合成孔徑雷達(dá)數(shù)據(jù)中的1號波段進(jìn)行數(shù)據(jù)庫構(gòu)建。同時,選擇了哨兵二號衛(wèi)星多光譜遙感數(shù)據(jù)中分辨率高于20 m的2、3、4、5、7、8、8A、11、12共9個波段進(jìn)行數(shù)據(jù)庫構(gòu)建。
其中,多光譜遙感影像來自Global RSIR數(shù)據(jù)集[19],該數(shù)據(jù)集包括了15 000幅96像素×96像素的全球水體樣本,并包含了2 700幅人工標(biāo)注的樣本。該類樣本的偽彩色可視化圖像及真值如圖3所示。
圖3 多光譜遙感影像樣本及真值
合成孔徑雷達(dá)影像來自哨兵一號遙感衛(wèi)星數(shù)據(jù)源。為滿足不同水體區(qū)域在同一時間點同時具備多光譜遙感影像和合成孔徑雷達(dá)影像的實驗數(shù)據(jù)條件,本文構(gòu)建了一個與Global RSIR數(shù)據(jù)集相匹配的大規(guī)模合成孔徑雷達(dá)遙感數(shù)據(jù)集。首先對合成孔徑雷達(dá)影像采集地點進(jìn)行了感興趣區(qū)域篩選過程,選擇了與多光譜遙感影像所對應(yīng)的水體區(qū)域相匹配的共12 000幅96像素×96像素的水體區(qū)域影像,并采用Labelme標(biāo)注軟件對其中1 800幅河流水體區(qū)域影像進(jìn)行基于手工的水體區(qū)域標(biāo)注,形成遙感樣本對應(yīng)的真值樣本,該類樣本及真值如圖4所示。
多源異構(gòu)遙感數(shù)據(jù)源所涉及的遙感數(shù)據(jù)種類多樣,不同遙感數(shù)據(jù)源在遙感影像空間分辨率、時間分辨率、光譜分辨率等特性上各不相同。傳統(tǒng)的多源遙感數(shù)據(jù)融合模型一般將不同的遙感數(shù)據(jù)分別采用包括基于歸一化指數(shù)閾值方法、機器學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)方法等不同類型方法進(jìn)行單獨分析[20],隨后在最終的分割輸出部分進(jìn)行數(shù)據(jù)融合,即其多源遙感數(shù)據(jù)的數(shù)據(jù)融合過程主要體現(xiàn)在對于分割結(jié)果的融合部分中。本文針對不同空間分辨率、光譜分辨率的多源異構(gòu)遙感數(shù)據(jù)源的融合識別過程,設(shè)計了一種基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的多源異構(gòu)遙感數(shù)據(jù)融合的水體提取模型,利用所設(shè)計的多尺度卷積神經(jīng)網(wǎng)絡(luò)模型,對不同類型的多源異構(gòu)遙感數(shù)據(jù)進(jìn)行多尺度的數(shù)據(jù)融合。相比于傳統(tǒng)方法只在輸出部分對結(jié)果進(jìn)行融合的策略,本文所提出的方法的融合策略更為多元化,該方法的模型如圖5所示。該網(wǎng)絡(luò)主要包含以下關(guān)鍵結(jié)構(gòu)。
1)多源數(shù)據(jù)輸入層。為實現(xiàn)兩種多源異構(gòu)遙感數(shù)據(jù)的數(shù)據(jù)融合過程,該模型設(shè)計了雙數(shù)據(jù)輸入通道,包括了低空間分辨率遙感數(shù)據(jù)輸入A和高空間分辨率遙感數(shù)據(jù)輸入B共兩個輸入通道。
2)多尺度特征提取層。針對高、低分辨率的多源遙感數(shù)據(jù)各自的異構(gòu)性特點,分別對模型中兩個輸入通道A和B對應(yīng)的特征提取層進(jìn)行了基于多尺度的特征結(jié)構(gòu)提取。其中,為輸入A通道連接了模型中的池化層數(shù)較淺的兩層影像特征提取網(wǎng)絡(luò)模塊,與低空間分辨率的遙感影像數(shù)據(jù)相匹配;為輸入B通道連接了模型中的池化層數(shù)較深的三層影像特征提取網(wǎng)絡(luò)模塊,與高空間分辨率遙感影像數(shù)據(jù)相匹配。該影像特征提取網(wǎng)絡(luò)模塊為多尺度全卷積網(wǎng)絡(luò),對輸入影像進(jìn)行了基于池化的逐級下采樣,在不同分辨率尺度級別對影像進(jìn)行特征提取。隨后,利用上采樣過程,將不同分辨率尺度的影像特征進(jìn)行拼接整合,得到當(dāng)前輸入類型的影像多尺度特征。
以本文所使用的哨兵一號合成孔徑雷達(dá)遙感影像數(shù)據(jù)和哨兵二號多光譜遙感影像數(shù)據(jù)兩種多源異構(gòu)遙感數(shù)據(jù)源為例,對圖5所示模型的具體過程進(jìn)行說明。針對空間分辨率較低的哨兵一號合成孔徑雷達(dá)遙感影像數(shù)據(jù)和空間分辨率較高的哨兵二號多光譜遙感影像數(shù)據(jù)的分辨率特點,按照空間分辨率與模型輸入的關(guān)系,分別將合成孔徑雷達(dá)遙感影像數(shù)據(jù)作為輸入A的數(shù)據(jù)源、多光譜遙感影像數(shù)據(jù)作為輸入B的數(shù)據(jù)源。隨后,在經(jīng)由影像特征提取網(wǎng)絡(luò)模塊分別獲取到輸入A和輸入B的影像多尺度特征后,基于圖像融合增強原理,采用矩陣乘法實現(xiàn)兩種類型影像輸入的多尺度特征融合過程。最后,采用基于Sigmoid激活函數(shù)的多層全卷積結(jié)構(gòu)實現(xiàn)最終的水體區(qū)域的分割過程,輸出水體提取結(jié)果。模型的損失函數(shù)采用了交叉熵?fù)p失函數(shù),該損失函數(shù)通過概率分布計算實現(xiàn)模型訓(xùn)練的梯度下降過程。
圖5 多尺度特征融合的多源異構(gòu)數(shù)據(jù)融合模型
針對大范圍水體提取過程中的傳統(tǒng)網(wǎng)絡(luò)模型的深層數(shù)據(jù)特征提取魯棒性低的問題,提出了一種高維卷積單元特征提取模型,如圖6所示,該模型與圖5所示模型的高維卷積單元相對應(yīng)。該模型主要包含以下模塊。
圖6 高維卷積單元特征提取模型
1)改進(jìn)殘差網(wǎng)絡(luò)模塊。為解決異構(gòu)遙感影像數(shù)據(jù)訓(xùn)練過程中模型不易收斂的問題,基于殘差網(wǎng)絡(luò)(residual network)原理對神經(jīng)網(wǎng)絡(luò)層進(jìn)行了改進(jìn)設(shè)計,增加了兩層特征維度分別為N和1的全卷積網(wǎng)絡(luò)層,旨在提升該單位在高維特征描述過程的表達(dá)能力。
2)參數(shù)泛化模塊。針對深度學(xué)習(xí)模型的有監(jiān)督訓(xùn)練過程中易出現(xiàn)的過擬合導(dǎo)致低泛化性能的問題,在該單元結(jié)構(gòu)前端設(shè)置了Dropout結(jié)構(gòu),利用該結(jié)構(gòu)在訓(xùn)練過程中將該層神經(jīng)元參數(shù)按照百分比隨機置0的機制,降低深度學(xué)習(xí)模型可能的過擬合問題[21],提升模型整體的泛化性能。
實驗基于本文構(gòu)建的面向大范圍水體提取的多源異構(gòu)遙感影像數(shù)據(jù)庫,對所提出的面向多源異構(gòu)遙感數(shù)據(jù)融合的水體提取模型進(jìn)行性能測試,同時對比了現(xiàn)有主流的水體提取算法。
實驗硬件環(huán)境為Intel-i7主板和GTX2080顯卡,軟件環(huán)境為Windows10操作系統(tǒng)和Python2.7語言環(huán)境。
在各算法的訓(xùn)練及測試過程中,首先隨機將數(shù)據(jù)集按照7∶3的比例進(jìn)行分割,隨后選擇其中70%的數(shù)據(jù)進(jìn)行算法模型訓(xùn)練,剩余30%進(jìn)行算法模型測試。最后,分別從客觀評價和主觀評價兩個方面的指標(biāo)進(jìn)行實驗結(jié)果分析。
在客觀評價方面,分別計算并對比了本文算法及現(xiàn)有算法在對于同一時相的水體區(qū)域進(jìn)行水體區(qū)域提取的定量準(zhǔn)確度,具體包括了準(zhǔn)確率P、召回率R,以及F1值共三項指標(biāo)。本文對比算法的參數(shù)設(shè)置如表2所示。按照上述指標(biāo)計算過程及算法參數(shù)設(shè)置,各算法的水體區(qū)域提取性能如表3所示。
表2 本文及對比算法的模型參數(shù)設(shè)置
表3 本文及對比算法的水體提取性能
由表3可知,NDWI算法因其經(jīng)驗閾值的局限性,無法適應(yīng)不同地域水體遙感光譜的變化差異,因此在大范圍水體提取任務(wù)上的準(zhǔn)確率較低。SVM方法的性能較NDWI有所提升,但準(zhǔn)確率仍處于較低水平。U-Net及PSPNet在大范圍水體提取任務(wù)的性能上較前兩者有明顯提升,其主要原因是深度學(xué)習(xí)模型所具有的感受野特征能夠更好地對不同區(qū)域的水體復(fù)雜遙感影像進(jìn)行判別。本文算法在水體提取的性能上,相比其他算法具有更好的準(zhǔn)確率和召回率表現(xiàn)。同時,通過對比無高維卷積單元算法和本文算法可知,本文算法的高維卷積單元對于遙感影像的深層特征進(jìn)行著重提取,進(jìn)一步提升了模型在大范圍水體提取任務(wù)上的深層特征提取能力。
為進(jìn)一步說明本文算法的性能,對本文算法及對比算法中識別性能較優(yōu)的U-Net算法進(jìn)行了基于人眼主觀評價的水體提取結(jié)果對比分析,如圖7所示。其中,圖7展示了測試數(shù)據(jù)集中四種云霧及陰影對于水體區(qū)域部分遮擋的典型場景,并分別對各場景的合成孔徑雷達(dá)影像、多光譜遙感影像、水體區(qū)域識別真值、U-Net算法以及本文算法的水體提取結(jié)果進(jìn)行了圖像展示和對比。分析圖6的對比結(jié)果可知,因?qū)Ρ人惴ㄖ行阅茌^好的U-Net模型為多光譜遙感影像的單輸入模型結(jié)構(gòu),對于云霧及陰影遮擋區(qū)域的水體無法完整提取,而本文算法的多源異構(gòu)遙感影像輸入結(jié)構(gòu)能夠利用合成孔徑雷達(dá)遙感影像進(jìn)行整體水體區(qū)域輪廓的提取,并基于多光譜遙感影像進(jìn)行水體區(qū)域細(xì)節(jié)的識別,同時本文提出的高維卷積單元進(jìn)一步提升了對于影像中水體區(qū)域的特征描述,因此本文算法在大范圍水體提取任務(wù)上的性能更優(yōu)。
圖7 本文算法及對比算法識別性能的人眼主觀評價過程
本文提出了一種基于多源異構(gòu)遙感數(shù)據(jù)的大范圍水體提取方法?;谒鶚?gòu)建的多尺度特征融合的多源異構(gòu)數(shù)據(jù)融合模型,由合成孔徑雷達(dá)影像提供水體區(qū)域的邊緣輪廓信息,并由多光譜影像提供水體區(qū)域的細(xì)部特征信息,同時結(jié)合所提出的高維卷積單元進(jìn)行深層特征提取,實現(xiàn)基于多源異構(gòu)遙感影像融合的大范圍水體提取。對比實驗表明,本文算法在包含全球不同地區(qū)水體影像的大規(guī)模多源異構(gòu)遙感數(shù)據(jù)庫中的水體提取準(zhǔn)確率達(dá)到了90.12%,相比于現(xiàn)有水體提取算法,本文算法對于大范圍水體提取的準(zhǔn)確率提高了3.73%以上,證明了其在大范圍水體提取任務(wù)上的魯棒性。在面向多源異構(gòu)遙感數(shù)據(jù)的水體提取領(lǐng)域,各類遙感數(shù)據(jù)在時間分辨率等方面均各不相同,針對不同類型的多源異構(gòu)遙感數(shù)據(jù),下一步考慮在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計方面進(jìn)一步進(jìn)行有針對性的組件設(shè)計,以適應(yīng)更多種類的多源異構(gòu)遙感數(shù)據(jù)組合,提升模型在不同類型遙感數(shù)據(jù)水體提取任務(wù)上的適用性。