邵琥翔,丁 鳳,楊 健,鄭子鋮
(1.福建師范大學(xué) 福建省陸地災(zāi)害監(jiān)測評估工程技術(shù)研究中心,福州 350007; 2.福建師范大學(xué) 地理科學(xué)學(xué)院,福州 350007; 3.中國科學(xué)院 空天信息創(chuàng)新研究院,北京 100094)
黑臭水體是呈現(xiàn)令人不悅的顏色和散發(fā)令人不適氣味的水體的統(tǒng)稱[1]。黑臭水體嚴(yán)重影響了群眾生活的生態(tài)環(huán)境,造成嚴(yán)峻的水環(huán)境污染[2]。近年來,隨著經(jīng)濟(jì)社會的快速發(fā)展,我國的眾多城市均產(chǎn)生了不同程度的黑臭水體污染問題[3]。
由于利用地面監(jiān)測手段難以對具有分散性和季節(jié)性的黑臭水體進(jìn)行快速識別[4], 因此利用遙感技術(shù)十分必要[5]。 靳海霞等[6](2017)通過計(jì)算水質(zhì)參數(shù)判斷北京市的河流黑臭程度; 曹紅業(yè)等[7](2017)分析了典型黑臭水體的光學(xué)特征, 提出基于實(shí)測遙感反射率的飽和度法和光譜指數(shù)法; 溫爽等[8](2018)通過黑臭水體光譜特征分析, 構(gòu)建了基于特征波段的單波段閾值算法、 黑臭水體差值指數(shù)法(DBWI)、 黑臭水體斜率指數(shù)法(SBWI)和歸一化黑臭水體指數(shù)法(NDBWI); 周寒等[9](2018)結(jié)合SIFT算法, 對遙感光學(xué)傳統(tǒng)的動態(tài)特征算法進(jìn)行改進(jìn), 識別黑臭水體在遙感影像上的動態(tài)特征; 占玲驊等[10](2019)基于實(shí)測高光譜數(shù)據(jù), 建立光譜分類體系, 定量反演上海市的水質(zhì)參數(shù), 對上海市水體特征構(gòu)建指標(biāo)體系實(shí)現(xiàn)對黑臭水體和非黑臭水體的區(qū)分; 姚月等[11](2019)以沈陽市城市建成區(qū)內(nèi)主要河流為研究區(qū), 發(fā)現(xiàn)黑臭水體的反射率光譜在綠光—紅光波段變化比一般水體平緩, 提出了一種基于反射率光譜指數(shù)(BOI); Wei等[12](2019)應(yīng)用了無人機(jī)載高光譜圖像, 引用Nemerow綜合污染指數(shù)(NCPI)對黑臭水體進(jìn)行監(jiān)測, 李玲玲等[13](2020)分析黑臭水體與一般水體的水色和光學(xué)特征, 構(gòu)建決策樹模型進(jìn)行黑臭水體識別; 在水體的遙感分級方面, 楊子謙等[14](2020)構(gòu)建了一種水環(huán)境遙感綜合評價方法, 可以較好地提取水質(zhì)較差的水體。
以上遙感黑臭水體提取方法多為遙感影像結(jié)合水質(zhì)參數(shù)進(jìn)行研究,證明了黑臭水體遙感信息提取的可行性,但存在實(shí)地采樣不便、確定閾值困難、同譜異物、自動化程度低等不足,難以及時快速地獲取黑臭水體范圍[15]。同時黑臭水體多為細(xì)小水體,常因地形地貌或人為原因而在遙感影像上存在特征不明顯的問題,應(yīng)用常規(guī)遙感方法準(zhǔn)確提取黑臭水體具備一定局限性。針對以上問題,本文提出一種針對黑臭水體遙感信息提取的深度學(xué)習(xí)模型,結(jié)合遙感指數(shù),在減少現(xiàn)場采樣數(shù)據(jù)的支持下重點(diǎn)關(guān)注黑臭水體和非黑臭水體的區(qū)別提取,再引入注意力機(jī)制,利用注意力機(jī)制能夠增強(qiáng)細(xì)小特征的優(yōu)點(diǎn)[16],提高黑臭水體的識別精度。
本文技術(shù)路線分為3個部分:第1部分為遙感影像預(yù)處理與數(shù)據(jù)集制作;第2部分為深度學(xué)習(xí)模型構(gòu)建;第3部分為引入注意力機(jī)制改進(jìn)模型。本文技術(shù)路線如圖1所示。
圖1 技術(shù)路線Fig.1 Technical routes for extracting black andodorous water body
廊坊市位于河北省中部偏東,地處海河流域中下游,北運(yùn)河、泃河、引泃等河流貫穿全市,總長度400余千米;鮑邱河、普池河、武河等排瀝河道總長度接近200 km。全市河網(wǎng)密布、遍布河渠,幾大水系縱橫交錯[17]。近年來廊坊市社會經(jīng)濟(jì)發(fā)展迅速,工業(yè)化、城鎮(zhèn)化快速發(fā)展,用水需求大量增加,進(jìn)而導(dǎo)致水生態(tài)污染嚴(yán)重。這些問題嚴(yán)重影響了廊坊市的健康發(fā)展[18]。
本研究黑臭水體考察地點(diǎn)為河北省廊坊市境內(nèi)包括城市黑臭水體及農(nóng)村黑臭水體,重點(diǎn)考察了廊坊市八干渠。
八干渠是廊坊市區(qū)的一條主要排水渠道,位于廊坊城區(qū)以東,整體呈南北走向,擔(dān)負(fù)城區(qū)約67%的排水任務(wù)。上游及沿途匯入水體類型復(fù)雜且攜帶大量的污染物,導(dǎo)致水體的受污染程度日趨嚴(yán)重,污染現(xiàn)象頻發(fā),對周邊環(huán)境產(chǎn)生了種種不良影響。2016年,經(jīng)廊坊市水務(wù)局、建設(shè)局、環(huán)保局、農(nóng)業(yè)局聯(lián)合開展水體普查,確認(rèn)廊坊市八干渠為廊坊市建成區(qū)黑臭水體,并將八干渠黑臭水體治理工作列入年度重點(diǎn)城建工作計(jì)劃。
通過實(shí)地調(diào)查,廊坊市黑臭水體有如下幾個特征:
(1)黑臭水體顏色與非黑臭水體差異明顯,非黑臭水體多為較純凈的綠色或藍(lán)色,而黑臭水體一般為渾濁的灰黑色或墨綠色。
(2)黑臭分布范圍廣,河寬較窄,多為細(xì)小水體,流速較慢,水面多為生活垃圾等雜質(zhì),且多為斷頭河。
(3)黑臭水體往往離工廠或養(yǎng)殖場較近,附近有排污管道注入,生活廢水、工業(yè)廢水及農(nóng)業(yè)廢水直接排入河道,產(chǎn)生刺鼻難聞氣味[19]。
以上特征均作為本文在遙感影像上對黑臭水體的判斷依據(jù)。
獲取了采集于2017年的4景GF-2 PMS影像,其采集時間為2017年12月。影像無云遮蓋,圖像質(zhì)量較好。本研究對GF-2的預(yù)處理主要包括輻射定標(biāo)[20]、幾何校正、大氣校正[21]和影像融合等,最后獲得既有高空間分辨率,又有多光譜特征的影像。
結(jié)合地面真值數(shù)據(jù)對影像中的黑臭水體進(jìn)行人工標(biāo)注并制作標(biāo)簽圖像,將所有地物分為黑臭水體和背景地物2類,并對圖像進(jìn)行隨機(jī)數(shù)據(jù)增強(qiáng)。所做的數(shù)據(jù)增強(qiáng)過程如下:
(1)將原圖像和對應(yīng)的標(biāo)簽同時做隨機(jī)旋轉(zhuǎn),保證對應(yīng)的影像和標(biāo)簽旋轉(zhuǎn)角度一致。
(2)將原圖像與對應(yīng)的標(biāo)簽同時做鏡像處理,保證對應(yīng)的影像和標(biāo)簽鏡像后依然對應(yīng)。
(3)對圖像隨機(jī)增加噪聲,這一步可以使模型在受到一定程度的干擾下依舊保持性能的穩(wěn)定,增強(qiáng)了模型的魯棒性,使模型對訓(xùn)練數(shù)據(jù)集的敏感性降低。
為了豐富遙感影像的波段信息,使深度學(xué)習(xí)模型可以更好地學(xué)習(xí)黑臭水體相關(guān)特征,本文選擇歸一化差異植被指數(shù)(NDVI)和歸一化差異黑臭水體指數(shù)(NDBWI)進(jìn)行計(jì)算。
歸一化差異植被指數(shù)(NDVI)是反映植物長勢的重要參數(shù),可以很好地檢測植被覆蓋度,在本研究中可以更好地幫助模型對非黑臭水體的植被進(jìn)行識別。歸一化差異植被指數(shù)(NDVI)公式為
(1)
式中:Rrs(NIR)為近紅外波段的遙感反射率;Rrs(R)為紅光波段的遙感反射率。
歸一化差異黑臭水體指數(shù)(NDBWI)是基于黑臭水體的光譜特征構(gòu)成的,該指數(shù)可以較好地提取黑臭水體,在本研究中可以更好地幫助模型對黑臭水體進(jìn)行識別。歸一化差異黑臭水體指數(shù)(NDBWI)公式為
(2)
式中Rrs(G)為GF-2綠光波段的遙感反射率。
PSPnet(Pyramid Scene Parsing Network)模型中構(gòu)建有金字塔池化模塊(Pyramid Pooling Modul),該模塊通過整合不同區(qū)域的上下文,對圖像內(nèi)所有的像素進(jìn)行識別并提取目標(biāo)[22]。本文使用的PSPnet網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。
圖2 PSPnet網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 PSPnet structure
U-Net網(wǎng)絡(luò)基于全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolution Network,F(xiàn)CN)改進(jìn)得到[23]。該網(wǎng)絡(luò)結(jié)構(gòu)由收縮子網(wǎng)絡(luò)和擴(kuò)張子網(wǎng)絡(luò)2部分組成,收縮子網(wǎng)絡(luò)部分進(jìn)行特征提取,擴(kuò)張子網(wǎng)絡(luò)部分進(jìn)行上采樣。在上采樣過程中引入跳接層,把對應(yīng)尺度上的特征信息引入到上采樣。本文使用的U-Net網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。
圖3 U-Net網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 U-net structure
遙感影像中包含建筑物、農(nóng)田、道路、植被、裸地等多種地物類型,對提取結(jié)果的準(zhǔn)確性有很強(qiáng)的干擾,且黑臭水體形狀一般比較細(xì)小,因此,本文提出在模型網(wǎng)絡(luò)中引入注意力機(jī)制、抑制模型學(xué)習(xí)與黑臭水體無關(guān)的特征,重點(diǎn)學(xué)習(xí)與黑臭水體相關(guān)的特征,加強(qiáng)網(wǎng)絡(luò)對黑臭水體特征的提取。本文引入的注意力機(jī)制模塊為CBAM(Convolutional Block Attention Module),該模塊集成了通道注意力模塊(Channel Attention Module,CAM)和空間注意力模塊(Spatial Attention Module,SAM)[24]。
5.3.1 通道注意力模塊(CAM)
通道注意力模塊使卷積網(wǎng)絡(luò)更加關(guān)注圖像的哪些通道對網(wǎng)絡(luò)的最后輸出結(jié)果起更大的作用,即哪些特征對最終的預(yù)測影響最大。本文針對黑臭水體提取,在輸入影像中融合了NDVI和NDBWI,這2個指數(shù)對于模型學(xué)習(xí)黑臭水體特征或抑制非黑臭水體特征比原始影像的四波段具有更關(guān)鍵的作用。因此,引入通道注意力模塊可以使模型更關(guān)注輸入影像的NDVI指數(shù)通道和NDBWI指數(shù)通道,使模型達(dá)到更好的提取效果。
首先輸入的特征F在經(jīng)過空間維度上的長度和寬度全局最大池化后進(jìn)行全連接,再將F的長度和寬度進(jìn)行全局平均池化并進(jìn)行全連接,將以上2個池化的輸出結(jié)果輸入MLP多層感知器并相加,經(jīng)過Sigmoid激活函數(shù),生成通道注意力特征矩陣Mc,最后將輸出的結(jié)果與輸入的特征圖相乘,生成最終的通道注意力特征F′[25]。通道注意力模塊的計(jì)算公式如式(3)所示。通道注意力模塊結(jié)構(gòu)如圖4所示。
圖4 通道注意力模塊Fig.4 Channel attention module
Mc(F)=σ{MLP[AvgPool(F)]+
MLP[MaxPool(F)]} 。
(3)
式中:MPL為多層感知機(jī);σ為Sigmoid激活函數(shù)。
5.3.2 空間注意力模塊(SAM)
空間注意力模塊使卷積網(wǎng)絡(luò)更關(guān)注的是哪些位置的特征對網(wǎng)絡(luò)的最后輸出起到更大的作用,即哪些位置的信息對最終的預(yù)測影響最大,并提升關(guān)鍵區(qū)域的特征表達(dá)。根據(jù)野外實(shí)地考察結(jié)果,黑臭水體一般為細(xì)小水體,河道狹窄,多斷頭河,附近常有工廠或養(yǎng)殖場,這些空間特征對于黑臭水體的識別影響更大??臻g注意力模塊將原始圖片中的空間信息變換到另一個空間中并保留關(guān)鍵信息,為每個位置生成權(quán)重掩膜(mask)并加權(quán)輸出,從而增強(qiáng)感興趣的特定目標(biāo)區(qū)域,同時弱化不相關(guān)的背景區(qū)域。因此引入空間注意力模塊,能使模型更關(guān)注與黑臭水體相關(guān)的空間特征。
首先對加權(quán)后的特征F′進(jìn)行全局最大池化與平均池化,將所生成的特征進(jìn)行通道串接,再進(jìn)行卷積操作,然后利用 Sigmoid 函數(shù)激活輸出空間特征矩陣Ms,將該權(quán)重矩陣與特征圖F′進(jìn)行點(diǎn)乘運(yùn)算得到最終所需的空間特征圖F″。空間注意力模塊的計(jì)算公式如式(4)所示,空間注意力模塊結(jié)構(gòu)如圖5所示。
圖5 空間注意力模塊Fig.5 Spatial attention module
Ms(F)=σ{f7×7[AvgPool(F);MaxPool(F)]}。
(4)
式中:f為卷積層,f7×7為一個濾波器大小為7×7的卷積運(yùn)算; “;”為通道串接。
將通道注意力模塊與空間注意力模塊順序組合,構(gòu)成完整的注意力機(jī)制模塊,如圖6所示。
圖6 注意力機(jī)制模塊Fig.6 Convolutional block attention module
本實(shí)驗(yàn)為二分類實(shí)驗(yàn),選用F1-score、MIoU(Mean Intersection over Union)和混淆矩陣圖作為評定各模型精度的指標(biāo)。
F1-score是深度學(xué)習(xí)分類問題的常見衡量指標(biāo),表示精確率(precision)和召回率(recall)的調(diào)和平均數(shù)。本研究中精確率表示被模型認(rèn)為是黑臭水體的數(shù)量中實(shí)際確實(shí)是黑臭水體的數(shù)量的比例,召回率表示在模型預(yù)測中預(yù)測結(jié)果正確的占所有黑臭水體的比例,與混淆矩陣中的靈敏度(sensitive)相等。F1-score的公式為
(5)
MIoU即為均交并比,是真實(shí)值與預(yù)測值之間的交集平均值,MIoU公式為
(6)
式中:K為提取類別的數(shù)目;Pii為匹配像素的數(shù)量;Pij為i被分為j的數(shù)量;Pji為j被分為i的數(shù)量。
本研究中的混淆矩陣中第一象限為真實(shí)值是非黑臭水體,預(yù)測值是黑臭水體的比例;第二象限為真實(shí)值是非黑臭水體,預(yù)測值也是非黑臭水體的比例,即特效度(specificity),可以衡量模型對非黑臭水體的識別能力;第三象限為真實(shí)值是黑臭水體,預(yù)測值是非黑臭水體的比例;第四象限為真實(shí)值是黑臭水體,預(yù)測值也是黑臭水體的比例,即靈敏度(sensitive)或召回率(recall),可以衡量模型對黑臭水體的識別能力。
分別在PSPnet模型和U-Net模型中輸入RGB+NIR+NDVI+ NDBWI六通道組合影像,選取部分同時存在黑臭水體與非黑臭水體的區(qū)域展示提取結(jié)果。原始遙感影像與地面真值標(biāo)簽如圖7所示,其中原始遙感影像中方框位置為正常水體,真值標(biāo)簽圖中的深色標(biāo)簽為黑臭水體。原始PSPnet模型提取的黑臭水體結(jié)果如圖8所示,定量精度如表1所示。原始U-Net模型提取的黑臭水體結(jié)果如圖9所示,定量精度如表2所示。
圖7 原始遙感影像與地面真值標(biāo)簽Fig.7 Original remote sensing image and ground truthlabel
圖8 PSPnet模型提取結(jié)果Fig.8 Extraction results of PSPnet model
表1 PSPnet模型提取精度Table 1 Accuracy of PSPnet model extraction
圖9 U-Net模型提取結(jié)果Fig.9 Extraction results of U-Net model
表2 U-Net模型提取精度Table 2 Accuracy of U-Net model extraction
從以上提取結(jié)果中可以看出,2種原始模型輸入RGB+NIR+NDVI+NDBWI六通道組合影像時對非黑臭水體有較好的區(qū)別效果,但對細(xì)小形狀的黑臭水體提取效果較差,與真值標(biāo)簽差異較大;且有較多黑臭水體未被提取且提取結(jié)果不連續(xù),精度指標(biāo)較低,其中U-Net模型提取結(jié)果優(yōu)于PSPNet模型。
針對以上問題,為了進(jìn)一步提升黑臭水體的提取精度,在模型中引入注意力機(jī)制,在通道注意力和空間注意力兩方面加強(qiáng)模型對黑臭水體的識別。
在PSPnet模型中引入注意力機(jī)制模塊,結(jié)果如圖10所示,定量精度如表3所示。在U-Net模型中引入注意力機(jī)制模塊,結(jié)果如圖11所示,定量精度如表4所示。
圖10 引入注意力機(jī)制模塊的PSPnet模型提取結(jié)果Fig.10 Extraction results of PSPnet model with CBAM
表3 引入注意力機(jī)制模塊的PSPnet模型提取精度Table 3 Accuracy of PSPnet model extraction with CBAM
圖11 引入注意力機(jī)制模塊的U-Net模型提取結(jié)果Fig.11 Extraction results of U-Net model with CBAM
表4 引入注意力機(jī)制模塊的U-Net模型提取結(jié)果Table 4 Accuracy of U-Net model extraction with CBAM
由結(jié)果可知,引入注意力機(jī)制的模型對黑臭水體的提取效果要顯著高于原始模型,注意力機(jī)制良好改善了對黑臭水體的漏檢與錯檢問題,且提取的圖形連貫,與真值形狀接近。在模型對比方面,輸入RGB+NIR+NDVI+NDBWI六通道組合影像并引入了注意力機(jī)制的U-Net模型對黑臭水體的提取效果最佳,各項(xiàng)指標(biāo)均為最優(yōu),為本文中黑臭水體提取最優(yōu)模型。
本文基于GF-2遙感影像,利用ENVI、ArcGIS等軟件手動標(biāo)注真值標(biāo)簽,將將標(biāo)注圖像隨機(jī)分為訓(xùn)練集和驗(yàn)證集,分別進(jìn)行數(shù)據(jù)集增強(qiáng),實(shí)現(xiàn)黑臭水體數(shù)據(jù)集的建立?;诮⒌暮诔羲w數(shù)據(jù)集,利用PSPNet和U-Net網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練;針對黑臭水體與非黑臭水體區(qū)別難的問題,將原始遙感影像與NDVI指數(shù)波段和NDBWI指數(shù)波段進(jìn)行融合;針對形狀細(xì)小的黑臭水體難以被識別的問題,對模型進(jìn)行改進(jìn),引入注意力機(jī)制模塊,結(jié)果表明可以較好地改善對黑臭水體的漏檢和錯檢并且可以較好地提取形狀細(xì)小的黑臭水體。
本研究主要研究結(jié)論如下:
(1)在各模型中引入注意力機(jī)制,可以很好地幫助模型學(xué)習(xí)與黑臭水體相關(guān)的像素,在通道注意力和空間注意力2個方面抑制模型學(xué)習(xí)與黑臭水體無關(guān)的像素,并且對細(xì)小形狀黑臭水體提取困難的問題改善明顯。
(2)在本文所有模型中,引入注意力機(jī)制的U-Net網(wǎng)絡(luò)模型輸入RGB+NIR+NDVI+NDBWI六通道組合影像時具有最優(yōu)異的提取效果,其精度評價指標(biāo)F1-srore、MIoU、Recall分別達(dá)到了0.864 5、0.868 1、0.835 9,在研究區(qū)細(xì)小目標(biāo)黑臭水體提取精度、黑臭水體提取完整度、與非黑臭水體區(qū)分及邊界分割中相較于其他模型具有明顯優(yōu)勢。