楊智文 ，陳金云 ，張志遠(yuǎn)

（1．武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430079；2．重慶大學(xué)土木工程學(xué)院，重慶 400030；3．水利部信息中心，北京 100053）

0 引言

水庫(kù)是現(xiàn)代水利工程體系中最重要的基礎(chǔ)設(shè)施之一，截至 2018 年底，我國(guó)共有 9.8 萬(wàn)多座水庫(kù)，總庫(kù)容約為 8 953 億 m3[1]。水庫(kù)與電力、農(nóng)業(yè)、漁業(yè)等各類民生行業(yè)均有關(guān)聯(lián)，起著防洪、蓄水灌溉、供水、發(fā)電、養(yǎng)魚等作用[2]。另一方面，水庫(kù)的存在又會(huì)對(duì)環(huán)境、氣候及流域水質(zhì)有一定影響[3]。為實(shí)現(xiàn)對(duì)水庫(kù)的統(tǒng)一規(guī)劃調(diào)度和管理，將相關(guān)的社會(huì)和環(huán)境成本降至最低，需要掌握河網(wǎng)內(nèi)水庫(kù)的位置、大小和用途等信息。

監(jiān)測(cè)水庫(kù)的數(shù)量、位置、水體表面變化，能夠?yàn)楹侠砼渲脜^(qū)域水資源及抵御旱澇災(zāi)害等工作提供堅(jiān)實(shí)的數(shù)據(jù)支撐[4]，因此，建立系統(tǒng)的水庫(kù)數(shù)據(jù)庫(kù)是十分必要的。我國(guó)水庫(kù)數(shù)量多，分布廣，差異大，傳統(tǒng)的線下人工普查方式受到諸多因素制約，需要耗費(fèi)相當(dāng)?shù)娜肆ξ锪η也槐銋R總統(tǒng)計(jì)。采用遙感方法，能夠從遙感圖像中迅速且精準(zhǔn)地提取出水體信息，為動(dòng)態(tài)監(jiān)測(cè)水庫(kù)的時(shí)空變化提供了可能[5-6]。

目前國(guó)內(nèi)外利用遙感技術(shù)對(duì)水庫(kù)的相關(guān)研究大多為對(duì)已知水庫(kù)的監(jiān)測(cè)，如對(duì)水質(zhì)、水生生物、流量、庫(kù)容、庫(kù)區(qū)變化的動(dòng)態(tài)監(jiān)測(cè)。監(jiān)測(cè)庫(kù)區(qū)變化所使用的研究方法多為利用遙感影像進(jìn)行具體的庫(kù)區(qū)范圍提取與相關(guān)分析，早期提取方法多為波段閾值法，包括譜間關(guān)系法、水體指數(shù)法等，隨著計(jì)算機(jī)技術(shù)的發(fā)展，越來(lái)越多的學(xué)者將決策樹、支持向量機(jī)和面向?qū)ο蠓椒ǖ确诸惼鞣☉?yīng)用到相關(guān)研究中，后來(lái)又有學(xué)者結(jié)合 BP 和卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法模型進(jìn)行研究，此外對(duì)于庫(kù)區(qū)水體的識(shí)別提取還有數(shù)學(xué)形態(tài)學(xué)方法[7]、小波分析法[8]、基于 GIS技術(shù)輔助[9]和混合像元分解[10]的方法等。但水庫(kù)與湖泊、坑塘等大小水體有著非常相近的物理特征，當(dāng)使用遙感影像對(duì)大范圍區(qū)域內(nèi)的水庫(kù)直接進(jìn)行提取時(shí)，不易于將其與湖泊等水體區(qū)分開。為了將水庫(kù)的空間信息與屬性信息關(guān)聯(lián)起來(lái)，需要區(qū)域內(nèi)水庫(kù)的名稱及坐標(biāo)等數(shù)據(jù)，隨著網(wǎng)絡(luò)的普及，網(wǎng)絡(luò)上公開發(fā)布的信息量呈爆炸式地增長(zhǎng)，各行各業(yè)的相關(guān)政府部門也都有官方的門戶網(wǎng)站，因此對(duì)水庫(kù)的基礎(chǔ)屬性可以嘗試?yán)镁W(wǎng)絡(luò)信息進(jìn)行提取。

為此基于網(wǎng)絡(luò)公開信息與爬蟲技術(shù)，結(jié)合遙感影像分類方法，研究水庫(kù)水體自動(dòng)提取方法，進(jìn)行數(shù)據(jù)庫(kù)自動(dòng)更新，以解決傳統(tǒng)水庫(kù)提取方法中需要先驗(yàn)知識(shí)的問(wèn)題。

1 水庫(kù)自動(dòng)提取研究區(qū)域及數(shù)據(jù)

1.1 研究區(qū)概況

本次具體研究區(qū)域?yàn)楹笔∠虒幨?，擬得到其境內(nèi)水庫(kù)的地理坐標(biāo)及矢量分布圖。湖北省水域較多，所以境內(nèi)的水庫(kù)數(shù)量也比較多。咸寧市位于湖北省東南部，區(qū)域氣候溫和，降水充沛，四季分明，無(wú)霜期長(zhǎng)，為亞熱帶大陸性季風(fēng)氣候，境內(nèi)分布有富水、陸水、金水和黃蓋湖四大水系。

1.2 研究區(qū)數(shù)據(jù)

本研究從美國(guó)地質(zhì)調(diào)查局（USGS）網(wǎng)站下載覆蓋整個(gè)咸寧市的 L1TP 級(jí)別的 Landsat 8 遙感影像[11]，其單波段的空間分辨率為 30 m，全色波段的空間分辨率為 15 m。因研究范圍的地理跨度較大，故選擇4 個(gè)云量極少且處于豐水期的 Landsat 8 影像場(chǎng)景，以利于對(duì)水體的識(shí)別。

可以把遙感影像看成是光譜信息較多且含有地理信息的數(shù)字圖像，但是受外界環(huán)境及目標(biāo)需求等因素的影響，往往要對(duì)遙感影像做預(yù)處理，進(jìn)行一定的修正，從而消除誤差或滿足使用要求，才可以用于影像分類及信息提取。對(duì)遙感影像的預(yù)處理一般包括幾何、輻射（輻射定標(biāo)、大氣校正）、正射等校正[12-13]，有時(shí)受研究范圍及分辨率等因素的影響，還需要對(duì)影像進(jìn)行裁剪、鑲嵌和融合等處理。

根據(jù) Landsat 8 L1TP 產(chǎn)品數(shù)據(jù)說(shuō)明可知，美國(guó)航空航天局（NASA）官方已經(jīng)使用地面控制點(diǎn)和數(shù)字高程模型數(shù)據(jù)對(duì)影像進(jìn)行了幾何精校正，因此本研究?jī)H做輻射校正，不進(jìn)行幾何校正。

2 水庫(kù)自動(dòng)提取流程

水庫(kù)數(shù)據(jù)庫(kù)應(yīng)有名稱、坐標(biāo)和范圍等 3 項(xiàng)非常重要的基礎(chǔ)數(shù)據(jù)。對(duì)水庫(kù)的名稱及坐標(biāo) 2 項(xiàng)基礎(chǔ)屬性數(shù)據(jù)，嘗試通過(guò)網(wǎng)絡(luò)相關(guān)信息進(jìn)行更新，首先利用網(wǎng)絡(luò)爬蟲抓取咸寧市水利和湖泊局門戶網(wǎng)站上有關(guān)水庫(kù)的信息，然后進(jìn)行篩選，再用篩選得到的水庫(kù)名稱及地址信息調(diào)用百度和高德地圖應(yīng)用的API，獲取對(duì)應(yīng)的坐標(biāo)數(shù)據(jù)；對(duì)于水庫(kù)的范圍矢量數(shù)據(jù)，則利用遙感影像與水體提取的方法獲取。水庫(kù)自動(dòng)提取流程如圖 1 所示。

圖 1 水庫(kù)自動(dòng)提取流程

2.1 水庫(kù)名稱提取

網(wǎng)絡(luò)爬蟲是一種能夠按照既定規(guī)則對(duì) Web 網(wǎng)頁(yè)進(jìn)行遍歷檢索，并自動(dòng)提取使用者感興趣的信息的程序或腳本[14]。主要原理如下：在指定的互聯(lián)網(wǎng)子集合中讀取統(tǒng)一資源定位符（URL），訪問(wèn)及下載對(duì)應(yīng)的網(wǎng)頁(yè)內(nèi)容，并抓取頁(yè)面內(nèi)包含的 URL，從而繼續(xù)提取新 URL 對(duì)應(yīng)的網(wǎng)頁(yè)信息，完成對(duì)目標(biāo)數(shù)據(jù)的獲取、分析及呈現(xiàn)[15]。

利用爬蟲抓取水庫(kù)相關(guān)網(wǎng)絡(luò)信息的步驟如下：

1）打開咸寧市水利和湖泊局門戶網(wǎng)站，在站內(nèi)直接以“水庫(kù)”為關(guān)鍵詞進(jìn)行檢索，可以得到很多與水庫(kù)相關(guān)的信息條目，這些條目來(lái)自于各類導(dǎo)航中，說(shuō)明站內(nèi)信息基本都被檢索到。

2）進(jìn)入開發(fā)者模式，分析網(wǎng)頁(yè)布局結(jié)構(gòu)及源碼，查看各信息條目對(duì)應(yīng)的節(jié)點(diǎn)，需要提取的信息是文本屬性值，編寫爬蟲程序提取網(wǎng)頁(yè)的 HTML（Hyper Text Markup Language）代碼，再根據(jù) CSS（Cascading Style Sheets）選擇器進(jìn)行抓取，將這些信息條目的名稱、簡(jiǎn)介及正文內(nèi)容存儲(chǔ)起來(lái)。

3）進(jìn)行進(jìn)一步篩選，利用正則表達(dá)式匹配方法，以“水庫(kù)”為標(biāo)識(shí)符，對(duì)提取到的文本信息進(jìn)行檢索與匹配，將得到的結(jié)果去重后存儲(chǔ)到 CSV（Comma Separated Values）表格中。

4）進(jìn)行人工判讀篩選，把所有可能正確的水庫(kù)名稱都保存下來(lái)。

2.2 水庫(kù)坐標(biāo)提取

目前，各大地圖公司都開發(fā)了 Web 端應(yīng)用程序，整合了數(shù)據(jù)庫(kù)資源，并提供一些 API 以便用戶調(diào)用相應(yīng)功能從數(shù)據(jù)庫(kù)中獲取目標(biāo)數(shù)據(jù)，或是幫助開發(fā)者進(jìn)行某些地理功能的嵌套完成對(duì)個(gè)人地圖應(yīng)用的二次開發(fā)[16]。例如，百度地圖的 Web 服務(wù) API就提供了很多接口模塊，包括地點(diǎn)輸入提示，正、逆地理編碼等。

水庫(kù)坐標(biāo)提取步驟如下：

1）根據(jù)信息點(diǎn)（POI）分類，調(diào)用百度地圖API 直接檢索其數(shù)據(jù)庫(kù)資源。地點(diǎn)輸入提示接口可以作為一種地點(diǎn)檢索服務(wù)，通過(guò)匹配用戶輸入的關(guān)鍵詞內(nèi)容和檢索城市等限制，推薦給用戶 POI 地點(diǎn)列表，表中包括名稱、坐標(biāo)、數(shù)量等基礎(chǔ)數(shù)據(jù)。同理，還可以使用高德、騰訊地圖的 API 進(jìn)行數(shù)據(jù)庫(kù)檢索，提取出水庫(kù)名稱及對(duì)應(yīng)坐標(biāo)。

2）將得到的幾個(gè)水庫(kù)數(shù)據(jù)表格合并后去重。由于電子地圖的數(shù)據(jù)更新一般具有滯后性，僅依靠其數(shù)據(jù)庫(kù)對(duì)水庫(kù)信息進(jìn)行檢索，得到的結(jié)果與實(shí)際相比往往是不完整的。將該匯總表格與利用爬蟲提取的“水庫(kù)名稱”表格合并，以“水庫(kù)名”為關(guān)鍵詞去除重復(fù)項(xiàng)，在新的表格中就會(huì)得到一些沒(méi)有對(duì)應(yīng)坐標(biāo)的水庫(kù)名稱。此時(shí)進(jìn)一步擴(kuò)大搜索，在咸寧市水利和湖泊局網(wǎng)站或者百度上輸入沒(méi)有提取到坐標(biāo)的水庫(kù)名稱，尋找其具體所在地。

3）利用百度地圖 API 中的地理編碼接口，完成對(duì)表格中剩余水庫(kù)所在地坐標(biāo)的查詢，用戶可通過(guò)該功能將結(jié)構(gòu)化地址或地點(diǎn)名稱轉(zhuǎn)化為對(duì)應(yīng)的地理坐標(biāo)點(diǎn)（經(jīng)緯度）。得到的部分水庫(kù)提取結(jié)果如表 1所示。

2.3 水庫(kù)矢量提取

目前，對(duì)遙感影像解譯分類后進(jìn)行目標(biāo)提取是一項(xiàng)很重要的數(shù)據(jù)獲取手段[17-18]，利用遙感影像提取水體信息也是國(guó)內(nèi)外學(xué)者常用的方法。利用表 1的提取結(jié)果，得到咸寧市轄區(qū)內(nèi)水庫(kù)的點(diǎn)矢量分布圖，再以水庫(kù)坐標(biāo)點(diǎn)對(duì)覆蓋咸寧市的遙感圖像做緩沖區(qū)分析，可得到每個(gè)水庫(kù)坐標(biāo)點(diǎn)附近的遙感影像。

表 1 水庫(kù)位置及坐標(biāo)匯總數(shù)據(jù)的部分結(jié)果

從遙感影像中提取水體信息的方法有多種，根據(jù)使用的波段數(shù)目，一般可分為單波段和多波段兩大類。Xu[19]提出改進(jìn)的歸一化差異水體指數(shù)（MNDWI），該水體指數(shù)能有效抑制甚至消除建筑物、土壤及植被噪聲。因此，對(duì)于以城區(qū)為主要背景的水域，MNDWI 更適合對(duì)其中水體信息的增強(qiáng)和提取，表達(dá)式如下：

式中：Rg和Rm分別為綠光和中紅外波段反射率。

以 Landsat 8 圖像為例，其波段 3 為綠光波段，波段 6 為中紅外波段，各類地物地貌在其可見(jiàn)光及紅外光波段的 DN 值（遙感影像像元亮度值）如圖2 所示。當(dāng)使用式（1）處理 Landsat 8 多光譜遙感圖像時(shí)，水域?yàn)檎?，而城區(qū)、土地和植被通常為負(fù)值，這有效消除了陸地植被和土壤等信息，并保留了水體信息以供分析。

圖 2 各類地物地貌在 Landsat 8 遙感影像的可見(jiàn)光及紅外光波段 DN 值對(duì)比

統(tǒng)計(jì)處理所得的 MNDWI 圖像的灰度直方圖，利用自適應(yīng)雙峰閾值法進(jìn)行圖像二值化[20]，進(jìn)而剔除部分陰影區(qū)噪聲，并將水體和背景分離開，提取出水體信息。水庫(kù)水體的矢量化提取結(jié)果如圖 3 所示。

圖 3 咸寧市部分水庫(kù)坐標(biāo)點(diǎn)及分布矢量圖

對(duì)得到的水庫(kù)面矢量進(jìn)行后處理：利用面積指標(biāo)將破碎的且距水庫(kù)點(diǎn)較遠(yuǎn)的細(xì)小面塊剔除；對(duì)于一些面積較大但距水庫(kù)點(diǎn)較遠(yuǎn)的塊狀區(qū)域，一般是在緩沖區(qū)內(nèi)提取出的湖泊，也需要將其剔除；根據(jù)長(zhǎng)寬比等形狀因子指標(biāo)，將狹長(zhǎng)蜿蜒的并且未經(jīng)過(guò)水庫(kù)點(diǎn)的面塊剔除，這種一般是在緩沖區(qū)內(nèi)提取出的河流；根據(jù)就近原則，在水庫(kù)點(diǎn)的附近選出 1 塊合適的面塊作為其庫(kù)區(qū)范圍。

3 水庫(kù)自動(dòng)提取結(jié)果與分析

3.1 水庫(kù)提取數(shù)量驗(yàn)證

利用網(wǎng)絡(luò)信息對(duì)水庫(kù)名稱和坐標(biāo)進(jìn)行提取，得到的水庫(kù)共有 209 座（爬蟲抓取數(shù)據(jù)）；根據(jù)咸寧市水利和湖泊局官方公布的水庫(kù)責(zé)任人統(tǒng)計(jì)名單等數(shù)據(jù)，線下實(shí)際匯總出的咸寧市轄區(qū)內(nèi)水庫(kù)共有 561 座（官方公布數(shù)據(jù)）；已有的還有一份 2011 年官方公布的全國(guó)第一次水利普查的咸寧市湖泊及大中型水庫(kù)分布矢量圖，水庫(kù)共有 24 座（已有數(shù)據(jù)）。將三者進(jìn)行對(duì)比分析，分析結(jié)果如圖 4 所示。

可以看出咸寧市的水庫(kù)數(shù)量還是比較多的，在本研究中，由爬蟲提取出名稱的水庫(kù)數(shù)量約占實(shí)際匯總數(shù)量的 37%，其中大型和中型水庫(kù)的提取數(shù)量是完整的。而很多小型水庫(kù)，尤其是小（2）型水庫(kù)，可能因其太小或缺乏有效監(jiān)管等，導(dǎo)致網(wǎng)絡(luò)信息更新不及時(shí)，未能在咸寧市水利與湖泊局門戶網(wǎng)站找到相關(guān)報(bào)道，因此未能被爬蟲抓取到。

3.2 水庫(kù)提取范圍驗(yàn)證

根據(jù)統(tǒng)計(jì)資料匯總出的水庫(kù)坐標(biāo)點(diǎn)和已有的咸寧市湖泊及大中型水庫(kù)分布圖，通過(guò)目視解譯在遙感影像上選取真實(shí)水庫(kù)庫(kù)區(qū)作為樣本（按像元選取），統(tǒng)計(jì)水庫(kù)提取結(jié)果的混淆矩陣，如表 2所示。

圖 4 3 種方式匯總水庫(kù)數(shù)量的對(duì)比分析

由混淆矩陣計(jì)算出水庫(kù)提取結(jié)果的查準(zhǔn)率為 0.973 5，查全率為 0.611 3，針對(duì)單一指標(biāo)表征能力的不足，作為二者調(diào)和平均的F1分?jǐn)?shù)為 0.751?？梢?jiàn)被爬蟲抓取到名稱的水庫(kù)的范圍提取準(zhǔn)確率較高，而對(duì)水庫(kù)整體提取的完整程度偏低，這是因?yàn)楸狙芯績(jī)H通過(guò)網(wǎng)絡(luò)信息進(jìn)行數(shù)據(jù)獲取，沒(méi)有使用線下人工統(tǒng)計(jì)得到的水庫(kù)先驗(yàn)知識(shí)，有些提取出的小型水庫(kù)由于沒(méi)有對(duì)應(yīng)坐標(biāo)數(shù)據(jù)，也和噪聲一并被剔除了。今后可以擴(kuò)大爬蟲的檢索范圍，一方面針對(duì)其他各種相關(guān)網(wǎng)站抓取水庫(kù)信息進(jìn)行補(bǔ)充，另一方面除了抓取文字信息外，還可以將相關(guān)網(wǎng)站中的各類附件抓取下來(lái)，再進(jìn)一步對(duì)附件內(nèi)容進(jìn)行分析和篩選，從而完善整理得到的水庫(kù)基礎(chǔ)數(shù)據(jù)，對(duì)缺失的水庫(kù)信息進(jìn)行補(bǔ)充，避免誤刪的情況。可以預(yù)測(cè)，隨著網(wǎng)絡(luò)信息的持續(xù)發(fā)布與更新，本研究的提取結(jié)果將會(huì)逐步完整。

表 2 咸寧地區(qū)水庫(kù)提取結(jié)果的混淆矩陣 座

4 結(jié)語(yǔ)

本研究提出并實(shí)現(xiàn)了基于網(wǎng)絡(luò)爬蟲的水庫(kù)名稱檢索，完成了對(duì)水庫(kù)對(duì)應(yīng)坐標(biāo)的提取，最后利用遙感方法提取出水庫(kù)庫(kù)區(qū)面矢量。結(jié)合傳統(tǒng)的遙感水體提取方法，引入爬蟲技術(shù)抓取分析網(wǎng)絡(luò)信息，解決了傳統(tǒng)水庫(kù)提取方法中需要先驗(yàn)知識(shí)確定水庫(kù)坐標(biāo)的問(wèn)題，可以完成對(duì)水庫(kù)的自動(dòng)提取，從而及時(shí)發(fā)現(xiàn)新增水庫(kù)并對(duì)水庫(kù)進(jìn)行動(dòng)態(tài)變化監(jiān)測(cè)。

本研究也存在一些今后仍需完善的地方：

1）針對(duì)本次研究區(qū)域，提取到的水庫(kù)數(shù)量并不理想。有較多小型水庫(kù)的相關(guān)信息未能檢索到，導(dǎo)致水庫(kù)被識(shí)別為非水庫(kù)，而有些水庫(kù)則因?yàn)樗诘匦畔⒉粔蚓_，坐標(biāo)間發(fā)生重合。這是因?yàn)楸狙芯績(jī)H針對(duì)咸寧市水利和湖泊局門戶網(wǎng)站編寫了網(wǎng)絡(luò)爬蟲代碼，后續(xù)可以完善爬蟲腳本，對(duì)各下屬區(qū)縣的水利官方網(wǎng)站做進(jìn)一步檢索，還可以抓取一些工程招標(biāo)網(wǎng)站發(fā)布的相關(guān)信息，綜合各方網(wǎng)絡(luò)信息補(bǔ)充水庫(kù)相關(guān)數(shù)據(jù)。另外，本研究?jī)H統(tǒng)計(jì)了網(wǎng)絡(luò)文本信息，后續(xù)可以將公布有水庫(kù)情況的網(wǎng)頁(yè)內(nèi)含有的表格數(shù)據(jù)也抓取下來(lái)進(jìn)行分析。

2）本研究?jī)H利用爬蟲技術(shù)進(jìn)行網(wǎng)絡(luò)信息的抓取和簡(jiǎn)單篩選，通過(guò)對(duì)文本中指定位置的截取進(jìn)行數(shù)據(jù)清洗，最后獲取的水庫(kù)名稱仍需人工確定，后續(xù)可以考慮使用第三方庫(kù)分析文本整體語(yǔ)義，進(jìn)行語(yǔ)句分割和關(guān)鍵詞提取，例如 jieba 庫(kù)等，同時(shí)也可以利用自建詞庫(kù)進(jìn)行訓(xùn)練，從而對(duì)抓取到的文本信息自動(dòng)進(jìn)行語(yǔ)句劃分，將各文字段落逐句逐詞地分割，并提取出其中包含有水庫(kù)關(guān)鍵詞的相關(guān)詞匯。