李寶明,徐玲

(烏魯木齊市城市勘察測繪院,新疆維吾爾自治區(qū) 烏魯木齊市 830018)

0 引 言

2018年10月,習(xí)近平總書記在中央財(cái)經(jīng)委員會第三次會議上專門研究提高自然災(zāi)害防治能力,部署安排將實(shí)施“災(zāi)害風(fēng)險(xiǎn)調(diào)查和重點(diǎn)隱患排查工程”作為提高自然災(zāi)害防治能力“九項(xiàng)重點(diǎn)工程”的第一項(xiàng)基礎(chǔ)性工程,開展全國自然災(zāi)害綜合風(fēng)險(xiǎn)普查。后經(jīng)國務(wù)院批準(zhǔn),決定于2020年至2022年開展第一次全國自然災(zāi)害綜合風(fēng)險(xiǎn)普查工作。在普查工作中,房屋等建筑物作為承災(zāi)體,因其數(shù)量多、情況復(fù)雜及與人民生產(chǎn)生活密切相關(guān)等特性,是本次全國自然災(zāi)害風(fēng)險(xiǎn)普查工作的重點(diǎn)之一。烏魯木齊市第一次全國自然災(zāi)害綜合風(fēng)險(xiǎn)普查建筑物調(diào)查項(xiàng)目從2021年至2022年實(shí)施,按工作要求,以自治區(qū)建設(shè)廳統(tǒng)一的房屋建筑普查工作平臺為作業(yè)平臺進(jìn)行普查,該平臺的后臺基底數(shù)據(jù)為高分辨率衛(wèi)星遙感影像圖層和依托高分辨率衛(wèi)星影像采集的疑似建構(gòu)筑物輪廓圖層(任務(wù)圖斑),系統(tǒng)中建筑物僅包含輪廓信息,其他建筑物基本信息、建筑信息、抗震設(shè)防信息、使用情況、房屋建筑照片等需要實(shí)地調(diào)查、拍照,調(diào)查軟件平臺包括基于B/S架構(gòu)的電腦端和基于Android的App客戶端。

在烏魯木齊市歷年的相關(guān)地理信息建設(shè)項(xiàng)目中,積累了一定數(shù)量的相關(guān)數(shù)據(jù),如結(jié)構(gòu)、概略建筑面積、層數(shù)、兩違(指違法用地和違法建設(shè)行為)數(shù)據(jù)、農(nóng)村房屋安全隱患排查整治數(shù)據(jù)、興趣點(diǎn)等,這些數(shù)據(jù)包含了大量的普查任務(wù)所需信息,能將這些數(shù)據(jù)利用好,提前將已知的信息數(shù)據(jù)填入普查系統(tǒng)數(shù)據(jù)庫,待外業(yè)實(shí)地普查時(shí),只進(jìn)行現(xiàn)場核實(shí)和個(gè)別屬性信息普查,則可極大地減輕外業(yè)普查工作量、提高普查工作效率。但矛盾點(diǎn)是普查軟件平臺由省級建設(shè)主管部門提供,僅開放B/S架構(gòu)的網(wǎng)頁前端界面和基于Android系統(tǒng)的移動(dòng)端系統(tǒng),無批量數(shù)據(jù)統(tǒng)一提交填報(bào)接口,僅能通過人工逐條比對填報(bào)。

因此,如何將收集到的基礎(chǔ)地理信息數(shù)據(jù)、違法用地和違法建設(shè)行為數(shù)據(jù)、農(nóng)村房屋安全隱患排查整治數(shù)據(jù)和其他可利用專題信息數(shù)據(jù)在普查系統(tǒng)中進(jìn)行自動(dòng)化填報(bào),形成外業(yè)普查核實(shí)的基底數(shù)據(jù),最大限度減輕外業(yè)普查工作量、縮短普查工期是本文的研究核心內(nèi)容。

1 網(wǎng)絡(luò)自動(dòng)填報(bào)技術(shù)

Selenium是一個(gè)用于Web應(yīng)用程序測試的爬蟲工具。利用開發(fā)語言(Java、C#、Python)Selenium、WebDriver開發(fā)的工具可以模擬人工動(dòng)作直接運(yùn)行在常見瀏覽器中,其動(dòng)作根據(jù)程序的控制實(shí)現(xiàn)完全的擬人化操作,就像真實(shí)用戶在操作一樣,目前支持的瀏覽器包括IE,Mozilla Firefox,Google Chrome、Opera等[3]。因此,Selenium+WebDriver常用于B/S架構(gòu)軟件系統(tǒng)的測試和網(wǎng)絡(luò)數(shù)據(jù)爬取,基于該技術(shù)近年來的相關(guān)研究也較多,如高艷利用Selenium框架爬取了互聯(lián)網(wǎng)中崗位大數(shù)據(jù)并進(jìn)行了統(tǒng)計(jì)分析[4],侯志江研究了基于Selenium WebDriver自動(dòng)交互式數(shù)據(jù)采集技術(shù)進(jìn)行情報(bào)數(shù)據(jù)采集的可行性[5]等。

本文中,采取逆向思維,基于Python和Selenium進(jìn)行技術(shù)開發(fā),實(shí)現(xiàn)網(wǎng)頁自動(dòng)化打開、目標(biāo)信息自動(dòng)填報(bào)、自動(dòng)提交功能,即將前步中經(jīng)空間分析運(yùn)算形成的包含了結(jié)構(gòu)、層數(shù)、建筑物名稱、概略建筑面積、建筑高度、地址等普查任務(wù)所需絕大部分信息的普查任務(wù)圖斑數(shù)據(jù),按程序進(jìn)行自動(dòng)化填報(bào)。

2 總體技術(shù)路線

本文目標(biāo)為利用網(wǎng)絡(luò)自動(dòng)填報(bào)技術(shù),根據(jù)已有地理信息數(shù)據(jù)對普查任務(wù)數(shù)據(jù)進(jìn)行逐條自動(dòng)化地預(yù)填報(bào),將一部分普查任務(wù)轉(zhuǎn)變?yōu)楹藢?shí)任務(wù),減輕外業(yè)普查工作量、縮短普查周期,總體技術(shù)思路為,以基礎(chǔ)地理信息數(shù)據(jù)、違法用地和違法建設(shè)行為數(shù)據(jù)(兩違數(shù)據(jù))、農(nóng)村房屋安全隱患排查整治數(shù)據(jù)、興趣點(diǎn)數(shù)據(jù)、地址數(shù)據(jù)和普查任務(wù)圖斑為輸入數(shù)據(jù),利用相交分析、空間拓?fù)浞治龊涂臻g統(tǒng)計(jì)等空間分析技術(shù),將普查任務(wù)所需的結(jié)構(gòu)、層數(shù)、建筑物名稱、概略建筑面積、建筑高度、地址等信息掛接在普查任務(wù)圖斑上,再基于Selenium、WebDriver網(wǎng)絡(luò)爬蟲技術(shù)研發(fā)程序,以普查任務(wù)圖斑的編碼號為關(guān)聯(lián)信息,打開B/S結(jié)構(gòu)的普查平臺填報(bào)頁面,實(shí)現(xiàn)普查信息的自動(dòng)化填報(bào),形成外業(yè)普查核實(shí)基底數(shù)據(jù),將部分外業(yè)普查任務(wù)轉(zhuǎn)變?yōu)閮?nèi)業(yè)前置工作。

總體技術(shù)流程如圖1所示。

圖1 總體技術(shù)路線圖

3 關(guān)鍵代碼及實(shí)現(xiàn)

在利用Selenium爬蟲技術(shù)開發(fā)過程中,主要應(yīng)用到的屬性和方法包括對象元素定位、對象元素操作、鼠標(biāo)鍵盤事件模擬等。對象元素定位方法主要用于定位B/S結(jié)構(gòu)系統(tǒng)的網(wǎng)頁元素,以便后續(xù)對該控件進(jìn)行自動(dòng)化操作,主要方法包括按要素ID號查找(find_element_by_id)、按要素名稱查找(find_element_by_name)、按要素CSS屬性查找(find_element_by_css)和按要素類名稱查找(find_element_by_class_name)等;對象元素操作是對定位到的對象要素進(jìn)行操作,主要方法包括文本框內(nèi)容清除(clear)、文本框內(nèi)容輸入(send_keys)、要素點(diǎn)擊(click)、要素屬性獲取(get_attribute)、要素選擇(select_by_index、select_by_value等);鼠標(biāo)鍵盤事件模擬是模擬鼠標(biāo)或鍵盤對定位到的要素進(jìn)行操作,主要包括ActionChains類封裝的鼠標(biāo)右擊、雙擊、懸停、拖拽等功能和Keys類中封裝的模擬鍵盤動(dòng)作(send_keys)。

自動(dòng)填報(bào)功能的程序編寫過程中,編寫的關(guān)鍵過程函數(shù)有目標(biāo)數(shù)據(jù)定位查找、數(shù)據(jù)自動(dòng)填報(bào)和成果提交,關(guān)鍵過程代碼如下:

Def upload_auto()

{

For datanum =1 to datacount:

{

driver.find_element(By.ID,"房屋編號").send_keys(圖斑編號)

driver.find_element(By.ID,"按編號查找").click() #按普查圖斑編號查找并定位要素

……

driver.find_element(By.XPATH,"http://button[text()='調(diào)查']").click() #查找到調(diào)查按鈕并點(diǎn)擊,進(jìn)入填報(bào)頁面

driver.find_element(By.ID,"地址ID").send_keys(地址) #填寫地址;

driver.find_element(By.ID,"權(quán)利人").send_keys(權(quán)利人姓名) #填寫權(quán)利人信息;

……

driver.find_element(By.XPATH,"http://input[@id='層數(shù)' ]").send_keys(層數(shù)) #填寫層數(shù)

if 結(jié)構(gòu)類型 = "鋼筋混凝土結(jié)構(gòu)": #選擇結(jié)構(gòu)類型

driver.find_element(By.XPATH,"http://input[@id='鋼筋混凝土結(jié)構(gòu)' and @name='結(jié)構(gòu)']/..").click()

driver.find_element(By.ID,"調(diào)查面積").send_keys(面積) #填報(bào)面積

…… #其他信息的填報(bào)

driver.find_element(By.ID,"保存提交").click() #單擊保存進(jìn)行提交

driver.find_element(By.ID,"返回").click() # 單擊＂返回＂按鈕,返回到查詢界面,進(jìn)行下一條

}

}

4 結(jié) 語

第一次全國自然災(zāi)害綜合風(fēng)險(xiǎn)建筑物普查項(xiàng)目是國務(wù)院近年來開展的重大專項(xiàng)普查項(xiàng)目,任務(wù)量大,項(xiàng)目工期短,項(xiàng)目質(zhì)量控制難度大[6],如何結(jié)合好城市地理信息建設(shè)過程中積累的各類數(shù)據(jù)資源,變“普查”“調(diào)查”為“核查”,最大限度地減輕外業(yè)普查時(shí)的工作量,縮短項(xiàng)目周期,提高普查質(zhì)量,是值得研究的問題,本文利用地理信息空間分析技術(shù)和網(wǎng)絡(luò)爬蟲技術(shù),將烏魯木齊市歷年積累的與普查相關(guān)的地理信息數(shù)據(jù)資料應(yīng)用于本次普查任務(wù),將與自然災(zāi)害綜合風(fēng)險(xiǎn)建筑物普查相關(guān)信息進(jìn)行了提取組合,并實(shí)現(xiàn)了將這些信息在普查系統(tǒng)中的自動(dòng)化填報(bào),將原本的大部分外業(yè)普查工作變成了核查,根據(jù)項(xiàng)目實(shí)施情況,現(xiàn)場普查時(shí)間平均縮短了二分之一左右,尤其是農(nóng)村中的無人院落,極大地減輕了外業(yè)普查工作量,縮短了項(xiàng)目普查周期,效果明顯,為其他具有類似需求的普查項(xiàng)目的開展提供了一定參考經(jīng)驗(yàn)。