鄧 建
(天水三和數(shù)碼測(cè)繪院有限公司 甘肅 天水 741000)
測(cè)繪地理信息工作通常為,選擇適宜的測(cè)繪技術(shù),對(duì)被測(cè)量地區(qū)進(jìn)行詳細(xì)測(cè)繪,通過對(duì)地理數(shù)據(jù)進(jìn)行測(cè)量,將其融入至自然數(shù)據(jù)庫(kù)中?,F(xiàn)如今,隨著社會(huì)經(jīng)濟(jì)發(fā)展及科學(xué)技術(shù)創(chuàng)新,為測(cè)繪地理信息工作提供有力的地理數(shù)據(jù)支持。另外,在大數(shù)據(jù)時(shí)代,測(cè)繪地理信息工作對(duì)數(shù)據(jù)處理能力及成果的需求不斷提升,因此,亟需對(duì)大數(shù)據(jù)技術(shù)在測(cè)繪地理信息中的應(yīng)用進(jìn)一步深入研究。
互聯(lián)網(wǎng)技術(shù)發(fā)展迅速,對(duì)于信息傳輸方式以及存儲(chǔ)方式均會(huì)產(chǎn)生較大影響。在數(shù)據(jù)轉(zhuǎn)化過程中,多元化信息相互疊加,使得信息數(shù)據(jù)不斷積累,進(jìn)而形成大數(shù)據(jù),在大數(shù)據(jù)時(shí)代,大數(shù)據(jù)技術(shù)對(duì)于各個(gè)領(lǐng)域均產(chǎn)生較大影響。在大數(shù)據(jù)技術(shù)的實(shí)際應(yīng)用中,信息數(shù)據(jù)搜集范圍和途徑廣泛,數(shù)據(jù)信息量龐大,數(shù)據(jù)處理技術(shù)水平比較高,同時(shí)信息數(shù)據(jù)價(jià)值取向也具有多樣性特征。
大數(shù)據(jù)技術(shù)的處理方式主要包括以下幾個(gè)方面:第一,數(shù)據(jù)采集。在大數(shù)據(jù)采集過程中,可從多個(gè)數(shù)據(jù)庫(kù)同時(shí)入手,充分采納從客戶端傳出的大量數(shù)據(jù),用戶根據(jù)實(shí)際需要可直接訪問數(shù)據(jù)庫(kù),進(jìn)而查詢并獲取海量數(shù)據(jù)。比如,電商在數(shù)據(jù)存儲(chǔ)方面,可應(yīng)用MySQL,另外還有其他多種數(shù)據(jù)庫(kù)類型,如Cloudant也可應(yīng)用于海量數(shù)據(jù)采集中。利用大數(shù)據(jù)技術(shù)對(duì)地理信息數(shù)據(jù)收集,可多個(gè)用戶可同時(shí)訪問數(shù)據(jù)庫(kù),因此并發(fā)量比較高,甚至超過數(shù)百萬,由此可見,對(duì)于收集來的海量數(shù)據(jù),必須使用強(qiáng)大的數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)及管理。第二,數(shù)據(jù)導(dǎo)入以及數(shù)據(jù)預(yù)處理。采集端中含有大量數(shù)據(jù),需要對(duì)海量數(shù)據(jù)進(jìn)行預(yù)處理操作。第三,數(shù)據(jù)分析和統(tǒng)計(jì)。在數(shù)據(jù)統(tǒng)計(jì)以及分析過程中,要求合理應(yīng)用分布式數(shù)據(jù)庫(kù),通過應(yīng)用分布式數(shù)據(jù)庫(kù)即可進(jìn)行數(shù)據(jù)存儲(chǔ)以及匯總,確保能夠滿足不同客戶的個(gè)性化需要。第四,數(shù)據(jù)挖掘。數(shù)據(jù)挖掘與數(shù)據(jù)統(tǒng)計(jì)之間有一定不同之處,在數(shù)據(jù)挖掘前,首先需設(shè)計(jì)主題,然后再利用計(jì)算機(jī)進(jìn)行計(jì)算處理,進(jìn)而達(dá)到良好的預(yù)測(cè)效果。在數(shù)據(jù)處理中,常用工具類型包括Mahou以及Hadoop等等,數(shù)據(jù)預(yù)測(cè)分析難度比較大,同時(shí)數(shù)據(jù)預(yù)測(cè)復(fù)雜程度比較高[1]。
(1)提高工作能力。在地理信息數(shù)據(jù)處理分析中,需要開始廣泛采集大量的測(cè)繪地理信息,但是地理信息數(shù)據(jù)量龐大,并且類型比較多,因此,為了加強(qiáng)數(shù)據(jù)利用率和地理信息數(shù)據(jù)應(yīng)用價(jià)值,必須將大數(shù)據(jù)技術(shù)很好地應(yīng)用于測(cè)繪地理信息工作中。如此能夠獲取大量信息數(shù)據(jù),便于提高測(cè)繪工作的效率。
(2)構(gòu)建新的工作模式。在大數(shù)據(jù)時(shí)代下,為測(cè)繪地理信息工作帶來新的機(jī)遇。應(yīng)創(chuàng)建科學(xué)高效的信息系統(tǒng),并轉(zhuǎn)變傳統(tǒng)的工作方式。另外,在具體工作模式下,也可以加入云計(jì)算技術(shù),強(qiáng)化測(cè)繪地理信息工作技術(shù)保障。
(3)升級(jí)信息系統(tǒng)?,F(xiàn)如今,測(cè)繪技術(shù)發(fā)展迅速,傳統(tǒng)的測(cè)繪技術(shù)也逐漸暴露出很多不足,但地理信息仍有較好的發(fā)展前景。在傳統(tǒng)的測(cè)繪工作中,地理信息系統(tǒng),在較短時(shí)間內(nèi)很難獲取海量數(shù)據(jù),并且數(shù)據(jù)處理準(zhǔn)確性有待欠缺,進(jìn)而對(duì)地理信息工作效率有著一定影響。在大數(shù)據(jù)技術(shù)時(shí)代,為創(chuàng)新地理測(cè)繪工作方式,應(yīng)加快地理信息系統(tǒng)技術(shù)革新,積極推進(jìn)信息系統(tǒng)升級(jí)創(chuàng)新,提高信息數(shù)據(jù)處理準(zhǔn)確性和高效性[2]。
地理信息數(shù)據(jù)的類型比較復(fù)雜多樣,涉及圖形、屬性信息等各類結(jié)構(gòu)化數(shù)據(jù),同時(shí)還包含多種非結(jié)構(gòu)化數(shù)據(jù),包括文檔、視頻、圖片等等。由于信息數(shù)據(jù)量龐大,因此,可創(chuàng)建多源異構(gòu)地理信息數(shù)據(jù),使用大數(shù)據(jù)技術(shù)開發(fā)大數(shù)據(jù)處理平臺(tái),對(duì)大量數(shù)據(jù)進(jìn)行有效存儲(chǔ)和應(yīng)用管理。比如,在Hadoop分布式處理平臺(tái)的創(chuàng)建時(shí),可采用HDFS創(chuàng)建數(shù)據(jù)管理集群,對(duì)于數(shù)據(jù)管理集群節(jié)點(diǎn)的海量數(shù)據(jù),可結(jié)合當(dāng)前已有的數(shù)據(jù)量規(guī)模、實(shí)際需要等情況來優(yōu)化配置,集群中的大量節(jié)點(diǎn)可協(xié)同開展,從而提升數(shù)據(jù)存儲(chǔ)和計(jì)算效率。另外,對(duì)于結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù),可創(chuàng)建Hbase數(shù)據(jù)工廠對(duì)數(shù)據(jù)處理分析,構(gòu)成結(jié)構(gòu)化數(shù)據(jù),再存儲(chǔ)到Hadoop數(shù)據(jù)庫(kù)。除此以外,還需創(chuàng)建Hive數(shù)據(jù)倉(cāng)庫(kù),其中結(jié)構(gòu)化數(shù)據(jù),均可將其存儲(chǔ)至數(shù)據(jù)倉(cāng)庫(kù)中。通過聯(lián)合應(yīng)用Hive以及Hbase,能夠?qū)Υ罅拷Y(jié)構(gòu)化地理信息數(shù)據(jù)以及非結(jié)構(gòu)化地理信息數(shù)據(jù)統(tǒng)一高效存儲(chǔ)和管理。最后,在數(shù)據(jù)計(jì)算方面,可利用Mapreduce對(duì)數(shù)據(jù)進(jìn)行分布式計(jì)算及分析,通過結(jié)合Hadoop集群并行計(jì)算功能,提高海量數(shù)據(jù)處理效果,進(jìn)而組成完善的Hadoop框架,其結(jié)構(gòu)形式如圖1所示。
圖1 Hadoop架構(gòu)和HDFS的存儲(chǔ)管理模式
與傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和管理方式相比,分布式文件系統(tǒng)的存儲(chǔ)功能強(qiáng)大,其應(yīng)用優(yōu)勢(shì)主要體現(xiàn)在以下幾點(diǎn):第一,硬件優(yōu)勢(shì)。對(duì)分布式文件系統(tǒng)的計(jì)算機(jī)集群,可結(jié)合實(shí)際需要進(jìn)行調(diào)整,同時(shí)系統(tǒng)的兼容性以及可拓展性比較強(qiáng),用戶可根據(jù)個(gè)人需要調(diào)整節(jié)點(diǎn)數(shù)量,同時(shí)兼容多種硬件設(shè)備類型,確保能夠滿足動(dòng)態(tài)使用實(shí)際需要,同時(shí)還可促進(jìn)數(shù)據(jù)應(yīng)用率的提升。第二,數(shù)據(jù)管理和應(yīng)用優(yōu)勢(shì)。由于具備數(shù)據(jù)切塊處理功能,因此對(duì)于大規(guī)模文件也可進(jìn)行存儲(chǔ)和備份管理,另外,通過應(yīng)用各類名稱節(jié)點(diǎn),能夠很好提供用戶數(shù)據(jù)服務(wù),快速查找數(shù)據(jù),提高數(shù)據(jù)利用率。第三,系統(tǒng)冗余副本機(jī)制優(yōu)勢(shì)。在Hadoop分布式處理平臺(tái)的實(shí)際使用過程,能夠保證海量數(shù)據(jù)的安全性,如果某一副本出現(xiàn)故障,則其他副本依然能夠保持正常運(yùn)行狀態(tài)。另外,在高并發(fā)訪問數(shù)據(jù)時(shí),冗余副本機(jī)制可充分發(fā)揮其應(yīng)用優(yōu)勢(shì),提高數(shù)據(jù)傳輸效率,同時(shí)還可對(duì)錯(cuò)誤數(shù)據(jù)進(jìn)行檢查,保證數(shù)據(jù)安全性和可靠性。
測(cè)繪地理信息項(xiàng)目的數(shù)據(jù)生產(chǎn)過程中,計(jì)算機(jī)處理性能有著很大影響因素,通過進(jìn)行大數(shù)據(jù)分布式處理技術(shù),可實(shí)現(xiàn)海量數(shù)據(jù)的批量化處理,對(duì)流數(shù)據(jù)采取高效計(jì)算,同時(shí)還擁有圖結(jié)構(gòu)數(shù)據(jù)計(jì)算處理功能以及全局?jǐn)?shù)據(jù)查詢分析等功能,因此,通過將大數(shù)據(jù)技術(shù)應(yīng)用于測(cè)繪地理信息管理過程中,可創(chuàng)建良好的運(yùn)行環(huán)境,同時(shí)通過選擇專業(yè)化軟件,可開展大量多結(jié)構(gòu)地理信息數(shù)據(jù)處理。研究人員為了探究大數(shù)據(jù)技術(shù)的應(yīng)用優(yōu)勢(shì),選擇多元、多分率、多區(qū)域影像數(shù)據(jù),并分別開展影像處理試驗(yàn)、數(shù)據(jù)入庫(kù)試驗(yàn)、向前數(shù)據(jù)庫(kù)集構(gòu)建試驗(yàn)。測(cè)量區(qū)域面積為2.7×105km2,采用3號(hào)衛(wèi)星影像,并利用Pixelgrid-SAT軟件分別制作DEM、DOM以及DSM等,通過有效利用超融合技術(shù)創(chuàng)建分布式存儲(chǔ)云主機(jī)環(huán)境,并利用影像密集匹配技術(shù)提取DSM、正射影像處理、影像融合、勻色等等,本次數(shù)據(jù)處理所需時(shí)間為510min。當(dāng)并發(fā)任務(wù)為100個(gè)時(shí),每景處理時(shí)間在5min~6min之間,與傳統(tǒng)數(shù)據(jù)處理方式相比,處理效率顯著提升。另外,研究人員選擇傾斜影像、地理國(guó)情監(jiān)測(cè)以及三調(diào)影像一張圖開展試驗(yàn),并采用大數(shù)據(jù)存儲(chǔ)平臺(tái)進(jìn)行數(shù)據(jù)處理分析,在試驗(yàn)環(huán)境創(chuàng)建中應(yīng)用Fusion-Sphere搭建10臺(tái)虛擬機(jī)。在試驗(yàn)過程中選用多個(gè)地理信息專業(yè)軟件,并將其應(yīng)用至大數(shù)據(jù)應(yīng)用平臺(tái)中進(jìn)行并行處理。通過研究分析,利用大數(shù)據(jù)應(yīng)用平臺(tái)進(jìn)行數(shù)據(jù)處理,能夠有效加快數(shù)據(jù)處理速度,并且不會(huì)出現(xiàn)卡頓、無法編輯等問題[3]。
可利用大數(shù)據(jù)技術(shù)實(shí)施數(shù)據(jù)挖掘,開展多種結(jié)構(gòu)形式的地理時(shí)空數(shù)據(jù)高效處理工作,通過選擇有效數(shù)據(jù)對(duì)事物作出精準(zhǔn)的分析,為相關(guān)決策提供可靠依據(jù)。比如,對(duì)于全球夜光遙感影像資料,可利用大數(shù)據(jù)技術(shù)進(jìn)行處理。在GDP估算方面,通過廣泛收集夜光遙感影像資料并進(jìn)行處理和分析,即可了解區(qū)域經(jīng)濟(jì)發(fā)展情況,進(jìn)而避免在數(shù)據(jù)統(tǒng)計(jì)中出現(xiàn)偏差,彌補(bǔ)空間信息量不足的問題。由此可見,在大量時(shí)空數(shù)據(jù)中,很多數(shù)據(jù)的應(yīng)用價(jià)值比較高,但是海量數(shù)據(jù)分析有一定的難度,而通過利用大數(shù)據(jù)技術(shù),能提升數(shù)據(jù)處理能力及分析效率,據(jù)此對(duì)數(shù)據(jù)與事物之間的關(guān)系展開分析,進(jìn)而有效降低數(shù)據(jù)分析難度,充分挖掘數(shù)據(jù)的應(yīng)用價(jià)值。
(1)大數(shù)據(jù)背景下的測(cè)繪地理信息未來發(fā)展前景。大數(shù)據(jù)時(shí)代,要加快技術(shù)轉(zhuǎn)型發(fā)展。在數(shù)據(jù)處理方面,可從空天地專用傳感器拓展至物聯(lián)網(wǎng)中的多個(gè)非專用傳感器中,進(jìn)而提高數(shù)據(jù)獲取效率,同一時(shí)間,地理信息用戶群體也從專業(yè)用戶拓展至大眾用戶,提高時(shí)空信息資源數(shù)量。通過感知和分析時(shí)空動(dòng)態(tài)數(shù)據(jù),對(duì)數(shù)據(jù)變化情況進(jìn)行監(jiān)測(cè)。
(2)測(cè)繪地理信息服務(wù)技術(shù)創(chuàng)新。測(cè)繪地理信息資源具有舉足輕重的作用,在大數(shù)據(jù)時(shí)代,政府應(yīng)重點(diǎn)關(guān)注測(cè)繪行業(yè)發(fā)展,并加大技術(shù)、資金等投入量,驅(qū)動(dòng)地理信息服務(wù)技術(shù)革新和行業(yè)發(fā)展。在公共服務(wù)和管理方面,測(cè)繪地理信息能有效的提供服務(wù)?,F(xiàn)如今,國(guó)家政府已提議大測(cè)繪發(fā)展理念,
(3)注重測(cè)繪地理信息的管理。在公共服務(wù)和管理方面,測(cè)繪地理信息能有效的提供服務(wù)?,F(xiàn)如今,國(guó)家政府已提議大測(cè)繪發(fā)展理念。互聯(lián)網(wǎng)技術(shù)、信息技術(shù)、云計(jì)算技術(shù)高速發(fā)展,測(cè)繪地理信息服務(wù)業(yè)隨之發(fā)展,但是在管理工作中依然存在一些不足,比如安全隱患比較多、信息傳播不通暢等等,對(duì)此,要求加強(qiáng)業(yè)務(wù)管理模式創(chuàng)新,同時(shí)制定完善的法律規(guī)范。
(4)利用大數(shù)據(jù)實(shí)現(xiàn)深度挖掘地理信息。充分利用大數(shù)據(jù)技術(shù)分析地理信息數(shù)據(jù),對(duì)測(cè)繪服務(wù)有著較高的要求。在大數(shù)據(jù)時(shí)代,應(yīng)創(chuàng)新地理信息服務(wù)內(nèi)容并擴(kuò)大服務(wù)范圍,合理融入智能化技術(shù)創(chuàng)建智能傳感器,提高信息數(shù)據(jù)獲取速度,保證數(shù)據(jù)質(zhì)量,提高地理信息服務(wù)水平及行業(yè)發(fā)展。
綜上所述,本文主要對(duì)大數(shù)據(jù)技術(shù)在測(cè)繪地理信息中的應(yīng)用方式開展了詳細(xì)探究。在大數(shù)據(jù)時(shí)代,測(cè)繪地理信息工作隨之持續(xù)創(chuàng)新,對(duì)于以往的測(cè)繪模式以及數(shù)據(jù)處理模式均產(chǎn)生較大影響,對(duì)此,相關(guān)企業(yè)、測(cè)繪部門必須高度重視大數(shù)據(jù)技術(shù),將其有效應(yīng)用于測(cè)繪地理信息行業(yè)中,促進(jìn)測(cè)繪技術(shù)創(chuàng)新發(fā)展,強(qiáng)化測(cè)繪工作管理模式,并提高服務(wù)質(zhì)量。