張 海
(中山大學(xué)新華學(xué)院,廣州 510520)
隨著現(xiàn)代信息技術(shù)和互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,信息網(wǎng)絡(luò)已經(jīng)全面滲透到人們生活的各個(gè)方面,人們的工作和生活已經(jīng)完全離不開(kāi)現(xiàn)代信息科技和計(jì)算機(jī)技術(shù)。在地質(zhì)調(diào)查工作中,大數(shù)據(jù)集成服務(wù)的框架和體系已經(jīng)基本建立,當(dāng)前的大數(shù)據(jù)處理框架中,大量使用了現(xiàn)代的大數(shù)據(jù)文本搜索技術(shù),機(jī)器人學(xué)習(xí)與數(shù)據(jù)挖掘等技術(shù)。這些技術(shù)對(duì)于地質(zhì)調(diào)查工作的發(fā)展,產(chǎn)生了重大的推動(dòng)作用,但還遠(yuǎn)遠(yuǎn)不能滿足現(xiàn)狀。地質(zhì)調(diào)查工作是一項(xiàng)十分復(fù)雜且重要的工作,工作中需要處理的數(shù)據(jù)十分龐大,也十分復(fù)雜,所以,如何有效利用數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)的價(jià)值,提升服務(wù)技術(shù)的覆蓋率,真正發(fā)揮其作用,是人們關(guān)注的焦點(diǎn)問(wèn)題。
數(shù)字填圖包括野外地質(zhì)調(diào)查數(shù)據(jù)獲取技術(shù)及其成果一體化描述、組織、存儲(chǔ)、集成和發(fā)布,能完成野外手圖、總圖、材料圖、地質(zhì)圖等數(shù)據(jù)的儲(chǔ)存、交換和傳遞。并且對(duì)日常工作進(jìn)行梳理,建立完成的數(shù)據(jù)庫(kù),強(qiáng)調(diào)地質(zhì)圖和三維地質(zhì)模型等產(chǎn)品的價(jià)值,注重這些產(chǎn)品的不斷更新和發(fā)展。在地質(zhì)調(diào)查中,數(shù)據(jù)初始來(lái)源于地質(zhì)人員的直接觀察和思考,野外地質(zhì)調(diào)查數(shù)據(jù)的獲取技術(shù)是數(shù)字填圖技術(shù)的核心,而地質(zhì)調(diào)查與野外填圖數(shù)據(jù)的匯總,在數(shù)據(jù)模型中對(duì)相應(yīng)的數(shù)據(jù)進(jìn)行分析,提高野外地質(zhì)勘查路線規(guī)劃的定量化描述,工作的精準(zhǔn)度得到顯著提升,改變了傳統(tǒng)的數(shù)據(jù)采集的空間定位和采集方式。在空間數(shù)據(jù)采集和處理方面,以數(shù)據(jù)編稿原圖為基礎(chǔ),保證模型中的非結(jié)構(gòu)化的綜合數(shù)據(jù)能不斷被革新,完善和充實(shí)數(shù)據(jù)。地址三維模型主要是對(duì)地址填圖的PRB過(guò)程進(jìn)行羅占,構(gòu)建雙重的三維模型技術(shù)。數(shù)字填圖數(shù)據(jù)集成服務(wù)技術(shù),在地質(zhì)調(diào)查工作中的應(yīng)用發(fā)揮著重要的作用,數(shù)據(jù)模型的構(gòu)建,改變了傳統(tǒng)的工作模式,完善大數(shù)據(jù)環(huán)境下,局域網(wǎng)數(shù)據(jù)集成處理,并很好的實(shí)現(xiàn)了數(shù)據(jù)的交互和傳遞。
地質(zhì)調(diào)查中,網(wǎng)絡(luò)大數(shù)據(jù)處理的基本框架已經(jīng)建立并逐漸完善,在大數(shù)據(jù)處理流程中,涉及的大數(shù)據(jù)框架的數(shù)字填圖數(shù)據(jù)技術(shù)的應(yīng)用,是十分重要且關(guān)鍵的一項(xiàng)技術(shù),也是流程中非常重要的一個(gè)環(huán)節(jié),其應(yīng)用優(yōu)勢(shì)十分明顯。大數(shù)據(jù)處理使用Avro作為數(shù)據(jù)序列化的重要工具,對(duì)已有的地質(zhì)勘查數(shù)據(jù)結(jié)果進(jìn)行轉(zhuǎn)化,方便數(shù)據(jù)的相互傳遞,將其轉(zhuǎn)化為常用的格式,然后存儲(chǔ)到地調(diào)網(wǎng)中。為了不斷滿足高并發(fā)、低延時(shí)、交互式處理的需求,需要一個(gè)分布式的并行存取的數(shù)據(jù)庫(kù),最終實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的有效組織和管理。數(shù)字填圖數(shù)據(jù)集成服務(wù)系統(tǒng)中,就是利用大數(shù)據(jù)處理的規(guī)范化流程,選用分布式存儲(chǔ)工具,構(gòu)建一個(gè)面向列的分布式數(shù)據(jù)庫(kù),能對(duì)大數(shù)據(jù)進(jìn)行更精準(zhǔn)的處理,能實(shí)現(xiàn)大規(guī)模的隨機(jī)、實(shí)施查詢和訪問(wèn),數(shù)據(jù)的共享變得更加方便,自如的進(jìn)行大數(shù)據(jù)的存儲(chǔ),對(duì)數(shù)據(jù)結(jié)構(gòu)化和非結(jié)構(gòu)化的存取,也是非常規(guī)范的,整個(gè)信息網(wǎng)格平臺(tái),大數(shù)據(jù)處理的種類(lèi)繁多,而集成服務(wù)技術(shù),能將同類(lèi)型的數(shù)據(jù)組織在一起,以便與數(shù)據(jù)的訪問(wèn),便于數(shù)據(jù)分析和挖掘,其技術(shù)應(yīng)用效果明顯。
數(shù)字填圖數(shù)據(jù)集成服務(wù)技術(shù)在大數(shù)據(jù)環(huán)境中,應(yīng)用于地質(zhì)調(diào)查工作中,是一項(xiàng)重大的工作突破,也是拓展工作服務(wù)領(lǐng)域的重要舉措。但是,面對(duì)大數(shù)據(jù)的復(fù)雜環(huán)境,工作本身的復(fù)雜性,數(shù)字填圖數(shù)據(jù)技術(shù)集成服務(wù)管理成為一項(xiàng)重要的工作任務(wù),如何提升集成服務(wù)數(shù)控的有效管理,在保證數(shù)據(jù)被合理利用的同時(shí),還能保證數(shù)據(jù)的安全
大數(shù)據(jù)環(huán)境推動(dòng)了現(xiàn)代技術(shù)不斷走向集成化和數(shù)字化,數(shù)字填圖數(shù)據(jù)集成服務(wù)技術(shù)就是時(shí)代發(fā)展的重要產(chǎn)物,改變了數(shù)據(jù)處理方法,不斷完善數(shù)據(jù)挖掘和開(kāi)發(fā)的技能。為了進(jìn)一步實(shí)現(xiàn)數(shù)字填圖數(shù)據(jù)集成服務(wù)技術(shù)的應(yīng)用和推廣,必須加強(qiáng)集成服務(wù)技術(shù)的應(yīng)用管理,注重大數(shù)據(jù)的處理框架的構(gòu)建和管理,全面對(duì)大數(shù)據(jù)處理進(jìn)行規(guī)范化管理。
[1] 康瑛石,鄭子軍.大數(shù)據(jù)整合機(jī)制與信息共享服務(wù)實(shí)現(xiàn)[J].電信科學(xué),2014,30(12):97-102.
[2] 張秀東.電力調(diào)控大數(shù)據(jù)集成及管理技術(shù)研究與應(yīng)用[D].哈爾濱工業(yè)大學(xué),2016.
[3] 王藝霏,許大衛(wèi),李賢等.基于服務(wù)匹配的電網(wǎng)大數(shù)據(jù)服務(wù)資源整合技術(shù)[J].電子技術(shù)應(yīng)用,2016(z1).
[4] 余小高,余小鵬.基于Web服務(wù)、移動(dòng)代理和本體的教育大數(shù)據(jù)集成研究[J].信息通信,2017(9):35-38.
[5] 謝榕,劉亞文,李翔翔.大數(shù)據(jù)環(huán)境下衛(wèi)星對(duì)地觀測(cè)數(shù)據(jù)集成系統(tǒng)的關(guān)鍵技術(shù)[J].地球科學(xué)進(jìn)展,2015,30(8):855-862.