劉春娥
摘要:在當前大數(shù)據(jù)時代的背景下,地質(zhì)數(shù)據(jù)海量數(shù)據(jù)的發(fā)現(xiàn)和提取難度加大,地質(zhì)數(shù)據(jù)信息的開發(fā)將面臨信息開發(fā)和知識服務的雙重挑戰(zhàn)。對大數(shù)據(jù)中地質(zhì)數(shù)據(jù)及其應用工作,面臨新時代下地質(zhì)資料管理的復雜背景,切實強化大數(shù)據(jù)信息化研究,進行地質(zhì)資料管理,實現(xiàn)合理、有效的針對性分析,挖掘具有內(nèi)在價值的地質(zhì)資料,使得地質(zhì)資料管理由被動向體現(xiàn)知識服務的轉(zhuǎn)變,能夠以更充分、更有效利用地質(zhì)資料,最終為社會發(fā)展提供更有力的支持和服務。
【關鍵詞】地質(zhì)大數(shù)據(jù) 地質(zhì)資料 信息化發(fā)展
地質(zhì)資料的數(shù)字資源主體是地質(zhì)調(diào)查工作形成的各種資料數(shù)據(jù),這是一種不同的數(shù)據(jù)格式,數(shù)據(jù)是地質(zhì)工作者的辛勤工作的結(jié)果,針對地理、地質(zhì)環(huán)境變化的記錄,是社會和國家安全的重要信息資源,包含難以估量的社會價值和經(jīng)濟價值。伴隨著互聯(lián)網(wǎng)和信息技術的發(fā)展,大數(shù)據(jù)越來越受到人們的關注和重視。來自大數(shù)據(jù)的信息風暴正在改變我們的生活和工作,并迎來一個變革的重大時代,這將帶來思想和管理的變革。在大數(shù)據(jù)的地質(zhì)數(shù)據(jù)信息時代做好工作,實現(xiàn)地質(zhì)數(shù)據(jù)的高效管理、信息化運作,通過合理的分析和挖掘地質(zhì)資料、強化地質(zhì)資料管理以及知識服務充分體現(xiàn)地質(zhì)數(shù)據(jù)的內(nèi)在價值和實用價值,進而能夠更加充分、更加有效地利用地質(zhì)資料,從而能夠為社會發(fā)展提供更多的有效的支持和服務。
1 大數(shù)據(jù)所具備的一般特征
1.1 數(shù)據(jù)量極其的龐大
對于一般的數(shù)據(jù)量而言,大數(shù)據(jù)它們的起初的計算量是相當龐大的,這也是之所以“大”的重要原因。一般來說,它們的計量單位最起碼是在PB這個層級,甚至有些數(shù)據(jù)量之大之多會一躍達到EB或者ZB層級(需要解釋的是1TB等同于1024GB,1PB等同于1024TB,1EB等同于1024PB,1ZB等同于1024EB),如果換算成具體的數(shù)據(jù)量,也就是說大數(shù)據(jù)能達到100萬GB、10億GB、1萬億GB的層級,或者隨著計算機技術的不斷強大而呈現(xiàn)千倍躍升趨勢。依照當今全球算得上權(quán)威的一些具備國際視野的數(shù)據(jù)公司進行的最前衛(wèi)和最前沿的研究探索和統(tǒng)計分析結(jié)論,2013年全世界形成了0.49ZB的龐大數(shù)據(jù)量,而2014年上升為0.8ZB,到了2016年甚至越過1ZB大關,達到1.82ZB,這個是相當體量的數(shù)據(jù)量。著名的計算機公司IBM公司就數(shù)據(jù)的問題做過一個非常細微的研究和討論,他們公司通過大量的計算和統(tǒng)計最后給出了一個令人震驚、但比較準確的論點,就是我們整個入類所獲取的全部數(shù)據(jù)中,90%是過去兩年內(nèi)產(chǎn)生的;而且,這個公司通過預測,2020年全球產(chǎn)生的數(shù)據(jù)體量將達到現(xiàn)在的44倍之多。
1.2 價值密度低
我們知道,隨著經(jīng)濟的快速發(fā)展以及互聯(lián)網(wǎng)技術的廣泛而又大范圍的應用,物聯(lián)網(wǎng)等新技術、新業(yè)態(tài)緊隨著產(chǎn)生或者發(fā)張壯大成為一個新鮮的事物并得到廣泛應用,而這種結(jié)果會導致全人類的信息資源越來越多,所能夠形成的信息意識也越來越大,無處不在的信息和汗牛充棟的信息量無疑已經(jīng)走進尋常百姓家。然而,很多信息的潛在價值和利用價值是比較低的,很多人所掌握的是比較碎片化的信息,因此利用起來比較麻煩。這就給日益發(fā)展壯大的大數(shù)據(jù)產(chǎn)業(yè)帶來很大的難題,因為這需要計算能力超強的機器還需要非常先進的計算機算法,這樣才能真正體現(xiàn)數(shù)據(jù)的的意義和價值。
1.3 速度快時效高
處理速度和時間效率要求非常的高,是我們當前的研究人員甚至是數(shù)據(jù)使用的公司人員對一些傳統(tǒng)統(tǒng)計數(shù)據(jù)進行分析挖掘所要實現(xiàn)的基本要求,也是其表現(xiàn)出來的顯著特點。我們都知道,在當前這個時代,科學技術對于數(shù)據(jù)利用發(fā)揮巨大的作用,通過一定的技術架構(gòu)和比較規(guī)范的技術使用路徑人類是很難一次性去處理體量龐大的數(shù)據(jù)的,也得不到相應的價值信息。通過前面的系統(tǒng)分析,我們可以得出一個結(jié)論,就是在大數(shù)據(jù)這個時代,對人類能力或者說頭腦提出了新的挑戰(zhàn),也提供了前所未有的發(fā)展的空間和巨大的潛力。
2 地質(zhì)資料數(shù)字資源特征
2.1 大量
信息技術的不斷完善,使得各種計算機設備、物聯(lián)網(wǎng)、云計算和云存儲技術逐漸提高了記錄數(shù)據(jù)的覆蓋范圍,并產(chǎn)生了大量的數(shù)據(jù)。截至2016年12月31日,全國地質(zhì)數(shù)據(jù)采集信息己達139830個,占據(jù)TB存儲空間的14.9%,數(shù)據(jù)量為320 TB,包括生產(chǎn)數(shù)據(jù)、原始數(shù)據(jù)等備份數(shù)據(jù)交換。
2.2 高速
對大數(shù)據(jù)的發(fā)展趨勢是數(shù)據(jù)挖掘的前期工作,地質(zhì)數(shù)據(jù)的實時數(shù)據(jù)處理的結(jié)果,完整的產(chǎn)品數(shù)據(jù)提供及時、有效的數(shù)字資源服務的應用程序,所以生產(chǎn)必須在數(shù)據(jù)處理快速高效的基礎上和過程中去實現(xiàn),越來越成為前端數(shù)據(jù)挖掘的同時,感知預測提前提供的直接服務對象進而實現(xiàn)個性化服務。
2.3 多樣
在大數(shù)據(jù)時代的數(shù)據(jù)格式也越來越多樣化,包括不同類型的數(shù)據(jù),如文本、音頻、圖像、視頻等,目前,全國地質(zhì)圖書館數(shù)字資源主要包括早期的紙介質(zhì)的地質(zhì)數(shù)據(jù)以及相當一部分的電子數(shù)據(jù),近年來通過信息化手段使得電子地質(zhì)調(diào)查數(shù)據(jù)從包括文檔數(shù)據(jù)的電子數(shù)據(jù)、數(shù)據(jù)表和數(shù)據(jù)庫文件,從空間數(shù)據(jù)的類型分為矢量數(shù)據(jù)和柵格數(shù)據(jù),等等,同時,這些專業(yè)的數(shù)據(jù)分類也很廣,包括海洋地質(zhì)調(diào)查、區(qū)域礦產(chǎn)勘查、調(diào)查,實現(xiàn)遠程探測水環(huán)勘探,地質(zhì)科研,技術研究及相關專業(yè)。
2.4 價值
數(shù)據(jù)的大量地質(zhì)調(diào)查結(jié)果是投入的人力和財力數(shù)以萬計,它包含了無法估量的社會價值和經(jīng)濟價值,所以這些珍貴的館藏地質(zhì)調(diào)查結(jié)果的數(shù)字資源進行安全有效的存儲和保鮮的需要,保證數(shù)字資源本身的安全性,長期有效的使用。
3 大數(shù)據(jù)背景下地質(zhì)資料信息化發(fā)展現(xiàn)狀和面臨的挑戰(zhàn)
3.1 地質(zhì)資料信息化發(fā)展的需要以及當前所處于的現(xiàn)狀
當前發(fā)展的階段,緊隨著計算機技術以及信息技術廣泛而深入的融入到社會的方方面面,各種各樣的數(shù)據(jù)的產(chǎn)生、集聚、融合、發(fā)酵、爆發(fā)就順理成章地引發(fā)了“大數(shù)據(jù)時代”的來臨,成為我們?nèi)祟惷鎸Φ奶魬?zhàn)和享受的紅利。在這個高度發(fā)達、高度集中的大數(shù)據(jù)時代,地質(zhì)行業(yè)以其特殊的屬性和特有的數(shù)據(jù)管理、開發(fā)運用以及社會服務等方面的實踐應用和探索,也會隨著發(fā)生翻天覆地的變化。我們知道,地質(zhì)資料數(shù)據(jù)與傳統(tǒng)方式或者算法獲得的數(shù)據(jù)資源進行比較,它具有特定的載體、特有的格式、特殊的渠道。對于一直通過手動測量、計算機簡單儲存運算的地質(zhì)數(shù)據(jù)而言,超體量的大數(shù)據(jù)資源,無疑對數(shù)據(jù)的管理和應用提出了新的高度,帶來新的挑戰(zhàn)。一方面,地質(zhì)行業(yè)對大數(shù)據(jù)有著很強的依賴性,這個是時代進步的產(chǎn)物,也是工業(yè)化、信息化的發(fā)展結(jié)晶,想必現(xiàn)在至不久的將來會有越來越多的地質(zhì)資料信息服務要求。另一個方面,信息技術發(fā)展到一定的高度對管理和服務提出了更高的要求,一旦相應的配套跟不上會產(chǎn)生不必要的麻煩。如何有效地進行儲存、查找和高效進行運用成為重要的課題。endprint
3.2 地質(zhì)資料海量數(shù)據(jù)的發(fā)現(xiàn)與提取難度加大
在大數(shù)據(jù)這個時代,計算機硬件不斷更新升級,軟件資源也隨之翻新配套,使得各種各樣的數(shù)據(jù)量的陡然劇增,在某些方面由于現(xiàn)有技術和認識的瓶頸問題甚至會出現(xiàn)數(shù)據(jù)“漲庫”的現(xiàn)象發(fā)生,一般意義上來說,隨著大數(shù)據(jù)將越來越多的地質(zhì)資料予以信息化處理而匯聚成龐大的信息化資源,這就需要相關的配套設施和措施要加速進行和迅速的推進,如果不能達到要求,但需要一個地質(zhì)資料信息的時候,盡管能夠進行相應的檢索,但檢索出來數(shù)據(jù)之多、體量之大難以進行有效的應用,甚至有些數(shù)據(jù)會被埋沒在海量的干擾項之中,如何快速地進行海量數(shù)據(jù)的檢索而又能夠準確快速高效地找到有用的信息也成為當前所面臨的問題。
4 大數(shù)據(jù)支持下的地質(zhì)信息化關鍵要素
4.1 地質(zhì)云平臺
簡單的講,地質(zhì)云就是借助通過一般地勘測、統(tǒng)計、分析所得到的地質(zhì)、礦產(chǎn)、物理等數(shù)據(jù),或者是通過一些高科技手段以及技術諸如遙感等信息技術所獲得的數(shù)據(jù),對地質(zhì)、水文等相關環(huán)境資源以及災害信息的相關數(shù)據(jù)的匯總和集合。比如說,當我們想了解一個區(qū)域的地形地貌、資源儲備等地質(zhì)數(shù)據(jù)的時候,我們會通過勘測、匯集或者通過大數(shù)據(jù)應用和服務,把能夠獲取到的數(shù)據(jù)進行充分的整合、傳輸、分析、研究、提取,建立一個基于地質(zhì)數(shù)據(jù)、應用于地質(zhì)服務的平臺,這種平臺就是地質(zhì)云平臺。它往往能夠?qū)崿F(xiàn)從數(shù)據(jù)到信息、信息到知識、知識到智慧的轉(zhuǎn)換,為多角度、多層次的服務于生產(chǎn)生活打下堅實基礎。
4.2 大數(shù)據(jù)應用服務系統(tǒng)
建立一個大型的地質(zhì)數(shù)據(jù)的應用服務系統(tǒng),使用3S的技術、網(wǎng)絡技術、云計算技術等,如集成地質(zhì)資料信息集成、深加工產(chǎn)品服務,研究和發(fā)展大型地質(zhì)數(shù)據(jù)和相關分析,更方便地進行數(shù)據(jù)挖掘使得獲取到的數(shù)據(jù)更有價值、有具實效性,而往往通過這樣途徑所獲取的數(shù)據(jù)能夠為我們提供全方位的生產(chǎn)生活服務和智能決策支持。
4.3 S技術標準體系
眾所周知,在一些空間信息管理、轉(zhuǎn)化、共享、應用等方面某些關鍵技術發(fā)揮了極其重要的基礎作用,無獨有偶,在地質(zhì)大數(shù)據(jù)建設方面同樣需要這樣的一些技術和服務。而且,在數(shù)據(jù)應用過程中必須遵循一定的技術標準和行業(yè)標準,只有這樣才能夠使得地質(zhì)大數(shù)據(jù)的應用能形成統(tǒng)一的格式、界面或者是安全、開放的標準,只有這樣才能為數(shù)據(jù)的開放共享、安全運用奠定堅實的基礎。當然,在統(tǒng)一、規(guī)范的過程中,會涉及一些諸如智能識別、遙感地質(zhì)、描述分類、協(xié)作共享、服務協(xié)議等方面的標準和規(guī)范,要注重這些項目的統(tǒng)一與協(xié)調(diào)發(fā)展。同時,建立系統(tǒng)完善的技術標準體系,要注重包含地質(zhì)資料的分類、收集、存儲、互動和服務等一些基本的要素,在此基礎上構(gòu)建基本標準和信息共享與服務標準。
5 大數(shù)據(jù)時代地質(zhì)資料信息化建設的有效策略
5.1 做好數(shù)字化轉(zhuǎn)換
數(shù)字化是信息化建設的前提和基礎,做好數(shù)字轉(zhuǎn)換的信息,可以通過數(shù)字技術的應用給支持信息系統(tǒng)。中國目前有比較豐富的地質(zhì)資料,只根據(jù)數(shù)據(jù)管理的傳統(tǒng)方法是保證所有的地質(zhì)數(shù)據(jù)的有效應用非常困難,所以數(shù)字發(fā)展成為地質(zhì)資料的地質(zhì)數(shù)據(jù)。在數(shù)字化轉(zhuǎn)型過程中的地質(zhì)資料,相關人員需要在原始地質(zhì)資料做一份好的工作,許多地質(zhì)數(shù)據(jù)的分類可以通過掃描,在輸入和輸入的形式,但仍然存在的地質(zhì)數(shù)據(jù)轉(zhuǎn)化利用現(xiàn)代數(shù)字技術的一小部分,在處理這部分數(shù)據(jù)的過程中,工作人員可以編輯目錄,這樣我們就可以在一定程度上,提高地質(zhì)資料管理和搜索效率。
5.2 強化知識創(chuàng)新
我國部分地區(qū)已經(jīng)建立了數(shù)字檔案館,通過互聯(lián)網(wǎng)進行信息共享。但需要注意的是,隨著現(xiàn)代信息技術的提高,傳統(tǒng)的數(shù)字檔案顯示出一定的滯后性,因此在數(shù)字圖書館建設過程中的地質(zhì)資料,除了對數(shù)字圖書館的基礎建設工作,也是提高數(shù)字信息管理的功能,增加系統(tǒng)的數(shù)字圖書館服務,加強和整合知識的分類。尤地質(zhì)數(shù)據(jù)數(shù)字數(shù)據(jù)庫主要提供知識服務,需要對其進行適當擴充,不斷提高知識服務的需求。
(1)提高數(shù)字圖書館的主動服務,為用戶服務的過程中,主動管理和查詢信息,滿足用戶需求,提高用戶的感知信息,從信息,更有利于深入的知識;
(2)加強對普通的知識管理,在編輯和在煉制過程中地質(zhì)資料中的應用,簡化了現(xiàn)有的信息,合理整合,提高創(chuàng)新知識,使地質(zhì)數(shù)據(jù)在網(wǎng)絡環(huán)境下得到更好的開發(fā)和利用。
5.4 做好保障支撐
網(wǎng)絡技術的飛速發(fā)展徹底改變了傳統(tǒng)的辦公和管理模式。由于地質(zhì)資料的保密性,各級采集機構(gòu)應根據(jù)數(shù)字資源地質(zhì)數(shù)據(jù)的特點,對網(wǎng)絡系統(tǒng)的內(nèi)外網(wǎng)進行單獨的網(wǎng)絡建設。內(nèi)部網(wǎng)絡物理隔離,并參考分類網(wǎng)絡的建設和管理,接收的主要實現(xiàn)方式,對數(shù)字資源加工等為主要業(yè)務的地質(zhì)數(shù)據(jù)管理;外部網(wǎng)絡用于互聯(lián)網(wǎng)門戶網(wǎng)站發(fā)布的服務支持,實現(xiàn)傳播、共享、查詢和在線地質(zhì)數(shù)據(jù)資源編輯。因此,利用光纖鏈路提供基本支持,機房專用用戶管理采用屏蔽線提供客戶端的網(wǎng)絡鏈路保護。數(shù)據(jù)一方面,以加強備份速度的安全措施為參考,設置全備份策略、備份和全局差分增量備份相結(jié)合,有效保護數(shù)字資源安全。另一方面,要加強信息安全措施,提高管理技術機密和保密意識水平,不定期組織計算機分類的自我審核,分區(qū)和加強對工作環(huán)境的管理,實現(xiàn)工作區(qū)域沒有任何互聯(lián)網(wǎng)連接。
參考文獻
[1]盛揚燕,周濤[譯].大數(shù)據(jù)時代[M].杭州:浙江人民出版社,2012.
[2]劉曉鴻,地質(zhì)大數(shù)據(jù)應用與地質(zhì)信息化發(fā)展的思考[J].中國礦業(yè),2016,11.
[3]王黔駒,地質(zhì)資料信息化建設對策[J],中國國土資源經(jīng)濟,2016 (01).
[4]朱衛(wèi)紅,美國地質(zhì)資料信息服務發(fā)展研究[J].中國礦業(yè),2013,22(09).
[5]丁克永等,地質(zhì)資料信息服務集群化產(chǎn)業(yè)化的理論與實踐[M].北京:科學出版社.2014.endprint