代闖闖
摘 要 隨著信息技術與數(shù)據處理技術的不斷發(fā)展,人們逐漸認識到空間數(shù)據的存在及其巨大的價值,各國紛紛耗費巨資挖掘研究空間數(shù)據。文章主要討論了空間大數(shù)據的價值以及如何發(fā)掘空間大數(shù)據兩方面的問題。
關鍵詞 大數(shù)據;空間數(shù)據;挖掘利用
中圖分類號:TP391 文獻標識碼:A 文章編號:1671-7597(2014)16-0001-01
大數(shù)據又稱巨量資料,是指那些由于資料規(guī)模過于龐大,導致目前的數(shù)據處理技術難以在合理的時間內完成收集處理,并為企業(yè)經營決策所用的資訊。主要有4V特點,即數(shù)量大(Volume)、速度高(Velocity)、多樣化(Variety)、價值大(Value)。其中有八成以上的大數(shù)據屬于空間數(shù)據,它的開發(fā)利用對人類有重要意義。
1 空間大數(shù)據的價值
1.1 總體認知原貌
大數(shù)據的開發(fā)利用讓人類可以從虛擬信息世界中觀察到世界的全貌,在大數(shù)據產生以前,受空間數(shù)據采集、數(shù)據儲存、運算處理等能力的限制,概率統(tǒng)計工作只能從采用隨機抽樣的方法,根據樣本數(shù)據來推測全體數(shù)據。這就猶如盲人摸象,只是對局部數(shù)據有很深的了解,很難真正認識總體的規(guī)律和變化。
但是在大數(shù)據時代,人們可以收集存儲大量的數(shù)據,從而克服了抽樣調查的局限性。人們可以從大數(shù)據中了解世界的原貌,進而尋找其中隱含的規(guī)律。比如對氣象衛(wèi)星傳回的數(shù)據進行分析,從而準確進行天氣預報[1]。
1.2 基礎性資源
美國著名經濟學家詹姆斯·麥肯錫認為數(shù)據也是一種基礎性資源,甚至與物質資金、人力資源一樣重要,它可以為世界經濟創(chuàng)造巨大的價值。美國政府認為大數(shù)據是“未來的新石油”,關系到國家經濟的未來。
2 大數(shù)據下的空間數(shù)據挖掘
2.1 基本的大數(shù)據技術
基本的大數(shù)據技術有搜集、儲存、處理、表達以及評估。
1)搜集技術。大數(shù)據的產生與發(fā)展離不開移動設備、RFID技術、傳感技術、網絡技術、電子商務、追蹤系統(tǒng)等數(shù)據產品的發(fā)展。目前按照數(shù)據獲取方式可將空間數(shù)據分為點方式、面方式以及移動方式三種獲取方式。點方式獲取就是通過GPS接受終端、全站儀等逐點搜集地表的空間坐標;面方式獲取就是通過衛(wèi)星遙感、航空遙感等大面積獲取影像資料,并從中提取相關的幾何特征;移動方式獲取是將GPS、RS、GIS的技術手段植入對地觀測系統(tǒng)中,從而獲取、儲存、分析空間數(shù)據。
2)儲存技術。它是數(shù)據挖掘的基礎,其價值就是為不斷增加的大數(shù)據提供性能穩(wěn)定可靠、擴展性強的儲存管理方案。比如負載均衡、分布式數(shù)據儲存等。
3)處理技術。其任務是完成數(shù)據→信息→知識→智慧的轉變。比如地物疊加,空間數(shù)據的分析、挖掘、清理等,目標緩存以及影響分割等。
4)表達技術。顧名思義就是向用戶清楚、有效的表達數(shù)據中包含的信息,以提供新視角尋找難以掌握的數(shù)據。比如數(shù)字中國、3D地圖、數(shù)字模型、平面地圖等。
5)評估技術。由于大數(shù)據的數(shù)據量龐大、測量密度高所以很容易出錯,評估技術的作用就是盡量減少錯誤帶來的風險。比如邏輯性評估方法、基于異常值或者核算的評估方法[2]。
2.2 發(fā)現(xiàn)空間知識
發(fā)現(xiàn)空間知識就是指通過一系列的空間數(shù)據挖掘方法從空間大數(shù)據中提取出未知的、有價值、可解規(guī)則的技術,它是一個由空間數(shù)據發(fā)展到空間信息,再由空間信息發(fā)展到空間知識的過程??臻g數(shù)據發(fā)掘系統(tǒng)的作用在于將空間數(shù)據進行歸納整理,并升華成空間知識,再將這些新得到的知識與數(shù)據結合,做到對數(shù)據的處理、判斷和決策。空間知識具有自學習性、自提升性、普遍性等特點,所以容易被人們認可和利用,是決策的重要依據。
如果空間技術能夠廣泛應用于各行各業(yè)的話,那么人類的學習方式、工作方式、生活方式都會變得更加精細。從而有效提高資源利用率,減少資源浪費;促進人類生產力水平的發(fā)展。對于人類應對金融危機、能源危機、生態(tài)環(huán)境惡化等問題有巨大的幫助作用[3]。
2.3 萃取數(shù)據智能
所謂的數(shù)據智能就是對收集到的數(shù)據進行全面深入的分析,從中獲得更為系統(tǒng)、更為全面、更為新穎的知識用來解決相關問題。是一種能夠靈活、迅速、有效、正確、全面的理解問題和解決問題的能力??臻g數(shù)據智能主要由透徹的感知能力、廣泛的互動和智能化更加深入三大元素組成。三者協(xié)同合作,共同獲取數(shù)量更多、內容更加全面的數(shù)據信息,通過互聯(lián)網絡實現(xiàn)這些數(shù)據的傳遞、分享。并利用與之相關的技術和方法深入分析數(shù)據、挖掘數(shù)據,形成一個層次結構。
如果認為大數(shù)據的智能僅僅是將不同的數(shù)據挖掘技術簡單的疊加到一起,那就大錯特錯。它是一個擁有合理的組織機構、優(yōu)良的運行程序、強大的綜合功能的面向某一個應用行業(yè)的系統(tǒng)智慧。一個行業(yè)的系統(tǒng)結構越合理,那么內部的消耗就會越小,功效就會越大,系統(tǒng)智慧就會越高,反之就會越低。人和大數(shù)據的每一次交流互動就意味著可以以更為完美、更為高效的方法進行分析和計算,通過對不同地域、不同行業(yè)、不同部門的海量數(shù)據的分析,提取出與當前情況相符的信息,從而為解決問題提供有效的方案。比如美國遭受卡特里娜颶風襲擊后,受災地區(qū)的電力、通訊、交通等設施損毀情況嚴重,在這種情況下海岸巡邏隊的隊員就通過GPS的坐標來尋找災民[4]。
上述只是一些淺層次的數(shù)據智能,更深層次的是創(chuàng)造數(shù)據的新價值。一方面把空間大數(shù)據知識應用于各行各業(yè)可以產生許多新的知識,可以再次形成新的智慧表達形式,從而形成更深層次的知識挖掘機制,即在知識中挖掘知識。另一方面可以重新定義政府、企業(yè)與個人之間的交往互動方式,從而提高互動交流的明確性、準確性和靈活性。從傳統(tǒng)的單維度生產、消費,管理、被管理,向多維度的合作關系轉變。在這種關系下每個人以及每個組織都能夠自由、精確的傳遞信息和獲取信息,從而對對方的行為產生正面影響,從宏觀上實現(xiàn)智能運行效果。
3 結論
隨著科技的進步,人類的數(shù)據處理能力越來越強,人類逐漸認識到傳統(tǒng)的抽樣調查猶如盲人摸象,很難準確的了解總體數(shù)據的特征,所以人們開始研究大數(shù)據的運用方法。筆者從基本的大數(shù)據技術、發(fā)現(xiàn)空間知識和萃取數(shù)據智能三個方面向大家介紹了大數(shù)據下的人類對空間數(shù)據挖掘,希望對各位有所
幫助。
參考文獻
[1]王樹良,丁剛毅,鐘鳴.大數(shù)據下的空間數(shù)據挖掘思考[J].中國電子科學研究院學報,2013,05(04):18-22.
[2]王茜,何巨璞,黃瑞鋒.大數(shù)據下的空間數(shù)據挖掘思考[J].信息通信,2014,02(04):04-08.
[3]王鑫.基于形式概念的空間數(shù)據挖掘方法研究[J].遼寧科技大學,2012,04(10):19-33.
[4]于永玲,李向,宗思生,施進發(fā).基于校園GIS的空間數(shù)據挖掘系統(tǒng)原型[J].計算機技術與發(fā)展,2013,08(06):20-24.endprint