春 光
內(nèi)蒙古自治區(qū)航空遙感測繪院 呼和浩特 010010
前兩年,美國政府宣布投資2億美元拉動大數(shù)據(jù)庫相關產(chǎn)業(yè),將大數(shù)據(jù)庫上升為國家戰(zhàn)略。這個戰(zhàn)略將數(shù)據(jù)定為“未來的新石油”。未來對數(shù)據(jù)的占有和控制甚至將成為陸、海、空權之外的另一種國家核心資產(chǎn)。大數(shù)據(jù)庫時代深入發(fā)展已經(jīng)來臨。一方面,基于大數(shù)據(jù)的經(jīng)濟快速發(fā)展。依托大數(shù)據(jù)的智能電網(wǎng)、智慧交通、智慧醫(yī)療、智慧環(huán)保、智慧城市正在興起,另一方面,測繪導航方式和生產(chǎn)模式發(fā)生了根本改變。測繪導航逐漸突破以往后臺理論與技術支持的地位,由靜態(tài)處理轉為實時服務,攜眾多服務產(chǎn)品逐漸走向前臺,并直接應用于航空航天、地球物理、資源勘探、土地動態(tài)監(jiān)測、農(nóng)牧漁業(yè)、智能化交通管理等眾多領域,測繪導航正在逐漸過渡到具有現(xiàn)代意義的大數(shù)據(jù)時代。
現(xiàn)代意義的“大數(shù)據(jù)”是在互聯(lián)網(wǎng)發(fā)展、傳感技術的廣泛應用下而產(chǎn)生的。是指具有數(shù)據(jù)大、類型多、價值密度不均衡、動態(tài)特征不一樣、應用處理特征不同等特點,并且無法用傳統(tǒng)數(shù)據(jù)工具對其內(nèi)容進行抓取、管理和處理的信息集合。“大數(shù)據(jù)”雛形概念始于1970年哈佛大學關于材料、能源、信息是推動社會發(fā)展的3種基本資源的論述中。這也是美國在IT、信息資源等領域一家獨大的原因之一。大數(shù)據(jù)庫應用概念衍生于亞馬遜、Google等互聯(lián)網(wǎng)公司運營。隨著互聯(lián)網(wǎng)智能化,它在滿足需求的同時,也在創(chuàng)造新的需求。前者代表是Google,后者的典型則是Facebook。
具體表現(xiàn)在“4V”,即“Volume(量大)、Variety(類多)、Velocity(速度)、Veracity(準確性)。
首先是數(shù)據(jù)體量大。指大型數(shù)據(jù)集,由目前GB量級已經(jīng)達到了TB量級。隨著信息時代發(fā)展,還將出現(xiàn)YB級(2的80次方)的數(shù)據(jù)量。預計2020年數(shù)據(jù)產(chǎn)出量將是2009年的44倍還多。
其次是數(shù)據(jù)類別多。數(shù)據(jù)種類和格式日漸豐富,已沖破了結構化數(shù)據(jù)范疇,越來越多的數(shù)據(jù)屬于非結構化和半結構化的數(shù)據(jù)。例如智慧城市的大數(shù)據(jù)庫類型,最常見的有文本、圖像、音頻、視頻等類型,還有位置、方位、時間和動力學信息等其他類型數(shù)據(jù)。
第三是數(shù)據(jù)處理速度快。在數(shù)據(jù)量極大的情況下,不同種類的海量數(shù)據(jù)進行交叉查詢、檢索、分析處理的技術,是數(shù)據(jù)核心技術之一。語義分析技術、圖文轉換技術、模式識別技術、空間分析技術等等,都在大數(shù)據(jù)庫快速分析時獲得應用。目前,源于統(tǒng)計學、計算機科學、應用數(shù)學和經(jīng)濟學等領域的技術已經(jīng)開始并應用于大數(shù)據(jù)庫快速整合、處理、分析和可視化大中。
第四是指準確率高。這里不是指數(shù)據(jù)準確性,而是通過數(shù)據(jù)處理、挖掘和預測,數(shù)據(jù)呈現(xiàn)出的事務本源性真實可靠。移動互聯(lián)、社交網(wǎng)絡、電子商務大大拓展了互聯(lián)網(wǎng)的疆界和應用領域。人們在享受便利的同時,也無償貢獻著自己的“數(shù)據(jù)”。在互聯(lián)網(wǎng)上是“處處行跡處處痕”。收集分析海量的各種類型數(shù)據(jù),并快速獲取信息的能力,就是大數(shù)據(jù)技術魅力特征。
圍繞著信息戰(zhàn)、導航戰(zhàn)、指揮自動化、智能交通、智慧城市等應用的大數(shù)據(jù)建設已慢慢展開,測繪導航大數(shù)據(jù)體系特點越發(fā)凸顯。
(1)測繪導航數(shù)據(jù)實時化、動態(tài)化。目前已綜合應用了航天、航空、地面和水上等一切可使用的對地觀測技術,如GNSS快速定位定向技術、航天航空遙感測技術等。實現(xiàn)了實時動態(tài)獲取測繪導航定位數(shù)據(jù)、重力數(shù)據(jù)和遙感影像和遙感影像數(shù)據(jù)以及其他有關數(shù)據(jù)。
(2)測繪導航數(shù)據(jù)種類多樣化。現(xiàn)在大規(guī)模的視頻傳感器與三維激光、陀螺慣導、GNSS導航、遙感影像、GIS、智能手機進行綜合,在人們最需要的地點和路徑上動態(tài)地、多方位地采集并發(fā)布包括位置、影像、聲音、視頻、移動方向、速度及重力加速度等多類型數(shù)據(jù),將能極大地發(fā)揮測繪導航的優(yōu)點,可提供綜合智慧服務。
(3)測繪導航數(shù)據(jù)網(wǎng)絡化。傳統(tǒng)測繪導航是測繪導航單元外業(yè)采集后,存儲于單機設備中,數(shù)據(jù)交換需要“面對面”交流。網(wǎng)絡應用將使數(shù)據(jù)從內(nèi)部局域互聯(lián)網(wǎng)上信息發(fā)布的方向發(fā)展。測繪導航數(shù)據(jù)的查詢、傳輸、交換和服務全部在網(wǎng)絡進行,可實現(xiàn)“一站式”檢索、瀏覽和按權限下載,任何人在任何時候、任何地點都可能得到權限范圍內(nèi)的測繪導航數(shù)據(jù)服務。
(4)測繪導航數(shù)據(jù)應用廣泛化。測繪導航數(shù)據(jù)應用對象的轉換,已從“內(nèi)部”到“開放”,從“專業(yè)”到“公眾”。測繪導航數(shù)據(jù)從公益性、專業(yè)性測繪導航保障向整個社會產(chǎn)業(yè)體系的應用方向擴展。從面向軍隊、政府、專業(yè)領域擴大到面向社會公眾,按需求、分密級向企業(yè)事業(yè)單位和社會公眾提供數(shù)據(jù)。由此,測繪導航數(shù)據(jù)在諸多領域如環(huán)境監(jiān)測與分析、災害監(jiān)測預警與評估、城市管理、交通、物流等領域都發(fā)揮作用,測繪導航數(shù)據(jù)的應用真正實現(xiàn)社會化。
(5)測繪導航數(shù)據(jù)重組及擴展化。傳統(tǒng)測繪導航數(shù)據(jù)數(shù)據(jù)需專業(yè)型數(shù)據(jù)專家,例如GNSS數(shù)據(jù)處理需專業(yè)的處理軟件解算。但隨著各類型數(shù)據(jù)采集系統(tǒng)逐步建立,人們需求及關注度發(fā)生了改變。對海量數(shù)據(jù)尤其是對空間相關的數(shù)據(jù)進行重組、擴展分析和挖掘,才能提供深層的測繪導航多樣化信息服務。測繪導航功能也由圍繞數(shù)字產(chǎn)品的“生產(chǎn)”轉向圍繞空間信息的全方位“服務”,其價值將比單個數(shù)據(jù)集總合更大。如衛(wèi)星導航地基增強系統(tǒng)數(shù)據(jù)結合交通信息數(shù)據(jù)、氣象信息數(shù)據(jù)、地圖信息將極大改變?nèi)松罘绞?,成為智慧城市基礎支撐。
(1)測繪導航大數(shù)據(jù)的思維還未完全轉變。盡管我們生活在大數(shù)據(jù)庫爆發(fā)時代,但傳統(tǒng)測繪導航作業(yè)模式仍然制約著思維模式。目光僅僅局限于數(shù)據(jù)本身以及數(shù)據(jù)本身所闡釋的主要現(xiàn)象。思維還是停留在樣本分析,還沒有關注全數(shù)據(jù)集分析;仍然執(zhí)著于數(shù)據(jù)的精確性,而忽視數(shù)據(jù)的多樣性;仍然探求數(shù)據(jù)因果關系,而沒有關注或利用數(shù)據(jù)的相關關系。正如一些專家學者指出:“對于空間信息應用的發(fā)展,我們中國是不是也可以有更多創(chuàng)新的思維。我們一定要把它所有的數(shù)據(jù)都提取出來其中的信息,才能夠被普通人應用;我們是不是用非常形象地景象去傳遞出去,會使更多人理解,我覺得中國需要更多的這種創(chuàng)新思維。”
(2)測繪導航大數(shù)據(jù)體系尚未建立。目前測繪導航數(shù)據(jù)采集和獲取具有現(xiàn)勢性,數(shù)據(jù)應用存在區(qū)域性,存儲數(shù)據(jù)存在時效性,數(shù)據(jù)處理存在專業(yè)性。測繪導航數(shù)據(jù)一般是應用部門針對特定任務采集和獲取,利用專業(yè)數(shù)據(jù)處理方法分析局部數(shù)據(jù)精度及屬性特征。如各省CORS信息中心計算機生產(chǎn)CORS差分信息,沒有地圖數(shù)據(jù)、遙感數(shù)據(jù)、光學影像數(shù)據(jù)、雷達激光掃描數(shù)據(jù)等支持。數(shù)據(jù)依然按行業(yè)類別、地域、企業(yè)被隔離成一個個信息孤島,還沒形成測繪導航大數(shù)據(jù)所必需的“測繪導航云”,未建立一套行之有效的測繪導航大數(shù)據(jù)理論與技術,還未開展相關技術研究和理論創(chuàng)新,無法對各種不同類型數(shù)據(jù)的關聯(lián)技術研究和理論創(chuàng)新,無法對各種不同類型數(shù)據(jù)的關聯(lián)進行深度挖掘及利用。不解決測繪導航大數(shù)據(jù)體系問題,數(shù)字地球、智慧城市、智慧自動化等建設將大打折扣。
(3)測繪導航數(shù)據(jù)標準規(guī)范不完善。自2008年,各測繪導航單位都搭建數(shù)據(jù)信息中心,用于存儲測繪導航數(shù)據(jù),每年生產(chǎn)任務產(chǎn)生大量數(shù)據(jù),加之目前各地CORS系統(tǒng)、地基增強系統(tǒng)、遙感接收站等產(chǎn)生了海量的數(shù)據(jù),這些數(shù)據(jù)沒有統(tǒng)一標準。由于政策、制度等限制,這些數(shù)據(jù)信息不能互聯(lián)互通,客觀上出現(xiàn)信息孤島。體現(xiàn)在實際工作中是“數(shù)據(jù)不知道從哪里要”“數(shù)據(jù)來了不知道是什么”“有了數(shù)據(jù)不知道怎么存”“來了數(shù)據(jù)不知道怎么用”“數(shù)據(jù)多了不知道怎么分析”,到工作結束數(shù)據(jù)也存在“放置或丟棄不用”等問題,導致數(shù)據(jù)重復性建設,資源浪費嚴重以及數(shù)據(jù)資源分布不均等現(xiàn)象,嚴重影響測繪導航保障工作的順利開展。
(4)缺少測繪導航大數(shù)據(jù)支撐系統(tǒng)。大數(shù)據(jù)建設不僅僅需要解決信息數(shù)理化,還要解決數(shù)據(jù)信息處理和預測。這需要建設落地的支撐大數(shù)據(jù)系統(tǒng)、數(shù)據(jù)存儲系統(tǒng)、數(shù)據(jù)管理和分析系統(tǒng)、共享服務平臺、安全保密系統(tǒng)等。目前,在測繪導航方面采用超站儀、衛(wèi)星導航接收設備、慣導設備、激光測量裝置及其他傳感器影像、位置、地理信息、聲音、人員信息等進行了數(shù)據(jù)化。但在使用過程中,多數(shù)類型數(shù)據(jù)摒棄不用,僅僅存儲測繪導航相關信息,沒有搭建成規(guī)模的數(shù)據(jù)分析處理、匯交、共享、安全等急需的測繪導航大數(shù)據(jù)支撐系統(tǒng)。由于沒有分析預測支持,僅能獲得如位置、姿態(tài)、距離、時間等信息,但效益分析、未來預測等關注較高的內(nèi)容無能為力,不能達到測繪導航保障真正水平。
(5)測繪導航大數(shù)據(jù)管控及數(shù)據(jù)挖掘不夠。面對以TB級、PB級計的海量導航觀測數(shù)據(jù),我們面臨著“數(shù)據(jù)有多有少”的矛盾局面,一方面數(shù)據(jù)多到無法處理,另一方面用戶需要的信息又不多,致使無法快速及時地回答用戶問題。目前針對單一功能的數(shù)據(jù)處理能力已基本具備。例如衛(wèi)星導航定位數(shù)據(jù)的處理已經(jīng)實現(xiàn)了自動化、智能化和實時化,已使空間導航位達到米級、分米級乃至厘米級精度。但實際僅僅關注位置信息,更多社會需求還需知道基于位置信息的其他信息,如通過位置、影響等分析物流環(huán)境情況,為決策者提供支持。對測繪導航數(shù)據(jù)進行深度分析和挖掘,也是目前測繪導航大數(shù)據(jù)未完全實現(xiàn)的功能。
(6)測繪導航大數(shù)據(jù)建設和管理人才短缺。制約測繪導航大數(shù)據(jù)建設,并為總部及領導機關提供輔助決策與態(tài)勢判斷的一個重要因素是人才短缺,尤其是缺少運用大數(shù)據(jù)提供決策支持的專業(yè)數(shù)據(jù)管理和分析師。專家預計,至2018年,美國大數(shù)據(jù)領域中深度分析人才缺口14~19萬。我國跟美國差距更大,測繪導航專業(yè)數(shù)據(jù)分析師與數(shù)據(jù)統(tǒng)計科學家?guī)缀鯖]有,需要通過培養(yǎng)和引進填補缺口,同時需要相當數(shù)量的專業(yè)技術人才進行適當?shù)脑倥嘤柣蚋挠?,支撐起測繪導航大數(shù)據(jù)建設。
現(xiàn)勢條件下,測繪導航大數(shù)據(jù)建設原則應該是“立足專業(yè),著眼急需,突出壁壘,加大管控,規(guī)范標準,科技創(chuàng)新”。
許多人已認識到測繪導航大數(shù)據(jù)體系建立會對戰(zhàn)場決策、政府決心起到積極影響。構建體系需要從數(shù)據(jù)采集、匯集、處理、分析、預測等方面著手,大力發(fā)展以傳感器技術、射頻識別(RFID)技術,導航定位技術、地理信息技術、圖像視頻技術等為基礎的感知能力,打破行業(yè)地域壁壘,信息共享,將多種時域、空域條件下戰(zhàn)場地理數(shù)據(jù)、導航視頻數(shù)據(jù)、地圖遙感影響數(shù)據(jù)等匯集形成空天一體化的空間數(shù)據(jù)庫,結合當前測繪導航應用特點以及發(fā)展趨勢,突破大數(shù)據(jù)關鍵技術,面向部隊、社會分布式測繪導航數(shù)據(jù)共享服務體系,解決信息孤島問題。
測繪導航數(shù)據(jù)數(shù)字化采集已經(jīng)基本解決,加強測繪導航數(shù)據(jù)智能化管空時開展網(wǎng)絡化服務和社會化應用的重要保障。急需大數(shù)據(jù)建設規(guī)范標準,包括測繪導航數(shù)據(jù)結構、類型、倉庫、元數(shù)據(jù)、模型等,這是匯集與分析多元數(shù)據(jù)的基礎和根本。同時重點開展數(shù)據(jù)中間技術、空間數(shù)據(jù)倉庫的數(shù)據(jù)安全管控技術、信息安全技術、分布式空間數(shù)據(jù)庫技術攻關,大力發(fā)展具有自主知識產(chǎn)權的智能化測繪導航數(shù)據(jù)庫管理系統(tǒng)。然而,美國“棱鏡門”為我國信息安全敲響了警鐘,大數(shù)據(jù)時代許多數(shù)據(jù)應用涉及公民財產(chǎn)安全甚至國家安全,尤其是測繪導航大數(shù)據(jù)價值極高,因此信息安全問題成為測繪導航假設的首要難題。
與騰訊擁有用戶關系數(shù)據(jù)和基于此產(chǎn)品的社交數(shù)據(jù)一樣,這些數(shù)據(jù)可分析人的生活和行為,從里面關聯(lián)、挖掘出政治、社會、文化、商業(yè)、健康等領域信息,甚至預測未來。基于測繪導航大數(shù)據(jù)的戰(zhàn)場感知、情報獲取等能力也離不開“測繪導航云技術”,主要研究基于測繪導航數(shù)據(jù)的虛擬化技術、NoSQL、實時流數(shù)據(jù)處理技術、智能分析技術等。
應在全國建設若干有特色的省級、帶動全系統(tǒng)測繪導航大數(shù)據(jù)匯集點。基于數(shù)據(jù)分析,帶動全系統(tǒng)測繪導航技術升級、生產(chǎn)組織的重構和測繪產(chǎn)品結構的調整,全面提升信息時代保障能力。重點發(fā)展以無人機導航遙感、地面移動測量等系統(tǒng)為主的機動、靈活測繪導航信息獲取與應急測繪導航保障技術;大力開展基于地基增強系統(tǒng)示范工程建設,應急測繪達導航數(shù)據(jù)挖掘預測技術,配置具有可視化及并行處理能力的大型數(shù)據(jù)匯集工廠,具備在網(wǎng)絡環(huán)境下自動流水線式處理的能力,以滿足多層次的測繪導航保障需求。
測繪導航事業(yè)發(fā)展至今天,從生產(chǎn)方式到數(shù)據(jù)應用,都發(fā)生了很多變化。我們需要結合測繪導航任務特點以及發(fā)展趨勢,通過政策統(tǒng)籌,打破行業(yè)、地域壁壘,建設健全共享機制,逐步建立完善大數(shù)據(jù)標準規(guī)范,建立區(qū)域乃至全國的測繪導航大數(shù)據(jù)體系。對測繪導航數(shù)據(jù)進行全流程管控,并培養(yǎng)一批能適應測繪大導航數(shù)據(jù)建設需求的高素質技術人才,共同迎接信息條件下測繪導航事業(yè)大數(shù)據(jù)時代的到來。
[1]劉曉明:國防科技大學《數(shù)據(jù)庫的測繪導航信息系統(tǒng)的開發(fā)》2013年02月.
[2]王峰:遼寧省基礎地理信息數(shù)據(jù)庫的設計思想與建設進展;測繪與空間地理信息;2008年06月.