● 文|北京機電工程研究所 袁鴻翼
空間數據中心建設及其在智慧城市中的應用
● 文|北京機電工程研究所 袁鴻翼
1.數據的價值和重要性
近年來,隨著互聯網和信息行業(yè)的發(fā)展,大數據異?;鸨瑪祿牟杉?、存儲和使用成本迅速下降。過去50年中,存儲密度增長了5000萬倍,這使得大數據成為匹敵土地、勞動力和資本的新的生產要素,成為新的戰(zhàn)略資源。在生物、物理、生態(tài)、公共管理、市場營銷、軍事、金融、社會管理、醫(yī)療等行業(yè)均能找到大數據的身影,顯然,這不是單一行業(yè)的特有概念。亞馬遜前首席科學家Andreas Weigend直白的指出:“數據是新的石油?!?IBM執(zhí)行總裁羅睿蘭認為:“數據將成為一切行業(yè)當中決定勝負的根本因素,最終數據將成為人類至關重要的自然資源?!?/p>
目前,歐美、日韓等國已經將大數據上升為國家層面的戰(zhàn)略。將一個問題提升到國家與政府層面,說明其存在對社會和國家的綜合價值。我們所能獲得的數據量越大,能挖掘到的價值就越多,既包括科學價值,也包括產業(yè)、經濟價值。我國互聯網產業(yè)經過一段時間的發(fā)展,已經具備一定的數據分析基礎,在很多領域具有結合實踐發(fā)展的能力。但是大數據的價值密度比較低,有針對性地選擇和分析,才能使數據的價值最大化。
大數據來源眾多且相互關聯,真實有用為其最大的價值,大數據價值的公認規(guī)則是用數據說話,首要前提是保持大數據始終有用的活性,最終價值則是以大數據增進人類智慧。大數據作為一種重要的戰(zhàn)略資產,已經不同程度地滲透到每個行業(yè)領域和部門,其深度應用有助于國民經濟發(fā)展,對于推動信息產業(yè)創(chuàng)新、大數據存儲管理挑戰(zhàn)、改變經濟社會管理面貌等方面也具備重要意義。
2.大數據的發(fā)展趨勢
馬云在卸任演說中提到:“這是一個變化的世界,我們誰都沒想到我們今天可以聚在這里,可以繼續(xù)暢想未來,我跟大家都認為電腦夠快,互聯網還要快,很多人還沒搞清楚什么是PC互聯網,移動互聯來了,我們還沒搞清楚移動互聯的時候,大數據時代又來了?!?/p>
隨著數據量爆炸性地增長,大數據技術的發(fā)展也達到了前所未有的新高度。2014年12月13日,CCF大數據專家委員會(CCF Task Force on Big Data,CCF TFBD)在中國大數據技術大會上發(fā)布了《2015 大數據十大發(fā)展趨勢預測報告》。報告指出,2015年大數據的十大發(fā)展趨勢為:智能計算與大數據分析成為熱點、數據科學帶動多學科融合、與各行業(yè)結合實現跨領域應用、“物云移社”融合產生綜合價值、一體化平臺與軟硬件基礎設施夯實、大數據的安全與隱私保護、深度學習眾包計算的新計算模式突破、可視化分析與可視化呈現、大數據人才與教育、開源系統(tǒng)將成為主流技術和系統(tǒng)選擇。
大數據已成為社會關注的重要戰(zhàn)略資源,數據資源化勢在必行,物聯網、移動互聯網等新興計算形態(tài),將一齊助力大數據革命,讓大數據資源發(fā)揮出更大的影響。與此同時,隨之興起的數據挖掘、機器學習和人工智能等相關技術,將會改變數據世界里的很多算法和基礎理論,實現科學技術上的突破,基于數據這個基礎平臺,將建立起跨領域的數據共享平臺,這將成為未來產業(yè)的核心一環(huán)。
3.空間大數據的時代特點
人類行為70%屬于空間活動,空間數據是人們通過信息世界認識現實世界的基礎數據?!洞髷祿r代》一書的作者、大數據領域的權威發(fā)言人之一維克托·邁爾·舍恩伯格在書中前瞻性地指出,大數據帶來的信息風暴正在變革我們的生活、工作和思維,大數據開啟了一次重大的時代轉型。大數據是復雜數據集合,已經難以用現有的數據工具管理利用,而在這些數據中,空間數據占了絕大多數,大約80%以上的數據與空間位置有關。
空間大數據描述信息世界中的空間對象在現實世界內的具體地理方位和空間分布,包括空間實體的屬性、數量、位置及其相互關系等,涵蓋從宏觀、中觀到微觀的多個層次。在大數據飛速發(fā)展的時代背景下,與一般數據相比,空間大數據呈現空間性、時間性、多維性、空間關系復雜等時代特點??臻g數據都與某一對象或某一地點相關,空間數據中除包含以文字、字符為特征的非空間信息即屬性信息之外,還含有以拓撲關系、距離關系、方向關系為特征的空間信息;另外空間大數據具有空間自相關性,即每一個事物都與其它事物相關,但鄰近事物間的相關性比距離較遠的事物間的相關性要大得多。
概括而言,空間數據描述了現實世界各種現象的三大基本特點:空間、時間和專題屬性。空間特點是地理信息系統(tǒng)或者說空間信息系統(tǒng)所獨有的,它是指空間地物的位置、形狀和大小等幾何特征,以及與相鄰地物的空間關系。通過對空間關系的描述,可在很大程度上確定某一目標的位置,空間目標的空間位置也隱含了各種空間關系。嚴格來說,空間數據總是在某一特定時間或時間段內采集得到或計算得到的。專題特點是指除了時間和空間特征以外的空間現象的其他特點,如地形的坡度坡向、某地的年降雨量、空氣污染程度等。
而隨著空間信息技術的飛速發(fā)展,獲取數據的手段和途徑都得到極大豐富,遙感對地觀測已經成為社會、政治和經濟的發(fā)展決策不可或缺的重要組成部分,描述空間對象屬性的波段數目由幾個增加到幾十甚至上百個。遙感對地觀測技術正在形成一個多層次、多角度、全方位和全天候的全球立體對地觀測網。獲取到的空間數據量巨大,每天的數據增長量達到TB級乃至PB級,遙感技術的發(fā)展更加推動空間大數據時代的到來。
4.智慧城市發(fā)展的應用模式
智慧城市是在數字城市建立的基礎之上,現實世界與數字世界通過物聯網進行有效地融合,能夠自動并實時感知現實世界的變化信息,最終呈現出以大數據為核心的一種綜合應用。它是把信息技術充分運用的城市信息化高級形態(tài)。智慧城市基于移動互聯網、云計算、人工智能等新一代信息技術以及大數據、社交網絡等工具和方法的應用,實現全面感知、寬帶互聯、智能融合的應用以及可持續(xù)創(chuàng)新。官方統(tǒng)計資料的結果表明,中國的城市化率已超過50%,但交通擁堵、環(huán)境惡化、醫(yī)療困難等“城市病”卻日漸突出,因此,中國政府需加快建設新型城鎮(zhèn)化的步伐,智慧城市是將新型城鎮(zhèn)化和信息化相結合的最佳形式。
在智慧城市的建設與運轉中,定會產生大數據,如人口流動數據、環(huán)境監(jiān)測數據等。這些數據都能夠全面真實的反映城市問題,在城市發(fā)展的過程中起著舉足輕重的作用,可以說,數字城市是智慧城市的基礎,其核心是數據,而絕大多數都與空間數據相關。智慧城市的建設與應用帶來數據量劇增,大數據遍布智慧城市的各個領域,包括智慧交通、智慧生活、智慧醫(yī)療等。對大數據進行收集、存儲、分類、分析、再利用等一系列處理,形成量化與直觀的結果,為決策者提供參考??梢钥闯?,智慧城市產生大數據,大數據遍布智慧城市各行各業(yè),同時大數據為政府決策提供了依據。
大數據時代,智慧城市的發(fā)展應采用“數據中心+服務平臺+智慧城市應用”的總體架構模式,此處的數據中心可以是分布式多數據中心,包含若干個層級數據庫,整合各類資源、實現資源共享。其中,空間數據中心是以城市空間數據為基礎,涵蓋城市信息系統(tǒng)的基礎數據、業(yè)務數據、服務數據;而服務平臺是數據中心的依托,借助平臺的力量實現數據推廣與應用服務,使用全新的智慧方法,推進物聯網及智能信息技術,對城市現存的經濟、社會及城市各系統(tǒng)進行智慧化應用,最終成為互聯網、物聯網和云計算有機結合及廣泛應用的智慧化城市,推進城市可持續(xù)發(fā)展、增強城市功能、實現智慧城市應用。
空間數據與人類的衣食住行息息相關,其數量、大小和復雜性都呈現爆炸性的增長,大量的數據以文字、圖表、影像、多媒體等方式被累積存儲在空間數據庫中。標準的數據中心一般由八部分構成:基礎環(huán)境、業(yè)務系統(tǒng)數據庫、共享交換平臺、中心數據庫、數據應用、標準規(guī)范、安全體系和管理運行機制。對于城市而言,建設智慧城市需要的數據資源管理高度集中在數據中心,涵蓋了大量的部門業(yè)務系統(tǒng)以及相應的專題數據庫、主題數據庫、數據倉庫、數據共享與交換系統(tǒng)、資源服務系統(tǒng)以及建立在其上的綜合應用系統(tǒng)、決策支持系統(tǒng)、公眾服務系統(tǒng)等。
在大數據飛速發(fā)展的時代背景下,建設城市空間數據中心的重要性與必要性可見一斑。
打造“空間數據中心+綜合應用服務平臺”的數據中心模式逐步成為主流的建設方向,并延伸到智慧城市的市場理念。即打造一個完備的空間數據中心,在政府的整體指導下,整合各部門多元化的資源,集數據資源管理、分發(fā)、生產、服務于一體,建設空間信息綜合應用服務平臺,隨著智慧城市的建設與海量數據更新,發(fā)揮中心的作用,在服務平臺之上實現信息透明、服務共享,最終實現對行業(yè)內外用戶提供數據的行業(yè)與綜合應用服務。
空間信息綜合應用服務平臺旨在為各級政府和公眾建設一個覆蓋全域范圍的公共基礎信息平臺,實現對空間數據中心的各種可共享數據的統(tǒng)一建設、統(tǒng)一更新維護,為各類智慧應用提供最新、最權威的公共數據,為各級政府部門、企業(yè)和社會公眾提供基礎信息服務,助力智慧城市建設,提升區(qū)域信息化水平。
1.空間數據中心組成
城市空間數據中心包括基礎數據庫、業(yè)務數據庫和服務數據庫等多類數據庫,通過對政府、公眾等內外部數據資源的匯聚、整理、分類,形成數據即服務的應用環(huán)境。
基礎數據庫,是整個城市空間數據中心建設的基礎信息源,內含若干個子庫,庫與庫之間是一個有機聯系的整體。從歸屬部門來看,城市空間信息數據來源不僅包括基礎測繪部門提供的權威的地理空間信息數據,還包括城市行業(yè)部門提供的專題數據。從數據產生過程來看,城市空間信息數據可來源于原始數據、過程數據和最終產品。原始數據是在地理信息獲取中產生,例如控制成果、原始影像等;過程數據是在原始數據基礎上進行加工處理或再生產而形成,經過產品質量檢查合格的過程數據成為最終產品。從數據存在狀態(tài)來看,城市空間信息數據可來源于已經建庫、未建庫和外部共享交換,對于在空間信息綜合應用服務平臺建設過程中已經建成的空間數據庫可作為空間數據中心不可忽略的數據來源,存在于其他權屬部門的數據,可通過共享交換來補充空間數據中心的專題數據源。
業(yè)務數據庫,是從各個業(yè)務系統(tǒng)、業(yè)務部門抽取并整理的能夠為其他業(yè)務部門提供服務與共享的業(yè)務數據,即空間信息綜合應用服務平臺中需要共享的業(yè)務數據庫的集合。每個數據庫可能涉及若干業(yè)務部門,數據來源紛繁復雜,容量非??捎^;同時,每個業(yè)務部門又可能需要來自多個信息庫的數據,數據的應用需求也十分龐大。
服務數據庫,是提供基礎信息服務、專題信息服務、擴展數據服務等多類服務的信息組合,通過對業(yè)務數據、基礎數據的分類、整理、分析,形成面向各個領域或應用場景的專題數據集,提供面向政務綜合、城市管理、經濟運行等多領域的專題分析,從而有針對性的為不同行業(yè)和部門提供數據服務。
除此之外,整個空間數據中心的資源由綜合應用服務平臺以服務的方式進行綜合管理、調度、監(jiān)控,可以提供數據資源的注冊、審計、監(jiān)控、統(tǒng)計等多項功能,包括資源管理、資源調度、統(tǒng)計查詢、服務監(jiān)控、系統(tǒng)管理等等。
2.數據內容分析
城市空間數據中心建設的主要數據內容包括基礎地理數據、專題地理數據、地理空間框架數據。
基礎地理數據主要包括數字規(guī)劃圖(DLG)、數字正射影像(DOM)數據、數字高程模型(DEM)數據以及各類數據的元數據。DLG數據通常是指通過野外調繪和內業(yè)整理后的矢量數據,包含所有的基礎地理信息要素,是最全面的基礎地理信息數據,是城市空間信息的全面表達。DOM數據通常是經過正射校正或幾何校正后的標準分幅影像數據,包括全色影像和多光譜影像,其影像類型通常為衛(wèi)星影像和航空影像,對于城市影像數據來說,航空影像數據以其分辨率高占據主導應用市場,不過隨著國產衛(wèi)星影像分辨率的不斷提高,衛(wèi)星影像數據的應用在逐步壯大。DEM數據是通過用一組有序數值陣列形式表示地面高程的一種實體地面模型,可以由DEM派生出坡度、坡向及坡度變化率等地貌特性。元數據通常是對數據本體的空間數據的信息描述,與空間信息存儲方式一致,包括分幅存儲和分區(qū)域存儲,元數據內容涵蓋編目信息、數據集所屬項目標識信息、數據集內容信息、限制信息、數據說明信息、數據質量(數據精度、數據評價)信息等內容。
專題地理數據主要是指各行業(yè)專題部門提供的專題信息,多以空間圖形數據和屬性數據形態(tài)存在。主要包括POI數據、樓盤數據、公交數據、學校分布、醫(yī)療機構、急救中心、工商點、市政服務點、餐飲飯店、賓館住宿、休閑娛樂區(qū)等與廣大民眾休戚相關的各行各業(yè)的專題信息。
地理空間框架數據是是面向共享服務應用的空間地理信息數據,為服務平臺運行和擴展提供必要的數據支撐。它主要包括地理實體、地名地址、電子地圖、影像數據和高程數據。地理實體數據是針對相關社會經濟、自然資源信息空間化掛接的需求而構建的,主要采用實體化數據模型,以地理要素為空間數據表達與分類分層組織的基本單元,包括基本地理實體和擴展地理實體兩類。地名地址數據是公共平臺對外提供位置查詢和定位服務的信息源,它常被作為電子地圖內涵的一部分配套引用。電子地圖是柵格地圖和矢量數據的統(tǒng)一體,根據數據源的數據格式不同分為線劃電子地圖和影像電子地圖,根據表現維度和方式不同又可分為二維電子地圖和三維景觀電子地圖等。影像數據包括地表影像、構筑物紋理、立面街景數據。高程數據是描述地形地物及構筑物高程或高度信息的數據,其主要表現形式為數字高程模型數據(DEM)和三維構筑物模型,是構建三維地形景觀和三維城市景觀的基礎。
3.技術體系
大數據時代的數據中心不再是服務器的集合,而是一套完整的、復雜的、大集合的系統(tǒng),用于實現對空間數據和信息的集中處理、存儲、傳輸、交換和管理。伴隨信息技術的發(fā)展,數據中心正在經歷著從大型機時代、小型機時代、互聯網時代到云計算時代的變遷。
大型機時代和小型機時代,更多地被稱為“數據機房”,隨著數據的膨脹、技術的變革,數據機房逐漸演變?yōu)閿祿行?,這不僅僅是概念上的變化,但在功能性、規(guī)范性、規(guī)模性都與互聯網數據中心和云數據中心有著巨大的差別。數據中心對外提供的數據服務應滿足快速、穩(wěn)定、持續(xù)的應用,這是應用層面所要達到的目標,在滿足這一要求的前提下,為實現可伸縮的、按需分配的基礎服務措施,云計算的模式發(fā)展越來越快速。
基于“大數據、云計算”時代的發(fā)展需求,基于傳統(tǒng)的關系型數據庫的空間數據管理模式已不能適應發(fā)展的需要。而以Google、GoogleMap與GoogleEarth等為代表的互聯網企業(yè)的發(fā)展為空間數據中心建設帶來了新的技術推動和變革力量。傳統(tǒng)關系數據庫往往以SQL應用為基礎,在互聯網時代,大量的數據往往是以NoSQL為基礎的,例如基于Hadoop架構的HBase、Google的Bigtable等。NoSQL本身的非線性、分布式、水平可擴展等特點,非常適合云計算的部署。然而,Hadoop在面對傳統(tǒng)關系型數據復雜的多表關聯分析、強一致性要求、易用性等方面時,與分布式關系型數據庫還存在較大的差距,NoSQL目前提供的應用也趨于簡單化。于是出現了一種基于云架構的新型數據庫——NewSQL,在傳統(tǒng)數據庫基礎上支持可伸縮集群,便于部署。例如Google的F1,EMC的Greenplum等。因此,基于NewSQL構建新時代的空間數據組織管理解決方案,從而建設空間數據中心,將是空間大數據時代發(fā)展的必然。
基于NewSQL的空間數據中心技術體系,整體架構將以開源技術構建核心技術體系,以基于分布式文件系統(tǒng)和云計算的空間數據庫作為底層數據庫系統(tǒng),提供云環(huán)境下結構化和非結構化數據到分布式文件系統(tǒng)的高效存取功能以及用戶權限等安全性功能。其中基礎服務器采用分布式文件系統(tǒng)、分布式并行計算、大表文件索引、虛擬化等成熟的云存儲和云計算技術,為上層應用提供基礎的存儲與計算私有云環(huán)境。應用服務器重點解決空間信息高效組織、管理、并發(fā)服務等問題。
空間信息綜合應用服務平臺通過充分整合現有的信息資源,構成融合、互聯互通的資源共享環(huán)境,建立一個公共的、安全的、靈活的、可被政府與公眾靈活使用的平臺,打破信息壁壘,提高業(yè)務協同水平。如此一來,空間數據中心的海量信息資源可以在該架構上,為城市不同部門、異構系統(tǒng)之間的資源共享、業(yè)務協同提供空間數據信息支撐,通過多樣的服務形式,實現智慧城市的空間信息綜合應用,支撐智慧城市發(fā)展。
智慧城市空間信息應用的需求包括數據產品、地圖服務、目錄服務、數據分發(fā)服務等多個方面??臻g信息綜合應用服務平臺是空間信息數據的進出通道,是城市信息資源綜合管理中心,通過數據中心與服務平臺實現公共數據的加工整合和信息資源的交換共享。
服務平臺包括平臺門戶、目錄管理、數據交換、數據整合、數據管理、運營維護等多個模塊,可以對政府各類信息資源進行整合和統(tǒng)一管理,通過面向政府、企業(yè)、公眾等多個智慧門戶,提供包括數據服務、信息服務、軟件服務、知識服務在內的諸多服務。數據服務狹義的理解為數據產品的提供與生產,數據產品包括矢量數據集、影像數據集、影像瓦片數據集、標準圖集、電子地圖、三維模型表現數據集等,數據產品可作為數據城市各個應用的底圖數據,在此基礎上整合各類應用;地圖服務是以標準服務接口的形式來傳遞地理信息數據內容,目錄服務是空間數據中心對外提供內部數據資源目錄及元數據信息的一種服務接口,數據分發(fā)服務是實現地理信息產品分發(fā)服務日常工作的業(yè)務流程化、辦公自動化。
從數據產品到地圖服務,從目錄服務到數據分發(fā)服務,從開放式數據訪問到前置數據庫,空間數據中心與服務平臺將具備多個層次的應用服務能力,實現空間數據信息在智慧城市的應用。
通過城市空間數據中心與空間信息綜合應用服務平臺的建設,能夠逐步建立面向智慧城市管理、運營、服務等多個領域的城市空間數據資源體系,從而可以整合現有分散的數據資源,提供集中的統(tǒng)一的存儲和管理,為政府和社會公眾提供基礎的數據存儲、更新、訪問機制,增加資源利用率,減少重復建設,配合大數據、物聯網、云計算等先進的技術手段,基于航天云網的已有平臺,為城市管理發(fā)展和公眾便捷服務提供有效的支撐。
同時,智慧城市建設中必然會產生的新的大數據問題,如何實現對數據質量的快速評估、對數據價值的深度挖掘、對數據安全的措施保障,如何推動數據的深層次利用,形成新的商業(yè)模式,這些都將成為新的機遇與挑戰(zhàn)。需要城市空間數據中心和綜合服務平臺在建設與運營過程中,不斷吸取經驗教訓,同時開拓進取,有針對性的開展技術創(chuàng)新與重點攻關,推動產業(yè)發(fā)展,讓城市更智慧,更美好。
[1]James Manyika,Michael Chui,et al.Open data: Unlocking innovation and performance with liquid information[R].McKinsey Global Institute,2013.
[2]Eric Savitz.The Industrial Internet: Even Bigger Than Big Data[R],2012.
[3]李德仁,姚遠,邵振峰.智慧城市中的大數據[J].武漢大學學報信息科學版,2014(6).
[4]鄔賀銓.大數據支持智慧城市[J].中國經濟和信息化,2013(2).
[5]趙振營,耿方方.大數據在智慧城市中的作用分析[J].商丘師范學院學報,2014(8).
[6]懷進鵬.大數據是國家戰(zhàn)略資源[J].中國經濟和信息化,2014(4).
[7]程學旗,潘柱廷,靳小龍等.2015大數據十大發(fā)展趨勢預測報告[R].2014.