耿 晴,李 兵,詹 偉
(1.湖北省測(cè)繪成果檔案館,湖北 武漢 430071)
面向時(shí)空信息數(shù)據(jù)的大數(shù)據(jù)平臺(tái)設(shè)計(jì)
耿 晴1,李 兵1,詹 偉1
(1.湖北省測(cè)繪成果檔案館,湖北 武漢 430071)
設(shè)計(jì)了面向時(shí)空信息數(shù)據(jù)的大數(shù)據(jù)平臺(tái),以GISCloud的云計(jì)算框架作為基礎(chǔ)資源平臺(tái),通過(guò)兩層服務(wù)架構(gòu)為平臺(tái)提供計(jì)算和存儲(chǔ)資源的管理。以數(shù)據(jù)融合思想構(gòu)建大數(shù)據(jù)平臺(tái)的基礎(chǔ)數(shù)據(jù)支持,依托GISCloud建立各種資源池,對(duì)數(shù)據(jù)進(jìn)行抽取和分析,建立核心數(shù)據(jù)集與共享數(shù)據(jù)集,實(shí)現(xiàn)數(shù)據(jù)資源的差異化共享。通過(guò)面向時(shí)空信息數(shù)據(jù)的大數(shù)據(jù)平臺(tái)設(shè)計(jì),構(gòu)建時(shí)空信息數(shù)據(jù)中心,利用公共服務(wù)時(shí)空信息和共享交換平臺(tái)提供數(shù)據(jù)服務(wù),實(shí)現(xiàn)海量時(shí)空信息數(shù)據(jù)的高效管理和服務(wù)。
時(shí)空信息數(shù)據(jù);時(shí)空標(biāo)識(shí);大數(shù)據(jù)平臺(tái);GIS云
地理信息系統(tǒng)(GIS)是通過(guò)對(duì)各類(lèi)地理信息數(shù)據(jù)進(jìn)行處理來(lái)提供不同的服務(wù)[1-3]。通過(guò)時(shí)空信息數(shù)據(jù),GIS可以表達(dá)出目標(biāo)對(duì)象的時(shí)間和空間屬性,在相關(guān)領(lǐng)域具有重要的應(yīng)用價(jià)值。隨著對(duì)時(shí)空信息數(shù)據(jù)的需求越來(lái)越深入,時(shí)空標(biāo)識(shí)成為地理信息數(shù)據(jù)的關(guān)鍵屬性[4-6]。時(shí)空信息數(shù)據(jù)量龐大,傳統(tǒng)的數(shù)據(jù)組織方式不能有效應(yīng)對(duì)。因此,對(duì)海量數(shù)據(jù)的處理和存儲(chǔ)成為必須面對(duì)的挑戰(zhàn)。本文所提出的面向時(shí)空信息數(shù)據(jù)的大數(shù)據(jù)平臺(tái)設(shè)計(jì),是以大數(shù)據(jù)為基礎(chǔ)的針對(duì)性時(shí)空信息數(shù)據(jù)的組織和處理平臺(tái)。
傳統(tǒng)的基礎(chǔ)地理信息數(shù)據(jù)以二維平面化為主,強(qiáng)調(diào)靜態(tài)地理信息表述,動(dòng)態(tài)信息的表達(dá)則受限制。隨著時(shí)代的發(fā)展,衛(wèi)星導(dǎo)航、國(guó)情普查、土地調(diào)查、環(huán)境監(jiān)測(cè)等地理信息數(shù)據(jù)應(yīng)用中,對(duì)歷史數(shù)據(jù)進(jìn)行重建、分析,對(duì)未來(lái)進(jìn)行預(yù)測(cè)的需求日益旺盛。因此,以時(shí)空數(shù)據(jù)模型為基礎(chǔ),通過(guò)多種方式為具有時(shí)空標(biāo)識(shí)的地理信息數(shù)據(jù)的組織和應(yīng)用提供基本方法,提高時(shí)空信息數(shù)據(jù)的利用效率成為重要的研究方向[7-9]。當(dāng)海量的具有時(shí)空標(biāo)識(shí)的地理信息數(shù)據(jù)積聚時(shí),就會(huì)產(chǎn)生新問(wèn)題,即缺少時(shí)空信息數(shù)據(jù)公共基礎(chǔ)整合管理平臺(tái),各類(lèi)時(shí)空信息專(zhuān)題數(shù)據(jù)庫(kù)尚未形成有效的共享,缺少面向公眾服務(wù)的時(shí)空信息服務(wù)數(shù)據(jù)資源等。這就需要新的技術(shù)來(lái)對(duì)時(shí)空信息數(shù)據(jù)的高效利用進(jìn)行支持,大數(shù)據(jù)平臺(tái)設(shè)計(jì)是解決這一問(wèn)題的關(guān)鍵。
大數(shù)據(jù)的出現(xiàn)為高效利用具有時(shí)空標(biāo)識(shí)的地理信息數(shù)據(jù)提供了新方向[10],它具有3個(gè)明顯特征,分別是規(guī)模性、多樣性和高速性[11]。大數(shù)據(jù)的處理,是在軟件和工具的輔助下,對(duì)異構(gòu)的大數(shù)據(jù)源進(jìn)行分析、抽取、處理和集成,構(gòu)建出合理的數(shù)據(jù)組織形式,提供不同類(lèi)型的應(yīng)用,實(shí)現(xiàn)定制化、個(gè)性化的數(shù)據(jù)服務(wù)。
時(shí)空信息數(shù)據(jù)的數(shù)據(jù)源豐富,大量具有時(shí)空特征的數(shù)據(jù)積累,速度非常驚人[12]。時(shí)空信息數(shù)據(jù)具有大數(shù)據(jù)的全部特征,是一種面向特定領(lǐng)域的大數(shù)據(jù)集合。這就需要以大數(shù)據(jù)技術(shù)為支撐,來(lái)進(jìn)行基礎(chǔ)數(shù)據(jù)平臺(tái)設(shè)計(jì)。在既有工作基礎(chǔ)上[13-15],提出面向時(shí)空信息數(shù)據(jù)的大數(shù)據(jù)平臺(tái)設(shè)計(jì),通過(guò)構(gòu)建時(shí)空信息數(shù)據(jù)的大數(shù)據(jù)平臺(tái)(GISBDPlatform, GIS Big Data Platform),利用大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)融合,為時(shí)空信息數(shù)據(jù)的高效使用提供基礎(chǔ)的物理載體,從而實(shí)現(xiàn)時(shí)空信息數(shù)據(jù)的整合與共享。
云計(jì)算通過(guò)將大量的服務(wù)器構(gòu)建為具有統(tǒng)一邏輯架構(gòu)的云來(lái)提供計(jì)算核存儲(chǔ)資源,以便進(jìn)行高效安全的數(shù)據(jù)存儲(chǔ)和計(jì)算資源分配。通過(guò)對(duì)底層硬件資源的抽象化,云計(jì)算技術(shù)再向上層提供計(jì)算和存儲(chǔ)資源的支撐。通過(guò)云計(jì)算所提供的統(tǒng)一管理,底層基礎(chǔ)設(shè)施的細(xì)節(jié)被屏蔽,對(duì)上層的應(yīng)用和用戶透明,實(shí)現(xiàn)資源的高效利用。這正是GISBDPlatform基礎(chǔ)云平臺(tái)需要達(dá)到的設(shè)計(jì)目標(biāo)。
GISBDPlatform的基礎(chǔ)云平臺(tái)以GISCloud[13]為基礎(chǔ)進(jìn)行構(gòu)建,通過(guò)GISCloud來(lái)對(duì)核心資源進(jìn)行整合和集成,構(gòu)建出一個(gè)統(tǒng)一的基礎(chǔ)環(huán)境,為用戶和應(yīng)用提供可定制的個(gè)性化服務(wù)[14,15]。GISCloud的架構(gòu)如圖1所示。
圖1 GISBDPlatform基礎(chǔ)云架構(gòu)
GISCloud包括GIS服務(wù)支撐平臺(tái)和GIS應(yīng)用支撐平臺(tái)兩個(gè)部分。GIS服務(wù)支撐平臺(tái)構(gòu)建出GISCloud云端。底層具有大量計(jì)算與存儲(chǔ)資源,包括用于提供計(jì)算能力的服務(wù)器和用于提供存儲(chǔ)能力的存儲(chǔ)服務(wù)器等。底層資源以異構(gòu)形式存在,通過(guò)GIS抽象虛擬化將大量服務(wù)器所提供的計(jì)算資源和存儲(chǔ)資源從邏輯上組織為具有高可用性、高可靠性和高擴(kuò)展性的基礎(chǔ)資源平臺(tái)。GIS服務(wù)支撐平臺(tái)實(shí)現(xiàn)了對(duì)底層硬件資源細(xì)節(jié)的隔離,同時(shí)也有利于提高基礎(chǔ)設(shè)施的擴(kuò)展性。
GIS應(yīng)用支撐平臺(tái)則以GIS服務(wù)支撐平臺(tái)為基礎(chǔ),提供GIS系統(tǒng)服務(wù)。這些GIS系統(tǒng)服務(wù)既為設(shè)施和平臺(tái)的管理提供支持,也為上層的用戶和應(yīng)用提供應(yīng)用服務(wù)接口。GIS應(yīng)用支撐平臺(tái)提供了兩個(gè)層次的服務(wù)。其一是面向管理的GIS系統(tǒng)服務(wù),其二是面向應(yīng)用的GIS應(yīng)用層。GIS系統(tǒng)服務(wù)層的子系統(tǒng)共同為系統(tǒng)管理和上層應(yīng)用提供了云設(shè)施管理、云存儲(chǔ)服務(wù)、云計(jì)算服務(wù)和云平臺(tái)管理。
GISBDPlatform面對(duì)的數(shù)據(jù)對(duì)象是多源異構(gòu)的全要素地理信息數(shù)據(jù),具有共享接入、動(dòng)態(tài)更新、實(shí)時(shí)接入等不同接入方式?;A(chǔ)數(shù)據(jù)均需要經(jīng)過(guò)清洗、抽取、融合等方式來(lái)進(jìn)行處理,再以用戶和應(yīng)用需要為中心進(jìn)行數(shù)據(jù)的按需提取,對(duì)上層提供數(shù)據(jù)應(yīng)用服務(wù)。以此為依據(jù),對(duì)GISBDPlatform進(jìn)行分層設(shè)計(jì),架構(gòu)如圖2所示。從底向上依次是資源層、數(shù)據(jù)層、服務(wù)層和應(yīng)用層。
資源層的核心是計(jì)算資源、存儲(chǔ)資源、為計(jì)算和存儲(chǔ)資源服務(wù)的其他基礎(chǔ)性硬件設(shè)施以及在基礎(chǔ)硬件設(shè)施之上的系統(tǒng)性軟件資源。資源層中的資源構(gòu)建為3個(gè)資源池,分別是計(jì)算資源池、存儲(chǔ)資源池和網(wǎng)絡(luò)資源池。所有的資源將通過(guò)虛擬化的方式整合為統(tǒng)一的資源平臺(tái),向上提供資源服務(wù)。而資源的虛擬化,則是通過(guò)GISCloud的服務(wù)支撐平臺(tái)來(lái)完成。GISCloud的抽象虛擬化層完成所有資源的虛擬化,并將其封裝為GISBDPlatform的基礎(chǔ)資源抽象虛擬化服務(wù)。
圖2 GISBDPlatform架構(gòu)
GISBDPlatform的核心資源是具備時(shí)空標(biāo)識(shí)的地理信息數(shù)據(jù)集,它包括兩個(gè)部分的子數(shù)據(jù)集,分別是核心數(shù)據(jù)集和共享數(shù)據(jù)集。時(shí)空信息數(shù)據(jù)集以地理空間基礎(chǔ)數(shù)據(jù)為基礎(chǔ),匯集來(lái)自不同來(lái)源的各類(lèi)數(shù)據(jù),作為時(shí)空信息數(shù)據(jù)的基礎(chǔ)。所有的時(shí)空信息數(shù)據(jù)需要進(jìn)行數(shù)據(jù)的融合,主要包括了基礎(chǔ)數(shù)據(jù)的數(shù)據(jù)整合、行業(yè)交換數(shù)據(jù)的數(shù)據(jù)融合、非空間數(shù)據(jù)的數(shù)據(jù)融合和動(dòng)態(tài)實(shí)時(shí)傳感器數(shù)據(jù)融合。所有數(shù)據(jù)通過(guò)時(shí)空信息數(shù)據(jù)訪問(wèn)接口向上層提供數(shù)據(jù)和服務(wù)。
服務(wù)層包含2個(gè)重要的子系統(tǒng),分別是時(shí)空信息公共服務(wù)子系統(tǒng)和時(shí)空信息共享交換子系統(tǒng),用于支撐與業(yè)務(wù)邏輯和應(yīng)用請(qǐng)求相關(guān)的時(shí)空信息數(shù)據(jù)的抽取、整理、分析、管理、共享、交換、集成、定制等具體操作。時(shí)空信息公共服務(wù)子系統(tǒng)是以數(shù)據(jù)層的共享數(shù)據(jù)集為支撐,面向公眾提供各種時(shí)空信息數(shù)據(jù)和服務(wù)。時(shí)空信息共享交換子系統(tǒng)則是與相關(guān)行業(yè)和平臺(tái)進(jìn)行數(shù)據(jù)共享和交換的子系統(tǒng),實(shí)現(xiàn)以地理信息數(shù)據(jù)為中心、各關(guān)聯(lián)數(shù)據(jù)融合的服務(wù)。該層具有數(shù)據(jù)與服務(wù)接口,將具體與業(yè)務(wù)和應(yīng)用有關(guān)的數(shù)據(jù)和服務(wù)封裝起來(lái),通過(guò)統(tǒng)一的接口向上層提供。
應(yīng)用層則是直接面向用戶和公眾的層次。在該層利用GISBDPlatform所提供的數(shù)據(jù)和服務(wù)接口,向用戶提供友好的地理信息服務(wù)。數(shù)據(jù)在GISBDPlatform中的流轉(zhuǎn)由其系統(tǒng)管理等部分來(lái)提供和控制。而涉及到云相關(guān)的部分,則由GISCloud中的GIS系統(tǒng)服務(wù)層來(lái)進(jìn)行具體的管理。
在GISBDPlatform架構(gòu)中,各層之間邏輯獨(dú)立,功能清晰,通過(guò)高效的接口交互數(shù)據(jù)。接口設(shè)計(jì)采用 CDMI(Cloud Data Management Interface) 協(xié) 議。CDMI接口定義了云平臺(tái)上對(duì)數(shù)據(jù)的訪問(wèn)及管理方法,如數(shù)據(jù)的產(chǎn)生、獲取、更新、刪除等操作,突破了各層之間異構(gòu)訪問(wèn)的局限性。在GISBDPlatform架構(gòu)中,各層通過(guò)CDMI協(xié)議去提供數(shù)據(jù)、接收數(shù)據(jù),并且各類(lèi)元數(shù)據(jù)直接通過(guò)CDMI存儲(chǔ)在數(shù)據(jù)容器DataContainer中,管理員可通過(guò)CDMI管理各類(lèi)數(shù)據(jù)容器、賬戶以及訪問(wèn)權(quán)限。
CDMI采用基于對(duì)象的管理方式,主要分為數(shù)據(jù)對(duì)象、容器對(duì)象、域?qū)ο?、?duì)列對(duì)象、功能對(duì)象。數(shù)據(jù)對(duì)象用來(lái)存儲(chǔ)數(shù)值,提供文件管理服務(wù)。容器對(duì)象提供目錄服務(wù),不直接存儲(chǔ)數(shù)值。域?qū)ο笥米饔脩簦ńM)認(rèn)證手段。功能對(duì)象描述CDMI服務(wù)所提供的功能,以及能被用戶直接調(diào)用的功能列表。CDMI使用不同類(lèi)型的元數(shù)據(jù),有HTTP元數(shù)據(jù)、數(shù)據(jù)系統(tǒng)元數(shù)據(jù)、用戶元數(shù)據(jù)以及存儲(chǔ)系統(tǒng)元數(shù)據(jù)。不同類(lèi)型的元數(shù)據(jù)使用不同的協(xié)議,如HTTP元數(shù)據(jù)使用HTTP協(xié)議。
CDMI遵從ISO各類(lèi)規(guī)范,靈活高效的數(shù)據(jù)管理方式、安全的認(rèn)證機(jī)制使得其在云存儲(chǔ)平臺(tái)上獲得了廣泛的認(rèn)可和使用。GISBDPlatform采用CDMI接口不僅使各層之間數(shù)據(jù)交互更為高效和安全,還兼容了平臺(tái)在發(fā)展過(guò)程中的升級(jí)操作。
應(yīng)用GISBDPlatform大數(shù)據(jù)平臺(tái)進(jìn)行湖北省時(shí)空信息數(shù)據(jù)中心總體架構(gòu)的搭建,如圖3所示。
圖3 湖北省時(shí)空信息數(shù)據(jù)中心總體架構(gòu)圖
框架體系的最底層是基礎(chǔ)設(shè)施層,逐漸向上展開(kāi)。政策法規(guī)與標(biāo)準(zhǔn)規(guī)范體系、組織管理與運(yùn)行保障體系貫穿于框架體系的各個(gè)層次。
1)基礎(chǔ)設(shè)施層:基礎(chǔ)設(shè)施層的核心內(nèi)容主要包括服務(wù)器集群、網(wǎng)絡(luò)設(shè)施、存儲(chǔ)設(shè)施、機(jī)房環(huán)境設(shè)施等硬件資源和操作系統(tǒng)、數(shù)據(jù)庫(kù)、中間件、GIS平臺(tái)等軟件資源,由一定規(guī)模的同構(gòu)或異構(gòu)基礎(chǔ)設(shè)施資源組成?;A(chǔ)設(shè)施通過(guò)基礎(chǔ)設(shè)施云平臺(tái)的虛擬化技術(shù)將解決方案資源池化,建立統(tǒng)一的服務(wù)器資源池、數(shù)據(jù)存儲(chǔ)池和網(wǎng)絡(luò)資源池,通過(guò)虛擬化技術(shù)將基礎(chǔ)設(shè)施層的各種異構(gòu)資源進(jìn)行整合,形成一個(gè)整體,對(duì)外提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施的通用服務(wù)接口。
2)數(shù)據(jù)層:數(shù)據(jù)層的核心資源是時(shí)空信息數(shù)據(jù)庫(kù),時(shí)空信息數(shù)據(jù)庫(kù)著眼于滿足按需定制“一張圖”需求,依托地理空間基礎(chǔ)數(shù)據(jù),逐級(jí)匯集各個(gè)部門(mén)現(xiàn)有的行業(yè)專(zhuān)題、公眾服務(wù)數(shù)據(jù)等,逐步實(shí)現(xiàn)覆蓋全省范圍的、統(tǒng)一、唯一、權(quán)威的一體化數(shù)據(jù)庫(kù),為時(shí)空信息數(shù)據(jù)關(guān)聯(lián)奠定數(shù)據(jù)基礎(chǔ)。時(shí)空數(shù)據(jù)庫(kù)的數(shù)據(jù)資源預(yù)處理、入庫(kù)、調(diào)用、更新等一系列流程化數(shù)據(jù)管理工作統(tǒng)一由時(shí)空信息數(shù)據(jù)庫(kù)管理系統(tǒng)實(shí)現(xiàn)。
3)平臺(tái)層:平臺(tái)層包含時(shí)空信息數(shù)據(jù)共享交換平臺(tái)、時(shí)空信息公共服務(wù)平臺(tái),用于支撐各類(lèi)時(shí)空信息資源的整合、集成、管理、交換、共享以及應(yīng)用服務(wù)。
4)應(yīng)用層:基于北斗時(shí)空基準(zhǔn),為公安廳、水利廳、農(nóng)業(yè)廳、機(jī)要局、北斗位置服務(wù)用戶建立相應(yīng)的應(yīng)用服務(wù)工程。
本文以大數(shù)據(jù)技術(shù)為導(dǎo)向,提出面向時(shí)空信息數(shù)據(jù)的平臺(tái)設(shè)計(jì)方案(GISBDPlatform)。GISBDPlatform以GISCloud作為基礎(chǔ)的云平臺(tái)設(shè)施,以資源層、數(shù)據(jù)層、服務(wù)層和應(yīng)用層貫穿,采用CDMI標(biāo)準(zhǔn)數(shù)據(jù)交互接口,形成一個(gè)完整的大數(shù)據(jù)平臺(tái)結(jié)構(gòu)。大數(shù)據(jù)平臺(tái)設(shè)計(jì) (GISBDPlatform)在湖北省時(shí)空信息數(shù)據(jù)中心中的應(yīng)用,為湖北省時(shí)空信息大數(shù)據(jù)的流轉(zhuǎn)、處理、融合和共享等提供了新的設(shè)計(jì)思路,推動(dòng)時(shí)空信息數(shù)據(jù)服務(wù)的提升。
[1] 陳康, 鄭緯民. 云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J].軟件學(xué)報(bào),2009, 20(5):1 337-1 348
[2] 姜曉軼, 周云軒. 從空間到時(shí)間:時(shí)空數(shù)據(jù)模型研究[J].吉林大學(xué)學(xué)報(bào)(地球科學(xué)版), 2006, 36(3): 480-485
[3] 余曉敏,李兵,詹慶明,等 基于地理國(guó)情時(shí)空數(shù)據(jù)的城市建成區(qū)動(dòng)態(tài)監(jiān)測(cè)[J].地理空間信息,2015,13(6): 8-10
[4] Peuquet D J. Making Space for Time: Issues in Space-Time Data Representation[J]. GeoInformatica, 2001, 5(1):11-32
[5] Dykes J A, Mountain D M. Seeking Structure in Secords of Spatio-temporal Behaviour: Visualization Issues, Efforts and Applications[J]. 2003,43(4): 581-603 [6] Yu Hongbo, Shaw Shih Lung . ExploringPotential Human Activities in Physical and Virtual Spaces: ASpatio-Temporal GIS Approach[J]. International Journal of Geographical Information Science, 2008, 22(4): 409-430
[7] Str?tgen J, Gertz M. Proximity-Aware Ranking for Textual,Temporal, and Geographic Queries[C]. 22nd ACM International Conference on Information & Knowledge Management (CIKM'13), ACM, New York, 2013
[8] Gey F C, Kando N, Larson R R. The Crucial Role of Semantic Discovery and Markup in Geo-temporal Search[C].3rd Workshop on Exploiting Semantic Annotations in Information Retrieval (ESAIR '10), ACM, New York, 2010
[9] Larson R R. Geographic IR and Visualization in Time and Space[C]. 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'08), ACM, New York, 2008
[10] 吳芬芳,熊卿.大數(shù)據(jù)時(shí)代地理信息獲取與服務(wù)方式的嬗變[J].測(cè)繪工程, 2015, 24(10): 14-18
[11] 孟曉峰, 慈祥. 大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展, 2013, 50(1):146-169
[12] 馬振剛,李黎黎, 許學(xué)工.自然地理學(xué)的大數(shù)據(jù)研究[J].地理與地理信息科學(xué), 2015, 31(3): 54-58
[13] 趙薇, 耿晴. 云計(jì)算在GIS系統(tǒng)模型中的應(yīng)用[J].地理空間信息, 2010, 8(6):8-11
[14] 耿睛,范偉, 孫續(xù)錦,等. 面向智能移動(dòng)設(shè)備的GIS服務(wù)[J].地理空間信息, 2012,10(3): 64-66
[15] 耿晴, 邢光成, 陳濤, 等 湖北省測(cè)繪成果分發(fā)服務(wù)模式的初步建設(shè)[J].地理空間信息, 2013(增刊):46-48
P208
B
1672-4623(2017)10-0052-03
10.3969/j.issn.1672-4623.2017.10.016
2016-08-08。
耿晴,碩士,高級(jí)工程師,主要從事測(cè)繪地理信息技術(shù)、測(cè)繪資料檔案管理、信息化服務(wù)等相關(guān)工作。