楊述偉
摘 要:多樣化的獲取能力、各行業(yè)的快速發(fā)展促進了地理信息數(shù)據(jù)的爆發(fā)式增長,也對其在線服務應用提出了挑戰(zhàn)。目前,在線方式提供的地理信息數(shù)據(jù)應用主要是通過WMTS提供地圖服務、通過WFS提供矢量服務,響應速度和數(shù)據(jù)量、服務器、網(wǎng)絡環(huán)境相關性大,而且還存在事先切片費時費力,切片后屬性信息缺失而無法支持空間分析和在線編輯兩個主要問題,嚴重制約了地理信息數(shù)據(jù)價值的共享與應用。因此,如何提升在線地圖的價值,發(fā)展快速、有效的海量地理信息數(shù)據(jù)在線服務模式,是最大化挖掘并發(fā)揮數(shù)據(jù)價值的關鍵。該文圍繞海量地理信息數(shù)據(jù)在線服務的現(xiàn)狀及需求,討論一種無需切片、直接基于數(shù)據(jù)服務的GIS地圖引擎,實現(xiàn)地理信息數(shù)據(jù)的快速發(fā)布、秒級響應、實時配圖渲染、前端分析與運算等需求。
關鍵詞:海量數(shù)據(jù) 在線地圖 提升價值 不切片 司南超擎
中圖分類號:TP701 文獻標識碼:A 文章編號:1672-3791(2017)06(c)-0028-03
在線方式提供的地理信息數(shù)據(jù)主要是通過WMTS提供地圖服務、通過WFS提供矢量服務,響應速度和數(shù)據(jù)量、服務器、網(wǎng)絡環(huán)境相關性大,而且地圖服務還存在事先切片費時費力,切片后屬性信息缺失而無法支持空間分析和在線編輯兩個主要問題,嚴重制約了地理信息數(shù)據(jù)價值的共享與應用。因此,發(fā)展快速、有效的海量地理信息數(shù)據(jù)在線服務模式,是最大化發(fā)揮、挖掘其數(shù)據(jù)價值的關鍵途徑。
該文主要圍繞海量地理信息數(shù)據(jù)在線服務,針對存在的問題及需求,討論地理信息數(shù)據(jù)快速發(fā)布、秒級響應、實時配圖渲染、前端分析與運算等需求的服務模式,一方面,滿足現(xiàn)有海量數(shù)據(jù)有效組織管理、快速查詢檢索的需求;另一方面實現(xiàn)地理信息價值的充分挖掘與共享。
1 在線地圖服務
在線地圖服務整合了網(wǎng)絡搜索引擎和地圖的優(yōu)勢,使人們擺脫了紙質地圖時間和空間上的局限,通過自動搜索、人工查詢、在線交流等方式為用戶提供方便、快捷、準確的所需地圖及出行交通指引服務。豐富的數(shù)據(jù)類型、復雜的數(shù)據(jù)結構以及海量數(shù)據(jù)內容,是影響在線地圖服務響應速度的主要因素。地圖切片作為解決海量地理數(shù)據(jù)與有限網(wǎng)絡帶寬之間矛盾的通用技術,雖然一定程度上滿足了人們對地理信息數(shù)據(jù)瀏覽、查詢和定位的需求,但是因為其提供的是固定化、基礎性的數(shù)據(jù)服務,存在以下局限性。
1.1 數(shù)據(jù)發(fā)布準備工作費時費力
數(shù)據(jù)發(fā)布之前需要先將數(shù)據(jù)進行配圖、切片、入庫等工作。由于地理信息的范圍廣、數(shù)據(jù)量大,導致前期準備工作費時費力、成本頗高。以筆者所做的實驗為例,數(shù)據(jù)量為6.3 T的影像數(shù)據(jù),切片后數(shù)據(jù)量再增加6 T的切片數(shù)據(jù),完成切片一般需要3~4個月的時間,再加上入庫3~4周的時間;而且,一旦有區(qū)域更新服務時,還需要重新進行整合、配圖、切片、入庫。
1.2 時效性難以保證
用戶客戶端請求到的地圖信息是預先生成的,考慮到地圖服務更新區(qū)域大小、聚集程度、重新配圖切片等因素的影響,用戶查詢到的信息不一定就是最新的地理信息。
1.3 前端無法編輯處理、分析計算
同樣,由于用戶客戶端請求到的地圖信息是預先生成的切片數(shù)據(jù),已而非原始的矢量地圖數(shù)據(jù),除了空間信息以外,屬性信息以及不同圖層之間的關系信息已經(jīng)丟失,無法再根據(jù)用戶需求進行進一步的編輯處理、分析計算。例如:無法基于地圖切片進行特征識別,提取用戶感興趣的農田、水域、城區(qū)、道路等,并生成專題圖信息,以便進行農業(yè)估產(chǎn)、城市規(guī)劃的應用;無法基于地圖切片和其他業(yè)務數(shù)據(jù)疊加分析,服務于商業(yè)選址、配貨調度到公路網(wǎng),鐵路網(wǎng)、電力網(wǎng)、市政管網(wǎng)等設施的優(yōu)化管理調度等;無法進行時空數(shù)據(jù)分析計算,快速發(fā)現(xiàn)土地、建筑、氣溫、環(huán)境、水文的變化,從而積極響應并做出預防措施。
1.4 難以支持大數(shù)據(jù)量的應用
WFS矢量服務雖然一定程度上可以解決切片數(shù)據(jù)的弊端,支持對地理要素的編輯(插入、刪除和更新)、檢索和發(fā)現(xiàn)服務、支持基于空間幾何關系的查詢,基于屬性域的查詢,當然還包括基于空間關系和屬性域的共同查詢。但是,WFS服務的響應速度受到數(shù)據(jù)量的限制,難以支持大數(shù)據(jù)量應用。
1.5 數(shù)據(jù)安全
在線地圖服務一方面需要考慮客戶的需求,盡可能提供較高精度的地圖數(shù)據(jù);另一方面又需要考慮數(shù)據(jù)保密,做好數(shù)據(jù)安全維護工作。而如何將這兩者兼得,即保證數(shù)據(jù)的精度,又確保數(shù)據(jù)安全,是目前在線地圖服務難以兼顧的。
2 司南超擎
司南超擎地圖將專業(yè)GIS和公眾地圖在體系架構、功能、性能上進行了取長補短的融合,是互聯(lián)網(wǎng)化的GIS服務,實現(xiàn)互聯(lián)網(wǎng)+GIS,既能實現(xiàn)專業(yè)GIS的功能,又能達到公眾地圖的性能(海量并發(fā)、秒級響應),開啟了地信行業(yè)地圖服務不切片新時代,提升了在線地圖服務中海量地理信息數(shù)據(jù)的價值,通過構建數(shù)據(jù)服務(DaaS,Data-as-a-Service),來支撐軟件服務(SaaS,Software-as-a-Service)。
2.1 技術架構
司南超擎整體技術架構由表現(xiàn)層、服務層和數(shù)據(jù)庫層組成,表現(xiàn)層通過網(wǎng)頁和移動端提供查詢檢索分析統(tǒng)計更新等功能,服務層基于GIS平臺建立空間數(shù)據(jù)索引、發(fā)布服務以及生產(chǎn)緩存等,數(shù)據(jù)庫層用來存儲司南超擎格式的空間索引文件,具體如圖1所示。
2.2 技術特點
司南超擎具有以下幾個技術特點。
(1)數(shù)據(jù)直接發(fā)布,無需切片。
不用局限于數(shù)據(jù)量大小、服務器、網(wǎng)絡等基礎設施的限制,實現(xiàn)柵格、矢量地理信息數(shù)據(jù)不切片、直接發(fā)布。既節(jié)約了切片工作的時間人力,又解決了互聯(lián)網(wǎng)上海量數(shù)據(jù)與有限帶寬的問題,支持前端數(shù)據(jù)編輯處理、空間分析與運算,支持在線配圖,直接配圖,直接瀏覽。
(2)空間聚類索引。
首先,現(xiàn)有索引是通過矢量數(shù)據(jù)的外包矩形來構建,司南超擎的索引通過坐標點來構建,不僅能表達矢量數(shù)據(jù)內部的坐標信息,還能表達由此延伸的矢量數(shù)據(jù)之間空間關系,解決了現(xiàn)有索引“微觀不夠微觀”的問題。
其次,司南超擎的索引解決了現(xiàn)有技術按照數(shù)據(jù)集來分別構建索引后,不能動態(tài)地將任意多個數(shù)據(jù)集的索引無縫融合的難題,也就是解決了現(xiàn)有索引“宏觀不夠宏觀”的問題。
最后,目前的索引技術會使響應時間隨著數(shù)據(jù)量的增長呈非線性指數(shù)級增長,嚴重影響數(shù)據(jù)應用,而司南超擎地圖采用的索引技術,使數(shù)據(jù)響應時間不隨原始數(shù)據(jù)量增長而成比例增長,而是近似趨向于無關,解決了現(xiàn)有索引的數(shù)據(jù)量大、效率低的問題。
(3)分布式索引技術。
采用分布式索引技術,真正實現(xiàn)數(shù)據(jù)的分布式存儲,保證數(shù)據(jù)的單獨唯一存儲。同時,無需對數(shù)據(jù)進行切片預處理,一份數(shù)據(jù)即可滿足不同顯示級別下的應用需求,避免數(shù)據(jù)的多份重復儲存,降低數(shù)據(jù)的存儲空間及成本。
(4)化簡壓縮技術。
在不擾亂拓撲關系的前提下對原始采樣數(shù)據(jù)進行合理的刪減,實現(xiàn)對數(shù)據(jù)的無損壓縮,既保證數(shù)據(jù)在傳輸過程中的效率,又保證數(shù)據(jù)顯示繪制的質量。
(5)漸進傳輸技術。
在顯示繪制的過程中,每一次的數(shù)據(jù)請求,通過增量數(shù)據(jù)標識,計算增量數(shù)據(jù),并實現(xiàn)增量數(shù)據(jù)的查詢、讀取、傳輸和繪制,提高系統(tǒng)性能。
(6)數(shù)據(jù)加密與安全保護。
由于直接發(fā)布的是原始數(shù)據(jù),司南超擎在數(shù)據(jù)傳輸、內容控制、加密算法等方面保證數(shù)據(jù)安全,通過傳輸二進制數(shù)據(jù),需要通過司南超擎客戶端解析,私有加密算法和加密秘鑰,在內容和精度方面控制數(shù)據(jù)安全。
3 應用案例
目前,司南超擎已成功應用到多個部委級數(shù)據(jù)資源管理系統(tǒng),下面分別舉出兩個有代表性的例子。案例1的應用特點在于海量多元數(shù)據(jù)的管理、查詢及后續(xù)應用;案例2的應用特點在于實現(xiàn)前端空間分析與計算。
3.1 應用案例1
(1)數(shù)據(jù)內容。
案例1中主要包括影像和矢量數(shù)據(jù)兩大類。其中,影像成果數(shù)據(jù)共涉及到91 919幅TIFF影像,總數(shù)據(jù)量達150 T。矢量數(shù)據(jù)共涉及到67個圖層,要素數(shù)量334 921 309個,總數(shù)據(jù)量約290 G。如此巨大的數(shù)據(jù)量,是很難進行管理和調用的。
(2)司南超擎應用示例。
利用司南超擎管理數(shù)據(jù),不但極大地提高了計算效率,而且極大地減少了讀取、傳輸?shù)臄?shù)據(jù)量。表1是發(fā)布的矢量服務的要素和響應時間(單點式部署下的測試效果),圖2是全國矢量數(shù)據(jù)在1:2 300萬比例尺下的展示效果,數(shù)據(jù)量約290 G。
3.2 應用案例2
(1)數(shù)據(jù)內容。
案例2的數(shù)據(jù)包括基礎地理信息矢量數(shù)據(jù)和專題矢量數(shù)據(jù),共22個圖層,圖元數(shù)量110 263個,數(shù)據(jù)量為70 M。
(2)司南超擎應用示例。
案例2系統(tǒng)涉及到各省市多個用戶,每個用戶提出僅能顯示各自管轄范圍的數(shù)據(jù),例如:北京市的用戶只查詢北京范圍內的長城。如果采用傳統(tǒng)切圖方式,是不可能實現(xiàn)的,而WFS服務難以支持大數(shù)據(jù)量應用,司南超擎產(chǎn)品實現(xiàn)直接發(fā)布矢量服務,實時繪制。
4 結語
地理信息數(shù)據(jù)對經(jīng)濟社會發(fā)展的意義是不言而喻的,而深入發(fā)揮并挖掘其價值的服務模式,是行業(yè)內目前的工作重點。司南超擎地圖能夠快速、直接提供基于原始地圖數(shù)據(jù)的服務(包括多尺度、多類型、多時相的影像和矢量數(shù)據(jù)),并且不受數(shù)據(jù)量劇增、硬件及網(wǎng)絡環(huán)境的限制,除了支持瀏覽查詢、導航定位外,還支持數(shù)據(jù)分析計算、增量更新、在線專題地圖產(chǎn)品配置等,大大提高了地理信息價值的共享與應用,為城市規(guī)劃、地形圖更新、環(huán)境保護、智慧城市建設等方面提供數(shù)據(jù)支持和決策依據(jù),具有非常重要的現(xiàn)實意義。
參考文獻
[1] 符海月,趙軍,李滿春.從GoogleMaps看我國全球化地理信息服務面臨的挑戰(zhàn)和對策[J].地理與地理信息科學,2006,22(2):1-3.
[2] 劉岳峰.地理信息服務概述[J].地理信息世界,2004,2(6):26-29.
[3] 李艷,高揚.基于地圖API的Web地圖服務及應用研究[J].地理信息世界,2010,8(2):54-57.