雷強(qiáng)勝 劉 立 俞 博

（重慶市交通規(guī)劃研究院，重慶 401147）

隨著經(jīng)濟(jì)社會的發(fā)展和物質(zhì)生活水平提高，城市汽車保有量呈快速增長態(tài)勢，對城市道路交通造成很大負(fù)擔(dān)，部分交通設(shè)施已達(dá)到承受極限。在大數(shù)據(jù)時代，城市道路交通數(shù)據(jù)呈指數(shù)級增長，具有多源、異構(gòu)、數(shù)量巨大等特點[1-3]?？焖俑咝Х治鰯?shù)據(jù)并將分析結(jié)果充分利用，可以提高交通基礎(chǔ)設(shè)施的使用率及城市交通運行效率，是城市交通工作的重點。SuperMap大數(shù)據(jù)地理信息系統(tǒng)采用先進(jìn)的大數(shù)據(jù)框架平臺，能夠滿足技術(shù)人員及管理人員對交通基礎(chǔ)設(shè)施數(shù)據(jù)的使用需求[4-5]。文章基于SuperMap大數(shù)據(jù)地理信息系統(tǒng)構(gòu)建交通設(shè)施空間數(shù)據(jù)查詢系統(tǒng)，為交通設(shè)施數(shù)據(jù)管理提供平臺。

1 建設(shè)目標(biāo)

建設(shè)交通設(shè)施空間數(shù)據(jù)查詢系統(tǒng)的總體目標(biāo)為實現(xiàn)跨系統(tǒng)數(shù)據(jù)共享，解決信息孤島，提升數(shù)據(jù)管理能力，輔助決策分析，提供統(tǒng)一的數(shù)據(jù)服務(wù)。

（1）為解決查詢效率低下、實時性差、缺乏空間查詢等問題，基于交通設(shè)施空間數(shù)據(jù)查詢系統(tǒng)建造數(shù)據(jù)倉庫，提高交通數(shù)據(jù)的利用率，為領(lǐng)導(dǎo)的科學(xué)決策提供必要的技術(shù)支持。

（2）為實現(xiàn)交通海量數(shù)據(jù)的數(shù)據(jù)查詢、分析性能和數(shù)據(jù)管理應(yīng)用水平，創(chuàng)新性地利用大數(shù)據(jù)管理技術(shù)，為交通管理大數(shù)據(jù)決策、大數(shù)據(jù)分析、大數(shù)據(jù)作戰(zhàn)、大數(shù)據(jù)監(jiān)管和大數(shù)據(jù)服務(wù)打下堅實基礎(chǔ)。

交通大數(shù)據(jù)管理平臺界面如圖1所示。

圖1 交通大數(shù)據(jù)管理平臺界面

2 需求分析

2.1 整合現(xiàn)有交通數(shù)據(jù)資源

各類交通設(shè)施數(shù)據(jù)分散在不同的應(yīng)用系統(tǒng)中，各系統(tǒng)的數(shù)據(jù)接口、數(shù)據(jù)庫結(jié)構(gòu)等缺乏統(tǒng)一標(biāo)準(zhǔn)，數(shù)據(jù)發(fā)布未形成統(tǒng)一的標(biāo)準(zhǔn)，無法實現(xiàn)互聯(lián)互通和信息共享，豐富的信息資源有待有效的開發(fā)利用，限制交通信息化整體效益的發(fā)揮，成為交通信息化建設(shè)中迫切需要解決的問題。構(gòu)建交通設(shè)施空間數(shù)據(jù)查詢系統(tǒng)，實現(xiàn)已有系統(tǒng)整合、優(yōu)化，可以有效利用信息化資源。

2.2 整合現(xiàn)有系統(tǒng)需求

目前，已具有多個涉及交通設(shè)施數(shù)據(jù)的專題應(yīng)用系統(tǒng)，隨著信息化深入建設(shè)，相關(guān)數(shù)據(jù)系統(tǒng)數(shù)量會越來越多，需要對系統(tǒng)進(jìn)行整合，避免一個用戶使用多個系統(tǒng)、多次申請賬號、多次登錄的問題。

2.3 數(shù)據(jù)共享的需求

在“共建共享”模式要求下，交通設(shè)施空間數(shù)據(jù)查詢系統(tǒng)必須是開放、可共享的。數(shù)據(jù)倉庫的建設(shè)不僅能夠滿足本查詢系統(tǒng)，也能夠?qū)崿F(xiàn)數(shù)據(jù)的對外共享能力。需要考慮數(shù)據(jù)共享過程中數(shù)據(jù)權(quán)限控制以及數(shù)據(jù)安全問題。

2.4 深化交通數(shù)據(jù)開發(fā)應(yīng)用模式

綜合運用大數(shù)據(jù)、可視化及地理信息技術(shù)，直觀、生動地整合、呈現(xiàn)、分析數(shù)據(jù)，深挖數(shù)據(jù)價值，從傳統(tǒng)紙質(zhì)報表轉(zhuǎn)向基于可視化形式，實時對城區(qū)交通進(jìn)行研判、規(guī)劃、決策。通過構(gòu)建交通數(shù)據(jù)倉庫，實現(xiàn)對交通行業(yè)信息數(shù)據(jù)資源的深度挖掘，提高數(shù)據(jù)利用價值。

2.5 提升宏觀決策能力

隨著大數(shù)據(jù)的發(fā)展，利用數(shù)據(jù)決策、根據(jù)數(shù)據(jù)說話、使用數(shù)據(jù)治理成為相關(guān)單位開展工作的重要方式，迫切需要建立綜合的數(shù)據(jù)平臺，快速、準(zhǔn)確、實時地了解交通行業(yè)的發(fā)展情況，為加快新舊動能轉(zhuǎn)換實施定向調(diào)控和精細(xì)化管理。通過構(gòu)建交通數(shù)據(jù)倉庫，綜合運用大數(shù)據(jù)分析、大數(shù)據(jù)挖掘及大數(shù)據(jù)可視化等技術(shù)對交通情況進(jìn)行實時監(jiān)測，能夠更全面、準(zhǔn)確地反映發(fā)展情況，為領(lǐng)導(dǎo)決策提供更精準(zhǔn)的應(yīng)用服務(wù)。

3 系統(tǒng)設(shè)計原則

3.1 開放性原則

交通設(shè)施空間數(shù)據(jù)查詢系統(tǒng)的架構(gòu)應(yīng)是開放的，支持各應(yīng)用系統(tǒng)間的分享硬件資源、軟件資源、網(wǎng)絡(luò)資源、開發(fā)接口和關(guān)于地理信息功能軟件的服務(wù)。

3.2 可擴(kuò)展性原則

系統(tǒng)架構(gòu)應(yīng)具備先進(jìn)性和可擴(kuò)展性，保證后期需要對系統(tǒng)進(jìn)行升級改造時，能夠保護(hù)現(xiàn)有的投資。系統(tǒng)的結(jié)構(gòu)應(yīng)合理，具有良好的可擴(kuò)展性，能夠比較容易地適應(yīng)調(diào)整、擴(kuò)充和刪減；能夠與其他系統(tǒng)的接口兼容，充分利用各系統(tǒng)的特長。

3.3 實用性原則

系統(tǒng)設(shè)計應(yīng)結(jié)合實際需求，圍繞應(yīng)用，注重實效方針，利用成熟技術(shù)，設(shè)計界面美觀、布局簡潔、功能實用、操作方便的系統(tǒng)，解決用戶實際業(yè)務(wù)問題。

3.4 安全性原則

全面考慮系統(tǒng)運行的安全性，從物理環(huán)境（包括機(jī)房、網(wǎng)絡(luò)及設(shè)備）、數(shù)據(jù)層面、應(yīng)用層面、安全管理制度等方面進(jìn)行全方位的設(shè)計。部署在公有環(huán)境的應(yīng)用涉及的計算資源、存儲資源以及地理信息數(shù)據(jù)和專題數(shù)據(jù)等信息必須符合相關(guān)保密安全要求。

4 系統(tǒng)設(shè)計思路

4.1 構(gòu)建交通大數(shù)據(jù)倉庫

圍繞各部門的實際需求，通過數(shù)據(jù)匯聚、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)融合、數(shù)據(jù)發(fā)布等過程，形成權(quán)威統(tǒng)一的交通大數(shù)據(jù)倉庫，實現(xiàn)交通大數(shù)據(jù)全生命周期管理。

4.2 建立標(biāo)準(zhǔn)化、流程化、自動化數(shù)據(jù)倉庫

匯聚各信息系統(tǒng)的多源異構(gòu)數(shù)據(jù)種類多、類型復(fù)雜，各類數(shù)據(jù)具有不同的更新頻率及更新方式，人工處理的工作效率較低，無法持續(xù)投入建設(shè)。因此，實現(xiàn)數(shù)據(jù)倉庫自動化運行成為該項目建設(shè)的重要內(nèi)容。

數(shù)據(jù)倉庫建立包含數(shù)據(jù)匯聚、轉(zhuǎn)換、存儲等多個階段，為了滿足處理流程自動化運行要求，需要完成數(shù)據(jù)匯聚標(biāo)準(zhǔn)化、數(shù)據(jù)處理流程化、流程運行任務(wù)化、任務(wù)執(zhí)行可監(jiān)控等內(nèi)容的設(shè)計與建設(shè)。

4.3 部門協(xié)作，開放共享，集成應(yīng)用

圍繞業(yè)務(wù)工作的整體流程，開展多部門間的協(xié)同應(yīng)用，通過數(shù)據(jù)倉庫及查詢系統(tǒng)建設(shè)，充分利用數(shù)據(jù)在業(yè)務(wù)協(xié)同中的價值，通過統(tǒng)一的數(shù)據(jù)服務(wù)接口對外開放應(yīng)用，實現(xiàn)“數(shù)據(jù)協(xié)同、業(yè)務(wù)共享”。

5 總體技術(shù)路線

5.1 基于大數(shù)據(jù)計算和存儲技術(shù)，支持超大規(guī)模數(shù)據(jù)在線處理和管理

交通設(shè)施空間數(shù)據(jù)具有大數(shù)據(jù)的4V特性。本項目構(gòu)建的時空信息數(shù)據(jù)種類多樣、數(shù)據(jù)量大，具有挖掘分析的價值，需要使用大數(shù)據(jù)技術(shù)進(jìn)行管理。

時空信息數(shù)據(jù)的存儲、管理和分析需借助支持時空大數(shù)據(jù)的GIS專業(yè)軟件。傳統(tǒng)的GIS軟件以數(shù)據(jù)獲取、存儲、管理功能為主，添加各種時間維度和空間維度的專題圖展示功能，可以實現(xiàn)空間統(tǒng)計、地理分區(qū)、路徑分析、選址優(yōu)化等空間分析功能，在城市建設(shè)、交通運輸、氣象預(yù)測、區(qū)域發(fā)展、決策支持等方面發(fā)揮非常重要的作用。針對時空大數(shù)據(jù)，現(xiàn)有數(shù)據(jù)管理和分析算法難以擴(kuò)展到大規(guī)模的分布式并行計算系統(tǒng)上、無法滿足對非結(jié)構(gòu)化的未知數(shù)據(jù)的探索性分析的需要。因此，需要基于最新的虛擬化計算基礎(chǔ)設(shè)施（如OpenStack/Docker）和分布式計算架構(gòu)（如Spark/Hadoop）技術(shù)構(gòu)建GISpark，支撐時空大數(shù)據(jù)分析。本系統(tǒng)基于SuperMap構(gòu)建，充分利用SuperMap在空間大數(shù)據(jù)存儲、處理方面的強(qiáng)大功能。

5.2 基于數(shù)據(jù)倉庫技術(shù)，實現(xiàn)多源數(shù)據(jù)融合與聯(lián)機(jī)分析

數(shù)據(jù)處理系統(tǒng)大致可以分為聯(lián)機(jī)事務(wù)處理OLTP、聯(lián)機(jī)分析處理OLAP兩類系統(tǒng)。OLTP對實時性要求高，主要處理數(shù)據(jù)庫記錄的增刪改查等基本的日常事務(wù)，通常用于業(yè)務(wù)應(yīng)用系統(tǒng)的建設(shè)。OLAP系統(tǒng)的實時性和事務(wù)性要求不高，數(shù)據(jù)倉庫主要采用OLAP系統(tǒng)建立，支持大數(shù)據(jù)量的分析操作，側(cè)重決策支持，提供直觀、豐富的結(jié)果展示形式。

數(shù)據(jù)倉庫需要將各業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)匯聚，數(shù)據(jù)體量和并發(fā)量較大，符合數(shù)據(jù)倉庫系統(tǒng)的特點，基于數(shù)據(jù)倉庫可以形成涵蓋時間、空間以及屬性的多維數(shù)據(jù)體系，支持多維數(shù)據(jù)分析，構(gòu)建可持續(xù)更新的城市指標(biāo)體系，支撐智能化的業(yè)務(wù)模型和業(yè)務(wù)應(yīng)用。傳統(tǒng)的OLTP數(shù)據(jù)管理方式已經(jīng)不能滿足需求，迫切需要為時空大數(shù)據(jù)與云平臺建立數(shù)據(jù)倉庫系統(tǒng)，以滿足大量的數(shù)據(jù)分析和挖掘工作，提高平臺的智能化程度。

5.3 利用Geo-ETL技術(shù)，實現(xiàn)數(shù)據(jù)的匯聚融合

隨著數(shù)據(jù)庫技術(shù)的應(yīng)用和發(fā)展，研究人員嘗試對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行再加工，形成綜合的、面向分析的環(huán)境，更好地支持決策分析，形成數(shù)據(jù)倉庫。在數(shù)據(jù)倉庫建設(shè)中，業(yè)務(wù)數(shù)據(jù)庫中的數(shù)據(jù)向數(shù)據(jù)倉庫遷移的工作量較大，因為原有數(shù)據(jù)庫的數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、數(shù)據(jù)形式不一致。ETL工具為解決數(shù)據(jù)遷移過程中的問題，將數(shù)據(jù)進(jìn)行“凈化提煉”，裝入數(shù)據(jù)倉庫，是建設(shè)數(shù)據(jù)倉庫的重點之一。

建設(shè)交通設(shè)施空間數(shù)據(jù)查詢系統(tǒng)時，利用Geo-ETL技術(shù)從數(shù)據(jù)源中抽取需要的數(shù)據(jù)，清洗數(shù)據(jù)，按照預(yù)先定義好的數(shù)據(jù)倉庫模型將數(shù)據(jù)加載至數(shù)據(jù)倉庫中，完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉庫轉(zhuǎn)化的過程。

5.4 基于新一代地圖服務(wù)技術(shù)，實現(xiàn)數(shù)據(jù)即時發(fā)布與個性化表達(dá)

大數(shù)據(jù)分布式計算新一代地圖表達(dá)技術(shù)支持影像、矢量、三維數(shù)據(jù)的標(biāo)準(zhǔn)化建庫、自動化制圖和電子地圖的一鍵免切圖快速發(fā)布和即時瀏覽，以矢量瓦片方式支持動畫、動態(tài)和演示模變化，實現(xiàn)地圖數(shù)據(jù)的個性化、動態(tài)化表達(dá)。

以時空信息為基礎(chǔ)，將全市二維、靜態(tài)、動態(tài)等信息資源，通過一體化技術(shù)手段進(jìn)行展示與應(yīng)用，提供個性化配圖功能。用戶可以按照不同需求，定制包含不同的個性化地圖，配置地圖風(fēng)格，滿足各專業(yè)部門對不同專題信息的需求。

6 系統(tǒng)設(shè)計

（1）組合查詢及自定義空間范圍查詢分析。

整合各類交通匯總數(shù)據(jù)，提供基于地理信息的查詢與分析。綜合數(shù)據(jù)查詢結(jié)果，以統(tǒng)計表格、統(tǒng)計圖、專題圖的形式展現(xiàn)；支持對交通數(shù)據(jù)按照空間要素查詢；支持按照定制的區(qū)域進(jìn)行定制分析；支持自定義區(qū)劃分析，自定義的邊界，基于地理信息對數(shù)據(jù)進(jìn)行空間篩選和統(tǒng)計分析。

交通大數(shù)據(jù)查詢功能如圖2所示。

圖2 交通大數(shù)據(jù)查詢功能

（2）空間GIS分析。

系統(tǒng)支持空間和屬性分析，通過構(gòu)建統(tǒng)一的空間地理分析框架，實現(xiàn)交通信息的全面整合，為各專業(yè)用戶提供靈活、多角度的空間GIS分析，包括緩沖分析、熱力分析、空間求交等。

（3）CAD數(shù)據(jù)上傳疊加。

支持帶坐標(biāo)的DWG格式的CAD規(guī)劃數(shù)據(jù)上傳，可以疊加至現(xiàn)有數(shù)據(jù)圖層，進(jìn)行疊加展示。

（4）方案分屏查看。

系統(tǒng)支持在地圖上疊加規(guī)劃方案，通過多屏展示方式進(jìn)行方案對比聯(lián)動，對多個設(shè)計方案或不同的調(diào)整結(jié)果進(jìn)行比較。

（5）數(shù)據(jù)導(dǎo)出。

實現(xiàn)系統(tǒng)數(shù)據(jù)的導(dǎo)出，包括查詢數(shù)據(jù)結(jié)果、專題地圖、渲染圖等，為用戶提供統(tǒng)一數(shù)據(jù)導(dǎo)出工具。

（6）流量監(jiān)控及報警。

提供高頻訪問探測、數(shù)據(jù)防泄漏功能，自動探測與制止惡意扒取數(shù)據(jù)行為，主要功能包括流量監(jiān)測和數(shù)據(jù)異常告警處理功能。

7 結(jié)語

重慶交通設(shè)施空間數(shù)據(jù)查詢系統(tǒng)已應(yīng)用于交通規(guī)劃、交通管理、交通研究等領(lǐng)域，基于SuperMap大數(shù)據(jù)地理信息系統(tǒng)的框架對支撐多行業(yè)應(yīng)用起關(guān)鍵作用。