趙陽 張曼
摘 要:大數(shù)據(jù)作為影響未來互聯(lián)網(wǎng)生態(tài)、創(chuàng)新體系、產(chǎn)業(yè)形態(tài)乃至社會治理的國家基礎(chǔ)性戰(zhàn)略資源,在推動政府治理精準(zhǔn)化,推進安全保障高效化,加快民生服務(wù)普惠化等方面發(fā)揮越來越重要作用。交通運輸行業(yè)數(shù)據(jù)作為政務(wù)信息資源重要組成部分,有必要進行匯聚、梳理、整合、分析和應(yīng)用,助力構(gòu)建“綜合、智慧、綠色、平安、美麗”的現(xiàn)代綜合交通運輸體系。文章詳細(xì)分析交通運輸領(lǐng)域數(shù)據(jù)資源體系建設(shè)和開放共享領(lǐng)域存在的問題,并基于此提出建設(shè)智能交通大數(shù)據(jù)共享應(yīng)用平臺,并對平臺業(yè)務(wù)框架、邏輯架構(gòu)、技術(shù)架構(gòu)、功能架構(gòu)進行設(shè)計,最終構(gòu)建公路、水路、鐵路、民航以及城市交通中的城市路網(wǎng)、地面公交、軌道交通等基礎(chǔ)、業(yè)務(wù)、感知監(jiān)測類數(shù)據(jù)的采集、清洗、存儲、共享、應(yīng)用體系。
關(guān)鍵詞:大數(shù)據(jù);現(xiàn)代綜合交通運輸體系;數(shù)據(jù)資源交換共享與開放應(yīng)用平臺
中圖分類號:U495 文獻(xiàn)標(biāo)志碼:A 文章編號:2095-2945(2019)02-0023-03
Abstract: Big data, as a national basic strategic resource affecting the future Internet ecology, innovation system, industrial formation and even social governance, is promoting the precision of government governance and the high efficiency of security guarantee. We will speed up the universalization of services for people's livelihood and play an increasingly important role. Transportation industry data as an important part of government information resources, it is necessary to gather, comb, integrate, analysis and application, to help build a "comprehensive, intelligent, green, safe and beautiful" modern comprehensive transportation system. This paper analyzes in detail the problems existing in the construction of data resources system and open sharing in the field of traffic and transportation, and based on this, puts forward the construction of an intelligent transportation sharing application platform for big data. The business framework, logical architecture, technical architecture and functional architecture of the platform are designed. Finally, the collection, cleaning, storage, sharing and application system of road, waterway, railway, civil aviation and urban transportation such as urban network, ground bus, rail transit, business, sensing monitoring data collection, cleaning, storage, sharing and application are constructed.
Keywords: big data; modern comprehensive transportation system; data resourcesexchange and sharing and open application platform
近年來隨著國家數(shù)據(jù)交換共享平臺的建設(shè),將推動構(gòu)建起覆蓋全國、統(tǒng)籌調(diào)動、物理分散、邏輯集中、資源共享、縱橫協(xié)管的“大平臺、大數(shù)據(jù)、大系統(tǒng)”。推動實施國家大數(shù)據(jù)戰(zhàn)略,加快完善數(shù)字基礎(chǔ)設(shè)施,推送數(shù)據(jù)資源整合和開放共享,保障數(shù)據(jù)安全,成為“十三五”期間各行業(yè)信息化建設(shè)重中之重。
面向交通運輸信息化建設(shè)從分散轉(zhuǎn)向集約,從孤立封閉轉(zhuǎn)向共享開放,從政府推動轉(zhuǎn)向政企合作的重要轉(zhuǎn)型期,互聯(lián)網(wǎng)+、云計算、大數(shù)據(jù)、車聯(lián)網(wǎng)等將引導(dǎo)行業(yè)進入新的業(yè)務(wù)協(xié)同和智能應(yīng)用階段。綜合分析“互聯(lián)網(wǎng)+”、政務(wù)信息資源整合、大數(shù)據(jù)發(fā)展等相關(guān)政策文件要求,結(jié)合目前智能交通系統(tǒng)發(fā)展特征,聚焦解決交通行業(yè)數(shù)據(jù)資源采集接入能力不足、整合力度不夠、共享能力薄弱、數(shù)據(jù)源頭不統(tǒng)一造成數(shù)據(jù)血緣關(guān)系較差、數(shù)據(jù)標(biāo)準(zhǔn)體系不統(tǒng)一、數(shù)據(jù)資源對綜合交通業(yè)務(wù)協(xié)同與共享支撐能力不足、全生命周期管控能力不足等痛點問題,本文提出通過構(gòu)建省級交通運輸行業(yè)數(shù)據(jù)資源交換共享與開放應(yīng)用平臺,促進數(shù)據(jù)要素科學(xué)、高效流通,實現(xiàn)跨層級、跨地域、跨系統(tǒng)、跨部門、跨業(yè)務(wù)的數(shù)據(jù)共享,發(fā)揮數(shù)據(jù)資源創(chuàng)新引擎作用,運用大數(shù)據(jù)提升行業(yè)治理現(xiàn)代化水平。
1 智能交通大數(shù)據(jù)共享應(yīng)用平臺建設(shè)總體原則
1.1 整體設(shè)計、統(tǒng)籌考慮
從“智慧交通”全局信息化整體推進角度進行數(shù)據(jù)資源共享平臺規(guī)劃設(shè)計,既考慮其在天津交通運輸信息化發(fā)展中數(shù)據(jù)基礎(chǔ)支撐平臺的定位,又統(tǒng)籌其與交通部、天津市政務(wù)云平臺對接。
1.2 服務(wù)導(dǎo)向、業(yè)務(wù)驅(qū)動
以業(yè)務(wù)服務(wù)為導(dǎo)向,以業(yè)務(wù)流程為驅(qū)動,圍繞天津交通運輸信息化內(nèi)部管理用戶和外部單位及人員的數(shù)據(jù)共享需求,制定能夠?qū)崿F(xiàn)服務(wù)按需定制的整體架構(gòu)目標(biāo)。
1.3 系統(tǒng)構(gòu)建、突出重點
充分考慮各系統(tǒng)間的關(guān)聯(lián)、匹配與有機銜接,同時要突出重點。在信息資源整合、統(tǒng)一協(xié)同管理、綜合信息服務(wù)等方面有針對性地提出發(fā)展目標(biāo)和措施建議,并與同期開展項目進行有效銜接。
2 總體邏輯架構(gòu)
智能交通大數(shù)據(jù)共享應(yīng)用平臺總體架構(gòu)分為基礎(chǔ)設(shè)施云平臺、支撐系統(tǒng)層、數(shù)據(jù)資源層、業(yè)務(wù)應(yīng)用層、用戶展現(xiàn)層5個層面。
2.1 基礎(chǔ)設(shè)施云平臺
主要包括主機及存儲系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)、安全系統(tǒng)、運維系統(tǒng)及基礎(chǔ)軟件等。采用統(tǒng)籌集約的建設(shè)思路,通過云計算分布式技術(shù)形成統(tǒng)一的虛擬資源池,承載所有的IaaS層服務(wù)、PaaS層服務(wù)以及應(yīng)用系統(tǒng),實現(xiàn)計算的彈性擴展與資源的動態(tài)分配。
2.2 支撐軟件系統(tǒng)
為支撐數(shù)據(jù)交換共享與管理,保障數(shù)據(jù)共享安全,需配置關(guān)系型數(shù)據(jù)庫、大數(shù)據(jù)管理軟件、數(shù)據(jù)交換中間件、數(shù)據(jù)處理中間件、數(shù)據(jù)服務(wù)安全網(wǎng)關(guān)等軟件。
2.3 數(shù)據(jù)資源平臺
數(shù)據(jù)資源平臺開發(fā)主要完成信息資源目錄系統(tǒng)、數(shù)據(jù)交換共享管理系統(tǒng)、數(shù)據(jù)質(zhì)量管控系統(tǒng)、數(shù)據(jù)資源平臺監(jiān)控系統(tǒng)、數(shù)據(jù)展現(xiàn)系統(tǒng)。數(shù)據(jù)工程主要實現(xiàn)數(shù)據(jù)的采集接入、數(shù)據(jù)質(zhì)量處理、基于云平臺的數(shù)據(jù)中心的建設(shè)、信息資源目錄編著、數(shù)據(jù)資源標(biāo)準(zhǔn)體系的編制以及數(shù)據(jù)共享服務(wù)的配置。
2.4 應(yīng)用系統(tǒng)層
基于云平臺、數(shù)據(jù)資源平臺,構(gòu)建服務(wù)于行業(yè)管理者、決策者的政務(wù)管理類、運行監(jiān)測和應(yīng)急指揮類、安全生產(chǎn)類、決策支持和評價類等相關(guān)應(yīng)用;構(gòu)建面向出行者、行業(yè)企業(yè)提供應(yīng)用的公眾信息服務(wù)系統(tǒng)。
2.5 統(tǒng)一入口門戶
實現(xiàn)行業(yè)內(nèi)外應(yīng)用系統(tǒng)的統(tǒng)一門戶、統(tǒng)一用戶管理、統(tǒng)一權(quán)限管理、統(tǒng)一身份認(rèn)證、統(tǒng)一審計管理“五個統(tǒng)一”和單點登錄功能。集成手機APP、PC端各項應(yīng)用以及微信、微博、情報板、交通廣播等信息服務(wù)手段。
2.6 平臺數(shù)據(jù)資源相關(guān)技術(shù)規(guī)范
主要包括數(shù)據(jù)元、數(shù)據(jù)模型、數(shù)據(jù)采集、數(shù)據(jù)交換、數(shù)據(jù)管控、數(shù)據(jù)服務(wù)、數(shù)據(jù)開放、數(shù)據(jù)目錄服務(wù)、平臺運行管理、平臺業(yè)務(wù)應(yīng)用系統(tǒng)開發(fā)和部署技術(shù)規(guī)范、平臺移動服務(wù)技術(shù)規(guī)范;以及數(shù)據(jù)資源交換共享與開放應(yīng)用平臺運行和服務(wù)評價辦法、數(shù)據(jù)資源交換共享與開放應(yīng)用平臺運行安全管理辦法等。
3 技術(shù)架構(gòu)
(1)接入數(shù)據(jù)源:對接入數(shù)據(jù)源從接入種類進行了分析,無論內(nèi)部數(shù)據(jù)還是外部數(shù)據(jù),主要可以歸納為4類數(shù)據(jù),關(guān)系型數(shù)據(jù)、GPS,AIS等流數(shù)據(jù)、視頻監(jiān)控類的流數(shù)據(jù)及文件類型的數(shù)據(jù)。
(2)分布式數(shù)據(jù)采集接入:通過分布式的數(shù)據(jù)接入組件進行實時定時等模式的采集,對應(yīng)不同源數(shù)據(jù)的類型采用不同的組件,針對GPS及視頻類的數(shù)據(jù)采用流數(shù)據(jù)組件進行接入,對于關(guān)系型數(shù)據(jù)類型采用數(shù)據(jù)庫及API接口進行接入,對于文件類型采用FTP及文件目錄監(jiān)控等模式接入。數(shù)據(jù)接入后采用多個線程進行并行處理,一路直接實時推送到數(shù)據(jù)質(zhì)量處理中心,一路進行原始數(shù)據(jù)存儲,進入原始存儲的數(shù)據(jù)就作為后期數(shù)據(jù)溯源及容災(zāi)進行保留。
(3)高性能數(shù)據(jù)質(zhì)量處理:數(shù)據(jù)到達(dá)處理中心后,同樣是分為兩路進程進行數(shù)據(jù)處理,一路是對于實時性要求比較高的GPS等數(shù)據(jù),進行簡單清洗后直接向上推送的同時進行數(shù)據(jù)存儲,對于視頻數(shù)據(jù),通過視頻管理統(tǒng)一平臺進行標(biāo)準(zhǔn)格式轉(zhuǎn)換后也實時向上推送,另外一路是基于實時性要求相對弱的數(shù)據(jù)按規(guī)則進行相關(guān)的清洗、轉(zhuǎn)換及融合等處理后進入數(shù)據(jù)存儲。
(4)多協(xié)議的數(shù)據(jù)接口共享:針對已經(jīng)被授權(quán)的數(shù)據(jù)應(yīng)用方,GPS及視頻等實時數(shù)據(jù)會通過流數(shù)據(jù)的模式直接推送到數(shù)據(jù)應(yīng)用方,其他數(shù)據(jù)存入數(shù)據(jù)中心后,可通過API接口數(shù)據(jù)實時查詢請求及定時推送等模式實現(xiàn)和數(shù)據(jù)應(yīng)用端的共享開放。
4 功能架構(gòu)
整個數(shù)據(jù)資源體系的功能框架主要包括數(shù)據(jù)采集(交換)、數(shù)據(jù)質(zhì)量處理、數(shù)據(jù)共享服務(wù)接口的封裝、數(shù)據(jù)全生命周期管控、數(shù)據(jù)共享服務(wù)管理、數(shù)據(jù)資源目錄管理、數(shù)據(jù)標(biāo)準(zhǔn)體系等。
數(shù)據(jù)采集(交換):在原數(shù)據(jù)中心建立數(shù)據(jù)抽取、數(shù)據(jù)同步、批量轉(zhuǎn)移的多種機制,當(dāng)有數(shù)據(jù)更新時,以相應(yīng)的觸發(fā)模式、傳輸方式和技術(shù)手段實時、準(zhǔn)實時或及時地推送到數(shù)據(jù)云中心。根據(jù)現(xiàn)有各類數(shù)據(jù)資源采集情況,結(jié)合各類數(shù)據(jù)源的特點及數(shù)據(jù)更新及交換要求,綜合考慮網(wǎng)絡(luò)條件,確定對不同類型的數(shù)據(jù)分別采用數(shù)據(jù)交換中間件、數(shù)據(jù)導(dǎo)入、人工錄入、直接使用等4種方式進行采集。其中數(shù)據(jù)交換中間件支持ETL、數(shù)據(jù)接口、FTP、數(shù)據(jù)適配器等多種方式。
數(shù)據(jù)質(zhì)量處理:主要針對重復(fù)、不合規(guī)的數(shù)據(jù)做清洗處理,對多源的基礎(chǔ)數(shù)據(jù)的融合轉(zhuǎn)換,完成交換庫的數(shù)據(jù)抽取,完成數(shù)據(jù)質(zhì)量規(guī)則定義,數(shù)據(jù)質(zhì)量處理流程配置、部署與測試,數(shù)據(jù)入共享庫建模等流程。主要聚焦對數(shù)據(jù)自身質(zhì)量做提升,而不根據(jù)業(yè)務(wù)邏輯做數(shù)據(jù)處理。
數(shù)據(jù)共享服務(wù)接口封裝:主要包括服務(wù)接口的設(shè)計、配置、封裝、接口的部署與測試等功能。
數(shù)據(jù)全生命周期監(jiān)控:主要包括監(jiān)測數(shù)據(jù)采集、指標(biāo)配置、指標(biāo)計算、可視化展示、預(yù)警提示、故障定位等功能。
數(shù)據(jù)共享管理:主要包括數(shù)據(jù)共享服務(wù)接口的注冊、發(fā)布、申請、審核、授權(quán)、統(tǒng)計分析等功能。
數(shù)據(jù)目錄管理:主要包括目錄編目、目錄注冊、目錄發(fā)布、目錄檢索、目錄維護等功能。
數(shù)據(jù)標(biāo)準(zhǔn)體系:主要包括數(shù)據(jù)元、數(shù)據(jù)模型、數(shù)據(jù)采集、數(shù)據(jù)交換共享、數(shù)據(jù)開放、數(shù)據(jù)質(zhì)量管控等。
5 結(jié)束語
在國家推進政府部門信息資源整合、開放共享的背景下,本文基于交通行業(yè)數(shù)據(jù)應(yīng)用現(xiàn)狀提出省級交通主管部門建設(shè)數(shù)據(jù)交換共享平臺的一種思路,設(shè)計提出了數(shù)據(jù)交換共享平臺的總體邏輯架構(gòu)、技術(shù)架構(gòu)和功能架構(gòu),挖掘數(shù)據(jù)隱藏價值,數(shù)據(jù)取之于交通,再用之于交通,實現(xiàn)以信息化手段促進交通運輸行業(yè)傳統(tǒng)管理模式的轉(zhuǎn)型和創(chuàng)新,科學(xué)指導(dǎo)交通決策,更加便捷、高效的開展行業(yè)治理和管理,加快智能交通建設(shè)。構(gòu)建行業(yè)各應(yīng)用系統(tǒng)建設(shè)數(shù)據(jù)來源的統(tǒng)一平臺,避免了數(shù)據(jù)交換接口重復(fù)建設(shè),體現(xiàn)了集約化建設(shè)的原則,大大節(jié)省了未來跨系統(tǒng)、跨區(qū)域、跨業(yè)務(wù)、跨行業(yè)間數(shù)據(jù)交換共享成本。平臺有助于加強政務(wù)信息資源共享開放,提高公眾對于交通運輸環(huán)境、政策的參與度和知悉度,營造更加開放、自由的交通運輸信息共享環(huán)境,樹立良好的服務(wù)型政府形象。
參考文獻(xiàn):
[1]汪祖云.數(shù)據(jù)中心總體架構(gòu)與數(shù)據(jù)共享交換平臺的設(shè)計研究[J].交通運輸系統(tǒng)工程與信息,2008(03).
[2]莫賡,鐘華,魏峻.一個面向電子政務(wù)的信息交換與共享平臺的設(shè)計與實現(xiàn)[J].計算機應(yīng)用研究,2007(05).
[3]賈一葦.全國一體化國家大數(shù)據(jù)中心體系研究[J].電子政務(wù),2017(06).
[4]秦浩.政府信息共享模式:理論、實踐與個案研究[J].電子政務(wù),2017(04).
[5]彭言海.基于云計算的政務(wù)信息資源共享交換與整合平臺的研究與實現(xiàn)[D].鄭州大學(xué),2017.
[6]王永明,岑春,王林,等.數(shù)據(jù)采集交換體系及其在交通運輸數(shù)據(jù)中心建設(shè)中的應(yīng)用研究[J].交通信息與安全,2013(03).
[7]杜勇,李軍.交通數(shù)據(jù)中心數(shù)據(jù)整合與綜合數(shù)據(jù)庫的設(shè)計研究[J].交通科技,2013(02).
[8]宋鴻,陳寧,彭建國,等.多源交通信息融合技術(shù)在重慶市智能交通誘導(dǎo)系統(tǒng)中的應(yīng)用研究[J].交通標(biāo)準(zhǔn)化,2013(01).
[9]宋懿,安小米,范靈俊,等.大數(shù)據(jù)時代政府信息資源共享的協(xié)同機制研究——基于寧波市海曙區(qū)政府信息資源中心的案例分析[J].情報理論與實踐,2018(06).
[10]黃明峰,劉軍,靖劍波.貴陽市政府?dāng)?shù)據(jù)開放平臺設(shè)計與實現(xiàn)[J].電信科學(xué),2017(09).
[11]李凡星.基于數(shù)據(jù)質(zhì)量的政府開放數(shù)據(jù)平臺評估探究[D].南京大學(xué),2017.
[12]朱丹.政府?dāng)?shù)據(jù)資產(chǎn)價值評估與價值實現(xiàn)研究[D].華南理工大學(xué),2017.