李媛翯 張健欽,2 趙 明
( 1、北京建筑大學(xué) 測(cè)繪與城市空間信息學(xué)院,北京100044 2、城市空間信息自然資源部重點(diǎn)實(shí)驗(yàn)室,北京100044)
近年來(lái),交通數(shù)據(jù)來(lái)源越來(lái)越廣,數(shù)據(jù)類(lèi)型也日益豐富,而不同交通信息系統(tǒng)之間相互獨(dú)立,易出現(xiàn)各自為政、條塊分割、大量重復(fù)建設(shè)和業(yè)務(wù)無(wú)法協(xié)調(diào)等問(wèn)題,建立一個(gè)兼具大數(shù)據(jù)分析和各部門(mén)協(xié)同功能的平臺(tái)迫在眉睫?;旌显萍婢邚椥再Y源和安全保障,有存儲(chǔ)數(shù)據(jù)量大、計(jì)算能力強(qiáng)、信息融合可共享等優(yōu)點(diǎn)。因此本文設(shè)計(jì)了一個(gè)基于混合云的交通大數(shù)據(jù)協(xié)同工作平臺(tái)的系統(tǒng)框架和多用戶協(xié)同分析機(jī)制,并進(jìn)行了研發(fā)和應(yīng)用實(shí)驗(yàn)。
結(jié)合混合云計(jì)算技術(shù),本文從全局的視角出發(fā),考慮到資源集成、業(yè)務(wù)互聯(lián)和數(shù)據(jù)互通等方面后,進(jìn)行了系統(tǒng)總體框架的設(shè)計(jì),如圖1。
本系統(tǒng)一共分為六層,其中數(shù)據(jù)資源層包含數(shù)據(jù)采集層和數(shù)據(jù)層。數(shù)據(jù)采集是指通過(guò)設(shè)備獲取交通相關(guān)數(shù)據(jù)的過(guò)程。數(shù)據(jù)層是對(duì)采集到的數(shù)據(jù)進(jìn)行初步篩選、整理、格式轉(zhuǎn)換等預(yù)處理,方便后續(xù)的存儲(chǔ)、調(diào)用、分析和封裝工作。數(shù)據(jù)邏輯層包含數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析計(jì)算兩種功能,為數(shù)據(jù)服務(wù)層提供數(shù)據(jù)支撐。數(shù)據(jù)邏輯層即混合云,由本地?cái)?shù)據(jù)庫(kù)、私有云和公有云組成,其中私有云僅限內(nèi)網(wǎng)可以登錄。數(shù)據(jù)服務(wù)層負(fù)責(zé)不同模塊之間的數(shù)據(jù)交換和傳輸。數(shù)據(jù)表現(xiàn)層負(fù)責(zé)web 前端界面用戶交互操作、數(shù)據(jù)挖掘結(jié)果的展示。協(xié)同層是指通過(guò)視頻會(huì)議和云文檔的方式輔助用戶協(xié)同。用戶層包括數(shù)據(jù)管理員、專(zhuān)家、公眾和決策者。
圖1 系統(tǒng)架構(gòu)
圖2 系統(tǒng)協(xié)同機(jī)制(灰色表示異地登陸平臺(tái))
本文中的協(xié)同分析主要是指來(lái)自不同地理位置和背景的用戶根據(jù)各自的領(lǐng)域共同解決某些交通問(wèn)題的過(guò)程,貫穿于從數(shù)據(jù)收集、存儲(chǔ)、分析到?jīng)Q策的全過(guò)程。城市交通大數(shù)據(jù)協(xié)同分析平臺(tái)的協(xié)同機(jī)制如圖2。其中,數(shù)據(jù)管理員負(fù)責(zé)確定數(shù)據(jù)的敏感性,并清理上載的數(shù)據(jù),以確保數(shù)據(jù)的安全和質(zhì)量。專(zhuān)家負(fù)責(zé)算法模型的研究和實(shí)現(xiàn),以及對(duì)計(jì)算結(jié)果的分析。決策者負(fù)責(zé)根據(jù)專(zhuān)家的分析和公眾反映的實(shí)際情況制定政策。
圖3 原型系統(tǒng)架構(gòu)
本文通過(guò)建立防火墻將內(nèi)網(wǎng)與互聯(lián)網(wǎng)或其他外部網(wǎng)絡(luò)隔離開(kāi)來(lái),并通過(guò)限制網(wǎng)絡(luò)訪問(wèn)來(lái)保護(hù)內(nèi)網(wǎng),從而確保云中數(shù)據(jù)傳輸?shù)陌踩?。同時(shí)在混合云中部署SSL VPN 設(shè)備和虛擬映像,建立私有的加密傳輸通道,避免數(shù)據(jù)盜竊和非法攻擊等安全威脅。用戶通過(guò)安裝VPN 客戶端建立SSL VPN 連接,遠(yuǎn)程訪問(wèn)虛擬私有云進(jìn)入系統(tǒng)登錄界面。在確認(rèn)用戶的身份信息之后,系統(tǒng)將自動(dòng)跳轉(zhuǎn)到為內(nèi)網(wǎng)用戶服務(wù)的數(shù)據(jù)分析界面。
此外,系統(tǒng)設(shè)有用戶操作記錄功能,所有操作信息都記錄在日志文件中,并定期上傳到云中。
以北京為例,每天會(huì)產(chǎn)生數(shù)億條動(dòng)態(tài)交通運(yùn)行數(shù)據(jù),其中大部分具有位置和時(shí)間屬性信息。依據(jù)北京市交通數(shù)據(jù)結(jié)構(gòu)和用戶可視化分析需求,本文基于上述系統(tǒng)架構(gòu)和協(xié)同機(jī)制研發(fā)了北京市交通大數(shù)據(jù)可視化系統(tǒng)。目前,該系統(tǒng)已成功在阿里云服務(wù)器上部署并運(yùn)行。北京市交通大數(shù)據(jù)可視化系統(tǒng)架構(gòu)如圖3。
根據(jù)出行數(shù)據(jù)的來(lái)源,系統(tǒng)分為出租車(chē)、共享單車(chē)、公交車(chē)、停車(chē)和地鐵五大模塊模塊。系統(tǒng)支持內(nèi)網(wǎng)用戶在web 端進(jìn)行固定格式數(shù)據(jù)上傳、數(shù)據(jù)查詢(xún)、可視化服務(wù)調(diào)取等操作;其他用戶可查看可視化分析結(jié)果,且支持在討論區(qū)對(duì)結(jié)果進(jìn)行評(píng)價(jià)和反饋。
為有效管理多源異構(gòu)的交通大數(shù)據(jù),并實(shí)現(xiàn)數(shù)據(jù)的高效協(xié)同利用和分析,本文設(shè)計(jì)了基于混合云計(jì)算技術(shù)的交通大數(shù)據(jù)協(xié)同分析平臺(tái)的系統(tǒng)架構(gòu)和多用戶協(xié)同分析機(jī)制,并介紹了基于該系統(tǒng)架構(gòu)下原型系統(tǒng)的實(shí)現(xiàn)。當(dāng)前,為萬(wàn)物互聯(lián)網(wǎng)提供技術(shù)支持的5G 已正式投入使用,進(jìn)一步推動(dòng)了數(shù)字雙城的建設(shè)。如何繼續(xù)提高海量數(shù)據(jù)下的計(jì)算效率,保證計(jì)算的實(shí)時(shí)性和穩(wěn)定性將成為未來(lái)研究的主要方向。