潘 瑩 徐文潔 顏彥文 趙時(shí)旻

(1.萬達(dá)信息股份有限公司,201103,上海；2.上海久譽(yù)軟件系統(tǒng)有限公司,201103,上海；3.上海申通地鐵集團(tuán)有限公司,201103,上海 ∥ 第一作者，工程師)

城市軌道交通數(shù)據(jù)是交通信息資源的重要組成，蘊(yùn)含了大量有價(jià)值的信息。然而,城市軌道交通經(jīng)過多年的發(fā)展，其數(shù)據(jù)內(nèi)容、形式復(fù)雜多樣，數(shù)據(jù)資源的結(jié)構(gòu)劃分、資源描述以及資源目錄服務(wù)缺乏統(tǒng)一的行業(yè)標(biāo)準(zhǔn)，極大地影響了其數(shù)據(jù)資源的價(jià)值利用。因此，建立一套有效、合理的城市軌道交通大數(shù)據(jù)資源目錄，能夠促進(jìn)數(shù)據(jù)資源的有效組織和準(zhǔn)確描述，幫助打破城市軌道交通信息系統(tǒng)建設(shè)中出現(xiàn)的信息孤島現(xiàn)象，促進(jìn)城市交通大數(shù)據(jù)的業(yè)務(wù)融合，提升智慧交通的服務(wù)水平。

關(guān)于數(shù)據(jù)資源目錄構(gòu)建，我國交通行業(yè)主管部門已頒布過一系列行業(yè)標(biāo)準(zhǔn)和指導(dǎo)意見。2017年交通運(yùn)輸部辦公廳發(fā)布了《交通運(yùn)輸政務(wù)信息資源目錄編制指南(試行)》[1](以下簡為《目錄編制指南》)，對(duì)資源目錄編制進(jìn)行指導(dǎo)；2020年交通運(yùn)輸部發(fā)布行業(yè)標(biāo)準(zhǔn)JT/T 747.3—2020《 交通運(yùn)輸信息資源目錄體系 第3部分：核心元數(shù)據(jù)》[2](以下簡為《核心元數(shù)據(jù)》)，規(guī)定了核心元數(shù)據(jù)的描述方法、數(shù)據(jù)內(nèi)容、擴(kuò)展要求及值域代碼。上述標(biāo)準(zhǔn)從元數(shù)據(jù)描述、資源分類方法以及共享機(jī)制等層面為資源目錄構(gòu)建提供借鑒和指導(dǎo)，但目前針對(duì)大數(shù)據(jù)資源以及城市軌道交通細(xì)分行業(yè)尚無詳細(xì)的標(biāo)準(zhǔn)規(guī)范。因此，需深入探討城市軌道交通大數(shù)據(jù)資源目錄構(gòu)建所面臨的具體問題，研究構(gòu)建方案，并提出解決思路。

1 大數(shù)據(jù)資源目錄構(gòu)建的難點(diǎn)

城市軌道交通大數(shù)據(jù)具有數(shù)據(jù)量大、種類繁多、各業(yè)務(wù)口徑定義復(fù)雜等特征。因此，大數(shù)據(jù)資源目錄構(gòu)建過程中存在以下問題和難點(diǎn)。

1.1 大數(shù)據(jù)資源分類不統(tǒng)一

城市軌道交通大數(shù)據(jù)的內(nèi)容復(fù)雜，應(yīng)用場景豐富，不同資源目錄構(gòu)建人員往往僅從各自應(yīng)用的角度對(duì)數(shù)據(jù)進(jìn)行目錄劃分和定義。表1為城市軌道交通大數(shù)據(jù)資源的分類。

表1中的數(shù)據(jù)狀態(tài)、數(shù)據(jù)來源、數(shù)據(jù)格式、數(shù)據(jù)安全、業(yè)務(wù)對(duì)象、業(yè)務(wù)領(lǐng)域、管理目標(biāo)及數(shù)據(jù)服務(wù)等維度對(duì)于不同的構(gòu)建人員有著不同的分類和定義側(cè)重。業(yè)務(wù)人員更關(guān)注于快速獲取業(yè)務(wù)領(lǐng)域數(shù)據(jù)，信息人員關(guān)注于數(shù)據(jù)質(zhì)量安全分析數(shù)據(jù)，而管理人員則關(guān)注管理目標(biāo)分析預(yù)警數(shù)據(jù)。不同的關(guān)注側(cè)重導(dǎo)致了數(shù)據(jù)分類內(nèi)容的差異性，也造成了同一資源在不同分類中交叉覆蓋、編碼規(guī)范各異等問題。資源目錄分類難以統(tǒng)一，造成用戶的資源視圖不清晰，影響用戶查詢和檢索資源的效率，降低大數(shù)據(jù)資源目錄共享水平。

表1 城市軌道交通大數(shù)據(jù)資源的分類

1.2 大數(shù)據(jù)資源描述不全面

大數(shù)據(jù)資源特征的描述是資源共享和交互的基礎(chǔ)。在大數(shù)據(jù)時(shí)代，借助于元數(shù)據(jù)了解數(shù)據(jù)元素含義和上下文的需求越來越強(qiáng)烈。當(dāng)前國際通用元數(shù)據(jù)標(biāo)準(zhǔn)主要有美國國家信息標(biāo)準(zhǔn)協(xié)會(huì)(NISO)的都柏林核心元素集和W3C(萬維網(wǎng)聯(lián)盟)發(fā)布的DCAT(數(shù)據(jù)目錄詞匯表)正式推薦標(biāo)準(zhǔn)?！赌夸浘幹浦改稀诽岢?，核心元數(shù)據(jù)包括必選項(xiàng)、可選項(xiàng)及擴(kuò)展項(xiàng)等3部分。其中，必選項(xiàng)包括信息資源分類、信息資源名稱、信息資源代碼、信息資源提供方、信息資源提供方代碼、來源系統(tǒng)、信息資源摘要、信息資源格式、信息項(xiàng)信息、共享屬性、共享方式、開放屬性、更新周期及發(fā)布日期；可選項(xiàng)主要包括來源數(shù)據(jù)庫、信息資源格式、信息項(xiàng)信息、開放屬性、關(guān)聯(lián)資源代碼及數(shù)據(jù)元編號(hào)；擴(kuò)展項(xiàng)指根據(jù)目錄編制單位的實(shí)際情況和需要添加的元數(shù)據(jù)項(xiàng)?！赌夸浘幹浦改稀肪劢菇煌ㄟ\(yùn)輸政務(wù)信息資源描述普適性、通用性標(biāo)準(zhǔn)，但無法詳細(xì)全面地描述城市軌道交通大數(shù)據(jù)資源及行業(yè)特征，因此，造成了城市軌道交通行業(yè)的數(shù)據(jù)資源無法實(shí)現(xiàn)更好地共享和交互。

1.3 大數(shù)據(jù)資源目錄服務(wù)不完善

城市軌道交通大數(shù)據(jù)服務(wù)范圍不僅僅包括企業(yè)用戶、行業(yè)用戶，還涉及公共服務(wù)用戶以及大數(shù)據(jù)研究者等專業(yè)用戶。服務(wù)的內(nèi)容、模式主要?dú)w納為4個(gè)層面：

1) 企業(yè)服務(wù)層。企業(yè)服務(wù)層主要面向企業(yè)內(nèi)部用戶。企業(yè)內(nèi)部大數(shù)據(jù)應(yīng)用將依托核心業(yè)務(wù)領(lǐng)域開展，如運(yùn)營評(píng)估與應(yīng)急、客流分析及預(yù)測、資產(chǎn)設(shè)備狀態(tài)與監(jiān)控、乘客行為分析以及線路規(guī)劃等方面。企業(yè)通過大數(shù)據(jù)分析和處理技術(shù)，挖掘和使用數(shù)據(jù)資源，精準(zhǔn)掌握業(yè)務(wù)狀態(tài)、發(fā)展規(guī)律及趨勢，形成大數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)創(chuàng)新模式，服務(wù)于安全、效率、服務(wù)等各項(xiàng)關(guān)鍵績效指標(biāo)。

2) 行業(yè)服務(wù)層。行業(yè)服務(wù)層主要面向政府及行業(yè)主管部門、聯(lián)動(dòng)單位。主管部門關(guān)注行業(yè)創(chuàng)新、地域規(guī)劃開發(fā)的統(tǒng)籌協(xié)調(diào)、民生關(guān)懷等內(nèi)容。政府及行業(yè)主管單位對(duì)城市軌道交通規(guī)劃、建設(shè)、運(yùn)營等大數(shù)據(jù)進(jìn)行分析和研究，指導(dǎo)行業(yè)的健康發(fā)展。聯(lián)動(dòng)單位需要及時(shí)共享天氣、客流、輿情、聯(lián)動(dòng)任務(wù)等公共信息，提升城市整體協(xié)作水平，助力智慧城市建設(shè)。

3) 公共服務(wù)層。公眾服務(wù)層主要面向乘客和供應(yīng)商。乘客需要在出行場景中獲取持續(xù)的大數(shù)據(jù)服務(wù)，如線路推薦、候車預(yù)測、LBS(基于位置的服務(wù))、出行建議及安全提示等。供應(yīng)商需要獲取或定制招投標(biāo)信息、實(shí)時(shí)動(dòng)態(tài)資訊服務(wù)。

4) 專業(yè)服務(wù)層。專業(yè)服務(wù)層主要面向?qū)I(yè)的大數(shù)據(jù)研究機(jī)構(gòu)或者人員。城市軌道交通大數(shù)據(jù)蘊(yùn)含極大的價(jià)值，需要該產(chǎn)業(yè)鏈上下游單位及專業(yè)研究者的協(xié)作開發(fā)。大數(shù)據(jù)研究機(jī)構(gòu)或人員往往關(guān)注如何獲取樣本數(shù)據(jù)、開放算法或者可共享的分析成果及案例等。

綜上所述，大數(shù)據(jù)背景下城市軌道交通大數(shù)據(jù)資源服務(wù)的范圍、內(nèi)容及模式發(fā)生了巨大改變。大數(shù)據(jù)資源目錄服務(wù)體系需進(jìn)一步完善和深化，從而為用戶提供更加便捷、安全和個(gè)性化的服務(wù)。

2 大數(shù)據(jù)資源目錄構(gòu)建探討

為解決城市軌道交通大數(shù)據(jù)資源目錄構(gòu)建工作所面臨的一系列難點(diǎn)，本文在借鑒相關(guān)標(biāo)準(zhǔn)的基礎(chǔ)上，從資源分類及編碼定義、核心元數(shù)據(jù)定義及資源目錄服務(wù)定義等方面進(jìn)行探討。

2.1 資源分類及編碼定義

信息資源分類的方法一般采用混合分類法。如《目錄編制指南》采用混合分類法時(shí)，以信息資源涉及的行業(yè)管理及其業(yè)務(wù)范圍作為兩個(gè)基本分類依據(jù)，并在業(yè)務(wù)范圍內(nèi)從管理對(duì)象、行為主題和信息類別等3個(gè)不同維度進(jìn)行信息分類[1]?；旌戏诸愑欣跀?shù)據(jù)資源按不同維度進(jìn)行組織，從而提升大數(shù)據(jù)資源的可用性，滿足不同用戶獲得相應(yīng)資源以及應(yīng)用不同場景的需求。

借鑒混合分類框架，結(jié)合城市軌道交通行業(yè)大數(shù)據(jù)資源特征對(duì)數(shù)據(jù)進(jìn)行分類。隨著城市軌道交通的發(fā)展，管理者對(duì)地鐵運(yùn)營安全、運(yùn)維效率和服務(wù)質(zhì)量越來越重視[3]，因此，管理決策者需對(duì)資源進(jìn)行跨行業(yè)整合，以便從大數(shù)據(jù)資源中挖掘有價(jià)值的信息，賦能企業(yè)發(fā)展。城市軌道交通大數(shù)據(jù)資源，不僅匯聚融合行業(yè)及關(guān)聯(lián)數(shù)據(jù)本身，還包括支撐大數(shù)據(jù)常用工具、算法以及分析成果和知識(shí)供不同的用戶使用。該類資源無法簡單地用現(xiàn)有信息類別中的“統(tǒng)計(jì)信息”來描述。因此，大數(shù)據(jù)資源目錄分類需在《目錄編制指南》行業(yè)管理及業(yè)務(wù)范圍兩個(gè)基本分類依據(jù)上進(jìn)行完善，通過增加大數(shù)據(jù)資源服務(wù)類維度來擴(kuò)展原有信息分類的范圍(見圖1)。

圖1 城市軌道大數(shù)據(jù)資源分類維度

如圖1所示，行業(yè)管理維度中城市軌道交通大數(shù)據(jù)資源屬于城市交通行業(yè)中的城市軌道交通管理分類；業(yè)務(wù)管理維度中建議增加綜合監(jiān)管分類，用于描述管理者關(guān)注的企業(yè)綜合運(yùn)行信息；而大數(shù)據(jù)資源服務(wù)維度則是對(duì)大數(shù)據(jù)的各類成果工具、算法、成果及知識(shí)等進(jìn)行標(biāo)識(shí)，從而促進(jìn)大數(shù)據(jù)向業(yè)務(wù)驅(qū)動(dòng)轉(zhuǎn)化。基于此分類思路，本文設(shè)計(jì)的城市軌道交通大數(shù)據(jù)資源可按照類-項(xiàng)-目-細(xì)目進(jìn)行細(xì)化(見圖2)。

圖2 城市軌道大數(shù)據(jù)資源分類模型

城市軌道交通行業(yè)資源分類編碼是數(shù)據(jù)資源共享的基礎(chǔ)，采用現(xiàn)有交通行業(yè)的資源分類標(biāo)準(zhǔn)編碼有利于提升城市軌道交通大數(shù)據(jù)資源的辨識(shí)度，從而解決跨行業(yè)高效共享的問題，因此，行業(yè)分類、管理對(duì)象、業(yè)務(wù)主題的編碼采用《目錄編制指南》中規(guī)定的標(biāo)準(zhǔn)編碼，大數(shù)據(jù)服務(wù)資源類采用自定義編碼。為了解決分類編碼不同但資源相同的問題，在元數(shù)據(jù)描述中增加“關(guān)聯(lián)資源代碼”，建立不同編碼間的關(guān)聯(lián)鏈接。

2.2 核心元數(shù)據(jù)定義

為了使大數(shù)據(jù)資源的描述更加全面準(zhǔn)確，建議從現(xiàn)有的《核心元數(shù)據(jù)》標(biāo)準(zhǔn)及擴(kuò)展原則出發(fā)，圍繞城市軌道交通大數(shù)據(jù)關(guān)鍵特征，以能準(zhǔn)確而全面地描述城市軌道交通大數(shù)據(jù)資源為目標(biāo)，來彌補(bǔ)核心元數(shù)據(jù)中大數(shù)據(jù)及城市軌道交通特征描述的不足。

在大數(shù)據(jù)特征上，城市軌道交通大數(shù)據(jù)具備典型的4V特點(diǎn)：①數(shù)量巨大(Volume)，如客流、列車運(yùn)營等動(dòng)態(tài)實(shí)時(shí)類數(shù)據(jù)數(shù)量巨大；②數(shù)據(jù)復(fù)雜多樣(Variety)，如數(shù)據(jù)格式多樣、結(jié)構(gòu)不一、存儲(chǔ)分散；③對(duì)數(shù)據(jù)實(shí)時(shí)性(Velocity)要求較高，如設(shè)備異常狀態(tài)需及時(shí)反饋至指揮人員；④城市軌道交通的價(jià)值密度低但價(jià)值高(Value)，決策人員需要從海量數(shù)據(jù)中獲取分析或進(jìn)行預(yù)測。

隨著大數(shù)據(jù)的廣泛應(yīng)用，數(shù)據(jù)的擁有者和管理者分離，其生命周期變?yōu)楫a(chǎn)生、傳輸、存儲(chǔ)及使用[4]，因此，城市軌道交通大數(shù)據(jù)在質(zhì)量、安全、隱私及服務(wù)等方面的描述需求變得日益突出。在原有核心元數(shù)據(jù)描述中的“來源系統(tǒng)”中定義了數(shù)據(jù)源的定義，大數(shù)據(jù)的資源有可能是多源系統(tǒng)匯聚后的成果，所以需要標(biāo)識(shí)是否為多源數(shù)據(jù)、數(shù)據(jù)來源的標(biāo)簽等。針對(duì)數(shù)據(jù)的質(zhì)量，大數(shù)據(jù)資源目錄描述一般為清洗后的數(shù)據(jù)，對(duì)于數(shù)據(jù)質(zhì)量本身的描述較少，資源使用人員對(duì)獲取數(shù)據(jù)的質(zhì)量無從了解，影響數(shù)據(jù)使用的效果，建議增加精確性、完整性、有效性及清洗的程度等類別來描述數(shù)據(jù)的質(zhì)量；針對(duì)隱私安全信息，《核心元數(shù)據(jù)》通過“共享屬性”、“共享方式”、“開放屬性”等進(jìn)行描述，但是上述信息還不夠完善，建議增加隱私的條例、加密等具體描述，確保數(shù)據(jù)資源的安全性描述更加精細(xì)。在數(shù)據(jù)服務(wù)屬性方面，隨著未來大數(shù)據(jù)服務(wù)更加深入和廣泛的應(yīng)用，該項(xiàng)服務(wù)將被不確定的用戶進(jìn)行封裝和調(diào)用，數(shù)據(jù)服務(wù)的屬性需要確保唯一的標(biāo)志，同時(shí)其服務(wù)內(nèi)容、服務(wù)許可、服務(wù)質(zhì)量等信息需進(jìn)一步描述。

在行業(yè)特征上，城市軌道交通大數(shù)據(jù)具備復(fù)雜的時(shí)空屬性、動(dòng)態(tài)性、周期性等特征[5]。例如，若空間參照系不同，地鐵車站、線網(wǎng)、列車動(dòng)態(tài)運(yùn)營等數(shù)據(jù)資源將無法有效疊加應(yīng)用，因此，可以沿用《核心元數(shù)據(jù)》中的“時(shí)間范圍信息”并擴(kuò)展“坐標(biāo)系信息"等空間屬性對(duì)城市軌道交通基礎(chǔ)空間對(duì)象進(jìn)行描述。屬性對(duì)城市軌道交通基礎(chǔ)空間對(duì)象進(jìn)行描述。此外，城市軌道交通大數(shù)據(jù)和外部多源異構(gòu)數(shù)據(jù)相關(guān)性較大，如地鐵客流預(yù)測服務(wù)需要考慮和天氣、節(jié)假日、時(shí)段、站點(diǎn)位置、外部重大活動(dòng)等外部多源異構(gòu)數(shù)據(jù)的相關(guān)性。與客流預(yù)測相關(guān)的大數(shù)據(jù)資源服務(wù)進(jìn)行描述時(shí)需要描述關(guān)聯(lián)主題，以便資源使用者可以清晰地了解和預(yù)測模型的運(yùn)行影響參數(shù)。因此，本文融合大數(shù)據(jù)和城市軌道交通行業(yè)數(shù)據(jù)資源特征對(duì)核心元數(shù)據(jù)進(jìn)行擴(kuò)展，確保用戶在利用大數(shù)據(jù)資源時(shí)，能夠清晰地了解數(shù)據(jù)資源的細(xì)節(jié)(見表2)。

表2 城市軌道大數(shù)據(jù)核心元數(shù)據(jù)擴(kuò)展屬性

2.3 資源目錄服務(wù)模式定義

大數(shù)據(jù)背景下，數(shù)據(jù)服務(wù)模式已經(jīng)發(fā)生了改變，原始數(shù)據(jù)查看和下載以及基礎(chǔ)性服務(wù)接口，已經(jīng)無法滿足未來大數(shù)據(jù)的應(yīng)用場景，因此，需要定義一套有效、合理的資源目錄服務(wù)以支撐大數(shù)據(jù)服務(wù)模式。對(duì)于資源目錄服務(wù)，一方面，各類用戶需要定制化、專業(yè)化及方便靈活的數(shù)據(jù)資源服務(wù)；另一方面，管理者需要應(yīng)對(duì)大數(shù)據(jù)帶來的安全、隱私等問題帶來的挑戰(zhàn)，制定管理制度確保資源目錄體系持續(xù)、有效、規(guī)范地運(yùn)行。

大數(shù)據(jù)服務(wù)是一種數(shù)據(jù)使用模式，是在對(duì)大數(shù)據(jù)統(tǒng)一建模的基礎(chǔ)上，將各類數(shù)據(jù)操作進(jìn)行封裝，對(duì)外提供無所不在的、標(biāo)準(zhǔn)化的、隨需的檢索、分析或者可視化的服務(wù)交付。大數(shù)據(jù)服務(wù)不僅僅是一種新技術(shù)，也是一種新的數(shù)據(jù)資源使用模式和服務(wù)經(jīng)濟(jì)模式[6]。大數(shù)據(jù)資源目錄服務(wù)建設(shè)借鑒了大數(shù)據(jù)服務(wù)理念，首先完成城市軌道交通大數(shù)據(jù)資源目錄樹的構(gòu)建，然后結(jié)合業(yè)務(wù)需求，將數(shù)據(jù)資源組合封裝成個(gè)性化服務(wù)，如主數(shù)據(jù)服務(wù)、基礎(chǔ)報(bào)表服務(wù)、風(fēng)險(xiǎn)預(yù)警服務(wù)、關(guān)鍵績效指標(biāo)服務(wù)、開放性研究樣本服務(wù)及共享算法服務(wù)等。

用戶可以依據(jù)關(guān)鍵字來檢索數(shù)據(jù)目錄資源，也可以按照不同的管理對(duì)象、業(yè)務(wù)主題、資源服務(wù)方式等維度瀏覽、查看、下載資源。大數(shù)據(jù)資源廣泛且數(shù)據(jù)結(jié)構(gòu)復(fù)雜，為保證對(duì)超大量索引數(shù)據(jù)的快速搜索支持，本文設(shè)計(jì)分布式的存儲(chǔ)方式對(duì)元數(shù)據(jù)的目錄進(jìn)行部署，采用索引文件分塊技術(shù)，并支持批量索引和復(fù)合搜索。非結(jié)構(gòu)化文件的檢索設(shè)計(jì)有兩種方式，一種是進(jìn)行全文快速檢索，支持用戶使用布爾邏輯運(yùn)算、部分匹配、通配符、輸入內(nèi)容自動(dòng)補(bǔ)全等功能進(jìn)行模糊查詢，分析文本文件內(nèi)的具體內(nèi)容，并且支持在查詢的結(jié)果中進(jìn)一步分析篩選。另一種方式是高級(jí)搜索，即通過非結(jié)構(gòu)化數(shù)據(jù)資源的屬性對(duì)非結(jié)構(gòu)化文件進(jìn)行搜索服務(wù)。該搜索方式包括基本搜索、文件夾和元數(shù)據(jù)搜索、混合搜索等，搜索條件豐富，同時(shí)能夠滿足主要搜索需要。

為了確保搜索的安全性，對(duì)大數(shù)據(jù)資源的安全級(jí)別與系統(tǒng)設(shè)置，用戶依據(jù)權(quán)限通過對(duì)大數(shù)據(jù)資源進(jìn)行訪問、調(diào)閱、申請、利用等操作進(jìn)行鑒權(quán)管理。在非授權(quán)的情況下，數(shù)據(jù)資源將不會(huì)被搜索到或者無法預(yù)覽細(xì)節(jié)，搜索的范圍與結(jié)果會(huì)被系統(tǒng)安全權(quán)限控制，保障了大數(shù)據(jù)的出口安全。

3 結(jié)語

本文結(jié)合上海申通地鐵集團(tuán)有限公司的大數(shù)據(jù)項(xiàng)目建設(shè)，分析了與大數(shù)據(jù)資源目錄構(gòu)建密切相關(guān)的大數(shù)據(jù)內(nèi)容、特征及應(yīng)用等問題，深入探討了城市軌道交通大數(shù)據(jù)資源目錄構(gòu)建中的資源分類及編碼定義、核心元數(shù)據(jù)定義、資源目錄服務(wù)模式定義等核心問題。本文提出的大數(shù)據(jù)資源目錄構(gòu)建方法及思路，可為上海申通地鐵集團(tuán)有限公司的大數(shù)據(jù)中心數(shù)據(jù)規(guī)劃提供基礎(chǔ)參照，對(duì)城市軌道交通大數(shù)據(jù)資產(chǎn)管理及未來經(jīng)營模式具有借鑒意義。