摘 要:以往各自為政、相互封閉建設模式帶來的數(shù)據(jù)孤島、數(shù)據(jù)煙囪現(xiàn)象阻礙了我省交通運輸行業(yè)發(fā)展,亟需通過數(shù)據(jù)中心建設實現(xiàn)數(shù)據(jù)資源共享及有效利用。本文結合我省交通運輸行業(yè)實際,介紹了我省交通運輸行業(yè)數(shù)據(jù)中心及數(shù)據(jù)管控體系建設思路和內容,
關鍵詞:交通運輸;數(shù)據(jù)中心;數(shù)據(jù)管控體系
中圖分類號:U495
貴州省交通處于大發(fā)展時期,對路網運行監(jiān)測能力、運營管理效率和信息服務水平提出更高要求,而以往各自為政、相互封閉建設模式帶來的數(shù)據(jù)孤島、數(shù)據(jù)煙囪現(xiàn)象阻礙了我省交通運輸行業(yè)信息發(fā)展,因此打破部門壁壘,建設一個可持續(xù)運行的數(shù)據(jù)中心成為了當務之急。
1 數(shù)據(jù)中心
1.1 定位。貴州省交通運輸數(shù)據(jù)中心由總中心及業(yè)務分中心組成,中心物理分散、邏輯集中。總中心是全省交通行業(yè)數(shù)據(jù)標準規(guī)范中心,制定統(tǒng)一的數(shù)據(jù)、接口和服務標準,總中心是行業(yè)數(shù)據(jù)共享交換中心,承擔行業(yè)內跨單位及與外單位數(shù)據(jù)共享;總中心是行業(yè)基礎數(shù)據(jù)管理中心,承擔全省交通行業(yè)核心基礎數(shù)據(jù)采集、存儲和發(fā)布任務;總中心是信息服務中心,為行業(yè)管理輔助決策及公眾出行提供支撐。業(yè)務分中心存儲自己相關的業(yè)務數(shù)據(jù),是總中心數(shù)據(jù)來源及支撐,也是總中心數(shù)據(jù)共享交換的重要對象。
1.2 數(shù)據(jù)整合需求。(1)重點整合行業(yè)內基礎性的共用數(shù)據(jù),主要包括公路基礎設施、營運車輛、經營業(yè)戶、從業(yè)人員等基礎數(shù)據(jù);(2)整合行業(yè)內跨部門的共享數(shù)據(jù),如高速公路管理需共享國省干線交流流量路況等數(shù)據(jù)用于交通疏導,共享道路運輸“兩客一危”數(shù)據(jù)打擊“倒卡”現(xiàn)象;道路運輸管理需共享交流流量路況數(shù)據(jù)用于運輸線路的選擇;(3)整合行業(yè)內管理決策所需統(tǒng)計數(shù)據(jù),不整合行業(yè)內業(yè)務明細、過程數(shù)據(jù);(4)整合跨行業(yè)的共享數(shù)據(jù),如需向公安提供路況數(shù)據(jù),從公安獲取交通管制信息、車輛及駕駛員違規(guī)信息;向氣象部門提供路網范圍內氣象監(jiān)測信息,從氣象部門獲取城市、水文氣象及氣象災害預警信息等。
1.3 數(shù)據(jù)共享交換設計。本次工程主要以下兩種方式實現(xiàn)數(shù)據(jù)共享交換:(1)為了避免對業(yè)務局源系統(tǒng)造成影響,采取DataStage+CDC的數(shù)據(jù)交換方式,先由各業(yè)務局定期將業(yè)務分中心數(shù)據(jù)批量推送到前置機,再通過DataStage抽取到總中心,當業(yè)務分中心有增量數(shù)據(jù)產生時,由CDC將增量數(shù)據(jù)同步到總中心;(2)對于“兩客一?!盙PS監(jiān)控數(shù)據(jù),鑒于其數(shù)據(jù)量大,實時性要求高,采取WebSphereMQ和MessageBroker中間件傳輸實現(xiàn)數(shù)據(jù)交換。
1.4 數(shù)據(jù)庫建設。本次工程建設了公路、營運車輛、經營業(yè)戶及從業(yè)人員四大基礎數(shù)據(jù)庫及動態(tài)路況、行業(yè)分析、公眾出行三大主題數(shù)據(jù)庫。公路數(shù)據(jù)庫包括公路及其沿線設施基本信息,營運車輛數(shù)據(jù)庫包括車輛基本信息、二級維護、年審等信息,經營業(yè)戶數(shù)據(jù)庫包括經營業(yè)戶基本信息、許可證、資格信息等,從業(yè)人員數(shù)據(jù)庫包括基本信息及資格信息;動態(tài)路況主題數(shù)據(jù)庫包括交通擁堵情況、交通阻斷、養(yǎng)護施工等信息,行業(yè)分析主題數(shù)據(jù)庫包括公路建設與養(yǎng)護、交通流量、通行費、客貨運輸量及周轉量等信息,出行信息服務主題數(shù)據(jù)庫包括動態(tài)路況、客運班線、氣象等出行信息。隨著我省交通運輸行業(yè)安全應急、經濟預警及分析、交通云平臺、大數(shù)據(jù)建設等重大工程建設,逐步豐富完善數(shù)據(jù)中心建設。
2 數(shù)據(jù)管控體系研究
2.1 管控思路。數(shù)據(jù)中心的可持續(xù)運行離不開數(shù)據(jù)管控體系的建立,管控體系包括組織、規(guī)范、工具、考核體系,管控思路如圖1所示。由信息化領導小組、信息化技術支撐單位及業(yè)務部門共同組成數(shù)據(jù)管控組織,在不同層面上結合建立的各種數(shù)據(jù)標準規(guī)范、流程及管理制度,通過元數(shù)據(jù)管理、數(shù)據(jù)質量管理系統(tǒng)等管控支撐工具,對數(shù)據(jù)標準執(zhí)行情況、數(shù)據(jù)質量進行考核,生成考核報告,督促業(yè)務部門整改,實現(xiàn)數(shù)據(jù)管理的良性循環(huán),使得數(shù)據(jù)能正常、穩(wěn)定、健康地運行。
圖1 數(shù)據(jù)管控思路
2.2 管控組織。管控組織由信息化領導小組、信息化技術支撐單位及業(yè)務部門共同組成。信息化領導小組負責審批數(shù)據(jù)共享申請,發(fā)布行業(yè)數(shù)據(jù)標準規(guī)范、管控流程及考核評價標等;信息化技術支撐單位定義數(shù)據(jù)結構、交換、存儲等相關規(guī)范,負責數(shù)據(jù)抽取、共享,利用管控工具對數(shù)據(jù)標準執(zhí)行情況、數(shù)據(jù)質量進行檢查和考核;業(yè)務部門參與標準規(guī)范的制定,遵循相關標準,并配合完成數(shù)據(jù)質量治理工作。
2.3 標準規(guī)范及制度。在交通運輸部發(fā)布的基礎數(shù)據(jù)元標準基礎上,補充我省交通運輸行業(yè)特有的基礎數(shù)據(jù)元,形成了《基礎數(shù)據(jù)元標準》;建立了《數(shù)據(jù)中心信息資源采集規(guī)范》,明確信息資源采集范圍、采集方式及采集內容,保證數(shù)據(jù)采集工作穩(wěn)定、持續(xù)展開;形成了《數(shù)據(jù)中心數(shù)據(jù)交換共享使用規(guī)范》,明確數(shù)據(jù)共享交換方式、數(shù)據(jù)及服務接口方式;建立了《數(shù)據(jù)標準管理制度》及《數(shù)據(jù)標準管理制度》,明確各業(yè)務局在數(shù)據(jù)標準管理及數(shù)據(jù)質量管理中承擔的責任,落實數(shù)據(jù)標準符合性檢查等機制,落實數(shù)據(jù)質量問題的生成、分析、評估、解決閉環(huán)處理的機制流程。
2.4 管控工具:(1)元數(shù)據(jù)管理系統(tǒng)。元數(shù)據(jù)管理系統(tǒng)主要功能包括:1)元數(shù)據(jù)定義:實現(xiàn)對數(shù)據(jù)元、數(shù)據(jù)資源進行元數(shù)據(jù)定義,業(yè)務部門能快速了解數(shù)據(jù)時間及空間范圍、數(shù)據(jù)粒度、數(shù)據(jù)提供單位、更新頻率、使用范圍及安全要求等,使數(shù)據(jù)資源可以識別并易于理解;2)數(shù)據(jù)元集合:對我省交通運輸行業(yè)基礎數(shù)據(jù)元標準進行管理;3)數(shù)據(jù)資源目錄:形成數(shù)據(jù)資源目錄,業(yè)務部門可瀏覽查看數(shù)據(jù)中心資源,提出資源共享申請,也可以將自身數(shù)據(jù)資源封裝成webservice接口注冊到系統(tǒng)供其他單位共享使用;4)元數(shù)據(jù)完整分析:對數(shù)據(jù)元、主句資源元數(shù)據(jù)完整性進行檢查;5)術語自助學習:將行業(yè)內術語進行統(tǒng)一管理,用戶可對其進行自學習。(2)數(shù)據(jù)質量管理系統(tǒng)。數(shù)據(jù)質量管理系統(tǒng)主要功能包括:1)數(shù)據(jù)質量規(guī)則管理:根據(jù)需要定義記錄級、表級、表間關聯(lián)關系等檢查規(guī)則,例如非空、正則表達式、滿足枚舉值域等,并將數(shù)據(jù)質量規(guī)則配置到數(shù)據(jù)資源中;2)源系統(tǒng)變更協(xié)同管理:將所有涉及共享交換的源系統(tǒng)注冊到系統(tǒng)中,若有源系統(tǒng)IP、接口、數(shù)據(jù)庫名、表名發(fā)生變更影響數(shù)據(jù)中心質量時能及時知道;3)數(shù)據(jù)中心運行監(jiān)控:能夠對磁盤等空間容量進行預警,對數(shù)據(jù)共享交換任務源記錄數(shù)量、隔離數(shù)據(jù)數(shù)量、入庫數(shù)量進行記錄,對檢查的異常進行郵件通知。
2.5 考核體系??己嗽u價是管控體系不可或缺的一部分,將管控措施、相關任務落實情況中間過程的各個指標進行量化,形成考核評價指標,實現(xiàn)對數(shù)據(jù)管控的參與單位或者管控參與人員進行有效的監(jiān)督和激勵。
3 結束語
數(shù)據(jù)中心是一個綜合性的課題,不僅僅靠技術解決,還需要一整套數(shù)據(jù)管控體系保證其可持續(xù)運行。本文結合我省交通運輸行業(yè)實際,提出我省交通運輸數(shù)據(jù)中心及數(shù)據(jù)管控體系建設思路和內容,下一步將結合正在開展的安全應急、經濟預警分析、交通云平臺、大數(shù)據(jù)建設等重大工程加大數(shù)據(jù)資源整合力度,為政府決策、行業(yè)管理、社會公眾提供更好地服務。
參考文獻:
[1]汪祖云.交通數(shù)據(jù)中心總體架構與數(shù)據(jù)共享交換平臺的設計研究[J].智能交通系統(tǒng)與信息技術,2008(03):23-28.
[2]DAMA International.DAMA數(shù)據(jù)管理知識體系指南[M].馬歡,譯.北京:清華大學出版社,2012.
作者單位:貴州交通信息中心,貴陽 550001