王菁++劉春來

摘 要： 完善數(shù)據(jù)管控在交通行業(yè)的應(yīng)用是遼寧省交通信息化建設(shè)面對的一個大問題。以遼寧省交通行業(yè)為研究背景，結(jié)合相關(guān)數(shù)據(jù)規(guī)范，建立了省交通行業(yè)數(shù)據(jù)資源管控平臺。根據(jù)實際應(yīng)用的要求，將該平臺劃分為元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)庫管理和系統(tǒng)管理四部分，研討了各部分的功能。結(jié)合遼寧省交通行業(yè)實際，解決數(shù)據(jù)管理與控制的問題，從而整體提升數(shù)據(jù)管理水平，促進信息化健康發(fā)展。

關(guān)鍵詞： 數(shù)據(jù)管控； 交通行業(yè)； 元數(shù)據(jù)； 數(shù)據(jù)質(zhì)量

中圖分類號：TP315 文獻標志碼：A 文章編號：1006-8228（2017）02-20-04

0 引言

遼寧省初步實現(xiàn)公路管理、水路運輸、道路運輸?shù)刃袠I(yè)信息資源的應(yīng)用。但由于信息化應(yīng)用中很多業(yè)務(wù)系統(tǒng)在建設(shè)之初沒有遵循數(shù)據(jù)標準規(guī)范進行設(shè)計，以及承建廠商技術(shù)實力、管理能力差異等，使得現(xiàn)階段的行業(yè)數(shù)據(jù)資源存在著較多質(zhì)量問題，行業(yè)數(shù)據(jù)標準化的深入應(yīng)用面臨困境。因此，加強行業(yè)數(shù)據(jù)管控，提升行業(yè)信息資源數(shù)據(jù)管理，成為現(xiàn)階段亟待解決的問題。本文基于交通運輸部交通信息數(shù)據(jù)標準，以遼寧交通行業(yè)實際情況，制訂了遼寧省地方交通行業(yè)數(shù)據(jù)規(guī)范與制度；建立統(tǒng)一數(shù)據(jù)資源管控平臺，實現(xiàn)行業(yè)數(shù)據(jù)資源的管理、控制與共享。

1 需求分析

本項目為了順利完成遼寧省交通行業(yè)數(shù)據(jù)質(zhì)量管控平臺開發(fā)任務(wù)，通過前期詳細的需求調(diào)研，對現(xiàn)有和在建的全省各業(yè)務(wù)系統(tǒng)做了全面的摸底調(diào)查，了解各系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)采集、數(shù)據(jù)應(yīng)用方式等，在此基礎(chǔ)上，對分散在交通行業(yè)各部門的數(shù)據(jù)資源進行梳理，并按照統(tǒng)一的規(guī)范進行分級分類和標準化，形成符合應(yīng)用需要的交通行業(yè)數(shù)據(jù)資源管控的實際功能需求，具體如下。

⑴ 利用交通部交通信息數(shù)據(jù)元標準及我省相關(guān)地方規(guī)范等，實現(xiàn)各業(yè)務(wù)系統(tǒng)元數(shù)據(jù)檢測、版本管理，作為數(shù)據(jù)質(zhì)量管控的主要依據(jù)。

⑵ 結(jié)合行業(yè)數(shù)據(jù)資源現(xiàn)狀和管理分級分類的要求，建立省數(shù)據(jù)資源目錄體系，快速精確查詢各業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫結(jié)構(gòu)及其字段的定義內(nèi)容，為省數(shù)據(jù)資源體系奠定基礎(chǔ)。

⑶ 以交通部相關(guān)標準及地方規(guī)范等，進行數(shù)據(jù)質(zhì)量治理，對現(xiàn)有已接入我省各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)資源質(zhì)量狀況進行剖析和評估，形成數(shù)據(jù)質(zhì)量報告。

⑷ 依托于數(shù)據(jù)管控平臺，實現(xiàn)對于我省現(xiàn)有數(shù)據(jù)資源進行監(jiān)控分析。

2 系統(tǒng)設(shè)計

為實現(xiàn)對行業(yè)數(shù)據(jù)資源相應(yīng)的管理手段，形成完整的交通行業(yè)數(shù)據(jù)管控體系。數(shù)據(jù)管控平臺設(shè)計縱向分為獲取層、資源層、功能層、應(yīng)用層，平臺系統(tǒng)功能架構(gòu)如圖1所示。

⑴ 獲取層

獲取層位于整個體系架構(gòu)的最底層，元數(shù)據(jù)獲取層抽象概括了元數(shù)據(jù)獲取的各種途徑。業(yè)務(wù)和管理元數(shù)據(jù)通常以手工方式獲?。患夹g(shù)元數(shù)據(jù)覆蓋數(shù)據(jù)源系統(tǒng)以及我省各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的整個生命周期，要求以自動方式獲取，如數(shù)據(jù)字典和數(shù)據(jù)模型等。

⑵ 資源層

資源層定義了元數(shù)據(jù)存儲所遵循的元模型，規(guī)范從獲取層得到的各類元數(shù)據(jù)的屬性要求和存儲格式要求，包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù)。

⑶ 功能層

功能層為前端元數(shù)據(jù)應(yīng)用提供了基本的功能支撐，包括元數(shù)據(jù)管理維護、元數(shù)據(jù)權(quán)限管理、元數(shù)據(jù)分析應(yīng)用、剖析與驗證規(guī)則管理、質(zhì)量評估模型管理、質(zhì)量報告生成管控日志管理等。

⑷ 應(yīng)用層

在功能層的支持下，應(yīng)用層通過調(diào)用功能層的功能，對質(zhì)量管控的實際問題提供應(yīng)用解決方案，包括元數(shù)據(jù)人工登記、元數(shù)據(jù)服務(wù)、數(shù)據(jù)源管理、剖析與驗證過程監(jiān)控、質(zhì)量報告生成發(fā)布、系統(tǒng)管控告警等。

為達到省交通廳現(xiàn)階段數(shù)據(jù)管控的要求，系統(tǒng)實現(xiàn)的功能需求，分為元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)庫管理和系統(tǒng)管理等大部分。

3 系統(tǒng)環(huán)境

3.1 系統(tǒng)開發(fā)環(huán)境

該平臺將采用基于J2EE的體系在ORACLE數(shù)據(jù)庫上進行開發(fā)，運用BS架構(gòu)的前段展示界面加CS架構(gòu)的后臺任務(wù)支撐相結(jié)合的方式。后臺管控平臺將使用數(shù)據(jù)交換平臺實現(xiàn)，所有管控平臺業(yè)務(wù)層面所涉及到的數(shù)據(jù)分析都將基于數(shù)據(jù)交換臺進行開發(fā)。而管控平臺本身則負責對所有任務(wù)的管理。并且負責展示所有數(shù)據(jù)分析的結(jié)果。

3.2 關(guān)鍵技術(shù)

⑴ TOGAF規(guī)劃方法論體系

本項目采用Togaf對管控平臺進行規(guī)劃。開放組架構(gòu)框架（The Open Group Architecture Framework，TOGAF）是一套通用框架，通過詳細的方法論和一系列工具，定義架構(gòu)的內(nèi)容具體以架構(gòu)內(nèi)容框架為參考。

⑵ 大數(shù)據(jù)處理技術(shù)

本平臺中數(shù)據(jù)交換采用分布式計算技術(shù)和彈性計算來支撐對海量數(shù)據(jù)的多節(jié)點并行高效抽取、轉(zhuǎn)換與裝載。通過對分布式計算技術(shù)的應(yīng)用，使平臺中的主交換服務(wù)器與交換節(jié)點服務(wù)器之間形成了分布式架構(gòu)體系，隨著海量數(shù)據(jù)處理需求的變化，可以任意擴展或收縮交換節(jié)點服務(wù)器，從而實現(xiàn)對海量數(shù)據(jù)的并行處理，使得平臺對數(shù)據(jù)吞吐量不再受到物理設(shè)備帶寬的制約。

4 系統(tǒng)詳細設(shè)計及實現(xiàn)

交通行業(yè)數(shù)據(jù)資源管控平臺橫向劃分為元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)庫管理、系統(tǒng)管理以及組織權(quán)限以滿足管控平臺的建設(shè)要求。

4.1 元數(shù)據(jù)管理

通過數(shù)據(jù)源的管理，數(shù)據(jù)資源管控平臺可以獲取到不同數(shù)據(jù)源的元數(shù)據(jù)定義。通過確定設(shè)置數(shù)據(jù)源版本作為標準版本，再通過數(shù)據(jù)資源目管理來管理標準版本的元數(shù)據(jù)信息，從而建立一套標準的元數(shù)據(jù)。通過該標準元數(shù)據(jù)來審核，管理數(shù)據(jù)庫的任何變動，一旦校驗時發(fā)現(xiàn)異常，管理人員可輕易地查看所有數(shù)據(jù)庫的庫表設(shè)計、定義與變化情況。

⑴ 數(shù)據(jù)源管理

數(shù)據(jù)源管理是整個管控平臺的基礎(chǔ)模塊。通過該功能可以幫助建立從數(shù)據(jù)資源管控平臺到各個不同數(shù)據(jù)庫的連接。從而幫助管控平臺的各種數(shù)據(jù)分析任務(wù)從不同的數(shù)據(jù)源獲取數(shù)據(jù)，從而得出分析結(jié)果。通過數(shù)據(jù)源管理的新增功能，只需要輸入相應(yīng)的數(shù)據(jù)庫配置參數(shù)，即可實現(xiàn)對數(shù)據(jù)庫的連接。同時，提供多種類型的連接方式，提供不同類型的連接用戶類型及測試功能進行連接測試等功能。

⑵ 數(shù)據(jù)資源目錄

我省各業(yè)務(wù)系統(tǒng)多，數(shù)據(jù)庫眾多。管理人員由于缺乏有效的手段，很難去真正了解各個數(shù)據(jù)庫的設(shè)計情況。通過對數(shù)據(jù)資源體系進行標準分類，就可方便查詢各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)資源情況，即數(shù)據(jù)庫表及其字段數(shù)的定義內(nèi)容，針對這些內(nèi)容提供精確查詢。

⑶ 標準規(guī)范管理

標準規(guī)范管理能夠方便的將紙質(zhì)化的各種標準規(guī)范維護到管控平臺里面，現(xiàn)有標準規(guī)范內(nèi)容基本上涵蓋到所有的交通業(yè)務(wù)信息。

⑷ 標準符合性審查

標準規(guī)范納入到平臺管理之后，通過指定對標的表及與之比對的特定的規(guī)范，來進行校驗，支持類型校驗和長度校驗，并提供權(quán)重來劃分不同校驗類型所占據(jù)的比重，平臺最終需要出具校驗報告，并明確數(shù)據(jù)表中字段的類型校驗是否匹配，以及整體校驗的通過率、是否合格等信息。

⑸ 標準值域管理

標準值域管理主要是對標準數(shù)據(jù)元值域代碼集進行管理。數(shù)據(jù)元中值域所引用到的值域代碼，以及數(shù)據(jù)質(zhì)量剖析中進行的表字段值域剖析所引用的值域代碼都將進行增、刪、改、查等功能，得以實現(xiàn)數(shù)據(jù)質(zhì)量管理中數(shù)據(jù)值域剖析。

4.2 數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理是平臺的核心功能之一，通過數(shù)據(jù)質(zhì)量管理，可在很大程度上幫助管理人員掌握數(shù)據(jù)質(zhì)量情況，獲取質(zhì)量報告。

⑴ 數(shù)據(jù)剖析管理

數(shù)據(jù)剖析管理包括剖析規(guī)則管理和剖析任務(wù)執(zhí)行。平臺將針對交通業(yè)務(wù)，分別形成一套行業(yè)通用類剖析規(guī)則，并提供數(shù)據(jù)質(zhì)量剖析規(guī)則定義與維護功能，用于定義和維護個性類剖析規(guī)則，滿足不同的數(shù)據(jù)質(zhì)量管控要求。數(shù)據(jù)內(nèi)容技術(shù)剖析與驗證可以對任意一個數(shù)據(jù)源的任意一個表的任意字段進行數(shù)據(jù)剖析，并提供剖析數(shù)據(jù)總量、通過率等信息。

⑵ 數(shù)據(jù)質(zhì)量評估管理

數(shù)據(jù)質(zhì)量管理能夠?qū)崿F(xiàn)最終建立數(shù)據(jù)庫的數(shù)據(jù)質(zhì)量評估報告。系統(tǒng)提供高度可配置化的功能，自由選擇組裝剖析實例，可以建立一個質(zhì)量評估模型，并選擇若干剖析實例作為質(zhì)量模型的基礎(chǔ)構(gòu)成。結(jié)合每個剖析實例的合格率，可自由地對每個剖析實例設(shè)置權(quán)重。從而得出數(shù)據(jù)質(zhì)量評估模型的最終分數(shù)。可以通過系統(tǒng)提供的閥值設(shè)置，判斷一個數(shù)據(jù)質(zhì)量評估模型的結(jié)果是否達到閥值，即是否合格，從而更好的掌控數(shù)據(jù)的質(zhì)量。

⑶ 自定義剖析功能

數(shù)據(jù)剖析管理模塊中包含了數(shù)據(jù)內(nèi)容業(yè)務(wù)剖析，由于實際業(yè)務(wù)剖析需求種類繁多，數(shù)據(jù)剖析規(guī)則無法滿足所有場景的實際業(yè)務(wù)剖析需求。而自定義剖析功能根據(jù)實際業(yè)務(wù)剖析需求，自定義編寫SQL執(zhí)行業(yè)務(wù)剖析來實現(xiàn)應(yīng)對不同場景的剖析需求，達到對數(shù)據(jù)內(nèi)容業(yè)務(wù)剖析與驗證的功能。

4.3 數(shù)據(jù)庫管理

數(shù)據(jù)庫管理主要是涵蓋數(shù)據(jù)庫用戶操作日志及表空間查詢與預(yù)警等功能。

4.4 系統(tǒng)管理

數(shù)據(jù)管控平臺需要運行大量流程任務(wù)，包括元數(shù)據(jù)自動捕獲、元數(shù)據(jù)審查、數(shù)據(jù)剖析流程、數(shù)據(jù)質(zhì)量評估流程，需要有效的任務(wù)監(jiān)控，才能有效地監(jiān)督任務(wù)運行情況，及時發(fā)現(xiàn)異常任務(wù)。

5 結(jié)束語

我們在數(shù)據(jù)標準化基礎(chǔ)上開發(fā)數(shù)據(jù)管控平臺，可以實現(xiàn)數(shù)據(jù)元管理、信息資源目錄管理，數(shù)據(jù)質(zhì)量管理及數(shù)據(jù)庫管理等功能，真正實現(xiàn)數(shù)據(jù)標準化、動態(tài)化管理。該數(shù)據(jù)管控平臺實施和運行已有12個月，系統(tǒng)運行平穩(wěn)，管控效果穩(wěn)定，達到了預(yù)期的效果。

下一步將繼續(xù)通過應(yīng)用檢驗規(guī)范，使數(shù)據(jù)標準規(guī)范更加實用、適用，對交通行業(yè)數(shù)據(jù)管控平臺優(yōu)化設(shè)計。實現(xiàn)規(guī)范數(shù)據(jù)資源服務(wù)的一致性，提升我省整體交通數(shù)據(jù)服務(wù)水平。

參考文獻（References）：

[1] 鐘南.交通運輸行業(yè)數(shù)據(jù)中心建設(shè)體系研究[J].交通標準化，

2014.19：68-74

[2] 王輝，林垚，周紫君.基于元數(shù)據(jù)的交通運輸科學數(shù)據(jù)共享平

臺設(shè)計[J].交通與計算機，2008.26（2）：86-89

[3] 王明生，楊艷.基于元數(shù)據(jù)的交通資源基礎(chǔ)信息數(shù)據(jù)管理研

究[J].Railway Transport and Economy，2008.30（11）：81-83

[4] 馬曉軍，張春節(jié).云南省交通運輸行業(yè)數(shù)據(jù)中心管理平臺建

設(shè)思路[J].數(shù)字技術(shù)與應(yīng)用，2013.6：153-154

[5] 鄺帆，黃霖.貴州省交通運輸數(shù)據(jù)中心與數(shù)據(jù)管控體系研究[J].

計算機光盤軟件與應(yīng)用，2014.11：31-32

[6] 王瑾.基于云計算的交通運輸數(shù)據(jù)中心實現(xiàn)與應(yīng)用[J].中國

交通信息化，2015.3：84-86