張子豪

摘 要：通過(guò)搭建數(shù)據(jù)質(zhì)量管理平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量業(yè)務(wù)規(guī)則庫(kù)管理、問(wèn)題數(shù)據(jù)的多維可視化展示、問(wèn)題數(shù)據(jù)閉環(huán)處理管理機(jī)制、數(shù)據(jù)質(zhì)量知識(shí)庫(kù)管理、實(shí)用化考核指標(biāo)體系管理、指標(biāo)、報(bào)表血緣分析等，從而有效促進(jìn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量提升。數(shù)據(jù)質(zhì)量與實(shí)用化管理平臺(tái)的調(diào)度功能采用Java多線(xiàn)程，數(shù)據(jù)庫(kù)JOB技術(shù)，可以實(shí)現(xiàn)周期調(diào)度功能，同時(shí)通過(guò)對(duì)每次調(diào)度結(jié)果提供自定義報(bào)表服務(wù)，對(duì)信息數(shù)據(jù)進(jìn)行分類(lèi)統(tǒng)計(jì)，并開(kāi)展橫縱向分類(lèi)比對(duì)，智能生成本地?cái)?shù)據(jù)質(zhì)量及實(shí)用化分析報(bào)告，實(shí)現(xiàn)問(wèn)題數(shù)據(jù)的閉環(huán)處理。

關(guān)鍵詞：數(shù)據(jù)質(zhì)量與實(shí)用化;周期調(diào)度;智能分析

一、背景

隨著業(yè)務(wù)系統(tǒng)數(shù)據(jù)量的日益增大，公司對(duì)系統(tǒng)的數(shù)據(jù)質(zhì)量及實(shí)用化監(jiān)控難度日漸提高，急需建立一個(gè)融合業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量及實(shí)用化各項(xiàng)指標(biāo)的平臺(tái)，實(shí)現(xiàn)問(wèn)題數(shù)據(jù)的發(fā)現(xiàn)、原因確認(rèn)、跟蹤解決、校驗(yàn)的全過(guò)程管理，提升業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量及實(shí)用化水平。

二、設(shè)計(jì)原則

（1）規(guī)范化原則。按照省公司發(fā)布的數(shù)據(jù)質(zhì)量及實(shí)用化考核規(guī)則、省公司信息安全要求等規(guī)范標(biāo)準(zhǔn)，進(jìn)行業(yè)務(wù)數(shù)據(jù)抽取，確保數(shù)據(jù)抽取規(guī)范化。（2）實(shí)用性原則。項(xiàng)目建設(shè)要堅(jiān)持實(shí)用性原則，充分考慮系統(tǒng)使用人員的實(shí)際工作需求，構(gòu)建一個(gè)切合實(shí)際、能夠高效解決問(wèn)題的支持系統(tǒng)。（3）適應(yīng)性原則。系統(tǒng)架構(gòu)應(yīng)具備良好的適應(yīng)性，可通過(guò)靈活配置適應(yīng)業(yè)務(wù)流程和業(yè)務(wù)邏輯的變化，滿(mǎn)足業(yè)務(wù)功能的擴(kuò)展，適應(yīng)業(yè)務(wù)和信息化不斷發(fā)展的需要。（4）可靠性原則。系統(tǒng)建設(shè)運(yùn)行過(guò)程中，各類(lèi)資源配置、措施、方案要滿(mǎn)足系統(tǒng)可靠性要求，保證系統(tǒng)7X24小時(shí)不間斷可靠運(yùn)行。（5）安全性原則。應(yīng)根據(jù)公司有關(guān)標(biāo)準(zhǔn)和系統(tǒng)實(shí)際需要，加強(qiáng)信息安全防護(hù)，確保信息的安全，滿(mǎn)足國(guó)家、公司等各層面信息安全保護(hù)的要求。（6）持續(xù)完善原則。在系統(tǒng)應(yīng)用過(guò)程中將會(huì)不斷收集到用戶(hù)的反饋意見(jiàn)，技術(shù)進(jìn)步也將為系統(tǒng)功能的完善提供新的可能，系統(tǒng)必然要隨著技術(shù)的發(fā)展進(jìn)步和業(yè)務(wù)應(yīng)用的深化進(jìn)行持續(xù)完善。

三、系統(tǒng)功能框架

元數(shù)據(jù)管理：元數(shù)據(jù)模塊維護(hù)了多個(gè)主營(yíng)業(yè)務(wù)系統(tǒng)各個(gè)對(duì)象及其數(shù)據(jù)庫(kù)表結(jié)構(gòu)，對(duì)規(guī)則庫(kù)管理、實(shí)用化指標(biāo)功能提供最基礎(chǔ)的數(shù)據(jù)服務(wù)。規(guī)則庫(kù)管理：根據(jù)元數(shù)據(jù)管理中提供的業(yè)務(wù)系統(tǒng)表結(jié)構(gòu)信息，對(duì)有建立指標(biāo)的對(duì)象、字段進(jìn)行合規(guī)性和完整性的定義。調(diào)度管理：調(diào)度功能可根據(jù)定義的時(shí)間，所選的規(guī)則進(jìn)行問(wèn)題數(shù)據(jù)的檢查和指標(biāo)值的計(jì)算。問(wèn)題數(shù)據(jù)展現(xiàn)及下載：可按系統(tǒng)、對(duì)象、組織多個(gè)維度對(duì)調(diào)度指定規(guī)則所發(fā)現(xiàn)的問(wèn)題數(shù)據(jù)顯示、詳細(xì)信息查看，并可以使用跳轉(zhuǎn)功能，在問(wèn)題源系統(tǒng)定位該數(shù)據(jù)。問(wèn)題數(shù)據(jù)處理：利用工作流，將發(fā)現(xiàn)的問(wèn)題數(shù)據(jù)通過(guò)系統(tǒng)定義，分派度指定的負(fù)責(zé)人處，進(jìn)行處理。實(shí)用化指標(biāo)展示：利用BIEE工具，分析統(tǒng)計(jì)調(diào)度規(guī)則生成的指標(biāo)數(shù)據(jù)，通過(guò)柱狀圖和列表的方式，直觀地展示實(shí)用化指標(biāo)值以及當(dāng)局總分情況及全省排名名次。數(shù)據(jù)質(zhì)量報(bào)告：基于BIEE的前端展現(xiàn)及word格式附件的導(dǎo)出。

四、系統(tǒng)技術(shù)路線(xiàn)

這些系統(tǒng)間數(shù)據(jù)結(jié)構(gòu)不同，每個(gè)系統(tǒng)對(duì)數(shù)據(jù)的審核的力度、審核的字段都不同等問(wèn)題，造成了各系統(tǒng)出現(xiàn)的問(wèn)題數(shù)據(jù)類(lèi)型也不相同。為了更好地掌握各個(gè)系統(tǒng)的原始數(shù)據(jù)情況，數(shù)據(jù)質(zhì)量管理平臺(tái)采取不對(duì)業(yè)務(wù)系統(tǒng)源數(shù)據(jù)進(jìn)行任何清洗，以原表抽取的方式，保存在ODS（Operational Data Store，即操作型數(shù)據(jù)存儲(chǔ)）數(shù)據(jù)庫(kù)中。數(shù)據(jù)抽取工作會(huì)對(duì)業(yè)務(wù)系統(tǒng)造成性能和安全上的壓力，因此建立一個(gè)業(yè)務(wù)數(shù)據(jù)中間服務(wù)器，由業(yè)務(wù)系統(tǒng)向這個(gè)中間服務(wù)器傳輸數(shù)據(jù)。數(shù)據(jù)質(zhì)量管理平臺(tái)只對(duì)業(yè)務(wù)數(shù)據(jù)中間服務(wù)器進(jìn)行抽取。元數(shù)據(jù)負(fù)責(zé)維護(hù)業(yè)務(wù)系統(tǒng)、業(yè)務(wù)對(duì)象、對(duì)象屬性的基本信息、關(guān)聯(lián)關(guān)系，維護(hù)各業(yè)務(wù)對(duì)象的數(shù)據(jù)源，即主數(shù)據(jù)，帶流程的業(yè)務(wù)數(shù)據(jù)或不帶流程的業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)質(zhì)量管理平臺(tái)項(xiàng)目采用B/S（瀏覽器/服務(wù)器）體系結(jié)構(gòu)，架構(gòu)于Java EE（Java Platform，Enterprise Edition）平臺(tái)之上，實(shí)現(xiàn)不同平臺(tái)間的數(shù)據(jù)同步。在B/S體系結(jié)構(gòu)系統(tǒng)中，用戶(hù)通過(guò)瀏覽器向服務(wù)器發(fā)出請(qǐng)求，服務(wù)器對(duì)瀏覽器的請(qǐng)求進(jìn)行處理，將用戶(hù)所需信息返回到瀏覽器。而其余如數(shù)據(jù)請(qǐng)求、加工、結(jié)果返回以及動(dòng)態(tài)網(wǎng)頁(yè)生成、對(duì)數(shù)據(jù)庫(kù)的訪問(wèn)和應(yīng)用程序的執(zhí)行等工作全部由后臺(tái)web服務(wù)器和應(yīng)用服務(wù)器完成。Java EE平臺(tái)是業(yè)務(wù)統(tǒng)一的企業(yè)級(jí)應(yīng)用軟件的技術(shù)架構(gòu)。Java EE平臺(tái)采用一個(gè)多層次分布式的應(yīng)用模式。應(yīng)用邏輯根據(jù)功能被劃分成組件，組成Java EE應(yīng)用的不同應(yīng)用組件安裝在不同的服務(wù)器上。

五、系統(tǒng)功能實(shí)現(xiàn)

（1）實(shí)現(xiàn)了定時(shí)調(diào)度技術(shù)。數(shù)據(jù)質(zhì)量管理平臺(tái)的調(diào)度功能采用Java多線(xiàn)程，數(shù)據(jù)庫(kù)JOB技術(shù)，可以實(shí)現(xiàn)周期調(diào)度功能。數(shù)據(jù)質(zhì)量管理平臺(tái)根據(jù)指定的調(diào)度時(shí)間點(diǎn)或周期計(jì)劃任務(wù)進(jìn)行自動(dòng)調(diào)度，無(wú)需人工干預(yù)，大大降低操作人員的工作負(fù)擔(dān);同時(shí)還可按需選擇調(diào)度的系統(tǒng)，針對(duì)選定的系統(tǒng)計(jì)算相關(guān)的指標(biāo)，生成問(wèn)題數(shù)據(jù)。（2）實(shí)現(xiàn)了智能生成數(shù)據(jù)質(zhì)量報(bào)告技術(shù)。數(shù)據(jù)質(zhì)量管理平臺(tái)對(duì)每次調(diào)度結(jié)果提供自定義報(bào)表服務(wù)，對(duì)信息數(shù)據(jù)進(jìn)行分類(lèi)統(tǒng)計(jì)，并開(kāi)展橫縱向分類(lèi)比對(duì)，智能生成本地?cái)?shù)據(jù)質(zhì)量及實(shí)用化分析報(bào)告。（3）實(shí)現(xiàn)了UI交互的重設(shè)計(jì)。數(shù)據(jù)質(zhì)量管理平臺(tái)的特點(diǎn)是把用戶(hù)80%的常用功能都放到主頁(yè)上，實(shí)現(xiàn)“一個(gè)頁(yè)面滿(mǎn)足80%用戶(hù)的需求”的理念。主頁(yè)包含信息齊全，操作簡(jiǎn)單明了。（4）實(shí)現(xiàn)了業(yè)務(wù)規(guī)則庫(kù)可視化與可配置。建立逐步完善的數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則庫(kù)，立足業(yè)務(wù)部門(mén)的日常業(yè)務(wù)活動(dòng)，統(tǒng)一規(guī)則庫(kù)的填報(bào)及審批流程，實(shí)現(xiàn)業(yè)務(wù)規(guī)則庫(kù)的可視化和可配置。（5）實(shí)現(xiàn)了問(wèn)題數(shù)據(jù)多維可視化展示。實(shí)現(xiàn)問(wèn)題數(shù)據(jù)多維可視化，從不同層級(jí)、多個(gè)維度進(jìn)行問(wèn)題數(shù)據(jù)的全方位、多角展示與分析，增強(qiáng)數(shù)據(jù)展示的形象化與明細(xì)化。

參考文獻(xiàn)：

[1]洪曉虹，陳忠義.淺談信息系統(tǒng)實(shí)用化及數(shù)據(jù)質(zhì)量管理[J].中國(guó)城市經(jīng)濟(jì)，2011（29）：214-216.

[2]吳永歡，孫煜華，廖嘉煒.信息系統(tǒng)實(shí)用化及數(shù)據(jù)質(zhì)量管理研究[J].信息與電腦，2017（18）.

[3]劉冬陽(yáng).淺析供電企業(yè)數(shù)據(jù)質(zhì)量和信息系統(tǒng)實(shí)用化[J].科技資訊，2013（29）：166-167.