唐虎強(qiáng)?李寧?閆淮巖?陳瑞軍

摘要：工業(yè)大數(shù)據(jù)資源存在產(chǎn)生源點(diǎn)多、頻率高、數(shù)據(jù)量大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜等特點(diǎn)，而傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)無(wú)法滿足企業(yè)對(duì)數(shù)據(jù)質(zhì)量管理需求。針對(duì)企業(yè)歷史、增量、實(shí)時(shí)感知等海量多源異構(gòu)數(shù)據(jù)，提出一種高時(shí)效、精準(zhǔn)化、多維度的數(shù)據(jù)質(zhì)量評(píng)價(jià)方法，構(gòu)建一套可靈活配置、具備高效數(shù)據(jù)處理性能及高可擴(kuò)展性的數(shù)據(jù)質(zhì)量評(píng)價(jià)系統(tǒng)解決方案，滿足企業(yè)對(duì)海量數(shù)據(jù)質(zhì)量自動(dòng)化管理的需要，推動(dòng)數(shù)據(jù)治理體系的完善。

關(guān)鍵詞：數(shù)據(jù)質(zhì)量；質(zhì)量評(píng)價(jià)；數(shù)據(jù)治理；大數(shù)據(jù)技術(shù)

一、前言

數(shù)據(jù)治理是企業(yè)數(shù)據(jù)化轉(zhuǎn)型的首要戰(zhàn)略重點(diǎn)之一，而數(shù)據(jù)質(zhì)量是數(shù)據(jù)治理中重要的一把標(biāo)尺，高質(zhì)量的數(shù)據(jù)對(duì)企業(yè)管理決策、業(yè)務(wù)支撐都有極其重要的作用。目前工業(yè)企業(yè)數(shù)據(jù)資源存在多種來(lái)源，包括歷史信息系統(tǒng)、智能感知設(shè)備、第三方供應(yīng)商等，這些數(shù)據(jù)存在著產(chǎn)生源點(diǎn)多、頻率高、數(shù)據(jù)量大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜等特點(diǎn)，為數(shù)據(jù)質(zhì)量的準(zhǔn)確評(píng)價(jià)帶來(lái)新的技術(shù)挑戰(zhàn)。數(shù)據(jù)質(zhì)量管理的目的是通過(guò)提升數(shù)據(jù)的完整性、準(zhǔn)確性和真實(shí)性，為企業(yè)提供堅(jiān)實(shí)、可靠的數(shù)據(jù)基礎(chǔ)，提升數(shù)據(jù)的使用價(jià)值，對(duì)企業(yè)的日常經(jīng)營(yíng)、精準(zhǔn)營(yíng)銷(xiāo)、管理決策、風(fēng)險(xiǎn)管理等領(lǐng)域發(fā)揮積極有效作用。

現(xiàn)階段，企業(yè)為了保證數(shù)據(jù)質(zhì)量主要采用信息系統(tǒng)內(nèi)部設(shè)置數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則與人工輔助巡檢相結(jié)合的方式，但是依然存在著較多數(shù)據(jù)質(zhì)量問(wèn)題，典型的有記錄不全、數(shù)據(jù)遺漏、數(shù)據(jù)錯(cuò)誤、多義字段、矛盾值、違背業(yè)務(wù)規(guī)則、無(wú)法關(guān)聯(lián)等。主要原因可以歸納為以下幾個(gè)方面：一是由于沒(méi)有從數(shù)據(jù)資源的戰(zhàn)略高度對(duì)數(shù)據(jù)質(zhì)量進(jìn)行統(tǒng)一完整的定義，導(dǎo)致數(shù)據(jù)的分析評(píng)價(jià)沒(méi)有統(tǒng)一可靠的標(biāo)準(zhǔn)；二是數(shù)據(jù)質(zhì)量分析主要采用傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)實(shí)現(xiàn)，無(wú)法滿足對(duì)海量高吞吐數(shù)據(jù)實(shí)時(shí)分析的需要；三是數(shù)據(jù)質(zhì)量還停留在定性評(píng)價(jià)，不能實(shí)現(xiàn)精確的量化評(píng)價(jià)，導(dǎo)致數(shù)據(jù)質(zhì)量考核缺乏可信的數(shù)據(jù)依據(jù)，大大影響考核力度；四是數(shù)據(jù)質(zhì)量控制分散在各個(gè)業(yè)務(wù)信息系統(tǒng)內(nèi)部，無(wú)法快速響應(yīng)業(yè)務(wù)變化的需要[1]。

二、全局?jǐn)?shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)體系定義

數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)是企業(yè)進(jìn)行數(shù)據(jù)質(zhì)量度量的一種途徑和標(biāo)準(zhǔn)，企業(yè)數(shù)據(jù)質(zhì)量管理組織需要從企業(yè)數(shù)據(jù)治理的全局高度出發(fā)，結(jié)合現(xiàn)實(shí)的業(yè)務(wù)需要，構(gòu)建涵蓋數(shù)據(jù)一致性、準(zhǔn)確性、完整性、及時(shí)性等質(zhì)量特性的評(píng)價(jià)指標(biāo)體系，實(shí)現(xiàn)從傳統(tǒng)、局限在信息系統(tǒng)內(nèi)部的質(zhì)量管理向橫跨多個(gè)業(yè)務(wù)的、全局性、一致性的質(zhì)量管理轉(zhuǎn)變。為了避免單個(gè)指標(biāo)涵蓋面較大難以定量分析的問(wèn)題，可針對(duì)企業(yè)內(nèi)部每一個(gè)質(zhì)量關(guān)注點(diǎn)，定義細(xì)粒度的質(zhì)量評(píng)價(jià)指標(biāo)。如針對(duì)企業(yè)關(guān)注的異常數(shù)據(jù)，分別定義數(shù)據(jù)缺失率、數(shù)據(jù)誤差率、數(shù)據(jù)重復(fù)率、數(shù)據(jù)遲到率等指標(biāo)，通過(guò)存在異常數(shù)據(jù)的記錄與總記錄數(shù)的占比來(lái)計(jì)算具體的指標(biāo)值，有效降低數(shù)據(jù)質(zhì)量分析的難度。

數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)通過(guò)執(zhí)行質(zhì)量約束規(guī)則來(lái)計(jì)算。質(zhì)量約束規(guī)則描述了數(shù)據(jù)體應(yīng)遵守的質(zhì)量要求，如數(shù)據(jù)長(zhǎng)度、精度、格式等。系統(tǒng)通過(guò)執(zhí)行質(zhì)量約束規(guī)則來(lái)檢測(cè)數(shù)據(jù)體中存在違反質(zhì)量約束規(guī)則的數(shù)據(jù)項(xiàng)/數(shù)據(jù)記錄，為匯總計(jì)算指標(biāo)值提供數(shù)據(jù)基礎(chǔ)。為了降低系統(tǒng)執(zhí)行的復(fù)雜度，質(zhì)量約束規(guī)則的定義通常是比較單一的，因此一個(gè)數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)往往需要關(guān)聯(lián)多個(gè)質(zhì)量約束規(guī)則。系統(tǒng)在計(jì)算該指標(biāo)時(shí)，依次執(zhí)行多個(gè)規(guī)則并將每個(gè)規(guī)則檢測(cè)的結(jié)果按照需要進(jìn)行匯總，最終計(jì)算得到指標(biāo)值。

三、數(shù)據(jù)質(zhì)量評(píng)價(jià)模型定義

由于數(shù)據(jù)來(lái)源和應(yīng)用場(chǎng)景的不同，工業(yè)大數(shù)據(jù)往往存儲(chǔ)在不同的數(shù)據(jù)庫(kù)中，包括傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)、時(shí)序數(shù)據(jù)庫(kù)、消息服務(wù)器、HDFS數(shù)據(jù)庫(kù)等，這種數(shù)據(jù)的多源異構(gòu)性給數(shù)據(jù)質(zhì)量的統(tǒng)一管理和分析帶來(lái)很大技術(shù)挑戰(zhàn)。

（一）數(shù)據(jù)對(duì)象模型定義

為了構(gòu)建一體化的數(shù)據(jù)質(zhì)量管理機(jī)制，將質(zhì)量評(píng)價(jià)過(guò)程中由系統(tǒng)獨(dú)立計(jì)算的數(shù)據(jù)體定義為一個(gè)基本的數(shù)據(jù)對(duì)象（如數(shù)據(jù)表、數(shù)據(jù)文件、消息主題等），描述其在質(zhì)量評(píng)價(jià)過(guò)程中所需的信息，主要分為技術(shù)屬性和管理屬性?xún)刹糠郑鐖D1所示。

其中，技術(shù)屬性描述質(zhì)量評(píng)價(jià)指標(biāo)計(jì)算過(guò)程中所需的信息，包括連接訪問(wèn)信息、數(shù)據(jù)結(jié)構(gòu)信息以及擴(kuò)展技術(shù)信息，擴(kuò)展技術(shù)信息主要針對(duì)分布式存儲(chǔ)系統(tǒng)，進(jìn)一步描述數(shù)據(jù)存儲(chǔ)格式、數(shù)據(jù)分區(qū)、數(shù)據(jù)分桶等高級(jí)信息；管理屬性描述數(shù)據(jù)質(zhì)量評(píng)價(jià)過(guò)程中所需的各種維度信息，包括數(shù)據(jù)分類(lèi)維度、歸口單位維度、擴(kuò)展維度等，為后期多維度的質(zhì)量評(píng)價(jià)提供數(shù)據(jù)基礎(chǔ)。企業(yè)內(nèi)部可根據(jù)數(shù)據(jù)管理體系和采用的數(shù)據(jù)庫(kù)技術(shù)，進(jìn)一步擴(kuò)展技術(shù)屬性和管理屬性模型[2]。

（二）數(shù)據(jù)對(duì)象質(zhì)量評(píng)價(jià)指標(biāo)配置

每個(gè)數(shù)據(jù)對(duì)象對(duì)質(zhì)量的關(guān)注點(diǎn)有所不同，根據(jù)實(shí)際業(yè)務(wù)需求為數(shù)據(jù)對(duì)象分別配置不同的質(zhì)量評(píng)價(jià)指標(biāo)，并為每個(gè)指標(biāo)配置一個(gè)或多個(gè)質(zhì)量約束規(guī)則用于計(jì)算指標(biāo)值。系統(tǒng)通過(guò)執(zhí)行質(zhì)量約束規(guī)則來(lái)識(shí)別數(shù)據(jù)體中的異常數(shù)據(jù)項(xiàng)/數(shù)據(jù)記錄，通過(guò)計(jì)算異常數(shù)據(jù)占總數(shù)據(jù)的比例得到該指標(biāo)值。

進(jìn)一步根據(jù)每個(gè)對(duì)象的質(zhì)量側(cè)重點(diǎn)不同，為質(zhì)量評(píng)價(jià)指標(biāo)配置異常閾值和匯總權(quán)重。異常閾值設(shè)置指標(biāo)值可接受最大值，超出該值表示該對(duì)象數(shù)據(jù)質(zhì)量出現(xiàn)異常，觸發(fā)系統(tǒng)異常處理機(jī)制，發(fā)送數(shù)據(jù)質(zhì)量異常事件消息等；匯總權(quán)重用于計(jì)算該對(duì)象的質(zhì)量評(píng)分，質(zhì)量評(píng)分計(jì)算方法為該對(duì)象下所配置的各個(gè)指標(biāo)值加權(quán)計(jì)算獲得。

四、構(gòu)建多任務(wù)的指標(biāo)計(jì)算機(jī)制

面向企業(yè)高吞吐實(shí)時(shí)數(shù)據(jù)、海量離線數(shù)據(jù)的高效質(zhì)量評(píng)價(jià)需要，構(gòu)建多任務(wù)的指標(biāo)計(jì)算機(jī)制，由系統(tǒng)高并發(fā)調(diào)度執(zhí)行，提升數(shù)據(jù)質(zhì)量評(píng)價(jià)的效率。按照數(shù)據(jù)對(duì)象中指標(biāo)的計(jì)算方式將指標(biāo)集劃分為一個(gè)或多個(gè)子集，分配給不同的任務(wù)，進(jìn)一步根據(jù)任務(wù)計(jì)算的數(shù)據(jù)量大小、優(yōu)先級(jí)等為每個(gè)任務(wù)配置執(zhí)行服務(wù)節(jié)點(diǎn)數(shù)、節(jié)點(diǎn)最大CPU核數(shù)、節(jié)點(diǎn)內(nèi)存等資源，防止多個(gè)任務(wù)執(zhí)行過(guò)程中搶占資源導(dǎo)致任務(wù)執(zhí)行超時(shí)、失敗等現(xiàn)象。數(shù)據(jù)質(zhì)量評(píng)價(jià)服務(wù)是任務(wù)執(zhí)行的主體，針對(duì)不同數(shù)據(jù)來(lái)源、不同數(shù)據(jù)結(jié)構(gòu)、不同應(yīng)用場(chǎng)景計(jì)算需要分類(lèi)構(gòu)建多個(gè)質(zhì)量評(píng)價(jià)服務(wù)。系統(tǒng)根據(jù)任務(wù)配置的服務(wù)名，將任務(wù)提交給相應(yīng)的服務(wù)執(zhí)行，實(shí)現(xiàn)對(duì)多源異構(gòu)數(shù)據(jù)的統(tǒng)一處理。指標(biāo)計(jì)算任務(wù)模型邏輯結(jié)構(gòu)如圖2所示。

（一）指標(biāo)計(jì)算任務(wù)調(diào)度機(jī)制

為了滿足多場(chǎng)景下的數(shù)據(jù)質(zhì)量評(píng)價(jià)需要，構(gòu)建多策略的任務(wù)調(diào)度執(zhí)行機(jī)制。任務(wù)按照調(diào)度策略分為流式任務(wù)、固定周期批式任務(wù)、自動(dòng)觸發(fā)批式任務(wù)三種類(lèi)型，分別面向離線質(zhì)量分析、準(zhǔn)實(shí)時(shí)質(zhì)量分析、實(shí)時(shí)質(zhì)量分析三種應(yīng)用場(chǎng)景。其中，流式任務(wù)初始由任務(wù)調(diào)度器創(chuàng)建任務(wù)實(shí)例（單例模式）提交執(zhí)行，后續(xù)不間斷地按照預(yù)定義的時(shí)間窗口自動(dòng)執(zhí)行，每次僅計(jì)算當(dāng)前窗口內(nèi)的數(shù)據(jù)。流式任務(wù)執(zhí)行流程如圖3所示。

固定周期批式任務(wù)由任務(wù)調(diào)度器預(yù)生成今日任務(wù)執(zhí)行計(jì)劃表，按計(jì)劃依次創(chuàng)建任務(wù)實(shí)例提交執(zhí)行；自動(dòng)觸發(fā)批式任務(wù)由任務(wù)調(diào)度器監(jiān)測(cè)該數(shù)據(jù)對(duì)象的數(shù)據(jù)更新消息，即時(shí)創(chuàng)建任務(wù)實(shí)例提交執(zhí)行。批式任務(wù)執(zhí)行流程如圖4所示。

（二）指標(biāo)計(jì)算任務(wù)執(zhí)行結(jié)果維度模型構(gòu)建

根據(jù)企業(yè)對(duì)多維數(shù)據(jù)質(zhì)量報(bào)告的需要，在指標(biāo)計(jì)算任務(wù)執(zhí)行過(guò)程中，自動(dòng)構(gòu)建指標(biāo)計(jì)算任務(wù)執(zhí)行結(jié)果維度模型。維度模型中的事實(shí)表主要記錄任務(wù)處理的數(shù)據(jù)對(duì)象標(biāo)識(shí)、數(shù)據(jù)體信息（分組標(biāo)簽、起止時(shí)間位置、總記錄數(shù)）、執(zhí)行結(jié)果（異常數(shù)據(jù)記錄數(shù)、評(píng)價(jià)狀態(tài)）、關(guān)聯(lián)維度標(biāo)識(shí)等信息。其中，評(píng)價(jià)狀態(tài)標(biāo)記當(dāng)前記錄是否有效，當(dāng)數(shù)據(jù)起止時(shí)間位置區(qū)間內(nèi)的數(shù)據(jù)被重新執(zhí)行后，需將原有記錄的評(píng)價(jià)狀態(tài)置為無(wú)效。維度模型中維度表的數(shù)據(jù)根據(jù)主要來(lái)自數(shù)據(jù)對(duì)象模型中預(yù)設(shè)的維度集，按照分類(lèi)存儲(chǔ)到多張維度表中，包含時(shí)間維度、分類(lèi)管理維度、歸口管理維度、擴(kuò)展維度等，后期可根據(jù)自身實(shí)際需求增減維度表或維度表中的字段[3]。

基于指標(biāo)計(jì)算任務(wù)執(zhí)行結(jié)果維度模型，通過(guò)預(yù)聚合的方式將數(shù)據(jù)質(zhì)量報(bào)告所需的所有維度組合及相應(yīng)的指標(biāo)值計(jì)算出來(lái)并持久化保存，多維度建立快速查詢(xún)索引，以實(shí)現(xiàn)秒級(jí)的多維分析查詢(xún)，避免系統(tǒng)大量重復(fù)計(jì)算數(shù)據(jù)質(zhì)量報(bào)告中的指標(biāo)。聚合過(guò)程中首先獲取各個(gè)維度的取值空間，進(jìn)而計(jì)算各維度值組合的取值空間，通過(guò)并行計(jì)算方式分別計(jì)算取值空間的指標(biāo)值。當(dāng)維度個(gè)數(shù)較多或維度取值空間較大時(shí)，維度值組合的取值空間會(huì)變得十分龐大，為了減少計(jì)算工作量，可采用構(gòu)建數(shù)據(jù)立方體（cube）技術(shù)進(jìn)行優(yōu)化[4]。

五、系統(tǒng)技術(shù)實(shí)現(xiàn)

通過(guò)建立一套貫穿數(shù)據(jù)采集、處理、融合、應(yīng)用等數(shù)據(jù)治理各個(gè)環(huán)節(jié)的數(shù)據(jù)質(zhì)量評(píng)價(jià)系統(tǒng)，實(shí)現(xiàn)方案配置、實(shí)時(shí)監(jiān)測(cè)分析、評(píng)價(jià)報(bào)告生成、問(wèn)題告警的一體化工作流程，滿足企業(yè)對(duì)海量數(shù)據(jù)質(zhì)量自動(dòng)化管理的需要。

系統(tǒng)整體采用模型驅(qū)動(dòng)架構(gòu)技術(shù)構(gòu)建，企業(yè)質(zhì)量管理人員根據(jù)具體的業(yè)務(wù)需求配置質(zhì)量管理所需的業(yè)務(wù)語(yǔ)義形成業(yè)務(wù)模型，系統(tǒng)基于業(yè)務(wù)模型自動(dòng)解析執(zhí)行實(shí)現(xiàn)質(zhì)量評(píng)價(jià)過(guò)程。系統(tǒng)采用微服務(wù)技術(shù)框架，針對(duì)不同數(shù)據(jù)來(lái)源、不同數(shù)據(jù)結(jié)構(gòu)、不同應(yīng)用場(chǎng)景的構(gòu)建不同的數(shù)據(jù)質(zhì)量評(píng)價(jià)服務(wù)，通過(guò)spring cloud微服務(wù)框架統(tǒng)一注冊(cè)管理，任務(wù)調(diào)度器根據(jù)服務(wù)名路由調(diào)用指定的服務(wù)執(zhí)行具體的任務(wù)。系統(tǒng)進(jìn)一步采用插件技術(shù)將復(fù)雜的異常數(shù)據(jù)識(shí)別算法規(guī)則封裝成為插件由系統(tǒng)動(dòng)態(tài)反射調(diào)用執(zhí)行，面向特有的、復(fù)雜的質(zhì)量評(píng)價(jià)業(yè)務(wù)需求提供二次開(kāi)發(fā)能力，實(shí)現(xiàn)系統(tǒng)的高可擴(kuò)展性[5]。

系統(tǒng)采用spark、flink、kylin等分布式大數(shù)據(jù)計(jì)算技術(shù)實(shí)現(xiàn)高吞吐實(shí)時(shí)數(shù)據(jù)、海量數(shù)據(jù)歷史數(shù)據(jù)的高效分析計(jì)算，采用yarn資源管理器實(shí)現(xiàn)資源的配置管理。為了實(shí)現(xiàn)質(zhì)量評(píng)價(jià)結(jié)果的快速查詢(xún)統(tǒng)計(jì)分析，采用elasticsearch、hbase、doris等分布式數(shù)據(jù)庫(kù)技術(shù)持久化存儲(chǔ)任務(wù)執(zhí)行結(jié)果數(shù)據(jù)。

六、結(jié)語(yǔ)

本研究主要針對(duì)工業(yè)企業(yè)產(chǎn)生的多源海量數(shù)據(jù)質(zhì)量難以被評(píng)價(jià)的問(wèn)題，提出從企業(yè)數(shù)據(jù)質(zhì)量管理的全局考慮，構(gòu)建細(xì)粒度的數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)體系、面向多種存儲(chǔ)結(jié)構(gòu)并具備高可擴(kuò)展性的數(shù)據(jù)質(zhì)量評(píng)價(jià)模型，數(shù)據(jù)質(zhì)量評(píng)價(jià)方案配置、實(shí)時(shí)分析、評(píng)價(jià)報(bào)告生成等為一體的技術(shù)解決方案，滿足企業(yè)對(duì)海量數(shù)據(jù)質(zhì)量自動(dòng)化管理的需要。本研究提出的質(zhì)量約束規(guī)則主要通過(guò)管理人員根據(jù)業(yè)務(wù)需求手動(dòng)配置，主要面向結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，針對(duì)質(zhì)量約束規(guī)則自動(dòng)生成、圖像等非結(jié)構(gòu)化數(shù)據(jù)質(zhì)量檢測(cè)將作為下一階段的研究?jī)?nèi)容。

參考文獻(xiàn)

[1]江洪，王春曉.基于科學(xué)數(shù)據(jù)生命周期管理階段的科學(xué)數(shù)據(jù)質(zhì)量評(píng)價(jià)體系構(gòu)建研究[J].圖書(shū)情報(bào)工作，2020（05）：19-27.

[2]劉書(shū)密，田亞鵬，魯彥男，等.智能制造中的質(zhì)量管理數(shù)據(jù)標(biāo)準(zhǔn)化研究[J].電子技術(shù)與軟件工程，2020（16）：169-170.

[3]劉書(shū)志，劉曉雷，李靜靜.一種基于微服務(wù)架構(gòu)的數(shù)據(jù)質(zhì)量評(píng)價(jià)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電腦知識(shí)與技術(shù)，2022，18（29）：94-97.

[4]黃心宇.數(shù)據(jù)質(zhì)量評(píng)價(jià)模型的建立和實(shí)現(xiàn)[J].商場(chǎng)現(xiàn)代化，2008（08）：396-397.

[5]劉金晶，王梅.大數(shù)據(jù)下的數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)構(gòu)建實(shí)踐[J].計(jì)算機(jī)技術(shù)與發(fā)展，29（10）：46-50.

作者單位：唐虎強(qiáng)、閆淮巖、陳瑞軍，紅有軟件股份有限公司；李寧，克拉瑪依職業(yè)技術(shù)學(xué)院

責(zé)任編輯：張津平