張文婷

（華北電力大學，北京102200）

隨著互聯(lián)網(wǎng)技術的普及，進入信息化時代，數(shù)據(jù)越來越成為公認的最有價值的資產(chǎn)，對于數(shù)據(jù)質(zhì)量高低的研究也越來越成為人們孜孜不倦討論的課題。數(shù)據(jù)質(zhì)量的提升對于公司決策有著重大的作用，但是，由于數(shù)據(jù)的復雜性，影響因素太多，它們處于不同的層次，同時也具有不同的重要性權重，很難客觀地評估數(shù)據(jù)質(zhì)量。目前，針對數(shù)據(jù)采集信息系統(tǒng)中數(shù)據(jù)質(zhì)量評估的方法大多是從主觀層面得出，主觀評價依賴性過強[1]。因此，針對質(zhì)量評價體系的評價指標的構(gòu)建、評價方法的研究等各個方面的不足，本文采用基于AHP- 信息熵的數(shù)據(jù)挖掘方法，通過挖掘隱藏在指標隸屬度中的客觀分類知識信息來定義權重[2]。按照數(shù)據(jù)質(zhì)量評價指標在總評選指標中的重要性的不同，分離出決定性的指標維度，并且通過熵權法客觀分析數(shù)據(jù)中隱藏的權重信息，本文通過實驗驗證了所提出模型的有效性，實現(xiàn)了采集的數(shù)據(jù)質(zhì)量的精準有效評估。

1 數(shù)據(jù)質(zhì)量評估方法背景

1.1 方法研究的必要性

在如今的大數(shù)據(jù)環(huán)境下，數(shù)據(jù)量十分龐大，數(shù)據(jù)包含的維度也較為復雜, 如果不能及時地采集到的數(shù)據(jù)進行實時有效的評估，在后續(xù)的工作中，依舊讓臟數(shù)據(jù)參與工作，這對于領導決策、有著非常大的危害作用[2]。數(shù)據(jù)質(zhì)量評估是一項很重要的事情，因為它對于發(fā)揮數(shù)據(jù)的商業(yè)價值有著非常重大的意義。目前，數(shù)據(jù)質(zhì)量評價方法的實現(xiàn)主要有兩類，一類是通過人工評價的方式，組成評價小組直接對其進行打分，但是，這種人工的方式僅僅適用于人數(shù)較少情況，若是人數(shù)較多，統(tǒng)計起來也同樣費時費力、結(jié)果也有可能并不準確；另一種便是基于傳統(tǒng)統(tǒng)計學的機器學習方法的評估，主要包括灰色理論、神經(jīng)網(wǎng)絡等，具有一定的表達能力和學習能力，但是考慮的因素過于簡單，對于評估結(jié)果的精確性有一定的影響[3]。因此，受這些想法的啟發(fā)，在傳統(tǒng)統(tǒng)計學的基礎上，本文對于這些方法做出了改進，基于層次分析法和客觀熵權法對數(shù)據(jù)質(zhì)量評估模型進行了深入的研究。

1.2 主客觀賦權法

層次分析法是一種定性與定量結(jié)合的方法，它能夠?qū)⑽覀兯芯康膯栴}拆分成許多組成因素，并對于這些組成因素賦予不同程度的重要性比較值，根據(jù)相關關系及隸屬關系分成不同的層次，轉(zhuǎn)化為多層次決策型問題[4]。根據(jù)各影響因素的重要程度構(gòu)造重要性矩陣，通過一致性檢驗便可使用其最終的權重結(jié)果。

而熵權法中的熵值本是評估系統(tǒng)無序程度的一個重要指標。在多指標權重的確定過程中，熵權法的思路是通過各個指標間的差異大小來求得權重值。若計算出的信息熵值較小，表明該指標的差異程度越大，在綜合評價中起的作用也就越大，提供的信息越多，所偶得到的該指標的權重值也就越大[5]。在電力質(zhì)量評價、醫(yī)療評估各方面熵權法都表現(xiàn)出了良好性能。

由于層次分析法（AHP）是根據(jù)專家經(jīng)驗構(gòu)造重要性比較矩陣，經(jīng)過逐層檢驗得到的主觀權重值，受到主觀想法影響較多，因此在此基礎上，我們結(jié)合基本不受主觀因素影響僅僅通過數(shù)據(jù)來判斷的熵權法得到的客觀權重值，將二者進行結(jié)合，能使各指標的權重值配比更加合理，對于數(shù)據(jù)質(zhì)量的評估也更精確，同時也減少了人工的復雜性與干預程度。

2 模型及驗證

2.1 本文提出的模型

為建立合適的數(shù)據(jù)質(zhì)量評估模型，我們首先需要選定合適的指標，我們從準確性、完整性、依賴性三個角度出發(fā)，選取合適的指標。準確性（T1）：數(shù)據(jù)語義是否準確（T11）、數(shù)據(jù)的表達語法是否準確（T12）、數(shù)據(jù)值是否準確（T13）；完整性（T2）：數(shù)據(jù)屬性是否完整（T21）、數(shù)據(jù)值域是否完整（T22）、數(shù)據(jù)量規(guī)模是否充足（T23）；依賴性（T3）：數(shù)據(jù)值依賴性（T31）、數(shù)據(jù)格式依賴性（T32）、數(shù)據(jù)格式依賴性（T33）。

對于不同的信息系統(tǒng)，指標的貢獻程度也有所差異。例如，各行各業(yè)對于數(shù)據(jù)的準確性要求是必然的，因此針對此屬性我們需要進行詳細的檢測，必要時需預先設置好可參照庫，但某些領域?qū)τ跀?shù)據(jù)值之間的依賴性并沒有提出過高的要求。因此，我們的模型首先采用（1）層次分析法計算權重值，對各層中的因素進行兩兩比較，構(gòu)造出判斷矩陣，我們計劃選取有經(jīng)驗的專家構(gòu)造重要性矩陣，使得我們的主觀權重更加精確，得到權重值Wij；（2）熵權法。

（1）本模型對數(shù)據(jù)三個維度的情況進行統(tǒng)計，針對各層次各指標得到打分值Xij（表示i 層次j 指標的打分結(jié)果）；

表1 多層次判斷矩陣

表2 AHP 求得各指標權重結(jié)果表

（2）根據(jù)公式（1）（2）分別計算指標信息熵Ei，信息冗余度Di

（3）計算指標權重值

（4）計算組合權重值

（5）根據(jù)（2）中統(tǒng)計得的各層次各指標分數(shù)與組合權重值計算最終得分。

2.2 實驗結(jié)果及驗證

以某地交通信息采集系統(tǒng)中的電能質(zhì)量數(shù)據(jù)為實驗對象，對其傳輸?shù)臄?shù)據(jù)進行評估，驗證本文所提出模型的有效性。

我們首先構(gòu)造多層次的判斷矩陣如表1。

經(jīng)過一致性檢驗，其CR<0.1，因此通過了一致性檢驗，我們得到各指標的AHP 權重值如表2 所示。

本文根據(jù)所設定的模型將主觀權重和客觀權重分別通過層次分析法和熵權法算出，并求得了綜合權重與初始分數(shù)相乘，得到了各項指標的最終結(jié)果。從結(jié)果可以看出，我們的得分，并不完全依靠主觀評判，也同時擺脫了過于依賴數(shù)據(jù)的客觀結(jié)果，證明了本模型的有效性。

3 結(jié)論

本文通過主客觀賦權的方法提出了數(shù)據(jù)質(zhì)量評估模型，該模型適用于大多數(shù)的信息采集系統(tǒng)，本文以交通數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)為例，多層次地對采集到的數(shù)據(jù)進行了評估，以便于及時匯報其中的差錯數(shù)據(jù)與臟數(shù)據(jù)，為后續(xù)數(shù)據(jù)的應用提供強有力的保證。同時本文所提出的維度尚有不足，希望隨著時代的進步能夠提出更精確有效的應用范圍更為廣泛的數(shù)據(jù)質(zhì)量評估模型。