李東輝

山東省臨沂市羅莊區(qū)統(tǒng)計(jì)局 山東臨沂 276000

統(tǒng)計(jì)數(shù)據(jù)的質(zhì)量包括統(tǒng)計(jì)數(shù)據(jù)是否精準(zhǔn)，是否出現(xiàn)大量的錯(cuò)誤，統(tǒng)計(jì)數(shù)據(jù)是否是實(shí)際所需要的數(shù)據(jù)類型，對(duì)實(shí)際的業(yè)務(wù)是否具有參考價(jià)值。工業(yè)企業(yè)的發(fā)展和未來計(jì)劃離不開對(duì)于工業(yè)統(tǒng)計(jì)數(shù)據(jù)的分析，因此數(shù)據(jù)質(zhì)量的好壞對(duì)于整個(gè)事業(yè)的發(fā)展都具有很重要的意義，數(shù)據(jù)質(zhì)量的重要性不言而喻[1]。并且，數(shù)據(jù)收集是數(shù)據(jù)的源頭所在，數(shù)據(jù)質(zhì)量的優(yōu)劣，直接決定后續(xù)研究的質(zhì)量，因此對(duì)于統(tǒng)計(jì)調(diào)查數(shù)據(jù)質(zhì)量的評(píng)估顯得尤為重要，只有通過分析質(zhì)量好的數(shù)據(jù)才能得出于實(shí)際發(fā)展所匹配的信息。

1 統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估的概念

一個(gè)不嚴(yán)謹(jǐn)?shù)亩x是，將數(shù)據(jù)質(zhì)量評(píng)估程序應(yīng)用于數(shù)據(jù)集并最終獲取評(píng)價(jià)對(duì)象質(zhì)量狀態(tài)。直白的說，就是依據(jù)一個(gè)相對(duì)完整的評(píng)估框架，按照一套確定的步驟和流程，從整體上考量某個(gè)或某些數(shù)據(jù)集對(duì)特定業(yè)務(wù)應(yīng)用的滿足程度，能很好滿足業(yè)務(wù)應(yīng)用的數(shù)據(jù)集我們稱其質(zhì)量較好，反之則質(zhì)量較差。

統(tǒng)計(jì)數(shù)據(jù)的質(zhì)量評(píng)估也叫統(tǒng)計(jì)數(shù)據(jù)的預(yù)處理，就是通過各種方法對(duì)數(shù)據(jù)進(jìn)行必要的篩查，審核以及排序等工作。目的是提高數(shù)據(jù)的質(zhì)量，篩選一些質(zhì)量過低的數(shù)據(jù)，為后續(xù)的分析工作減輕負(fù)擔(dān)，數(shù)據(jù)的質(zhì)量評(píng)估主要分為三個(gè)處理步驟，即數(shù)據(jù)審核，數(shù)據(jù)篩選和數(shù)據(jù)排序[2]。

1.1 數(shù)據(jù)審核

通過設(shè)計(jì)調(diào)查等各種方法得到的原始數(shù)據(jù)。不可能做到準(zhǔn)確無誤，也不能做到全部質(zhì)量在線。因此需要對(duì)原始數(shù)據(jù)進(jìn)行深人細(xì)致的數(shù)據(jù)審核工作，最大限度地剔除并修正數(shù)據(jù)差錯(cuò)，提高統(tǒng)計(jì)數(shù)據(jù)的質(zhì)量，這樣方可為后續(xù)統(tǒng)計(jì)分析奠定良好的數(shù)據(jù)基礎(chǔ)。

數(shù)據(jù)審核主要包括兩個(gè)方面內(nèi)容:

（1）全面性審核。主要核對(duì)應(yīng)調(diào)查的單位是否齊全，應(yīng)調(diào)查的內(nèi)容是否有遺漏。

（2）及時(shí)性審核。主要審核是否按規(guī)定的時(shí)間獲取相應(yīng)數(shù)據(jù)資料，數(shù)據(jù)是否滿足時(shí)效性的要求。

數(shù)據(jù)審核中的準(zhǔn)確性審核是最為主要的，費(fèi)時(shí)費(fèi)力，難度較大。

1.2 數(shù)據(jù)篩選

經(jīng)過數(shù)據(jù)審核，對(duì)發(fā)現(xiàn)的錯(cuò)誤數(shù)據(jù)可以采用相應(yīng)方法進(jìn)行補(bǔ)充、修正，但對(duì)于某些無法進(jìn)行修補(bǔ)的數(shù)據(jù)，或者不符合調(diào)查分析要求的數(shù)據(jù)，則需要進(jìn)行數(shù)據(jù)篩選。

數(shù)據(jù)篩涉包括兩方面的內(nèi)容:

（1）將某些不符合要求的數(shù)據(jù)或有明顯錯(cuò)誤的數(shù)據(jù)予以剔除。

（2）是根據(jù)匯總的需要將符合某種或某些條件的數(shù)據(jù)篩選出來，而將不符合特定條件的數(shù)據(jù)先予以剔除。

1.3 數(shù)據(jù)排序

數(shù)據(jù)排序使雜亂無序的數(shù)據(jù)呈現(xiàn)規(guī)律性的順序排列，不僅可以為后續(xù)的數(shù)據(jù)分析提供方便，而且在很多時(shí)候，排序本身就是進(jìn)行統(tǒng)計(jì)分析的目的之一。

此外，統(tǒng)計(jì)數(shù)據(jù)的質(zhì)量高低取決于統(tǒng)計(jì)數(shù)據(jù)的誤差大小。統(tǒng)計(jì)數(shù)據(jù)的誤差通常是指搜集到的統(tǒng)計(jì)數(shù)據(jù)與客觀現(xiàn)實(shí)之間的差距。研究人員在進(jìn)行問題研究時(shí)，應(yīng)了解存在數(shù)據(jù)誤差的可能性，因?yàn)椴捎缅e(cuò)誤的數(shù)據(jù)所得出的結(jié)論將比不使用數(shù)據(jù)更令人擔(dān)憂。

而統(tǒng)計(jì)數(shù)據(jù)都來源于樣本的調(diào)查，所以統(tǒng)計(jì)數(shù)據(jù)的誤差一般分為兩類，一類是抽樣誤差，一類是非抽樣誤差

（1）抽樣誤差。抽樣誤差是抽樣調(diào)查所特有的誤差，只有概率抽樣技術(shù)才有抽樣誤差，而且只要進(jìn)行概率抽樣，就必然存在抽樣誤差，抽樣誤差是不可避免的，但是這種誤差可以計(jì)算和控制。比如選擇誤差小的抽樣方法、引人輔助變量構(gòu)造復(fù)雜估計(jì)量、增大樣本容量等，都可以減小抽樣誤差。

（2）非抽樣誤差。非抽樣誤差，是指除抽樣的隨機(jī)性以外的其他各種原因引起的誤差，它在調(diào)查中普遍存在，在概率抽樣、非概率抽樣、其他的全面和非全面調(diào)查中，非抽樣誤差都有可能存在。

2 進(jìn)行統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估的原因

目前市面上很多的工業(yè)企業(yè)的數(shù)據(jù)分析師們都有一個(gè)通病，就是拿到一項(xiàng)工業(yè)統(tǒng)計(jì)數(shù)據(jù)后，就會(huì)立刻開始對(duì)統(tǒng)計(jì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，希望能夠快速及時(shí)的發(fā)現(xiàn)數(shù)據(jù)背后隱藏的企業(yè)運(yùn)行信息和工業(yè)發(fā)展的相關(guān)知識(shí)。但是忙活了很久才發(fā)現(xiàn)并不能提煉出太多的有用信息，甚至很多統(tǒng)計(jì)數(shù)據(jù)是與工業(yè)發(fā)展?fàn)顩r不符合的，因此浪費(fèi)了大量的時(shí)間和精力。造成這一情況的一個(gè)重要因素就是在分析數(shù)據(jù)之前，忽視了對(duì)統(tǒng)計(jì)數(shù)據(jù)質(zhì)量的評(píng)估。

為了得到的統(tǒng)計(jì)數(shù)據(jù)更加具有可分析性和可信度，對(duì)于數(shù)據(jù)的質(zhì)量評(píng)估不可缺少，在質(zhì)量評(píng)估的過程中，我們需要注意兩個(gè)質(zhì)量評(píng)估原則。

2.1 并非所有的數(shù)據(jù)都是有質(zhì)量，有價(jià)值的數(shù)據(jù)

在實(shí)際工業(yè)發(fā)展中，工業(yè)統(tǒng)計(jì)數(shù)據(jù)的分析一定都是為實(shí)際業(yè)務(wù)服務(wù)的，所以并不是所有的工業(yè)統(tǒng)計(jì)數(shù)據(jù)都是有價(jià)值的，也不是任何誤差小的統(tǒng)計(jì)數(shù)據(jù)都是有質(zhì)量的數(shù)據(jù)。只有緊密圍繞業(yè)務(wù)需求統(tǒng)計(jì)出來的，對(duì)工業(yè)的發(fā)展有參考價(jià)值的數(shù)據(jù)才是有價(jià)值，質(zhì)量高的數(shù)據(jù)。因此，在統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估和篩查的時(shí)候要清楚的辨認(rèn)相關(guān)的數(shù)據(jù)，不相關(guān)的數(shù)據(jù)，不論質(zhì)量多高，對(duì)于工業(yè)發(fā)展本身確實(shí)毫無價(jià)值的話，也屬于質(zhì)量低下的數(shù)據(jù)[3]。

2.2 數(shù)據(jù)質(zhì)量的好壞直接影響最終的決策和結(jié)果

通常，對(duì)于工業(yè)統(tǒng)計(jì)數(shù)據(jù)的分析、挖掘的最終目的是希望可以通過數(shù)據(jù)發(fā)現(xiàn)數(shù)據(jù)背后隱藏的關(guān)于工業(yè)發(fā)展的知識(shí)和信息，從而對(duì)實(shí)際的業(yè)務(wù)或產(chǎn)品進(jìn)行優(yōu)化和改進(jìn)。但是如果我們統(tǒng)計(jì)的數(shù)據(jù)本身的質(zhì)量就十分參差不齊，甚至質(zhì)量低下，那自然也很難能夠通過這樣質(zhì)量低下的數(shù)據(jù)得出工業(yè)發(fā)展有用的結(jié)論，甚至還有可能得到錯(cuò)誤的結(jié)論。所以，進(jìn)行科學(xué)、客觀的數(shù)據(jù)質(zhì)量評(píng)估是非常必要且十分重要的。

3 進(jìn)行工業(yè)統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估的方法

3.1 統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估的框架

當(dāng)前普遍的觀點(diǎn)認(rèn)為，數(shù)據(jù)質(zhì)量要素受行業(yè)領(lǐng)域、數(shù)據(jù)類型和應(yīng)用目的等因素的影響極大，不存在面向所有領(lǐng)域和資源類型的普適性數(shù)據(jù)質(zhì)量框架。但針對(duì)一個(gè)具體行業(yè)背景下的特定數(shù)據(jù)類型和業(yè)務(wù)目標(biāo)，建立一組質(zhì)量維度和指標(biāo)體系是可行的。

對(duì)于目前我國(guó)的工業(yè)企業(yè)層面的數(shù)據(jù)分析應(yīng)用，常見的數(shù)據(jù)質(zhì)量分為以下八個(gè)維度：

（1）完整性。工業(yè)統(tǒng)計(jì)數(shù)據(jù)的完整性與數(shù)據(jù)庫(kù)的完整性整體概念并不相同，工業(yè)統(tǒng)計(jì)數(shù)據(jù)的完整性用以描述數(shù)據(jù)集合對(duì)于具體業(yè)務(wù)的目標(biāo)的覆蓋程度，可以從文字和記錄兩個(gè)方面分析。

（2）可理解性。可理解性指標(biāo)用來表述數(shù)據(jù)集是否能清晰的反應(yīng)業(yè)務(wù)邏輯，字段和取值的具體意義是否明確。

（3）一致性。一致性通常用來描述數(shù)據(jù)在不同維度的連貫性，包括數(shù)據(jù)集之間的橫向連貫性和時(shí)間維度的縱向連貫性。一致性并不意味著數(shù)值上的絕對(duì)相同，而是數(shù)據(jù)收集、處理的方法和標(biāo)準(zhǔn)的一致。

（4）可獲得性。可獲得性用來描述實(shí)際業(yè)務(wù)需要的數(shù)據(jù)獲取的難易程度，包括采集、清理、轉(zhuǎn)化等多個(gè)環(huán)節(jié)。

（5）準(zhǔn)確性。準(zhǔn)確性主要反應(yīng)數(shù)據(jù)集是否能夠精準(zhǔn)無誤的反應(yīng)真是業(yè)務(wù)情況，準(zhǔn)確性是數(shù)據(jù)質(zhì)量的重要組成部分。

（6）可靠性。反應(yīng)數(shù)據(jù)集合是否值得信賴，包括數(shù)據(jù)采集、數(shù)據(jù)處理過程是否可靠等。

（7）相關(guān)性。是指數(shù)據(jù)集中包含的屬性是否能很好的描述業(yè)務(wù)目標(biāo)，是否能清晰的解答業(yè)務(wù)問題。第一節(jié)我們說到，我們對(duì)數(shù)據(jù)質(zhì)量的定義是看數(shù)據(jù)集是否能很好的滿足業(yè)務(wù)需求，相關(guān)性是數(shù)據(jù)質(zhì)量的核心維度。相關(guān)性的常用指標(biāo)主要就是數(shù)據(jù)字段相關(guān)度。

（8）時(shí)效性。時(shí)效性可以理解為時(shí)間維度的數(shù)據(jù)相關(guān)性，即業(yè)務(wù)需求的時(shí)間范圍和數(shù)據(jù)集表示的時(shí)間范圍之間的關(guān)聯(lián)程度。比如我們需要分析今年第一季度的工業(yè)發(fā)展概況，但是統(tǒng)計(jì)數(shù)據(jù)是去年第二季度的，這種情況就是極端的時(shí)效性差。

3.2 工業(yè)統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估一般方法

質(zhì)量評(píng)估方法，即采用何種方式對(duì)數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估，如何評(píng)定和刻畫質(zhì)量水平。數(shù)據(jù)質(zhì)量評(píng)價(jià)方法主要分為定性和定量方法。

（1）定性法。定性法一般包括：

第三方評(píng)測(cè)法：主要是指將統(tǒng)計(jì)數(shù)據(jù)集合交由第三方的評(píng)測(cè)機(jī)構(gòu)和組織，對(duì)數(shù)據(jù)的質(zhì)量進(jìn)行評(píng)估，第三方評(píng)測(cè)法的有點(diǎn)有三個(gè)，一是可以節(jié)省人力成本，第三方評(píng)估的技術(shù)正在朝著智能化方向發(fā)展，隨著云計(jì)算、大數(shù)據(jù)等新技術(shù)的更新，自動(dòng)化評(píng)估體系正在逐步完善，這能節(jié)省大量的人力成本；二十可以讓第三方數(shù)據(jù)評(píng)估機(jī)構(gòu)分擔(dān)相關(guān)的數(shù)據(jù)質(zhì)量風(fēng)險(xiǎn)；三是可以得到專業(yè)評(píng)估機(jī)構(gòu)出具的第三方數(shù)據(jù)質(zhì)量評(píng)估報(bào)告和證明，使得數(shù)據(jù)質(zhì)量更具有權(quán)威性[4]。

用戶反饋法：用戶反饋法在工業(yè)統(tǒng)計(jì)數(shù)據(jù)中用處不大，主要是針對(duì)一些第三產(chǎn)業(yè)和服務(wù)業(yè)等企業(yè)進(jìn)行產(chǎn)品升級(jí)以及服務(wù)改造等作為參考的。

專家評(píng)議法：專家評(píng)議法相對(duì)于以上兩種更加具有權(quán)威性，專業(yè)人士對(duì)于數(shù)據(jù)質(zhì)量的評(píng)議和評(píng)估使得數(shù)據(jù)的可參考性會(huì)大大提升，數(shù)據(jù)的質(zhì)量也會(huì)提高。

（2）定量法.定量評(píng)價(jià)方法是指按照數(shù)量分析方法，從客觀量化角度對(duì)數(shù)據(jù)資源進(jìn)行的優(yōu)選與評(píng)價(jià)。

定量法一般包括：

統(tǒng)計(jì)分析法：統(tǒng)計(jì)分析法指通過對(duì)數(shù)據(jù)的規(guī)模，獲取途徑等客觀關(guān)系的分析研究，最終篩選出合適的數(shù)據(jù)集合并且將質(zhì)量較差的數(shù)據(jù)剔除，借以達(dá)到對(duì)數(shù)據(jù)質(zhì)量的有效評(píng)估，為后續(xù)數(shù)據(jù)分析工作提供高質(zhì)量數(shù)據(jù)的一種評(píng)估方法

內(nèi)容評(píng)估法：內(nèi)容評(píng)估法主要就是對(duì)數(shù)據(jù)的內(nèi)容質(zhì)量進(jìn)行評(píng)估，將于企業(yè)發(fā)展無關(guān)但是卻正確的數(shù)據(jù)篩選出來，留下真正意義上有參考價(jià)值的數(shù)據(jù)。

（3）綜合評(píng)價(jià)法。綜合方法將定性和定量?jī)煞N方法有機(jī)地集合起來，從兩個(gè)角度對(duì)數(shù)據(jù)資源質(zhì)量進(jìn)行評(píng)價(jià)。常見的綜合評(píng)價(jià)法包括：層次分析法、缺陷數(shù)據(jù)扣分法等。

4 工業(yè)統(tǒng)計(jì)數(shù)據(jù)質(zhì)量評(píng)估的一般流程

4.1 需求分析

對(duì)具體業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)質(zhì)量評(píng)估是以業(yè)務(wù)需求為中心進(jìn)行的。數(shù)據(jù)資源不同于實(shí)體產(chǎn)品，具有用途個(gè)性化、多樣化、不穩(wěn)定等特點(diǎn)。因此，必須首先了解具體業(yè)務(wù)針對(duì)特定數(shù)據(jù)資源的需求特征才能建立針對(duì)性的評(píng)估指標(biāo)體系。

4.2 確定評(píng)價(jià)對(duì)象及范圍

確定當(dāng)前評(píng)估工作應(yīng)用的數(shù)據(jù)集的范圍和邊界，明確數(shù)據(jù)集在屬性、數(shù)量、時(shí)間等維度的具體界限。需要說明的是，評(píng)估對(duì)象既可以是數(shù)據(jù)項(xiàng)也可以是數(shù)據(jù)集，但一定是一個(gè)確定的靜態(tài)的集合。

4.3 選取質(zhì)量維度及評(píng)估指標(biāo)

數(shù)據(jù)質(zhì)量維度是進(jìn)行質(zhì)量評(píng)估的具體質(zhì)量反映，如正確性、準(zhǔn)確性等。它是控制和評(píng)估數(shù)據(jù)質(zhì)量的主要內(nèi)容。因此，首先要依據(jù)具體業(yè)務(wù)需求選擇適當(dāng)?shù)臄?shù)據(jù)質(zhì)量維度和評(píng)估指標(biāo)。另外，要選取可測(cè)、可用的質(zhì)量維度作為評(píng)估指標(biāo)準(zhǔn)則項(xiàng)，在不同的數(shù)據(jù)類型和不同的數(shù)據(jù)生產(chǎn)階段，同一質(zhì)量維度有不同的具體含義和內(nèi)容，應(yīng)該根據(jù)實(shí)際需要和生命階段確定質(zhì)量維度。

4.4 確定質(zhì)量測(cè)度及其評(píng)價(jià)方法

數(shù)據(jù)質(zhì)量評(píng)估在確定其具體維度和指標(biāo)對(duì)象后，應(yīng)該根據(jù)每個(gè)評(píng)估對(duì)象的特點(diǎn)，確定其評(píng)估方法。對(duì)于不同的評(píng)價(jià)對(duì)象一般是存在不同的測(cè)度的，以及需要不同的實(shí)現(xiàn)方法支持，所以應(yīng)該根據(jù)質(zhì)量對(duì)象的特點(diǎn)確定其測(cè)度和實(shí)現(xiàn)方法。

4.5 質(zhì)量評(píng)估

就是根據(jù)前面四步確定的質(zhì)量對(duì)象、質(zhì)量范圍、測(cè)量及其實(shí)現(xiàn)方法實(shí)現(xiàn)質(zhì)量評(píng)測(cè)的活動(dòng)過程。評(píng)估數(shù)據(jù)的質(zhì)量應(yīng)當(dāng)由多個(gè)質(zhì)量維度的評(píng)測(cè)來反映，單個(gè)數(shù)據(jù)質(zhì)量測(cè)量是不能充分、客觀評(píng)價(jià)由某一數(shù)據(jù)質(zhì)量范圍所限定的信息的質(zhì)量狀況，也不能為數(shù)據(jù)集的所有可能的應(yīng)用提供全面的參考，多個(gè)質(zhì)量維度的組合能提供更加豐富的信息。

4.6 結(jié)果分析并報(bào)告

評(píng)估后要對(duì)結(jié)果進(jìn)行分析：對(duì)評(píng)估的數(shù)據(jù)與結(jié)果進(jìn)行對(duì)比分析，確定是否達(dá)到指標(biāo)；對(duì)評(píng)估的方案的有效性進(jìn)行分析，確認(rèn)是不是合適等[5]。最后應(yīng)將質(zhì)量評(píng)價(jià)結(jié)果和數(shù)據(jù)質(zhì)量評(píng)價(jià)過程匯總并報(bào)告。在完整的數(shù)據(jù)質(zhì)量評(píng)價(jià)結(jié)果和報(bào)告中，應(yīng)該包括全部上述內(nèi)容。

5 結(jié)語(yǔ)

現(xiàn)如今，工業(yè)統(tǒng)計(jì)數(shù)據(jù)在數(shù)據(jù)處理的過程中已經(jīng)稱為不可或缺的一個(gè)重要環(huán)節(jié)，評(píng)估工業(yè)統(tǒng)計(jì)數(shù)據(jù)質(zhì)量的方法有很多種，具體要應(yīng)用哪一種質(zhì)量評(píng)估方法一方面取決于數(shù)據(jù)的多少，數(shù)據(jù)的類型以及數(shù)據(jù)的用處，另一方面取決于工業(yè)發(fā)展的階段和企業(yè)的類型。有效的數(shù)據(jù)質(zhì)量評(píng)估可以幫助企業(yè)篩選出有用的數(shù)據(jù)，剔除質(zhì)量低下的，相關(guān)性不大的數(shù)據(jù)，并且?guī)椭嚓P(guān)部門確定質(zhì)量高的數(shù)據(jù)，可以極大的減輕數(shù)據(jù)分析工作的負(fù)擔(dān)，提高數(shù)據(jù)分析的效率，節(jié)省大量的人力，物力和財(cái)力。