許永平

（湖南交通工程學(xué)院 湖南省衡陽市 421001）

最近幾十年來，隨著信息化技術(shù)的普及，從總部到軍區(qū)、軍兵種乃至各基層部隊(duì)都先后建立了適合自身業(yè)務(wù)特點(diǎn)和需要的信息系統(tǒng)，用于支撐各單位的主要業(yè)務(wù)，為我軍的信息化建設(shè)夯實(shí)了基礎(chǔ)。伴隨著各類信息系統(tǒng)應(yīng)用的深入發(fā)展，各單位也推動(dòng)了適應(yīng)各自信息系統(tǒng)需要的數(shù)據(jù)資源的建設(shè)。在這種情況下，數(shù)據(jù)資源的建設(shè)是零散的，不成體系的。但是，隨著信息化建設(shè)的不斷推進(jìn)，人們?cè)絹碓秸J(rèn)識(shí)到數(shù)據(jù)資源的開發(fā)和利用已經(jīng)成為推動(dòng)社會(huì)發(fā)展和進(jìn)步的重要力量。數(shù)據(jù)資源的建設(shè)不應(yīng)成為信息系統(tǒng)建設(shè)的從屬，而應(yīng)該獨(dú)立于個(gè)別信息系統(tǒng)的建設(shè)從而進(jìn)行整體的考慮。

當(dāng)前，數(shù)據(jù)總量呈指數(shù)式增長(zhǎng)，造成數(shù)據(jù)管理愈發(fā)困難，而對(duì)于數(shù)據(jù)集成與共享的迫切需求不斷增強(qiáng)。而人們?cè)谛枰獞?yīng)用數(shù)據(jù)解決具體問題時(shí)，卻缺少有效的數(shù)據(jù)支撐，需要花費(fèi)大量的人力和財(cái)力，采取各種手段去獲取、轉(zhuǎn)換和整合數(shù)據(jù)。因此數(shù)據(jù)資源建設(shè)已經(jīng)成為制約信息系統(tǒng)效能發(fā)揮的瓶頸[1]。在這種背景下，加快形成以信息系統(tǒng)為核心的體系能力，近年來我軍啟動(dòng)了一系列數(shù)據(jù)工程建設(shè)項(xiàng)目[2-5]，開始關(guān)注規(guī)范和支撐數(shù)據(jù)從產(chǎn)生、維護(hù)、服務(wù)、使用、存儲(chǔ)全過程的技術(shù)、建設(shè)和管理活動(dòng)，面向體系能力，建立數(shù)據(jù)標(biāo)準(zhǔn)，共享數(shù)據(jù)資源，重視建章立制，強(qiáng)化安全保密，不斷地深化數(shù)據(jù)建設(shè)，進(jìn)一步發(fā)展了具有我軍特色的數(shù)據(jù)工程基本理念。在軍事數(shù)據(jù)工程建設(shè)中，有一項(xiàng)重要的工作就是對(duì)所建設(shè)的數(shù)據(jù)資源的質(zhì)量進(jìn)行評(píng)估。優(yōu)質(zhì)的數(shù)據(jù)資源是保證其上層應(yīng)用發(fā)揮效能的基礎(chǔ)。但是在軍事數(shù)據(jù)工程建設(shè)中，往往存在著建設(shè)單位多、層級(jí)多、數(shù)據(jù)種類多、數(shù)據(jù)量大、數(shù)據(jù)質(zhì)量參差不齊等特點(diǎn)，這就為其數(shù)據(jù)質(zhì)量的評(píng)估工作提出了挑戰(zhàn)。

1 軍事數(shù)據(jù)工程中數(shù)據(jù)質(zhì)量評(píng)估特點(diǎn)分析

具體來說，軍事數(shù)據(jù)工程中數(shù)據(jù)質(zhì)量的評(píng)估面臨著以下一些困難，傳統(tǒng)的評(píng)估方法無法適應(yīng)這種評(píng)估對(duì)象差異巨大的情況，這就對(duì)軍事數(shù)據(jù)工程中的數(shù)據(jù)質(zhì)量評(píng)估提出了嚴(yán)峻的挑戰(zhàn)。

（1）如上所述在軍事數(shù)據(jù)工程建設(shè)中，往往存在著建設(shè)單位多、層級(jí)多、數(shù)據(jù)種類多的特點(diǎn)，這就表示很難建立一個(gè)統(tǒng)一的數(shù)據(jù)質(zhì)量評(píng)估模型，并依據(jù)該模型對(duì)各單位的數(shù)據(jù)資源建設(shè)質(zhì)量進(jìn)行評(píng)價(jià)；然而從數(shù)據(jù)工程組織實(shí)施的角度出發(fā)，又需要對(duì)數(shù)據(jù)質(zhì)量進(jìn)行有效的管控，因此數(shù)據(jù)質(zhì)量評(píng)估又成為不可或缺的環(huán)節(jié)，且必須遵循一定的規(guī)范和標(biāo)準(zhǔn)。

（2）數(shù)據(jù)工程涉及的數(shù)據(jù)具有種類多且專業(yè)性很強(qiáng)的特點(diǎn)，這些數(shù)據(jù)所遵循的規(guī)律和所應(yīng)滿足的約束條件，一般來說只能被相關(guān)的專業(yè)技術(shù)人員所理解，因此在評(píng)估這些數(shù)據(jù)的質(zhì)量時(shí)，必須有相關(guān)專業(yè)技術(shù)人員的參與才能保證評(píng)估的可信度和有效性。

（3）數(shù)據(jù)工程所建設(shè)或者搜集的數(shù)據(jù)量將是海量的。在軍事數(shù)據(jù)工程建設(shè)中，由于一個(gè)數(shù)據(jù)集往往能匯集廣大區(qū)域范圍內(nèi)長(zhǎng)時(shí)間跨度范圍內(nèi)的大量數(shù)據(jù)。這一特點(diǎn)使得由人工來對(duì)數(shù)據(jù)進(jìn)行檢查和評(píng)估的做法變得基本不可行，必須要通過一種量化的以及自動(dòng)化的機(jī)制來減輕評(píng)估人員的負(fù)擔(dān)，使其將主要精力放在發(fā)現(xiàn)質(zhì)量問題、分析產(chǎn)生原因、給出解決方案等更適合發(fā)揮人類的主觀能動(dòng)性的工作上來。

2 數(shù)據(jù)質(zhì)量評(píng)估元模型

2.1 基本概念

數(shù)據(jù)質(zhì)量評(píng)估的主旨是根據(jù)不同應(yīng)用場(chǎng)景對(duì)數(shù)據(jù)質(zhì)量的要求，將其轉(zhuǎn)化為一系列具有可測(cè)性的測(cè)度集，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行定性或者定量的測(cè)量，將測(cè)量結(jié)果與期望值（標(biāo)準(zhǔn)值）進(jìn)行比較，從而確認(rèn)數(shù)據(jù)質(zhì)量狀態(tài)，檢查和驗(yàn)證數(shù)據(jù)質(zhì)量控制活動(dòng)[6]。

數(shù)據(jù)質(zhì)量評(píng)估元模型是對(duì)數(shù)據(jù)工程中數(shù)據(jù)質(zhì)量評(píng)估工作的抽象，建立數(shù)據(jù)質(zhì)量評(píng)估元模型的目的是為數(shù)據(jù)工程數(shù)據(jù)質(zhì)量評(píng)估體系的定義提供一個(gè)完整的框架。在元模型的語義下，數(shù)據(jù)質(zhì)量評(píng)估模型是通過數(shù)據(jù)質(zhì)量元數(shù)據(jù)進(jìn)行描述的，數(shù)據(jù)質(zhì)量評(píng)估元數(shù)據(jù)是對(duì)數(shù)據(jù)質(zhì)量評(píng)估元模型結(jié)構(gòu)的描述，具體的數(shù)據(jù)質(zhì)量評(píng)估模型是對(duì)數(shù)據(jù)質(zhì)量評(píng)估元模型的實(shí)現(xiàn)。也就是說，數(shù)據(jù)質(zhì)量評(píng)估元模型的實(shí)例是各建設(shè)單位根據(jù)自身數(shù)據(jù)特點(diǎn)和需要建立的一組數(shù)據(jù)質(zhì)量評(píng)估模型。

一個(gè)數(shù)據(jù)工程建設(shè)單位的數(shù)據(jù)質(zhì)量評(píng)估體系由若干個(gè)數(shù)據(jù)質(zhì)量評(píng)估模型組成。每一個(gè)數(shù)據(jù)質(zhì)量評(píng)估模型是針對(duì)建設(shè)單位的某一個(gè)業(yè)務(wù)主題定義的質(zhì)量評(píng)估描述，它能夠滿足建設(shè)單位對(duì)某單一類型業(yè)務(wù)對(duì)于數(shù)據(jù)質(zhì)量評(píng)估的需要。各種不同主題的數(shù)據(jù)都應(yīng)該有不同的質(zhì)量評(píng)估模型，各種不同類型的數(shù)據(jù)（如文本數(shù)據(jù)、音頻數(shù)據(jù)、視頻數(shù)據(jù)等）也應(yīng)該有不同的質(zhì)量評(píng)估模型。

2.2 組成要素

數(shù)據(jù)質(zhì)量評(píng)估元模型可以表示為一個(gè)九元組：

M=＜ D,S,I,R,W,A,E,V ,T＞

（1）其中，D 表示被檢查的數(shù)據(jù)集。這里的數(shù)據(jù)可以是關(guān)系型得結(jié)構(gòu)化數(shù)據(jù)，也可以是半結(jié)構(gòu)或者非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)集的粒度根據(jù)應(yīng)用的需要以及各專業(yè)數(shù)據(jù)類型的不同而具體確定。但是對(duì)于每一種具體數(shù)據(jù)而言，每次被查的數(shù)據(jù)集的粒度應(yīng)該是保持一致的。對(duì)于關(guān)系型數(shù)據(jù)庫(kù)來說，一個(gè)數(shù)據(jù)集通常相當(dāng)于一個(gè)表或者一個(gè)視圖。

（2）S 表示數(shù)據(jù)抽樣方法，指的是根據(jù)指定的采樣方法從數(shù)據(jù)集中獲取樣本數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量評(píng)估。根據(jù)數(shù)據(jù)集的大小以及具體需要可以采用不同的抽樣方法，如全部抽樣、部分抽樣、增量抽樣等。

（3）I 表示數(shù)據(jù)質(zhì)量指標(biāo)。Pipino 等人指出應(yīng)該從數(shù)據(jù)使用者的角度定義數(shù)據(jù)質(zhì)量[7]。研究表明，對(duì)于數(shù)據(jù)使用者而言，數(shù)據(jù)質(zhì)量是一個(gè)多指標(biāo)或者多維度的概念。數(shù)據(jù)質(zhì)量評(píng)估至少應(yīng)該包含可信性與可用性兩方面的基本評(píng)估指標(biāo)，具體的指標(biāo)如：精確性、完整性、一致性、有效性、唯一性、時(shí)間性和穩(wěn)定性等[8]。在進(jìn)行數(shù)據(jù)質(zhì)量評(píng)估時(shí) ,需要根據(jù)具體的數(shù)據(jù)質(zhì)量需求對(duì)數(shù)據(jù)質(zhì)量評(píng)估指標(biāo)進(jìn)行增添或相應(yīng)的取舍。評(píng)估指標(biāo)往往還需要不斷分解為若干層次的次級(jí)指標(biāo)。

（4）R 表示業(yè)務(wù)規(guī)則或者約束條件。在實(shí)際工作中，抽象的數(shù)據(jù)質(zhì)量指標(biāo)是難以直接、準(zhǔn)確、全面測(cè)量的。在數(shù)據(jù)質(zhì)量評(píng)估中，必須將其轉(zhuǎn)換為若干數(shù)據(jù)質(zhì)量測(cè)量元。所謂數(shù)據(jù)質(zhì)量測(cè)量元是指能夠反映數(shù)據(jù)質(zhì)量規(guī)格且具有可測(cè)性的單元。由一組特征性數(shù)據(jù)測(cè)量元所組成的測(cè)度集即可反映數(shù)據(jù)質(zhì)量某一方面的狀況，通過不同測(cè)度集的測(cè)定，則可匯集出數(shù)據(jù)質(zhì)量整體狀況以及歸一化的測(cè)度值。在實(shí)際工作中，往往將數(shù)據(jù)實(shí)例層或模式層的業(yè)務(wù)規(guī)則或者是約束條件作為數(shù)據(jù)質(zhì)量的測(cè)量元。

（5）W 表示賦予數(shù)據(jù)質(zhì)量指標(biāo)以及業(yè)務(wù)規(guī)則（約束條件）的權(quán)重值。根據(jù)采用的權(quán)重模型的不同，所賦予的權(quán)重值可能是概率值、模糊值或者模糊測(cè)度值等。不同的權(quán)重模型表示對(duì)于數(shù)據(jù)質(zhì)量指標(biāo)之間的關(guān)系的認(rèn)識(shí)不同。采用常用的概率測(cè)度表示我們假設(shè)各個(gè)數(shù)據(jù)質(zhì)量指標(biāo)之間是獨(dú)立的，不存在相互影響的關(guān)系。而采用模糊測(cè)度[9]則表示各個(gè)數(shù)據(jù)質(zhì)量指標(biāo)之間可能存在相互影響關(guān)系。

（6）A 表示所采用的評(píng)估值聚合模型，指的是將數(shù)據(jù)質(zhì)量指標(biāo)值聚合為最終的數(shù)據(jù)質(zhì)量評(píng)估值的模型，以及將基于業(yè)務(wù)規(guī)則（約束條件）的檢查結(jié)果聚合為底層指標(biāo)的聚合模型。如加權(quán)和模型、加權(quán)積模型、模糊積分模型等。具體采用的聚合模型與上述權(quán)重模型是是有關(guān)聯(lián)的，比如采用模糊測(cè)度來表示指標(biāo)之間的關(guān)系，那么就只能采用模糊積分來計(jì)算最終的評(píng)估值，而不可能采用加權(quán)和或者加權(quán)積等模型。

（7）E 表示期望值，指的是數(shù)據(jù)工程建設(shè)單位對(duì)于業(yè)務(wù)規(guī)則[10]（約束條件）滿足情況的期望值。該期望值的制定應(yīng)該考慮數(shù)據(jù)集具體面向的應(yīng)用，應(yīng)用不同對(duì)數(shù)據(jù)質(zhì)量的要求也是不一樣的。從數(shù)據(jù)應(yīng)該符合的業(yè)務(wù)規(guī)則（約束條件）出發(fā)，制定針對(duì)每一條業(yè)務(wù)規(guī)則（約束條件）的期望值，然后根據(jù)采用的權(quán)重模型和聚合模型，就能夠得到每一個(gè)指標(biāo)和最終評(píng)估的期望值。

（8）V 表示每一次數(shù)據(jù)質(zhì)量評(píng)估活動(dòng)中得到的數(shù)據(jù)集數(shù)據(jù)質(zhì)量的最終評(píng)估值。通過將V 與E 進(jìn)行比較，能夠明確得出當(dāng)前數(shù)據(jù)質(zhì)量是否符合要求的結(jié)論，也是對(duì)前期數(shù)據(jù)質(zhì)量控制活動(dòng)的驗(yàn)證。

（9）T 表示時(shí)間維度，指的是數(shù)據(jù)質(zhì)量評(píng)估不是一個(gè)一次性的活動(dòng)。針對(duì)具體數(shù)據(jù)集的特點(diǎn)，考慮其變化情況，必須制定數(shù)據(jù)質(zhì)量評(píng)估活動(dòng)的策略，如定期評(píng)估、增量評(píng)估、按需評(píng)估等。根據(jù)不同時(shí)間點(diǎn)上數(shù)據(jù)質(zhì)量評(píng)估值的變化，啟動(dòng)不同的響應(yīng)活動(dòng)。

3 數(shù)據(jù)質(zhì)量評(píng)估元模型的應(yīng)用流程

在軍事數(shù)據(jù)工程建設(shè)中，數(shù)據(jù)質(zhì)量評(píng)估元模型表達(dá)了數(shù)據(jù)質(zhì)量評(píng)估的整體框架和思路。每一個(gè)數(shù)據(jù)質(zhì)量評(píng)估模型是針對(duì)建設(shè)單位的某一個(gè)業(yè)務(wù)主題定義的質(zhì)量評(píng)估描述，它能夠滿足建設(shè)單位對(duì)某單一類型業(yè)務(wù)對(duì)于數(shù)據(jù)質(zhì)量評(píng)估的需要。而若干個(gè)數(shù)據(jù)質(zhì)量評(píng)估模型則可以構(gòu)成該建設(shè)單位的數(shù)據(jù)質(zhì)量評(píng)估體系。根據(jù)數(shù)據(jù)質(zhì)量評(píng)估元模型的定義及其組成元素之間的內(nèi)在關(guān)系，軍事數(shù)據(jù)工程的各建設(shè)單位在定義本單位、本領(lǐng)域或者本專業(yè)的數(shù)據(jù)質(zhì)量評(píng)估模型并在實(shí)際的評(píng)估工作中加以應(yīng)用時(shí)，可以按照以下步驟進(jìn)行：

（1）針對(duì)本單位、本領(lǐng)域或者本專業(yè)的數(shù)據(jù)進(jìn)行分析，將其劃分為不同的業(yè)務(wù)主題。針對(duì)不同的業(yè)務(wù)主題將分別建立其質(zhì)量評(píng)估模型。

（2）針對(duì)某一主題下的數(shù)據(jù)集或者一類數(shù)據(jù)集，明確其抽樣方法S，可以根據(jù)不同情況采用不同的抽樣方法，如全部抽樣、部分抽樣、增量抽樣等。在軍事數(shù)據(jù)工程建設(shè)中，由于一個(gè)數(shù)據(jù)集往往能匯集廣大區(qū)域范圍內(nèi)長(zhǎng)時(shí)間跨度范圍內(nèi)的大量數(shù)據(jù)。因此，根據(jù)情況采用不同的抽樣方法以滿足具體的評(píng)估要求是很有必要的。

（3）根據(jù)某一主題下的數(shù)據(jù)集可能的應(yīng)用場(chǎng)景，開發(fā)數(shù)據(jù)集的質(zhì)量指標(biāo)體系，在選定頂層質(zhì)量維度后根據(jù)需要逐層詳細(xì)分解，得到最終的數(shù)據(jù)質(zhì)量評(píng)估指標(biāo)體系I 并確定其權(quán)重模型W。

（4）根據(jù)某一主題下的數(shù)據(jù)集的內(nèi)在特征，組織業(yè)務(wù)人員分析其應(yīng)滿足的業(yè)務(wù)規(guī)則或約束條件R 并給出具體的定義，將數(shù)據(jù)質(zhì)量指標(biāo)體系中的指標(biāo)轉(zhuǎn)化為具體可測(cè)的業(yè)務(wù)規(guī)則，明確其測(cè)量方法，并確定這些規(guī)則的權(quán)重W 以及期望值E。

（5）根據(jù)質(zhì)量指標(biāo)間的相互關(guān)系、業(yè)務(wù)規(guī)則之間的相互關(guān)系以及所采用的權(quán)重模型，選取合適的評(píng)估值聚合方法A，能夠?qū)⑨槍?duì)業(yè)務(wù)規(guī)則R 的測(cè)量值聚合為最終的評(píng)估值V。

（6）針對(duì)以上元素，組織相關(guān)專家進(jìn)行評(píng)審，并根據(jù)專家評(píng)審意見進(jìn)行修改完善。

（7）針對(duì)數(shù)據(jù)種類繁多、數(shù)據(jù)體量巨大、數(shù)據(jù)規(guī)則復(fù)雜的特點(diǎn)，需要開發(fā)專用的數(shù)據(jù)質(zhì)量評(píng)估工具，實(shí)現(xiàn)自動(dòng)化的評(píng)估并能夠生成評(píng)估報(bào)告；對(duì)于一些特殊情況，也可以發(fā)揮專家的經(jīng)驗(yàn)和智慧，采用人工評(píng)估的方式，或者是采用人工與自動(dòng)相結(jié)合、定性與定量相結(jié)合的評(píng)估方式。

（8）根據(jù)不同的評(píng)估策略，如定期評(píng)估、增量評(píng)估、按需評(píng)估等，使用數(shù)據(jù)質(zhì)量評(píng)估工具進(jìn)行評(píng)估，并將評(píng)估值V 與期望值E進(jìn)行比較，對(duì)當(dāng)前數(shù)據(jù)質(zhì)量存在的問題進(jìn)行分析。對(duì)于不同業(yè)務(wù)主題下的數(shù)據(jù)質(zhì)量也能夠根據(jù)其期望值和評(píng)估值進(jìn)行橫向比較。

（9）通過長(zhǎng)期的評(píng)估數(shù)據(jù)的積累，可以對(duì)評(píng)估結(jié)果包括最終結(jié)果以及中間結(jié)果等進(jìn)行時(shí)間序列分析，建立該數(shù)據(jù)集的數(shù)據(jù)質(zhì)量檔案，并對(duì)其今后的數(shù)據(jù)質(zhì)量做出科學(xué)合理的預(yù)測(cè)。

（10）在依據(jù)已建立的數(shù)據(jù)質(zhì)量評(píng)估模型進(jìn)行評(píng)估的過程中，也要注意對(duì)采樣方法、質(zhì)量指標(biāo)、業(yè)務(wù)規(guī)則、權(quán)重模型、聚合模型等要素的合理性進(jìn)行不斷的檢查，并根據(jù)情況變化進(jìn)行及時(shí)調(diào)整，保證數(shù)據(jù)質(zhì)量評(píng)估模型能夠正確反映被評(píng)估對(duì)象的本質(zhì)特征。

4 結(jié)束語

本文從軍事數(shù)據(jù)工程中數(shù)據(jù)集質(zhì)量評(píng)估的實(shí)際需求出發(fā)，分析了數(shù)據(jù)工程中數(shù)據(jù)質(zhì)量評(píng)估的特點(diǎn)和面臨的挑戰(zhàn)，通過對(duì)數(shù)據(jù)工程中數(shù)據(jù)質(zhì)量評(píng)估工作的抽象，提出了數(shù)據(jù)質(zhì)量評(píng)估元模型的概念，給出了該元模型的定義及其組成要素之間的邏輯關(guān)系，并針對(duì)其在軍事數(shù)據(jù)工程中數(shù)據(jù)質(zhì)量評(píng)估工作中的應(yīng)用給出了具體的意見和建議。它不僅適用于結(jié)構(gòu)化數(shù)據(jù)的評(píng)估，也適用于半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的評(píng)估，能夠有效適應(yīng)數(shù)據(jù)工程中各種不同的評(píng)估場(chǎng)景，輔助建設(shè)單位建成既符合數(shù)據(jù)工程總體要求同時(shí)又體現(xiàn)自身數(shù)據(jù)特點(diǎn)的具體評(píng)估模型，為各建設(shè)單位數(shù)據(jù)質(zhì)量控制工作提供有力支撐。