文/宮劍 高亮

上海財經(jīng)大學：提升數(shù)據(jù)質量之道

文/宮劍 高亮

數(shù)據(jù)信息是高等學校的重要資產(chǎn)，對數(shù)據(jù)的有效管理是數(shù)字化校園建設的重要內容之一。本文以高校信息化建設為背景，對高校信息系統(tǒng)數(shù)據(jù)質量現(xiàn)狀及數(shù)據(jù)質量中的問題進行了分析，闡述了數(shù)據(jù)質量管理整體框架和內涵。

隨著應用的逐步深入，學校的信息系統(tǒng)也逐漸暴露出一些問題。由于學校各類業(yè)務系統(tǒng)往往是在不同時期規(guī)劃和建設的,系統(tǒng)之間的信息難以共享。一方面，各個系統(tǒng)的數(shù)據(jù)定義存在不一致；另一方面，同一數(shù)據(jù)也具有多個來源。為了有效進行數(shù)據(jù)共享，將分散在各個系統(tǒng)中的資源整合起來,實現(xiàn)數(shù)據(jù)信息的綜合分析,從而為各級領導決策提供有效的數(shù)據(jù)支持, 很多學校都開發(fā)了數(shù)據(jù)接口和數(shù)據(jù)交換平臺，并在此基礎上開發(fā)了決策支持、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘等多種應用。然而由于業(yè)務人員在業(yè)務操作過程中缺乏一定的規(guī)范性，經(jīng)常出現(xiàn)數(shù)據(jù)維護不及時、不完整、不一致的現(xiàn)象，同時在數(shù)據(jù)交換過程中也經(jīng)常出現(xiàn)錯誤，使得數(shù)據(jù)的使用價值大打折扣。

高校數(shù)據(jù)質量現(xiàn)狀及其原因分析

數(shù)據(jù)質量定義

“數(shù)據(jù)質量”目前沒有十分準確的定義，較為被認可的概念是 Wang等人提出的“Fit for Use”，這可以理解為數(shù)據(jù)資源滿足用戶具體應用的程度。

信息系統(tǒng)的數(shù)據(jù)質量需要從多個角度綜合評估，只有滿足各個評估維度才能說明數(shù)據(jù)是高質量的。下面是一些常用的評估維度：

完整性：Completeness，用于度量哪些數(shù)據(jù)丟失了或者哪些數(shù)據(jù)不可用。

規(guī)范性：Conformity，用于度量哪些數(shù)據(jù)未按統(tǒng)一格式存儲。

一致性：Consistency，用于度量哪些數(shù)據(jù)的值在信息含義上是沖突的。

準確性：Accuracy，用于度量哪些數(shù)據(jù)和信息是不正確的，或者數(shù)據(jù)是超期的。

唯一性：Uniqueness，用于度量哪些數(shù)據(jù)是重復數(shù)據(jù)或者數(shù)據(jù)的哪些屬性是重復的。

關聯(lián)性：Integration，用于度量哪些關聯(lián)的數(shù)據(jù)缺失或者未建立索引。

高校數(shù)據(jù)質量現(xiàn)狀及原因分析

在高校信息化建設的多年經(jīng)歷以及同其他高校的交流中發(fā)現(xiàn)高校數(shù)據(jù)質量管理普遍存在以下一些相似的情況：一方面，各類應用系統(tǒng)數(shù)量多，系統(tǒng)間邊界不清晰。學校的管理業(yè)務種類繁多，大多學校一般都是因某一管理部門的工作需要而建設系統(tǒng)，隨即產(chǎn)生了不同業(yè)務領域的數(shù)據(jù)，如教師、學生、科研、教學、資產(chǎn)、財務等不同領域全生命周期的數(shù)據(jù)，導致各業(yè)務之間條塊分割嚴重, 普遍存在數(shù)據(jù)源頭多、不一致、異構、缺失、不完整、不準確、重復等問題。另一方面，業(yè)務操作人員普遍存在對數(shù)據(jù)質量缺乏足夠重視的情況。高校信息化建設中常常是重點關注信息系統(tǒng)所包含的業(yè)務功能，而對系統(tǒng)的具體應用則重視不夠，經(jīng)常出現(xiàn)操作不及時、數(shù)據(jù)錄入錯誤等忽視數(shù)據(jù)質量的現(xiàn)象，也沒有采取有效的技術手段和管理措施應對。

數(shù)據(jù)質量問題的原因分析

影響信息系統(tǒng)數(shù)據(jù)質量的原因有多種,既有技術方面的因素,又有管理方面的因素，最終結果體現(xiàn)在數(shù)據(jù)沒有滿足一個或多個數(shù)據(jù)質量評估維度，沒有達到用戶預期的使用需求 。在數(shù)據(jù)產(chǎn)生和使用的整個生命周期中, 任何一個環(huán)節(jié)出現(xiàn)問題都會對數(shù)據(jù)質量產(chǎn)生負面影響。一般說來, 影響高校信息系統(tǒng)數(shù)據(jù)質量的因素主要有以下幾種:

1.未制定統(tǒng)一數(shù)據(jù)標準。數(shù)據(jù)是一切信息系統(tǒng)的基礎，高校在信息化建設中往往比較重視系統(tǒng)功能而忽視了數(shù)據(jù)的重要性，沒有對數(shù)據(jù)標準進行整體規(guī)劃。同時，教育行業(yè)標準的制定也相對滯后，2012年才由教育部發(fā)布了教育信息化的行業(yè)標準，而在此之前標準本身存在著內容不完整、數(shù)據(jù)冗余、概念和文字錯誤等問題，使得長期以來各高校缺乏可借鑒的、指導性的參考，最終導致很多系統(tǒng)間數(shù)據(jù)性質相同，但依據(jù)標準不一致。

2.信息化建設缺乏全校范圍的宏觀整體規(guī)劃，即從全局角度分析各個業(yè)務之間的業(yè)務、數(shù)據(jù)依賴關系。很多高校在信息化建設初期沒有對數(shù)據(jù)進行整體規(guī)劃，業(yè)務系統(tǒng)建設各自為陣，最終形成了多個數(shù)據(jù)孤島，導致數(shù)據(jù)不一致、無法共享等多種問題。由各個業(yè)務部門主導業(yè)務系統(tǒng)建設的方式，雖然短時間內可以實現(xiàn)部門內業(yè)務的系統(tǒng)化，但因各業(yè)務部門的視角局限性，難以從宏觀角度審視學校全局層面的相關業(yè)務需求，造成了很多數(shù)據(jù)的源頭不統(tǒng)一，數(shù)據(jù)冗余的現(xiàn)象。

3.國內教育行業(yè)軟件成熟度不高，系統(tǒng)技術架構不一致。國內教育行業(yè)軟件公司成熟度不高，對高校業(yè)務了解不深入，往往只能提供支持某一業(yè)務管理的軟件，對系統(tǒng)的可擴展、可配置考慮不足，系統(tǒng)與系統(tǒng)間接口的開發(fā)難度較大。在系統(tǒng)實施過程中，都要根據(jù)高校具體的業(yè)務要求進行定制化開發(fā)，缺乏規(guī)范性。同時，各業(yè)務系統(tǒng)采用的技術架構以及業(yè)務數(shù)據(jù)的規(guī)范都不盡相同，造成數(shù)據(jù)庫字段命名、數(shù)據(jù)顆粒以及數(shù)據(jù)表達方式的多樣性，最終形成的數(shù)據(jù)邏輯表達與數(shù)據(jù)物理存放之間存在較大的差異。

4.只重視系統(tǒng)建設，對應用效果缺乏持續(xù)的跟蹤和改進。在系統(tǒng)建設特別是需求分析階段，只強調了系統(tǒng)功能，缺乏對數(shù)據(jù)質量的重視，沒有強調數(shù)據(jù)的完整性、一致性和時效性。在軟件設計時，沒有系統(tǒng)地考慮后期的數(shù)據(jù)維護與數(shù)據(jù)更新的功能，同時在數(shù)據(jù)錄入與各系統(tǒng)間數(shù)據(jù)交互的環(huán)節(jié)中對數(shù)據(jù)質量的驗證也缺乏考慮，經(jīng)常出現(xiàn)數(shù)據(jù)維護不及時、不準確、不完整的現(xiàn)象，在要使用數(shù)據(jù)的時候才發(fā)現(xiàn)某類數(shù)據(jù)維護的問題。此類問題常出現(xiàn)在對本業(yè)務不重要但對其他相關業(yè)務重要的數(shù)據(jù)中。

提高數(shù)據(jù)質量的措施

數(shù)據(jù)是信息時代的寶貴資源，高校應該把數(shù)據(jù)當作固定資產(chǎn)一樣對待。從傳統(tǒng)意義上講，信息系統(tǒng)的數(shù)據(jù)質量管理是IT系統(tǒng)本身的事情。但實際上，優(yōu)秀的數(shù)據(jù)質量解決方法也包括各業(yè)務的數(shù)據(jù)質量管理組織以及數(shù)據(jù)質量管理業(yè)務流程再造的過程。

數(shù)據(jù)質量問題的形成，很多情況下不是某個崗位、某個部門的原因，而是由有缺陷的工作流程和執(zhí)行力不足造成的，比如崗位職責不明確、數(shù)據(jù)源頭不清晰等造成質量差的數(shù)據(jù)。因此，提高數(shù)據(jù)質量，不僅要從技術層面，更重要的是從管理層面入手。

提高對數(shù)據(jù)重要性的認識

首先要讓高校各個層面的用戶，包括校領導、管理層、業(yè)務人員、教師、學生都能認識到數(shù)據(jù)是高校重要的戰(zhàn)略資源，是學校日常業(yè)務運轉的基礎，是一切決策的來源。業(yè)務人員和學校高層都要參與到數(shù)據(jù)質量管理的活動中來。一方面，在建設時就要確定數(shù)據(jù)質量相關的需求；另一方面，加強用戶對系統(tǒng)的依賴性，通過使用系統(tǒng)來發(fā)現(xiàn)問題，并及時對數(shù)據(jù)提供方進行反饋，形成數(shù)據(jù)質量提高的閉環(huán)，防止出現(xiàn)越是數(shù)據(jù)質量不高就越不用系統(tǒng)，從而更沒人管數(shù)據(jù)的惡性循環(huán)。

數(shù)據(jù)標準先行

信息系統(tǒng)數(shù)據(jù)應遵循行業(yè)標準，如國家標準、行業(yè)標準、學校標準，既能夠保證學校內部各業(yè)務數(shù)據(jù)的一致性，也便于與外部數(shù)據(jù)進行集成與共享。在選擇或制定標準時，一方面要注意標準的可行性和適用性，要考慮各個學校的實際業(yè)務情況，不能為了標準而強制全盤使用國家或行業(yè)標準，而忽視了自身業(yè)務的特殊性與成熟度；另一方面也要考慮一定的可擴展性，為各高校特有的業(yè)務以及可能的管理變革進行準備。此外，在選擇具體的開發(fā)廠商時，在考慮其技術能力及業(yè)務領域成熟度之外，需充分考慮其實施方案對現(xiàn)有標準和數(shù)據(jù)的兼容性、數(shù)據(jù)接口實現(xiàn)復雜度進行充分論證，防止對現(xiàn)有信息系統(tǒng)體系形成沖擊。

制定數(shù)據(jù)質量管理規(guī)范

高校在信息化建設中應有意識地去提高各個層面系統(tǒng)使用者的信息化素質，尤其是使用系統(tǒng)的業(yè)務管理人員，把提高數(shù)據(jù)質量這項任務分解到每個業(yè)務人員身上。針對每個重要的業(yè)務系統(tǒng)，制定完善的數(shù)據(jù)錄入維護規(guī)范，建立完善的數(shù)據(jù)負責制度，對數(shù)據(jù)提供方進行約束，條件允許的情況下可以成立專門的組織和機構負責數(shù)據(jù)質量管理工作。一般來說，在重要業(yè)務系統(tǒng)的管理部門內部，設立專職或兼職數(shù)據(jù)質量管理崗是一個較好的解決辦法，其工作職責包括定期監(jiān)控本系統(tǒng)數(shù)據(jù)質量狀態(tài)，編寫現(xiàn)有數(shù)據(jù)質量問題報告，協(xié)助IT部門完成數(shù)據(jù)標準的整理修正，提出系統(tǒng)數(shù)據(jù)質量方面的修改建議等如何做好數(shù)據(jù)質量的管理工作。

需求細化，持續(xù)跟蹤

在系統(tǒng)建設的需求分析階段即提出數(shù)據(jù)的要求，如在業(yè)務流程的各個環(huán)節(jié)都要仔細考慮數(shù)據(jù)的完整性、一致性、時效性、互相依賴關系等。同時在系統(tǒng)設計時優(yōu)先考慮數(shù)據(jù)輸入和輸出接口問題，并采用靈活的、可配置、擴展性強的建模方式與開發(fā)技術，開發(fā)出用戶界面比較友好、數(shù)據(jù)約束可靈活定義的系統(tǒng)，以減少操作員的錄入工作量和出現(xiàn)錯誤的可能性，加強數(shù)據(jù)源頭錯誤的控制；同時，在開發(fā)前要充分考慮用戶的需求，防止出現(xiàn)業(yè)務處理軟件不能滿足客戶要求、操作員采取違規(guī)操作的現(xiàn)象。

表1應用系統(tǒng)維護職責定義

開發(fā)數(shù)據(jù)質量檢查工具，實現(xiàn)自動監(jiān)控

對于早期開發(fā)的業(yè)務系統(tǒng)，由于對其修改成本較大，從系統(tǒng)層面較難對用戶進行約束。對于這種情況，技術人員應開發(fā)數(shù)據(jù)質量檢查的自動監(jiān)控工具，及時發(fā)現(xiàn)數(shù)據(jù)質量問題，確定責任人，并予以糾正。數(shù)據(jù)質量問題發(fā)現(xiàn)的越早，糾正的成本就越低。

實際應用

上海財經(jīng)大學于2002年制定了學校信息化統(tǒng)一規(guī)劃，2003年參考了國家、行業(yè)等有關標準制定了學校的信息標準。到2008年，應用系統(tǒng)已經(jīng)覆蓋了學校的教學、科研、人事、財務、學工、后勤、招生、就業(yè)等主要業(yè)務。在開發(fā)過程中，梳理各系統(tǒng)的數(shù)據(jù)關系，確保同一數(shù)據(jù)只有一個源頭，并實現(xiàn)了各業(yè)務系統(tǒng)之間的數(shù)據(jù)共享。此后的工作將逐步轉移到利用現(xiàn)有數(shù)據(jù)搭建數(shù)據(jù)倉庫，為領導層提供決策支持服務上來。數(shù)據(jù)質量的改進不是單個部門就可以完成的，它需要應用系統(tǒng)所有部門、用戶和技術人員的協(xié)調、通力合作。筆者在實際的信息化工作中，針對所遇到的數(shù)據(jù)質量問題，與相關部門人員及技術人員一起，在管理和技術上做出了如下嘗試，并取得了一定成效。

由業(yè)務部門牽頭進行數(shù)據(jù)管理

數(shù)據(jù)建設與管理密不可分，首先需要建立一個由業(yè)務數(shù)據(jù)主管部門牽頭，相關業(yè)務部門參與的數(shù)據(jù)質量小組，具體負責制定數(shù)據(jù)的錄入維護規(guī)范。在規(guī)范中對數(shù)據(jù)的質量標準、數(shù)據(jù)的定義、維護的崗位人員、維護時間要求、檢查機制等都進行了詳細約定，并將數(shù)據(jù)責任人落實到各個業(yè)務部門。如果發(fā)現(xiàn)有數(shù)據(jù)質量問題，應及時向各業(yè)務部門進行通報，以保障數(shù)據(jù)質量改進的有效推行。通過發(fā)文的形式將規(guī)范進行了固化，可作為數(shù)據(jù)操作員的工作標準。

表1為人事系統(tǒng)數(shù)據(jù)維護職責表中固定編制教師報到環(huán)節(jié)數(shù)據(jù)規(guī)范的部分片段。

實現(xiàn)對數(shù)據(jù)質量的自動監(jiān)控

為了保證數(shù)據(jù)的可用性，系統(tǒng)開發(fā)人員和業(yè)務人員一起，通過制定詳細業(yè)務檢查規(guī)則，編寫相應的數(shù)據(jù)質量專用檢查腳本。制定標準的數(shù)據(jù)質量規(guī)則確認及監(jiān)控流程對于規(guī)則正確性的保證是起著至關重要的作用。根據(jù)高校各業(yè)務系統(tǒng)的具體實施情況，我們提出并實現(xiàn)了質量檢核規(guī)則確認流程，如圖1所示。

首先由業(yè)務人員提出業(yè)務規(guī)則，然后對規(guī)則根據(jù)對業(yè)務的嚴重性、時效性等進行分級。然后依據(jù)規(guī)則的復雜程度的不同選擇進行不同的處理，簡單的業(yè)務規(guī)則可以直接在業(yè)務系統(tǒng)中進行固化，復雜的業(yè)務規(guī)則由技術人員通過編寫SQL，進行測試檢查。最后由運維人員部署到調度服務上，并由自動監(jiān)控系統(tǒng)根據(jù)掃描周期對掃描結果進行實時監(jiān)控，同時在展示層使用報表工具對數(shù)據(jù)質量狀況的當前狀況、歷史趨勢。在發(fā)生重要數(shù)據(jù)質量事件后，自動對有關維護人員進行郵件、短信告知，提醒其出現(xiàn)問題環(huán)節(jié)。這可以促使業(yè)務人員和技術人員參與到所配置的業(yè)務規(guī)則工作中，提高開發(fā)的協(xié)同性和一致性，確保數(shù)據(jù)檢查的正確性，進而保證數(shù)據(jù)質量檢查結果的有效性。

圖1 數(shù)據(jù)質量規(guī)則確認及監(jiān)控

學校人事系統(tǒng)覆蓋了校內外所有教師、外聘人員、短期勞務人員的各口徑人力資源的管理，涉及到人事處、組織部、統(tǒng)戰(zhàn)部、工會、檔案館、研究生院、離退休工作處等多個管理部門的日常業(yè)務，各類人員所需要的管理信息各有不同。目前人事系統(tǒng)的數(shù)據(jù)質量檢查點維護的界面可維護業(yè)務規(guī)則、責任部門、自動掃描周期、檢查腳本、排除異常等字段，并通過自動掃描及監(jiān)控系統(tǒng)對有關責任人員進行告知。

通過上述一系列措施，學校各業(yè)務系統(tǒng)的數(shù)據(jù)質量問題得到了明顯的改善。下面仍以人事系統(tǒng)為例進行說明。一方面和各相關部門的維護人員進行充分討論，制定了數(shù)據(jù)錄入維護規(guī)范，并作為學校發(fā)文進行固化，作為相關崗位錄入數(shù)據(jù)的操作依據(jù)；同時針對各類人員的28個信息集，制定了96個數(shù)據(jù)質量檢查點，根據(jù)信息的時效性、重要性及其他業(yè)務對信息的依賴性，制定不同的數(shù)據(jù)質量掃描周期。通過自動掃描，2009年找到不符合數(shù)據(jù)質量記錄數(shù)為20000余個。通過數(shù)據(jù)質量的持續(xù)改進，目前不符合數(shù)據(jù)質量記錄數(shù)穩(wěn)定在50個以下，基本上都是業(yè)務過程中允許的臨時性數(shù)據(jù)缺失。

（作者單位為上海財經(jīng)大學信息化辦公室）