文/高亮

數(shù)據(jù)治理:讓數(shù)據(jù)質(zhì)量更好

文/高亮

大數(shù)據(jù)時代數(shù)據(jù)產(chǎn)生的價值越來越大，基于數(shù)據(jù)的相關技術、應用形式也在快速發(fā)展，開發(fā)基于數(shù)據(jù)的新型應用已經(jīng)成為高校信息化建設的一個重點領域。當前各大廠商、用戶都在探索與數(shù)據(jù)相關的開發(fā)技術、應用場景和商業(yè)模式，最終目的就是挖掘數(shù)據(jù)價值，推動業(yè)務發(fā)展，實現(xiàn)盈利。目前數(shù)據(jù)應用項目非常多，但真正取得預期效果的項目少之又少，而且開發(fā)過程困難重重，其中的一個重要原因就是數(shù)據(jù)質(zhì)量問題導致許多預期需求無法實現(xiàn)。如果沒有數(shù)據(jù)治理，再多的業(yè)務和技術投入都是徒勞的，因為很經(jīng)典的一句話：Garbage in Garbage out。數(shù)據(jù)治理是保證數(shù)據(jù)質(zhì)量的必需手段，從全球范圍來看，加強數(shù)據(jù)治理提升數(shù)據(jù)質(zhì)量已成為企業(yè)提升管理能力的重要任務。

數(shù)據(jù)治理是一個系統(tǒng)的、大型的、長期的工程，大型企業(yè)已經(jīng)開始了實施，并取得了一定成果，但目前高校在數(shù)據(jù)治理方面還沒有開始真正意義上的實踐，究其原因，一方面高校還沒有把數(shù)據(jù)治理的重要性提升到戰(zhàn)略高度，另一方面沒有將數(shù)據(jù)治理單獨作為課題研究，沒有形成系統(tǒng)的實施方法論。本文從管理和技術兩方面出發(fā)探索適合高校信息化建設的數(shù)據(jù)治理方法，形成包含組織、制度、標準、流程、安全、技術等內(nèi)容的數(shù)據(jù)治理方案，從而打造高校綠色數(shù)據(jù)生態(tài)環(huán)境，為數(shù)據(jù)應用提供基礎保障。

圖1 數(shù)據(jù)治理與數(shù)據(jù)管理職能關系

數(shù)據(jù)治理概念

數(shù)據(jù)治理并不是一個新生事物，可以說，有數(shù)據(jù)的地方就存在數(shù)據(jù)治理，只不過隨著數(shù)據(jù)應用的迅猛發(fā)展將它提到了一個高度，作為一個獨立的研究領域。數(shù)據(jù)治理并沒有標準的、嚴格的定義，概況地講，所有為提高數(shù)據(jù)質(zhì)量而展開的業(yè)務、技術和管理活動都屬于數(shù)據(jù)治理范疇。

數(shù)據(jù)治理的英文是Data Governance，《DAMA 數(shù)據(jù)管理知識體系指南》一書給出的定義：數(shù)據(jù)治理是對數(shù)據(jù)資產(chǎn)管理行使權力和控制的活動集合。數(shù)據(jù)治理職能指導其他數(shù)據(jù)管理職能如何執(zhí)行，圖1說明了數(shù)據(jù)治理與其他幾個數(shù)據(jù)管理職能的關系。

數(shù)據(jù)治理是技術與管理相結合的一套持續(xù)改善管理機制，貫穿在數(shù)據(jù)管理的整個過程中，通常包括了組織架構、政策制度、技術工具、數(shù)據(jù)標準、流程規(guī)范、監(jiān)督及考核等方方面面，將其他幾個數(shù)據(jù)管理職能貫穿、協(xié)同在一起，讓企業(yè)的數(shù)據(jù)工作成為一個有機整體而不是各自為政。數(shù)據(jù)治理涉及的IT技術主題眾多，包括元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成、監(jiān)控與報告等。

數(shù)據(jù)治理體系框架

僅僅依靠技術手段，以建設系統(tǒng)的方式是難以有效解決數(shù)據(jù)治理面臨的所有問題。構建數(shù)據(jù)治理體系是數(shù)據(jù)治理工作的基礎，為了有序?qū)嵤?shù)據(jù)治理，應采用規(guī)劃先行的原則，制定適合高校業(yè)務特點的管理流程，選擇可行的技術方案和實施工具，明確數(shù)據(jù)治理的工作機制和工作內(nèi)容，穩(wěn)步推進數(shù)據(jù)治理各項工作，數(shù)據(jù)治理體系框架如圖2所示。

戰(zhàn)略：數(shù)據(jù)治理是在高校發(fā)展戰(zhàn)略和規(guī)劃的指導下進行實施的，這些戰(zhàn)略和規(guī)劃包括業(yè)務發(fā)展目標、IT規(guī)劃以及數(shù)據(jù)治理相關的發(fā)展規(guī)劃。

機制：機制是數(shù)據(jù)治理工作實施的基礎保障，通過組織、制度、流程的建設和執(zhí)行得以落實。機制是數(shù)據(jù)治理工作的重點，數(shù)據(jù)治理執(zhí)行效果就是機制落實的效果。

專題：數(shù)據(jù)治理專題是數(shù)據(jù)治理的工作內(nèi)容，包括數(shù)據(jù)標準、數(shù)據(jù)治理、元數(shù)據(jù)、主數(shù)據(jù)、數(shù)據(jù)生命周期等方面。

實施：數(shù)據(jù)治理工作最終在相關制度、規(guī)范和流程下通過數(shù)據(jù)治理組織借助技術手段和管理手段來實現(xiàn)。包括系統(tǒng)開發(fā)階段為提高數(shù)據(jù)質(zhì)量進行的校驗設計；系統(tǒng)日常運維工作；數(shù)據(jù)分析應用階段的數(shù)據(jù)集成；數(shù)據(jù)質(zhì)量監(jiān)控等。

數(shù)據(jù)治理措施

管理措施

1.提高全面思想認識

毋庸置疑，數(shù)據(jù)是高校的寶貴資產(chǎn)，各高校已經(jīng)意識到數(shù)據(jù)質(zhì)量的重要性，但是并沒有將數(shù)據(jù)治理提到戰(zhàn)略高度，信息化建設的重點仍然是應用系統(tǒng)建設和運維。數(shù)據(jù)治理是一個系統(tǒng)工程，需要管理層、系統(tǒng)開發(fā)人員、系統(tǒng)使用人員、系統(tǒng)維護人員多方協(xié)作才能進行。目前最大的問題就是各方人員對數(shù)據(jù)治理的認識還處于盲區(qū)，他們并沒有意識到數(shù)據(jù)治理的重要性，因此數(shù)據(jù)治理首先要從上到下全面提高思想認識，保證在系統(tǒng)建設、系統(tǒng)運行、系統(tǒng)維護各個環(huán)節(jié)都能重視數(shù)據(jù)治理。

2.成立數(shù)據(jù)治理組織

健全的數(shù)據(jù)治理組織是全面開展數(shù)據(jù)治理工作的基礎，數(shù)據(jù)治理組織應包括管理人員、業(yè)務人員和技術人員，缺一不可。數(shù)據(jù)治理組織可以設置三種角色，數(shù)據(jù)治理委員會、數(shù)據(jù)治理業(yè)務組、數(shù)據(jù)治理技術組。

圖2 數(shù)據(jù)治理體系框架

數(shù)據(jù)治理委員會：由校領導、IT部門負責人和業(yè)務部門負責人組成，負責制定數(shù)據(jù)治理的目標、制度、規(guī)范、流程、標準等，溝通協(xié)調(diào)，解決相關人員責、權、利問題，推行數(shù)據(jù)治理文化。

數(shù)據(jù)治理業(yè)務組：由業(yè)務部門業(yè)務專家、業(yè)務部門系統(tǒng)管理員組成，負責業(yè)務系統(tǒng)參數(shù)、基礎數(shù)據(jù)維護，保證系統(tǒng)正常使用；負責審核、檢查、整改業(yè)務數(shù)據(jù)，在數(shù)據(jù)產(chǎn)生源頭提高數(shù)據(jù)質(zhì)量。

數(shù)據(jù)治理技術組：由IT部門的相關技術人員組成，包括系統(tǒng)開發(fā)人員、數(shù)據(jù)治理人員、數(shù)據(jù)庫管理員。系統(tǒng)開發(fā)人員負責系統(tǒng)數(shù)據(jù)錄入功能符合數(shù)據(jù)校驗標準和數(shù)據(jù)治理標準；數(shù)據(jù)治理人員負責開發(fā)數(shù)據(jù)質(zhì)量檢測規(guī)則、監(jiān)控數(shù)據(jù)質(zhì)量、批量修改數(shù)據(jù)等工作；數(shù)據(jù)庫管理員負責系統(tǒng)數(shù)據(jù)的備份、恢復、安全、審計等工作。

3.建立數(shù)據(jù)標準體系

一般來說，信息化建設應遵循標準先行的原則，在應用系統(tǒng)建設初期就應該制定高校內(nèi)部數(shù)據(jù)標準體系，保證各業(yè)務部門、各業(yè)務系統(tǒng)使用相同的數(shù)據(jù)標準，提高部門間、系統(tǒng)間數(shù)據(jù)共享能力，避免形成信息孤島。數(shù)據(jù)標準體系包括數(shù)據(jù)標準、技術標準、管理標準、數(shù)據(jù)質(zhì)量標準等內(nèi)容，可以成立由業(yè)務人員和技術人員組成的數(shù)據(jù)標準制定小組，負責數(shù)據(jù)標準體系的制定、維護、宣傳、解釋等工作。

4. 制定數(shù)據(jù)質(zhì)量管控規(guī)范

由于高校缺乏明確的數(shù)據(jù)質(zhì)量管控規(guī)范、流程，導致數(shù)據(jù)治理相關人員職責劃分不清，缺乏專職人員在不同階段對數(shù)據(jù)質(zhì)量負責。通過制定數(shù)據(jù)質(zhì)量管控規(guī)范，使相關人員明確在數(shù)據(jù)產(chǎn)生、存儲、應用整個生命周期中數(shù)據(jù)治理包含的工作內(nèi)容和工作流程，形成校內(nèi)統(tǒng)一管理體系。為了提高數(shù)據(jù)治理執(zhí)行效率，有必要建立數(shù)據(jù)治理績效考核，檢驗數(shù)據(jù)治理各個環(huán)節(jié)的效果。

5. 制定數(shù)據(jù)安全管理制度

保障數(shù)據(jù)安全是高校信息化的首要工作，高校應該制定貫穿于數(shù)據(jù)生命周期的數(shù)據(jù)安全管理制度，包括數(shù)據(jù)生成及傳輸、數(shù)據(jù)存儲、數(shù)據(jù)處理及應用、數(shù)據(jù)銷毀四個方面。安全管理制度主要用來規(guī)范員工在日常工作中安全地使用數(shù)據(jù)，并且指導技術人員如何實施數(shù)據(jù)安全工作。

技術措施

1.構建校級數(shù)據(jù)架構

高校構建的信息系統(tǒng)以滿足功能應用為主，如果沒有整體數(shù)據(jù)架構，應用系統(tǒng)就沒有數(shù)據(jù)標準可參考，不可避免地會出現(xiàn)不同的應用系統(tǒng)使用不同的數(shù)據(jù)標準和數(shù)據(jù)庫，導致數(shù)據(jù)交換、數(shù)據(jù)共享困難，數(shù)據(jù)冗余、數(shù)據(jù)完整性、數(shù)據(jù)一致性等問題突出。

理想情況下，高校在信息化初期就應該規(guī)劃整體數(shù)據(jù)架構。一個完整的高校數(shù)據(jù)架構主要包括：數(shù)據(jù)標準、數(shù)據(jù)庫產(chǎn)品線、主數(shù)據(jù)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)交換、數(shù)據(jù)倉庫。每一部分都需要作為獨立的專題去建設，而且必須是技術與管理相結合的建設過程，最終形成高校全局數(shù)據(jù)架構。

2.加強信息系統(tǒng)設計

產(chǎn)生數(shù)據(jù)質(zhì)量問題的第一個環(huán)節(jié)就是生成數(shù)據(jù)的源系統(tǒng)，在數(shù)據(jù)源頭解決數(shù)據(jù)質(zhì)量問題是提高數(shù)據(jù)質(zhì)量非常有效的措施。加強信息系統(tǒng)設計和開發(fā)可以通過系統(tǒng)功能自動地規(guī)避大量數(shù)據(jù)質(zhì)量常見問題。具體包括以下三個方面：

細化需求，在需求分析階段增加對數(shù)據(jù)質(zhì)量的詳細要求；

加強數(shù)據(jù)庫設計，使用3NF范式構建業(yè)務系統(tǒng)數(shù)據(jù)模型可以通過數(shù)據(jù)庫有效解決數(shù)據(jù)冗余、不一致等問題；

系統(tǒng)開發(fā)階段加強數(shù)據(jù)錄入功能的設計和開發(fā)，提高界面友好性和校驗功能，可以有效解決數(shù)據(jù)完整性、時效性等問題。

3.建立主數(shù)據(jù)中心

學校內(nèi)部不同應用系統(tǒng)、不同部門間需要共享數(shù)據(jù)的現(xiàn)象非常普遍，建立主數(shù)據(jù)中心不僅能避免各應用系統(tǒng)相互共享數(shù)據(jù)形成網(wǎng)狀結構，同時能夠保證對外提供準確、一致的數(shù)據(jù)。一般地，主數(shù)據(jù)是描述核心業(yè)務實體的數(shù)據(jù)，如教師、學生、科研成果、資產(chǎn)等，這些數(shù)據(jù)變化相對緩慢并通?？鐦I(yè)務重復使用。這里我們結合實際需求情況擴大了主數(shù)據(jù)的范圍，凡是需要交換、共享的數(shù)據(jù)都納入到主數(shù)據(jù)范圍，形成全校范圍內(nèi)一致的、完整的、準確的核心業(yè)務數(shù)據(jù)，統(tǒng)一由主數(shù)據(jù)中心完成對外提供數(shù)據(jù)的任務。建立主數(shù)據(jù)中心不僅僅是技術工作，除開發(fā)、維護外還需要制定開發(fā)規(guī)范、管理規(guī)范、管理流程，共同規(guī)范主數(shù)據(jù)的使用。

4.搭建數(shù)據(jù)質(zhì)量監(jiān)控平臺

通過搭建數(shù)據(jù)質(zhì)量監(jiān)控平臺可以實現(xiàn)數(shù)據(jù)質(zhì)量自動檢查、監(jiān)控，平臺包括數(shù)據(jù)質(zhì)量檢查規(guī)則庫、規(guī)則執(zhí)行引擎、數(shù)據(jù)質(zhì)量報告、報告推送功能。平臺的核心是規(guī)則庫，與業(yè)務無關的規(guī)則由技術人員獨立開發(fā)，與業(yè)務相關的規(guī)則需要技術人員和業(yè)務人員共同確定檢查規(guī)則，然后編寫規(guī)則腳本。規(guī)則執(zhí)行引擎可以定時批量執(zhí)行檢查規(guī)則，及時發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，將數(shù)據(jù)質(zhì)量報告第一時間推送給業(yè)務人員，有助于及時糾正問題數(shù)據(jù)。

5.實施數(shù)據(jù)安全工作

數(shù)據(jù)安全實施工作在數(shù)據(jù)安全管理制度的指導下執(zhí)行，由技術人員完成，主要包括數(shù)據(jù)備份、恢復、脫敏、監(jiān)控、審計等。

數(shù)據(jù)治理是高校信息化建設中提高數(shù)據(jù)應用水平和信息化管理水平的有效手段。數(shù)據(jù)治理是一項長期系統(tǒng)工程，貫穿于整個數(shù)據(jù)生命周期，不僅需要借助技術手段，更需要完善數(shù)據(jù)治理制度，包括規(guī)劃、組織、機制、規(guī)范、流程等，只有全校各級人員高度重視和積極參與，逐步形成數(shù)據(jù)治理文化，數(shù)據(jù)治理才能取得成效，數(shù)據(jù)才能發(fā)揮更大的價值。

（作者單位為上海財經(jīng)大學信息化辦公室）

注：本文由上海財經(jīng)大學211專項項目，數(shù)據(jù)倉庫建設（2012330008）基金項目支持

美國將投資3.25億美元開發(fā)全球最快超級計算機

美國能源部將與IBM、英偉達和Mellanox合作，在2017年之前投資3.25億美元開發(fā)全球最快的超級計算機。這兩款通過GPU(圖形處理單元)加速的超級計算機分別名為Sierra和Summit，將依賴IBM的OpenPower芯片、英偉達最新的圖形芯片Volta，以及Mellanox的高速網(wǎng)絡。后者負責將超級計算機的元件聯(lián)系在一起。

Summit將被部署在田納西州的美國橡樹嶺國家實驗室，用于民用和科研用途，也是兩臺超級計算機中性能更強的一臺，峰值計算能力將達到每秒150至300千萬億次浮點運算。

Sierra將提供峰值100萬億次浮點運算的計算能力，并將被部署在加州的勞倫斯利物莫國家實驗室，用于核武器模擬。

Sierra和Summit將遠遠超過美國和全球當前其他的超級計算機。橡樹嶺國家實驗室的Titan目前是美國最強大的超級計算機，計算能力為峰值27千萬億次浮點運算，而全球記錄的保持者、中國的“天河2號”計算能力為峰值55千萬億次浮點運算。

不過，IBM將采取“以數(shù)據(jù)為中心”的方式。通過將計算能力部署在數(shù)據(jù)存在的所有位置，IBM表示，這將使數(shù)據(jù)傳輸最小化，降低能耗。

Sierra和Summit能夠以超過每秒17千萬億字節(jié)的速度將數(shù)據(jù)傳輸至處理器，這相當于在1秒時間內(nèi)將超過1000億張照片傳送至Facebook。

IBM系統(tǒng)及技術集團高級副總裁湯姆·羅薩米利亞(Tom Rosamilia)表示：“這標志著傳統(tǒng)超級計算機開發(fā)方式的轉(zhuǎn)型，隨著數(shù)據(jù)傳輸速度的提升，傳統(tǒng)的超級計算機開發(fā)方式已經(jīng)不再具有競爭力。IBM以數(shù)據(jù)為中心的方式是一種新的實現(xiàn)方法，代表了開放計算平臺的未來，并且有能力應對越來越快的數(shù)據(jù)傳輸速度?！?/p>

（來自cnbeta.com）