林海
摘要: 以合肥市大數據平臺項目為實例分析和探討了數據治理在市級政府大數據系統(tǒng)中的應用,以及合肥市在政府大數據整合、治理、共享方面所做的探索。
關鍵詞: 政府大數據;數據治理;數據整合
中圖分類號:TP393 文獻標識碼:A
文章編號:1009-3044(2019)10-0281-03
開放科學(資源服務)標識碼(OSID):
我國十三五規(guī)劃指出:要實施國家大數據戰(zhàn)略,把大數據作為基礎性戰(zhàn)略資源,全面實施促進大數據發(fā)展行動,加快推動數據資源共享開放和開發(fā)應用,助力產業(yè)轉型升級和社會治理創(chuàng)新。合肥市作為中部快速發(fā)展的省會城市,積極響應國家大數據戰(zhàn)略部署,2017年組建市數據資源局,全面統(tǒng)籌全市信息化、電子政務、智慧城市、大數據、“互聯網+”等工作職能,加快推進政務、民生、產業(yè)領域各類數據資源的深度開發(fā)利用與開放共享,力爭全面提升合肥市的政府治理和公共服務能力,支撐城市實現新一輪跨越發(fā)展。并正式啟動建設合肥市大數據平臺項目,以數據集中和共享為途徑,充分應用數據治理的方法和工具,建設市級一體化的大數據中心,推進技術融合、業(yè)務融合、數據融合,實現跨層級、跨地域、跨系統(tǒng)、跨部門、跨業(yè)務的協同管理和服務。
1 項目背景
近年來,合肥市大力推進信息化建設,信息系統(tǒng)建設與應用能力顯著增強。目前市級各委辦局業(yè)務系統(tǒng)種類較多,通過各類信息系統(tǒng)的應用推廣,極大提升了政府工作效能。特別是市數據資源局的成立,對各單位電子政務業(yè)務系統(tǒng)建設實行統(tǒng)籌管理,極大推進了信息化建設。但是隨著系統(tǒng)的增多,各類系統(tǒng)間數據管理問題也不可避免的暴露出來:
1)數據多樣化,缺少統(tǒng)一標準,橫向集成不足
各單位系統(tǒng)之間數據管理規(guī)范不統(tǒng)一。各業(yè)務系統(tǒng)之間數據不統(tǒng)一,無法從全局的角度了解數據情況,造成業(yè)務人員和技術人員對業(yè)務數據的理解存在歧義。
2)部分基礎數據存在多頭管理問題
信息系統(tǒng)數據管理的職責分散,權責不明確。組織機構各部門關注數據的角度不一樣,缺少一個組織從全局的視角對數據進行管理,導致無法建立統(tǒng)一的數據管理規(guī)程、標準等,相應的數據管理監(jiān)督措施無法得到落實。組織機構的數據考核體系也尚未建立,無法保障數據管理標準和規(guī)程的有效執(zhí)行。
3)數據管理流程缺乏規(guī)范化
由于數據接入大數據平臺之前分散在各個系統(tǒng),各應用系統(tǒng)數據由各組織部門分離管理,數據質量參差不齊,缺乏清晰的跨局跨部門的數據質量管控規(guī)范與標準,數據的自動采集尚未全面實現,處理過程存在人為干預問題,很多部門存在數據質量管理人員不足、知識與經驗不夠、監(jiān)管方式不全面等問題;缺乏完善的數據質量管控流程和系統(tǒng)支撐能力。
4)數據全生命周期管理不完整
目前,各單位數據的產生、使用、維護、備份到過時被銷毀的數據生命周期管理規(guī)范和流程還不完善,不能確定過期和無效數據的識別條件,且非結構化數據未納入數據生命周期的管理范疇;無信息化工具支撐數據生命周期狀態(tài)的查詢,未有效利用元數據管理。
2 數據治理概述
2.1 概念
數據治理是指將數據作為組織資產而展開的一系列的具體化工作,是對數據的全生命周期管理。
數據治理體系是指從組織架構、管理制度、操作規(guī)范、IT應用技術、績效考核支持等多個維度對組織的數據模型、數據架構、數據質量、數據安全、數據生命周期等各方面進行全面的梳理、建設以及持續(xù)改進的體系。
2.2 治理目的
數據治理的目標是提高數據的質量(準確性和完整性),保證數據的安全性(保密性、完整性及可用性),實現數據資源在各組織機構部門的共享;推進信息資源的整合、對接和共享,從而提升組織的整體信息化水平,充分發(fā)揮信息化作用。
1)提升執(zhí)行能力
運用大數據減少政策執(zhí)行外部環(huán)境的制約,有效防止政策執(zhí)行過程中的“中梗阻”“低效率”“脫型走樣”“觀望癥”現象,建立政策執(zhí)行監(jiān)督機制,防止政策執(zhí)行過程中出現的隨意性和作假行為。
2)提升決策能力
用大數據建立科學決策機制,防止個別領導“拍腦袋”決策現象,提供政策決策的精準性、科學性和預見性。運用大數據來建立暢通的心意反饋渠道,通過大量收集反饋數據進行輿情分析和預測。
3)提升管理能力
運用大數據建立部門之間的數據共享平臺,打破數據孤島現象,整合數據資源,實現數據共享。運用大數據來實現把執(zhí)法權力關進“數據鐵籠”,讓權力運行處處留痕,規(guī)范干部權力運行機制,讓失信市場行為無處遁形。
4)提升服務能力
運用大數據來轉變政府職能,通過快速、精準、高效的電子信息化辦公流程和政務服務模式,運用大數據構筑起政府對企業(yè)和民眾的精準到位的服務體系。
2.3 數據治理體系
數據治理體系包含兩個方面:一是數據質量核心領域,二是數據質量保障機制。
3 合肥市大數據平臺中數據治理方法的應用和實踐
合肥市大數據平臺項目于2017年2月啟動建設,建立了全市政務數據資源庫和資源目錄,建成了全市政府數據共享交換體系和交換技術規(guī)范。2018年7月份,率先完成合肥市級政務信息資源共享門戶與省級、國家級聯調工作,打通了合肥市與安徽省、國家資源共享的通道。合肥市各單位可通過合肥市政務信息資源共享門戶申請省平臺和國家平臺的資源,實現與省、國家級平臺資源共享與交換。截至2018年底,已經接入了全市69家單位的121個業(yè)務系統(tǒng),入庫數據超過120億條,1872張數據表,數據總量約60TB。在合肥市大數據平臺項目的建設過程中,充分應用了數據治理的理論和方法,專門建設了具有數據質量管理、數據規(guī)整管理、數據建模、數據安全管理、資源共享管理等核心功能的數據治理子平臺,在數據入庫的同時,同步實施數據質量監(jiān)控和治理,取得了良好的效果。
3.1 治理工作目標
在合肥市大數據平臺中實施的數據治理實現了以下目標:
1)有效地解決項目前期匯集的數據標準不統(tǒng)一的問題,提升數據資源的管理水平。
在合肥市大數據平臺上開展數據治理工作,依據國家、省、市級標準規(guī)范,對大數據平臺中的數據進行標準化管理,數據標準統(tǒng)一管理,使得各大基礎信息庫的管理維護與對外服務規(guī)范化,從而便于各部門與社會查詢、獲取和利用數據。
2)有效地提升市級政大數據庫的數據質量問題,解決制約新型智慧城市建設的瓶頸問題。
合肥市大數據平臺匯聚了各業(yè)務部門的數據,并且共享給各業(yè)務部門使用,在合肥市大數據平臺上開展數據治理工作,能夠提升大數據平臺匯聚的數據質量,為各業(yè)務部門提供準確的數據服務,在城市治理、民生服務及生態(tài)宜居等領域發(fā)揮重要支撐作用。
3)能夠大幅度提升城市對于海量、異構數據資源的管理和開發(fā)利用能力。
城市是由不同政府部門管理下的不同行業(yè)組成的綜合體,因此城市的治理與發(fā)展是一個復雜的、綜合性的課題。在市級大數據中心之上,通過打破部門職能與行業(yè)間的數據壁壘,對不同來源的海量、異構數據進行統(tǒng)一數據治理,實現跨部門、跨行業(yè)的數據管理與開發(fā)利用,為城市綜合治理提供強大的數據處理能力支撐。
3.2 治理子系統(tǒng)業(yè)務功能
合肥市大數據平臺中的數據治理子系統(tǒng)具有以下功能:
1)數據質量評估功能:數據質量評估系統(tǒng)通過對數據源的分析,結合參考數據和自動數據關聯探索技術,設計數據規(guī)則,基于規(guī)則完成質量評估。
2)數據標準管理功能:數據標準管理是數據質量好壞的評價度量指示器,它從元信息、數據標準、數據質量規(guī)則等角度形成數據模型、數據操作規(guī)范、數據質量要求以及數據改進提升的數據治理核心功能和業(yè)務應用,可以自動生成數據質量稽查報告。
3)數據比對功能:在數據治理中,需要對新增數據進行與數據資源中心已有數據進行比對,從多個數據源驗證的角度發(fā)現數據存在的質量問題,進而反應業(yè)務當中可能出現問題。
4)數據質量管理功能:及時發(fā)現了問題數據后,包括殘缺數據、錯誤數據、重復數據等,同時,為了能夠及時來修復這些數據,以數據問題工單的形式,講問題數據返回給數據提供部門,由數據提供部門對問題數據進行處理更新后重新上傳到大數據平臺,完成數據質量提升。
5)數據清洗融合功能:數據清洗融合是基于大數據平臺數據管控體系和相關的標準規(guī)范,針對基礎庫數據中存在的問題,進行數據的修復及質量清洗,實現大數據平臺基礎數據的去偽存真、糾錯補全、統(tǒng)一規(guī)范、合理關聯、持續(xù)優(yōu)化。
3.3 治理實施流程
數據治理要素體系中的處理流程把數據資源的規(guī)劃、問題探查、模型設計、清洗融合、信息資源庫建設、資源管理、數據質量監(jiān)測、數據安全管控以及數據服務支撐等階段有機地結合起來。
從相對的順序上來看,政務數據融合與數據治理包含7個過程(P1-P7),以及2個貫穿始終的步驟過程(P0)。
設計數據治理體系中的處理流程應該靈活運用領先實踐中的成功經驗,構建一個行之有效的、分層細化的流程體系:
第一級(Level 1,簡稱L1),步驟:數據要素體系中所采用的最高級別的行動。每個步驟包括了多個行動,所有步驟構成城市政務數據要素的整個處理流程。
數據融合治理處理流程的設計是一個逐級細化的過程。根據上圖中數據生命周期(規(guī)劃、問題探查、模型設計、清洗融合、資源庫建設、資源管理和服務支撐)的幾大步驟,逐步設計第二級及以下級的行動和任務,逐步形成一個概念層次的邏輯流程細化為可操作級別的處理流程。
第二級(Level 2,簡稱L2),行動:一般包括下一個步驟前完成的本步驟的所有行動。這些行動可能與另一個行動同時發(fā)生,但是一個步驟內的所有行動必須在處理下一個步驟前完成。同時,每個行動又包括多個任務。
第三級(Level 3,簡稱L3),任務:為了處理行動而必須完成的特定項目。任務在處理流程中可以同步完成,但是在一個行動內的所有任務必須在處理下一個行動之前完成。在設計中,如果需要,還可以在處理流程中給出的更詳細的流程描述,即第四級(Level 4,簡稱L4):子任務。在子任務中,詳細的描述包含每個職能組行動的角色和責任。
4 結語
李克強總理在2016年5月全國推進簡政放權電視電話會議上指出:“目前我國信息數據資源80%以上掌握在各級政府部門手里,但‘深藏閨中造成了極大浪費”。但是,未經有效治理的政府數據,橫向上碎片化嚴重;縱向上規(guī)范缺失,重復性、關聯性、正確性、完全性、一致性、合規(guī)性等數據質量問題嚴重,僅僅簡單匯聚在一起的政務數據并不能支撐實際的政務應用。只有通過有效的規(guī)劃和治理,解決了碎片化、規(guī)范化和質量低下等問題,真正實現了整合以后的政務數據,才能形成數據資源,有效地支撐政務大數據應用。
【通聯編輯:王力】