摘? 要：政府和公共服務企業(yè)在工作過程中生成大量的結構化和非結構化數(shù)據(jù)。數(shù)據(jù)增長非?？欤纬珊Ａ繑?shù)據(jù)集（以ZB為單位）的集合，數(shù)據(jù)匯總構成政府“大數(shù)據(jù)”。文章利用大數(shù)據(jù)分析技術，對政府數(shù)據(jù)的開放范圍和用戶行為等進行分析，建立政府數(shù)據(jù)開放質(zhì)量評估模型。依托模型提出政府數(shù)據(jù)開放重點是界定各部門政務數(shù)據(jù)開放范圍，優(yōu)先開放民生領域數(shù)據(jù)，推進政府數(shù)據(jù)的創(chuàng)新應用。

關鍵詞：政府數(shù)據(jù);公共數(shù)據(jù);數(shù)據(jù)開放;大數(shù)據(jù)分析

中圖分類號：TP18? ? ? ? ?文獻標識碼：A文章編號：2096-4706（2021）23-0134-04

Open Government Data Research Based on Big Data Analysis

GU Mingsheng

（Harbin Big Data Center， Haerbin? 150030， China）

Abstract： Government and public service enterprises generate a large amount of structured and unstructured data in the process of work. The data grows very fast， forming a collection of massive data sets （in ZB）， and the data summary constitutes the “big data” of the government. Using big data analysis technology， this paper analyzes the open scope and user behavior of government data， and establishes the evaluation model of government data open quality. Based on the model， it is proposed that the focus of open government data is to define the scope of open government data of various departments， give priority to opening up data in the field of people’s livelihood， and promote the innovative application of government data.

Keywords： government data; public data; open data; big data analysis

0? 引? 言

隨著我國信息技術在政務方面的深入應用，政府管理部門通常會在實際工作中生成大量公共服務信息和個人信息。這些信息的大數(shù)據(jù)分析使社會受益，同時能服務經(jīng)濟社會[1]。因為它使政府、企業(yè)能夠更好地掌控信息，為政府事項提供決策依據(jù)，為公眾數(shù)據(jù)查詢提供便捷服務，為企業(yè)經(jīng)營生產(chǎn)提供便利。其中，典型應用就是國內(nèi)電商網(wǎng)購平臺，其通過大數(shù)據(jù)儲存、分析和采集等技術的應用，商家可以快捷和高效分析數(shù)據(jù)[2-4]。使用數(shù)據(jù)算法，可以對公眾進行精準用戶畫像。商業(yè)機構可以更快，更合理地做出的市場決策，同時針對性提供個性化服務[5]。

1? 國內(nèi)政府數(shù)據(jù)開放漸成常態(tài)

截至2021年4月底，我國已有174個省級和城市的地方政府上線了數(shù)據(jù)開放平臺，其中省級平臺18個，城市平臺156個。推進政府數(shù)據(jù)開放工作已成為各地加快數(shù)字政府建設的標配，“開放數(shù)據(jù)，蔚然成林”的愿景已初步實現(xiàn)。

現(xiàn)今，我國政府在線開放數(shù)據(jù)供公眾訪問，信息公開已成為常態(tài)，在各級政府門戶網(wǎng)站上可以公開查詢和下載。個人和企業(yè)對政府數(shù)據(jù)的查詢需求，促進了開放式政府的建設。開放式政府表現(xiàn)為采用開放式信息（信息公開），以及公開對話（互動交流）等多種形式來實現(xiàn)政府的辦事透明度和責任制目標。公眾也希望通過政府開放數(shù)據(jù)，便于關注政策的制定和實施，監(jiān)督政府的各項財政資金支出，使政府采購公開透明。

2? 政府數(shù)據(jù)開放質(zhì)量影響因素

根據(jù)數(shù)據(jù)生命周期理論，數(shù)據(jù)流動包括采集、存儲、利用和過時被刪除。采集、存儲、利用這三個環(huán)節(jié)影響數(shù)據(jù)開放的質(zhì)量。

2.1? 數(shù)據(jù)開放平臺的設計概述

在保證數(shù)據(jù)安全前提下，政府數(shù)據(jù)經(jīng)過數(shù)據(jù)脫敏加工等手段，將數(shù)據(jù)按照文件列表方式發(fā)布，提供數(shù)據(jù)服務主要包括數(shù)據(jù)包下載、數(shù)據(jù)接口兩種方式。還可以提供各種在線數(shù)據(jù)處理工具，例如可視化，映射或數(shù)據(jù)過濾。政府應當吸引和鼓勵社會力量參與數(shù)據(jù)資源開發(fā)利用，推動創(chuàng)新創(chuàng)業(yè)發(fā)展。

公眾和企業(yè)可直接下載通用格式數(shù)據(jù)包或通過軟件接口進行數(shù)據(jù)調(diào)用（數(shù)據(jù)包指的是將結構化數(shù)據(jù)轉換成可機讀的文件格式，例如EXCEL、CSV、XML、RDF等，以及將非結構化數(shù)據(jù)進行壓縮形成文件包，供下載使用;數(shù)據(jù)接口指的是將數(shù)據(jù)發(fā)布成API服務接口，供開發(fā)者調(diào)用。）

對于數(shù)據(jù)量大的情況，逐條添加的方式不便于用戶操作，設計采用導入/導出功能來解決大批量數(shù)據(jù)輸入輸出的問題。導入功能，支持excel和xml數(shù)據(jù)格式導入，提供了對應的模板和控件;支持導出到excel和xml。方便復制便于機器讀取和開展AI算法訓練。系統(tǒng)架構如圖1所示。

2.2? 政府大數(shù)據(jù)采集和存儲

總體流程分為三大部分，數(shù)據(jù)來源、數(shù)據(jù)加工、數(shù)據(jù)服務。政務數(shù)據(jù)和互聯(lián)網(wǎng)兩大數(shù)據(jù)，經(jīng)過數(shù)據(jù)預處理、質(zhì)量檢測、數(shù)據(jù)加工、接口管控進入產(chǎn)品庫，產(chǎn)品庫針對不同的服務細分為開放庫及分析庫，對外提供數(shù)據(jù)服務。流程圖如圖2所示。

采用大數(shù)據(jù)處理系統(tǒng)來解決開放網(wǎng)站業(yè)務中海量結構化和非結構化數(shù)據(jù)存儲和處理問題。海量結構化存儲具有面向應用開發(fā)的、通用的存儲功能，它不但可以存儲應用開發(fā)所使用的結構化及半結構化數(shù)據(jù)，還可以對海量數(shù)據(jù)進行實時的查詢，幫助用戶高效的管理數(shù)據(jù)，提高數(shù)據(jù)的安全性及可用性，更可以提供存儲空間的平滑擴展。結合平臺分布式計算的強大運算能力，還可以對海量數(shù)據(jù)進行分析統(tǒng)計。

數(shù)據(jù)非結構化存儲大數(shù)據(jù)處理系統(tǒng)利用Hadoop分布式系統(tǒng)架構，以分布式PC服務器集群組成本地化分布式存儲環(huán)境，將互相連接在一起的服務器群所組成的一個分布式的并行存儲系統(tǒng)。可以存儲任何經(jīng)過數(shù)據(jù)交換平臺和在交換平臺上產(chǎn)生的數(shù)據(jù)，包括業(yè)務數(shù)據(jù)、消息包、日志數(shù)據(jù)、管理數(shù)據(jù)和用戶數(shù)據(jù)。為開展大數(shù)據(jù)分析打下基礎。大數(shù)據(jù)處理系統(tǒng)基于開源社區(qū)軟件Hadoop進行功能增強，提供企業(yè)級大數(shù)據(jù)存儲、查詢和分析的統(tǒng)一平臺，幫助用戶快速構建海量數(shù)據(jù)信息處理系統(tǒng)。

2.3? 數(shù)據(jù)開放的應用

各級政府部門工作中產(chǎn)生大量數(shù)據(jù)，通常情況下數(shù)據(jù)只在部門內(nèi)進行交換共享，用于處理政務并提高效率。政府開放數(shù)據(jù)方法應該打破部門界限，政府的決策和行動應更加透明和公開。

利用大數(shù)據(jù)分析技術對哈爾濱市政府數(shù)據(jù)開放相關指標進行分析，生成數(shù)據(jù)開放統(tǒng)計圖，如圖3所示。通過圖4可以看出共開放1 170個數(shù)據(jù)集，數(shù)據(jù)量達到575萬余條，用戶下載量達到22萬余人次，同時開放的還有4 138個數(shù)據(jù)文件，2 378個API數(shù)據(jù)接口和9個APP。

22萬余人次的下載量可見公眾特別關注政府數(shù)據(jù)開放，一直在尋找獲取政府數(shù)據(jù)的方法。政府對數(shù)據(jù)集披露確實促進了社會進步。同時公眾也會對政府提出更高的要求。例如：哪些政府部門不提供信息？哪個信息某個政府部門不提供此服務？某些重要信息是否會按時公布，信息類型是否缺少？政府想要滿足公眾的期許，必須加大政府信息化建設，同時完成數(shù)據(jù)治理框架的搭建，否則政府難以解決傳統(tǒng)政府服務效率不高，導致公眾對數(shù)據(jù)難以有效獲取這方面的矛盾。

利用大數(shù)據(jù)分析，哈爾濱政府的數(shù)據(jù)開放的14個領域中，經(jīng)濟建設、城市建設和民生服務三大領域的數(shù)據(jù)開放量大、社會公眾關注度高。通過政府建立政務數(shù)據(jù)開放目錄和數(shù)據(jù)開放清單，界定各部門政務數(shù)據(jù)開放范圍，實現(xiàn)推動安全風險小、成熟度高、惠民效果明顯的數(shù)據(jù)優(yōu)先開放的目的。

在依法加強安全保障和隱私保護的前提下，重點圍繞民生服務需求，實現(xiàn)可開放政府數(shù)據(jù)向社會公眾集中、有序開放和規(guī)范利用，提升開放數(shù)據(jù)的數(shù)量、質(zhì)量、時效性和易用性，顯著提升公共數(shù)據(jù)的有效利用和深度開發(fā)水平，促進社會創(chuàng)新和信息經(jīng)濟發(fā)展。建設數(shù)據(jù)開放網(wǎng)站，形成統(tǒng)一的門戶服務、數(shù)據(jù)開放管理、安全脫敏、可控流通等功能。結合社會公眾需求，以可機讀批量下載方式，分級、分類重點開放企業(yè)登記、信用、交通、醫(yī)療、衛(wèi)生、就業(yè)、社保、地理、文化、教育、科技、知識產(chǎn)權、自然資源、農(nóng)業(yè)、林業(yè)、環(huán)境、安監(jiān)、質(zhì)量、統(tǒng)計、氣象等公共服務相關領域的非涉密公共數(shù)據(jù)。加強對經(jīng)濟社會重要領域社會化數(shù)據(jù)的采集匯聚，促進政府數(shù)據(jù)與社會數(shù)據(jù)的關聯(lián)融合創(chuàng)新。

2.4? 數(shù)據(jù)開放的應用場景分析

開放政府數(shù)據(jù)（OGD）是政府以任何形式發(fā)布沒有任何版權限制的數(shù)據(jù)集?，F(xiàn)階段互聯(lián)網(wǎng)的普及和信息技術的運用，公眾獲取數(shù)據(jù)信息的便利，也促進政府進行改革，實現(xiàn)信息開放，政務公開透明。由于政府開放數(shù)據(jù)會帶來巨大經(jīng)濟利益和提高行政效率，許多國家都對開放數(shù)據(jù)制定了相關標準和管理辦法。最常用的發(fā)布和使用方法是訪問政府數(shù)據(jù)開放門戶網(wǎng)站，任何公眾和企業(yè)都可以在數(shù)據(jù)開放網(wǎng)站查詢信息，政府負責此類門戶網(wǎng)站可以正常運行，這是政府開放數(shù)據(jù)的核心平臺。

通過對市級政府數(shù)據(jù)開放門戶網(wǎng)站訪問量進行大數(shù)據(jù)分析，可見除去黑龍江外，北京、浙江的訪問量較大。除去本省外的這兩地都是科技和經(jīng)濟發(fā)達地區(qū)，先進發(fā)達地區(qū)對數(shù)據(jù)的利用需求較大。

如果對平臺用戶再進行細分，政府數(shù)據(jù)開放平臺用戶群體按類型分為政府、事業(yè)單位、科研機構、社會團體、國私營企業(yè)、個人等;按技術能力分為初級用戶和專業(yè)用戶，初級用戶包括普通民眾、一般企業(yè)、非專業(yè)用戶，專業(yè)用戶包括開發(fā)者、分析師、業(yè)務專家;開放網(wǎng)站針對不同的用戶提供不同層次的數(shù)據(jù)服務，針對初級用戶提供數(shù)據(jù)瀏覽、數(shù)據(jù)查詢和數(shù)據(jù)統(tǒng)計等功能，針對專業(yè)用戶提供接口服務、開發(fā)者中心、數(shù)據(jù)再加工等功能。后期開放網(wǎng)站針對不同技術能力的用戶提供不同的版本，針對初級用戶提供社會公眾版，針對專業(yè)用戶提供專業(yè)用戶版。積極探索并且針對不同用戶的需求，在財稅、金融、消費、勞動就業(yè)、產(chǎn)業(yè)運行、市場監(jiān)管等領域進行數(shù)據(jù)創(chuàng)新應用的場景建設。如表1所示。

3? 結? 論

綜上所述，政府要把不斷滿足人民對美好生活的向往作為政府數(shù)據(jù)開放建設的出發(fā)點和落腳點，堅持人民主體定位，適應人民新期待，回應人民新需求，為人民群眾提供更加智能、更加便捷、更加優(yōu)質(zhì)的公共服務，做到政府數(shù)據(jù)開放平臺建設為了人民、依靠人民，建設成果由人民共享，讓企業(yè)和群眾成為政府數(shù)據(jù)開放平臺的推動者、監(jiān)督者、受益者，切實增強人民群眾的幸福感、獲得感和滿意度。

以解決企業(yè)和群眾辦事的難點、堵點、痛點問題為導向，從政府數(shù)據(jù)應用場景入手，以業(yè)務需求牽引平臺建設、數(shù)據(jù)開放治理、制度規(guī)范構建、應用創(chuàng)新，更好服務企業(yè)和群眾。

充分協(xié)調(diào)各部門、各區(qū)縣及社會各方面積極性，加強政府數(shù)據(jù)開放平臺一體化建設和部署?；A設施、應用支撐等集約化、一體化推進，優(yōu)化資源配置，推動形成縱向貫通、橫向協(xié)同的政府數(shù)據(jù)開放新格局。

參考文獻：

[1] 趙陽，姚正言.智慧城市建設發(fā)展現(xiàn)狀分析 [J].智能建筑與智慧城市，2019（8）：26-27+30.

[2] 吳班，程春明.生態(tài)環(huán)境大數(shù)據(jù)應用探析 [J].環(huán)境保護，2016，44（Z1）：87-89.

[3] 張琳，陳軍.“智慧環(huán)?！苯ㄔO中關鍵問題探討 [J].環(huán)境與可持續(xù)發(fā)展，2016，41（4）：58-59.

[4] 劉芳.智慧城市背景下的智慧環(huán)保建設 [J].科技傳播，2017，9（3）：34-35.

[5] 成書悅.全球城市化進程下智慧城市建設現(xiàn)狀和幾點思考 [C]//2019（第十四屆）城市發(fā)展與規(guī)劃大會.鄭州：出版者不詳，2019：568-572.

作者簡介：顧鳴聲（1975—），男，漢族，黑龍江人，高級工程師，碩士研究生，研究方向：教育信息化，軟件工程開發(fā)設計，網(wǎng)絡安全管理以及大數(shù)據(jù)管理等。