周靜 余浩然 謝誼 龔偉
2017年12月8日,習(xí)近平總書(shū)記在中共中央政治局第二次集體學(xué)習(xí)時(shí)強(qiáng)調(diào),要“實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略加快建設(shè)數(shù)字中國(guó)”,領(lǐng)導(dǎo)干部要“善于獲取數(shù)據(jù)、分析數(shù)據(jù)、運(yùn)用數(shù)據(jù)”。為給社會(huì)、政府提供更高效專業(yè)的咨詢服務(wù),各級(jí)政府部門要審時(shí)度勢(shì)、精心謀劃、超前布局,主動(dòng)深入了解大數(shù)據(jù)、發(fā)展大數(shù)據(jù),謀思變革,著手研究如何克服各種數(shù)據(jù)資源的差異性,使大數(shù)據(jù)和政府部門統(tǒng)計(jì)數(shù)據(jù)融合發(fā)展,建立以標(biāo)準(zhǔn)化數(shù)據(jù)庫(kù)為核心的、強(qiáng)大的統(tǒng)計(jì)數(shù)據(jù)庫(kù)信息智庫(kù)系統(tǒng),推進(jìn)數(shù)據(jù)資源整合和開(kāi)放共享。
一、大數(shù)據(jù)與政府部門統(tǒng)計(jì)工作融合的必要性
大數(shù)據(jù)不僅帶來(lái)了海量數(shù)據(jù),也開(kāi)啟了人們利用數(shù)據(jù)的新模式,改變著人們的思維模式,更給傳統(tǒng)政府統(tǒng)計(jì)部門采集、管理、分析、應(yīng)用和發(fā)布數(shù)據(jù)等各方面工作帶來(lái)前所未有的沖擊。
(一)經(jīng)濟(jì)社會(huì)發(fā)展的必然需求
大數(shù)據(jù)是信息技術(shù)發(fā)展的必然產(chǎn)物,其發(fā)展推動(dòng)了數(shù)字經(jīng)濟(jì)的形成與繁榮,已經(jīng)成為數(shù)字經(jīng)濟(jì)發(fā)展的關(guān)鍵生產(chǎn)要素和社會(huì)基礎(chǔ)性戰(zhàn)略資源,也成為國(guó)際競(jìng)爭(zhēng)的前沿地帶。[1]要建設(shè)“數(shù)字中國(guó)”,就要發(fā)展數(shù)字經(jīng)濟(jì);要推動(dòng)經(jīng)濟(jì)發(fā)展質(zhì)量變革、動(dòng)力變革,就必須實(shí)施大數(shù)據(jù)發(fā)展戰(zhàn)略?,F(xiàn)在,不管國(guó)外還是國(guó)內(nèi),都把大數(shù)據(jù)應(yīng)用的重點(diǎn)由市場(chǎng)轉(zhuǎn)向政府,而政府統(tǒng)計(jì)部門就是大數(shù)據(jù)在政府工作應(yīng)用中尚未開(kāi)墾的“良田”,大數(shù)據(jù)和政府統(tǒng)計(jì)數(shù)據(jù)深度融合的研究應(yīng)用是經(jīng)濟(jì)社會(huì)發(fā)展的必然趨勢(shì)。
(二)政府科學(xué)決策的必然要求
大數(shù)據(jù)特征歸納為四個(gè)“V”:數(shù)量(Volume)巨大,種類(Variety)變化多,價(jià)值(Value)密度低,速度(Velocity)處理快,能對(duì)非結(jié)構(gòu)數(shù)據(jù)進(jìn)行海量計(jì)算和精準(zhǔn)分析,干擾性小,有很強(qiáng)的應(yīng)用價(jià)值,但在實(shí)踐中對(duì)決策指導(dǎo)性等深層次分析應(yīng)用相對(duì)偏少。[2]政府統(tǒng)計(jì)主要采用聯(lián)網(wǎng)直報(bào)報(bào)表或者入戶調(diào)查等手段,對(duì)結(jié)構(gòu)化數(shù)據(jù)的上報(bào)審核匯總清晰,程序嚴(yán)謹(jǐn),但是對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的收集、存儲(chǔ)和分析處理能力非常有限。為了更全面、更快捷、更準(zhǔn)確收集數(shù)據(jù),更深入分析各方面信息,深度挖掘大數(shù)據(jù)價(jià)值,形成平臺(tái)共用、數(shù)據(jù)融合、業(yè)務(wù)協(xié)同、上下聯(lián)動(dòng)的“全數(shù)據(jù)”“一盤棋”系統(tǒng),利用大數(shù)據(jù)提升政府統(tǒng)計(jì)科學(xué)決策能力和現(xiàn)代化水平,大數(shù)據(jù)與政府統(tǒng)計(jì)數(shù)據(jù)的深度融合勢(shì)在必行。
(三)人民日益增長(zhǎng)的美好生活需要
隨著數(shù)字經(jīng)濟(jì)的到來(lái),手機(jī)、電腦、移動(dòng)客戶端等逐漸成為人們?nèi)粘I缃?、生活學(xué)習(xí)工作中必不可少的一部分,如何更快捷、更準(zhǔn)確、更豐富地獲取所需大數(shù)據(jù)信息已經(jīng)成為大眾需求。所以,大數(shù)據(jù)和政府統(tǒng)計(jì)數(shù)據(jù)的融合應(yīng)用既是人民日益增長(zhǎng)的美好生活需要,也是政府統(tǒng)計(jì)部門更好服務(wù)社會(huì)、提升服務(wù)水平的重要工作之一。
二、大數(shù)據(jù)與政府部門統(tǒng)計(jì)數(shù)據(jù)融合建庫(kù)的困難
(一)標(biāo)準(zhǔn)不統(tǒng)一
雖然大數(shù)據(jù)能大大地提升政府部門統(tǒng)計(jì)工作的信息化技術(shù)水平,但是要實(shí)現(xiàn)大數(shù)據(jù)和政府部門統(tǒng)計(jì)數(shù)據(jù)的融合還面臨著一些技術(shù)難點(diǎn),其中最大難點(diǎn)就是多源異構(gòu)數(shù)據(jù)整合方法的設(shè)計(jì)研究,即缺乏對(duì)標(biāo)準(zhǔn)、規(guī)范、高效和統(tǒng)一的數(shù)據(jù)交換標(biāo)準(zhǔn)和數(shù)據(jù)管理標(biāo)準(zhǔn)的體系研究。在以往數(shù)據(jù)庫(kù)系統(tǒng)建設(shè)中,不同組織、不同系統(tǒng)建立了種類繁多的元數(shù)據(jù)體系,統(tǒng)計(jì)調(diào)查元數(shù)據(jù)的術(shù)語(yǔ)不統(tǒng)一,建模方法不統(tǒng)一,導(dǎo)致在數(shù)據(jù)生產(chǎn)的各個(gè)流程階段里元數(shù)據(jù)可比性差。如何建立一套科學(xué)有效、穩(wěn)定易用、便于交換的元數(shù)據(jù)標(biāo)準(zhǔn)是目前數(shù)據(jù)融合的最大難題。
(二)政府部門高科技技術(shù)研發(fā)能力較弱
當(dāng)前,我國(guó)互聯(lián)網(wǎng)領(lǐng)域的大數(shù)據(jù)應(yīng)用市場(chǎng)化程度較高、發(fā)展較好,但行業(yè)應(yīng)用廣度和深度明顯不足。雖然近兩年很多省市都成立了大數(shù)據(jù)局等相關(guān)機(jī)構(gòu),但技術(shù)力量薄弱。特別是在政府統(tǒng)計(jì)部門工作中的大數(shù)據(jù)應(yīng)用還在研究探索階段,政府部門缺乏專門的大數(shù)據(jù)研究機(jī)構(gòu)和人員,尤其是科技拔尖人才少,信息技術(shù)人員超負(fù)荷工作等,嚴(yán)重限制了高新技術(shù)科研水平,政府高新工作生態(tài)系統(tǒng)亟待形成和發(fā)展。
(三)數(shù)據(jù)隱私有一定安全隱患
“數(shù)據(jù)共享和數(shù)據(jù)隱私是成反比的,數(shù)據(jù)共享開(kāi)放的需求越迫切,數(shù)據(jù)隱私安全問(wèn)題就越突出?!盵3]為全方位觀察、認(rèn)知事物,最好的途徑就是對(duì)海量、高質(zhì)量數(shù)據(jù)資源進(jìn)行分析和挖掘,而共享開(kāi)放和數(shù)據(jù)跨域流通為信息建立了完整數(shù)據(jù)集??墒?,如果大數(shù)據(jù)是無(wú)序流通與共享,就可能存在隱私保護(hù)和數(shù)據(jù)安全方面的重大風(fēng)險(xiǎn)。
(四)大數(shù)據(jù)研究在政府部門工作中成果轉(zhuǎn)化力度較弱
由于人工智能、大數(shù)據(jù)、云計(jì)算和區(qū)塊鏈等新技術(shù)在政府統(tǒng)計(jì)工作中的研究還不成熟,推廣應(yīng)用規(guī)模也非常有限,成果轉(zhuǎn)化不明顯。部分領(lǐng)導(dǎo)敢于把項(xiàng)目研究落到實(shí)處試點(diǎn)的勇氣不夠,敢于創(chuàng)新的勢(shì)頭不強(qiáng),加上沒(méi)有配備專門的高新技術(shù)研發(fā)部門和實(shí)驗(yàn)試點(diǎn)經(jīng)費(fèi)等,導(dǎo)致大數(shù)據(jù)研究在政府工作中落地實(shí)施的不多,成果轉(zhuǎn)化較少。
三、大數(shù)據(jù)與政府部門統(tǒng)計(jì)數(shù)據(jù)融合建庫(kù)的對(duì)策建議
(一)建立大數(shù)據(jù)與政府部門統(tǒng)計(jì)數(shù)據(jù)統(tǒng)一的標(biāo)準(zhǔn)體系
通過(guò)研究,我們發(fā)現(xiàn)只要把數(shù)據(jù)庫(kù)分成多源異構(gòu)資源裝載的數(shù)據(jù)湖、大數(shù)據(jù)資源管理、大數(shù)據(jù)應(yīng)用三部分,完成多源、多結(jié)構(gòu)數(shù)據(jù)采集交換平臺(tái)的設(shè)計(jì),就能打破傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)無(wú)法包容多源數(shù)據(jù)的瓶頸,啃下多年的“硬骨頭”。換言之,在描述統(tǒng)計(jì)需求確認(rèn)、設(shè)計(jì)、開(kāi)發(fā)及任務(wù)部署、采集、審核上報(bào)和數(shù)據(jù)分析及匯總過(guò)程的同時(shí),加大描述統(tǒng)計(jì)數(shù)據(jù)分析及匯總、數(shù)據(jù)發(fā)布和數(shù)據(jù)存檔過(guò)程,最后使用DDI標(biāo)準(zhǔn)來(lái)描述規(guī)范統(tǒng)計(jì)數(shù)據(jù)存檔評(píng)估,利用SDMX標(biāo)準(zhǔn)指導(dǎo)大數(shù)據(jù)源數(shù)據(jù)識(shí)別,一一對(duì)應(yīng)將統(tǒng)計(jì)數(shù)據(jù)與大數(shù)據(jù)源數(shù)據(jù)融合,用DDI+SDMX標(biāo)準(zhǔn)最終實(shí)現(xiàn)統(tǒng)計(jì)數(shù)據(jù)和大數(shù)據(jù)源數(shù)據(jù)識(shí)別和交換標(biāo)準(zhǔn)的統(tǒng)一。具體步驟如下:
首先,將多元異構(gòu)原始數(shù)據(jù)導(dǎo)出成csv數(shù)據(jù)文件,根據(jù)文件中每列內(nèi)容進(jìn)入元數(shù)據(jù)編輯工具錄入DataFiles對(duì)象信息,使DataFiles中variable內(nèi)容和順序與csv文件的列內(nèi)容和順序?qū)?yīng),達(dá)到使用DDI元數(shù)據(jù)描述統(tǒng)計(jì)數(shù)據(jù)的作用。
其次,將數(shù)據(jù)描述信息導(dǎo)出生成DDI元數(shù)據(jù)文件,將兩兩配對(duì)的csv數(shù)據(jù)文件和DDI元數(shù)據(jù)文件一起提交給數(shù)據(jù)倉(cāng)庫(kù),經(jīng)過(guò)解析識(shí)別完成數(shù)據(jù)入庫(kù)。以后增加的來(lái)自外部組織的數(shù)據(jù),只要符合DDI標(biāo)準(zhǔn)或SDMX標(biāo)準(zhǔn)也可以直接被解析識(shí)別,并將信息存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中。數(shù)據(jù)庫(kù)接收到csv數(shù)據(jù)文件和DDI元數(shù)據(jù)文件,將其中的數(shù)據(jù)和元數(shù)據(jù)解析并存儲(chǔ)。
再次,“通過(guò)DDI+SDMX把入庫(kù)后的csv、excel等數(shù)據(jù)統(tǒng)一為XML載體”,[4]因?yàn)閄ML有良好的易讀性、可擴(kuò)展性與平臺(tái)無(wú)關(guān)性,還有標(biāo)簽注解等功能,特別適合做數(shù)據(jù)研究載體。這些原始數(shù)據(jù)再按照需要形成Cube用于形成主題數(shù)據(jù)集市。
通過(guò)這樣一整套完整的標(biāo)準(zhǔn)規(guī)范,上可以對(duì)接系統(tǒng)業(yè)務(wù)各個(gè)階段,如數(shù)據(jù)交換、數(shù)據(jù)共享查詢、數(shù)據(jù)分析、數(shù)據(jù)發(fā)布、數(shù)據(jù)歸檔和輔助決策等,下可以對(duì)接信息技術(shù)和系統(tǒng)平臺(tái),成為數(shù)據(jù)融合技術(shù)之間的傳輸紐帶和翻譯器。
(二)建設(shè)大數(shù)據(jù)與政府部門統(tǒng)計(jì)數(shù)據(jù)融合智庫(kù)
通過(guò)建立大數(shù)據(jù)與政府部門統(tǒng)計(jì)數(shù)據(jù)的標(biāo)準(zhǔn)體系,雖然解決了多元異構(gòu)數(shù)據(jù)融合的難題,但是融合后數(shù)據(jù)的存儲(chǔ)和管理還需要通過(guò)建智庫(kù)完成。為了更快完成大量數(shù)據(jù)的離線計(jì)算、實(shí)時(shí)查詢分析、高時(shí)效性大規(guī)模并行計(jì)算的場(chǎng)景,采用大數(shù)據(jù)架構(gòu)建立總數(shù)據(jù)庫(kù),里面包括貼源層數(shù)據(jù)庫(kù)、標(biāo)準(zhǔn)層數(shù)據(jù)庫(kù)、資源庫(kù)和大數(shù)據(jù)應(yīng)用庫(kù),用于整合、存儲(chǔ)統(tǒng)計(jì)數(shù)據(jù)和大數(shù)據(jù)源數(shù)據(jù)。首先,按照DDI+SDMX標(biāo)準(zhǔn)將多源異構(gòu)數(shù)據(jù)統(tǒng)一標(biāo)準(zhǔn)后,通過(guò)ETL工具或流式采集技術(shù)將政府部門數(shù)據(jù)和大數(shù)據(jù)等多源異構(gòu)數(shù)據(jù)整合到貼源層數(shù)據(jù)庫(kù)中,再利用SDMX和DDI中的元數(shù)據(jù)標(biāo)準(zhǔn),統(tǒng)一數(shù)據(jù)庫(kù)表結(jié)構(gòu)命令規(guī)范,形成全量數(shù)據(jù)字典目錄,將貼源層數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。然后,將標(biāo)準(zhǔn)化后的數(shù)據(jù)存儲(chǔ)在標(biāo)準(zhǔn)層數(shù)據(jù)庫(kù)中,完成政府部門統(tǒng)計(jì)數(shù)據(jù)和大數(shù)據(jù)融合后的數(shù)據(jù)入庫(kù)。
然后,按照通用統(tǒng)計(jì)業(yè)務(wù)模型GSBPM,利用ETL工具Kettle將標(biāo)準(zhǔn)層數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行重新組合,融合形成資源庫(kù)。資源庫(kù)分為基礎(chǔ)庫(kù)、專題庫(kù)和主題庫(kù),資源庫(kù)服務(wù)于現(xiàn)有業(yè)務(wù)系統(tǒng)。然后,根據(jù)數(shù)據(jù)應(yīng)用要求,利用ETL工具Kettle將標(biāo)準(zhǔn)層數(shù)據(jù)庫(kù)或資源庫(kù)中的數(shù)據(jù)進(jìn)行重新組合,融合形成應(yīng)用庫(kù)。應(yīng)用庫(kù)服務(wù)于決策支持、應(yīng)用展示以及信息資源服務(wù)。資源庫(kù)和應(yīng)用庫(kù)可利用MPP數(shù)據(jù)庫(kù)Clickhouse、Hive技術(shù)滿足在線數(shù)據(jù)實(shí)時(shí)計(jì)算以及離線數(shù)據(jù)批量計(jì)算等不同業(yè)務(wù)場(chǎng)景要求,成功構(gòu)建政府部門統(tǒng)計(jì)數(shù)據(jù)和大數(shù)據(jù)融合統(tǒng)一的大數(shù)據(jù)架構(gòu)。
(三)加大引進(jìn)和培養(yǎng)高科技人才,增強(qiáng)高科技實(shí)力
按照《重慶市新型智慧城市建設(shè)方案(2019—2022)》精神,政府應(yīng)著力構(gòu)建高新工作生態(tài)系統(tǒng)。政府各部門應(yīng)繼續(xù)加大高新技術(shù)的投入和扶持,引進(jìn)和培養(yǎng)大數(shù)據(jù)等高科技人才,建立專家咨詢顧問(wèn)機(jī)制,促進(jìn)交流合作,突出重點(diǎn)亮點(diǎn)智能項(xiàng)目,助推“數(shù)字中國(guó)”“智慧重慶”。
(四)注意加強(qiáng)數(shù)據(jù)隱私安全保護(hù)
在研究大數(shù)據(jù)與政府部門統(tǒng)計(jì)數(shù)據(jù)融合時(shí),必須要注意研究數(shù)據(jù)隱私保護(hù)的問(wèn)題,要體系化、一致性全面考慮信息網(wǎng)絡(luò)安全管理工作,制訂專門的數(shù)據(jù)安全法、個(gè)人信息保護(hù)法[5]。2016年11月7日,全國(guó)人民代表大會(huì)常務(wù)委員會(huì)發(fā)布《中華人民共和國(guó)網(wǎng)絡(luò)安全法》;2019年5月28日,國(guó)家互聯(lián)網(wǎng)信息辦公室發(fā)布《數(shù)據(jù)安全管理辦法(征求意見(jiàn)稿)》,都明確了個(gè)人信息和重要數(shù)據(jù)的收集、處理、使用和安全監(jiān)督管理的相關(guān)標(biāo)準(zhǔn)和規(guī)范,保障網(wǎng)絡(luò)安全和公民法人的合法權(quán)益。美國(guó)在2020年1月1日發(fā)布《加利福尼亞消費(fèi)者隱私法案》,該法案被稱為美國(guó)“最嚴(yán)厲、最全面的個(gè)人隱私保護(hù)法案”,大大提高了美國(guó)保護(hù)隱私的標(biāo)準(zhǔn)。這些法律法規(guī)在促進(jìn)數(shù)據(jù)的合規(guī)使用、保障個(gè)人隱私和數(shù)據(jù)安全等方面都發(fā)揮了不可或缺的重要作用,未來(lái)還需與時(shí)俱進(jìn)地完善。如何兼顧共享發(fā)展和隱私安全,平衡效率和風(fēng)險(xiǎn),在保障安全的前提下加大對(duì)大數(shù)據(jù)價(jià)值的挖掘利用,是當(dāng)前全世界在數(shù)據(jù)治理中面臨的共同課題。
(五)加強(qiáng)大數(shù)據(jù)研究成果在政府工作中的轉(zhuǎn)化應(yīng)用
科學(xué)研究不能落地應(yīng)用,就如“空中樓閣”,空有好看皮囊卻無(wú)法居住,失去了“樓閣”最基本的價(jià)值。只有爭(zhēng)取廣泛的支持與合作,加強(qiáng)交流溝通,才能讓更多有社會(huì)效益的項(xiàng)目研究技術(shù)落地,或者可以嘗試建立政府、企業(yè)等多方參與、市場(chǎng)化運(yùn)作的投資融資運(yùn)營(yíng)機(jī)制,推進(jìn)政府與社會(huì)資本合作,把研究成果從“空中”落到“地面”,促進(jìn)大數(shù)據(jù)成果和政府工作深度融合,必將大幅度提升政府部門的服務(wù)質(zhì)量和水平,惠及民生福祉。
參考文獻(xiàn):
[1]耿亞?wèn)|.政府致力變革的技術(shù)基礎(chǔ)——大數(shù)據(jù)驅(qū)動(dòng)下的政府治理變革研究述評(píng)[J].公共管理與政策評(píng)論,2020(04):87-96.
[2]余芳東.大數(shù)據(jù)在政府統(tǒng)計(jì)中的應(yīng)用、瓶頸及融合路徑[J].調(diào)研世界,2018(11):03-09.
[3]謝磊.大數(shù)據(jù)時(shí)代政府統(tǒng)計(jì)工作面臨的問(wèn)題及其策略研究[J].內(nèi)蒙古科技與經(jīng)濟(jì),2020(03):12-14.
[4]耿晴,李兵,詹偉.面向時(shí)空信息數(shù)據(jù)的大數(shù)據(jù)平臺(tái)設(shè)計(jì)[J].地理空間信息,2017(10):35-39.
[5]陳鼎昌等.大數(shù)據(jù)背景下統(tǒng)計(jì)數(shù)據(jù)資源整合探索[J].統(tǒng)計(jì)科學(xué)與實(shí)踐,2018(10):52-55.
責(zé)任編輯:張 波