楊云渝

云南省公路局 云南昆明 650041

大數(shù)據(jù)時(shí)代統(tǒng)計(jì)工作面臨的問(wèn)題及對(duì)策

楊云渝

云南省公路局 云南昆明 650041

“大數(shù)據(jù)”的本質(zhì)實(shí)際上是數(shù)據(jù)生產(chǎn)的社會(huì)化，其對(duì)統(tǒng)計(jì)工作的沖擊是重大的，不僅涉及到整個(gè)統(tǒng)計(jì)流程，更加對(duì)當(dāng)前的統(tǒng)計(jì)管理體制、機(jī)構(gòu)設(shè)置、數(shù)據(jù)價(jià)值等方面形成了挑戰(zhàn)。統(tǒng)計(jì)工作者必須正視這種變革，順應(yīng)這種潮流，本文就大數(shù)據(jù)時(shí)代統(tǒng)計(jì)工作面臨的的問(wèn)題及其應(yīng)對(duì)策略進(jìn)行探討。

大數(shù)據(jù)；統(tǒng)計(jì)工作；問(wèn)題；對(duì)策

一、大數(shù)據(jù)時(shí)代統(tǒng)計(jì)工作面臨的的問(wèn)題

（一）統(tǒng)計(jì)工作的硬件環(huán)境問(wèn)題。影響數(shù)據(jù)處理的因素，歸結(jié)起來(lái)主要有計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)三大方面的因素。數(shù)據(jù)計(jì)算要依靠服務(wù)器來(lái)實(shí)現(xiàn)，服務(wù)器整體表現(xiàn)出來(lái)的性能，是影響大數(shù)據(jù)處理的關(guān)鍵因素。大數(shù)據(jù)的“4V”特征使得統(tǒng)計(jì)數(shù)據(jù)在存儲(chǔ)、傳輸、分析、處理等方面均帶來(lái)本質(zhì)變化，隨著統(tǒng)計(jì)數(shù)據(jù)量的快速增長(zhǎng)，統(tǒng)計(jì)部門(mén)現(xiàn)有的存儲(chǔ)容量和技術(shù)、網(wǎng)絡(luò)帶寬能力等面臨挑戰(zhàn)。

（二）統(tǒng)計(jì)工作的數(shù)據(jù)質(zhì)量問(wèn)題。美國(guó)諺語(yǔ)云“除了上帝，任何人都必須用數(shù)據(jù)來(lái)說(shuō)話”，數(shù)據(jù)質(zhì)量如何，決定了說(shuō)話的分量。我們?nèi)匀蝗狈σ詳?shù)據(jù)為基礎(chǔ)的精確管理，有時(shí)甚至是刻意回避數(shù)據(jù)。隨著數(shù)據(jù)的公開(kāi)細(xì)化程度不斷提高，由于部分民眾對(duì)統(tǒng)計(jì)指標(biāo)和數(shù)據(jù)理解不確切，加上數(shù)據(jù)采集流程欠完善、地方政府干擾統(tǒng)計(jì)數(shù)據(jù)等原因?qū)е虏糠纸y(tǒng)計(jì)數(shù)據(jù)質(zhì)量不高，國(guó)民對(duì)統(tǒng)計(jì)數(shù)據(jù)的公信度較低。

（三）統(tǒng)計(jì)工作的數(shù)據(jù)應(yīng)用問(wèn)題。應(yīng)用數(shù)據(jù)并不是簡(jiǎn)單的數(shù)據(jù)匯總或數(shù)據(jù)羅列，而是要按照科學(xué)方法挖掘數(shù)據(jù)，對(duì)這些原始的數(shù)據(jù)進(jìn)行加工、整理和上升為重要的結(jié)論。統(tǒng)計(jì)部門(mén)既是數(shù)據(jù)的生產(chǎn)者，又是數(shù)據(jù)的消費(fèi)者，統(tǒng)計(jì)數(shù)據(jù)的應(yīng)用應(yīng)該貫穿政策倡議、決定、執(zhí)行、評(píng)估、復(fù)議的全過(guò)程，通過(guò)數(shù)據(jù)來(lái)指導(dǎo)行動(dòng)，用數(shù)據(jù)提高政府的決策效率和決策質(zhì)量。

（四）統(tǒng)計(jì)工作的數(shù)據(jù)安全性問(wèn)題。目前大部分統(tǒng)計(jì)原始數(shù)據(jù)由企業(yè)通過(guò)“一套表”聯(lián)網(wǎng)直報(bào)，在線對(duì)話活動(dòng)頻繁；主要統(tǒng)計(jì)數(shù)據(jù)通過(guò)統(tǒng)計(jì)局域網(wǎng)直接公布更新；各種辦公軟件需要實(shí)名制操作，并捆綁固定IP或電腦物理信息?，F(xiàn)在黑客的組織能力、作案工具、作案手法及隱蔽程度非常之高，很容易通過(guò)對(duì)用戶數(shù)據(jù)的深度分析，了解個(gè)人用戶行為和習(xí)慣喜好等隱私，甚至企業(yè)用戶的商業(yè)機(jī)密等，數(shù)據(jù)安全性受到全面挑戰(zhàn)。

二、大數(shù)據(jù)時(shí)代統(tǒng)計(jì)工作的應(yīng)對(duì)策略

（一）改變對(duì)樣本的定義方式。大數(shù)據(jù)是先有數(shù)據(jù)，再有總體。而不同網(wǎng)絡(luò)系統(tǒng)的相同符號(hào)也未必就是同一個(gè)個(gè)體，而且還經(jīng)常存在個(gè)體異位的情況，但對(duì)大數(shù)據(jù)的分析，仍然有一個(gè)總體口徑問(wèn)題，依然需要識(shí)別個(gè)體身份。這就需要我們改變總體與個(gè)體的定義方式。與此對(duì)應(yīng)，如果要從大數(shù)據(jù)庫(kù)中提取樣本數(shù)據(jù)，那么樣本的定義方式也需要改變。當(dāng)然，考慮到大數(shù)據(jù)的流動(dòng)變化性，任何時(shí)點(diǎn)的總體都可以被理解為一個(gè)截面樣本。

（二）改變對(duì)不確定性的認(rèn)識(shí)。對(duì)于大數(shù)據(jù)，仍然存在著個(gè)體的差異性，大數(shù)據(jù)的不確定性就不再是樣本的獲取與總體的推斷，而是數(shù)據(jù)的來(lái)源、個(gè)體的識(shí)別、信息的量化、數(shù)據(jù)的分類(lèi)、關(guān)聯(lián)物的選擇、節(jié)點(diǎn)的確定，以及結(jié)論的可能性判斷等方面?？梢哉f(shuō)，大數(shù)據(jù)的不確定性只來(lái)自于其來(lái)源的多樣性與混雜性，以及由于個(gè)體的可變性所引起的總體多變性，而不是同類(lèi)個(gè)體之間的差異性——因?yàn)槲覀円呀?jīng)掌握了一定條件下的完全信息。

（三）建立新的數(shù)據(jù)梳理與分類(lèi)方法。對(duì)于大數(shù)據(jù)，由于新的網(wǎng)絡(luò)語(yǔ)言、新的信息內(nèi)容、新的數(shù)據(jù)表現(xiàn)形式不斷出現(xiàn)，使得會(huì)產(chǎn)生哪些種類(lèi)的信息、有哪些可以利用的分類(lèi)標(biāo)識(shí)、不同標(biāo)識(shí)之間是什么關(guān)系、類(lèi)與類(lèi)之間的識(shí)別度有多大、信息與個(gè)體之間的對(duì)應(yīng)關(guān)系如何等，都無(wú)法事先加以嚴(yán)格設(shè)定或控制，往往需要事后進(jìn)行補(bǔ)充或完善。面對(duì)超大量的數(shù)據(jù)，我們只能從數(shù)據(jù)本身入手，從觀察數(shù)據(jù)分布特征入手。根據(jù)大數(shù)據(jù)的特點(diǎn)，創(chuàng)新與發(fā)展數(shù)據(jù)的梳理與分類(lèi)方法，是有效開(kāi)展大數(shù)據(jù)分析的重要前提。

（四）強(qiáng)化結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的對(duì)接。出于針對(duì)性與安全性考慮，如何既能有針對(duì)性地收集所需的結(jié)構(gòu)化數(shù)據(jù)，又能從大量非結(jié)構(gòu)化數(shù)據(jù)中挖掘出有價(jià)值的信息，使兩者相輔相成、有機(jī)結(jié)合，成了一個(gè)新的課題，值得探討的問(wèn)題包括非結(jié)構(gòu)化數(shù)據(jù)如何結(jié)構(gòu)化或結(jié)構(gòu)化數(shù)據(jù)能否采用非結(jié)構(gòu)化的表現(xiàn)形式等。通過(guò)特定的方法，實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)化與對(duì)接是完全可能的。要實(shí)現(xiàn)這種對(duì)接，必須增強(qiáng)對(duì)各種類(lèi)型數(shù)據(jù)進(jìn)行測(cè)度與描述的能力。如果說(shuō)傳統(tǒng)的基于樣本數(shù)據(jù)的統(tǒng)計(jì)分析側(cè)重于推斷，那么基于大數(shù)據(jù)的統(tǒng)計(jì)分析需要更加關(guān)注描述。

（五）歸納推斷法與演繹推理法并用。歸納推斷法是最主要的統(tǒng)計(jì)研究方法，而歸納推斷的依據(jù)通常是樣本數(shù)據(jù)。大數(shù)據(jù)是一個(gè)信息寶庫(kù)，光重視一般特征的歸納與概括是不夠的，還需要分析研究子類(lèi)信息乃至個(gè)體信息，以及某些特殊的、異常的信息，還需要通過(guò)已掌握的分布特征和相關(guān)知識(shí)與經(jīng)驗(yàn)去推理分析其他更多、更具體的規(guī)律，去發(fā)現(xiàn)更深層次的關(guān)聯(lián)關(guān)系，去對(duì)某些結(jié)論做出判斷，這就需要運(yùn)用演繹推理法。只要?dú)w納法與演繹法結(jié)合得好，我們就既可以從大數(shù)據(jù)的偶然性中發(fā)現(xiàn)必然性，又可以利用全面數(shù)據(jù)的必然性去觀察、認(rèn)識(shí)、甚至利用偶然性。

（六）統(tǒng)計(jì)技術(shù)與云計(jì)算技術(shù)融合。面對(duì)大數(shù)據(jù)中大量的非結(jié)構(gòu)化數(shù)據(jù)，要求我們?cè)诓粩鄤?chuàng)新與發(fā)展統(tǒng)計(jì)技術(shù)的同時(shí)，必須緊緊依靠現(xiàn)代信息技術(shù)、特別是云計(jì)算技術(shù)。借助云計(jì)算技術(shù)可以將網(wǎng)格計(jì)算、分布式計(jì)算、并行計(jì)算、效用計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、虛擬化、負(fù)載均衡等傳統(tǒng)計(jì)算機(jī)技術(shù)與現(xiàn)代網(wǎng)絡(luò)技術(shù)融合起來(lái)，把多個(gè)計(jì)算實(shí)體整合成一個(gè)具有強(qiáng)大計(jì)算能力的系統(tǒng)。可見(jiàn)，統(tǒng)計(jì)技術(shù)與云計(jì)算技術(shù)的融合是一種優(yōu)勢(shì)互補(bǔ)，只有這樣統(tǒng)計(jì)技術(shù)才能在大數(shù)據(jù)時(shí)代一展身手、有所作為，才能真正把統(tǒng)計(jì)思想在數(shù)據(jù)分析中得到體現(xiàn)，實(shí)現(xiàn)統(tǒng)計(jì)分析研究的目的。

[1]李金昌.大數(shù)據(jù)與統(tǒng)計(jì)新思維[J].統(tǒng)計(jì)研究,2014-3.

[2]程鑫.大數(shù)據(jù)時(shí)代傳統(tǒng)相關(guān)分析的局限與拓展[J].統(tǒng)計(jì)與決策,2015-5.

楊云渝（1981-）女，云南石屏縣人，云南省公路局主任科員，中級(jí)統(tǒng)計(jì)師。