武思翮

摘 要：科技的迅速發(fā)展與積累使人類快速步入大數(shù)據(jù)時代。大數(shù)據(jù)分析和統(tǒng)計學(xué)均是分析數(shù)據(jù)的科學(xué)，它們之間有許多相同點(diǎn)和差異點(diǎn)，大數(shù)據(jù)的飛快發(fā)展不僅為傳統(tǒng)統(tǒng)計學(xué)發(fā)展提供了巨大挑戰(zhàn)，更帶來了難得的機(jī)遇，研究大數(shù)據(jù)背景下統(tǒng)計學(xué)的發(fā)展脈絡(luò)具有重大意義。文章以大數(shù)據(jù)背景下大數(shù)據(jù)的內(nèi)涵與特點(diǎn)為出發(fā)點(diǎn)，分析討論了大數(shù)據(jù)對統(tǒng)計學(xué)學(xué)科發(fā)展的機(jī)遇和挑戰(zhàn)，進(jìn)而提出大數(shù)據(jù)背景下統(tǒng)計學(xué)發(fā)展建議，望對新時代下統(tǒng)計學(xué)的發(fā)展變革與社會經(jīng)濟(jì)的進(jìn)步與增長有所裨益。

關(guān)鍵詞：大數(shù)據(jù)；統(tǒng)計學(xué)；挑戰(zhàn)；機(jī)遇；發(fā)展建議

中圖分類號：C81 文獻(xiàn)標(biāo)識碼：A 文章編號：1671-2064（2018）21-0241-02

1 引言

采集、分析、展示與解釋數(shù)據(jù)是統(tǒng)計學(xué)研究的核心內(nèi)容，其研究對象是基于總體的隨機(jī)抽樣樣本，然而隨著科學(xué)技術(shù)的進(jìn)步與積累，信息化技術(shù)的應(yīng)用使得傳統(tǒng)難以收集的數(shù)據(jù)得以實(shí)現(xiàn)，大數(shù)據(jù)已進(jìn)入數(shù)據(jù)科學(xué)的研究視野[1]。大數(shù)據(jù)最明顯的特征是數(shù)據(jù)規(guī)模大，大數(shù)據(jù)分析不只是單純?nèi)讉€單一個體的某一項(xiàng)數(shù)據(jù)，而是采取全體所有數(shù)據(jù)進(jìn)行分析研究，基于大規(guī)模數(shù)據(jù)的科學(xué)分析能夠使我們獲取傳統(tǒng)統(tǒng)計學(xué)研究只采用抽樣樣本分析時不能企及的全新視野，為統(tǒng)計學(xué)未來發(fā)展提供了良好機(jī)遇與巨大挑戰(zhàn)[2]。因此，在大數(shù)據(jù)背景下研究統(tǒng)計學(xué)的發(fā)展思路，結(jié)合時代特點(diǎn)重構(gòu)傳統(tǒng)統(tǒng)計學(xué)研究框架對數(shù)據(jù)科學(xué)乃至社會發(fā)展具有重大現(xiàn)實(shí)意義。

2 大數(shù)據(jù)的內(nèi)涵與特點(diǎn)

數(shù)據(jù)是指表征客觀事物性質(zhì)、狀態(tài)及相互關(guān)系的可識別符號，而大數(shù)據(jù)則是在一定時空范圍內(nèi)利用一定測量手段進(jìn)行收集、分析、處理和解釋的海量數(shù)據(jù)集合。近年來在以互聯(lián)網(wǎng)為載體的發(fā)展背景下，大數(shù)據(jù)主要來源于網(wǎng)絡(luò)數(shù)據(jù)，在互聯(lián)網(wǎng)和物聯(lián)網(wǎng)中對事物信息進(jìn)行標(biāo)識，通過計算機(jī)讀取功能讀取事物“標(biāo)識碼”，將事物的屬性信息轉(zhuǎn)化為能夠在網(wǎng)絡(luò)上進(jìn)行輸送傳遞的有效數(shù)據(jù)，進(jìn)而由數(shù)據(jù)處理中心進(jìn)行存儲。在此數(shù)據(jù)識別、轉(zhuǎn)化、傳輸和存儲過程中，通過數(shù)據(jù)傳輸痕跡可以得到海量數(shù)據(jù)，即所謂的大數(shù)據(jù)[3-4]。

大數(shù)據(jù)根據(jù)數(shù)據(jù)存儲形式可劃分為結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)三種類型。結(jié)構(gòu)化數(shù)據(jù)可以應(yīng)用二維表形式進(jìn)行邏輯表達(dá)，而非結(jié)構(gòu)化數(shù)據(jù)沒有標(biāo)準(zhǔn)表達(dá)格式，半結(jié)構(gòu)化數(shù)據(jù)介于兩者之間，表達(dá)形式較為規(guī)范，主要為純文本數(shù)據(jù)。進(jìn)入大數(shù)據(jù)時代以來，諸多領(lǐng)域產(chǎn)生了高維復(fù)雜數(shù)據(jù)，隨著人們對其進(jìn)行逐步深入研究，普遍認(rèn)為大數(shù)據(jù)具有海量化、多樣化、快速化、價值化和真實(shí)化五個特點(diǎn)。海量化是指數(shù)據(jù)規(guī)模龐大，數(shù)據(jù)量已經(jīng)不再是傳統(tǒng)TB、PB級別，而是EB甚至ZB數(shù)量級，海量化特征體現(xiàn)在數(shù)據(jù)規(guī)模呈現(xiàn)爆炸式增長。多樣化是指是數(shù)據(jù)種類繁多且復(fù)雜，數(shù)據(jù)不只是增長速度快，而且數(shù)據(jù)類型也豐富多樣。數(shù)據(jù)包括文字、圖片、視頻、音頻、動圖和位置等形式，如何處理這些類型不同但卻存在關(guān)聯(lián)的數(shù)據(jù)目前也是一個巨大的挑戰(zhàn)?？焖倩侵复髷?shù)據(jù)時效性強(qiáng)，巨量數(shù)據(jù)產(chǎn)生、更新速度極快，能否及時從中得到反饋信息非常考驗(yàn)相關(guān)組織的能力，快速化要求大數(shù)據(jù)處理速度很高。價值化是指數(shù)據(jù)價值的挖掘與利用，大數(shù)據(jù)的價值從不體現(xiàn)在本身，而更主要的是體現(xiàn)在數(shù)據(jù)的深度挖掘上，如何分析數(shù)據(jù)獲取有價值信息才是數(shù)據(jù)科學(xué)的研究目的及其價值體現(xiàn)。真實(shí)性是指數(shù)據(jù)收集來源于客觀記錄，并不具備任何主觀行為[5]。

3 大數(shù)據(jù)對統(tǒng)計學(xué)發(fā)展的機(jī)遇與挑戰(zhàn)

基于分析數(shù)據(jù)內(nèi)在關(guān)系本質(zhì)的大數(shù)據(jù)分析與統(tǒng)計學(xué)有著相當(dāng)緊密的聯(lián)系，大數(shù)據(jù)時代的到來不僅為統(tǒng)計學(xué)發(fā)展提供了良好機(jī)遇，而且還帶來了巨大挑戰(zhàn)。在發(fā)展機(jī)遇方面，大數(shù)據(jù)時代背景下，統(tǒng)計學(xué)的思維方式也發(fā)生著重大變化，基于傳統(tǒng)統(tǒng)計的基礎(chǔ)理論在大數(shù)據(jù)沖擊下進(jìn)行著新一代變革，統(tǒng)計學(xué)研究對象、統(tǒng)計學(xué)假設(shè)檢驗(yàn)、統(tǒng)計學(xué)因果關(guān)系、統(tǒng)計學(xué)模型構(gòu)建等傳統(tǒng)統(tǒng)計學(xué)理論不斷接近于現(xiàn)實(shí)情況。此外，大數(shù)據(jù)背景大幅度提高了統(tǒng)計學(xué)學(xué)科的效率，使得傳統(tǒng)統(tǒng)計學(xué)可以利用計算機(jī)信息技術(shù)彌補(bǔ)抽樣統(tǒng)計中數(shù)據(jù)量較少、不夠全面和處理數(shù)據(jù)時間過長等不足。同時，大數(shù)據(jù)的發(fā)展擴(kuò)大了統(tǒng)計學(xué)的應(yīng)用范圍，補(bǔ)充并延伸了統(tǒng)計學(xué)科體系。如今大數(shù)據(jù)使統(tǒng)計學(xué)有了新的發(fā)展方向的同時，也使得統(tǒng)計學(xué)方法可以更廣泛應(yīng)用于更多領(lǐng)域，無論是企業(yè)、政府、人工智能，還是醫(yī)療、金融、服務(wù)等行業(yè)都需要分析海量數(shù)據(jù)，大數(shù)據(jù)使統(tǒng)計學(xué)地位變得更加重要[6]。

在發(fā)展挑戰(zhàn)方面，傳統(tǒng)統(tǒng)計學(xué)基本采用隨機(jī)抽樣的方法得到樣本數(shù)據(jù)，進(jìn)而挖掘、分析并推斷整體，因此得到的結(jié)果無法精確對應(yīng)每一個個體，只能有概率化的數(shù)據(jù)方向。大數(shù)據(jù)背景下統(tǒng)計學(xué)的研究對象已從樣本趨于總體，是所有數(shù)據(jù)的集合而并非之前抽樣數(shù)據(jù)。其次，在大數(shù)據(jù)背景下，數(shù)據(jù)時時刻刻都在產(chǎn)生，傳統(tǒng)靜態(tài)讀取數(shù)據(jù)信息的方式已不能服務(wù)于大數(shù)據(jù)庫系統(tǒng)，現(xiàn)有結(jié)構(gòu)和體系下的數(shù)據(jù)必須采用動態(tài)方法邊讀取邊分析，并且計算機(jī)處理速度也遠(yuǎn)遠(yuǎn)達(dá)不到所希望的要求，因此，大數(shù)據(jù)對統(tǒng)計學(xué)應(yīng)用計算機(jī)的體系結(jié)構(gòu)也提出了更高的要求。此外，傳統(tǒng)統(tǒng)計學(xué)所處理的數(shù)據(jù)要求均是結(jié)構(gòu)化數(shù)據(jù)，而大數(shù)據(jù)時代所搜集到的數(shù)據(jù)信息并非只是結(jié)構(gòu)化類型，80%左右數(shù)據(jù)是非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，抽樣統(tǒng)計的方法在數(shù)據(jù)結(jié)構(gòu)類型繁多的狀況下已經(jīng)越來越難以適應(yīng)，因此，如何從非結(jié)構(gòu)化數(shù)據(jù)中提取有價值信息，將結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行相互轉(zhuǎn)化，發(fā)展傳統(tǒng)統(tǒng)計學(xué)處理非結(jié)構(gòu)化數(shù)據(jù)的功能將是大數(shù)據(jù)背景下密切關(guān)注的問題[7]。

4 大數(shù)據(jù)背景下統(tǒng)計學(xué)發(fā)展建議

大數(shù)據(jù)不僅是計算機(jī)信息技術(shù)的變革，更重要的是數(shù)據(jù)應(yīng)用的變革，兩者共同改變著傳統(tǒng)統(tǒng)計學(xué)的發(fā)展模式。在大數(shù)據(jù)背景下，傳統(tǒng)統(tǒng)計學(xué)發(fā)展面臨著巨大挑戰(zhàn)，但同時也迎來前所未有的機(jī)遇，結(jié)合傳統(tǒng)統(tǒng)計學(xué)的發(fā)展機(jī)遇與挑戰(zhàn)為統(tǒng)計學(xué)未來發(fā)展提供建議具有重大意義。

首先，加強(qiáng)人才培養(yǎng)輸送，提升大數(shù)據(jù)統(tǒng)計人員的綜合水平。國家層面應(yīng)該高度重視人才培養(yǎng)工作，在政策制定、資源投入、人才培養(yǎng)等方面應(yīng)出臺有效政策措施給予強(qiáng)強(qiáng)有力支持，大數(shù)據(jù)時代打的不僅是信息戰(zhàn)、技術(shù)戰(zhàn)，更重要的是人才戰(zhàn)。其次高校和研究院所應(yīng)結(jié)合當(dāng)代使命，擬定、制定或改革傳統(tǒng)統(tǒng)計學(xué)培養(yǎng)方案，逐漸建立從數(shù)據(jù)分析到大數(shù)據(jù)分析的統(tǒng)計模式和理論體系，在數(shù)據(jù)搜集、前期處理、整合結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)、提高計算速度與效率等方面加大努力，將大數(shù)據(jù)與統(tǒng)計學(xué)相互關(guān)聯(lián)，取優(yōu)彌短，共同發(fā)展[6-7]。最后，從現(xiàn)實(shí)意義講，理論與技術(shù)發(fā)展的動力源于生產(chǎn)實(shí)際，因此，國家、科研院所與企業(yè)間也要不斷加強(qiáng)發(fā)展合作，建立良性的大數(shù)據(jù)與統(tǒng)計學(xué)的生態(tài)系統(tǒng)產(chǎn)業(yè)鏈，以提高生產(chǎn)力為目的，強(qiáng)化大數(shù)據(jù)與統(tǒng)計技術(shù)的應(yīng)用服務(wù)；以大數(shù)據(jù)鏈建設(shè)為載體，建立大數(shù)據(jù)安全網(wǎng)絡(luò)；以大數(shù)據(jù)平臺為支撐，提高統(tǒng)計軟件的新時代發(fā)展與應(yīng)用，打造大數(shù)據(jù)背景下統(tǒng)計學(xué)發(fā)展多方共贏的產(chǎn)業(yè)圈；以市場主體為依托，全面融入大數(shù)據(jù)與統(tǒng)計發(fā)展新時代。

參考文獻(xiàn)

[1]陳鞏，譚雪霏，趙春波.大數(shù)據(jù)背景下統(tǒng)計新思維的探索研究[J].信息通信，2016，（12）：163-164.

[2]孫雪琴.大數(shù)據(jù)背景下對統(tǒng)計學(xué)發(fā)展的思考[J].科技經(jīng)濟(jì)市場，2016，（5）：184.

[3]朱建平，張悅涵.大數(shù)據(jù)時代對傳統(tǒng)統(tǒng)計學(xué)變革的思考[J].統(tǒng)計研究，2016，（2）：3-9.

[4]楊秀艷.大數(shù)據(jù)背景下統(tǒng)計學(xué)相關(guān)概念解讀[J].統(tǒng)計科學(xué)與實(shí)踐，2018，（3）：38-40.

[5]王澤賢.大數(shù)據(jù)背景下統(tǒng)計學(xué)面臨的挑戰(zhàn)[J]時代金融2016，（11）：237-241.

[6]王麗君.關(guān)于大數(shù)據(jù)背景下統(tǒng)計學(xué)相關(guān)問題的研究[J].中國高新區(qū)，2018，（7）：208-209.

[7]韓建彬.大數(shù)據(jù)分析與數(shù)理統(tǒng)計的比較[J].信息與電腦，2018，（5）：134-137.