魏 瑤/ 文

數(shù)據(jù)是統(tǒng)計(jì)分析的基礎(chǔ)，而隨著現(xiàn)代信息技術(shù)的快速發(fā)展，數(shù)據(jù)驅(qū)動(dòng)的大數(shù)據(jù)時(shí)代，以及與大數(shù)據(jù)相關(guān)的數(shù)據(jù)分析理念也發(fā)生了新的變化。2012 年由國(guó)家統(tǒng)計(jì)局統(tǒng)計(jì)科學(xué)研究所召開的大數(shù)據(jù)應(yīng)用座談會(huì)，將建立統(tǒng)計(jì)云架構(gòu)的現(xiàn)代數(shù)據(jù)統(tǒng)計(jì)研究目標(biāo)作為未來重要新興戰(zhàn)略規(guī)劃。怎樣深刻理解大數(shù)據(jù)時(shí)代？怎樣依托統(tǒng)計(jì)科學(xué)來重新審視統(tǒng)計(jì)工作？大數(shù)據(jù)體現(xiàn)了數(shù)據(jù)科學(xué)研究對(duì)象的變革。當(dāng)下，互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算等網(wǎng)絡(luò)化數(shù)據(jù)呈現(xiàn)指數(shù)級(jí)增長(zhǎng)趨勢(shì)，數(shù)據(jù)資料可謂是“秒新分異”。據(jù)相關(guān)機(jī)構(gòu)統(tǒng)計(jì)，互聯(lián)網(wǎng)一日所產(chǎn)生的全部數(shù)據(jù)可以刻滿1.68 億張DVD。哈佛大學(xué)教授加里·金提出“大數(shù)據(jù)引發(fā)的是一場(chǎng)數(shù)據(jù)革命，龐大的數(shù)據(jù)庫資源將成為各個(gè)領(lǐng)域量化進(jìn)程的標(biāo)志?！庇纱丝梢?，面對(duì)紛繁蕪雜的大數(shù)據(jù)，如何從中提取有價(jià)值的知識(shí)，才是數(shù)據(jù)統(tǒng)計(jì)分析創(chuàng)造價(jià)值的關(guān)鍵所在。

一、大數(shù)據(jù)概念及大數(shù)據(jù)時(shí)代數(shù)據(jù)統(tǒng)計(jì)的特征

（一）認(rèn)識(shí)大數(shù)據(jù)

對(duì)于大數(shù)據(jù)，眾說紛紜。字面意義中，其特征為大，而對(duì)于大，又是仁者見仁，智者見智。大數(shù)據(jù)是大數(shù)據(jù)時(shí)代的顯著特質(zhì)，數(shù)據(jù)是引領(lǐng)社會(huì)、生活、商業(yè)、科技創(chuàng)新發(fā)展的動(dòng)力。大數(shù)據(jù)時(shí)代下的數(shù)據(jù)本身，其結(jié)構(gòu)及內(nèi)容也發(fā)生了變化。狹義來講，大數(shù)據(jù)可以解釋為數(shù)據(jù)的結(jié)構(gòu)形式和規(guī)模獲得了多樣化發(fā)展；廣義來講，大數(shù)據(jù)除了數(shù)據(jù)結(jié)構(gòu)、規(guī)模外，還涵蓋數(shù)據(jù)分析處理的各類技術(shù)及方法。從數(shù)據(jù)維度來分析，橫向的大數(shù)據(jù)，延伸為數(shù)據(jù)的規(guī)模，即海量數(shù)據(jù)；縱向的大數(shù)據(jù)，延伸為數(shù)據(jù)的結(jié)構(gòu)形式，如結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等。在統(tǒng)計(jì)學(xué)領(lǐng)域，對(duì)大數(shù)據(jù)的定義，可以將之界定為超越傳統(tǒng)數(shù)據(jù)處理能力、超越傳統(tǒng)統(tǒng)計(jì)思想、無法用主流軟件工具或技術(shù)來進(jìn)行復(fù)雜數(shù)據(jù)統(tǒng)計(jì)分析的數(shù)據(jù)集合?？梢姡髷?shù)據(jù)在現(xiàn)有數(shù)據(jù)處理技術(shù)基礎(chǔ)上，還要融入網(wǎng)絡(luò)媒介，引入創(chuàng)新統(tǒng)計(jì)學(xué)方法來進(jìn)行挖掘、提取、管理、分析隱藏于大數(shù)據(jù)中的有價(jià)值知識(shí)。

（二）大數(shù)據(jù)的特征

了解大數(shù)據(jù)及其時(shí)代屬性，對(duì)于大數(shù)據(jù)，其特征表現(xiàn)在四個(gè)方面。一是大量性。大數(shù)據(jù)時(shí)代下的數(shù)據(jù)，其數(shù)量規(guī)模是巨大的，尤其是在當(dāng)下高速發(fā)展的網(wǎng)絡(luò)平臺(tái)，各類承載數(shù)據(jù)資料的網(wǎng)絡(luò)化工具、終端設(shè)備等的普及，數(shù)據(jù)資料來源的廣泛性，使得各類數(shù)據(jù)資料呈現(xiàn)指數(shù)級(jí)增長(zhǎng)。二是多樣性。單就大數(shù)據(jù)的數(shù)據(jù)類型，其種類繁多。如文本類數(shù)據(jù)，表現(xiàn)為結(jié)構(gòu)化特征；網(wǎng)絡(luò)化日志、音視頻、地理位置等半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)類型等。由于數(shù)據(jù)資料來源的廣泛性，數(shù)據(jù)的多樣性就必然存在。越來越多非結(jié)構(gòu)化數(shù)據(jù)資料的增長(zhǎng)，需要我們優(yōu)化數(shù)據(jù)統(tǒng)計(jì)分析方法和技術(shù)，從中提取有價(jià)值的數(shù)據(jù)知識(shí)。三是價(jià)值性。大數(shù)據(jù)時(shí)代下的數(shù)據(jù)統(tǒng)計(jì)分析，其價(jià)值也是巨大的。大數(shù)據(jù)不僅反映了社會(huì)、商業(yè)、生產(chǎn)、生活等方面信息，同樣這些有價(jià)值的信息可能會(huì)轉(zhuǎn)瞬即逝。通常，價(jià)值密度與數(shù)據(jù)規(guī)模成反比。以視頻數(shù)據(jù)為例，一小時(shí)的連續(xù)不間斷視頻，其有價(jià)值信息可能僅有一秒。由此，對(duì)于數(shù)據(jù)的接收、處理思想和方法，都需要轉(zhuǎn)變，從而更好地從大數(shù)據(jù)中提純有價(jià)值的數(shù)據(jù)信息。四是高速性。面對(duì)大數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)統(tǒng)計(jì)方法或工具，顯然是無法快速、高效處理大數(shù)據(jù)的，藉于大數(shù)據(jù)統(tǒng)計(jì)分析的時(shí)效性，需要我們能夠轉(zhuǎn)變統(tǒng)計(jì)分析理念，從海量數(shù)據(jù)統(tǒng)計(jì)分析中獲得高效統(tǒng)計(jì)目標(biāo)。

二、數(shù)據(jù)統(tǒng)計(jì)分析理念的三個(gè)轉(zhuǎn)變

對(duì)于大數(shù)據(jù)時(shí)代下的數(shù)據(jù)統(tǒng)計(jì)分析理念，顯然傳統(tǒng)的分析思想是需要轉(zhuǎn)變的，如何轉(zhuǎn)變？從數(shù)據(jù)統(tǒng)計(jì)研究視角，需要從三個(gè)方面來轉(zhuǎn)變。

（一）對(duì)抽樣調(diào)查理念的轉(zhuǎn)變

在統(tǒng)計(jì)學(xué)領(lǐng)域，抽樣調(diào)查是進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析、推斷，了解數(shù)據(jù)總體規(guī)律性的重要方法。但面對(duì)大數(shù)據(jù)，顯然，抽樣調(diào)查的數(shù)據(jù)對(duì)象更加復(fù)雜、多樣，傳統(tǒng)的抽樣調(diào)查方法對(duì)大數(shù)據(jù)的數(shù)據(jù)收集、處理能力有限，抽樣調(diào)查中樣本的數(shù)量、質(zhì)量與總體大數(shù)據(jù)相比，顯得片面，無法真實(shí)反映總體數(shù)據(jù)規(guī)律性。也就是說，在大數(shù)據(jù)背景下，利用傳統(tǒng)的抽樣調(diào)查方法是行不通的。原因歸結(jié)為：一是傳統(tǒng)抽樣調(diào)查中，面對(duì)大數(shù)據(jù)中數(shù)據(jù)規(guī)?？焖僭鲩L(zhǎng)、數(shù)據(jù)結(jié)構(gòu)類型多樣，隨機(jī)取樣困難等問題?，F(xiàn)代網(wǎng)絡(luò)技術(shù)環(huán)境下，對(duì)于信息數(shù)據(jù)的獲取途徑更多、更便捷，加之外出旅游、學(xué)習(xí)、更換工作崗位的次數(shù)增多，人口流動(dòng)性加快，使得數(shù)據(jù)統(tǒng)計(jì)信息出現(xiàn)更多的不規(guī)律性。同樣，面對(duì)商業(yè)領(lǐng)域，各企業(yè)經(jīng)營(yíng)狀況不穩(wěn)定，對(duì)市場(chǎng)機(jī)會(huì)的把握不力，導(dǎo)致企業(yè)經(jīng)營(yíng)風(fēng)險(xiǎn)更大，從這些企業(yè)數(shù)據(jù)信息進(jìn)行抽樣調(diào)查，無法真實(shí)反映企業(yè)實(shí)際狀況。二是事先設(shè)定的調(diào)查目標(biāo)反而局限了調(diào)查范圍及內(nèi)容。通常，抽樣調(diào)查需要先確定目標(biāo)，然后根據(jù)調(diào)查對(duì)象、調(diào)查經(jīng)費(fèi)選擇適當(dāng)?shù)恼{(diào)查樣本量。但對(duì)于大數(shù)據(jù)背景下的海量數(shù)據(jù)，前期所設(shè)定的調(diào)查目標(biāo)，不能全面反映總體要求，反而限制調(diào)查范圍。三是調(diào)查樣本量局限，抽樣結(jié)果經(jīng)不起細(xì)分。以傳統(tǒng)抽樣調(diào)查為例，在一定經(jīng)費(fèi)條件下進(jìn)行樣本量設(shè)定，如果進(jìn)行細(xì)分內(nèi)容調(diào)查，則會(huì)因樣本量太少而不具備代表性；同樣，在隨機(jī)抽樣調(diào)查中，也經(jīng)不起細(xì)分，導(dǎo)致調(diào)查結(jié)果錯(cuò)誤率增大。我們以某地企業(yè)抽樣調(diào)查為例，最初以服裝企業(yè)展開抽樣調(diào)查，之后，如果想具體了解小型服裝企業(yè)經(jīng)營(yíng)狀況，可能在抽樣樣本中滿足該條件的企業(yè)很少甚至沒有?；氐酱髷?shù)據(jù)背景下的數(shù)據(jù)抽樣調(diào)查實(shí)際，這些規(guī)模、結(jié)構(gòu)繁復(fù)的數(shù)據(jù)，更難以從樣本量中把握整體情況。四是糾偏成本高。在傳統(tǒng)抽樣統(tǒng)計(jì)調(diào)查中，抽樣框不穩(wěn)定情況多有發(fā)生，而一旦出現(xiàn)偏誤，調(diào)查結(jié)果與預(yù)計(jì)結(jié)構(gòu)相差巨大。面對(duì)大數(shù)據(jù)下瞬息萬變的數(shù)據(jù)，糾偏調(diào)整統(tǒng)計(jì)調(diào)查方案，其成本更大。

（二）對(duì)數(shù)據(jù)精確性要求的轉(zhuǎn)變

統(tǒng)計(jì)工作的目標(biāo)在于從數(shù)據(jù)分析中獲得完整性、精確性、可比性、一致性調(diào)查結(jié)果。這種要求，也是以往單一數(shù)據(jù)結(jié)構(gòu)下的數(shù)據(jù)分析結(jié)果。不過，面對(duì)大數(shù)據(jù)時(shí)代，數(shù)據(jù)來源的廣泛性、數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性、數(shù)據(jù)處理技術(shù)的多樣性，使得“精確性”數(shù)據(jù)統(tǒng)計(jì)結(jié)果是難以獲得的。也就是說，在大數(shù)據(jù)統(tǒng)計(jì)調(diào)查分析中，盲目追求精確性統(tǒng)計(jì)結(jié)果是不可取的。傳統(tǒng)調(diào)查統(tǒng)計(jì)中，數(shù)據(jù)量有限，數(shù)據(jù)來源單一，從統(tǒng)計(jì)分析中可以獲得反映總體數(shù)據(jù)特征的精確信息。但對(duì)于大數(shù)據(jù)下，“不精確數(shù)據(jù)”并非無益，也是我們認(rèn)識(shí)總體的重要參考數(shù)據(jù)。數(shù)據(jù)的“不精確性”，不會(huì)破壞數(shù)據(jù)的完整性，也有助于我們了解總體數(shù)據(jù)的真實(shí)狀況。如在“小數(shù)據(jù)”統(tǒng)計(jì)分析中，假設(shè)某人身高1.8 米，統(tǒng)計(jì)了兩次，得到一次1.8 米，一次1.6 米，則在精確性統(tǒng)計(jì)結(jié)果中會(huì)取平均值，即1.7 米；在大數(shù)據(jù)統(tǒng)計(jì)分析中，對(duì)于該身高可能測(cè)得10 萬次，其中有20 次為1.6 米，其余為1.8 米，則在統(tǒng)計(jì)結(jié)果中，就會(huì)將1.6 米的測(cè)量數(shù)據(jù)看作“異常值”予以剔除，但卻很可能認(rèn)定該人身高為1.8 米，反而更接近真實(shí)情況。所以說，大數(shù)據(jù)時(shí)代下對(duì)總體信息的統(tǒng)計(jì)分析，樣本量的增加，反而更接近總體實(shí)際值?！安痪_性”是大數(shù)據(jù)時(shí)代下數(shù)據(jù)統(tǒng)計(jì)分析處理允許的，是偶然產(chǎn)生的，但在實(shí)際統(tǒng)計(jì)調(diào)查分析中，還要加強(qiáng)數(shù)據(jù)分析方法的優(yōu)化，降低“不精確性”。

（三）對(duì)數(shù)據(jù)關(guān)系分析重點(diǎn)的轉(zhuǎn)變

傳統(tǒng)的數(shù)據(jù)統(tǒng)計(jì)分析，往往假定事物間存在某種因果關(guān)系，并據(jù)此構(gòu)建統(tǒng)計(jì)模型，驗(yàn)證假設(shè)。大數(shù)據(jù)時(shí)代下，數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)量的劇增，使得數(shù)據(jù)關(guān)系更趨復(fù)雜。因此，在大數(shù)據(jù)統(tǒng)計(jì)分析時(shí)，將不再關(guān)注“因果關(guān)系”，轉(zhuǎn)而關(guān)注事物間的關(guān)聯(lián)性。需要強(qiáng)調(diào)的是，在事物關(guān)聯(lián)關(guān)系分析中，需要注意三點(diǎn)：一是大數(shù)據(jù)統(tǒng)計(jì)分析思路不同于傳統(tǒng)統(tǒng)計(jì)方法。傳統(tǒng)統(tǒng)計(jì)分析，以假設(shè)關(guān)系為參照，探究變量間的相互關(guān)系，這是藉于“先假設(shè)，后關(guān)系”的分析思路。相反，大數(shù)據(jù)統(tǒng)計(jì)分析，往往直接分析計(jì)算現(xiàn)象之間的相依性，即存在關(guān)聯(lián)又存在關(guān)系。二是大數(shù)據(jù)統(tǒng)計(jì)分析中的關(guān)系形式不同于傳統(tǒng)統(tǒng)計(jì)分析關(guān)系形式。在小數(shù)據(jù)時(shí)代，數(shù)據(jù)統(tǒng)計(jì)中的相關(guān)關(guān)系多為線性關(guān)系，而在大數(shù)據(jù)時(shí)代，相互關(guān)聯(lián)的信息現(xiàn)象多而復(fù)雜，其關(guān)系既可以是線性關(guān)系，也可以是非線性關(guān)系。如在一些半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)計(jì)分析中，變量之間的關(guān)聯(lián)關(guān)系是無法直接進(jìn)行表示的。三是大數(shù)據(jù)統(tǒng)計(jì)分析的關(guān)系目的不同于傳統(tǒng)數(shù)據(jù)統(tǒng)計(jì)變量之間的關(guān)聯(lián)關(guān)系。在傳統(tǒng)統(tǒng)計(jì)分析中，往往探求變量之間的親疏程度，了解其因果關(guān)系，并試圖構(gòu)建回歸方程對(duì)因變量進(jìn)行預(yù)測(cè)。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)統(tǒng)計(jì)分析的目的，主要體現(xiàn)在變量或現(xiàn)象之間的關(guān)聯(lián)性，實(shí)現(xiàn)由此及彼的關(guān)聯(lián)預(yù)測(cè)。也就是說，在大數(shù)據(jù)統(tǒng)計(jì)分析中，一般不做原因分析。同時(shí)，考慮到大數(shù)據(jù)之間價(jià)值密度低，流式數(shù)據(jù)變化快，變量間的關(guān)聯(lián)關(guān)系具有時(shí)效性特征。

三、結(jié)語

大數(shù)據(jù)時(shí)代下對(duì)統(tǒng)計(jì)數(shù)據(jù)分析理念的變革，為統(tǒng)計(jì)學(xué)理論、實(shí)踐帶來了發(fā)展契機(jī)。如依托現(xiàn)代云計(jì)算、大數(shù)據(jù)統(tǒng)計(jì)分析方法，來拓展數(shù)據(jù)統(tǒng)計(jì)研究的工作范疇，增強(qiáng)統(tǒng)計(jì)學(xué)的生命力。