摘 要：在大數(shù)據(jù)背景下，數(shù)據(jù)的儲存從傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)向半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)變，同時，數(shù)據(jù)的規(guī)模也迅速擴大。這對數(shù)據(jù)的挖掘、儲存、統(tǒng)計提出了更高的要求。通過對大數(shù)據(jù)相關(guān)概念、大數(shù)據(jù)特點以及大數(shù)據(jù)的應(yīng)用進行分析，進而討論了大數(shù)據(jù)對計算科學(xué)中數(shù)據(jù)儲存、信息安全和數(shù)據(jù)挖掘的促進作用以及大數(shù)據(jù)對經(jīng)濟統(tǒng)計中總體、樣本沖突以及質(zhì)與量的矛盾。最后分析了大數(shù)據(jù)背景下計算科學(xué)與經(jīng)濟統(tǒng)計之間的融合。

關(guān)鍵詞：大數(shù)據(jù)；計算科學(xué)；經(jīng)濟統(tǒng)計

前言

伴隨著現(xiàn)代測量和傳輸設(shè)備的發(fā)展及應(yīng)用，數(shù)據(jù)形式逐漸從過去單一的傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)向半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)共存形式的復(fù)雜數(shù)據(jù)演變。而互聯(lián)網(wǎng)技術(shù)，尤其是終端移動互聯(lián)網(wǎng)技術(shù)的應(yīng)用使得大眾有了隨時隨地感知、上傳分享、捕獲這些半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的平臺。大數(shù)據(jù)概念也由此被人所提及并因此在商貿(mào)經(jīng)濟、醫(yī)療衛(wèi)生、氣象科研領(lǐng)域均有應(yīng)用。但不論大數(shù)據(jù)應(yīng)用在何種領(lǐng)域，其關(guān)鍵是數(shù)據(jù)的挖掘和數(shù)據(jù)的統(tǒng)計工作。而計算科學(xué)的應(yīng)用可以極大的提高在數(shù)據(jù)挖掘和數(shù)據(jù)統(tǒng)計工作中的效率。以大數(shù)據(jù)為視角，對計算科學(xué)與經(jīng)濟統(tǒng)計的融合及應(yīng)用進行分析，有助于大數(shù)據(jù)在日后經(jīng)濟統(tǒng)計分析領(lǐng)域中的應(yīng)用。

一、大數(shù)據(jù)相關(guān)概念及應(yīng)用現(xiàn)狀

“大數(shù)據(jù)”這一概念，最初是由托勒夫于1980年提出的。其中，“大”并不是表明這個數(shù)據(jù)的具體數(shù)量級，而是一個相對的概念。即表征現(xiàn)在所獲得的數(shù)據(jù)較之前的數(shù)據(jù)在規(guī)模上、形式上、獲得渠道和速度以及信息的價值上都是巨大的。麥肯錫咨詢公司將大數(shù)據(jù)定義為不能在短時間內(nèi)通過使用傳統(tǒng)的數(shù)據(jù)庫進行數(shù)據(jù)收集、管理保存并進行分析的數(shù)據(jù)；維基百科將大數(shù)據(jù)定義為具有龐大的資料規(guī)模導(dǎo)致現(xiàn)有的數(shù)據(jù)分析軟件工具無法進行分析并為決策者提供一定的參考信息的數(shù)據(jù)。相比于傳統(tǒng)的數(shù)據(jù)，大數(shù)據(jù)的分析方法具有可視化、數(shù)據(jù)挖掘算法、語義引擎、預(yù)測性分析能力和質(zhì)量管理五個方面的特點?？梢暬谴髷?shù)據(jù)分析的基礎(chǔ)。通過可視化分析的應(yīng)用可以使數(shù)據(jù)能夠以一種直觀的圖表形式展現(xiàn)在用戶面前，進而使得用戶可以通過直觀的對比不同的圖表分析數(shù)據(jù)背后的意義及關(guān)聯(lián)性。數(shù)據(jù)挖掘算法是進行大數(shù)據(jù)分析的核心。在海量的數(shù)據(jù)信息面前，只有通過應(yīng)用統(tǒng)計學(xué)才能深入數(shù)據(jù)內(nèi)部挖掘出有用的信息。因此，數(shù)據(jù)挖掘算法的快慢將直接影響著大數(shù)據(jù)的應(yīng)用效率。語義引擎是大數(shù)據(jù)使用互聯(lián)網(wǎng)的基礎(chǔ)。通過語義引擎的使用分析用戶在互聯(lián)網(wǎng)搜索的關(guān)鍵詞，進而達到分析用戶意圖的目的。預(yù)測性分析能力是指可以通過現(xiàn)有的大數(shù)據(jù)的使用建立數(shù)學(xué)模型以對未來數(shù)據(jù)的變化進行預(yù)測。質(zhì)量管理是指大數(shù)據(jù)可以保證數(shù)據(jù)的來源是真實有效的，是可以進行科學(xué)研究分析的。

目前，各個學(xué)科、各個領(lǐng)域的專家均對大數(shù)據(jù)有了一定的研究。例如在商貿(mào)經(jīng)濟領(lǐng)域中，通過對消費者的日常生活數(shù)據(jù)進行收集、比對，進而可以分析出消費者的消費偏好，以促進營銷者進行精準(zhǔn)營銷。而在氣象科研領(lǐng)域，通過大數(shù)據(jù)的應(yīng)用，可以獲得世界各地的實時天氣信息進而可以提高對未來天氣的預(yù)報準(zhǔn)確度。在經(jīng)濟統(tǒng)計領(lǐng)域中，李國杰等人在進行大數(shù)據(jù)分析時，通過定義第四范式這一概念，提出在未來的經(jīng)濟社會發(fā)展中應(yīng)該注重對網(wǎng)絡(luò)大數(shù)據(jù)的分析及應(yīng)用；朱建平等人以統(tǒng)計學(xué)為視角對大數(shù)據(jù)進行了定義并提出了在大數(shù)據(jù)背景下的統(tǒng)計工作思路的轉(zhuǎn)變；曾鴻等人也分析了大數(shù)據(jù)背景下對統(tǒng)計的影響。在計算科學(xué)領(lǐng)域，譚雄派等人分析了傳統(tǒng)數(shù)據(jù)庫應(yīng)用大數(shù)據(jù)時的局限性，進而討論了關(guān)系數(shù)據(jù)、非關(guān)系數(shù)據(jù)管理技術(shù)。

二、大數(shù)據(jù)對計算科學(xué)與經(jīng)濟統(tǒng)計的影響

隨著大數(shù)據(jù)在互聯(lián)網(wǎng)技術(shù)的策動下蓬勃發(fā)展，由于其全新的數(shù)據(jù)格式、巨大的數(shù)據(jù)規(guī)模以及對數(shù)據(jù)分析提出的更高要求，對計算科學(xué)和經(jīng)濟統(tǒng)計來說，是一次挑戰(zhàn)。但應(yīng)該注意到正是由于大數(shù)據(jù)對數(shù)據(jù)規(guī)模要求的提高，也對計算科學(xué)和經(jīng)濟統(tǒng)計的發(fā)展起到了反饋帶動機制。因此可以說大數(shù)據(jù)的發(fā)展和應(yīng)用對計算科學(xué)和經(jīng)濟統(tǒng)計不僅僅是挑戰(zhàn)，更是機遇。

（一）大數(shù)據(jù)對計算科學(xué)的影響

大數(shù)據(jù)的發(fā)展對計算科學(xué)在數(shù)據(jù)計算上提出了更高的要求。首先，大數(shù)據(jù)的發(fā)展帶動了數(shù)據(jù)量和儲存技術(shù)的進步。由于大數(shù)據(jù)的數(shù)據(jù)規(guī)模大、數(shù)據(jù)格式復(fù)雜的特點使得過去傳統(tǒng)的數(shù)據(jù)儲存技術(shù)難以滿足其需求。且傳統(tǒng)的數(shù)據(jù)儲存技術(shù)是通過將數(shù)據(jù)保存在一個特定的服務(wù)器上完成數(shù)據(jù)儲存的。這就造成了使用過去的方式儲存大數(shù)據(jù)時不但儲存空間多，且調(diào)閱數(shù)據(jù)效率低的問題。也正是由于大數(shù)據(jù)對新的儲存技術(shù)的要求，云存儲技術(shù)應(yīng)運而生。其次，大數(shù)據(jù)對信息安全也起到促進的作用。但同時要注意到，雖然云存儲技術(shù)解決了大數(shù)據(jù)的儲存和調(diào)閱問題，但由于大量信息上傳導(dǎo)致了信息安全性的降低。對個人來說，這增加了泄露個人隱私的風(fēng)險；對國家來說，這將導(dǎo)致國防安全的威脅。例如，斯諾登事件就是這種信息泄露的重要舉證。第三，大數(shù)據(jù)對數(shù)據(jù)挖掘技術(shù)提出了更高的要求。由于大數(shù)據(jù)中存在著各種存儲形式、各種類型的數(shù)據(jù)，使得在提取有效數(shù)據(jù)時越來越依靠數(shù)據(jù)挖掘技術(shù)。而目前的數(shù)據(jù)挖掘技術(shù)和軟件僅能提取規(guī)模較小的結(jié)構(gòu)化數(shù)據(jù)。這就要求在計算科學(xué)領(lǐng)域中不斷優(yōu)化數(shù)據(jù)挖掘的算法。

（二）大數(shù)據(jù)對經(jīng)濟統(tǒng)計的影響

首先，大數(shù)據(jù)造成了總體與樣本的沖突。傳統(tǒng)的經(jīng)濟統(tǒng)計中總是先對一個總體中分類選取不同的樣本，然后進行統(tǒng)計分析。但隨著大數(shù)據(jù)的應(yīng)用，使得所獲得的數(shù)據(jù)就是總體。這就導(dǎo)致了樣本這一概念看似在大數(shù)據(jù)中已經(jīng)被淘汰了。但需要注意的是大數(shù)據(jù)雖然掌握了大量的信息，但總有信息是無法掌握的。例如在股票市場中，大數(shù)據(jù)永遠(yuǎn)無法掌握未來的股價走勢。而且，統(tǒng)計大數(shù)據(jù)中所有的信息是需要成本的。雖然總體已經(jīng)擺在統(tǒng)計者面前，但受制于時間成本和經(jīng)濟成本，還是需要在總體中選取一定的樣本。其次，大數(shù)據(jù)還造成了數(shù)據(jù)的質(zhì)與量的沖突。由于大數(shù)據(jù)以半結(jié)構(gòu)化和非結(jié)構(gòu)化信息為主，造成了大數(shù)據(jù)信息質(zhì)量的降低，進而影響了經(jīng)濟統(tǒng)計結(jié)果。因此，這就對經(jīng)濟統(tǒng)計中數(shù)據(jù)可信度分析方法的提高和數(shù)據(jù)修正手段的豐富。

三、大數(shù)據(jù)背景下計算科學(xué)與經(jīng)濟統(tǒng)計的融合

通過對大數(shù)據(jù)影響下的計算科學(xué)與經(jīng)濟統(tǒng)計進行討論，可以看出大數(shù)據(jù)是一種思維方式。首先，大數(shù)據(jù)的發(fā)展需要統(tǒng)計學(xué)基礎(chǔ)。由于大數(shù)據(jù)的最終目的就是對數(shù)據(jù)進行分析。而且，大數(shù)據(jù)導(dǎo)致數(shù)據(jù)整齊度下降、準(zhǔn)確性降低、運算量增大。這就要求在傳統(tǒng)的經(jīng)濟統(tǒng)計學(xué)方法上不斷進行改進，尤其是對不同類型的數(shù)據(jù)進行標(biāo)準(zhǔn)化運算、偏差數(shù)據(jù)的修正進行改進。同時，為了應(yīng)對龐大的數(shù)據(jù)規(guī)模，還要求經(jīng)濟統(tǒng)計與計算科學(xué)相融合。即在數(shù)據(jù)的收集到數(shù)據(jù)的可視化以及數(shù)據(jù)挖掘、分析和預(yù)測過程中，借助計算科學(xué)與經(jīng)濟統(tǒng)計方法，通過計算科學(xué)對算法的更新，簡化計算量以應(yīng)對復(fù)雜的統(tǒng)計數(shù)據(jù)。綜合來看，就是大數(shù)據(jù)對計算科學(xué)的發(fā)展提出要求，經(jīng)濟統(tǒng)計為大數(shù)據(jù)提供基礎(chǔ)，計算科學(xué)為大數(shù)據(jù)和經(jīng)濟統(tǒng)計提供技術(shù)支持。其次，大數(shù)據(jù)還需要信息的編碼技術(shù)促進物聯(lián)網(wǎng)的發(fā)展。例如，目前對于一臺筆記本的信息記錄，主要是記錄顯示器、硬盤、內(nèi)存等信息。但是在大數(shù)據(jù)的基礎(chǔ)上，通過編碼技術(shù)的革新，還可以對筆記本的材質(zhì)、生產(chǎn)廠家和生產(chǎn)時間進行記錄。而這種技術(shù)還將應(yīng)用于其他任何物品，進而將所有物品建立起互有聯(lián)系的信息物聯(lián)網(wǎng)。

參考文獻：

[1]：李國杰、程學(xué)旗.大數(shù)據(jù)研究：未來經(jīng)濟社會發(fā)展的重大戰(zhàn)略領(lǐng)域[J].中國科學(xué)院院刊，2012.

[2]：覃雄派、王會舉、杜小勇.大數(shù)據(jù)分析—RDBMS與MapReduce的競爭與共生[J].軟件學(xué)報，2012.

[3]：朱建平、章貴軍、劉小薇.大數(shù)據(jù)時代下數(shù)據(jù)分析理念的辨析[J].統(tǒng)計研究，2014.

[4]：曾鴻、豐敏軒.大數(shù)據(jù)與統(tǒng)計變革[J].中國統(tǒng)計，2013.

作者簡介：

潘航（1985.02-）：女，滿族，遼寧鳳城人，大學(xué)本科學(xué)歷，聯(lián)動優(yōu)勢科技有限公司，高級數(shù)據(jù)分析師，主要從事大數(shù)據(jù)分析工作。