張慧蕊

(葫蘆島市圖書館，遼寧葫蘆島 125000)

?

大數(shù)據(jù)：科學(xué)研究第四范式演化中的新熱點(diǎn)
——基于文獻(xiàn)綜述角度的分析

張慧蕊

(葫蘆島市圖書館，遼寧葫蘆島 125000)

大數(shù)據(jù)；科學(xué)研究；挑戰(zhàn)；趨勢(shì)

文章對(duì)有關(guān)大數(shù)據(jù)方面的研究做簡(jiǎn)要綜述，對(duì)大數(shù)據(jù)的理論研究、大數(shù)據(jù)的應(yīng)用研究、大數(shù)據(jù)時(shí)代面臨的挑戰(zhàn)和發(fā)展趨勢(shì)這4個(gè)方面進(jìn)行簡(jiǎn)要分析。

近年來，高度連接的世界和迅速擴(kuò)張的社交媒體使得數(shù)據(jù)產(chǎn)生的范圍、方式、途徑發(fā)生了翻天覆地的變化，其組成結(jié)構(gòu)、類型格式、存在形態(tài)等都愈加復(fù)雜，全球進(jìn)入到一個(gè)以數(shù)據(jù)驅(qū)動(dòng)社會(huì)創(chuàng)新、經(jīng)濟(jì)增長(zhǎng)的大數(shù)據(jù)時(shí)代。大數(shù)據(jù)時(shí)代，人類在實(shí)踐中逐漸意識(shí)到數(shù)據(jù)的重要性，并通過對(duì)數(shù)據(jù)的進(jìn)一步采集、存儲(chǔ)、整合、分析、利用發(fā)現(xiàn)新的知識(shí)、創(chuàng)造新的價(jià)值，為社會(huì)帶來全新的發(fā)展機(jī)遇。目前，大數(shù)據(jù)作為一項(xiàng)新興的信息技術(shù)，受到了大型企業(yè)、信息服務(wù)機(jī)構(gòu)乃至政府的高度重視，其帶來了一場(chǎng)知識(shí)革命，龐大的數(shù)據(jù)量將對(duì)各個(gè)領(lǐng)域產(chǎn)生巨大影響。因此，大數(shù)據(jù)成為一個(gè)至關(guān)重要的課題，吸引了大量學(xué)者對(duì)其進(jìn)行深入研究，筆者在查閱國(guó)內(nèi)外相關(guān)文獻(xiàn)的基礎(chǔ)上，對(duì)大數(shù)據(jù)的理論研究、大數(shù)據(jù)的應(yīng)用研究、大數(shù)據(jù)時(shí)代面臨的挑戰(zhàn)進(jìn)行了綜合分析，以期展望未來大數(shù)據(jù)的發(fā)展趨勢(shì)。

1 大數(shù)據(jù)的理論研究

由于“大數(shù)據(jù)”一詞是近幾年才提出的，因此理論研究是學(xué)術(shù)界研究的熱點(diǎn)，其包括大數(shù)據(jù)的內(nèi)涵、技術(shù)等方面。

1.1 大數(shù)據(jù)的內(nèi)涵

1.1.1 定義。大數(shù)據(jù)作為新出現(xiàn)的名詞，尚未有一個(gè)標(biāo)準(zhǔn)的定義，人們對(duì)大數(shù)據(jù)的理解也各不相同。全球知名咨詢機(jī)構(gòu)麥肯錫公司在其發(fā)布的研究報(bào)告中對(duì)大數(shù)據(jù)作了如下定義：其大小超越了典型數(shù)據(jù)庫(kù)軟件的采集、存儲(chǔ)、管理以及分析等能力的數(shù)據(jù)集。李國(guó)杰院士及程學(xué)旗教授認(rèn)為，大數(shù)據(jù)是指無法在可容忍的時(shí)間內(nèi)用傳統(tǒng)IT技術(shù)和軟硬件工具對(duì)其進(jìn)行感知、獲取、管理、處理和服務(wù)的數(shù)據(jù)集合[1]。學(xué)者韓翠峰則認(rèn)為，大數(shù)據(jù)是存儲(chǔ)在數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)以及由圖片、音視頻、電子郵件、社交網(wǎng)絡(luò)等產(chǎn)生的半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的總和[2]。筆者通過對(duì)比分析發(fā)現(xiàn)，大數(shù)據(jù)并非單純指數(shù)據(jù)量的大小，而是指在體量浩大、模態(tài)繁多的數(shù)據(jù)中能快速獲取有價(jià)值的信息。

1.1.2 特點(diǎn)。大數(shù)據(jù)是指無法用現(xiàn)有的軟件工具提取、存儲(chǔ)、搜索、共享、分析、處理的海量且復(fù)雜的數(shù)據(jù)集合。業(yè)界通常用“4V”來描述其特征：①數(shù)據(jù)體量巨大(Volume)。隨著科學(xué)技術(shù)的進(jìn)步與發(fā)展，數(shù)據(jù)集合的規(guī)模不斷擴(kuò)大，已由TB級(jí)升至PB級(jí)。②數(shù)據(jù)種類繁多(Variety)。目前，數(shù)據(jù)類型愈發(fā)多樣，非結(jié)構(gòu)化數(shù)據(jù)越來越多，如微博微信、圖片視頻、地理位置信息等，這對(duì)數(shù)據(jù)處理能力提出了更高要求。③處理速度快(Velocity)。隨著移動(dòng)網(wǎng)絡(luò)的發(fā)展，人們對(duì)數(shù)據(jù)的實(shí)時(shí)應(yīng)用需求變得更為普遍，因?yàn)橐恍?shù)據(jù)具有很強(qiáng)的時(shí)效性，所以需要快速處理，這是其區(qū)別于傳統(tǒng)數(shù)據(jù)挖掘的最顯著特征。④價(jià)值密度低(Value)。數(shù)據(jù)的價(jià)值巨大，但囿于傳統(tǒng)的思維方式與技術(shù)方法，其價(jià)值密度卻與數(shù)據(jù)總量成反比。NetApp指出，大數(shù)據(jù)主要包括3大要素：大分析，通過對(duì)巨大數(shù)據(jù)集合的實(shí)時(shí)分析，幫助用戶獲取新的價(jià)值；高帶寬，達(dá)到更快的數(shù)據(jù)處理速度；多內(nèi)容，能輕松實(shí)現(xiàn)數(shù)據(jù)的恢復(fù)、備份、復(fù)制與管理，在不丟失任何信息的情況下實(shí)現(xiàn)高擴(kuò)展性[3]。Wakefield Research在2012年的大數(shù)據(jù)研究中揭示了大數(shù)據(jù)的3個(gè)特點(diǎn)和現(xiàn)狀。首先，大數(shù)據(jù)已經(jīng)到達(dá)了一個(gè)臨界點(diǎn)，數(shù)據(jù)已變得普遍，現(xiàn)在其已是大家的事務(wù)。其次，大數(shù)據(jù)在開創(chuàng)領(lǐng)導(dǎo)者工作議程的價(jià)值上已經(jīng)達(dá)到了一個(gè)頂點(diǎn)。最后，關(guān)鍵業(yè)務(wù)功能不充分地支持?jǐn)?shù)據(jù)為它許諾的價(jià)值，掙扎于龐大的體積和安全問題中，公司開始重新考慮他們的數(shù)據(jù)戰(zhàn)略。

1.2 大數(shù)據(jù)的技術(shù)

大數(shù)據(jù)技術(shù)是近年來備受關(guān)注的一個(gè)熱點(diǎn)，是指從各種各樣類型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力。隨著互聯(lián)網(wǎng)的迅猛發(fā)展，數(shù)據(jù)量的增長(zhǎng)速度越來越快，傳統(tǒng)技術(shù)已無法滿足人們對(duì)大數(shù)據(jù)的處理需要，很多研究者開始關(guān)注與大數(shù)據(jù)分析相關(guān)的技術(shù)。

1.2.1 云計(jì)算。中國(guó)人民大學(xué)孟小峰教授認(rèn)為，大數(shù)據(jù)的關(guān)鍵技術(shù)主要涉及云計(jì)算和大數(shù)據(jù)分析工具[4]。云計(jì)算是大數(shù)據(jù)的基礎(chǔ)平臺(tái)，正是有了云計(jì)算技術(shù)在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理以及數(shù)據(jù)分析等方面的支撐，大數(shù)據(jù)才得以廣泛應(yīng)用。云計(jì)算技術(shù)中主要涉及文件系統(tǒng)、數(shù)據(jù)庫(kù)系統(tǒng)、檢索與查詢技術(shù)、數(shù)據(jù)分析技術(shù)等。

1.2.2 大數(shù)據(jù)分析工具。目前被廣泛關(guān)注和應(yīng)用的分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop已經(jīng)發(fā)展成為包括文件系統(tǒng)(HDFS)、數(shù)據(jù)庫(kù)(HBase、Cassandra)、數(shù)據(jù)處理(MapReuce)等功能模塊在內(nèi)的完整生態(tài)系統(tǒng)(Ecosystem)。其可以高速捕捉、發(fā)現(xiàn)并分析數(shù)量大、結(jié)構(gòu)復(fù)雜的數(shù)據(jù)，為用戶決策與創(chuàng)新提供豐富的知識(shí)和有效的答案。

1.2.3 并行數(shù)據(jù)庫(kù)。并行數(shù)據(jù)庫(kù)技術(shù)起源于20世紀(jì)80年代后期，研究的重點(diǎn)是并行數(shù)據(jù)庫(kù)的物理組織、操作算法、優(yōu)化調(diào)度策略。當(dāng)前主流的并行數(shù)據(jù)庫(kù)都支持標(biāo)準(zhǔn)SQL，并且實(shí)現(xiàn)了數(shù)據(jù)庫(kù)界過去30年提出的許多先進(jìn)技術(shù)。其主要采用shared-nothing結(jié)構(gòu)，將關(guān)系表在節(jié)點(diǎn)間橫向劃分，并利用優(yōu)化器對(duì)執(zhí)行過程進(jìn)行調(diào)度和管理，目標(biāo)是通過多個(gè)處理節(jié)點(diǎn)并行來執(zhí)行數(shù)據(jù)庫(kù)任務(wù)，提高整個(gè)數(shù)據(jù)庫(kù)系統(tǒng)的性能和可用性。

1.2.4 MapReduce。MapReduce是一種用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算的編程模型，其主要思想源于函數(shù)式編程語言以及矢量編程語言。MapReduce起初主要用來處理互聯(lián)網(wǎng)數(shù)據(jù)，但其簡(jiǎn)單而強(qiáng)大的數(shù)據(jù)處理接口和對(duì)大規(guī)模并行執(zhí)行、容錯(cuò)及負(fù)載均衡等實(shí)現(xiàn)細(xì)節(jié)的隱藏，使其迅速在機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)分析等領(lǐng)域被廣泛應(yīng)用。MapReduce將數(shù)據(jù)處理任務(wù)抽象為一系列的Map(映射)—Reduce(歸約)操作，Map主要完成數(shù)據(jù)的過濾操作，Reduce主要完成數(shù)據(jù)的聚集操作。其輸入、輸出數(shù)據(jù)均以〈key, value〉格式存儲(chǔ)，用戶在使用該編程模型時(shí)只需按照自己熟悉的語言實(shí)現(xiàn)Map函數(shù)和Reduce函數(shù)即可，MapReduce框架會(huì)自動(dòng)對(duì)任務(wù)進(jìn)行劃分以做到并行執(zhí)行[5]。

2 大數(shù)據(jù)的應(yīng)用研究

研究者除了對(duì)大數(shù)據(jù)進(jìn)行基礎(chǔ)的理論研究外，也開始傾向于應(yīng)用方面的研究，如公共事業(yè)、物流零售、文化娛樂、能源制造、金融保險(xiǎn)、IT互聯(lián)網(wǎng)等眾多領(lǐng)域。2.1 自然科學(xué)

因?qū)I(yè)需要，自然科學(xué)界很早就進(jìn)入了大數(shù)據(jù)研究時(shí)代，科學(xué)研究已經(jīng)被大數(shù)據(jù)徹底改變。如：在天文領(lǐng)域，The Sloan Digital Sky Survey已經(jīng)變成如今全球天文學(xué)家的信息來源中心；在生物科學(xué)領(lǐng)域，借助對(duì)大數(shù)據(jù)的研究，已有了建立公共數(shù)據(jù)庫(kù)行之有效的方法；在醫(yī)學(xué)領(lǐng)域，對(duì)信息技術(shù)的利用在減少醫(yī)療費(fèi)用的同時(shí)也提高了治療的質(zhì)量，實(shí)現(xiàn)了事先預(yù)防。2.2 社會(huì)科學(xué)

大數(shù)據(jù)應(yīng)用于社會(huì)科學(xué)基本是在研究工具引入計(jì)算機(jī)以后才開展的，其中尤為突出的是商業(yè)方面和社會(huì)管理方面。

2.2.1 商業(yè)方面。由于手機(jī)、電腦等通信工具的普及，海量的數(shù)據(jù)開始能夠被發(fā)現(xiàn)并收集起來。通過數(shù)據(jù)的挖掘、處理、整合，可以將存儲(chǔ)在不同系統(tǒng)中看起來毫不相關(guān)的數(shù)據(jù)聯(lián)系到一起，從中找出相關(guān)關(guān)系，并獲得一幅關(guān)于企業(yè)運(yùn)營(yíng)的完整圖景。此外，運(yùn)用大數(shù)據(jù)技術(shù)可以推動(dòng)企業(yè)的業(yè)務(wù)升級(jí)轉(zhuǎn)型，如金融類和零售類的企業(yè)以往在評(píng)估用戶信用等級(jí)和店鋪倉(cāng)儲(chǔ)方面需要耗費(fèi)大量的人力、物力，而運(yùn)用大數(shù)據(jù)分析技術(shù)之后，能及時(shí)處理相關(guān)信息，提高運(yùn)營(yíng)效率，總結(jié)發(fā)展過程中的模式，并改善預(yù)測(cè)未來的能力[6]。2.2.2 社會(huì)管理方面。世界各國(guó)政府在國(guó)家管理方面已經(jīng)引入了各種數(shù)據(jù)分析，以期從繁雜的社會(huì)現(xiàn)象中總結(jié)出科學(xué)的政策來指引民眾，保證社會(huì)的穩(wěn)定有序發(fā)展。如美國(guó)政府將犯罪率加以統(tǒng)計(jì)，以期預(yù)測(cè)未來可能發(fā)生的犯罪行為，從而預(yù)防犯罪事件的發(fā)生。

3 大數(shù)據(jù)時(shí)代的挑戰(zhàn)和趨勢(shì)

3.1 大數(shù)據(jù)時(shí)代面臨的挑戰(zhàn)

3.1.1 大數(shù)據(jù)需求不夠清晰。很多業(yè)務(wù)部門不夠了解大數(shù)據(jù)及其應(yīng)用價(jià)值，很難提出精準(zhǔn)的大數(shù)據(jù)需求，阻礙了企業(yè)對(duì)大數(shù)據(jù)的利用。同時(shí)，很多有價(jià)值的歷史數(shù)據(jù)由于沒有應(yīng)用場(chǎng)景而被刪除，導(dǎo)致了數(shù)據(jù)資產(chǎn)流失。因此，大數(shù)據(jù)從業(yè)者應(yīng)該與專家共同探討，分享大數(shù)據(jù)應(yīng)用場(chǎng)景，從而使更多的業(yè)務(wù)人員真正了解大數(shù)據(jù)的價(jià)值。

3.1.2 數(shù)據(jù)孤島現(xiàn)象嚴(yán)重。由于數(shù)據(jù)常常散落在不同的業(yè)務(wù)部門，并存儲(chǔ)在不同的數(shù)據(jù)倉(cāng)庫(kù)中，同時(shí)不同業(yè)務(wù)部門的數(shù)據(jù)技術(shù)也不盡相同，這就導(dǎo)致數(shù)據(jù)在企業(yè)內(nèi)部無法有效關(guān)聯(lián)與整合，進(jìn)而影響數(shù)據(jù)價(jià)值的挖掘。因此，如何將不同部門的數(shù)據(jù)聯(lián)通，并實(shí)現(xiàn)技術(shù)與工具的共享，值得我們深入思考。

3.1.3 數(shù)據(jù)可用性低。很多企業(yè)不夠重視大數(shù)據(jù)的預(yù)處理工作，導(dǎo)致收集到的龐大規(guī)模的數(shù)據(jù)不規(guī)范、不準(zhǔn)確、質(zhì)量差，不便于挖掘有價(jià)值的信息。因此，如何利用大數(shù)據(jù)的去冗降噪技術(shù)，提高數(shù)據(jù)的可用性和準(zhǔn)確性，一直是學(xué)界爭(zhēng)論的話題。

3.1.4 技術(shù)架構(gòu)。數(shù)據(jù)量的急劇增長(zhǎng)超越了系統(tǒng)的數(shù)據(jù)處理能力，如何構(gòu)建分布式的數(shù)據(jù)倉(cāng)庫(kù)且可方便擴(kuò)展成為挑戰(zhàn)。海量數(shù)據(jù)需要強(qiáng)大的數(shù)據(jù)中心作為支撐，如何在保證數(shù)據(jù)穩(wěn)定、支持高并發(fā)的同時(shí)，減少服務(wù)器的低負(fù)載，也將成為挑戰(zhàn)。

3.1.5 數(shù)據(jù)安全。在數(shù)據(jù)收集的過程中，暫時(shí)還沒有一個(gè)比較系統(tǒng)有效的措施來保證信息不外泄，即使有較為完備的方案，也存在著高成本與極大的復(fù)雜性，甚至?xí)a(chǎn)生新的漏洞。這些情況成為現(xiàn)階段難以逾越的鴻溝，如何保證用戶的信息安全成為大數(shù)據(jù)時(shí)代非常重要的課題。

3.1.6 人才缺乏。大數(shù)據(jù)開發(fā)建設(shè)的各個(gè)環(huán)節(jié)都離不開專業(yè)人才，據(jù)Gartner預(yù)測(cè)，到2015年，全球?qū)⑿略?40萬個(gè)與大數(shù)據(jù)相關(guān)的工作崗位，且需要的是能夠綜合掌握數(shù)學(xué)、統(tǒng)計(jì)學(xué)、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、自然語言處理等的復(fù)合型人才。因此，高校應(yīng)與企業(yè)合作，共同培養(yǎng)并造就一支熟悉大數(shù)據(jù)技術(shù)、有大數(shù)據(jù)應(yīng)用經(jīng)驗(yàn)的專業(yè)隊(duì)伍，以保證大數(shù)據(jù)市場(chǎng)的長(zhǎng)遠(yuǎn)發(fā)展。

3.1.7 數(shù)據(jù)開放。各系統(tǒng)建設(shè)缺少統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)，因而形成了很多“信息孤島”，致使數(shù)據(jù)開放程度較低，阻礙了數(shù)據(jù)的有效利用。同時(shí)，由于我國(guó)缺少有關(guān)大數(shù)據(jù)方面的立法，導(dǎo)致無法既保證數(shù)據(jù)共享又防止數(shù)據(jù)濫用。另外，如何在推動(dòng)數(shù)據(jù)全面開放、應(yīng)用、共享的同時(shí)有效保護(hù)用戶隱私，也將是大數(shù)據(jù)時(shí)代的一個(gè)重大挑戰(zhàn)。

3.2 大數(shù)據(jù)研究的發(fā)展趨勢(shì)

3.2.1 逐漸成為重要的戰(zhàn)略資源。已有越來越多的國(guó)家宣布架構(gòu)大數(shù)據(jù)的傳播機(jī)制并進(jìn)一步擴(kuò)大規(guī)模，力圖在大數(shù)據(jù)時(shí)代的信息競(jìng)爭(zhēng)環(huán)境下處于主導(dǎo)地位，相信未來大數(shù)據(jù)將成為提升機(jī)構(gòu)和企業(yè)競(jìng)爭(zhēng)力的強(qiáng)大武器。

3.2.2 在更多領(lǐng)域發(fā)揮作用。目前，大數(shù)據(jù)在互聯(lián)網(wǎng)、金融等領(lǐng)域已取得較好的應(yīng)用效果，未來相信大數(shù)據(jù)將會(huì)在更多領(lǐng)域得到應(yīng)用，以幫助企業(yè)更好地滿足用戶的現(xiàn)實(shí)需求和潛在需求，并帶來廣泛的社會(huì)價(jià)值。

3.2.3 大數(shù)據(jù)的價(jià)值要在開放的基礎(chǔ)上才能得以實(shí)現(xiàn)，尤其在公共事業(yè)方面。我國(guó)一些城市和部門正在逐漸開展數(shù)據(jù)開放工作；另外，對(duì)于不同行業(yè)，數(shù)據(jù)共享也是體現(xiàn)數(shù)據(jù)價(jià)值的重要途徑，未來相信數(shù)據(jù)共享會(huì)成為一種趨勢(shì)，并將出現(xiàn)不同領(lǐng)域的數(shù)據(jù)聯(lián)盟。

3.2.4 安全隱私問題將成為研究重點(diǎn)。在發(fā)展大數(shù)據(jù)分析的同時(shí)，對(duì)其涉及的安全隱私問題，各個(gè)研究機(jī)構(gòu)已經(jīng)開始有所作為。在設(shè)計(jì)LDCC(洛桑數(shù)據(jù)收集活動(dòng))時(shí)，NOKIA公司在與志愿者相關(guān)數(shù)據(jù)、匿名化及研究人員承諾方面做了一定的探索。

3.2.5 創(chuàng)造新的就業(yè)崗位。大數(shù)據(jù)的出現(xiàn)與應(yīng)用將創(chuàng)造一批新的就業(yè)崗位，如數(shù)據(jù)分析師、數(shù)據(jù)管理專家、數(shù)據(jù)產(chǎn)品經(jīng)理等。由于強(qiáng)烈的市場(chǎng)需求，未來高校將逐步開設(shè)大數(shù)據(jù)相關(guān)專業(yè)，同時(shí)與企業(yè)緊密合作，以培養(yǎng)專業(yè)人才。

大數(shù)據(jù)時(shí)代的到來以及大量相關(guān)技術(shù)的廣泛應(yīng)用極大地影響了承載著知識(shí)存儲(chǔ)、組織、開發(fā)與傳播重任的圖書館的命運(yùn)，如何避免被邊緣化，將自身從傳統(tǒng)意義上的靜態(tài)收集轉(zhuǎn)為動(dòng)態(tài)分析并進(jìn)行有效檢索成為圖書館從業(yè)人員當(dāng)下要解決的重要課題。

[1] 李國(guó)杰，程學(xué)旗.大數(shù)據(jù)研究：未來科技及經(jīng)濟(jì)社會(huì)發(fā)展的重大戰(zhàn)略領(lǐng)域[J].中國(guó)科學(xué)院院刊，2012(27)：648-654.

[2] 韓翠峰.大數(shù)據(jù)帶給圖書館的影響與挑戰(zhàn)[J].圖書與情報(bào)，2012(5)：38.

[3] NetApp. Big Data Solutions for Government[EB/OL].[2014-08-10].http://www.netapp.com/us/solutions/in-dustry/government/bigdata.aspx.

[4] 孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展，2013(50)：152-159.[5] 王珊等.架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào)，2011(10)：1744-1750.

[6] 徐子沛.大數(shù)據(jù)——正在到來的數(shù)據(jù)革命，以及它如何改變政府、商業(yè)與我們的生活[M].廣西：廣西師范大學(xué)出版社，2012.

(編校：嚴(yán) 真)

2015-03-23

張慧蕊(1973—)，葫蘆島市圖書館副研究館員。

G250

A

1003-1588(2015)05-0095-03