(對外經(jīng)濟(jì)貿(mào)易大學(xué)統(tǒng)計(jì)學(xué)院 北京 100000)

一、大數(shù)據(jù)的相關(guān)概述

(一)大數(shù)據(jù)的基本概念

大數(shù)據(jù)(Big data)的基本概念指的是在獲取、存儲、分析方面、其范圍大大超出了傳統(tǒng)的數(shù)據(jù)庫軟件所能涉及的范圍的數(shù)據(jù)集合[1]。大數(shù)據(jù)的技術(shù)戰(zhàn)略意義在于對收集大量的數(shù)據(jù)并對部分有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理，在對有意義的數(shù)據(jù)進(jìn)行專業(yè)的處理后，能夠達(dá)到產(chǎn)業(yè)的盈利目標(biāo)。不同行業(yè)的大數(shù)據(jù)有著不同的特點(diǎn)和價(jià)值，但所有大數(shù)據(jù)的共同點(diǎn)是數(shù)據(jù)規(guī)模大，數(shù)據(jù)流動速度快、數(shù)據(jù)類型多樣化以及數(shù)據(jù)所含的價(jià)值密度較低的四大特征。任何需要用到大數(shù)據(jù)技術(shù)的產(chǎn)業(yè)，都必須提高對于數(shù)據(jù)的加工能力，從而為數(shù)據(jù)進(jìn)行價(jià)值的“增幅”。

大數(shù)據(jù)已經(jīng)成為了生產(chǎn)力改革變化的原動力，它將引領(lǐng)科技創(chuàng)新并促進(jìn)產(chǎn)業(yè)結(jié)構(gòu)的變革，由大數(shù)據(jù)影響所形成的“云時(shí)代”已漸漸趨于完善。但作為一個(gè)時(shí)代的核心，大數(shù)據(jù)在應(yīng)用中面臨的各種安全問題和全新挑戰(zhàn)也將接踵而至。

(二)大數(shù)據(jù)的技術(shù)構(gòu)架

1.大數(shù)據(jù)挖掘技術(shù)關(guān)鍵

大數(shù)據(jù)的存在基礎(chǔ)是建立在數(shù)據(jù)挖掘以及智能感知之上。智能感知主要工作任務(wù)是對于數(shù)據(jù)的識別、傳輸以及感知[3]。而數(shù)據(jù)挖掘則是通過對網(wǎng)絡(luò)上現(xiàn)有的多源數(shù)據(jù)進(jìn)行獲取和捕捉。在數(shù)據(jù)的采集中，存在著大量的數(shù)據(jù)信息，其中信息價(jià)值各異，要收集并篩選出有價(jià)值的信息，是大數(shù)據(jù)挖掘的技術(shù)關(guān)鍵所在。

2.大數(shù)據(jù)的預(yù)處理技術(shù)

大數(shù)據(jù)的預(yù)處理主要指的是在進(jìn)行數(shù)據(jù)挖掘的前期，通過相關(guān)技術(shù)來對數(shù)據(jù)進(jìn)行預(yù)處理，主要方式包括數(shù)據(jù)的清理、數(shù)據(jù)的集成以及數(shù)據(jù)的規(guī)約[4]。在飛速發(fā)展的現(xiàn)代，數(shù)據(jù)被大量的創(chuàng)造和復(fù)制，總體的數(shù)據(jù)樣本在不斷增加擴(kuò)大。海量的數(shù)據(jù)樣本能夠改善抽樣所造成的樣本信息不完善的缺陷。但過量的樣本也導(dǎo)致了數(shù)據(jù)單體價(jià)值的減少，冗雜過量的數(shù)據(jù)樣本導(dǎo)致空間知識貧乏[4]。因此需要在數(shù)據(jù)挖掘前對數(shù)據(jù)樣本進(jìn)行預(yù)處理，篩選無用數(shù)據(jù)，以求使數(shù)據(jù)中所蘊(yùn)藏的價(jià)值能夠得到充分利用。

3.數(shù)據(jù)實(shí)時(shí)處理技術(shù)

如今大數(shù)據(jù)處理主要應(yīng)用于互聯(lián)網(wǎng)業(yè)務(wù)中，隨著業(yè)務(wù)流程的逐漸復(fù)雜化，數(shù)據(jù)集中化。數(shù)據(jù)的挖掘與處理重點(diǎn)集中在了“數(shù)據(jù)流”上。數(shù)據(jù)的實(shí)時(shí)處理需求被強(qiáng)調(diào)。能夠?qū)崟r(shí)鏈接外部數(shù)據(jù)源，對數(shù)據(jù)進(jìn)行有效的處理。同時(shí)，還能夠?qū)⒋罅糠稚⒌男畔⑺槠M(jìn)行規(guī)整處理，從中找尋有價(jià)值的信息來提供給企業(yè)使用。比較具有代表性的就是“云計(jì)算技術(shù)”。當(dāng)常規(guī)的技術(shù)無法處理PB級大規(guī)模數(shù)據(jù)的時(shí)候，云計(jì)算技術(shù)能夠很好的溝通終端和云平臺，再通過一個(gè)大規(guī)模的分布式系統(tǒng)來對數(shù)據(jù)進(jìn)行有效的分析[4]。

4.云計(jì)算技術(shù)

云計(jì)算技術(shù)的興起有效地解決了由于海量的不同類型碎片化數(shù)據(jù)的產(chǎn)生。由于常規(guī)的數(shù)據(jù)處理技術(shù)已經(jīng)無法滿足大規(guī)模的數(shù)據(jù)計(jì)算，而云計(jì)算技術(shù)則能夠通過一個(gè)大規(guī)模的分布式系統(tǒng)加以計(jì)算和高效分析，從冗雜的數(shù)據(jù)中心提煉出與目標(biāo)匹配度最高的數(shù)據(jù)。

二、大數(shù)據(jù)在互聯(lián)網(wǎng)中的應(yīng)用

(一)大數(shù)據(jù)在互聯(lián)網(wǎng)金融中的應(yīng)用

網(wǎng)絡(luò)的發(fā)展日新月異，互聯(lián)網(wǎng)金融的發(fā)展也隨之變化。其交易成本低、交易過程快捷簡單、數(shù)據(jù)價(jià)值大、創(chuàng)新性高等特點(diǎn)讓互聯(lián)網(wǎng)金融逐漸成為人們生活的一部分[5]。但也正是由于這些特點(diǎn)，使得互聯(lián)網(wǎng)金融能夠?qū)?shù)據(jù)轉(zhuǎn)化為資源，將資源轉(zhuǎn)化為價(jià)值。隨著科技的不斷發(fā)展和變化，越來越多的互聯(lián)網(wǎng)金融產(chǎn)品出現(xiàn)。例如擁有客戶基數(shù)較大的支付寶、余額寶、微信零錢通等，均屬于新時(shí)代下的互聯(lián)網(wǎng)金融產(chǎn)品。而支付寶中芝麻信用分的評定，就是大數(shù)據(jù)在其中的應(yīng)用。通過對用戶的每一次交易進(jìn)行數(shù)據(jù)挖掘和信用評價(jià)，實(shí)時(shí)反饋每一個(gè)用戶的信用等級，并依據(jù)該等級向用戶提供等價(jià)的服務(wù)。這種建立信用評級的風(fēng)險(xiǎn)控制模型需要對大量的用戶數(shù)據(jù)進(jìn)行支付信息的分析，把錢借給信用良好的用戶，能夠有效降低財(cái)富流通的風(fēng)險(xiǎn)，其中帶來的價(jià)值正是大數(shù)據(jù)所提供的。

(二)大數(shù)據(jù)在電子商務(wù)中的應(yīng)用

MCKINSEY[6]在研究中指出，數(shù)據(jù)是基礎(chǔ)資源，可以與物質(zhì)資產(chǎn)、人力資本相提并論，為世界經(jīng)濟(jì)創(chuàng)造重要價(jià)值，提高企業(yè)和公共部門的生產(chǎn)率和競爭力，為消費(fèi)者創(chuàng)造大量的經(jīng)濟(jì)剩余。電子商務(wù)中需要大量分析潛在客戶的需求和商品的演變發(fā)展趨勢。在一定程度上，互聯(lián)網(wǎng)商務(wù)的競爭可以看做是數(shù)據(jù)信息的競爭，也就是大數(shù)據(jù)的競爭。不同于過去的消費(fèi)者基數(shù)時(shí)代和商品銷量時(shí)代，現(xiàn)代的電子商務(wù)靠的是數(shù)據(jù)信息創(chuàng)造價(jià)值[1]。

現(xiàn)如今，淘寶，京東等電子商務(wù)巨頭在網(wǎng)絡(luò)交易平臺上已經(jīng)擁有了海量的賣家和買家。大量的交易案例和商品服務(wù)產(chǎn)生的大量數(shù)據(jù)中蘊(yùn)含著潛在的商業(yè)價(jià)值。此時(shí)就需要通過大數(shù)據(jù)挖掘和篩選的方式，來整理出對企業(yè)發(fā)展有幫助的信息。通過大量分析客戶的消費(fèi)特征和消費(fèi)需求，以此為基礎(chǔ)有目的性的向正確的客戶群投放廣告。用多方位采集的到用戶數(shù)據(jù)信息來界定潛在消費(fèi)者，從而實(shí)現(xiàn)精準(zhǔn)的營銷效果[1]。

(三)大數(shù)據(jù)在網(wǎng)絡(luò)社交中的應(yīng)用

隨著互聯(lián)網(wǎng)的發(fā)展和壯大，人們的社交中心也逐漸發(fā)生轉(zhuǎn)移。相比起過去需要電話溝通或者約見面談的社交過程?，F(xiàn)代人的網(wǎng)絡(luò)社交顯得方便和快捷。較具有代表性的網(wǎng)絡(luò)社交例子就是微博、微信、Uki等社交軟件。其中以Uki為例，這款交友軟件就通過大數(shù)據(jù)的方式，將擁有共同興趣的用戶進(jìn)行劃分歸類，并以此提供交友機(jī)會。該軟件中的“群聊模式”，就是通過大數(shù)據(jù)篩選，使用戶能夠進(jìn)入自己感興趣的群，選擇語音連麥或者文字交流。用戶還可以通過UGC發(fā)布圖文動態(tài)，向陌生人展示自己的生活狀態(tài)，再通過大數(shù)據(jù)的挖掘和分析，推送有相同興趣愛好的交友對象。

(四)大數(shù)據(jù)在短視頻廣告推送中的應(yīng)用

在2012年4G時(shí)代到來后，一種以短片視頻為傳播方式的互聯(lián)網(wǎng)新媒體營運(yùn)而生。隨著移動終端的普及，短平快的大流量傳播內(nèi)容逐漸獲得各大平臺的青睞。此類短視頻所帶來的網(wǎng)紅經(jīng)濟(jì)效應(yīng)以及推廣能力離不開大數(shù)據(jù)在其中的應(yīng)用。

例如現(xiàn)在網(wǎng)絡(luò)上較為火爆的短視頻推廣軟件“抖音”，就是通過向終端客戶推送發(fā)布不限量的短視頻，通過記錄用戶對推送視頻的點(diǎn)贊數(shù)量，觀看時(shí)長等。確定終端用戶的喜好，并根據(jù)喜好來對用戶進(jìn)行視頻和廣告推送。同時(shí)，抖音這款A(yù)PP還通過以粉絲的數(shù)量來限制用戶發(fā)布短視頻的時(shí)長。無粉絲的普通用戶只能夠發(fā)布1～5秒的短視頻，而擁有了1000粉絲以上的用戶就能發(fā)布15秒的短視頻，2000粉絲以上的用戶就能夠發(fā)布30秒的短視頻。同時(shí)，通過大數(shù)據(jù)的挖掘和篩選，有選擇性的向用戶推送視頻和廣告。能夠有效提高廣告的宣傳力度，從而實(shí)現(xiàn)用戶購買宣傳產(chǎn)品，達(dá)到廣告價(jià)值。

(五)大數(shù)據(jù)在智能電網(wǎng)中的應(yīng)用

電力系統(tǒng)中每一部分的電壓變電所及輸配電線路所組成的整體，合稱為電網(wǎng)。截止2010年底全國220千伏及以上輸電線路總長度達(dá)到43萬公里，變電容量19.6億千伏安，分別是“十五”末的1.7倍和2.4倍，電網(wǎng)規(guī)模躍居世界第一。2011年前三季度，全國電網(wǎng)工程完成投資2201億元，電網(wǎng)建設(shè)新增220千伏及以上變電容量12817萬千伏安、線路長度22507千米。原本的電網(wǎng)運(yùn)營模式已經(jīng)無法滿足現(xiàn)狀，龐大的電網(wǎng)帶來了大量的數(shù)據(jù)和信息，因此對電網(wǎng)系統(tǒng)的信息處理能力提出更高的要求，而大數(shù)據(jù)則為智能電網(wǎng)的建設(shè)帶來了飛速的發(fā)展，目前呼聲最高的數(shù)據(jù)處理方式是通過建立Hadoop構(gòu)架上的數(shù)據(jù)平臺和商務(wù)服務(wù)這些措施來有效地提升電網(wǎng)系統(tǒng)的數(shù)據(jù)處理能力，利用大數(shù)據(jù)來對海量的數(shù)據(jù)信息進(jìn)行收集和處理，從而使用戶能夠更加方便的處理和分析數(shù)據(jù)，減少數(shù)據(jù)損耗造成的附加成本[1]。

三、結(jié)論與建議

如今大數(shù)據(jù)處理在互聯(lián)網(wǎng)中的應(yīng)用遠(yuǎn)遠(yuǎn)不止本文所羅列的這四種。隨著時(shí)代的變遷，大數(shù)據(jù)技術(shù)已經(jīng)獲得了極大程度的進(jìn)展，但數(shù)據(jù)的迭代和復(fù)制，使大數(shù)據(jù)的復(fù)雜程度越來越高。并且由于數(shù)據(jù)樣本不斷的上漲，數(shù)據(jù)單體所具有的價(jià)值也逐漸降低。如何使大數(shù)據(jù)在互聯(lián)網(wǎng)的應(yīng)用中得到充分的利用，使數(shù)據(jù)本身產(chǎn)生更多的價(jià)值，依舊是目前面臨的問題之一。同時(shí)，大數(shù)據(jù)在互聯(lián)網(wǎng)中應(yīng)用也應(yīng)注意相關(guān)的安全問題，應(yīng)加強(qiáng)這一方面的法律建設(shè)和管理，防止不法分子利用大數(shù)據(jù)破話社會和諧穩(wěn)定。完善大數(shù)據(jù)的應(yīng)用，能夠?yàn)槲覀儙砭薮蟮睦婧蛢r(jià)值，最終形成新的網(wǎng)絡(luò)體系。