付雯 李星俊 唐志賓 彭玉嵐
摘要:如今21世紀(jì),計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)發(fā)展迅速,網(wǎng)絡(luò)發(fā)達(dá),隨著大數(shù)據(jù)時(shí)代的來臨,大數(shù)據(jù)正在不停地深入到各行各業(yè),海量的數(shù)據(jù)資源漸漸的成為各個(gè)行業(yè)競爭的資源寶藏。此文從分析和闡述了大數(shù)據(jù)的基本概念和較為關(guān)鍵的技術(shù)要求,以及指明了大數(shù)據(jù)應(yīng)用的幾個(gè)重要的類型,目的在于進(jìn)一步完善和優(yōu)化大數(shù)據(jù)技術(shù)與應(yīng)用技術(shù)。
關(guān)鍵詞:大數(shù)據(jù) 應(yīng)用 分析
1.背景
如今互聯(lián)網(wǎng)、云計(jì)算技術(shù)和物聯(lián)網(wǎng)技術(shù)發(fā)展迅猛,全球已經(jīng)進(jìn)入了一個(gè)數(shù)字化、信息化的時(shí)代[1]。龐大的信息資源加上龐大的市場,大數(shù)據(jù)在這個(gè)過程中不斷的被創(chuàng)新,大數(shù)據(jù)資源競爭也愈來愈烈。人們的思維方式,行為模式,及市場的商業(yè)模式日新月異。
2.大數(shù)據(jù)技術(shù)概述
2.1大數(shù)據(jù)的基本含義
大數(shù)據(jù)研究機(jī)構(gòu)認(rèn)為:“大數(shù)據(jù)”是需要處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。麥肯錫全球研究所給出的定義為:一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合,具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征[2]。
2.2大數(shù)據(jù)的特征
(1)海量的數(shù)據(jù)
信息技術(shù)的高速發(fā)展,伴隨著數(shù)據(jù)的爆發(fā)性增長,如今數(shù)據(jù)的主要來源分別為以下幾處:社交網(wǎng)絡(luò)(QQ、微信、微博、推特、臉書及各個(gè)交友APP)、移動(dòng)通訊、各種智能系統(tǒng)、視頻軟件,購物軟件。淘寶全球近四億的用戶每天產(chǎn)生的交易數(shù)據(jù)約為20TB;臉書約十億用戶每天產(chǎn)生的數(shù)據(jù)超過300TB[3]。如此龐大的數(shù)據(jù),急切需更加智能的算法和強(qiáng)大的數(shù)據(jù)處理平臺(tái)來對其分析處理
(2)數(shù)據(jù)的高效性
數(shù)據(jù)通過算法進(jìn)行非常快速的邏輯處理,可以非??斓膹母鞣N類型當(dāng)中快速獲得高質(zhì)高量的信息。如今我們已經(jīng)邁入了5G時(shí)代,絕大部分人的生活都離不開互聯(lián)網(wǎng),所以每天我們每人都在產(chǎn)生大量的數(shù)據(jù)。如此龐大的數(shù)據(jù)如果不進(jìn)行及時(shí)的處理就會(huì)付出很大的成本代價(jià),所以基于此情況,大數(shù)據(jù)處理速度有極為嚴(yán)格的要求,做到實(shí)時(shí)分析,實(shí)時(shí)更新。
(3)數(shù)據(jù)的多樣性
數(shù)據(jù)是非常多樣的,對于個(gè)人需要有各種各樣的信息,對于社會(huì)需要有各個(gè)領(lǐng)域的信息數(shù)據(jù)。數(shù)據(jù)來源,決定了數(shù)據(jù)是否具有多樣性。任何數(shù)據(jù)可產(chǎn)生作用,就如當(dāng)下應(yīng)用最廣泛的推薦系統(tǒng)。舉個(gè)簡單的例子,如果用戶逛完淘寶,點(diǎn)開抖音,它就會(huì)給用戶推相應(yīng)的廣告宣傳視頻。
(4)數(shù)據(jù)的高價(jià)值性
數(shù)據(jù)的價(jià)值是大數(shù)據(jù)的核心特性。大數(shù)據(jù)最大的價(jià)值就在于可以通過從海量的數(shù)據(jù)中挖掘提取出有需要、有價(jià)值的數(shù)據(jù)可以對這些數(shù)據(jù)進(jìn)行一個(gè)更深入的分析和較準(zhǔn)確的未來趨勢預(yù)判。大數(shù)據(jù)的應(yīng)用更多的在于人工智能上,可廣泛的云用于工業(yè)、農(nóng)業(yè)、教育、醫(yī)療等各個(gè)領(lǐng)域提高生產(chǎn)效率的同時(shí),也提高了質(zhì)量。
3.大數(shù)據(jù)的關(guān)鍵技術(shù)
大數(shù)據(jù)本身是一種資本,而不僅僅是一種技術(shù),它是信息技術(shù)飛速發(fā)展的必然結(jié)果[4]。對大數(shù)據(jù)采集技術(shù)、大數(shù)據(jù)預(yù)處理技術(shù)、大數(shù)據(jù)儲(chǔ)存及管理技術(shù)、大數(shù)據(jù)分析及挖掘技術(shù)、大數(shù)據(jù)展現(xiàn)與應(yīng)用技術(shù)。進(jìn)行進(jìn)一步完善優(yōu)化可更好地實(shí)現(xiàn)一整套大數(shù)據(jù)技術(shù)。
3.1大數(shù)據(jù)采集技術(shù)
通過RFID射頻數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)、傳感器數(shù)據(jù)及移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)等方式進(jìn)行數(shù)據(jù)采集從而獲得各類型的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù),這是大數(shù)據(jù)知識(shí)服務(wù)模型的根本[5]。重點(diǎn)是要突破分布式高速可靠的數(shù)據(jù)爬取或者采集、高速數(shù)據(jù)全映像等大數(shù)據(jù)采集技術(shù);突破高速數(shù)據(jù)解析、轉(zhuǎn)換和裝載等大數(shù)據(jù)整合技術(shù);大數(shù)據(jù)采集通常被分為大數(shù)據(jù)智能感知層和基礎(chǔ)支撐層。
3.2大數(shù)據(jù)預(yù)處理技術(shù)
大數(shù)據(jù)預(yù)處理技術(shù)主要完成對已接收的數(shù)據(jù)進(jìn)行辨析、抽取、清洗等操作。
3.3大數(shù)據(jù)儲(chǔ)存及管理技術(shù)
大數(shù)據(jù)存儲(chǔ)及管理需要使用存儲(chǔ)器把采集到的數(shù)據(jù)存儲(chǔ)起來并建立其相應(yīng)的數(shù)據(jù)庫,通過存儲(chǔ)器對數(shù)據(jù)進(jìn)行管理與使用。大數(shù)據(jù)存儲(chǔ)與管理技術(shù)其重點(diǎn)在于解決復(fù)雜結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化。主要解決大數(shù)據(jù)的可儲(chǔ)、可表示、可處理和可靠性等問題。
3.4大數(shù)據(jù)分析及挖掘技術(shù)
大數(shù)據(jù)分析技術(shù)是整個(gè)大數(shù)據(jù)處理的核心技術(shù),通過對數(shù)據(jù)的分析才能使數(shù)據(jù)可利用,對趨勢有更準(zhǔn)確的判斷。數(shù)據(jù)挖掘就是從大量的、不完全的、隨機(jī)的數(shù)據(jù)中提取其中隱含的信息。起技術(shù)方法有很多,可根據(jù)挖掘任務(wù)分為分類和預(yù)測發(fā)現(xiàn)、數(shù)據(jù)總結(jié)、聚類等等。對于挖掘?qū)ο罂煞譃殛P(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、空間數(shù)據(jù)庫、時(shí)態(tài)數(shù)據(jù)庫、文本數(shù)據(jù)庫、多媒體數(shù)據(jù)庫、 異質(zhì)數(shù)據(jù)庫、遺產(chǎn)數(shù)據(jù)庫和環(huán)球網(wǎng)web。根據(jù)挖掘的方法可以大概分為機(jī)器學(xué)習(xí)法、統(tǒng)計(jì)方法、神經(jīng)網(wǎng)絡(luò)方法及數(shù)據(jù)庫方法。
4.大數(shù)據(jù)展現(xiàn)與應(yīng)用
大數(shù)據(jù)技術(shù)可以把隱藏在海量數(shù)據(jù)中的信息挖掘出來,為人類的社會(huì)經(jīng)濟(jì)活動(dòng)提供依據(jù)提供方向,從而有效的提高各個(gè)行業(yè)的運(yùn)行效率,可極大的提高社會(huì)的集約化程度
4.1決策輔助
數(shù)據(jù)經(jīng)過數(shù)據(jù)分析與挖掘可以為政府企業(yè)指引一個(gè)大概的發(fā)展方向輔助其決策,為決策這提供一個(gè)直觀、精準(zhǔn)的數(shù)據(jù)支撐有利于業(yè)務(wù)的開展和高效進(jìn)行。
4.2商業(yè)推廣
使用大數(shù)據(jù)技術(shù)對用戶的習(xí)慣需求進(jìn)行分析,可以精準(zhǔn)的獲取消費(fèi)者的理念習(xí)慣,從而實(shí)現(xiàn)更加精準(zhǔn)的商務(wù)推廣。
4.3預(yù)測
預(yù)測的作用在于在海量的數(shù)據(jù)信息之中找到相互的關(guān)聯(lián)、規(guī)律,對這些規(guī)律做出預(yù)判。比如基金股票、天氣。
5.總結(jié)
如今世界發(fā)展迅速,信息流通、科技發(fā)達(dá)。大數(shù)據(jù)這個(gè)高科技時(shí)代產(chǎn)物,在未來的各個(gè)行業(yè),都會(huì)產(chǎn)生海量的數(shù)據(jù),就需要大數(shù)據(jù)技術(shù)與應(yīng)用互相促進(jìn)、共同發(fā)展,應(yīng)用于這些商業(yè)模式中,提高數(shù)據(jù)的價(jià)值。數(shù)據(jù)的采集、存儲(chǔ)、管理、處理、分析和可視化的進(jìn)步更是有助于我們處理更加復(fù)雜的數(shù)據(jù),發(fā)掘更用價(jià)值的信息。這對于一個(gè)國家、企業(yè)、人民都是一個(gè)極具價(jià)值的工具,利用好這把利劍,造福人類。
參考文獻(xiàn):
[1]于艷華 宋美娜 大數(shù)據(jù)[J].中興通訊技術(shù),2013(1):57-60.YU Yan-hua,SONG Mei-na.Bigdata[J].ZTECom-municaiton,2013(1):57-60.
[2]https://baike.baidu.com/item/大數(shù)據(jù)/1356941#2
[3]https://baijiahao.baidu.com/s?Id= 160144504734265 6382&wfr= spider&for=pc
[4]李雨航.大數(shù)據(jù)應(yīng)用研綜述[J]-科技前沿 2017年8期