付雯 李星俊 唐志賓 彭玉嵐

摘要：如今21世紀(jì)，計算機(jī)網(wǎng)絡(luò)技術(shù)發(fā)展迅速，網(wǎng)絡(luò)發(fā)達(dá)，隨著大數(shù)據(jù)時代的來臨，大數(shù)據(jù)正在不停地深入到各行各業(yè)，海量的數(shù)據(jù)資源漸漸的成為各個行業(yè)競爭的資源寶藏。此文從分析和闡述了大數(shù)據(jù)的基本概念和較為關(guān)鍵的技術(shù)要求，以及指明了大數(shù)據(jù)應(yīng)用的幾個重要的類型，目的在于進(jìn)一步完善和優(yōu)化大數(shù)據(jù)技術(shù)與應(yīng)用技術(shù)。

關(guān)鍵詞：大數(shù)據(jù) 應(yīng)用 分析

1.背景

如今互聯(lián)網(wǎng)、云計算技術(shù)和物聯(lián)網(wǎng)技術(shù)發(fā)展迅猛，全球已經(jīng)進(jìn)入了一個數(shù)字化、信息化的時代[1]。龐大的信息資源加上龐大的市場，大數(shù)據(jù)在這個過程中不斷的被創(chuàng)新，大數(shù)據(jù)資源競爭也愈來愈烈。人們的思維方式，行為模式，及市場的商業(yè)模式日新月異。

2.大數(shù)據(jù)技術(shù)概述

2.1大數(shù)據(jù)的基本含義

大數(shù)據(jù)研究機(jī)構(gòu)認(rèn)為：“大數(shù)據(jù)”是需要處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。麥肯錫全球研究所給出的定義為：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征[2]。

2.2大數(shù)據(jù)的特征

（1）海量的數(shù)據(jù)

信息技術(shù)的高速發(fā)展，伴隨著數(shù)據(jù)的爆發(fā)性增長，如今數(shù)據(jù)的主要來源分別為以下幾處：社交網(wǎng)絡(luò)（QQ、微信、微博、推特、臉書及各個交友APP）、移動通訊、各種智能系統(tǒng)、視頻軟件，購物軟件。淘寶全球近四億的用戶每天產(chǎn)生的交易數(shù)據(jù)約為20TB;臉書約十億用戶每天產(chǎn)生的數(shù)據(jù)超過300TB[3]。如此龐大的數(shù)據(jù)，急切需更加智能的算法和強(qiáng)大的數(shù)據(jù)處理平臺來對其分析處理

（2）數(shù)據(jù)的高效性

數(shù)據(jù)通過算法進(jìn)行非?？焖俚倪壿嬏幚?，可以非?？斓膹母鞣N類型當(dāng)中快速獲得高質(zhì)高量的信息。如今我們已經(jīng)邁入了5G時代，絕大部分人的生活都離不開互聯(lián)網(wǎng)，所以每天我們每人都在產(chǎn)生大量的數(shù)據(jù)。如此龐大的數(shù)據(jù)如果不進(jìn)行及時的處理就會付出很大的成本代價，所以基于此情況，大數(shù)據(jù)處理速度有極為嚴(yán)格的要求，做到實(shí)時分析，實(shí)時更新。

（3）數(shù)據(jù)的多樣性

數(shù)據(jù)是非常多樣的，對于個人需要有各種各樣的信息，對于社會需要有各個領(lǐng)域的信息數(shù)據(jù)。數(shù)據(jù)來源，決定了數(shù)據(jù)是否具有多樣性。任何數(shù)據(jù)可產(chǎn)生作用，就如當(dāng)下應(yīng)用最廣泛的推薦系統(tǒng)。舉個簡單的例子，如果用戶逛完淘寶，點(diǎn)開抖音，它就會給用戶推相應(yīng)的廣告宣傳視頻。

（4）數(shù)據(jù)的高價值性

數(shù)據(jù)的價值是大數(shù)據(jù)的核心特性。大數(shù)據(jù)最大的價值就在于可以通過從海量的數(shù)據(jù)中挖掘提取出有需要、有價值的數(shù)據(jù)可以對這些數(shù)據(jù)進(jìn)行一個更深入的分析和較準(zhǔn)確的未來趨勢預(yù)判。大數(shù)據(jù)的應(yīng)用更多的在于人工智能上，可廣泛的云用于工業(yè)、農(nóng)業(yè)、教育、醫(yī)療等各個領(lǐng)域提高生產(chǎn)效率的同時，也提高了質(zhì)量。

3.大數(shù)據(jù)的關(guān)鍵技術(shù)

大數(shù)據(jù)本身是一種資本，而不僅僅是一種技術(shù)，它是信息技術(shù)飛速發(fā)展的必然結(jié)果[4]。對大數(shù)據(jù)采集技術(shù)、大數(shù)據(jù)預(yù)處理技術(shù)、大數(shù)據(jù)儲存及管理技術(shù)、大數(shù)據(jù)分析及挖掘技術(shù)、大數(shù)據(jù)展現(xiàn)與應(yīng)用技術(shù)。進(jìn)行進(jìn)一步完善優(yōu)化可更好地實(shí)現(xiàn)一整套大數(shù)據(jù)技術(shù)。

3.1大數(shù)據(jù)采集技術(shù)

通過RFID射頻數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)、傳感器數(shù)據(jù)及移動互聯(lián)網(wǎng)數(shù)據(jù)等方式進(jìn)行數(shù)據(jù)采集從而獲得各類型的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù)，這是大數(shù)據(jù)知識服務(wù)模型的根本[5]。重點(diǎn)是要突破分布式高速可靠的數(shù)據(jù)爬取或者采集、高速數(shù)據(jù)全映像等大數(shù)據(jù)采集技術(shù);突破高速數(shù)據(jù)解析、轉(zhuǎn)換和裝載等大數(shù)據(jù)整合技術(shù);大數(shù)據(jù)采集通常被分為大數(shù)據(jù)智能感知層和基礎(chǔ)支撐層。

3.2大數(shù)據(jù)預(yù)處理技術(shù)

大數(shù)據(jù)預(yù)處理技術(shù)主要完成對已接收的數(shù)據(jù)進(jìn)行辨析、抽取、清洗等操作。

3.3大數(shù)據(jù)儲存及管理技術(shù)

大數(shù)據(jù)存儲及管理需要使用存儲器把采集到的數(shù)據(jù)存儲起來并建立其相應(yīng)的數(shù)據(jù)庫，通過存儲器對數(shù)據(jù)進(jìn)行管理與使用。大數(shù)據(jù)存儲與管理技術(shù)其重點(diǎn)在于解決復(fù)雜結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化。主要解決大數(shù)據(jù)的可儲、可表示、可處理和可靠性等問題。

3.4大數(shù)據(jù)分析及挖掘技術(shù)

大數(shù)據(jù)分析技術(shù)是整個大數(shù)據(jù)處理的核心技術(shù)，通過對數(shù)據(jù)的分析才能使數(shù)據(jù)可利用，對趨勢有更準(zhǔn)確的判斷。數(shù)據(jù)挖掘就是從大量的、不完全的、隨機(jī)的數(shù)據(jù)中提取其中隱含的信息。起技術(shù)方法有很多，可根據(jù)挖掘任務(wù)分為分類和預(yù)測發(fā)現(xiàn)、數(shù)據(jù)總結(jié)、聚類等等。對于挖掘?qū)ο罂煞譃殛P(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、空間數(shù)據(jù)庫、時態(tài)數(shù)據(jù)庫、文本數(shù)據(jù)庫、多媒體數(shù)據(jù)庫、 異質(zhì)數(shù)據(jù)庫、遺產(chǎn)數(shù)據(jù)庫和環(huán)球網(wǎng)web。根據(jù)挖掘的方法可以大概分為機(jī)器學(xué)習(xí)法、統(tǒng)計方法、神經(jīng)網(wǎng)絡(luò)方法及數(shù)據(jù)庫方法。

4.大數(shù)據(jù)展現(xiàn)與應(yīng)用

大數(shù)據(jù)技術(shù)可以把隱藏在海量數(shù)據(jù)中的信息挖掘出來，為人類的社會經(jīng)濟(jì)活動提供依據(jù)提供方向，從而有效的提高各個行業(yè)的運(yùn)行效率，可極大的提高社會的集約化程度

4.1決策輔助

數(shù)據(jù)經(jīng)過數(shù)據(jù)分析與挖掘可以為政府企業(yè)指引一個大概的發(fā)展方向輔助其決策，為決策這提供一個直觀、精準(zhǔn)的數(shù)據(jù)支撐有利于業(yè)務(wù)的開展和高效進(jìn)行。

4.2商業(yè)推廣

使用大數(shù)據(jù)技術(shù)對用戶的習(xí)慣需求進(jìn)行分析，可以精準(zhǔn)的獲取消費(fèi)者的理念習(xí)慣，從而實(shí)現(xiàn)更加精準(zhǔn)的商務(wù)推廣。

4.3預(yù)測

預(yù)測的作用在于在海量的數(shù)據(jù)信息之中找到相互的關(guān)聯(lián)、規(guī)律，對這些規(guī)律做出預(yù)判。比如基金股票、天氣。

5.總結(jié)

如今世界發(fā)展迅速，信息流通、科技發(fā)達(dá)。大數(shù)據(jù)這個高科技時代產(chǎn)物，在未來的各個行業(yè)，都會產(chǎn)生海量的數(shù)據(jù)，就需要大數(shù)據(jù)技術(shù)與應(yīng)用互相促進(jìn)、共同發(fā)展，應(yīng)用于這些商業(yè)模式中，提高數(shù)據(jù)的價值。數(shù)據(jù)的采集、存儲、管理、處理、分析和可視化的進(jìn)步更是有助于我們處理更加復(fù)雜的數(shù)據(jù)，發(fā)掘更用價值的信息。這對于一個國家、企業(yè)、人民都是一個極具價值的工具，利用好這把利劍，造福人類。

參考文獻(xiàn)：

[1]于艷華 宋美娜 大數(shù)據(jù)[J].中興通訊技術(shù)，2013（1）：57-60.YU Yan-hua，SONG Mei-na.Bigdata[J].ZTECom-municaiton，2013（1）：57-60.

[2]https：//baike.baidu.com/item/大數(shù)據(jù)/1356941#2

[3]https：//baijiahao.baidu.com/s？Id= 160144504734265 6382&wfr= spider&for=pc

[4]李雨航.大數(shù)據(jù)應(yīng)用研綜述[J]-科技前沿 2017年8期