亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        大數(shù)據(jù)研究綜述

        2017-01-21 16:37:46卿勇
        軟件導(dǎo)刊 2016年12期
        關(guān)鍵詞:三網(wǎng)融合關(guān)鍵技術(shù)大數(shù)據(jù)

        卿勇

        摘 要:信息技術(shù)的迅速發(fā)展,促使物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)三網(wǎng)融合,并衍生出海量數(shù)據(jù),大數(shù)據(jù)時(shí)代已悄然來臨。以幾何倍數(shù)增長(zhǎng)的數(shù)據(jù)如何高效率地采集、處理、挖掘是大數(shù)據(jù)領(lǐng)域亟待解決的關(guān)鍵問題。闡述了大數(shù)據(jù)的定義、國(guó)內(nèi)外研究現(xiàn)狀及特點(diǎn)、大數(shù)據(jù)的關(guān)鍵技術(shù),提出了大數(shù)據(jù)的發(fā)展趨勢(shì)。

        關(guān)鍵詞:大數(shù)據(jù);三網(wǎng)融合;關(guān)鍵技術(shù)

        DOIDOI:10.11907/rjdk.161834

        中圖分類號(hào):TP301

        文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1672-7800(2016)012-0175-02

        0 引言

        在數(shù)據(jù)量以幾何級(jí)數(shù)方式迅猛增長(zhǎng)的今天,隨著物聯(lián)網(wǎng)數(shù)據(jù)感知、云計(jì)算數(shù)據(jù)計(jì)算、三網(wǎng)融合以及移動(dòng)互聯(lián)網(wǎng)的迅速發(fā)展,數(shù)據(jù)增長(zhǎng)快、數(shù)據(jù)類型多、價(jià)值密度低,大量的數(shù)據(jù)信息已不能以傳統(tǒng)的計(jì)量單位(GB和TB)來衡量,產(chǎn)生更為巨大的計(jì)量單位,如PB、EB、ZB、YB等,使用現(xiàn)有的數(shù)據(jù)庫(kù)管理工具難以進(jìn)行數(shù)據(jù)快速獲取、存儲(chǔ)、檢索等操作。通過對(duì)大數(shù)據(jù)的抓取、管理和處理,挖掘出有價(jià)值的數(shù)據(jù)或信息,可以極大地提升數(shù)據(jù)的有效率和利用率。

        1 國(guó)內(nèi)外研究現(xiàn)狀

        信息與網(wǎng)絡(luò)的飛速發(fā)展,信息量大量增長(zhǎng);計(jì)算機(jī)硬件成本逐漸降低,使得昂貴的數(shù)據(jù)存儲(chǔ)和處理變得經(jīng)濟(jì)。谷歌的MapReduce、GFS和BigTable等核心技術(shù)引起了雅虎、Facebook等互聯(lián)網(wǎng)公司的注意,為目前應(yīng)用最廣泛的開源大數(shù)據(jù)框架Apache Hadoop的誕生奠定了基礎(chǔ)。聯(lián)合國(guó)發(fā)布的《大數(shù)據(jù)促進(jìn)發(fā)展:挑戰(zhàn)與機(jī)遇》大數(shù)據(jù)政務(wù)白皮書指出,大數(shù)據(jù)對(duì)人類而言是一個(gè)歷史性的挑戰(zhàn)和機(jī)遇。

        美國(guó)政府耗費(fèi)巨資投入大數(shù)據(jù)技術(shù)研究,頒布了《大數(shù)據(jù)研究和發(fā)展計(jì)劃》,目標(biāo)是通過大數(shù)據(jù)技術(shù)實(shí)現(xiàn)感知、認(rèn)知和預(yù)測(cè)支持的結(jié)合,增強(qiáng)信息提取分析、情報(bào)獲取和對(duì)目標(biāo)的洞察能力,培養(yǎng)該領(lǐng)域的技術(shù)人才。投入155個(gè)項(xiàng)目涉及國(guó)家多個(gè)重要領(lǐng)域,如國(guó)防部、能源部以及國(guó)家安全及未來發(fā)展戰(zhàn)略等。主要項(xiàng)目包括:多尺度異常檢測(cè)項(xiàng)目(ADAMS)、網(wǎng)絡(luò)內(nèi)部威脅計(jì)劃(CINDER)、加密數(shù)據(jù)的編程計(jì)算項(xiàng)目(PROCEED項(xiàng)目)、視頻與圖像檢索分析工具項(xiàng)目(VIRAT項(xiàng)目)等。為實(shí)現(xiàn)決策優(yōu)化,美國(guó)還進(jìn)行了數(shù)據(jù)可視化、信息安全與大數(shù)據(jù)結(jié)合等方面的綜合研究,建立大數(shù)據(jù)中心,對(duì)各類大數(shù)據(jù)進(jìn)行整合、分析,并向相關(guān)領(lǐng)域提供大數(shù)據(jù)分析產(chǎn)品。

        我國(guó)大數(shù)據(jù)應(yīng)用還處于起步階段,但已有國(guó)際知名項(xiàng)目投入使用,如Facebook開發(fā)的社交圖譜數(shù)據(jù)、NSA棱鏡計(jì)劃、IBM Waston等項(xiàng)目。2013年,我國(guó)開始進(jìn)行大數(shù)據(jù)專項(xiàng)研究,2014年,國(guó)內(nèi)主要互聯(lián)網(wǎng)公司已將大數(shù)據(jù)應(yīng)用于相關(guān)業(yè)務(wù)中,取得了巨大的經(jīng)濟(jì)和社會(huì)效益。同年,清華大學(xué)開設(shè)了大數(shù)據(jù)相關(guān)課程,正式開啟了培養(yǎng)大數(shù)據(jù)領(lǐng)域?qū)I(yè)人才的序幕。

        大數(shù)據(jù)作為一個(gè)新興的技術(shù)門類,已經(jīng)滲透到國(guó)民經(jīng)濟(jì)各個(gè)領(lǐng)域。大數(shù)據(jù)為人類帶來了無限的機(jī)遇和挑戰(zhàn),是一場(chǎng)即將改變未來的信息革命。

        2 大數(shù)據(jù)特點(diǎn)

        大數(shù)據(jù)無法使用傳統(tǒng)數(shù)據(jù)庫(kù)工具對(duì)其內(nèi)容進(jìn)行處理,具有傳統(tǒng)數(shù)據(jù)所不具備的特點(diǎn),見表1。

        大數(shù)據(jù)定義的5V特征(Volume,Velocity,Variety,Veracity,Value)涵蓋了5個(gè)層面。

        (1)數(shù)據(jù)量大(Volume)。此為大數(shù)據(jù)最明顯的特點(diǎn),從傳統(tǒng)的MB、TP躍升至PB或更高的EB、ZP級(jí)別。數(shù)據(jù)量的大小決定數(shù)據(jù)價(jià)值和潛在信息,數(shù)據(jù)表示各種業(yè)務(wù)活動(dòng),推動(dòng)社會(huì)與企業(yè)共同進(jìn)步。

        (2)處理速度快(Velocity)。在數(shù)據(jù)量飛速增長(zhǎng)的同時(shí),對(duì)數(shù)據(jù)實(shí)時(shí)分析和處理要求更高。如果海量數(shù)據(jù)未能實(shí)時(shí)處理,將失去其應(yīng)有價(jià)值。

        (3)數(shù)據(jù)類型多(Variety)。大數(shù)據(jù)來源復(fù)雜,數(shù)據(jù)類型多種多樣,包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的等多種數(shù)據(jù)類型。傳統(tǒng)的數(shù)據(jù)處理工具已不能對(duì)類型多且雜的大數(shù)據(jù)進(jìn)行處理。在如此繁多的數(shù)據(jù)中獲得有價(jià)值的潛在信息,正是大數(shù)據(jù)多樣性的重要體現(xiàn)。

        (4)數(shù)據(jù)真實(shí)性(Veracity)。大數(shù)據(jù)來源于真實(shí)世界發(fā)生的各類活動(dòng),而高質(zhì)量的數(shù)據(jù)是大數(shù)據(jù)發(fā)揮效能的前提和基礎(chǔ)。唯有如此,專業(yè)的數(shù)據(jù)分析工具才能從海量數(shù)據(jù)中提取出隱含的、準(zhǔn)確的、有用的信息。

        (5)價(jià)值密度低,商業(yè)價(jià)值(Value)高。在大量的數(shù)據(jù)中只有少數(shù)數(shù)據(jù)具有利用價(jià)值。合理運(yùn)用大數(shù)據(jù),提取出能夠解釋和預(yù)測(cè)現(xiàn)實(shí)的數(shù)據(jù),以低成本創(chuàng)造高價(jià)值。

        3 大數(shù)據(jù)技術(shù)

        信息無處不在,海量數(shù)據(jù)的產(chǎn)生、共享以及交換應(yīng)用如何實(shí)現(xiàn)是大數(shù)據(jù)研究領(lǐng)域的核心問題。

        大數(shù)據(jù)技術(shù)能夠?qū)崟r(shí)、高效、可視化地處理各種類型數(shù)據(jù),使用戶按需求獲取分析和預(yù)測(cè)結(jié)果。大數(shù)據(jù)關(guān)鍵技術(shù)是數(shù)據(jù)的采集與預(yù)處理、數(shù)據(jù)存儲(chǔ)與管理、計(jì)算模式與系統(tǒng)和數(shù)據(jù)分析與挖掘,如圖1所示。

        (1)大數(shù)據(jù)采集與預(yù)處理。數(shù)據(jù)來源渠道繁多,導(dǎo)致數(shù)據(jù)類型多樣化,包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)價(jià)值低、異構(gòu)且冗余,故首先要對(duì)數(shù)據(jù)進(jìn)行清洗,以消除相似、重復(fù)或不一致的數(shù)據(jù),為后續(xù)過程提供高質(zhì)量的數(shù)據(jù)集合。現(xiàn)有的數(shù)據(jù)采集手段主要有以下4種[1]:基于物化或 ETL 引擎方法、基于聯(lián)邦數(shù)據(jù)庫(kù)引擎或中間件方法、基于數(shù)據(jù)流引擎方法和基于搜索引擎方法。

        (2)數(shù)據(jù)存儲(chǔ)與管理。PB或EB數(shù)量級(jí)的大數(shù)據(jù)不僅需要上層應(yīng)用高效的數(shù)據(jù)訪問接口,而且對(duì)數(shù)據(jù)實(shí)時(shí)性和有效性提出了更高標(biāo)準(zhǔn)。為快速高效可靠地處理大數(shù)據(jù),需建立計(jì)算編程模式以及相關(guān)的優(yōu)化方法。大數(shù)據(jù)環(huán)境下,目前最適用的技術(shù)是分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)以及訪問接口和查詢語言[2]。

        (3)計(jì)算模式與系統(tǒng)。大數(shù)據(jù)計(jì)算模式是指根據(jù)不同的數(shù)據(jù)特征和計(jì)算特征,從多樣性的大數(shù)據(jù)計(jì)算問題和需求中提煉并建立各種高層次抽象或模型。大數(shù)據(jù)計(jì)算與計(jì)算算法、數(shù)據(jù)規(guī)模、數(shù)據(jù)分布以及用戶訪問行為密切相關(guān),不僅從多維度建立大數(shù)據(jù)計(jì)算程序集合,還分析了計(jì)算系統(tǒng)之間的相互影響,建立復(fù)雜條件下大數(shù)據(jù)運(yùn)行的行為模型。典型的大數(shù)據(jù)計(jì)算模式與系統(tǒng)如表2所示。

        IBM結(jié)合自主計(jì)算和大數(shù)據(jù)技術(shù),提出具備自主能力的“認(rèn)知計(jì)算”,是繼制表計(jì)算、編程計(jì)算之后的第三代計(jì)算模式。

        (4)數(shù)據(jù)分析與挖掘。鑒于大數(shù)據(jù)價(jià)值密度低、商業(yè)價(jià)值高的特點(diǎn),為提高數(shù)據(jù)質(zhì)量和可信度,要求從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中,通過分析數(shù)據(jù)結(jié)構(gòu)、類型及數(shù)據(jù)間的關(guān)聯(lián)度,綜合運(yùn)用統(tǒng)計(jì)和機(jī)器學(xué)習(xí),從數(shù)據(jù)庫(kù)管理系統(tǒng)的大數(shù)據(jù)中提取出隱含其中的潛在信息和知識(shí),這就是數(shù)據(jù)分析與挖掘。在龐大的數(shù)據(jù)中,數(shù)據(jù)呈現(xiàn)形式至關(guān)重要??梢暬柚鷪D形化手段,通過直觀傳達(dá)大數(shù)據(jù)關(guān)鍵特征,對(duì)數(shù)據(jù)進(jìn)行可視化表達(dá),呈現(xiàn)數(shù)據(jù)中隱含的信息,挖掘數(shù)據(jù)中所包含的規(guī)律。數(shù)據(jù)可視化分為科學(xué)可視化、信息可視化和可視化分析。

        4 結(jié)語

        大數(shù)據(jù)概念日益完善、特點(diǎn)日益突出、關(guān)鍵技術(shù)日益提高。大數(shù)據(jù)作為近年的新興產(chǎn)業(yè),像互聯(lián)網(wǎng)、云計(jì)算及物聯(lián)網(wǎng)一樣,改變了國(guó)民經(jīng)濟(jì)和生活,已成為新一輪信息技術(shù)革命的發(fā)動(dòng)機(jī),成為社會(huì)經(jīng)濟(jì)的支柱,帶來了全新的變革和機(jī)遇。但大數(shù)據(jù)核心處理技術(shù)尚不成熟,大數(shù)據(jù)產(chǎn)業(yè)發(fā)展應(yīng)符合國(guó)情,科學(xué)規(guī)劃,形成良好的發(fā)展環(huán)境,國(guó)家要推動(dòng)大數(shù)據(jù)領(lǐng)域技術(shù)走在世界前列。

        參考文獻(xiàn):

        [1] LI X,DONG X L,LYONS K,et al.Truth finding on the deep web:is the problem solved[C].Proceedings of the 39th International Conference on Very Large Data Bases ( VLDB'2013) ,2013:97-108.

        [2] 中國(guó)計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專家委員會(huì).中國(guó)大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書[R].2013.

        [3] ARASU A,CHAUDHURI S,CHEN Z,et al.Experiences with using data cleaning technology for bing services[J].IEEE Data Engineering Bulletin,2012,35(2):14-23.

        [4] GONZALEZ J E,LOW Y,GU H,et al.Power graph:distributed graph-parallel computation on natural graphs[C].Proceeding of the 10th USENIX Symposium on Operating Systems Design and Implementation,2012:17-30.

        [5] KUMAR R.Two computational paradigm for big data[EB/OL].[2014-08-25].http://kdd2012.sigkdd.org / sites /images / summerschool / Ravi-Kumar.pdf.

        [6] KANG U,CHAU D H,F(xiàn)ALOUTSOS C.PEGASUS:miningbillion-scale graphs in the cloud[C].IEEE International Conference on Acoustics,Speech,and Signal Processing ( ICASSP ) ,2012:5341-5344.

        [7] VICTOR MAYER SCHONBERGER,KENNETH CUKIER.大數(shù)據(jù)時(shí)代[M].杭州:浙江人民出版社,2013:193-232.

        [8] 李翠平,王敏峰.大數(shù)據(jù)的挑戰(zhàn)和機(jī)遇[J].科研信息化技術(shù)與應(yīng)用,2013(1) :12-18.

        [9] 劉軍. Hadoop 大數(shù)據(jù)處理[M]. 北京:人民郵電出版社,2013:45-60.

        [10] 李紀(jì)舟,葉小新,丁云峰.美軍大數(shù)據(jù)技術(shù)發(fā)展現(xiàn)狀及對(duì)其信息作戰(zhàn)的影響[J].外軍信息戰(zhàn),2013(6) :34-38.

        [11] 陳為,沈則潛,陶煜波,等.大數(shù)據(jù)叢書:數(shù)據(jù)可視化[M].北京:電子工業(yè)出版社,2013:29-37.

        (責(zé)任編輯:杜能鋼)

        猜你喜歡
        三網(wǎng)融合關(guān)鍵技術(shù)大數(shù)據(jù)
        牛繁育與健康養(yǎng)殖關(guān)鍵技術(shù)
        小麥春季化控要掌握關(guān)鍵技術(shù)
        棉花追肥關(guān)鍵技術(shù)
        成功育雛的關(guān)鍵技術(shù)
        有為才能有位
        聲屏世界(2016年10期)2016-12-10 20:57:25
        融媒體時(shí)代三網(wǎng)融合下電視新聞網(wǎng)建設(shè)的思考
        今傳媒(2016年10期)2016-11-22 12:37:01
        試論三網(wǎng)融合進(jìn)程中電視臺(tái)全臺(tái)網(wǎng)的建設(shè)
        基于大數(shù)據(jù)背景下的智慧城市建設(shè)研究
        科技視界(2016年20期)2016-09-29 10:53:22
        国产精品亚洲综合久久婷婷| 午夜熟女插插xx免费视频| 激烈的性高湖波多野结衣| 狠狠色婷婷久久一区二区| 日本韩国三级aⅴ在线观看 | 在线观看人成网站深夜免费| 亚洲一区二区三区蜜桃| 成人午夜福利视频镇东影视| 欧美a级在线现免费观看| 熟女熟妇伦av网站| 亚洲国产精品国语在线| 91精品在线免费| 成人男性视频在线观看| 97色偷偷色噜噜狠狠爱网站| ā片在线观看| 一区二区三区不卡免费av| 精品人妻69一区二区三区蜜桃| 国产日产欧产精品精品蜜芽| 国产丝袜视频一区二区三区| 国产97色在线 | 免| 日本女优爱爱中文字幕| 中文字幕有码无码人妻av蜜桃 | 又嫩又硬又黄又爽的视频| 特级毛片a级毛片在线播放www| 亚洲精品2区在线观看| 亚洲偷自拍国综合第一页国模| 色窝窝无码一区二区三区| 性一乱一搞一交一伦一性 | 加勒比久草免费在线观看| 久久亚洲精品中文字幕 | 成av人片一区二区三区久久| 青青草手机视频免费在线播放| 欧美多人片高潮野外做片黑人 | 中文字幕无线精品亚洲乱码一区| 国产色婷婷久久又粗又爽| 精品水蜜桃久久久久久久 | 中文亚洲av片不卡在线观看| 中文字幕精品久久久久人妻红杏1| 熟女少妇av免费观看| 国产三级久久精品三级91| 成人免费看www网址入口|