亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        大數(shù)據(jù)處理系統(tǒng)的研究進展與展望

        2017-12-27 01:49:28胡勇內(nèi)蒙古科技大學
        數(shù)碼世界 2017年9期
        關鍵詞:研究進展利用發(fā)展

        胡勇 內(nèi)蒙古科技大學

        大數(shù)據(jù)處理系統(tǒng)的研究進展與展望

        胡勇 內(nèi)蒙古科技大學

        隨著計算機技術發(fā)展與計算機應用普及,數(shù)據(jù)如果對其加以利用就可以將其變?yōu)橛行У馁Y源,從而產(chǎn)生價值增值。數(shù)據(jù)分析與利用技術正是基于此種情況發(fā)展起來的,大數(shù)據(jù)技術的應用對社會生活的多個方面都產(chǎn)生了影響,已經(jīng)是當下社會發(fā)展的熱點。本文就大數(shù)據(jù)處理系統(tǒng)的研究進展與展望作簡要闡述。

        大數(shù)據(jù)處理系統(tǒng) 研究進展 展望

        移動互聯(lián)網(wǎng),移動設備,物聯(lián)網(wǎng)發(fā)展產(chǎn)生了大量數(shù)據(jù),如何對大量數(shù)據(jù)加以利用,找到其中有價值的數(shù)據(jù),從而為社會發(fā)展帶來積極影響,是數(shù)據(jù)分析工作者需要面對的問題。由于數(shù)據(jù)量大,因此其潛藏的價值量大,要實現(xiàn)對大量數(shù)據(jù)的有效利用,就需要通過一定技術,從海量數(shù)據(jù)中準確定位有價值的數(shù)據(jù),提升工作效率,并以此推動社會向前發(fā)展。

        1 大數(shù)據(jù)概述

        大數(shù)據(jù)并不是近年發(fā)展的新事物,早在四十多年前,智利政府就實施了一項計劃,將各地工廠的數(shù)據(jù)傳輸?shù)竭\營中心,通過對其中某些領域數(shù)據(jù)進行分析,以此來對生產(chǎn)活動開展情況實施監(jiān)督,對經(jīng)濟發(fā)展情況進行預估。該模式與當下大數(shù)據(jù)模式相似。由于當時的技術條件無法為工作開展有效的服務,因此工作開展的效果也不是特別明顯。后來有科學家在研究工作首次提出了大數(shù)據(jù)這一概念,在當前對于大數(shù)據(jù)其定義也不相同。數(shù)據(jù)量需要達到一定的規(guī)模,并且利用傳統(tǒng)方法無法對其進行有效管理與利用。在發(fā)展的過程中逐漸變成了一個十分寬泛的概念,包含了數(shù)據(jù)采集,歸納,整理,分析等一系列環(huán)節(jié),以及工作開展所應用到的手段,技術與方法。

        2 大數(shù)據(jù)處理系統(tǒng)分類

        大數(shù)據(jù)處理系統(tǒng)類別非常多,因此其分類方法也比較多,未能得出統(tǒng)一公認的方法。比如可以從數(shù)據(jù)類型與負載類型兩個角度對其進行分類。

        從負載類型方面對其進行分類,可以將系統(tǒng)分為流式計算,批處理,交互式查詢。批處理重點在于系統(tǒng)數(shù)據(jù)處理的量,而流計算則注重于產(chǎn)品時效性,能夠在較短時間內(nèi)完成工作。

        從數(shù)據(jù)類型方面來分,系統(tǒng)能夠提供表,圖,集合,矩陣不同數(shù)據(jù)抽象,通常情況下一個編程框架只能夠解決某一類型問題,不具有普通適用性。對編程框架進行分類,批處理能夠有效適用于多種數(shù)據(jù)類型,其研究領域也最為寬泛。交互式處理則主要針對關系型數(shù)據(jù)。

        3 研究工作進展

        3.1 基于數(shù)據(jù)流模型的編程框架

        某些編程框架可以將其歸結(jié)到數(shù)據(jù)流模型,該模型利用有向無環(huán)圖表達計算,頂點表示計算任務,數(shù)據(jù)依賴則利用邊來表示。

        3.2 圖計算

        實際式作中通常會有大規(guī)模圖計算分析的需求,比如互聯(lián)網(wǎng)網(wǎng)頁所形成的圖,頂點規(guī)??梢赃_到千億級別,針對此類型分析和挖掘工作須借助于大規(guī)模集群才能夠有效完成。圖數(shù)據(jù)結(jié)構不規(guī)則,由此會導致其訪問的局部性差,現(xiàn)實工作中許多圖都與冪律分布相符合,頂點分布不均勻,通過邊與其它頂點發(fā)生聯(lián)系的頂點非常少,導致數(shù)據(jù)圖難以切分均勻,從而會導致機器負載不均,風絡通信開銷量大等問題,對計算機整體運行效率造成嚴重影響。

        大圖分割作為圖計算基礎性問題,圖數(shù)據(jù)切分可以應用兩種方法,切點與切邊。采用第一種方法,切割線只能通過圖的頂點,如果利用該方法將頂點切割成兩份,則意味著頂點會出現(xiàn)在兩臺機器上,并且是同時的,機器間的網(wǎng)絡通信量會明顯減少。由于算法迭代需要持續(xù)對圖頂點值進行更新,頂點數(shù)據(jù)進行一致性維護會對通信開銷造成影響。如果利用切邊法,則只能通過圖的邊。

        3.3 分布式機器學習系統(tǒng)

        大數(shù)據(jù)時代,受到處理器與內(nèi)存條件限制,傳統(tǒng)單版機器算法無法對海量數(shù)據(jù)進行處理,分布式機器學習就成為了研究領域關注的重點,機器學習算法應用的是迭代計算,從而在巨大參數(shù)空間中尋找到最優(yōu)解,但是其計算特點會對機器學習帶來嚴重挑戰(zhàn)。主要體現(xiàn)在并發(fā)問任務存在并且數(shù)量眾多時,由于其它影響因素存在,執(zhí)行速度會產(chǎn)生影響,負載不均衡會導致其影響到整體工作效率。

        大規(guī)模深度學習在實際工作中應用取得了巨大成功,尤其是在圖像識別與語音識別方面,深度學習通過深層神經(jīng)網(wǎng)絡對大腦工作原理進行模擬,其組成包括了輸入層,隱含層,輸出層。

        4 研究趨勢與熱點

        大數(shù)據(jù)處理系統(tǒng)研究工作雖然已經(jīng)取得了一定成果,但是仍然存在許多方面需要進一步探索,技術還未能達到成熟階段。在未來發(fā)展過程中,大數(shù)據(jù)處理系統(tǒng)研究工作要關注的重點問題包括,異構硬件平臺,串行代碼自動化并行,現(xiàn)有的編程框架提供了標準數(shù)據(jù)操作接口,程序員編寫接口,底層系統(tǒng)執(zhí)行代碼,與傳統(tǒng)編程方式存在較大差異。大數(shù)據(jù)處理技術多樣豐富,但是也對實際應用工作帶來了一定難度,全能通用型計算框架基本不存在,因此需要多種編程框架協(xié)同工作才能有效完成任務。

        5 結(jié)束語

        大數(shù)據(jù)處理正處于快速發(fā)展過程中,并且其應用于生活實際產(chǎn)生了巨大的價值。大數(shù)據(jù)處理系統(tǒng)與處理技術一樣處于發(fā)展的過程,雖然已經(jīng)取得了一定成果,但是在未來仍然需要結(jié)合到實現(xiàn)情況變化解決不斷出現(xiàn)的新問題。

        [1]王鵬;張利.大數(shù)據(jù)處理系統(tǒng)的研究進展與展望[J].高技術通訊,2015(Z1)

        [2]李曉飛.基于云計算技術的大數(shù)據(jù)處理系統(tǒng)的研究[J].長春工程學院學報(自然科學版),2014(01)

        猜你喜歡
        研究進展利用發(fā)展
        利用min{a,b}的積分表示解決一類絕對值不等式
        邁上十四五發(fā)展“新跑道”,打好可持續(xù)發(fā)展的“未來牌”
        中國核電(2021年3期)2021-08-13 08:56:36
        MiRNA-145在消化系統(tǒng)惡性腫瘤中的研究進展
        利用一半進行移多補少
        離子束拋光研究進展
        利用數(shù)的分解來思考
        Roommate is necessary when far away from home
        砥礪奮進 共享發(fā)展
        華人時刊(2017年21期)2018-01-31 02:24:01
        獨腳金的研究進展
        中成藥(2017年9期)2017-12-19 13:34:44
        改性瀝青的應用與發(fā)展
        北方交通(2016年12期)2017-01-15 13:52:53
        亚洲最新版无码AV| 国产亚洲美女精品久久久2020| 亚洲一区 日韩精品 中文字幕 | 在线天堂中文一区二区三区| 偷拍熟女露出喷水在线91| 妃光莉中文字幕一区二区| 亚洲国色天香卡2卡3卡4| 欧美极品第一页| 国产一级r片内射视频播放| 亚洲中文字幕在线一区| 人妻聚色窝窝人体www一区| 一国产区在线观看| 有码中文字幕一区二区| 丰满少妇人妻久久精品| 成 人免费va视频| 一级片麻豆| 亚洲黄色大片在线观看| 亚洲av日韩av激情亚洲| 中文人妻无码一区二区三区在线| 麻豆AⅤ精品无码一区二区| 日本av第一区第二区| 80s国产成年女人毛片| 亚洲av无码精品色午夜蛋壳| 亚洲成精品动漫久久精久| 蜜臀av一区二区三区| 国产电影一区二区三区| 最新69国产成人精品视频免费| 亚洲午夜精品久久久久久人妖| 久久久久中文字幕精品无码免费| 亚洲一区有码在线观看| 国产一区二区三区日韩精品| 300部国产真实乱| 免费va国产高清不卡大片| 蜜桃高清视频在线看免费1 | 在线成人影院国产av| 少妇激情一区二区三区视频| 亚洲免费黄色| 日本高清一区二区三区色| 丝袜人妻一区二区三区| 精品成人乱色一区二区| 欧美巨大xxxx做受中文字幕|