亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        大數(shù)據(jù)處理系統(tǒng)的研究進展與展望

        2017-12-27 01:49:28胡勇內(nèi)蒙古科技大學
        數(shù)碼世界 2017年9期
        關鍵詞:研究進展利用發(fā)展

        胡勇 內(nèi)蒙古科技大學

        大數(shù)據(jù)處理系統(tǒng)的研究進展與展望

        胡勇 內(nèi)蒙古科技大學

        隨著計算機技術發(fā)展與計算機應用普及,數(shù)據(jù)如果對其加以利用就可以將其變?yōu)橛行У馁Y源,從而產(chǎn)生價值增值。數(shù)據(jù)分析與利用技術正是基于此種情況發(fā)展起來的,大數(shù)據(jù)技術的應用對社會生活的多個方面都產(chǎn)生了影響,已經(jīng)是當下社會發(fā)展的熱點。本文就大數(shù)據(jù)處理系統(tǒng)的研究進展與展望作簡要闡述。

        大數(shù)據(jù)處理系統(tǒng) 研究進展 展望

        移動互聯(lián)網(wǎng),移動設備,物聯(lián)網(wǎng)發(fā)展產(chǎn)生了大量數(shù)據(jù),如何對大量數(shù)據(jù)加以利用,找到其中有價值的數(shù)據(jù),從而為社會發(fā)展帶來積極影響,是數(shù)據(jù)分析工作者需要面對的問題。由于數(shù)據(jù)量大,因此其潛藏的價值量大,要實現(xiàn)對大量數(shù)據(jù)的有效利用,就需要通過一定技術,從海量數(shù)據(jù)中準確定位有價值的數(shù)據(jù),提升工作效率,并以此推動社會向前發(fā)展。

        1 大數(shù)據(jù)概述

        大數(shù)據(jù)并不是近年發(fā)展的新事物,早在四十多年前,智利政府就實施了一項計劃,將各地工廠的數(shù)據(jù)傳輸?shù)竭\營中心,通過對其中某些領域數(shù)據(jù)進行分析,以此來對生產(chǎn)活動開展情況實施監(jiān)督,對經(jīng)濟發(fā)展情況進行預估。該模式與當下大數(shù)據(jù)模式相似。由于當時的技術條件無法為工作開展有效的服務,因此工作開展的效果也不是特別明顯。后來有科學家在研究工作首次提出了大數(shù)據(jù)這一概念,在當前對于大數(shù)據(jù)其定義也不相同。數(shù)據(jù)量需要達到一定的規(guī)模,并且利用傳統(tǒng)方法無法對其進行有效管理與利用。在發(fā)展的過程中逐漸變成了一個十分寬泛的概念,包含了數(shù)據(jù)采集,歸納,整理,分析等一系列環(huán)節(jié),以及工作開展所應用到的手段,技術與方法。

        2 大數(shù)據(jù)處理系統(tǒng)分類

        大數(shù)據(jù)處理系統(tǒng)類別非常多,因此其分類方法也比較多,未能得出統(tǒng)一公認的方法。比如可以從數(shù)據(jù)類型與負載類型兩個角度對其進行分類。

        從負載類型方面對其進行分類,可以將系統(tǒng)分為流式計算,批處理,交互式查詢。批處理重點在于系統(tǒng)數(shù)據(jù)處理的量,而流計算則注重于產(chǎn)品時效性,能夠在較短時間內(nèi)完成工作。

        從數(shù)據(jù)類型方面來分,系統(tǒng)能夠提供表,圖,集合,矩陣不同數(shù)據(jù)抽象,通常情況下一個編程框架只能夠解決某一類型問題,不具有普通適用性。對編程框架進行分類,批處理能夠有效適用于多種數(shù)據(jù)類型,其研究領域也最為寬泛。交互式處理則主要針對關系型數(shù)據(jù)。

        3 研究工作進展

        3.1 基于數(shù)據(jù)流模型的編程框架

        某些編程框架可以將其歸結(jié)到數(shù)據(jù)流模型,該模型利用有向無環(huán)圖表達計算,頂點表示計算任務,數(shù)據(jù)依賴則利用邊來表示。

        3.2 圖計算

        實際式作中通常會有大規(guī)模圖計算分析的需求,比如互聯(lián)網(wǎng)網(wǎng)頁所形成的圖,頂點規(guī)??梢赃_到千億級別,針對此類型分析和挖掘工作須借助于大規(guī)模集群才能夠有效完成。圖數(shù)據(jù)結(jié)構不規(guī)則,由此會導致其訪問的局部性差,現(xiàn)實工作中許多圖都與冪律分布相符合,頂點分布不均勻,通過邊與其它頂點發(fā)生聯(lián)系的頂點非常少,導致數(shù)據(jù)圖難以切分均勻,從而會導致機器負載不均,風絡通信開銷量大等問題,對計算機整體運行效率造成嚴重影響。

        大圖分割作為圖計算基礎性問題,圖數(shù)據(jù)切分可以應用兩種方法,切點與切邊。采用第一種方法,切割線只能通過圖的頂點,如果利用該方法將頂點切割成兩份,則意味著頂點會出現(xiàn)在兩臺機器上,并且是同時的,機器間的網(wǎng)絡通信量會明顯減少。由于算法迭代需要持續(xù)對圖頂點值進行更新,頂點數(shù)據(jù)進行一致性維護會對通信開銷造成影響。如果利用切邊法,則只能通過圖的邊。

        3.3 分布式機器學習系統(tǒng)

        大數(shù)據(jù)時代,受到處理器與內(nèi)存條件限制,傳統(tǒng)單版機器算法無法對海量數(shù)據(jù)進行處理,分布式機器學習就成為了研究領域關注的重點,機器學習算法應用的是迭代計算,從而在巨大參數(shù)空間中尋找到最優(yōu)解,但是其計算特點會對機器學習帶來嚴重挑戰(zhàn)。主要體現(xiàn)在并發(fā)問任務存在并且數(shù)量眾多時,由于其它影響因素存在,執(zhí)行速度會產(chǎn)生影響,負載不均衡會導致其影響到整體工作效率。

        大規(guī)模深度學習在實際工作中應用取得了巨大成功,尤其是在圖像識別與語音識別方面,深度學習通過深層神經(jīng)網(wǎng)絡對大腦工作原理進行模擬,其組成包括了輸入層,隱含層,輸出層。

        4 研究趨勢與熱點

        大數(shù)據(jù)處理系統(tǒng)研究工作雖然已經(jīng)取得了一定成果,但是仍然存在許多方面需要進一步探索,技術還未能達到成熟階段。在未來發(fā)展過程中,大數(shù)據(jù)處理系統(tǒng)研究工作要關注的重點問題包括,異構硬件平臺,串行代碼自動化并行,現(xiàn)有的編程框架提供了標準數(shù)據(jù)操作接口,程序員編寫接口,底層系統(tǒng)執(zhí)行代碼,與傳統(tǒng)編程方式存在較大差異。大數(shù)據(jù)處理技術多樣豐富,但是也對實際應用工作帶來了一定難度,全能通用型計算框架基本不存在,因此需要多種編程框架協(xié)同工作才能有效完成任務。

        5 結(jié)束語

        大數(shù)據(jù)處理正處于快速發(fā)展過程中,并且其應用于生活實際產(chǎn)生了巨大的價值。大數(shù)據(jù)處理系統(tǒng)與處理技術一樣處于發(fā)展的過程,雖然已經(jīng)取得了一定成果,但是在未來仍然需要結(jié)合到實現(xiàn)情況變化解決不斷出現(xiàn)的新問題。

        [1]王鵬;張利.大數(shù)據(jù)處理系統(tǒng)的研究進展與展望[J].高技術通訊,2015(Z1)

        [2]李曉飛.基于云計算技術的大數(shù)據(jù)處理系統(tǒng)的研究[J].長春工程學院學報(自然科學版),2014(01)

        猜你喜歡
        研究進展利用發(fā)展
        利用min{a,b}的積分表示解決一類絕對值不等式
        邁上十四五發(fā)展“新跑道”,打好可持續(xù)發(fā)展的“未來牌”
        中國核電(2021年3期)2021-08-13 08:56:36
        MiRNA-145在消化系統(tǒng)惡性腫瘤中的研究進展
        利用一半進行移多補少
        離子束拋光研究進展
        利用數(shù)的分解來思考
        Roommate is necessary when far away from home
        砥礪奮進 共享發(fā)展
        華人時刊(2017年21期)2018-01-31 02:24:01
        獨腳金的研究進展
        中成藥(2017年9期)2017-12-19 13:34:44
        改性瀝青的應用與發(fā)展
        北方交通(2016年12期)2017-01-15 13:52:53
        国产区高清在线一区二区三区| 少妇性l交大片| 在线免费观看国产精品| 亚洲精品高清av在线播放| 国产精品一区二区偷拍| 成在线人av免费无码高潮喷水| 日韩a毛片免费观看| 国产女人体一区二区三区| 国产一区资源在线播放| 国产精品爽爽ⅴa在线观看 | 日韩a级精品一区二区| 久久久久国产一区二区| 欧美一级人与嘼视频免费播放 | 亚州无吗一区二区三区| 在线看片免费人成视频电影| 艳妇乳肉豪妇荡乳av无码福利| 五月天婷婷一区二区三区久久| 各类熟女熟妇激情自拍| 精品国产青草久久久久福利| 欧美精品偷自拍另类在线观看| 日韩精品精品一区二区三区| 国产激情在线观看免费视频| 女人被狂躁c到高潮| 国产一区曰韩二区欧美三区| 都市激情亚洲综合一区| 妃光莉中文字幕一区二区| 日本爽快片18禁免费看| 国产欧美日韩不卡一区二区三区 | 欧美日韩亚洲中文字幕二区| 亚洲欧美日韩精品高清| 亚洲成av在线免费不卡| 午夜少妇高潮在线观看| 国产大陆亚洲精品国产| 91精品综合久久久久m3u8| 国产在线精品成人一区二区三区| 宅男666在线永久免费观看| 亚洲欧美国产日韩字幕| 91桃色在线播放国产| 日韩国产人妻一区二区三区| 人妻熟妇乱又伦精品视频app | 国产成人精品午夜福利在线 |