亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        面向大數(shù)據(jù)的分布式系統(tǒng)設計關鍵技術研究

        2014-12-09 23:29:25毛文彬
        無線互聯(lián)科技 2014年11期
        關鍵詞:存儲設備海量異構(gòu)

        毛文彬

        摘 要:隨著云計算、物聯(lián)網(wǎng)等信息技術的飛速發(fā)展,異構(gòu)數(shù)據(jù)源越來越多,數(shù)據(jù)信息量在飛速增長,數(shù)據(jù)的類型也復雜多樣,不僅使得信息系統(tǒng)規(guī)模日益龐大,也導致海量非結(jié)構(gòu)化數(shù)據(jù)管理復雜、異構(gòu)數(shù)據(jù)存儲利用率低下、資源不易擴展等問題。

        關鍵詞:大數(shù)據(jù);云存儲

        1 大數(shù)據(jù)的特點及存儲要求

        海量非確定性異構(gòu)數(shù)據(jù)產(chǎn)生的原因復雜多樣,在應用中也具有新的特點:隨著各種應用規(guī)模及領域的擴大,數(shù)據(jù)量會呈現(xiàn)爆炸性增長及海量數(shù)據(jù)存儲的趨勢和特點;在非確定數(shù)據(jù)的典型應用中數(shù)據(jù)源很多,數(shù)據(jù)種類也繁多,數(shù)據(jù)資源具有異構(gòu)性特點;數(shù)據(jù)還呈現(xiàn)數(shù)據(jù)塊大小、數(shù)據(jù)類型和數(shù)據(jù)訪問方式等不確定的特點;云計算、物聯(lián)網(wǎng)等應用的不斷豐富,數(shù)據(jù)產(chǎn)生、應用、訪問方式十分復雜,還使得數(shù)據(jù)具有時效性和空間性,高頻度訪問和高并發(fā)的特點。

        非確定數(shù)據(jù)應用中的海量數(shù)據(jù)對數(shù)據(jù)的存儲體系結(jié)構(gòu)帶來了很大的挑戰(zhàn)。首先,海量數(shù)據(jù)的組織必然采用分布式數(shù)據(jù)組織與管理策略,這需要實現(xiàn)適合于非確定數(shù)據(jù)應用的(元)數(shù)據(jù)和數(shù)據(jù)組織方式;其次,由于海量數(shù)據(jù)是通過持續(xù)增長積累而成,而積累的過程需要很長的時間,因此需要存儲支持可保證規(guī)模與性能同時擴展的存儲組織模式以及相應的索引機制。

        針對海量不確定性數(shù)據(jù),使用基于傳統(tǒng)的信息存儲結(jié)構(gòu)和對象查詢方法的實際運行效率呈現(xiàn)下降趨勢,因此必須采用新的元數(shù)據(jù)組織結(jié)構(gòu)和查詢方法來提高效率,為用戶提供高性能的多并發(fā)數(shù)據(jù)查詢服務。

        由于在分布式環(huán)境中,數(shù)據(jù)源分布在不同的網(wǎng)絡結(jié)點,這就存在網(wǎng)絡傳輸性能低的問題。而各個數(shù)據(jù)源有很強的自治性,它們可以自治地改變自身的結(jié)構(gòu)和更新數(shù)據(jù),這就會給數(shù)據(jù)集成系統(tǒng)的一致性帶來了困難。由于數(shù)據(jù)存在非確定性,針對海量非確定性異構(gòu)數(shù)據(jù)的集成工作將變得更為復雜,可以采用分布式并行處理技術實現(xiàn)計算資源和存儲資源的全局最優(yōu)化的管理。

        數(shù)據(jù)的海量性、非確定性以及異構(gòu)性為傳統(tǒng)的數(shù)據(jù)挖掘算法提出了挑戰(zhàn)。由于數(shù)據(jù)的異構(gòu)、海量、分布性和決策控制的實時性,需要調(diào)整數(shù)據(jù)挖掘引擎的布局及多引擎的調(diào)度策略。結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù)都涉及數(shù)據(jù)的存儲、管理(索引、并發(fā)、一致性、查詢等)等,這是因為用戶對大數(shù)據(jù)使用方面的要求(對海量非結(jié)構(gòu)化數(shù)據(jù)查詢?nèi)匀灰獪蚀_和快速),導致對數(shù)據(jù)邏輯結(jié)構(gòu)和物理存儲方式的新要求。

        2 面向大數(shù)據(jù)的分布式系統(tǒng)關鍵技術

        2.1 分布式文件管理技術

        在大數(shù)據(jù)應用過程中,傳統(tǒng)的數(shù)據(jù)存儲和管理技術已經(jīng)無法滿足需求,因此,諸多科學工作者對其文件管理技術進行了研究。2010年,馮幼樂等人在文件管理系統(tǒng)中提出了CEPH動態(tài)元數(shù)據(jù)管理技術,該方法可以有效地改進異構(gòu)元數(shù)據(jù)服務器和網(wǎng)絡延遲較大時存在的問題,提高文件管理系統(tǒng)的使用范圍和性能。方君等人詳細的分析了國外分布式文件系統(tǒng)的研究和應用現(xiàn)狀,開發(fā)設計了一個較好的分布式文件系統(tǒng)K-DFS,該系統(tǒng)可以解決大數(shù)據(jù)中多存儲節(jié)點訪問和同步的問題,實現(xiàn)負載均衡,避免部分數(shù)據(jù)集中于少量存儲服務器中,使用冗余存儲技術,保障遠程文件的安全性,防止存儲節(jié)點因宕機導致文件丟失,更好的提高了文件系統(tǒng)的高安全性,并且該系統(tǒng)已經(jīng)在金融數(shù)據(jù)分析、電信數(shù)據(jù)分析和網(wǎng)絡電商數(shù)據(jù)分析中得到了廣泛的使用。目前,文件系統(tǒng)已經(jīng)在實際應用中得到了廣泛的發(fā)展和進步,尤其是具有海量用戶和數(shù)據(jù)存儲訪問的互聯(lián)網(wǎng)企業(yè)中,比如Google提出了GFS文件管理系統(tǒng),該系統(tǒng)集成數(shù)據(jù)文件地管理、存儲和應用,并且構(gòu)建過程中服務器較為廉價,同時具有極強的可擴展性,數(shù)據(jù)被存儲于不同的服務器中,通過關聯(lián)鏈接、分塊存儲、追加更新等技術保障文件管理系統(tǒng)的正常運行和傳輸,同時引入了緩沖層、內(nèi)存加載部分元數(shù)據(jù)等新理念,提升了文件管理系統(tǒng)存儲和讀取的效率,促進大數(shù)據(jù)文件管理步入集群管理階段,有效的提高了分布式文件管理系統(tǒng)的應用效能。

        2.2 分布式數(shù)據(jù)處理技術

        大數(shù)據(jù)應用系統(tǒng)中,信息處理方式包括兩種,分別是批處理方式和流處理方式。批處理方式是指將待處理的邏輯事務執(zhí)行存儲操作之后,再對其實施業(yè)務處理操作,因此批處理方式可以使用某種分割方式,將數(shù)據(jù)分割為不同的數(shù)據(jù)塊,這些數(shù)據(jù)庫邏輯獨立,其可以在不同的終端上操作執(zhí)行,增強了大數(shù)據(jù)系統(tǒng)中共享服務資源的優(yōu)勢,淡化了數(shù)據(jù)之間的關聯(lián)關系,有效的提升了數(shù)據(jù)的集群性、可調(diào)度性,目前,批處理方式應用的難點和關鍵是數(shù)據(jù)的分割、分發(fā)和實時處理。流處理方式將用戶需要的海量數(shù)據(jù)看做是一個不間斷的數(shù)據(jù)流,數(shù)據(jù)流可以實時的進入大數(shù)據(jù)應用系統(tǒng)中,并且能夠得到快速的響應和反饋,獲得數(shù)據(jù)處理的結(jié)果,該分布式數(shù)據(jù)處理方式極大的提高了系統(tǒng)的實時性,已經(jīng)在許多金融數(shù)據(jù)挖掘、電信數(shù)據(jù)挖掘過程中得到了廣泛的應用。

        2.3 分布式數(shù)據(jù)庫技術

        傳統(tǒng)的數(shù)據(jù)庫技術通常采用關系型數(shù)據(jù)庫管理系統(tǒng),該數(shù)據(jù)庫在大數(shù)據(jù)處理過程中存在多樣性弱、規(guī)模性小、處理過程邏輯關聯(lián)性強等弱點,提出在大數(shù)據(jù)應用系統(tǒng)中采用分布式數(shù)據(jù)庫管理技術,實現(xiàn)大數(shù)據(jù)的易用性和易擴充性,同時增強分布式數(shù)據(jù)庫管理能力。目前,分布式數(shù)據(jù)庫管理技術已經(jīng)得到了廣泛的研究和應用,Bigtable技術在實施操作和管理過程中,將數(shù)據(jù)訪問信息作為字符串進行管理,并且其不直接解釋字符串的含義,使得分布式數(shù)據(jù)具有半結(jié)構(gòu)化或者結(jié)構(gòu)化特征,可以提高數(shù)據(jù)庫存儲類型,比如視頻數(shù)據(jù)、圖像數(shù)據(jù)、文本數(shù)據(jù)等,同樣大大地簡化了數(shù)據(jù)庫管理系統(tǒng)操作方法。

        Dynamo技術在分布式數(shù)據(jù)庫應用過程中,采用分布式哈希表、鍵值存儲和向量時鐘等關鍵技術,實現(xiàn)大數(shù)據(jù)庫管理系統(tǒng)的高效運行和管理,推動了關系型數(shù)據(jù)庫的前進和發(fā)展。隨著智能技術的發(fā)展,分布式數(shù)據(jù)庫引入了模式識別、機器學習、神經(jīng)網(wǎng)絡等算法,有效的促進了數(shù)據(jù)一致性、業(yè)務處理快速化。

        3 云存儲在大數(shù)據(jù)存儲中的應用

        針對數(shù)據(jù)的飛速發(fā)展和數(shù)據(jù)安全要求的不斷提高,如何建立安全、性價比高的存儲成為業(yè)界的普遍需求。云存儲成為首要選擇,因為它能夠根據(jù)所需容量大小對用戶進行定制,用戶不需要進行硬件的管理維護,縮減了用戶成本和人力投入。而且云存儲具有易擴容、易管理、價格低、數(shù)據(jù)安全、服務不中斷等優(yōu)點。

        3.1 大規(guī)模級別存儲系統(tǒng)的構(gòu)建

        大規(guī)模的存儲需要跨數(shù)據(jù)中心,跨城市、省、甚至國家進行存儲設備、存儲數(shù)據(jù)、存儲服務的組織和管理,并支持跨域的訪問、備份、容災等功能。同時大規(guī)模的存儲要求存儲提供不同等級的管理和服務權(quán)限,并按照區(qū)域、級別分配不同的權(quán)限。系統(tǒng)對資源的訪問必須經(jīng)過嚴格的權(quán)限控制。只有用戶確認共享的資源才能被其他用戶或業(yè)務進行訪問,即使是被授權(quán)的訪問也會根據(jù)不同的權(quán)限控制方式受到訪問權(quán)限控制。

        云存儲就是將不同種類的存儲設備協(xié)調(diào)起來進行工作。這些存儲設備使用的存儲介質(zhì)也是多種多樣的,而且隨著技術的發(fā)展,設備種類和存儲介質(zhì)種類會越來越多,如何調(diào)度這些設備和存儲介質(zhì)協(xié)調(diào)工作,需要在云存儲管理軟件上考慮和優(yōu)化,以保證組織好的資源被高效利用。

        3.2 存儲設備在線擴展和收縮

        在存儲設備的使用過程中,會遇到調(diào)整存儲資源池的需求,要求存儲資源池根據(jù)業(yè)務的需求增加或者減少存儲設備。在調(diào)整的過程中,業(yè)務不能被中斷,也不能使上層業(yè)務感受存儲資源池的變化,同時被裁剪設備的數(shù)據(jù)要在較短的時間內(nèi)在其他設備上恢復、備份,并在較短的時間內(nèi)完成增加存儲設備和原有存儲你設備的數(shù)據(jù)均衡。

        云存儲系統(tǒng)要優(yōu)化和調(diào)整數(shù)據(jù)組織和管理方法,即使存儲規(guī)模增加后,性能要隨之線性增加。數(shù)據(jù)變得龐大后,元數(shù)據(jù)管理要考慮中心化或多節(jié)點方式,以降低元數(shù)據(jù)管理對整個系統(tǒng)讀寫性能的影響。對于熱點數(shù)據(jù)支持自動的多副本復制,則會在多個存儲節(jié)點提供讀能力,以降低硬盤、網(wǎng)口、處理器對性能能力的限制。采用多級緩存技術,熱點數(shù)據(jù)則會先讀入智能加速卡,并由智能加速卡對外提供讀服務,在寫數(shù)據(jù)時,也是先寫入到智能加速卡,由加速卡組織分發(fā)到存儲設備上。

        4 結(jié)語

        隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的發(fā)展,“大數(shù)據(jù)”逐漸成為發(fā)展的趨勢,數(shù)據(jù)產(chǎn)生的原因復雜多樣,在應用中也具有新的特點。隨著各種應用規(guī)模的擴大,數(shù)據(jù)量會呈現(xiàn)爆炸性增長的趨勢及海量數(shù)據(jù)存儲的特點。新業(yè)務環(huán)境和應用場景對海量云存儲需求越來越迫切,這需要海量存儲平臺打破原有的框架,改變組網(wǎng)和管理方式,滿足業(yè)務需求。

        [參考文獻]

        [1]王珊,王會舉,覃雄派,周烜.架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望[J].計算機學報.2011(10).

        [2]覃雄派,王會舉,杜小勇,王珊.大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J].軟件學報.2012(01).

        [3]姜奇平.大數(shù)據(jù)與信息社會的意義結(jié)構(gòu)[J].互聯(lián)網(wǎng)周刊.2012(12).

        猜你喜歡
        存儲設備海量異構(gòu)
        一種傅里葉域海量數(shù)據(jù)高速譜聚類方法
        試論同課異構(gòu)之“同”與“異”
        海量快遞垃圾正在“圍城”——“綠色快遞”勢在必行
        當代陜西(2019年14期)2019-08-26 09:42:00
        Windows 7下USB存儲設備接入痕跡的證據(jù)提取
        overlay SDN實現(xiàn)異構(gòu)兼容的關鍵技術
        電信科學(2016年11期)2016-11-23 05:07:56
        一個圖形所蘊含的“海量”巧題
        基于Flash芯片的新型存儲設備數(shù)據(jù)恢復技術研究
        LTE異構(gòu)網(wǎng)技術與組網(wǎng)研究
        用批處理管理計算機USB設備的使用
        在新興異構(gòu)SoCs上集成多種系統(tǒng)
        av网站大全免费在线观看| 亚洲国产精品国语在线| 中文字幕高清无码不卡在线| 国产亚洲精品一区二区在线观看 | 日本经典中文字幕人妻| 熟女人妻在线中文字幕| 六月丁香综合在线视频| 亚洲国产一区二区三区亚瑟| 女人被躁到高潮嗷嗷叫| 日韩人妻免费视频一专区| 亚洲国产精品成人综合色| 狠狠噜天天噜日日噜| 国产精品一区二区日韩精品| 亚洲中文字幕久久精品一区| www射我里面在线观看| 欧洲中文字幕| 日本一区二区高清在线观看| 日本边添边摸边做边爱| 99久久精品费精品国产一区二区| 日本一区二区三区中文字幕最新 | 欧美大肥婆大肥bbbbb| 免费观看一区二区| 精品国产av一区二区三区| 久久精品国产亚洲av麻豆长发| 亚洲av推荐网站在线观看| 久久国产劲爆∧v内射| 五月天激情婷婷婷久久| 久久久99精品视频| 男性av天堂一区二区| 国产激情视频一区二区三区| 国产成人77亚洲精品www| 我的极品小姨在线观看| 欧美丰满老熟妇aaaa片| 亚洲男同帅gay片在线观看| 亚洲国产不卡av一区二区三区| 国产一级二级三级在线观看av | 久久久久久夜精品精品免费啦 | 亚洲av无码乱码国产麻豆| 欧美丰满熟妇aaaaa片| 国产精品毛片99久久久久| 亚洲精品在线免费视频|