亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        面向大數(shù)據(jù)的分布式系統(tǒng)設(shè)計(jì)關(guān)鍵技術(shù)研究

        2014-12-09 23:29:25毛文彬
        無線互聯(lián)科技 2014年11期
        關(guān)鍵詞:存儲(chǔ)設(shè)備海量異構(gòu)

        毛文彬

        摘 要:隨著云計(jì)算、物聯(lián)網(wǎng)等信息技術(shù)的飛速發(fā)展,異構(gòu)數(shù)據(jù)源越來越多,數(shù)據(jù)信息量在飛速增長(zhǎng),數(shù)據(jù)的類型也復(fù)雜多樣,不僅使得信息系統(tǒng)規(guī)模日益龐大,也導(dǎo)致海量非結(jié)構(gòu)化數(shù)據(jù)管理復(fù)雜、異構(gòu)數(shù)據(jù)存儲(chǔ)利用率低下、資源不易擴(kuò)展等問題。

        關(guān)鍵詞:大數(shù)據(jù);云存儲(chǔ)

        1 大數(shù)據(jù)的特點(diǎn)及存儲(chǔ)要求

        海量非確定性異構(gòu)數(shù)據(jù)產(chǎn)生的原因復(fù)雜多樣,在應(yīng)用中也具有新的特點(diǎn):隨著各種應(yīng)用規(guī)模及領(lǐng)域的擴(kuò)大,數(shù)據(jù)量會(huì)呈現(xiàn)爆炸性增長(zhǎng)及海量數(shù)據(jù)存儲(chǔ)的趨勢(shì)和特點(diǎn);在非確定數(shù)據(jù)的典型應(yīng)用中數(shù)據(jù)源很多,數(shù)據(jù)種類也繁多,數(shù)據(jù)資源具有異構(gòu)性特點(diǎn);數(shù)據(jù)還呈現(xiàn)數(shù)據(jù)塊大小、數(shù)據(jù)類型和數(shù)據(jù)訪問方式等不確定的特點(diǎn);云計(jì)算、物聯(lián)網(wǎng)等應(yīng)用的不斷豐富,數(shù)據(jù)產(chǎn)生、應(yīng)用、訪問方式十分復(fù)雜,還使得數(shù)據(jù)具有時(shí)效性和空間性,高頻度訪問和高并發(fā)的特點(diǎn)。

        非確定數(shù)據(jù)應(yīng)用中的海量數(shù)據(jù)對(duì)數(shù)據(jù)的存儲(chǔ)體系結(jié)構(gòu)帶來了很大的挑戰(zhàn)。首先,海量數(shù)據(jù)的組織必然采用分布式數(shù)據(jù)組織與管理策略,這需要實(shí)現(xiàn)適合于非確定數(shù)據(jù)應(yīng)用的(元)數(shù)據(jù)和數(shù)據(jù)組織方式;其次,由于海量數(shù)據(jù)是通過持續(xù)增長(zhǎng)積累而成,而積累的過程需要很長(zhǎng)的時(shí)間,因此需要存儲(chǔ)支持可保證規(guī)模與性能同時(shí)擴(kuò)展的存儲(chǔ)組織模式以及相應(yīng)的索引機(jī)制。

        針對(duì)海量不確定性數(shù)據(jù),使用基于傳統(tǒng)的信息存儲(chǔ)結(jié)構(gòu)和對(duì)象查詢方法的實(shí)際運(yùn)行效率呈現(xiàn)下降趨勢(shì),因此必須采用新的元數(shù)據(jù)組織結(jié)構(gòu)和查詢方法來提高效率,為用戶提供高性能的多并發(fā)數(shù)據(jù)查詢服務(wù)。

        由于在分布式環(huán)境中,數(shù)據(jù)源分布在不同的網(wǎng)絡(luò)結(jié)點(diǎn),這就存在網(wǎng)絡(luò)傳輸性能低的問題。而各個(gè)數(shù)據(jù)源有很強(qiáng)的自治性,它們可以自治地改變自身的結(jié)構(gòu)和更新數(shù)據(jù),這就會(huì)給數(shù)據(jù)集成系統(tǒng)的一致性帶來了困難。由于數(shù)據(jù)存在非確定性,針對(duì)海量非確定性異構(gòu)數(shù)據(jù)的集成工作將變得更為復(fù)雜,可以采用分布式并行處理技術(shù)實(shí)現(xiàn)計(jì)算資源和存儲(chǔ)資源的全局最優(yōu)化的管理。

        數(shù)據(jù)的海量性、非確定性以及異構(gòu)性為傳統(tǒng)的數(shù)據(jù)挖掘算法提出了挑戰(zhàn)。由于數(shù)據(jù)的異構(gòu)、海量、分布性和決策控制的實(shí)時(shí)性,需要調(diào)整數(shù)據(jù)挖掘引擎的布局及多引擎的調(diào)度策略。結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù)都涉及數(shù)據(jù)的存儲(chǔ)、管理(索引、并發(fā)、一致性、查詢等)等,這是因?yàn)橛脩魧?duì)大數(shù)據(jù)使用方面的要求(對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)查詢?nèi)匀灰獪?zhǔn)確和快速),導(dǎo)致對(duì)數(shù)據(jù)邏輯結(jié)構(gòu)和物理存儲(chǔ)方式的新要求。

        2 面向大數(shù)據(jù)的分布式系統(tǒng)關(guān)鍵技術(shù)

        2.1 分布式文件管理技術(shù)

        在大數(shù)據(jù)應(yīng)用過程中,傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和管理技術(shù)已經(jīng)無法滿足需求,因此,諸多科學(xué)工作者對(duì)其文件管理技術(shù)進(jìn)行了研究。2010年,馮幼樂等人在文件管理系統(tǒng)中提出了CEPH動(dòng)態(tài)元數(shù)據(jù)管理技術(shù),該方法可以有效地改進(jìn)異構(gòu)元數(shù)據(jù)服務(wù)器和網(wǎng)絡(luò)延遲較大時(shí)存在的問題,提高文件管理系統(tǒng)的使用范圍和性能。方君等人詳細(xì)的分析了國外分布式文件系統(tǒng)的研究和應(yīng)用現(xiàn)狀,開發(fā)設(shè)計(jì)了一個(gè)較好的分布式文件系統(tǒng)K-DFS,該系統(tǒng)可以解決大數(shù)據(jù)中多存儲(chǔ)節(jié)點(diǎn)訪問和同步的問題,實(shí)現(xiàn)負(fù)載均衡,避免部分?jǐn)?shù)據(jù)集中于少量存儲(chǔ)服務(wù)器中,使用冗余存儲(chǔ)技術(shù),保障遠(yuǎn)程文件的安全性,防止存儲(chǔ)節(jié)點(diǎn)因宕機(jī)導(dǎo)致文件丟失,更好的提高了文件系統(tǒng)的高安全性,并且該系統(tǒng)已經(jīng)在金融數(shù)據(jù)分析、電信數(shù)據(jù)分析和網(wǎng)絡(luò)電商數(shù)據(jù)分析中得到了廣泛的使用。目前,文件系統(tǒng)已經(jīng)在實(shí)際應(yīng)用中得到了廣泛的發(fā)展和進(jìn)步,尤其是具有海量用戶和數(shù)據(jù)存儲(chǔ)訪問的互聯(lián)網(wǎng)企業(yè)中,比如Google提出了GFS文件管理系統(tǒng),該系統(tǒng)集成數(shù)據(jù)文件地管理、存儲(chǔ)和應(yīng)用,并且構(gòu)建過程中服務(wù)器較為廉價(jià),同時(shí)具有極強(qiáng)的可擴(kuò)展性,數(shù)據(jù)被存儲(chǔ)于不同的服務(wù)器中,通過關(guān)聯(lián)鏈接、分塊存儲(chǔ)、追加更新等技術(shù)保障文件管理系統(tǒng)的正常運(yùn)行和傳輸,同時(shí)引入了緩沖層、內(nèi)存加載部分元數(shù)據(jù)等新理念,提升了文件管理系統(tǒng)存儲(chǔ)和讀取的效率,促進(jìn)大數(shù)據(jù)文件管理步入集群管理階段,有效的提高了分布式文件管理系統(tǒng)的應(yīng)用效能。

        2.2 分布式數(shù)據(jù)處理技術(shù)

        大數(shù)據(jù)應(yīng)用系統(tǒng)中,信息處理方式包括兩種,分別是批處理方式和流處理方式。批處理方式是指將待處理的邏輯事務(wù)執(zhí)行存儲(chǔ)操作之后,再對(duì)其實(shí)施業(yè)務(wù)處理操作,因此批處理方式可以使用某種分割方式,將數(shù)據(jù)分割為不同的數(shù)據(jù)塊,這些數(shù)據(jù)庫邏輯獨(dú)立,其可以在不同的終端上操作執(zhí)行,增強(qiáng)了大數(shù)據(jù)系統(tǒng)中共享服務(wù)資源的優(yōu)勢(shì),淡化了數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系,有效的提升了數(shù)據(jù)的集群性、可調(diào)度性,目前,批處理方式應(yīng)用的難點(diǎn)和關(guān)鍵是數(shù)據(jù)的分割、分發(fā)和實(shí)時(shí)處理。流處理方式將用戶需要的海量數(shù)據(jù)看做是一個(gè)不間斷的數(shù)據(jù)流,數(shù)據(jù)流可以實(shí)時(shí)的進(jìn)入大數(shù)據(jù)應(yīng)用系統(tǒng)中,并且能夠得到快速的響應(yīng)和反饋,獲得數(shù)據(jù)處理的結(jié)果,該分布式數(shù)據(jù)處理方式極大的提高了系統(tǒng)的實(shí)時(shí)性,已經(jīng)在許多金融數(shù)據(jù)挖掘、電信數(shù)據(jù)挖掘過程中得到了廣泛的應(yīng)用。

        2.3 分布式數(shù)據(jù)庫技術(shù)

        傳統(tǒng)的數(shù)據(jù)庫技術(shù)通常采用關(guān)系型數(shù)據(jù)庫管理系統(tǒng),該數(shù)據(jù)庫在大數(shù)據(jù)處理過程中存在多樣性弱、規(guī)模性小、處理過程邏輯關(guān)聯(lián)性強(qiáng)等弱點(diǎn),提出在大數(shù)據(jù)應(yīng)用系統(tǒng)中采用分布式數(shù)據(jù)庫管理技術(shù),實(shí)現(xiàn)大數(shù)據(jù)的易用性和易擴(kuò)充性,同時(shí)增強(qiáng)分布式數(shù)據(jù)庫管理能力。目前,分布式數(shù)據(jù)庫管理技術(shù)已經(jīng)得到了廣泛的研究和應(yīng)用,Bigtable技術(shù)在實(shí)施操作和管理過程中,將數(shù)據(jù)訪問信息作為字符串進(jìn)行管理,并且其不直接解釋字符串的含義,使得分布式數(shù)據(jù)具有半結(jié)構(gòu)化或者結(jié)構(gòu)化特征,可以提高數(shù)據(jù)庫存儲(chǔ)類型,比如視頻數(shù)據(jù)、圖像數(shù)據(jù)、文本數(shù)據(jù)等,同樣大大地簡(jiǎn)化了數(shù)據(jù)庫管理系統(tǒng)操作方法。

        Dynamo技術(shù)在分布式數(shù)據(jù)庫應(yīng)用過程中,采用分布式哈希表、鍵值存儲(chǔ)和向量時(shí)鐘等關(guān)鍵技術(shù),實(shí)現(xiàn)大數(shù)據(jù)庫管理系統(tǒng)的高效運(yùn)行和管理,推動(dòng)了關(guān)系型數(shù)據(jù)庫的前進(jìn)和發(fā)展。隨著智能技術(shù)的發(fā)展,分布式數(shù)據(jù)庫引入了模式識(shí)別、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等算法,有效的促進(jìn)了數(shù)據(jù)一致性、業(yè)務(wù)處理快速化。

        3 云存儲(chǔ)在大數(shù)據(jù)存儲(chǔ)中的應(yīng)用

        針對(duì)數(shù)據(jù)的飛速發(fā)展和數(shù)據(jù)安全要求的不斷提高,如何建立安全、性價(jià)比高的存儲(chǔ)成為業(yè)界的普遍需求。云存儲(chǔ)成為首要選擇,因?yàn)樗軌蚋鶕?jù)所需容量大小對(duì)用戶進(jìn)行定制,用戶不需要進(jìn)行硬件的管理維護(hù),縮減了用戶成本和人力投入。而且云存儲(chǔ)具有易擴(kuò)容、易管理、價(jià)格低、數(shù)據(jù)安全、服務(wù)不中斷等優(yōu)點(diǎn)。

        3.1 大規(guī)模級(jí)別存儲(chǔ)系統(tǒng)的構(gòu)建

        大規(guī)模的存儲(chǔ)需要跨數(shù)據(jù)中心,跨城市、省、甚至國家進(jìn)行存儲(chǔ)設(shè)備、存儲(chǔ)數(shù)據(jù)、存儲(chǔ)服務(wù)的組織和管理,并支持跨域的訪問、備份、容災(zāi)等功能。同時(shí)大規(guī)模的存儲(chǔ)要求存儲(chǔ)提供不同等級(jí)的管理和服務(wù)權(quán)限,并按照區(qū)域、級(jí)別分配不同的權(quán)限。系統(tǒng)對(duì)資源的訪問必須經(jīng)過嚴(yán)格的權(quán)限控制。只有用戶確認(rèn)共享的資源才能被其他用戶或業(yè)務(wù)進(jìn)行訪問,即使是被授權(quán)的訪問也會(huì)根據(jù)不同的權(quán)限控制方式受到訪問權(quán)限控制。

        云存儲(chǔ)就是將不同種類的存儲(chǔ)設(shè)備協(xié)調(diào)起來進(jìn)行工作。這些存儲(chǔ)設(shè)備使用的存儲(chǔ)介質(zhì)也是多種多樣的,而且隨著技術(shù)的發(fā)展,設(shè)備種類和存儲(chǔ)介質(zhì)種類會(huì)越來越多,如何調(diào)度這些設(shè)備和存儲(chǔ)介質(zhì)協(xié)調(diào)工作,需要在云存儲(chǔ)管理軟件上考慮和優(yōu)化,以保證組織好的資源被高效利用。

        3.2 存儲(chǔ)設(shè)備在線擴(kuò)展和收縮

        在存儲(chǔ)設(shè)備的使用過程中,會(huì)遇到調(diào)整存儲(chǔ)資源池的需求,要求存儲(chǔ)資源池根據(jù)業(yè)務(wù)的需求增加或者減少存儲(chǔ)設(shè)備。在調(diào)整的過程中,業(yè)務(wù)不能被中斷,也不能使上層業(yè)務(wù)感受存儲(chǔ)資源池的變化,同時(shí)被裁剪設(shè)備的數(shù)據(jù)要在較短的時(shí)間內(nèi)在其他設(shè)備上恢復(fù)、備份,并在較短的時(shí)間內(nèi)完成增加存儲(chǔ)設(shè)備和原有存儲(chǔ)你設(shè)備的數(shù)據(jù)均衡。

        云存儲(chǔ)系統(tǒng)要優(yōu)化和調(diào)整數(shù)據(jù)組織和管理方法,即使存儲(chǔ)規(guī)模增加后,性能要隨之線性增加。數(shù)據(jù)變得龐大后,元數(shù)據(jù)管理要考慮中心化或多節(jié)點(diǎn)方式,以降低元數(shù)據(jù)管理對(duì)整個(gè)系統(tǒng)讀寫性能的影響。對(duì)于熱點(diǎn)數(shù)據(jù)支持自動(dòng)的多副本復(fù)制,則會(huì)在多個(gè)存儲(chǔ)節(jié)點(diǎn)提供讀能力,以降低硬盤、網(wǎng)口、處理器對(duì)性能能力的限制。采用多級(jí)緩存技術(shù),熱點(diǎn)數(shù)據(jù)則會(huì)先讀入智能加速卡,并由智能加速卡對(duì)外提供讀服務(wù),在寫數(shù)據(jù)時(shí),也是先寫入到智能加速卡,由加速卡組織分發(fā)到存儲(chǔ)設(shè)備上。

        4 結(jié)語

        隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的發(fā)展,“大數(shù)據(jù)”逐漸成為發(fā)展的趨勢(shì),數(shù)據(jù)產(chǎn)生的原因復(fù)雜多樣,在應(yīng)用中也具有新的特點(diǎn)。隨著各種應(yīng)用規(guī)模的擴(kuò)大,數(shù)據(jù)量會(huì)呈現(xiàn)爆炸性增長(zhǎng)的趨勢(shì)及海量數(shù)據(jù)存儲(chǔ)的特點(diǎn)。新業(yè)務(wù)環(huán)境和應(yīng)用場(chǎng)景對(duì)海量云存儲(chǔ)需求越來越迫切,這需要海量存儲(chǔ)平臺(tái)打破原有的框架,改變組網(wǎng)和管理方式,滿足業(yè)務(wù)需求。

        [參考文獻(xiàn)]

        [1]王珊,王會(huì)舉,覃雄派,周烜.架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào).2011(10).

        [2]覃雄派,王會(huì)舉,杜小勇,王珊.大數(shù)據(jù)分析——RDBMS與MapReduce的競(jìng)爭(zhēng)與共生[J].軟件學(xué)報(bào).2012(01).

        [3]姜奇平.大數(shù)據(jù)與信息社會(huì)的意義結(jié)構(gòu)[J].互聯(lián)網(wǎng)周刊.2012(12).

        猜你喜歡
        存儲(chǔ)設(shè)備海量異構(gòu)
        一種傅里葉域海量數(shù)據(jù)高速譜聚類方法
        試論同課異構(gòu)之“同”與“異”
        海量快遞垃圾正在“圍城”——“綠色快遞”勢(shì)在必行
        Windows 7下USB存儲(chǔ)設(shè)備接入痕跡的證據(jù)提取
        overlay SDN實(shí)現(xiàn)異構(gòu)兼容的關(guān)鍵技術(shù)
        一個(gè)圖形所蘊(yùn)含的“海量”巧題
        基于Flash芯片的新型存儲(chǔ)設(shè)備數(shù)據(jù)恢復(fù)技術(shù)研究
        LTE異構(gòu)網(wǎng)技術(shù)與組網(wǎng)研究
        用批處理管理計(jì)算機(jī)USB設(shè)備的使用
        在新興異構(gòu)SoCs上集成多種系統(tǒng)
        国产乱妇乱子视频在播放| 精品久久久少妇一区二区| 内射夜晚在线观看| 不卡高清av手机在线观看| 免费国产黄线在线播放| 麻豆视频在线观看免费在线观看| 国产亚洲av另类一区二区三区| 久久久国产精品黄毛片| 国产亚洲欧美在线| 一个人的视频免费播放在线观看| 国产亚洲一区二区三区| 亚洲av日韩av无码污污网站| 成年女人免费v片| 日本人妖一区二区三区| 日本在线观看一区二区三| 亚洲日韩精品无码专区网站| 极品 在线 视频 大陆 国产| 日韩一级精品亚洲一区二区精品| 日韩综合无码一区二区 | 69国产成人综合久久精| 特级黄色大片性久久久| av免费网址在线观看| 青青草国产成人99久久| 在线视频一区二区在线观看| 亚洲高清中文字幕视频| 欧美精品人人做人人爱视频| 婷婷色综合成人成人网小说| 久久人妻精品免费二区| 中文字幕日韩人妻在线视频| 艳妇乳肉豪妇荡乳av无码福利 | 亚洲中文字幕无码永久在线| 成在线人免费无码高潮喷水| 91偷拍与自偷拍亚洲精品86 | 国产中文字幕乱码在线| 精品熟女视频一区二区三区国产| 先锋五月婷婷丁香草草| 日韩www视频| 大又黄又粗又爽少妇毛片| 国产av精品一区二区三| 天天干成人网| 亚洲一区二区三区99区|