亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        一種武警云計算環(huán)境下集群重復(fù)數(shù)據(jù)刪除策略

        2016-08-09 05:31:20武警8710部隊通信科段志剛武警警官學(xué)院吳耕銳
        電子世界 2016年13期
        關(guān)鍵詞:哈希警官全局

        武警8710部隊通信科 段志剛武警警官學(xué)院 吳耕銳 薄 鳥

        ?

        一種武警云計算環(huán)境下集群重復(fù)數(shù)據(jù)刪除策略

        武警8710部隊通信科 段志剛
        武警警官學(xué)院 吳耕銳 薄 鳥

        1 引言

        隨著大數(shù)據(jù)時代的發(fā)展,數(shù)據(jù)量正在爆炸式增長,數(shù)據(jù)更新變化也在時刻進行[1]。調(diào)查發(fā)現(xiàn)云端數(shù)據(jù)中心有60%以上數(shù)據(jù)是冗余的,這就為數(shù)據(jù)同步提出了巨大挑戰(zhàn)。針對云環(huán)境下集群分布式存儲的全局重復(fù)數(shù)據(jù)刪除,存在著數(shù)據(jù)塊索引磁盤瓶頸和存儲節(jié)點信息孤島兩大困難:(1)數(shù)據(jù)塊索引磁盤瓶頸:在存儲服務(wù)器節(jié)點的磁盤上建立一個數(shù)據(jù)塊索引序列,完成集群內(nèi)數(shù)據(jù)存儲節(jié)點的重復(fù)數(shù)據(jù)刪除。(2)重復(fù)數(shù)據(jù)刪除節(jié)點信息孤島:針對云環(huán)境下集群系統(tǒng)的重復(fù)數(shù)據(jù)刪除過程,往往忽略節(jié)點之間的重復(fù)數(shù)據(jù)刪除,由此產(chǎn)生了重復(fù)數(shù)據(jù)刪除節(jié)點的孤島效應(yīng)。

        2 相關(guān)工作

        現(xiàn)有云環(huán)境下的全局重復(fù)刪除技術(shù),如EMC公司的data domain全局重復(fù)數(shù)據(jù)刪除陣列、IBM公司的protectTier、SEPATON公司的S2100-ES2等[2-4],由于在全局數(shù)據(jù)縮減率、單節(jié)點存儲率、數(shù)據(jù)分布或者系統(tǒng)通信開銷上存在不足,利用這些技術(shù)來設(shè)計由成千上萬節(jié)點構(gòu)成的集群,很可能不會成功。Bhagwat設(shè)計了Extreme Binning策略,Extreme Binning基于文件的相似性,以加密Hash生成的Chunk ID。文獻[5]設(shè)計了一種支持云環(huán)境下大數(shù)據(jù)備份的可擴展在線集群重復(fù)數(shù)據(jù)刪除框架。

        本文利用Bloom Filter機制為存儲節(jié)點內(nèi)的所有數(shù)據(jù)塊指紋建立一個全局的快速索引,從而實現(xiàn)支持高數(shù)據(jù)縮減率、高吞吐率、低通信開銷及負載均衡的全局重復(fù)數(shù)據(jù)刪除。

        3 基于Bloom Filter的全局數(shù)據(jù)刪重策略

        利用Bloom Filter機制可以將集群內(nèi)所有節(jié)點存儲的數(shù)據(jù)塊指紋表示成Bloom Filter指紋摘要(Fingerprint Summary),形成全局的快速索引序列。例如集群中有p個存儲服務(wù)器節(jié)點,假設(shè)所有節(jié)點的Bloom Filter長度全部為n,并且所有節(jié)點采用k個相同且相互獨立的哈希函數(shù)。數(shù)據(jù)中心接收到客戶端發(fā)送來的數(shù)據(jù)塊指紋時,檢測該塊是新塊還是已存儲的數(shù)據(jù)塊,其過程如圖1所示:

        圖1 重復(fù)數(shù)據(jù)刪除過程

        基于Bloom Filter機制及相似性理論,在超塊的基礎(chǔ)上進行有狀態(tài)路由的重復(fù)數(shù)據(jù)檢測刪除的算法描述如下: (1)控制服務(wù)器節(jié)點依次計算出超塊Q{fp1,fp2,fp3,…fpn}中所有數(shù)據(jù)塊指紋對應(yīng)的k個哈希函數(shù)值,將hi(xj)保存并分發(fā)到每一個存儲節(jié)點;(2)利用哈希值hi(xj)依次從FSA獲取映射位置的列值。若某一列對應(yīng)的值全是0(Negative),可判定其為新數(shù)據(jù)塊;(3)若任一哈希值hi(xj)映射的列向量的值不全為0(Positive),返回一條Duplication Possible的消息;(4)查詢結(jié)束后,若返回的數(shù)據(jù)塊類型值為Duplication Possible。若依次查詢到某一節(jié)點所有hi(xj)映射的位全部是1,則返回消息為Positive;(5)利用按行查詢即節(jié)點確認算法返回的結(jié)果是節(jié)點的ID,進而在對應(yīng)的存儲節(jié)點進一步的細粒度查詢重復(fù)數(shù)據(jù),確認數(shù)據(jù)塊是否是重復(fù)的。

        4 實驗分析

        在實驗室現(xiàn)有的硬件環(huán)境下,選用1臺計算機作為客戶端,1臺配置Hadoop框架的服務(wù)器及4臺計算機搭建Hadoop集群[6]。

        通過與文獻[7]提出的基于Bloom Filter數(shù)據(jù)重復(fù)刪除策略、文獻[8]設(shè)計的Σ-Dedupe方案對比,實驗結(jié)果如圖5-4所示。實驗結(jié)果表明,三種方案在數(shù)據(jù)重刪消耗時間大致相同的情況下,本文設(shè)計的G-dedupe會獲得最大的數(shù)據(jù)縮減率,在數(shù)據(jù)龐大的集群存儲系統(tǒng)中就能極大地節(jié)省存儲空間,提高集群系統(tǒng)的整體性能。

        圖3 試驗對比結(jié)果

        5 結(jié)論

        本文主要研究集群內(nèi)部的全局重復(fù)數(shù)據(jù)刪除。運用 Bloom Filter 技術(shù)為集群數(shù)據(jù)中心中存儲的所有數(shù)據(jù)塊建立快速索引的摘要信息,合成一個可以檢測重復(fù)數(shù)據(jù)的指紋摘要陣列,分布在存儲節(jié)點前端的控制服務(wù)器,控制服務(wù)器節(jié)點將客戶端發(fā)送到的數(shù)據(jù)塊指紋合并成若干粒度大小均勻的超塊,進行重復(fù)數(shù)據(jù)的檢測,然后將數(shù)據(jù)塊的重復(fù)刪除分布到存儲節(jié)點中進行。研究成果實現(xiàn)了數(shù)據(jù)同步中的數(shù)據(jù)縮減率問題,為集群存儲節(jié)省了大量的存儲空間。

        參考文獻

        [1]IBM Cloud Computing [EB/OL]. http://www.ibm.com/ibm/cloud.

        [2]吳朱華.云計算核心技術(shù)剖析[M].北京:人民郵電出版社,2011,5.

        [3]陳釗.基于云災(zāi)備的數(shù)據(jù)安全存儲關(guān)鍵技術(shù)研究[D].北京郵電大學(xué),2012.

        [4]李俊中. 云存儲環(huán)境下數(shù)據(jù)完整性驗證方法研究[D].重慶郵電大學(xué),2013.

        [5]Bobbarjung D R, Jagannathan S, Dubnicki C. Improving duplicate elimination in storage systems[J]. Acm Transactions on Storage,2006,2(4):424-448.

        [6]葉明江,崔勇,徐恪等.基于有狀態(tài)Bloom filter引擎的高速分組檢測[J].軟件學(xué)報, 2006,18:117-126.

        [7]毛波,葉閣焰,藍琰佳等.一種基于重復(fù)數(shù)據(jù)刪除技術(shù)的云中云存儲系統(tǒng)[J].計算機研究與發(fā)展,2015(6):1278-1287.

        [8]楊超,張俊偉,董學(xué)文等.云存儲加密數(shù)據(jù)去重刪除所有權(quán)證明方法[J].計算機研究與發(fā)展,2015,1(1):248-258.

        作者簡介:

        段志剛(1977—),男,江西景德鎮(zhèn)人,現(xiàn)供職于武警8710部隊通信修理所,助理工程師,主要研究武警通信與信息化。

        吳耕銳(1985—),福建漳州人,現(xiàn)供職于武警警官學(xué)院信息工程系,研究方向:信息化。

        薄鳥(1986—),女,陜西西安人,現(xiàn)供職于武警警官學(xué)院數(shù)學(xué)與物理系,研究方向:固體物理。

        猜你喜歡
        哈希警官全局
        Cahn-Hilliard-Brinkman系統(tǒng)的全局吸引子
        量子Navier-Stokes方程弱解的全局存在性
        貓警官抓小偷
        快樂語文(2021年11期)2021-07-20 07:41:44
        兔子警官抓小偷
        警官當(dāng)老板非法獲利被判刑
        落子山東,意在全局
        金橋(2018年4期)2018-09-26 02:24:54
        布克警官的一天
        基于OpenCV與均值哈希算法的人臉相似識別系統(tǒng)
        基于維度分解的哈希多維快速流分類算法
        計算機工程(2015年8期)2015-07-03 12:20:04
        新思路:牽一發(fā)動全局
        成人免费网站视频www| 日韩一区av二区三区| 亚洲欧美v国产一区二区| 狠狠色成人综合网| 亚洲天堂中文| 精品国产亚洲人成在线观看| 亚洲精品国产精品乱码视色| 内射爽无广熟女亚洲| 欧美日韩在线免费看| 日韩人妻高清福利视频| 日本国产精品久久一线| 三年片大全在线观看免费观看大全 | 无遮挡粉嫩小泬| 久久久精品国产免费看| 亚洲图片日本视频免费| 免费观看国产精品| 91麻豆精品一区二区三区| 丁香婷婷激情视频在线播放| 久久久av精品波多野结衣| 国产成人美女AV| 中文字幕精品人妻丝袜| 亚洲精品无码专区在线在线播放| 天天躁日日躁狠狠躁人妻| 无码人妻少妇久久中文字幕| 国产亚洲精品精品综合伦理| 欧美性受xxxx狂喷水| 亚洲国产一区在线二区三区| 日本办公室三级在线看| 国产在线无码不卡影视影院| 国产内射在线激情一区| 国产美女精品AⅤ在线老女人| 久久精品久99精品免费| 人妻聚色窝窝人体www一区| 无码AV高潮喷水无码专区线| 高清成人在线视频播放| 美国少妇性xxxx另类| 国产女人18毛片水真多| 97人妻蜜臀中文字幕| 色欲色香天天天综合网www | 亚洲精品国产精品系列| 日本边添边摸边做边爱|