亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于HDFS的數(shù)據(jù)存儲(chǔ)策略研究

        2015-01-01 03:04:46程曉榮
        關(guān)鍵詞:文件名字節(jié)客戶端

        程曉榮 岳 嬌 張 蘭

        (華北電力大學(xué)計(jì)算機(jī)系 河北 071003)

        0 引言

        隨著數(shù)據(jù)的產(chǎn)生,數(shù)據(jù)保護(hù)也因此誕生。許多數(shù)據(jù)信息都遷移到“云”中,云存儲(chǔ)在為用戶提供服務(wù)時(shí),通常為用戶數(shù)據(jù)提供加密的方式實(shí)現(xiàn)對(duì)數(shù)據(jù)的保護(hù),如AES加密技術(shù)。云存儲(chǔ)中,用戶對(duì)數(shù)據(jù)僅擁有所有權(quán)而無(wú)管理權(quán)。目前,對(duì)于云存儲(chǔ)服務(wù)商所提供的安全策略用戶很難完全相信,為了實(shí)現(xiàn)對(duì)數(shù)據(jù)的保護(hù),尤其是隱私性,用戶大多采用本地加密的方法。加密算法的安全性主要依賴于密鑰,如果需要對(duì)大量文件進(jìn)行加密也會(huì)產(chǎn)生大量的密鑰,對(duì)其的管理問(wèn)題也不容忽視。本文從數(shù)據(jù)存儲(chǔ)方面進(jìn)行研究,給出了位拆分、位合并技術(shù)的規(guī)則,設(shè)計(jì)了HDFS中數(shù)據(jù)存儲(chǔ)的策略。

        1 位拆分技術(shù)和位合并技術(shù)設(shè)計(jì)

        主流的數(shù)據(jù)保護(hù)通常采用加密的方式,即對(duì)于數(shù)據(jù)的比特位采用移位和擴(kuò)散的方式。本文也采用該思想,假設(shè)將一份文件拆分成兩份,給出如下規(guī)則。

        1.1 位拆分技術(shù)設(shè)計(jì)

        首先從文件中按順序先讀取兩個(gè)字節(jié)的數(shù)據(jù)叫字節(jié)1和字節(jié)2,并將字節(jié)1、2分離出高、低四位,即字節(jié)1(高1、低1),字節(jié) 2(高 2、低 2);其次交換高、低四位的順序,即字節(jié) 1(低1、高1),字節(jié)2(低2、高2),并將此時(shí)字節(jié)1的高四位和字節(jié)2的低四位相組合,組成一個(gè)新的字節(jié)1’,即(低1、高2),將此時(shí)字節(jié)1的低四位和字節(jié)2的高四位相組合,組成一個(gè)新的字節(jié)2’,即(低2、高1);最后將得到的字節(jié)1’、字節(jié)2’分別寫入到文件1、2中,重復(fù)執(zhí)行此過(guò)程直到文件讀取完畢。

        1.2 位合并技術(shù)設(shè)計(jì)

        位合并技術(shù)實(shí)際上是位拆分技術(shù)的逆過(guò)程,假設(shè)按照上述拆分技術(shù)規(guī)則得到了文件1和文件2,按照如下過(guò)程進(jìn)行位合并:分別讀取上述兩個(gè)文件各一個(gè)字節(jié)的數(shù)據(jù),分別分離這兩個(gè)字節(jié)的高、低四位,即假設(shè)讀取的是上述位拆分技術(shù)拆分的數(shù)據(jù),即字節(jié)1’(低1、高2),字節(jié)2’(低2、高1),此時(shí)將字節(jié)1’的高四位和字節(jié)2’的低四位組合成一個(gè)新的字節(jié)1,即字節(jié)1(低1、高1);將字節(jié)1’的低四位和字節(jié)2’的高四位組合成另外一個(gè)新的字節(jié)2.即字節(jié)2(低2、高2);然后分別交換字節(jié)1、2的高、低四位,此時(shí)字節(jié)1、2分別變?yōu)樽止?jié)1(高1、低1),字節(jié)2(高2、低2);按照字節(jié)1在前,字節(jié)2在后的順序?qū)⑦@兩個(gè)字節(jié)寫入到新文件里,重復(fù)執(zhí)行直到文件1和文件2結(jié)束。

        2 HDFS中數(shù)據(jù)存儲(chǔ)策略設(shè)計(jì)

        2.1 數(shù)據(jù)存儲(chǔ)策略設(shè)計(jì)

        由于云存儲(chǔ)提供商可以直接獲取云端各類用戶的數(shù)據(jù),所以用戶存儲(chǔ)數(shù)據(jù)時(shí)為了不讓云端知道,可以在客戶端和 HDFS集群之間添加一個(gè)接口從而保護(hù)數(shù)據(jù),該接口是位于客戶端之上的。如圖1所示。

        圖1 存儲(chǔ)策略架構(gòu)圖

        元數(shù)據(jù)(Metadata)是最小的數(shù)據(jù)單位,在云存儲(chǔ)中元數(shù)據(jù)主要分為兩種,即元數(shù)據(jù)文件和內(nèi)存元數(shù)據(jù),其能夠維護(hù)HDFS(分布式文件系統(tǒng))中文件和目錄的信息。當(dāng)客戶端需要寫入若干文件時(shí),首先在接口中對(duì)文件進(jìn)行拆分(按照之前提到的拆分規(guī)則),在拆分的過(guò)程中,生成相關(guān)的元數(shù)據(jù)信息,比如原文件名到拆分文件名的映射文件、拆分文件名到拆分文件元數(shù)據(jù)的映射文件、拆分文件元數(shù)據(jù)等。然后將拆分后的文件和相關(guān)元數(shù)據(jù),按照原HDFS寫入文件的方式一同上傳至HDFS中,其中名字節(jié)點(diǎn)存儲(chǔ)相關(guān)元數(shù)據(jù),數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)拆分的文件。

        當(dāng)客戶端需要取某個(gè)文件時(shí),首先從名字節(jié)點(diǎn)獲取該文件所在的元數(shù)據(jù)信息,然后從數(shù)據(jù)節(jié)點(diǎn)讀取該文件被拆分后的所有拆分文件,并在接口中對(duì)拆分文件進(jìn)行位合并并緩存到客戶端。

        2.2 HDFS中數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)

        除了HDFS原有的元數(shù)據(jù)之外,又增加了兩個(gè)映射文件和兩類元數(shù)據(jù)。兩個(gè)映射文件分別為 Origina1ToSp1itFi1eMap(原文件名到拆分文件名的映射文件)和 Sp1itToMetadataMap(拆分文件名到拆分文件元數(shù)據(jù)的映射文件)。兩類元數(shù)據(jù)分別為Origina1Fi1eMetadata(原文件元數(shù)據(jù))和Sp1itF1ieMetadata(拆分文件元數(shù)據(jù))。這兩類映射文件是為了在NameNode中查找原文件拆分后的拆分文件所必須的信息。在讀取原文件時(shí),首先在NameNode內(nèi)查找原文件名到拆分文件名的映射文件,得到拆分文件名,然后查找拆分文件名到拆分文件元數(shù)據(jù)的映射文件,得到原文件被拆分后拆分文件的元數(shù)據(jù),這樣才能連接DataNode獲取原文件被拆分后的各個(gè)拆分文件。

        當(dāng)C1ient端將所有原文件拆分得到拆分文件之后,會(huì)將生成的拆分文件元數(shù)據(jù)、原文件名到拆分文件名的映射文件、拆分文件名到拆分文件元數(shù)據(jù)的映射文件一起上傳至 NameNode的內(nèi)存中,拆分文件會(huì)被存儲(chǔ)在DataNode。

        3 總結(jié)

        現(xiàn)今云存儲(chǔ)的技術(shù)發(fā)展地非常迅速,其數(shù)據(jù)安全問(wèn)題開始越來(lái)越受到人們的重視,非常值得人們好好研究。本文從數(shù)據(jù)存儲(chǔ)方向入手,分析了當(dāng)前主流數(shù)據(jù)存儲(chǔ)策略,利用移位和擴(kuò)散的基本思想,給出了位拆分、位合并技術(shù)的規(guī)則,設(shè)計(jì)了HDFS中數(shù)據(jù)存儲(chǔ)的策略,構(gòu)建的策略能夠不依賴于密鑰就可以加密文件,無(wú)需管理密鑰,能夠保護(hù)數(shù)據(jù)的隱私。

        [1]黃汝維,桂小林,余思,莊威.云環(huán)境中支持隱私保護(hù)的可計(jì)算加密方法[J].計(jì)算機(jī)學(xué)報(bào).2011.

        [2]毛劍,李坤,徐先棟.云計(jì)算環(huán)境下隱私保護(hù)方案[J].清華大學(xué)學(xué)報(bào)(自然科學(xué)版).2011.

        [3]周靜嵐.云存儲(chǔ)數(shù)據(jù)隱私保護(hù)機(jī)制的研究[D].南京郵電大學(xué).2014.

        [4]孫辛未,張偉,徐濤.面向云存儲(chǔ)的高性能數(shù)據(jù)隱私保護(hù)方法[J].計(jì)算機(jī)科學(xué).2014.

        [5]Sugumaran,M.;Murugan,B.B.;Kamalraj,D.,"An Architecture for Data Security in Cloud Computing," Computing and Communication Technologies(WCCCT),2014 World Congress on,vol.,no.,pp.252,255,F(xiàn)eb.27 2014-March 1 2014.

        猜你喜歡
        文件名字節(jié)客戶端
        No.8 字節(jié)跳動(dòng)將推出獨(dú)立出口電商APP
        右鍵調(diào)用多重更名更方便
        電腦愛好者(2019年9期)2019-10-30 03:43:29
        Excel輕松提取文件名
        No.10 “字節(jié)跳動(dòng)手機(jī)”要來(lái)了?
        縣級(jí)臺(tái)在突發(fā)事件報(bào)道中如何應(yīng)用手機(jī)客戶端
        孵化垂直頻道:新聞客戶端新策略
        基于Vanconnect的智能家居瘦客戶端的設(shè)計(jì)與實(shí)現(xiàn)
        簡(jiǎn)談MC7字節(jié)碼
        不讓長(zhǎng)文件名成為“絆腳石”
        電腦迷(2014年8期)2014-04-29 07:37:40
        客戶端空間數(shù)據(jù)緩存策略
        国产农村妇女精品一二区| 男女搞基视频免费网站| 少妇下面好爽好紧好湿一区二区| 成人午夜特黄aaaaa片男男| 无码人妻精品一区二区三区66| 一区二区三区免费视频网站| 新视觉亚洲三区二区一区理伦| 国产精品无码人妻在线| 成人一区二区免费视频| 国产欧美日韩专区毛茸茸| 国产另类av一区二区三区| 五月天激情电影| 亚洲国产精品久久久久秋霞影院 | 中文幕无线码中文字蜜桃| 日韩av在线不卡一区二区三区| 国产亚洲91精品色在线| 久久香蕉国产线看观看精品yw| 欧美三级不卡视频| 农村国产毛片一区二区三区女| 久久红精品一区二区三区| 中文字幕v亚洲日本| 无夜精品久久久久久| 日韩av天堂综合网久久| 成年免费a级毛片免费看无码| 精品久久亚洲中文无码| 色优网久久国产精品| 24小时在线免费av| 在线播放免费播放av片| 久久久久亚洲AV无码专| 午夜视频一区二区在线观看| 日本精品少妇一区二区三区| 乱码午夜-极国产极内射| 偷拍自拍一区二区三区| 一区二区三区高清在线观看视频 | 欧美亚洲国产精品久久久久| 国产一区二区三区啊啊| 又大又粗又爽18禁免费看 | 熟女人妻在线视频| 欧美日一本| 日本二区在线视频观看| 欧美成人精品三级网站|