任碩果
摘要:本系統(tǒng)研究一種基于Android手機的可靠云存儲服務器架構。文件在內(nèi)部存儲機制上采用分布式存儲,文件采用冗余切片,數(shù)據(jù)加密,數(shù)據(jù)校驗,分布式類文件系統(tǒng)等方法,分散存儲到云存儲服務器中,保證數(shù)據(jù)的高可靠性。
關鍵詞:云存儲;系統(tǒng)架構;Android
1云計算技術概述
隨著云計算技術的逐步成熟,云安全問題也日益突出。用戶將數(shù)據(jù)存放到一家云存儲提供商的系統(tǒng)中,往往會帶來數(shù)據(jù)完整性、保密性、可用性和廠商鎖定等風險。與此同時,以Android為代表的移動智能終端所面對的安全問題也日益嚴重。
為了彌補傳統(tǒng)云存儲以及移動設備所帶來的風險,同時滿足廣大用戶對手機等移動設備的使用需求,設計了跨越多服務提供商的Android可靠云存儲網(wǎng)盤系統(tǒng)。該系統(tǒng)不依賴于單一的云存儲廠商,文件經(jīng)過冗余分片和加密,存儲在兩個云存儲提供商的系統(tǒng)中。用戶將無需擔心數(shù)據(jù)完整性,安全性以及數(shù)據(jù)可靠性等問題。同時,基于Android終端實現(xiàn)本系統(tǒng),用戶既能體驗到移動互聯(lián)與云存儲技術帶來的便利,又能獲得前所未有的數(shù)據(jù)安全體驗。
2國外主流云網(wǎng)盤的現(xiàn)狀
Google Drive是google提供的一項網(wǎng)盤服務,免費提供15 GB空間,支持存儲和共享各種類型的文件,用戶可以實時和他人進行協(xié)同辦公,帶有強大的搜索功能,文檔修改同步功能等。中國用戶訪問Google Drive會出現(xiàn)一定困難。
Dropbox的免費空間只有2 GB,最大的特點就是“增量同步”,比如一個Word文檔,修改了一小部分,它會與云端進行比對,然后只需上傳修改的部分。這個特性在修改大型文件的時候十分好用,不需要整個重新上傳。但在中國不能完全正常訪問。
OneDrive是微軟公司的一款云存儲服務軟件,與電腦Windows 8以上系統(tǒng)高度整合,與WP手機電腦同步十分方便,和Office高度整合,并且可以在線office Web編輯文檔。但除此功能比較少,比較少人用。
百度云網(wǎng)盤是百度2012年正式推出的一項免費云存儲服務,首次注冊即可獲得5 GB的空間,首次上傳一個文件可以獲得1 GB,登錄百度云移動端,就能立即領取2 048 G永久免費容量。目前有Web版、Windows客戶端、Android手機客戶端,Mac客戶端,IOS客戶端和WP客戶端。用戶可以輕松將自己的文件上傳到網(wǎng)盤上,普通用戶單個文件最大可達4G,并可以跨終端隨時隨地查看和分享。百度網(wǎng)盤提供離線下載、文件智能分類瀏覽、視頻在線播放、文件在線解壓縮、免費擴容等功能。
微云是騰訊公司為用戶打造的一項智能云服務,10 T免費云空間??梢酝ㄟ^微云方便地在手機和電腦之間同步文件、推送照片和傳輸數(shù)據(jù)。支持文件、照片一鍵分享到微信,微信支持微云插件發(fā)送照片、文件,支持2G/3G網(wǎng)絡下推送照片。
上述各種網(wǎng)盤在使用體驗中,雖然優(yōu)勢和特點各不相同,但是這些網(wǎng)盤在數(shù)據(jù)安全上都存在重要的問題。網(wǎng)盤將數(shù)據(jù)存放到自家的云存儲系統(tǒng)中,這樣用戶的數(shù)據(jù)存在完整性、保密性、可用性和廠商鎖定等風險。
3可靠云存儲系統(tǒng)的架構設計
3.1實現(xiàn)網(wǎng)盤高可靠云存儲系統(tǒng)的相關技術
本系統(tǒng)將文件分片編碼,散布到不同的云存儲提供商的網(wǎng)盤中。文件分片解決了廠商鎖定的風險;帶有容錯能力的非系統(tǒng)編碼,保證系統(tǒng)的可靠性、數(shù)據(jù)保密性。對文件片散列運算作為校驗和,判斷文件是否被修改,保證數(shù)據(jù)完整性。使用元數(shù)據(jù)來記錄文件散布信息和目錄結構信息,元數(shù)據(jù)則通過AES加密算法進行加密,并用多副本策略散布到不同的網(wǎng)盤上,加密保證了元數(shù)據(jù)的保密性,多副本實現(xiàn)元數(shù)據(jù)一致性。
3.2設計云存儲服務系統(tǒng)框架
本系統(tǒng)框架設計主要分為4層,由下到上分別為網(wǎng)絡層、接口層、系統(tǒng)層和用戶層,層級結構如圖1所示。
網(wǎng)絡層:一方面接收上層接口層的表單數(shù)據(jù),然后使用HTTP協(xié)議通過網(wǎng)絡,把數(shù)據(jù)發(fā)送給云存儲服務器;另一方面獲取服務器響應,并將響應信息交付給接口層。
接口層:該層主要負責按照文件編碼要求的數(shù)據(jù)組織格式,對系統(tǒng)層數(shù)據(jù)進行管理組織,組織好表單后交付給網(wǎng)絡層;同時,等待底層網(wǎng)絡層發(fā)來的各種響應,并解析響應信息,將解析結果交付給上層系統(tǒng)層,待系統(tǒng)層去判斷與處理。
系統(tǒng)層:主要負責引導用戶對本系統(tǒng)軟件進行授權訪問,負責對下層目錄樹管理模塊、文件管理模塊和元數(shù)據(jù)管理模塊進行統(tǒng)一調(diào)度管理,以實現(xiàn)用戶操作請求和保證模塊間的一致性。
用戶層:負責接收用戶文件上傳、下載、刪除、創(chuàng)建目錄等請求,并將請求信息交付給系統(tǒng)層。同時,又會接收來自系統(tǒng)層的處理結果,最后以界面的形式將結果展示給用戶。
3.3設計云存儲服務系統(tǒng)核心層
系統(tǒng)核心層由授權認證單元、令牌管理單元和操作處理單元3部分組成。圖2展示了該層的模塊結構和功能。
授權認證單元主要負責引導用戶對本系統(tǒng)軟件進行OAuth標準授權,授權本系統(tǒng)軟件可以訪問用戶存儲在網(wǎng)盤上的資源。
令牌管理單元負責對各網(wǎng)盤廠商提供的令牌進行管理,保證令牌的安全和長期有效。
操作處理單元負責對下層目錄樹管理模塊、文件管理模塊和元數(shù)據(jù)管理模塊進行統(tǒng)一調(diào)度管理,以實現(xiàn)用戶操作請求和保證模塊間的一致性。
4實驗測試
本系統(tǒng)利用本院云計算技術與應用實驗室,使用實訓室內(nèi)的云節(jié)點服務器搭建云存儲服務器,測試系統(tǒng)架構合理可行。本系統(tǒng)依托柳州市登峰科技公司的云服務平臺,進行系統(tǒng)負載測試和壓力測試,檢驗系統(tǒng)安全性、可靠性達到現(xiàn)場使用的需求。