王圳　吳震東

摘要：該系統(tǒng)主要應(yīng)用于個人用戶，提供輕量級私有云存儲能力。私有云存儲服務(wù)可工作于任何TCP/IP網(wǎng)絡(luò)環(huán)境，公網(wǎng)、內(nèi)網(wǎng)皆可，可隨時移動、放置于任何工作、生活場所；支持用戶隨時隨地在公網(wǎng)環(huán)境下向私有云存儲轉(zhuǎn)發(fā)文件數(shù)據(jù)，實時冗余保存。私有云存儲作為公有云存儲的輔助，能解決人們一直以來使用云存儲的顧慮：在公有云存儲環(huán)境下數(shù)據(jù)的隱私性和安全性。系統(tǒng)使用OpenStack Swift對象存儲模塊構(gòu)建本地冗余存儲系統(tǒng)，利用公網(wǎng)服務(wù)器構(gòu)建統(tǒng)一文件轉(zhuǎn)發(fā)平臺，實現(xiàn)多用戶文件加密傳輸、轉(zhuǎn)發(fā)、移動用戶認(rèn)證、內(nèi)外網(wǎng)協(xié)同通信功能。

關(guān)鍵詞：Android；OpenStack Swift；文件傳輸；私有云存儲

中圖分類號：TP393 文獻標(biāo)識碼：A 文章編號：1009-3044（2016）02-0043-03

1 云存儲現(xiàn)狀

云存儲概念是隨著云計算、軟件定義存儲等新興產(chǎn)業(yè)的發(fā)展而流行起來的。通俗地說，云存儲就是使用軟件來解決硬件帶來的數(shù)據(jù)存儲難題的一種技術(shù)方案。傳統(tǒng)的存儲方案，因價格高昂，無法全面應(yīng)用等問題，不可避免地會有宕機、設(shè)備損壞等事件發(fā)生。這給數(shù)據(jù)的高可用帶來了極大的不安，但是數(shù)據(jù)高可用卻又是我們迫切需要的。那么我們是不是可以使用軟件的方案來解決呢？云存儲就是背負(fù)著這樣的歷史使命走上舞臺。

云存儲在技術(shù)層面來說，也可以稱為分布式存儲系統(tǒng)。這種技術(shù)充分使用分布式帶來的優(yōu)勢，通過軟件，讓數(shù)據(jù)保持一定量的冗余，并且指定同一份數(shù)據(jù)的冗余必定不在同一個物理硬件之上，許多分布式存儲系統(tǒng)默認(rèn)的冗余量都是3，也就是說每一份數(shù)據(jù)都會有兩個備份，并且備份數(shù)據(jù)與主數(shù)據(jù)不建議在同一物理硬件設(shè)備之上。這樣的話，只要數(shù)據(jù)的三個載體有一個不損壞，那么數(shù)據(jù)還是完整可用的。在分布式存儲系統(tǒng)的基礎(chǔ)之上，再加上人工調(diào)配，數(shù)據(jù)的可靠性得到了極大的提高。此外，分布式存儲系統(tǒng)構(gòu)建在傳統(tǒng)的存儲設(shè)備之上，既能直接管理硬件設(shè)備，也能管理傳統(tǒng)的專用存儲設(shè)備。這就屏蔽了底層硬件設(shè)備的異構(gòu)性，管理員也不需要再去考慮硬件異構(gòu)帶來的很多問題。

從技術(shù)選型上來說，大型的公有云提供商基本都會自己開發(fā)專有的分布式存儲系統(tǒng)，而資源有限的小公司基本都會基于開源的分布式存儲方案，針對自己的業(yè)務(wù)場景進行改造，進而形成擁有自主產(chǎn)權(quán)的私有分布式存儲系統(tǒng)。目前開源的主要方案有Swift和Ceph。從使用上來說，云存儲大致可分為：公有云存儲、私有云存儲、混合云存儲。公有云存儲就是公有云存儲供應(yīng)商在公網(wǎng)環(huán)境下開放統(tǒng)一接口，用戶只需付費購買容量服務(wù)，就可以使用大型存儲的一種形式。這種使用方式的優(yōu)勢就是，用戶無需花費太多的成本就能獲得云存儲帶來的各種便利和可靠。但是，公有云存儲的缺點也是非常明顯的，數(shù)據(jù)統(tǒng)一放在公有云提供商的IDC中，那么用戶基本就失去了對數(shù)據(jù)的控制權(quán)。在upyun最新的活動中，公有云的缺點就體現(xiàn)的一覽無余。用戶可以免費上傳數(shù)據(jù)，但是訪問上傳的數(shù)據(jù)確實按流量收費。這就意味著，數(shù)據(jù)一旦進入公有云提供商，那么用戶基本完全喪失了對數(shù)據(jù)的控制權(quán)。雖然現(xiàn)在很多公有云存儲提供商都會與用戶簽訂保密協(xié)議，但是，作為銀行、金融等對數(shù)據(jù)的安全性特別重視的企業(yè)，這種不可控因素是不可忍受的。因此，私有云存儲就有了存在的價值。私有云存儲，顧名思義，就是軟硬件完全由公司自己把控的數(shù)據(jù)存儲解決方案。這種方案的優(yōu)勢在上述已經(jīng)說過，其主要缺點就是成本較高，數(shù)據(jù)可靠性也很難達(dá)到公有云存儲提供商專業(yè)團隊所能保證的級別。混合云存儲就是同時使用了這兩種存儲的一種方案，使用公有云存儲來備份加密數(shù)據(jù)，使用私有云存儲來滿足業(yè)務(wù)工作。

2 系統(tǒng)原理

輕量級私有云存儲總體架構(gòu)圖如圖1所示。

移動終端需要實現(xiàn)的功能有：用戶登錄、文件及文件列表上傳、日志信息查閱。公網(wǎng)與內(nèi)網(wǎng)私有云存儲平臺之間使用一臺文件轉(zhuǎn)發(fā)服務(wù)器，把通過登錄認(rèn)證的終端客戶端傳輸過來的文件轉(zhuǎn)發(fā)到指定的內(nèi)網(wǎng)服務(wù)器，所以公網(wǎng)服務(wù)器需要有登錄認(rèn)證模塊、文件接收模塊、文件轉(zhuǎn)發(fā)模塊，此外為了使移動終端能進行日志信息、上傳文件列表查閱，在公網(wǎng)服務(wù)端實現(xiàn)對等功能。內(nèi)網(wǎng)服務(wù)器是公網(wǎng)服務(wù)器與私有云存儲平臺的中間站，所有文件必須通過內(nèi)網(wǎng)服務(wù)器才能上傳到私有云存儲平臺。私有云存儲平臺采用的是開源產(chǎn)品OpenStack Swift，OpenStack Swift私有云存儲平臺負(fù)責(zé)存儲文件，并保證文件的高可用性，用戶可以通過OpenStack Swift提供的接口對上傳的文件進行適當(dāng)?shù)奈募虏僮鳌?/p>

2.1公網(wǎng)轉(zhuǎn)發(fā)服務(wù)器模塊

公網(wǎng)轉(zhuǎn)發(fā)服務(wù)器部署一個用戶認(rèn)證模塊，并預(yù)留文件接收套接字接口。用戶通過認(rèn)證后，經(jīng)預(yù)留套接字接口讀取來自客戶端的字節(jié)流。同時，服務(wù)器監(jiān)聽來自內(nèi)網(wǎng)上傳服務(wù)器的請求，每收到一個請求，即把對應(yīng)的通信套接字存入套接字棧中；當(dāng)移動客戶端請求上傳文件時，服務(wù)器從套接字棧中依次出棧預(yù)存的通信套接字，銜接兩端Socket，實現(xiàn)文件跨越公網(wǎng)、內(nèi)網(wǎng)的存儲、轉(zhuǎn)發(fā)。

2.2內(nèi)網(wǎng)接收及上傳模塊

內(nèi)外網(wǎng)需要通信的話，發(fā)起者肯定是內(nèi)網(wǎng)服務(wù)器，因為公網(wǎng)服務(wù)器不能主動訪問到內(nèi)網(wǎng)。在本模塊中，由內(nèi)網(wǎng)服務(wù)器向公網(wǎng)服務(wù)器特定的端口發(fā)起連接請求，在公網(wǎng)服務(wù)器接受到這個請求之后，便始終保持連接。并以兩秒間隔保持心跳，維持連接一直存在。當(dāng)公網(wǎng)轉(zhuǎn)發(fā)服務(wù)器接收到文件并轉(zhuǎn)發(fā)時，內(nèi)網(wǎng)文件接收及上傳服務(wù)器便開始接收文件。因?qū)ο蟠鎯μ峁┑腁PI接口是針對文件上傳的，所以接收到的字節(jié)流不能直接上傳到私有云存儲環(huán)境，而是要先保存在本地，然后再調(diào)用OpenStack Swift API 接口進行文件上傳，并列出當(dāng)前用戶所擁有的容器的對象文件列表。

2.3后端云存儲模塊

有很多主流開源分布式文件存儲系統(tǒng)都可以作為私有云環(huán)境下的存儲系統(tǒng)。OpenStack Swift在非結(jié)構(gòu)化數(shù)據(jù)存儲方面有其更高效的存儲效率，因此在本系統(tǒng)基于OpenStack Swift搭建。相關(guān)附屬組件有：用于用戶認(rèn)證及用戶管理的認(rèn)證服務(wù)（Keystone）、用于存儲虛機鏡像及鏡像管理的鏡像服務(wù)（Glance）、整個OpenStack云計算平臺服務(wù)的核心計算服務(wù)（Nova）、用以提供虛擬網(wǎng)絡(luò)中心的網(wǎng)絡(luò)服務(wù)（Neutron）、讓人可以更加直觀地感知到各類服務(wù)的界面服務(wù)（Horizon）。

3 關(guān)鍵技術(shù)

3.1 用戶認(rèn)證服務(wù)

認(rèn)證服務(wù)是云存儲服務(wù)必須的一環(huán)，由OpenStack的Keystone組件實現(xiàn)。雖然理論上OpenStack的各個項目之間是相互獨立提供相關(guān)服務(wù)的，例如Nova提供了計算服務(wù)，Swift提供了對象存儲服務(wù)等，但是所有的這些服務(wù)均依賴于OpenStack認(rèn)證服務(wù)組件所提供的3A（Account，Authentication，Authorization）服務(wù)。

3.2 數(shù)據(jù)一致性存儲服務(wù)

數(shù)據(jù)云存儲服務(wù)本質(zhì)上是一個分布式文件存儲管理系統(tǒng)，其可以通過自身的代理服務(wù)達(dá)到存儲系統(tǒng)的全局負(fù)載均衡及數(shù)據(jù)一致性。所有數(shù)據(jù)經(jīng)緩存服務(wù)用一致性散列的方法，將數(shù)據(jù)分散到各個物理存儲區(qū)域。Swift的實現(xiàn)中對象環(huán)、容器環(huán)及賬戶環(huán)這三個數(shù)據(jù)環(huán)的作用顯得相當(dāng)?shù)闹匾?，所有的虛擬分區(qū)與物理存儲的映射關(guān)系都通過在這三個環(huán)上執(zhí)行一致性哈希運算得到。

3.3 對象存儲接口調(diào)用

OpensStack的對象存儲是一個高可用的、分布式的、一致的對象存儲。通過使用對象存儲的API可以創(chuàng)建、修改和獲得對象和元數(shù)據(jù)，Swift的API是通過REST（Representational State Transfer）網(wǎng)絡(luò)服務(wù)來實現(xiàn)的。使用HTTPS（SSL）協(xié)議來和對象存儲進行交互，可以用HTTP API調(diào)用完成操作，也可以使用支持RESTful API的特定語言的API進行調(diào)用。存儲對象使用JSON和XML這些支持標(biāo)準(zhǔn)的、非序列化的響應(yīng)格式的協(xié)議進行表達(dá)。

4 系統(tǒng)運行

我們對輕量級私有云存儲系統(tǒng)進行功能實驗，實驗環(huán)境如下：

手機客戶端測試手機：努比亞z5s mini Android 4.4

公網(wǎng)服務(wù)器測試運行環(huán)境：

IP：42.62.101.111

系統(tǒng)環(huán)境： CentOS Linux release 7.1.1503 （Core）

JDK版本： jdk-8u65-linux-x64.tar.gz

MySQL驅(qū)動：mysql-connector-java-5.1.37-bin.jar

內(nèi)網(wǎng)服務(wù)器測試運行環(huán)境：

系統(tǒng)環(huán)境： CentOS Linux release 7.1.1503 （Core）

JDK版本： jdk-8u65-linux-x64.tar.gz

IP：192.168.0.47

移動終端APP運行界面如圖2所示，公網(wǎng)服務(wù)與內(nèi)網(wǎng)服務(wù)工作情況如圖3所示。

參考文獻：

[1] 馮馳. 基于Swift分布式存儲系統(tǒng)的數(shù)據(jù)同步與存儲研究[D].浙江大學(xué)，2014.

[2] 陳成.云存儲技術(shù)及應(yīng)用[J].商情，2012（37）.

[3] 周震，趙紅梅.云計算技術(shù)發(fā)展歷程探究[J].信息通信，2013（6）.

[4] 李輝.基于OpenStack的私有云計算平臺的研究和實現(xiàn)[D].江西：江西師范大學(xué)，2010.

[5]docs.openstack.org.OpenStackCommunity[CP/OL]http：//docs.penstack.org/liberty/install-guide-rdo/，2015.12.10/2015.12.12.