蘇文偉 張梅

摘 要：大數(shù)據(jù)和云計算技術(shù)的廣泛使用，對數(shù)據(jù)存儲空間也提出了更加嚴(yán)格的要求。云存儲就是借助于分布式文件系統(tǒng)、集群應(yīng)用等功能，將不同類型的存儲設(shè)備進(jìn)行整合利用，從而實現(xiàn)數(shù)據(jù)存儲和業(yè)務(wù)訪問等基本功能。在云存儲服務(wù)器中，元數(shù)據(jù)是文件系統(tǒng)中主要的訪問對象，因此必須通過加強元數(shù)據(jù)管理，切實保障元數(shù)據(jù)的可用性、安全性和完整性。本文首先對元數(shù)據(jù)管理的常用技術(shù)進(jìn)行了概述，隨后提出了一種基于緩存技術(shù)的云存儲元數(shù)據(jù)管理方案，最后就云網(wǎng)盤系統(tǒng)的功能實現(xiàn)展開了簡要分析。

關(guān)鍵詞：云存儲；元數(shù)據(jù)管理；緩存技術(shù)；控制系統(tǒng)

引言：在分布式文件系統(tǒng)中，元數(shù)據(jù)管理系統(tǒng)發(fā)揮著不可替代的重要價值，并且元數(shù)據(jù)管理中所用技術(shù)的配套程度，也會直接對文件系統(tǒng)的整體性能產(chǎn)生影響?，F(xiàn)階段云存儲環(huán)境下元數(shù)據(jù)的管理技術(shù)主要有哈希算法、映射法等，但是在實際應(yīng)用中都存在一定的缺陷。本文提出了一種適應(yīng)云存儲環(huán)境的元數(shù)據(jù)緩存替代策略，并在此基礎(chǔ)上提出了云網(wǎng)盤系統(tǒng)設(shè)計方案，對解決現(xiàn)階段元數(shù)據(jù)管理中存在的一些問題有一定的借鑒意義。

一、云儲存中元數(shù)據(jù)管理的概述

1、數(shù)據(jù)與元數(shù)據(jù)

云存儲中的文件內(nèi)容主要包括兩種類型，一種是數(shù)據(jù)，另一種是元數(shù)據(jù)。數(shù)據(jù)就是二進(jìn)制的文件內(nèi)容，而元數(shù)據(jù)則是關(guān)于描述文件屬性的詳細(xì)信息。從功能定位上來看，元數(shù)據(jù)還包含了數(shù)據(jù)的一些特征或?qū)傩?，此外還可以根據(jù)外部使用和管理需求，完成定位、檢索、選擇等功能。元數(shù)據(jù)格式如表1所示。

2、元數(shù)據(jù)管理的目標(biāo)

以往元數(shù)據(jù)管理只能在獨立的云存儲分布式數(shù)據(jù)管理系統(tǒng)中進(jìn)行，為了更好的適應(yīng)不同需求下的元數(shù)據(jù)存儲和訪問需求，需要實現(xiàn)跨系統(tǒng)的元數(shù)據(jù)管理，并且要保證系統(tǒng)響應(yīng)的及時性和高效性，為用戶提供便捷的數(shù)據(jù)管理服務(wù)。簡單來說，基于云存儲的元數(shù)據(jù)管理目標(biāo)，就是要兼顧大容量、高擴展性和高訪問效率。此外，要求元數(shù)據(jù)管理系統(tǒng)還能夠根據(jù)需求進(jìn)行動態(tài)擴展，以降低后期訪問和管理的成本。

3、元數(shù)據(jù)管理的重要性

一方面，元數(shù)據(jù)作為云存儲服務(wù)器中訪問頻率最高的數(shù)據(jù)，必須要保證其可靠性和準(zhǔn)確性，這是由系統(tǒng)運行模式?jīng)Q定的。云存儲中的文件被用戶訪問時，首先需要經(jīng)過客戶端登錄操作，此時云存儲服務(wù)器會對訪問權(quán)限進(jìn)行檢查，只有具備讀寫權(quán)限才能獲取讀取文件中包含的元數(shù)據(jù)。另外，元數(shù)據(jù)和文件數(shù)據(jù)之前存在前后邏輯關(guān)系，只有先訪問元數(shù)據(jù)，才能后訪問文件數(shù)據(jù)。這樣用戶的訪問信息就會被記錄下來，避免了非法訪問或越權(quán)操作。另一方面，元數(shù)據(jù)本身占據(jù)的存儲資源十分微小，如果在同一時間內(nèi)有大量的訪問信息同時作用于小文件，可能會造成系統(tǒng)數(shù)據(jù)傳輸通道擁堵。通過技術(shù)手段加強元數(shù)據(jù)管理，可以避免此類問題的發(fā)生。

二、引入緩存技術(shù)的元數(shù)據(jù)管理策略

1、基于時間特性的策略

現(xiàn)階段關(guān)于時間特性的算法主要有兩種：一種是MIN算法，當(dāng)云存儲服務(wù)器上的存儲空間接近上限，而此時又有新的數(shù)據(jù)需要存儲時，系統(tǒng)會根據(jù)已經(jīng)設(shè)定的篩選條件，自動淘汰掉一部分緩存數(shù)據(jù)。這些緩存數(shù)據(jù)通常被系統(tǒng)認(rèn)定為無價值或長期沒有被訪問的。但是MIN算法中對于系統(tǒng)設(shè)定條件的要求過于嚴(yán)格，否則會造成元數(shù)據(jù)的誤刪除。另一種是FIFO算法，同樣是在存儲服務(wù)器上的存儲空間接近上限的情況下，按照元數(shù)據(jù)存入時間的先后順序，先存入的元數(shù)據(jù)被替換掉。這種算法執(zhí)行起來較為簡單，但是管理精確性不高。

2、基于頻率特性的策略

LFU算法的原理是檢測元存儲系統(tǒng)一段時間一來訪問次數(shù)最少的數(shù)據(jù)塊，然后將其淘汰掉，并引入新的數(shù)據(jù)塊進(jìn)行替代。LFU算法應(yīng)用的基本前提是，云存儲服務(wù)器上的各個存儲單元或數(shù)據(jù)塊，因為頻率不同所以可以看做是相互獨立的個體。如果某一數(shù)據(jù)塊被訪問的次數(shù)越多，那么他的使用頻率就會相應(yīng)的升高。系統(tǒng)可以直接記錄在某一特定時間段內(nèi)數(shù)據(jù)塊的訪問次數(shù)，這樣就降低了元數(shù)據(jù)管理的難度。但是LFU算法在應(yīng)用中也有一些不足，例如在運算過程中會占用較多的系統(tǒng)資源，訪問數(shù)據(jù)不能及時清除容易造成緩存污染等。

3、時間與頻率相結(jié)合的策略

LIRS算法是一種在LRU算法基礎(chǔ)上進(jìn)行改良的新型緩存替換算法，大量的實踐已經(jīng)表明LRU算法存在兩項不足，一項是在掃描緩存過程中，可能造成緩存污染，另一項是命中率不是十分理想，LIRS算法的提出正是為了解決這兩項不足，LIRS改進(jìn)了LRU算法中的替換因素，這里用R來表示，R并不代表時間，而是代表每個緩存數(shù)據(jù)最后兩次的訪問之間間隔了多少個不重復(fù)的緩存數(shù)據(jù)。在算法運行中，如果現(xiàn)有的緩存數(shù)據(jù)需要被替換，那么該算法會根據(jù)R值作為唯一判定依據(jù)，將R值最大的緩存數(shù)據(jù)作為首選的淘汰目標(biāo)。

4、基于云存儲的元數(shù)據(jù)緩存管理策略

上述幾種元數(shù)據(jù)管理方法，管理重點主要集中在如何快速查詢元數(shù)據(jù)和優(yōu)化設(shè)計元數(shù)據(jù)管理與存儲結(jié)構(gòu)。但是在元數(shù)據(jù)的實際應(yīng)用中，除了要重視元數(shù)據(jù)的訪問特性外，存儲容量、讀寫次數(shù)以及管理流程等，都是影響云存儲環(huán)境下元數(shù)據(jù)管理效率的關(guān)鍵因素。另外，現(xiàn)階段云儲存中對元數(shù)據(jù)管理能夠構(gòu)成直接影響的節(jié)點主要有三方面，分別是客戶端節(jié)點、存儲控制節(jié)點和數(shù)據(jù)存儲節(jié)點。其中，存儲控制節(jié)點能夠?qū)碜圆煌?wù)器上的元數(shù)據(jù)進(jìn)行篩選處理，在元數(shù)據(jù)管理中發(fā)揮著核心作用。本文提出的一種元數(shù)據(jù)緩存管理策略，能夠?qū)⒃獢?shù)據(jù)以緩存形式保存早云存儲服務(wù)器中，這就降低了元數(shù)據(jù)丟失或損壞的記錄，極大的提高了元數(shù)據(jù)管理的安全性和完整性。

三、云網(wǎng)盤系統(tǒng)的實現(xiàn)

1、系統(tǒng)的結(jié)構(gòu)組成

云存儲服務(wù)是位于云平臺的PaaS層的。PaaS層中，淺色部分的元數(shù)據(jù)存儲集群、數(shù)據(jù)存儲集群、賬戶管理服務(wù)器和認(rèn)證與授權(quán)服務(wù)器是利用的現(xiàn)有的開源軟件提供一些基本的數(shù)據(jù)存儲功能。其中，元數(shù)據(jù)存儲集群采用的是MongoDB非關(guān)系數(shù)據(jù)庫，數(shù)據(jù)存儲集群采用的是FastDFS分布式文件系統(tǒng)集群，賬戶管理服務(wù)器和認(rèn)證與授權(quán)服務(wù)器顧名思義提供相應(yīng)的服務(wù)，是基于OpenAM對相關(guān)功能進(jìn)行的封裝。

2、系統(tǒng)主體功能設(shè)計

在云存儲環(huán)境下，數(shù)據(jù)和元數(shù)據(jù)分別獨立存放，在進(jìn)行系統(tǒng)主體功能設(shè)計時，也必須進(jìn)行相應(yīng)的元數(shù)據(jù)服務(wù)設(shè)計。此外，云存儲作為一個相對開放的環(huán)境，也需要兼顧安全性問題，這些在系統(tǒng)主體功能設(shè)計時都應(yīng)當(dāng)有所體現(xiàn)。系統(tǒng)主體功能包括：（1）元數(shù)據(jù)系統(tǒng)，主要用來存儲、管理元數(shù)據(jù)；（2）存儲服務(wù)器引擎，主要完成不同服務(wù)器之間的功能調(diào)度，并為元數(shù)據(jù)提供緩存區(qū)；（3）訪問控制系統(tǒng)，對用戶賬戶進(jìn)行管理，包括賬戶登錄、口令驗證等；（4）運維系統(tǒng)，包括系統(tǒng)故障預(yù)警與處理，權(quán)限管理等。

3、存儲服務(wù)器引擎設(shè)計

存儲器服務(wù)引擎的主要功能是為整個存儲服務(wù)系統(tǒng)中的用戶提供數(shù)據(jù)接口，存儲服務(wù)引擎封裝了對訪問控制子系統(tǒng)和元數(shù)據(jù)子系統(tǒng)的REST接口訪問，稱之為代理。另外，為了方便用戶通過REST接口調(diào)用系統(tǒng)的存儲服務(wù)，存儲服務(wù)引擎提供了相應(yīng)的客戶端API，它是一個jar包，客戶端程序只需要導(dǎo)入該jar包，就可以直接調(diào)用其中封裝了對相應(yīng)REST接口進(jìn)行請求的函數(shù)來調(diào)用REST服務(wù)。存儲服務(wù)引擎的邏輯結(jié)構(gòu)如圖2所示。

訪問控制代理模塊和元數(shù)據(jù)緩存管理模塊如圖所示，它們也是存儲服務(wù)引擎的一部分，服務(wù)使用者對這兩類服務(wù)的調(diào)用都通過該代理進(jìn)行。這兩個代理是對訪問控制子系統(tǒng)和元數(shù)據(jù)子系統(tǒng)的簡單封裝，目的是避免將這兩個子系統(tǒng)中的相關(guān)服務(wù)器暴露出來。

4、元數(shù)據(jù)緩存模塊

如上文所述，用戶的元數(shù)據(jù)訪問請求，必須先得到存儲服務(wù)引擎的響應(yīng)，然后才能根據(jù)用戶訪問的關(guān)鍵字，在存儲服務(wù)器中查找是否有與之相匹配的元數(shù)據(jù)。如果有完美匹配的數(shù)據(jù)，則將其發(fā)送到客戶端，用戶可以選擇瀏覽或下載；如果沒有匹配數(shù)據(jù)，一方面是將未匹配信息反饋給用戶，同時將此條信息存儲到元數(shù)據(jù)數(shù)據(jù)庫中，當(dāng)有符合關(guān)鍵詞的信息后，自動進(jìn)行存儲。這樣就實現(xiàn)了元數(shù)據(jù)緩存模塊的自動更新和補充，為用戶查找信息提供了諸多方便。需要注意的是，元數(shù)據(jù)緩存模塊中的數(shù)據(jù)，并不會永久保存，會定期進(jìn)行覆蓋和更換，對于有保存價值的數(shù)據(jù)信息應(yīng)當(dāng)及時轉(zhuǎn)移。

5、文件數(shù)據(jù)讀寫模塊

該模塊主要完成三部分功能，分別是：（1）文件上傳。根據(jù)單次上傳文件的完整度，可以分為整體上傳和分塊上傳兩種模式，整體上傳就是直接將文件以文件流的形式，打包發(fā)送到存儲器中，然后在云存儲服務(wù)器中記錄文件上傳信息。整體上傳由于受到傳輸流量的限制，一般只針對一些容量較小的文件。此外，在整體上傳中，如果出現(xiàn)網(wǎng)絡(luò)中斷，也會導(dǎo)致文件傳輸失敗，需要重新上傳。分塊上傳則彌補了這一缺陷，但是上傳時間較長。（2）文件下載。根據(jù)用戶需要，從云存儲服務(wù)器中下載制定文件到客戶端。相應(yīng)的，文件下載中也分為整體下載和分塊下載，原理同上。（3）文件刪除。對于無效的或是沒有保存價值的文件，需要及時刪除，避免占用存儲空間。

6、服務(wù)器主動同步注冊

在云儲存模式下，保證數(shù)據(jù)的同步既是難點，又是重點。為了提高不同服務(wù)器中數(shù)據(jù)同步響應(yīng)的速率，可以通過在系統(tǒng)外部提供數(shù)據(jù)傳輸接口的方式來實現(xiàn)。這種基于外部接口的數(shù)據(jù)同步，需要服務(wù)器主動發(fā)出調(diào)控指令，因此稱之為主動同步。同時，在各臺服務(wù)器中設(shè)置同樣的數(shù)據(jù)調(diào)控頻率，每隔一定時間完成一次數(shù)據(jù)對比，以便于協(xié)調(diào)不同服務(wù)器之間的數(shù)據(jù)協(xié)同性。服務(wù)器主動同步注冊的形式一般有兩種：第一種是在常規(guī)環(huán)境下，先由某一臺服務(wù)器發(fā)送注冊主動同步服務(wù)請求，對方服務(wù)器接受請求后，對比注冊信息，完成同步；第二種是出現(xiàn)數(shù)據(jù)異常變化的環(huán)境下，先查詢用戶主動同步的關(guān)鍵詞，然后在對方服務(wù)器中搜索到匹配的關(guān)鍵詞，然后完成元數(shù)據(jù)的替換。

7、元數(shù)據(jù)管理系統(tǒng)架構(gòu)

隨著云存儲系統(tǒng)中元數(shù)據(jù)的不斷增加，傳統(tǒng)的管理方式不僅效率較低，而且不能保證元數(shù)據(jù)的安全。為了提高元數(shù)據(jù)管理效率，需要引進(jìn)專門的存儲服務(wù)引擎和獨立的元數(shù)據(jù)管理服務(wù)器。兩者之間可以進(jìn)行數(shù)據(jù)的交互，在元數(shù)據(jù)存儲服務(wù)引擎中，有專門的存儲單元，負(fù)責(zé)接收來自元數(shù)據(jù)管理服務(wù)器中的請求。同時，管理服務(wù)器也能夠動態(tài)的監(jiān)控云存儲系統(tǒng)的運行狀態(tài)，并按照設(shè)定好的頻率，每隔一定時間發(fā)送一次運行狀態(tài)。在構(gòu)建元數(shù)據(jù)管理系統(tǒng)架構(gòu)時，需要依次完成“創(chuàng)建文件元數(shù)據(jù)模塊”、“發(fā)布創(chuàng)建請求”、“讀取并識別元數(shù)據(jù)模塊”等一系列操作，最終在存儲服務(wù)器中建立緩存文件，然后完成元數(shù)據(jù)的流程化管理。

8、訪問控制系統(tǒng)

為了保證云存儲環(huán)境下元數(shù)據(jù)的安全性，設(shè)置了訪問控制系統(tǒng)，對所有訪問系統(tǒng)的用戶進(jìn)行權(quán)限確認(rèn)，只有符合權(quán)限的用戶才能夠進(jìn)入系統(tǒng)內(nèi)部。該系統(tǒng)主要的功能結(jié)構(gòu)分別是賬戶管理模塊、賬戶認(rèn)證模塊與登錄管理模。訪問控制的功能圖如圖3所示。

在整個訪問控制系統(tǒng)中，賬戶管理可以為用戶提供多種服務(wù)，包括用戶信息的錄入、存儲以及定期更新等。在該模塊設(shè)置中，系統(tǒng)的安全性尤其重要，必須要保證內(nèi)部存儲用戶信息的安全與完整。賬戶認(rèn)證和授權(quán)模塊，主要提供登錄和注銷服務(wù)。

9、運維管理系統(tǒng)

在整個系統(tǒng)運行過程中，需要運維管理系統(tǒng)負(fù)責(zé)做好系統(tǒng)運行工況的動態(tài)監(jiān)測。一旦系統(tǒng)運行出現(xiàn)問題，也可以及時發(fā)出警報，運維技術(shù)人員根據(jù)系統(tǒng)報警確定故障發(fā)生位置，進(jìn)而采取針對性的處理措施，保障元數(shù)據(jù)的完整性與安全性。在整個運維管理系統(tǒng)中，最核心的部分是運維管理服務(wù)器，運維技術(shù)人員可以在服務(wù)器界面上隨時掌握系統(tǒng)的基本運行信息。服務(wù)器除了能夠接受管理員客戶端發(fā)送的各種控制指令外，還能夠在程序控制下獨立完成數(shù)據(jù)收集、指令傳達(dá)和故障碼存儲等工作。已經(jīng)出現(xiàn)并被解決的故障，會存儲到獨立的數(shù)據(jù)庫中，這樣今后如果出現(xiàn)類似故障，運維系統(tǒng)就可以自動解決。

結(jié)語：在元數(shù)據(jù)管理中引入緩存技術(shù)，既是在傳統(tǒng)元數(shù)據(jù)管理方法上的一種嘗試和創(chuàng)新，同時也很好的符合了云存儲環(huán)境下用戶訪問的需求，從理論上來說具有可行性。 通過后期仿真試驗，也證明了該技術(shù)在實際應(yīng)用中的價值。在仿真中，基于元數(shù)據(jù)緩存代替技術(shù)能夠有效提高系統(tǒng)服務(wù)器的相應(yīng)速率，提高了系統(tǒng)允許負(fù)載，進(jìn)一步提高了云存儲中元數(shù)據(jù)的管理效率。

參考文獻(xiàn)：

[1]崔紀(jì)鋒，張勇，李超，等.C4S2-243：面向云存儲的空間索引技術(shù)研究[C]//中國云計算與saas大會.2015.

[2]李東陽，劉鵬，田浪軍.基于SSD的云存儲主服務(wù)器元數(shù)據(jù)管理研究[J].計算機技術(shù)與發(fā)展，2013（10）：68-71.