［張震偉 馬雁云］

基于超元數(shù)據(jù)緩存的高速數(shù)據(jù)訪問系統(tǒng)

［張震偉 馬雁云］

存儲(chǔ)區(qū)域網(wǎng) 光纖通道 文件系統(tǒng) 緩存 超元數(shù)據(jù)

張震偉

華為技術(shù)有限公司，南京研究所，中級(jí)工程師，碩士研究生，非CCF會(huì)員，主要研究方向：軟件技術(shù)在通信中的應(yīng)用。

馬雁云

南京郵電大學(xué)檔案館，中級(jí)工程師，碩士研究生，非CCF會(huì)員，主要研究方向：軟件技術(shù)在通信中的應(yīng)用。

引言

隨著Internet技術(shù)的迅猛發(fā)展，網(wǎng)絡(luò)上的數(shù)據(jù)信息已經(jīng)呈爆炸式增長(zhǎng)，網(wǎng)絡(luò)服務(wù)器需要存儲(chǔ)的信息和數(shù)據(jù)也越來越多，對(duì)服務(wù)器存儲(chǔ)容量要求不斷提高，導(dǎo)致簡(jiǎn)單的內(nèi)部存儲(chǔ)從容量上已經(jīng)無法滿足這一境況，用戶對(duì)于數(shù)據(jù)傳輸可靠性或數(shù)據(jù)傳輸速率等方面的要求也越來越高。因此，服務(wù)器存儲(chǔ)“外部化”已經(jīng)成為必選的策略。為服務(wù)器提供專用的外部存儲(chǔ)環(huán)境，充分利用最新的存儲(chǔ)硬件技術(shù)和網(wǎng)絡(luò)技術(shù)，才能夠最終滿足對(duì)大容量數(shù)據(jù)快速可靠的存儲(chǔ)、精確高效的訪問和安全穩(wěn)定的備份等需求。

1 網(wǎng)絡(luò)存儲(chǔ)技術(shù)的發(fā)展

1.1直連式附加存儲(chǔ)（Direct Attached Storage，DAS）

在存儲(chǔ)功能“外部化”的發(fā)展歷程中最先被設(shè)計(jì)出的存儲(chǔ)體系架構(gòu)被稱為DAS［1，2，3，4］，在現(xiàn)在的部分網(wǎng)絡(luò)環(huán)境中仍然被使用。其特點(diǎn)是磁盤陣列（Redundant Array of Independent Disk，RAID）等存儲(chǔ)設(shè)備通過總線技術(shù)直接連接到計(jì)算機(jī)的系統(tǒng)總線上，而計(jì)算機(jī)既作為應(yīng)用服務(wù)器，同時(shí)作為存儲(chǔ)服務(wù)器，響應(yīng)客戶機(jī)的訪問請(qǐng)求后，訪問直連的存儲(chǔ)設(shè)備并返回?cái)?shù)據(jù)給客戶［5］。這是一種以服務(wù)器為中心的存儲(chǔ)體系結(jié)構(gòu)，在更高要求的場(chǎng)合存在較多問題：存儲(chǔ)設(shè)備只存在于單一的服務(wù)器，不同服務(wù)器的存儲(chǔ)設(shè)備不能共享，利用率不高；不同服務(wù)器的存儲(chǔ)設(shè)備不能相互備份，安全性不高；當(dāng)存儲(chǔ)設(shè)備越來越多后，需要在更長(zhǎng)距離和服務(wù)器連接，此技術(shù)上的連線距離有限，增加存儲(chǔ)設(shè)備等變更操作困難；各個(gè)NAS設(shè)備之間的數(shù)據(jù)信息不容易聚合，而且NAS的集中式結(jié)構(gòu)容易產(chǎn)生單點(diǎn)故障失效問題等［6］。為了部分解決問題，出現(xiàn)了將數(shù)據(jù)從通用的應(yīng)用服務(wù)器中分離出來，建立專門的存儲(chǔ)子系統(tǒng)服務(wù)器的技術(shù)，跨越了機(jī)內(nèi)存儲(chǔ)。

這種技術(shù)通過專用電纜將服務(wù)器總線和存儲(chǔ)設(shè)備連接，并通過小型計(jì)算機(jī)系統(tǒng)接口（Small Computer System Interface，SCSI）協(xié)議和指令來存取數(shù)據(jù)。但本質(zhì)上這種方案和DAS還是統(tǒng)一形式，具有DAS的各種缺點(diǎn)。

1.2網(wǎng)絡(luò)附加存儲(chǔ)（Network Attached Storage，NAS）

為了解決DAS的各種問題，逐漸發(fā)展出了NAS網(wǎng)絡(luò)附加存儲(chǔ)技術(shù)。它通過網(wǎng)絡(luò)文件系統(tǒng)（Network File System，NFS）和公用網(wǎng)絡(luò)文件系統(tǒng)（Common Internet File System，CIFS）等標(biāo)準(zhǔn)化的協(xié)議提供文件級(jí)的數(shù)據(jù)訪問。

在NAS網(wǎng)絡(luò)中，計(jì)算機(jī)系統(tǒng)是通過文件重定向器從一個(gè)NAS中得到的數(shù)據(jù)。當(dāng)一個(gè)用戶/應(yīng)用試圖通過網(wǎng)絡(luò)訪問NAS中的數(shù)據(jù)時(shí)，重定向器把對(duì)本地文件系統(tǒng)的本地路徑重定向到使用TCP協(xié)議的網(wǎng)絡(luò)操作系統(tǒng)而連接到某個(gè)遠(yuǎn)程服務(wù)器，服務(wù)器上運(yùn)行的軟件提供支持多個(gè)客戶訪問的文件系統(tǒng)。

1.3區(qū)域存儲(chǔ)網(wǎng)絡(luò)（Storage Area Network，SAN）

SAN是通過專用高速網(wǎng)將一個(gè)或多個(gè)網(wǎng)絡(luò)存儲(chǔ)設(shè)備和服務(wù)器連接起來的專用存儲(chǔ)系統(tǒng)。如圖1 。SAN在最基本的層次上定義為互連存儲(chǔ)設(shè)備和服務(wù)器的專用光纖通道網(wǎng)絡(luò)，它在這些設(shè)備之間提供端到端的通訊，并允許多臺(tái)服務(wù)器獨(dú)立的訪問同一存儲(chǔ)設(shè)備。與局域網(wǎng)（Local Area Network，LAN）非常類似，SAN提高了計(jì)算機(jī)存儲(chǔ)資源的可擴(kuò)展性和可靠性，使實(shí)施的成本更低，管理更輕松。

SAN網(wǎng)絡(luò)根據(jù)具體實(shí)現(xiàn)的協(xié)議不同被劃分為IP SAN和FC SAN兩種。其中IP SAN是伴隨著iSCSI協(xié)議的出現(xiàn)而逐步投入實(shí)際應(yīng)用之中，它使用IP協(xié)議族，運(yùn)行于高速以太網(wǎng)。而FC SAN相對(duì)目前應(yīng)用更為廣泛，使用光纖通道（Fiber Channel，F(xiàn)C）協(xié)議族，運(yùn)行于專門的光纖通道網(wǎng)絡(luò)之上。

圖1 SAN區(qū)域存儲(chǔ)網(wǎng)絡(luò)示意圖

2 文件系統(tǒng)

文件系統(tǒng)是對(duì)文件存儲(chǔ)器空間進(jìn)行組織分配，負(fù)責(zé)文件存儲(chǔ)并對(duì)存入的文件進(jìn)行保護(hù)和檢索的系統(tǒng)［7］［8］。文件系統(tǒng)中的數(shù)據(jù)一般包括兩部分：文件數(shù)據(jù)和元數(shù)據(jù)。其中，文件數(shù)據(jù)包括目錄數(shù)據(jù)和實(shí)際數(shù)據(jù)；而元數(shù)據(jù)是用來組織和管理文件數(shù)據(jù)的數(shù)據(jù)。

隨著信息化時(shí)代的快速發(fā)展，各領(lǐng)域的數(shù)據(jù)信息量也迅速膨脹擴(kuò)大。一般采用文件系統(tǒng)對(duì)海量的數(shù)據(jù)進(jìn)行管理和存儲(chǔ)。由于這些存儲(chǔ)的數(shù)據(jù)需要隨時(shí)查閱或?qū)崟r(shí)更新，因此要求文件系統(tǒng)中的數(shù)據(jù)能夠方便快速地被訪問?，F(xiàn)有技術(shù)中，在對(duì)文件系統(tǒng)的數(shù)據(jù)進(jìn)行訪問時(shí)，通常是通過磁頭尋道硬磁盤的方法來確定待訪問的數(shù)據(jù)，即根據(jù)文件系統(tǒng)中各個(gè)磁盤之間的邏輯對(duì)應(yīng)關(guān)系，查找到需要訪問的數(shù)據(jù)?，F(xiàn)有技術(shù)數(shù)據(jù)訪問方法中，定位待訪問數(shù)據(jù)都需要通過磁頭尋道硬磁盤來訪問待訪問數(shù)據(jù)，這種方法由于受到磁盤機(jī)械結(jié)構(gòu)的限制，導(dǎo)致了文件系統(tǒng)的響應(yīng)時(shí)間增長(zhǎng)，降低了服務(wù)質(zhì)量。

為了便于理解下面列舉一個(gè)訪問文件系統(tǒng)中數(shù)據(jù)的例子。例如文件系統(tǒng)中共有20個(gè)存儲(chǔ)塊，依次編號(hào)為0、1、2、3……19；如果此時(shí)需要訪問文件系統(tǒng)中的某一數(shù)據(jù)，服務(wù)器首先找到的是第0號(hào)存儲(chǔ)塊，第0號(hào)存儲(chǔ)塊各級(jí)訪問請(qǐng)求中攜帶的信息（可以理解為線索信息），索引找到第3號(hào)存儲(chǔ)塊，在找到第3號(hào)存儲(chǔ)塊后，第3號(hào)存儲(chǔ)塊根據(jù)線索信息索引到第1號(hào)存儲(chǔ)塊，在找到第1號(hào)存儲(chǔ)塊后，第1號(hào)存儲(chǔ)塊根據(jù)線索信息索引找到第9號(hào)存儲(chǔ)塊，進(jìn)而從第9號(hào)存儲(chǔ)塊中定位所要訪問的待訪問數(shù)據(jù)。可見，訪問文件系統(tǒng)中的數(shù)據(jù)首先都需要經(jīng)過數(shù)個(gè)或數(shù)十個(gè)不同磁盤間相互查找的過程定位待訪問數(shù)據(jù)，進(jìn)而對(duì)待訪問數(shù)據(jù)進(jìn)行訪問。

3 本方案詳細(xì)闡述

3.1本方案所要解決的問題

由于硬磁盤的機(jī)械結(jié)構(gòu)限制，磁頭尋道時(shí)間大約要10毫秒，一個(gè)硬磁盤對(duì)隨機(jī)請(qǐng)求的響應(yīng)率僅僅為每秒100個(gè)請(qǐng)求。即使是網(wǎng)絡(luò)存儲(chǔ)使用磁盤陣列的前提下，把請(qǐng)求分配到各個(gè)磁盤上，也很難突破每秒1 000個(gè)。

目前的緩存技術(shù)主要就是針對(duì)訪問過的數(shù)據(jù)進(jìn)行高速的緩存，如果數(shù)據(jù)一段時(shí)間內(nèi)沒有被訪問就被替換出緩存。這種類型緩存的問題主要有兩個(gè)：

（1） 當(dāng)大量訪問文件數(shù)據(jù)以后（比如拷貝巨大文件），以前緩存的目錄和文件系統(tǒng)的數(shù)據(jù)由于一段時(shí)間沒有使用就被替換出去，當(dāng)訪問其他目錄的時(shí)候會(huì)出現(xiàn)一段時(shí)間非常緩慢的現(xiàn)象。這降低了服務(wù)器的服務(wù)質(zhì)量。

（2）訪問沒有訪問過的目錄或者文件花費(fèi)的時(shí)間相對(duì)較長(zhǎng)。

本方案提出了基于超元數(shù)據(jù)緩存的高速數(shù)據(jù)訪問，以使得應(yīng)用服務(wù)器在訪問文件系統(tǒng)中的數(shù)據(jù)，尤其是訪問目錄數(shù)據(jù)和元數(shù)據(jù)時(shí)，能夠快速響應(yīng)應(yīng)用服務(wù)器的數(shù)據(jù)訪問請(qǐng)求，提升服務(wù)質(zhì)量。

3.2 本方案實(shí)現(xiàn)的具體實(shí)施例

本方案通過在存儲(chǔ)網(wǎng)絡(luò)中增加獨(dú)立的緩存系統(tǒng)，來加速文件系統(tǒng)的訪問速度。本方案中的緩存系統(tǒng)就是圖2中的超元數(shù)據(jù)緩存模塊。存儲(chǔ)系統(tǒng)是磁盤系統(tǒng)。服務(wù)器對(duì)存儲(chǔ)的訪問分為3類：超元數(shù)據(jù)塊的讀；超元數(shù)據(jù)塊的寫；數(shù)據(jù)塊的讀寫。

（1）元數(shù)據(jù)緩存模塊首先會(huì)從存儲(chǔ)系統(tǒng)中把所有的超元數(shù)據(jù)讀取出來，并且緩存。這個(gè)過程后面叫超元數(shù)據(jù)塊載入過程。

（2）超元數(shù)據(jù)緩存模塊收到服務(wù)器的文件數(shù)據(jù)塊請(qǐng)求。這個(gè)過程叫數(shù)據(jù)塊請(qǐng)求過程。

（3）超元數(shù)據(jù)緩存模塊把請(qǐng)求直接轉(zhuǎn)發(fā)給存儲(chǔ)系統(tǒng)。這個(gè)過程叫數(shù)據(jù)塊請(qǐng)求處理過程。

（4）超元數(shù)據(jù)緩存模塊收到服務(wù)器的元數(shù)據(jù)讀請(qǐng)求，直接把緩存的數(shù)據(jù)提交給服務(wù)器。這個(gè)過程叫超元數(shù)據(jù)塊讀請(qǐng)求處理過程。

（5）超元數(shù)據(jù)緩存模塊收到服務(wù)器的元數(shù)據(jù)寫請(qǐng)求，直接修改緩存中的數(shù)據(jù)。這個(gè)過程叫超元數(shù)據(jù)塊寫請(qǐng)求處理過程。

（6）然后把修改的緩存數(shù)據(jù)同步到存儲(chǔ)系統(tǒng)。

（7）檢查修改的超元數(shù)據(jù)緩存，如果有新的超元數(shù)據(jù)塊需要載入或者刪除，則載入或刪除新的超元數(shù)據(jù)塊。（在添加或刪除目錄和文件的時(shí)候可能會(huì)出現(xiàn)）。

圖2 本方案實(shí)施實(shí)例

3.3本方案實(shí)施實(shí)例的數(shù)據(jù)訪問方法

代理服務(wù)器預(yù)先獲取存儲(chǔ)服務(wù)器的文件系統(tǒng)中所有的目錄數(shù)據(jù)和元數(shù)據(jù)，并將目錄數(shù)據(jù)和元數(shù)據(jù)作為超元數(shù)據(jù)保存。本實(shí)施實(shí)例的數(shù)據(jù)訪問方法包括：接收應(yīng)用服務(wù)器發(fā)起的數(shù)據(jù)訪問請(qǐng)求和超元數(shù)據(jù)更新操作請(qǐng)求。

為了為應(yīng)用服務(wù)器提供其想要查找的數(shù)據(jù)，首先需要接收應(yīng)用服務(wù)器發(fā)起的數(shù)據(jù)訪問請(qǐng)求，判斷數(shù)據(jù)訪問請(qǐng)求是否為超元數(shù)據(jù)訪問請(qǐng)求，具體可以判斷數(shù)據(jù)訪問請(qǐng)求中索引信息指示的數(shù)據(jù)是否為目錄數(shù)據(jù)和元數(shù)據(jù)中的至少一個(gè)，如果“是”，對(duì)超元數(shù)據(jù)進(jìn)行讀取或更新操作；如果“否”，將數(shù)據(jù)訪問請(qǐng)求發(fā)送至存儲(chǔ)服務(wù)器的文件系統(tǒng)。

在判斷出數(shù)據(jù)訪問請(qǐng)求的數(shù)據(jù)是超元數(shù)據(jù)的情況下，直接在預(yù)先保存的超元數(shù)據(jù)中找到索引信息指示的數(shù)據(jù)即可，進(jìn)而根據(jù)數(shù)據(jù)訪問請(qǐng)求中的要求對(duì)索引信息指示的數(shù)據(jù)進(jìn)行相應(yīng)的讀取或更新操作。

應(yīng)用服務(wù)器的數(shù)據(jù)訪問請(qǐng)求為超元數(shù)據(jù)訪問請(qǐng)求時(shí)，可以直接在預(yù)先保存的超元數(shù)據(jù)中查找，將索引信息指示的數(shù)據(jù)發(fā)送給應(yīng)用服務(wù)器。

應(yīng)用服務(wù)器可以對(duì)超元數(shù)據(jù)進(jìn)行更新操作，更新操作包括數(shù)據(jù)增加、修改和刪除操作，針對(duì)不同的數(shù)據(jù)訪問請(qǐng)求，處理方法也不同，因此需要在確定數(shù)據(jù)訪問請(qǐng)求中索引信息指示的數(shù)據(jù)為超元數(shù)據(jù)的情況下，按照是否將原來不是超元數(shù)據(jù)的數(shù)據(jù)增加為超元數(shù)據(jù)的條件，進(jìn)一步確定數(shù)據(jù)訪問請(qǐng)求為超元數(shù)據(jù)增加請(qǐng)求還是超元數(shù)據(jù)修改、刪除或讀取請(qǐng)求。

增加超元數(shù)據(jù)，從文件系統(tǒng)中獲取超元數(shù)據(jù)中不存在的數(shù)據(jù)，并加入到超元數(shù)據(jù)中。

修改超元數(shù)據(jù)，可能是將一些原來不是超元數(shù)據(jù)的數(shù)據(jù)更新為超元數(shù)據(jù)，也可能是將原來是超元數(shù)據(jù)的數(shù)據(jù)更新為文件數(shù)據(jù)，而這些數(shù)據(jù)往往以存儲(chǔ)塊的形式存在的，因此，預(yù)先保存的超元數(shù)據(jù)可能就會(huì)從文件系統(tǒng)中載入新的超元數(shù)據(jù)塊，或刪除原有的超元數(shù)據(jù)塊。

上述方法不需要通過磁頭尋道硬盤的方法來訪問超元數(shù)據(jù)，而是直接對(duì)緩存的超元數(shù)據(jù)進(jìn)行讀取或更新操作，能夠快速響應(yīng)應(yīng)用服務(wù)器的超元數(shù)據(jù)訪問請(qǐng)求，并能夠?qū)?shù)據(jù)訪問請(qǐng)求對(duì)代理服務(wù)器中存儲(chǔ)的超元數(shù)據(jù)進(jìn)行的操作同步到文件系統(tǒng)。該方法整體提升了存儲(chǔ)服務(wù)器的服務(wù)質(zhì)量。

3.4本方案實(shí)施實(shí)例的數(shù)據(jù)訪問裝置

本方案給出了2種數(shù)據(jù)訪問裝置：

數(shù)據(jù)訪問裝置1能夠?qū)?yīng)依次執(zhí)行上述方案實(shí)施例中的步驟。緩存器預(yù)先獲取存儲(chǔ)服務(wù)器的文件系統(tǒng)中所有的目錄數(shù)據(jù)和元數(shù)據(jù)，并將目錄數(shù)據(jù)和元數(shù)據(jù)作為超元數(shù)據(jù)保存。訪問接收模塊用于接收應(yīng)用服務(wù)器發(fā)起的數(shù)據(jù)訪問請(qǐng)求，并將數(shù)據(jù)訪問請(qǐng)求發(fā)送給第一判斷模塊。第一判斷模塊用于接收訪問請(qǐng)求，可以是判斷數(shù)據(jù)訪問請(qǐng)求中索引信息指示的數(shù)據(jù)是否為目錄數(shù)據(jù)和元數(shù)據(jù)中的至少一個(gè)。

請(qǐng)求轉(zhuǎn)發(fā)模塊用于在第一判斷模塊的判斷結(jié)構(gòu)為“否”的情形下，將數(shù)據(jù)訪問請(qǐng)求發(fā)送至存儲(chǔ)服務(wù)器的文件系統(tǒng)；超元數(shù)據(jù)模塊用于在第一判斷模塊的判斷結(jié)果為“是”的情況下，對(duì)超元數(shù)據(jù)進(jìn)行讀取或更新操作。超元數(shù)據(jù)操作模塊結(jié)構(gòu)包括數(shù)據(jù)獲取模塊獲取數(shù)據(jù)訪問請(qǐng)求中索引信息指示的數(shù)據(jù)；數(shù)據(jù)發(fā)送模塊用于將索引信息指示的數(shù)據(jù)發(fā)送給應(yīng)用服務(wù)器，如圖3。

圖3 數(shù)據(jù)訪問裝置

數(shù)據(jù)訪問裝置2緩存器是預(yù)先獲取存儲(chǔ)服務(wù)器的文件系統(tǒng)中所有的目錄數(shù)據(jù)和元數(shù)據(jù)，并將目錄數(shù)據(jù)和元數(shù)據(jù)作為超元數(shù)據(jù)保存。訪問接受模塊用于接收應(yīng)用服務(wù)器發(fā)起的數(shù)據(jù)訪問請(qǐng)求，并將數(shù)據(jù)訪問請(qǐng)求發(fā)送給請(qǐng)求判斷模塊。請(qǐng)求判斷模塊用于接收訪問請(qǐng)求，判斷數(shù)據(jù)訪問請(qǐng)求是否為超元數(shù)據(jù)訪問請(qǐng)求。

請(qǐng)求轉(zhuǎn)發(fā)模塊用于在請(qǐng)求判斷模塊的判斷結(jié)構(gòu)為“否”的情形下，將數(shù)據(jù)訪問請(qǐng)求發(fā)送至存儲(chǔ)服務(wù)器的文件系統(tǒng)；超元數(shù)據(jù)模塊用于在請(qǐng)求判斷模塊的判斷結(jié)構(gòu)為“是”的情況下，對(duì)超元數(shù)據(jù)進(jìn)行的操作。超元數(shù)據(jù)操作模塊結(jié)構(gòu)包括第二判斷模塊，判斷數(shù)據(jù)訪問請(qǐng)求中索引信息指示的數(shù)據(jù)中是否包括超元數(shù)據(jù)中不存在的數(shù)據(jù)；第一處理模塊用于在第二判斷模塊的判斷結(jié)果為“是”時(shí)，從文件系統(tǒng)中獲取超元數(shù)據(jù)中不存在的數(shù)據(jù)，并加入超元數(shù)據(jù)；第二處理模塊用于在第二判斷模塊的判斷結(jié)果為“否”時(shí)，從數(shù)據(jù)訪問請(qǐng)求修改或刪除索引信息指示的數(shù)據(jù)，如圖4。

圖4 數(shù)據(jù)訪問裝置

本方案中數(shù)據(jù)訪問裝置可以是代理服務(wù)器。代理服務(wù)器能夠預(yù)先獲取文件系統(tǒng)中所有的目錄數(shù)據(jù)和元數(shù)據(jù)，并將目錄數(shù)據(jù)和元數(shù)據(jù)作為超元數(shù)據(jù)保存。之后，代理服務(wù)器接收應(yīng)用服務(wù)器發(fā)起的數(shù)據(jù)訪問請(qǐng)求，判斷數(shù)據(jù)訪問請(qǐng)求中索引信息指示的數(shù)據(jù)是否為目錄數(shù)據(jù)和元數(shù)據(jù)，如果是，對(duì)超元數(shù)據(jù)進(jìn)行讀取或更新操作；如果否，將數(shù)據(jù)訪問請(qǐng)求發(fā)送至文件系統(tǒng)。代理服務(wù)器不需要通過磁頭尋道硬磁盤的方法來訪問超元數(shù)據(jù)，而是直接對(duì)緩存的超元數(shù)據(jù)進(jìn)行訪問，能夠快速的響應(yīng)應(yīng)用服務(wù)器的數(shù)據(jù)訪問請(qǐng)求，提升了存儲(chǔ)服務(wù)器的服務(wù)質(zhì)量。

3.5本方案實(shí)施的數(shù)據(jù)訪問系統(tǒng)

本方案實(shí)施的數(shù)據(jù)訪問系統(tǒng)1包括存儲(chǔ)器和存儲(chǔ)器進(jìn)行通信的處理器，存儲(chǔ)器中存儲(chǔ)處理器可執(zhí)行的程序代碼，程序代碼包括：

（1）用于獲取文件系統(tǒng)中所有的目錄數(shù)據(jù)和元數(shù)據(jù)，并將目錄數(shù)據(jù)和元數(shù)據(jù)作為超元數(shù)據(jù)保存；

（2）用于接收應(yīng)用服務(wù)器發(fā)起的數(shù)據(jù)訪問請(qǐng)求；

（3）用于判斷數(shù)據(jù)訪問請(qǐng)求是否為超元數(shù)據(jù)訪問請(qǐng)求；

（4）用于在（3）的判斷結(jié)構(gòu)為“是”的情況下，對(duì)超元數(shù)據(jù)進(jìn)行讀取或更新操作；

（5）用于在（3）的判斷結(jié)構(gòu)為“否”的情況下，將數(shù)據(jù)訪問請(qǐng)求發(fā)送至存儲(chǔ)服務(wù)器的文件系統(tǒng)。

存儲(chǔ)器中存儲(chǔ)處理器用于獲取上述程序代碼，并執(zhí)行。

數(shù)據(jù)訪問系統(tǒng)1能夠通過處理器執(zhí)行存儲(chǔ)器中的操作指令，完成預(yù)先獲取文件系統(tǒng)中所有的目錄數(shù)據(jù)和元數(shù)據(jù)，并將目錄數(shù)據(jù)和元數(shù)據(jù)作為超元數(shù)據(jù)保存；在接收到的應(yīng)用服務(wù)器發(fā)起的數(shù)據(jù)訪問請(qǐng)求中索引信息指示的數(shù)據(jù)為目錄數(shù)據(jù)和/或元數(shù)據(jù)時(shí)，從預(yù)先保存的超元數(shù)據(jù)中確定索引信息指示的數(shù)據(jù)；在索引信息指示的數(shù)據(jù)不是超元數(shù)據(jù)時(shí)，將數(shù)據(jù)訪問請(qǐng)求發(fā)送至文件系統(tǒng)等操作。

本方案實(shí)施的數(shù)據(jù)訪問系統(tǒng)2包括應(yīng)用服務(wù)器、代理服務(wù)器和存儲(chǔ)服務(wù)器。存儲(chǔ)服務(wù)器擁有存儲(chǔ)文件系統(tǒng)，應(yīng)用服務(wù)器用于向代理服務(wù)器發(fā)起數(shù)據(jù)訪問請(qǐng)求。代理服務(wù)器用于預(yù)先獲取存儲(chǔ)服務(wù)器的文件系統(tǒng)中所有的目錄數(shù)據(jù)和元數(shù)據(jù)，并將目錄數(shù)據(jù)和元數(shù)據(jù)作為超元數(shù)據(jù)保存；接收應(yīng)用服務(wù)器發(fā)起的數(shù)據(jù)訪問請(qǐng)求，當(dāng)數(shù)據(jù)訪問請(qǐng)求為超元數(shù)據(jù)訪問請(qǐng)求時(shí)，對(duì)超元數(shù)據(jù)進(jìn)行讀取或更新操作；當(dāng)數(shù)據(jù)訪問請(qǐng)求為非超元數(shù)據(jù)訪問請(qǐng)求時(shí)，將數(shù)據(jù)訪問請(qǐng)求發(fā)送至存儲(chǔ)服務(wù)器的文件系統(tǒng)。

該數(shù)據(jù)訪問系統(tǒng)中代理服務(wù)器不需要通過磁頭尋道硬磁盤的方法來訪問超元數(shù)據(jù)，而是直接對(duì)緩存的超元數(shù)據(jù)進(jìn)行讀取或更新操作，能夠快速的響應(yīng)應(yīng)用服務(wù)器的超元數(shù)據(jù)訪問請(qǐng)求，并能夠針對(duì)超元數(shù)據(jù)訪問請(qǐng)求的類型不同進(jìn)行不同的操作，整體提升了存儲(chǔ)服務(wù)器的服務(wù)質(zhì)量。

4 本方案實(shí)驗(yàn)和數(shù)據(jù)

4.1 實(shí)驗(yàn)環(huán)境介紹

圖 5 實(shí)驗(yàn)組網(wǎng)

本實(shí)驗(yàn)的網(wǎng)絡(luò)環(huán)境如圖5，網(wǎng)絡(luò)中有5個(gè)設(shè)備，兩臺(tái)服務(wù)器，一臺(tái)FC交換機(jī)，一臺(tái)磁盤陣列以及cache設(shè)備。實(shí)驗(yàn)過程中cache設(shè)備并不是始終接入網(wǎng)絡(luò)的。我們通過對(duì)比網(wǎng)絡(luò)中是否接入cache設(shè)備的目錄訪問效率來觀察cache設(shè)備的作用。

兩臺(tái)服務(wù)器配置intel i7處理器，2G內(nèi)存，并在服務(wù)器上運(yùn)行ubuntu 14.04。然后我們?cè)诜?wù)器上創(chuàng)建實(shí)驗(yàn)所需要的目錄環(huán)境。首先，創(chuàng)建目錄test_dir，并在該目錄下創(chuàng)建1000個(gè)子目錄，然后在各個(gè)子目錄下面繼續(xù)創(chuàng)建100個(gè)子目錄，并在這些子目錄中的最后一個(gè)子目錄存放一個(gè)目標(biāo)文件target。創(chuàng)建過程由下面腳本實(shí)現(xiàn)：

4.2 簡(jiǎn)單查找實(shí)驗(yàn)和數(shù)據(jù)

首先，網(wǎng)絡(luò)中并不接入cache設(shè)備，登陸服務(wù)器，接著進(jìn)入test_dir目錄，最后運(yùn)行time find -name target命令并記錄運(yùn)行時(shí)間。

然后，網(wǎng)絡(luò)中接入cache 設(shè)備，重復(fù)執(zhí)行time find -name target命令并記錄運(yùn)行時(shí)間，單位為秒。多次實(shí)驗(yàn)得到圖6數(shù)據(jù)：

圖6 查找文件時(shí)間

圖6中縱軸表示時(shí)間，單位是秒，橫軸表示不同次查找。從圖6中可以看到接入cache以后，服務(wù)器查找文件的性能有少量的提升。在不接入cache的情況下，服務(wù)器多次查找同一個(gè)文件所花費(fèi)的時(shí)間也是會(huì)下降的，這是因?yàn)榉?wù)器會(huì)使用內(nèi)存來做緩存，從而減少磁盤的訪問。

4.3復(fù)雜查找實(shí)驗(yàn)和數(shù)據(jù)

4.2節(jié)中的實(shí)驗(yàn)服務(wù)器只進(jìn)行文件查找操作，并沒有任何的文件讀寫操作，現(xiàn)實(shí)情況并不存在這樣簡(jiǎn)單的場(chǎng)景。所以本節(jié)我們構(gòu)造復(fù)雜的實(shí)驗(yàn)環(huán)境，首先我們?cè)诜?wù)器后臺(tái)運(yùn)行dd if=/dev/zero of=var/test bs=8k count=100000命令，其次運(yùn)行進(jìn)入test_dir目錄，運(yùn)行time find -name target命令。最后對(duì)比cache服務(wù)器是否接入網(wǎng)絡(luò)的數(shù)據(jù)。多次實(shí)驗(yàn)得到圖7數(shù)據(jù)：

圖7 復(fù)雜文件查找時(shí)間

圖7縱軸表示時(shí)間，單位是秒，橫軸表示不同查找的編號(hào)。從圖7中可以看出當(dāng)服務(wù)器進(jìn)行大量文件訪問的時(shí)候，同時(shí)進(jìn)行文件查找的效率是很低的，并且查找時(shí)間不穩(wěn)定，極大影響了用戶的體驗(yàn)。其原因是文件訪問時(shí)服務(wù)器把大量的內(nèi)存用于緩存文件的內(nèi)容，此時(shí)進(jìn)行目錄查找則需要多次的訪問磁盤，導(dǎo)致查找性能急速下滑。而接入cache設(shè)備以后，服務(wù)器在大量訪問文件的時(shí)候，同時(shí)查找的性能保持不受到任何的影響。

5 結(jié)語

本方案不需要通過磁頭尋道硬盤的方法來訪問超元數(shù)據(jù)，而是直接對(duì)緩存的超元數(shù)據(jù)進(jìn)行讀取或更新操作，能夠快速響應(yīng)應(yīng)用服務(wù)器的超元數(shù)據(jù)訪問請(qǐng)求，并能夠?qū)?shù)據(jù)訪問請(qǐng)求對(duì)代理服務(wù)器中存儲(chǔ)的超元數(shù)據(jù)進(jìn)行的操作同步到文件系統(tǒng)。該方法整體提升了存儲(chǔ)服務(wù)器的服務(wù)質(zhì)量。提高服務(wù)器文件系統(tǒng)加速，尤其是訪問目錄的時(shí)候，縮短服務(wù)器集群主備切換時(shí)間。

1Gibson G A，Meter R V.Network-attached storage architecture［J］.Communication of the ACM，2000，43（11）:11-17

2Phillips B.Have storage area networks come of age［J］.Computer，1998，31（7）:10-12

3Katz R H.Network-attached storage systems［C］// Proceedings of the Conference on Scalable High Performance Computing.Williamsburg，VA，USA，1992:68-75

4趙躍龍等.一種智能網(wǎng)絡(luò)磁盤（IND）存儲(chǔ)系統(tǒng)結(jié)構(gòu)［J］.計(jì)算機(jī)學(xué)，2008，5：859

5謝勝彬等.DAS、NAS與SAN的研究與應(yīng)用［J］.計(jì)算機(jī)與現(xiàn)代，2003，7：8

6Yokota H.Autonomous disks for advanced database applications［C］//Proceedings of the 1999 International Symposium on Database Applications in Non-Traditional Environments（DATE'99）.Kyoto，Japan，1999:435-442

7Ghemawat S，Gobioff H，Leung S.The Google file system［C］//Proceedings of the 19th ACM Symposium on Operating Systems Principles.New York，USA，2003:29-43

8Weil S A，Brandt S A，Miller E L，et al.Ceph:A scalable，high-performance distributed file system［C］//Proceedings of the 7th Symposium on Operating Systems Design and Implementation.San Diego，USA，2006:102-118

10.3969/j.issn.1006-6403.2016.09.007

2016-07-04）

針對(duì)訪問被替換出緩存的數(shù)據(jù)需要時(shí)間較長(zhǎng)的問題，提出來一種基于超元數(shù)據(jù)的高速數(shù)據(jù)訪問系統(tǒng)。首先，代理服務(wù)器預(yù)先獲取文件系統(tǒng)中所有的目錄數(shù)據(jù)和元數(shù)據(jù)，并將目錄數(shù)據(jù)和元數(shù)據(jù)作為超元數(shù)據(jù)保存，然后，接收應(yīng)用服務(wù)器發(fā)起的訪問請(qǐng)求，當(dāng)數(shù)據(jù)訪問請(qǐng)求為超元數(shù)據(jù)訪問請(qǐng)求時(shí)，對(duì)超元數(shù)據(jù)進(jìn)行讀取或更新操作，當(dāng)數(shù)據(jù)訪問請(qǐng)求為非超元數(shù)據(jù)訪問請(qǐng)求時(shí)，將數(shù)據(jù)訪問請(qǐng)求發(fā)送至存儲(chǔ)服務(wù)器。最后，由于代理服務(wù)器的存在，應(yīng)用服務(wù)器不需要磁頭尋道硬盤來訪問超元數(shù)據(jù)，直接對(duì)緩存的超元數(shù)據(jù)進(jìn)行讀取或更新操作。實(shí)驗(yàn)結(jié)果表明該系統(tǒng)能夠快速的響應(yīng)應(yīng)用服務(wù)器的數(shù)據(jù)訪問請(qǐng)求，提升存儲(chǔ)服務(wù)器的文件系統(tǒng)的服務(wù)質(zhì)量。