洪鎮(zhèn)填

（1.廣東省國(guó)土資源測(cè)繪院，廣東 廣州 510500）

通過對(duì)海量數(shù)據(jù)的挖掘、分析和圖形化呈現(xiàn)，能非常清晰地揭示用戶的行為模式，加深對(duì)用戶需求的理解，從而為產(chǎn)品研發(fā)提供依據(jù)。存儲(chǔ)這些海量信息，不但要求存儲(chǔ)設(shè)備有很大的儲(chǔ)存容量，還需要大規(guī)模數(shù)據(jù)庫來存儲(chǔ)和處理這些數(shù)據(jù)。在滿足關(guān)系數(shù)據(jù)庫技術(shù)要求的同時(shí)，更需要對(duì)海量數(shù)據(jù)的存儲(chǔ)模式、數(shù)據(jù)庫策略及應(yīng)用體系架構(gòu)有更高的設(shè)計(jì)考慮[1-5]。

1 海量數(shù)據(jù)存儲(chǔ)與組織

1.1 海量數(shù)據(jù)的存儲(chǔ)

傳統(tǒng)的存儲(chǔ)模式在海量數(shù)據(jù)存儲(chǔ)中存在固有的缺陷。例如，DAS占用服務(wù)器資源，存儲(chǔ)設(shè)備較多時(shí)管理效率較低；NAS受網(wǎng)絡(luò)帶寬制約；SAN有一個(gè)統(tǒng)一的存儲(chǔ)系統(tǒng)接口，對(duì)存儲(chǔ)設(shè)備的共享訪問存在數(shù)據(jù)的完整性與安全性問題，設(shè)備的跨平臺(tái)性較差，且成本相對(duì)較高。新的對(duì)象存儲(chǔ)技術(shù)能夠有效滿足海量數(shù)據(jù)的存儲(chǔ)需要。

對(duì)象存儲(chǔ)技術(shù)提供基于對(duì)象的訪問接口， 將NAS和SAN 兩種存儲(chǔ)結(jié)構(gòu)的優(yōu)勢(shì)進(jìn)行了有效的整合。通過高層次的抽象，使之既具有NAS 跨平臺(tái)共享數(shù)據(jù)和安全訪問的優(yōu)點(diǎn)，又具有SAN 高性能和可伸縮性的優(yōu)點(diǎn)。

1）對(duì)象存儲(chǔ)模式。對(duì)象存儲(chǔ)模式[6]一般由Client、MDS(Metadata Server)和OSD(Object Storage Device)三部分組成。Client 為客戶端，用來發(fā)起數(shù)據(jù)訪問；MDS為服務(wù)器，用來管理對(duì)象存儲(chǔ)系統(tǒng)中的元數(shù)據(jù)，并保證訪問的一致性；OSD 為存儲(chǔ)對(duì)象數(shù)據(jù)的設(shè)備，包括處理器、RAM 內(nèi)存、網(wǎng)絡(luò)接口、存儲(chǔ)介質(zhì)以及運(yùn)行在其中的控制軟件[7]。

2）對(duì)象存儲(chǔ)模式用于海量數(shù)據(jù)存儲(chǔ)的優(yōu)勢(shì)。對(duì)象存儲(chǔ)模式在處理海量數(shù)據(jù)存儲(chǔ)請(qǐng)求時(shí)具有較大優(yōu)勢(shì)，主要體現(xiàn)在[8]：數(shù)據(jù)存儲(chǔ)高性能、數(shù)據(jù)共享跨平臺(tái)、數(shù)據(jù)訪問方便安全、存儲(chǔ)系統(tǒng)可伸縮性、存儲(chǔ)設(shè)備智能化。

1.2 海量數(shù)據(jù)的組織

信息組織即信息的有序化與優(yōu)質(zhì)化。信息組織具有類聚性、系統(tǒng)性、動(dòng)態(tài)性、多重性、綜合性。傳統(tǒng)的信息[9]。組織方式在處理特定的、傳統(tǒng)的信息時(shí)具備良好的性能。但是，對(duì)于海量信息來講，無法完全適應(yīng)需求。

當(dāng)前，海量數(shù)據(jù)的組織方法有以下幾種：

1） 基于文件系統(tǒng)的海量數(shù)據(jù)組織。文件系統(tǒng)作為本地存儲(chǔ)系統(tǒng)的數(shù)據(jù)組織管理者，在不同的操作系統(tǒng)平臺(tái)下有不同的組織結(jié)構(gòu)和操作形式。GFS（Google File System）是Google公司用來存儲(chǔ)和組織海量信息的分布式文件系統(tǒng)。GFS是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，用于海量數(shù)據(jù)大型、分布式訪問。它可以提供容錯(cuò)功能，給大量的用戶提供性能較高的服務(wù)。

2）基于體系結(jié)構(gòu)的海量數(shù)據(jù)組織。California大學(xué)的OceanStore是一個(gè)在全球范圍內(nèi)搭建的海量存儲(chǔ)池，向用戶提供存儲(chǔ)服務(wù)，尤其針對(duì)那些移動(dòng)終端，如嵌入式設(shè)備。用戶可以在任何時(shí)候、任何地點(diǎn)、通過任何設(shè)備接入Internet，并訪問存儲(chǔ)在OceanStore 中的數(shù)據(jù)。

3） 其他類型的海量數(shù)據(jù)組織。北京大學(xué)的計(jì)算機(jī)網(wǎng)絡(luò)與分布式系統(tǒng)實(shí)驗(yàn)室的在研項(xiàng)目之一“Ocean Data Information Retrieval”，就是研究數(shù)據(jù)空間的組織、存儲(chǔ)和索引技術(shù)。它基于已有的天網(wǎng)平臺(tái)，從Internet信息特征入手，對(duì)其進(jìn)行組織、存儲(chǔ)，然后提供索引技術(shù)，為信息建立索引，最后實(shí)現(xiàn)高速的信息檢索。

2 海量數(shù)據(jù)的管理

海量數(shù)據(jù)的搜索是制約信息化進(jìn)一步深化的瓶頸。目前，具有一定信息化程度的企業(yè)都有自己的數(shù)據(jù)庫,而利用數(shù)據(jù)庫都可以實(shí)現(xiàn)查詢。這就引出了“時(shí)間成本”的問題。要提高數(shù)據(jù)庫的查詢速度,就必須對(duì)數(shù)據(jù)庫進(jìn)行大量的索引配置并對(duì)硬件進(jìn)行大幅度升級(jí),造成設(shè)備成本的提高。因此,從應(yīng)用的角度,迫切需要一些新的管理技術(shù)來解決海量數(shù)據(jù)的快速搜索問題。

2.1 利用關(guān)系數(shù)據(jù)庫管理

利用現(xiàn)有的關(guān)系數(shù)據(jù)庫能支持影像這樣的二進(jìn)制大對(duì)象（BLOB）的特點(diǎn)，將大數(shù)據(jù)直接入庫進(jìn)行存儲(chǔ)與管理。

LOB能夠存儲(chǔ)高達(dá)4 GB的數(shù)據(jù)，其靈活的數(shù)據(jù)庫內(nèi)、庫外存儲(chǔ)方式，十分適合大數(shù)據(jù)的管理。根據(jù)存儲(chǔ)位置的不同，LOB分為內(nèi)部LOB和外部LOB。內(nèi)部LOB存儲(chǔ)在數(shù)據(jù)庫表空間內(nèi)，支持事務(wù)操作和數(shù)據(jù)復(fù)制，適用于數(shù)據(jù)量較小的一般影像數(shù)據(jù)、矢量數(shù)據(jù)、文檔數(shù)據(jù)以及多媒體數(shù)據(jù)的管理；外部LOB存儲(chǔ)于數(shù)據(jù)庫表空間外，是一個(gè)指向存在于操作系統(tǒng)的外部文件的指針，數(shù)據(jù)庫僅維護(hù)一個(gè)指向此文件的指針。外部LOB適合于數(shù)據(jù)量較大的衛(wèi)星影像數(shù)據(jù)、多媒體視頻文件等的管理。通過基于外部LOB的“大數(shù)據(jù)”存儲(chǔ)組織和基于內(nèi)部LOB的“小數(shù)據(jù)”存儲(chǔ)組織配合使用，實(shí)現(xiàn)靈活的大數(shù)據(jù)組織和管理。

使用LOB的基本原則：

1） LOB可以作為數(shù)據(jù)庫表的一個(gè)字段處理；

2） 一個(gè)數(shù)據(jù)庫表可以同時(shí)含有多個(gè)LOB字段；

3） 外部LOB字段上管理的不是實(shí)際的數(shù)據(jù)，而是一個(gè)指向?qū)嶋H數(shù)據(jù)、由DBMS自動(dòng)生成的LOB占位符指針；

4）從數(shù)據(jù)庫管理效率以及數(shù)據(jù)存儲(chǔ)平衡的角度，作為內(nèi)部LOB管理的數(shù)據(jù)，一般不要超過100 M，超大數(shù)據(jù)可采用外部LOB來完成。

2.2 利用數(shù)據(jù)庫結(jié)合文件系統(tǒng)管理

方濤[10]等提出采用數(shù)據(jù)庫結(jié)合文件系統(tǒng)的方式對(duì)遙感影像數(shù)據(jù)進(jìn)行管理，這種方法的原理和直接利用數(shù)據(jù)庫管理并無本質(zhì)差異，只是數(shù)據(jù)庫與影像數(shù)據(jù)是通過影像路徑名關(guān)聯(lián)在一起，因而最大的缺陷是數(shù)據(jù)的一致性難以維護(hù)，安全性難以保證。

2.3 分級(jí)存儲(chǔ)管理（HSM）

HSM（hierarchical storage management）就是將使用頻率較高的數(shù)據(jù)存儲(chǔ)在在線設(shè)備上，而將使用頻率較低的數(shù)據(jù)存儲(chǔ)在近線設(shè)備中，較長(zhǎng)時(shí)間內(nèi)不太使用的數(shù)據(jù)則以離線方式存儲(chǔ)在磁帶或光盤上。分級(jí)存儲(chǔ)管理可以自動(dòng)判斷它所管理的在線存儲(chǔ)設(shè)備中數(shù)據(jù)的使用情況，根據(jù)用戶定義的遷移規(guī)則自動(dòng)將不常用的數(shù)據(jù)移動(dòng)到近線存儲(chǔ)設(shè)備中。一旦用戶需要的數(shù)據(jù)不在在線存儲(chǔ)設(shè)備中，則又自動(dòng)將該數(shù)據(jù)從近線存儲(chǔ)設(shè)備回遷至在線存儲(chǔ)設(shè)備中。

3 結(jié) 語

海量數(shù)據(jù)的組織和管理是一個(gè)較為復(fù)雜的問題，當(dāng)數(shù)據(jù)庫管理的數(shù)據(jù)達(dá)到TB級(jí)容量，或者所管理影像的單個(gè)數(shù)據(jù)量達(dá)到GB級(jí)時(shí)，數(shù)據(jù)管理往往會(huì)出現(xiàn)一系列的問題，比如檢索效率低、訪問速度慢、擴(kuò)展性低、難以維護(hù)等，采用本文所討論的方法可以有效地解決影像數(shù)據(jù)的組織、管理問題。

為了進(jìn)一步提高海量信息的索引性能，下面幾個(gè)方向有待進(jìn)一步研究：

1）文件模式的生成。從數(shù)據(jù)挖掘的角度，在現(xiàn)有的文件中，通過分類、聚類或序列等方法來提取能表征某一文件集的文件模式，可以進(jìn)一步降低處理數(shù)據(jù)的規(guī)模。

2）索引數(shù)據(jù)的壓縮?，F(xiàn)有的索引數(shù)據(jù)在容量上還有繼續(xù)壓縮的空間，通過壓縮技術(shù)來減少索引數(shù)據(jù)的大小。

3）為了提高遙感影像數(shù)據(jù)的管理及應(yīng)用效能，尚需在影像數(shù)據(jù)塊的實(shí)時(shí)壓縮／解壓縮、基于影像內(nèi)容檢索、數(shù)字水印、影像加密以及影像數(shù)據(jù)的網(wǎng)上在線分發(fā)等方面進(jìn)行進(jìn)一步的研究。④隨著基于廣域網(wǎng)絡(luò)的數(shù)據(jù)傳輸方法、多源地理信息的數(shù)據(jù)組織以及多尺度、多層次的遙感影像數(shù)據(jù)更新、應(yīng)用等技術(shù)成為人們研究的熱點(diǎn)，建立一個(gè)類Google Earth模式的遙感影像網(wǎng)絡(luò)服務(wù)平臺(tái)，對(duì)于提高大型遙感影像數(shù)據(jù)庫的應(yīng)用效能具有十分重要的意義。

[1]余暉,劉亞軍.基于角色訪問控制的研究與實(shí)現(xiàn)[J].微機(jī)發(fā)展,2003 ,13 (1) :13 - 15

[2]何芳原.淺談海量數(shù)據(jù)處理技術(shù)研究[J].硅谷，2009(8)：59-60

[3]劉江.海量數(shù)據(jù)的意義[J].程序員，2011(8)：1-2

[4]張志勇. 基于角色的兩級(jí)數(shù)據(jù)庫訪問控制機(jī)制及其實(shí)現(xiàn)[J].微機(jī)發(fā)展,2004 ,14 (1) :109

[5]樊志平. 數(shù)據(jù)安全性的實(shí)現(xiàn)方法[J].微機(jī)發(fā)展,2003,13(12):53 - 54

[6]蘇勇,周敬利.基于iSCSI OSD存儲(chǔ)系統(tǒng)的設(shè)計(jì)與分析[J].計(jì)算機(jī)工程與應(yīng)用,2007,43(23):107-109

[7]Sakar K. An Analysis of Object Storage Architecture[J].IEEE Computer,2003,2(3):12-34

[8]蔣然.海量數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)淺析[J].電腦知識(shí)與技術(shù),2010,6(20)：17-19

[9]劉青寶,鄧蘇,張維明，等.海量信息組織與集成技術(shù)[N].計(jì)算機(jī)世界,2001-07-23(B08)

[10]方濤，李德仁，龔鍵雅，等．GeoImageDB多分辨率無縫影像數(shù)據(jù)庫系統(tǒng)的開發(fā)與實(shí)現(xiàn)[J]．武漢測(cè)繪科技大學(xué)學(xué)報(bào)，1999，21(3)：189-193