摘 要:按照地球剖分理論，地球表面經(jīng)過剖分后，單個剖分面片將對應(yīng)所屬的地理信息數(shù)據(jù)載體。在實際應(yīng)用中需要動態(tài)調(diào)度不同面片的數(shù)據(jù)，與之對應(yīng)的存儲載體頻繁接入、退出系統(tǒng)。分布式文件系統(tǒng)是目前海量數(shù)據(jù)存儲的首要解決方案，但尚未廣泛應(yīng)用到全球地理信息系統(tǒng)中。以分布式文件系統(tǒng)理論為基礎(chǔ)，通過物理、協(xié)議、應(yīng)用三個層次的分析，提出包括網(wǎng)絡(luò)環(huán)境即插即用、網(wǎng)絡(luò)資源搜索技術(shù)以及全球多維GIS數(shù)據(jù)模型設(shè)計等在內(nèi)的關(guān)鍵技術(shù)，以實現(xiàn)全球地理信息系統(tǒng)中存儲設(shè)備靈活接入和移出存儲集群，為全球地理信息系統(tǒng)的存儲資源管理提供積極的思路與方法。

關(guān)鍵詞:分布式文件系統(tǒng);全球地理信息系統(tǒng);即插即用技術(shù);資源動態(tài)調(diào)度

中圖分類號:TP391文獻標(biāo)識碼:A

文章編號:1004-373X(2010)02-057-03

Research of Quick Insertion and Usage Method Based on Distributed File System

TIAN Xiaobo，XU Xin

(Electronic Science and Engineering Institute，National University of Defence and Technology，Changsha，410073，China)

Abstract:By the theory of global partition，every partition slice can contact with its geographical information data storage after the globe is partitioned.In the occasion of practical usage，dynamic data movements of different partition slice are usually needed，the devices which store information get in and out of system frequently.Distibuted file system is now the main resolvement for massive data storage，but hardly applied in global GIS.Based on distributed file system brings forward corresponding key techniques and methods including network quick insertion and usage，network searching techniques and global multi_dimentional data module designing，for the fulfillment of agile getting in and getting out with the storage devive.This paper supplies positive idea and method for management of global GIS.

Keywords:distibuted file system;global geographical information system;quick insertion and usage;dynamic resource movement

0 引 言

地理信息系統(tǒng)(GIS)是一個用于管理、分析和顯示，并在不同系統(tǒng)和地點的用戶間傳遞地理信息數(shù)據(jù)的系統(tǒng)。隨著科技的不斷進步，數(shù)字化地球日益成為關(guān)注的焦點，對地理信息系統(tǒng)已經(jīng)產(chǎn)生了更高的要求，全球化即是一個重要的發(fā)展趨勢。全球地理信息系統(tǒng)的概念是由Gold提出的[1]，他認為全球GIS與傳統(tǒng)GIS的主要區(qū)別包括基于全球網(wǎng)格支持對海量數(shù)據(jù)處理，以及直接基于球體或橢球體的表面操作。地理信息系統(tǒng)向全球化、多維化、支持多分辨率及多尺度數(shù)據(jù)、支持PB級規(guī)模數(shù)據(jù)存儲調(diào)度的方向發(fā)展將是未來GIS的趨勢。

全球GIS的發(fā)展為地理信息數(shù)據(jù)的存儲調(diào)度帶來了新的機遇與挑戰(zhàn)。要實現(xiàn)全球GIS，需要構(gòu)建一個高可靠性、高可用性、高穩(wěn)定性、超大規(guī)模吞吐率的地理信息數(shù)據(jù)系統(tǒng)作為應(yīng)用平臺。傳統(tǒng)的文件系統(tǒng)將海量的數(shù)據(jù)積累在少數(shù)的計算中心，導(dǎo)致網(wǎng)絡(luò)超負荷工作，大量終端的處理能力閑置[2]。然而，分布式文件系統(tǒng)通過網(wǎng)絡(luò)訪問每個節(jié)點的存儲空間，使得分布在各個節(jié)點的存儲資源形成虛擬的存儲設(shè)備，具備成本低廉，容錯性強，安全性高等特點，其應(yīng)用體現(xiàn)出巨大的優(yōu)勢，非常適合構(gòu)建全球GIS應(yīng)用平臺。

地球經(jīng)過相關(guān)剖分理論進行剖分，構(gòu)建分布式文件系統(tǒng)后，全球地理信息數(shù)據(jù)將按照剖分區(qū)域分別存儲在對應(yīng)的網(wǎng)絡(luò)存儲節(jié)點上。為了滿足分布式文件系統(tǒng)高度的可擴展性和靈活性，廣義的存儲節(jié)點可以是計算機終端設(shè)備，也可以是移動電子硬盤、光盤、USB閃存等移動存儲介質(zhì)。分布式文件系統(tǒng)面臨的最大挑戰(zhàn)之一是頻繁的節(jié)點失效，每時每刻任何網(wǎng)絡(luò)節(jié)點都可能因產(chǎn)生故障而退出系統(tǒng);隨著數(shù)據(jù)量的不斷增長，系統(tǒng)將不斷擴充其存儲容量，增加相應(yīng)的存儲節(jié)點;當(dāng)用戶需要查詢某一地理區(qū)域的數(shù)據(jù)時，都會將對應(yīng)的存儲節(jié)點納入整個文件系統(tǒng)中進行數(shù)據(jù)調(diào)度。以上應(yīng)用都需要對存儲節(jié)點做頻繁變動。這里突破傳統(tǒng)意義上設(shè)備層次的概念，提出基于分布式文件系統(tǒng)的即插即用技術(shù)，即存儲節(jié)點不需要經(jīng)過文件系統(tǒng)進行復(fù)雜的識別、配置。在盡可能短的時間段內(nèi)完成納入及退出整個文件系統(tǒng)的過程，在物理層次、協(xié)議層次、應(yīng)用層次實現(xiàn)接入后，即可以立即投入使用。

1 架構(gòu)體系

隨著計算機技術(shù)的進步，各種相關(guān)理論、產(chǎn)品、技術(shù)不斷應(yīng)運而生，移動存儲介質(zhì)呈現(xiàn)出空前的多樣化，連入網(wǎng)絡(luò)的設(shè)備也不再局限于個人電腦和工作站等傳統(tǒng)意義上的計算機，還包括許多個人通信設(shè)備和移動存儲設(shè)備，例如3G手機、數(shù)碼相機、電視機機頂盒等智能設(shè)備[3]。這些設(shè)備都可以成為分布式文件系統(tǒng)的存儲節(jié)點。基于分布式文件系統(tǒng)的即插即用技術(shù)對上述設(shè)備的具體支持體現(xiàn)在以下幾個方面:

1.1 物理層次

負責(zé)物理連接上的配置與使能。當(dāng)存儲地理信息數(shù)據(jù)的硬件實體接入分布式文件系統(tǒng)后，系統(tǒng)不需要預(yù)先獲悉硬件實體的位置，以及安裝驅(qū)動程序，只需通過判斷硬件實體發(fā)布的描述信息，即可決定是否接納該設(shè)備成為自身的存儲節(jié)點，具體流程見圖1所示。

圖1 即插即用物理層次的流程圖

1.2 協(xié)議層次

在物理層次的基礎(chǔ)上，負責(zé)實現(xiàn)存儲節(jié)點與分布式文件系統(tǒng)的交互工作。具體包括:

1.2.1 加入和退出協(xié)議

研究將存儲相應(yīng)地理信息數(shù)據(jù)的硬件實體接入分布式文件系統(tǒng)后的認證，以及用戶對存儲所需地理信息數(shù)據(jù)的硬件實體利用完畢后，系統(tǒng)確認硬件可以安全移除的機制。

在加入時，硬件實體發(fā)布自身的描述信息，以備系統(tǒng)識別。系統(tǒng)根據(jù)描述信息決定是否接納該硬件實體形成系統(tǒng)節(jié)點，并更新系統(tǒng)節(jié)點列表。在退出時，硬件實體發(fā)出退出申請，系統(tǒng)根據(jù)當(dāng)前網(wǎng)絡(luò)的應(yīng)用狀態(tài)決定是否允許該節(jié)點脫離系統(tǒng)。

1.2.2 數(shù)據(jù)傳輸協(xié)議

負責(zé)設(shè)計三維地理信息系統(tǒng)數(shù)據(jù)模型及數(shù)據(jù)傳輸模型，在設(shè)計的過程中考慮如下幾個問題[4]。

(1) 通用化原則。

從應(yīng)用角度分析，三維地理空間信息涉及多個業(yè)務(wù)部門，應(yīng)用背景存在較大差異，具有數(shù)據(jù)分散，類型多樣，多源異構(gòu)等特點。設(shè)計數(shù)據(jù)模型時，應(yīng)當(dāng)考慮通用性，以便實現(xiàn)數(shù)據(jù)的共享與交換。

(2) 面向?qū)ο笤瓌t。

在三維地理信息系統(tǒng)的數(shù)據(jù)模型中各個層次都要面向?qū)ο?，具體實現(xiàn)時不僅要采用面向?qū)ο蟮某绦蛟O(shè)計方法，而且面向問題域分析所采用的概念模型也要面向?qū)ο?。此外提供給用戶使用和二次開發(fā)也應(yīng)是描述空間實體對象的一些類的集合[5]。

(3) 兼容性原則。

對數(shù)據(jù)的處理常需要導(dǎo)入或?qū)С龇植际轿募到y(tǒng)內(nèi)的數(shù)據(jù)，所以設(shè)計數(shù)據(jù)傳輸模型時，必須考慮與其他應(yīng)用軟件的兼容性。

1.2.3 數(shù)據(jù)校驗協(xié)議

基于三維地理信息系統(tǒng)數(shù)據(jù)模型，負責(zé)對節(jié)點之間傳輸?shù)臄?shù)據(jù)進行檢驗，研究應(yīng)對傳輸過程中數(shù)據(jù)錯誤的解決方案，為系統(tǒng)的高可靠性提供支撐。

1.2.4 節(jié)點校驗協(xié)議

負責(zé)通過驅(qū)動系統(tǒng)定期監(jiān)測所屬節(jié)點的工作狀態(tài)及性能，使得用于擴充系統(tǒng)容量的節(jié)點加入系統(tǒng);強制損壞或工作失常的節(jié)點退出系統(tǒng)，實現(xiàn)節(jié)點按需在線、分時段在線。保證對用戶查詢數(shù)據(jù)的快速響應(yīng)，同時保證系統(tǒng)的高穩(wěn)定性及擴展性。

1.3 應(yīng)用層次

在存儲實體經(jīng)過認證加入分布式文件系統(tǒng)的基礎(chǔ)上，按照業(yè)務(wù)邏輯，結(jié)合資源性能參數(shù)及用戶指令動態(tài)分配和調(diào)度各個存儲節(jié)點的功能及數(shù)據(jù)，形成任務(wù)流程并執(zhí)行完成任務(wù)。

應(yīng)用層次是基于物理及協(xié)議層次的，旨在建立面向任務(wù)的資源調(diào)度模型，設(shè)計面向任務(wù)的數(shù)據(jù)資源動態(tài)調(diào)度協(xié)議，協(xié)調(diào)系統(tǒng)數(shù)據(jù)資源調(diào)度效率與代價，實現(xiàn)數(shù)據(jù)的高效率調(diào)度分發(fā)。

2 關(guān)鍵技術(shù)

2.1 網(wǎng)絡(luò)環(huán)境即插即用技術(shù)

網(wǎng)絡(luò)環(huán)境即插即用技術(shù)是實現(xiàn)基于分布式文件系統(tǒng)即插即用的基礎(chǔ)，該技術(shù)基于網(wǎng)絡(luò)工作環(huán)境，面向應(yīng)用層次需求，總體目標(biāo)是將網(wǎng)絡(luò)轉(zhuǎn)變成一個靈活、易于管理的工具[6]，使分布式文件系統(tǒng)的各個節(jié)點所裝載的數(shù)據(jù)及服務(wù)可以動態(tài)地加入或移出系統(tǒng)。

該技術(shù)的核心思想是在分布式文件系統(tǒng)的基礎(chǔ)上開發(fā)一組新的協(xié)議，實現(xiàn)系統(tǒng)與節(jié)點之間的自由交互，其中的關(guān)鍵部分如下:

(1) 發(fā)現(xiàn)協(xié)議。

發(fā)現(xiàn)協(xié)議用于自動識別系統(tǒng)環(huán)境節(jié)點的增減變化，通過分析節(jié)點發(fā)布的描述信息，對其進行身份驗證。通過驗證發(fā)現(xiàn)，協(xié)議驅(qū)動系統(tǒng)總線將節(jié)點納入分布式文件系統(tǒng)所屬的網(wǎng)絡(luò)環(huán)境，并更新系統(tǒng)的節(jié)點信息列表。

(2) 查找協(xié)議。

基于對象類型的查找協(xié)議是分布式文件系統(tǒng)節(jié)點之間互相發(fā)現(xiàn)和交互的基礎(chǔ)[7]，該協(xié)議為系統(tǒng)中的可用節(jié)點及服務(wù)提供集中注冊。每個節(jié)點在加入系統(tǒng)之前，首先利用查找協(xié)議查找系統(tǒng)，再按照加入?yún)f(xié)議的規(guī)范進入系統(tǒng)，正式成為系統(tǒng)的一部分。

(3) 租約協(xié)議。

租約協(xié)議實現(xiàn)用戶對系統(tǒng)節(jié)點的合理占用。對請求使用某節(jié)點資源的用戶進行需求等級篩選，保證最需要者優(yōu)先;當(dāng)租約到期時，系統(tǒng)收回節(jié)點資源，用戶通過更新租約不斷延長對節(jié)點資源的占用。

2.2 網(wǎng)絡(luò)資源搜索技術(shù)

多任務(wù)、多層次、面向?qū)嶋H需求的地理空間數(shù)據(jù)應(yīng)用是基于分布式文件系統(tǒng)的全球GIS的最終目的，在龐大的網(wǎng)絡(luò)環(huán)境中快速、準(zhǔn)確地定位用戶所需的數(shù)據(jù)資源是解決網(wǎng)絡(luò)資源搜索技術(shù)的關(guān)鍵[8]。

在比較分析各分布式文件系統(tǒng)資源搜索模型優(yōu)缺點的基礎(chǔ)上，本文認為采用建立在分布式哈希表(DHT)技術(shù)基礎(chǔ)上的分布式結(jié)構(gòu)化搜索模型能夠加速查詢的速度，提高安全性，并且占用的網(wǎng)絡(luò)帶寬較少，因此是該技術(shù)的發(fā)展趨勢。

如圖2所示，應(yīng)用層次的事件感知、網(wǎng)絡(luò)存儲等通過分布式哈希表調(diào)用哈希函數(shù)產(chǎn)生資源名稱。當(dāng)前，DHT技術(shù)正受到研究者們的密切關(guān)注，是P2P資源搜索模型研究的焦點。采用DHT技術(shù)的典型搜索模型有CAN模型和Tapenstry模型、麻省理工學(xué)院的Chord模型、以及MicroSoft的Pastry模型。

圖2 哈希表概念圖

2.3 全球多維GIS數(shù)據(jù)模型的設(shè)計

數(shù)據(jù)模型用于抽象表達現(xiàn)實世界的數(shù)據(jù)與信息，全球范圍的空間信息包含尺度、波段、時間、類型等多個維度，涵蓋了時間、空間、頻譜等多種分辨率。全球多維GIS數(shù)據(jù)模型是用于描述上述全球范圍的地理空間信息，并能夠?qū)崿F(xiàn)高效存儲，快速訪問和易于擴展等特性的數(shù)據(jù)結(jié)構(gòu)。

目前，現(xiàn)有的時空數(shù)據(jù)模型仍然以二維平面GIS為基礎(chǔ)，無法做到真正的時空一體化[1]。主要表現(xiàn)在時間與空間分離，時空內(nèi)涵單一，無法反映地理現(xiàn)象的變化等。基于全球GIS的多維數(shù)據(jù)模型設(shè)計應(yīng)建立在概念層、邏輯層、物理層的基礎(chǔ)上。三個層次的相互關(guān)系如圖3所示。

圖3 全球GIS多維數(shù)據(jù)模型設(shè)計層次的關(guān)系圖

圖3表明，從顯示世界的實體過渡到可在計算機中處理的數(shù)據(jù)模型需要經(jīng)過一系列的設(shè)計流程。此外，對全球GIS多維數(shù)據(jù)模型的設(shè)計還必須考慮與應(yīng)用軟件環(huán)境以及其他GIS應(yīng)用軟件相互兼容的問題。目前國內(nèi)外的一些研究機構(gòu)已經(jīng)開發(fā)出了一些3D造型軟件，或在原來的2DGIS中增加了三維功能，但是海量三維模型的建立、管理用戶軟件界面設(shè)計方面還有待進一步研究[9]。

2.4 面向任務(wù)的數(shù)據(jù)資源動態(tài)調(diào)度技術(shù)

在現(xiàn)實應(yīng)用中，需要考慮以下問題:當(dāng)用戶產(chǎn)生使用某地理空間數(shù)據(jù)的申請時，所對應(yīng)分布式文件系統(tǒng)的節(jié)點可能處于非工作狀態(tài)，而激活該節(jié)點并將其納入系統(tǒng)可能耗費較大的時間損耗[10];但系統(tǒng)所有的節(jié)點同時處于工作狀態(tài)也會造成不必要的資源浪費，付出昂貴的代價。

本文對解決上述問題提出初步構(gòu)想，認為可以采用面向任務(wù)的數(shù)據(jù)資源調(diào)度技術(shù)。具體講，設(shè)計基于任務(wù)的數(shù)據(jù)調(diào)度模型，采用主動、被動兩種調(diào)度協(xié)議。

通過主動調(diào)度協(xié)議，用戶可以發(fā)送若干類數(shù)據(jù)請求。系統(tǒng)對用戶的身份進行驗證后，檢測對應(yīng)節(jié)點是否處于工作狀態(tài)，對于尚未啟動的節(jié)點，則以最快速度進行啟動，并納入系統(tǒng)，待數(shù)據(jù)傳輸過程結(jié)束后，系統(tǒng)收回用戶對節(jié)點的占有權(quán);通過被動協(xié)議，用戶不發(fā)送數(shù)據(jù)請求。由系統(tǒng)通過熱點分析對用戶可能關(guān)注的地理空間所對應(yīng)的存儲節(jié)點進行篩選，激勵其處于在線工作狀態(tài)，并不斷更新熱點區(qū)域列表，實現(xiàn)按需在線。

3 結(jié) 語

隨著地理信息系統(tǒng)理論和技術(shù)的不斷發(fā)展，構(gòu)建全球地理信息系統(tǒng)將是必然趨勢。針對分布式文件系統(tǒng)中頻繁的存儲介質(zhì)移入移出以及對熱點區(qū)域持續(xù)關(guān)注等的現(xiàn)實需求，本文以研究分布式文件系統(tǒng)節(jié)點即插即用技術(shù)，面向應(yīng)用需求，為用戶提供快速、準(zhǔn)確的地理信息數(shù)據(jù)處理與應(yīng)用能力為目標(biāo)，分析了關(guān)鍵技術(shù)并提出解決方案。

參考文獻

[1]程承旗，郭輝.全球地理信息系統(tǒng)(GGIS)構(gòu)架體系初探[J].地理信息世界，2007(6):25_29.

[2]宋智.基于P2P的分布式存儲研究[D].上海:上海大學(xué)，2005.

[3]于鉉.基于Jini體系結(jié)構(gòu)的分布式系統(tǒng)研究[D].武漢:武漢理工大學(xué)，2003.

[4]孫敏，趙學(xué)勝，趙仁亮.Global GIS 及其關(guān)鍵技術(shù)[J].武漢大學(xué)學(xué)報:信息科學(xué)版，2008(1):41_43.

[5]吳信才，童恒建.三維地理信息系統(tǒng)數(shù)據(jù)模型的設(shè)計[J].計算機工程，2004(6):93_94.

[6]張紅蘭.服務(wù)的分布式體系應(yīng)用探討[D].青島:中國海洋大學(xué)，2006.

[7]羅強.即插即用技術(shù)研究——Jini分析和Ipnp設(shè)計[D].成都:電子科技大學(xué)，2001.

[9]樊文平，劉榮，宋富林.三維地理信息中3D模型研究綜述[J].地理信息世界，2005(5):37_38.

[8]王永會，宋曉宇，許景科.空間數(shù)據(jù)的混合樹索引結(jié)構(gòu)與訪問引擎的研究[J].小型微型計算機系統(tǒng)，2008(8):1 503_1 505.

[10]范鵬飛，申永軍，孫向輝，等.基于分布式的網(wǎng)絡(luò)流量監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[J].微計算機應(yīng)用，2007(11):1 149_1 150.

作者簡介 田曉波 男，1985年出生，內(nèi)蒙古呼和浩特人，碩士研究生。研究方向為嵌入式系統(tǒng)設(shè)計及固態(tài)存儲技術(shù)。