萬里烘
(寧波市規(guī)劃與地理信息中心,浙江寧波 315041)
地理信息系統(tǒng)(GIS)作為集計算機(jī)科學(xué)、地理學(xué)、測繪遙感學(xué)、環(huán)境科學(xué)、城市科學(xué)、信息科學(xué)和管理科學(xué)為一體的新興邊緣學(xué)科,隨著技術(shù)的不斷完善,在迅速發(fā)展中。該系統(tǒng)主要用以采集、存儲、管理、分析和描述整個或部分地球表面與空間和地理分布有關(guān)的數(shù)據(jù),通過一系列空間操作和分析方法,為地球科學(xué)、環(huán)境科學(xué)和工程設(shè)計提供對規(guī)劃、管理和空間決策有用的信息。
目前GIS已經(jīng)在多個行業(yè)普及,主要應(yīng)用于政府、公共事業(yè)、商業(yè)和個人服務(wù)四個領(lǐng)域。中央和地方政府部門使用GIS制作電子地圖產(chǎn)品、提供地理信息服務(wù),并用于輔助決策和政策制定。公共事業(yè)部門包括電力、燃?xì)?、自來水、通訊等,用GIS進(jìn)行資產(chǎn)登記、設(shè)施維護(hù)、運(yùn)行監(jiān)測、應(yīng)急處理等。在現(xiàn)代化城市建設(shè)中,GIS更被視為一項重要的基礎(chǔ)設(shè)施,用于管理城市現(xiàn)狀、規(guī)劃、變遷的各類空間數(shù)據(jù),如:地形、地貌、建筑、道路、綜合管線等以及描述這些空間特征的屬性數(shù)據(jù),并作為一種決策手段和工具,在城市規(guī)劃、管理及資源保護(hù)中正發(fā)揮著越來越重要的作用。
隨著GIS在各行各業(yè)的廣泛使用,復(fù)雜度越來越高,早已從桌面級使用發(fā)展為部門級、企業(yè)級和公眾型系統(tǒng),更加強(qiáng)調(diào)數(shù)據(jù)的共享和與其他系統(tǒng)的整合,為公眾提供更全面綜合性、專業(yè)化的地理信息服務(wù)。在復(fù)雜GIS中,各種各樣的信息在不斷地交換、融合和派生,數(shù)據(jù)越來越多,急劇膨脹。如何有效管理好這些海量數(shù)據(jù),按要求進(jìn)行快速存儲和備份恢復(fù),成為我們應(yīng)亟待解決的問題。
RAID全稱為獨(dú)立磁盤冗余陣列是由一個硬盤控制器來控制多個硬盤的相互連接,使多個硬盤的讀寫同步,減少錯誤,增加效率和可靠度。簡單地說,RAID就是一種把多個獨(dú)立硬盤按不同的方式組合起來形成一個硬盤組,從而具有比單個硬盤更高的存儲性能,并能進(jìn)行數(shù)據(jù)備份的技術(shù)。數(shù)據(jù)備份的功能是在用戶數(shù)據(jù)一旦發(fā)生損壞后,利用備份信息可以使損壞的數(shù)據(jù)得以恢復(fù),從而保障用戶數(shù)據(jù)的安全性。在用戶看來,組成的磁盤組就像是一個硬盤,用戶可以對它進(jìn)行分區(qū)、格式化等。不同的是,磁盤陣列的存儲速度要比單個硬盤高,而且可以提供自動數(shù)據(jù)備份。
RAID Levels就是組成磁盤陣列的不同方式,即RAID級別。經(jīng)過不斷的發(fā)展,現(xiàn)已有從RAID 0~RAID 6這7種基本的RAID級別。不同的RAID級別代表著不同的存儲性能、數(shù)據(jù)安全性和存儲成本。常用的有RAID1和RAID5。RAID1又稱為鏡像,能最大限度保護(hù)用戶數(shù)據(jù)的可用性和可修復(fù)性。當(dāng)讀取數(shù)據(jù)時,系統(tǒng)先從源盤讀取數(shù)據(jù),如果讀取成功,則系統(tǒng)不管備份盤上的數(shù)據(jù);如果讀取失敗,則系統(tǒng)自動轉(zhuǎn)而讀取備份盤上的數(shù)據(jù),避免工作任務(wù)中斷。由于數(shù)據(jù)的完全備份,備份數(shù)據(jù)占用了總空間的一半,磁盤空間利用率低,存儲成本較高,但安全性高,適用于存放重要數(shù)據(jù)。
RAID5是一種存儲性能、數(shù)據(jù)安全和存儲成本兼顧的方案。這種方式不對存儲的數(shù)據(jù)進(jìn)行備份,而是把數(shù)據(jù)和相對應(yīng)的數(shù)據(jù)分布存儲于不同的磁盤上。當(dāng)一個磁盤數(shù)據(jù)發(fā)生損壞后,利用剩下的數(shù)據(jù)和相應(yīng)的奇偶校驗信息去恢復(fù)已損壞數(shù)據(jù)。RAID5可以為系統(tǒng)提供數(shù)據(jù)安全保障,但保障程度低于RAID1,而空間利用率要高于RAID1。
NAS即網(wǎng)絡(luò)附加存儲。在NAS結(jié)構(gòu)中,存儲系統(tǒng)不通過I/O總線附屬于某一個特定的服務(wù)器或客戶機(jī),而是直接通過網(wǎng)絡(luò)接口與網(wǎng)絡(luò)相連,由用戶通過網(wǎng)絡(luò)來訪問。其實質(zhì)是一個瘦服務(wù)的存儲設(shè)備,類似于一個專用的文件服務(wù)器,但省去了鍵盤、鼠標(biāo)等外設(shè)。用NAS進(jìn)行存儲服務(wù),可以大大降低存儲成本。另外,由于NAS控制器采用專有操作系統(tǒng),并采用RAID方式進(jìn)行管理,能有效防范病毒,有效保護(hù)了數(shù)據(jù)。用戶訪問NAS資源時非常方便,同訪問一臺普通服務(wù)器的硬盤資源一樣簡單。NAS上的數(shù)據(jù)沒有排他性,同一個邏輯區(qū)域可以被多個服務(wù)器讀寫和修改。接口協(xié)議為TCP/IP,價格較低,適合中小企業(yè)中央存儲。
SAN是通過專用高速網(wǎng)將一個或多個網(wǎng)絡(luò)存儲設(shè)備和服務(wù)器連接起來的專用存儲系統(tǒng),主要采取數(shù)據(jù)塊的方式進(jìn)行數(shù)據(jù)和信息的存儲。目前主要使用于以太網(wǎng)和光纖通道兩類環(huán)境中,可分為FCSAN和IPSAN兩種。SAN上的數(shù)據(jù)是放在LUN上的,同一個區(qū)域需要鎖管理控制,不允許同時寫。接口協(xié)議為FC相關(guān)協(xié)議集,價格較高,適合關(guān)鍵應(yīng)用的核心存儲系統(tǒng)。
FC SAN通過光纖通道技術(shù)實現(xiàn)的SAN互聯(lián),可以為存儲網(wǎng)絡(luò)用戶提供高速、高可靠性安全傳輸。光纖通道技術(shù)是基于美國國家標(biāo)準(zhǔn)而創(chuàng)建的基于塊的網(wǎng)絡(luò)方式,該技術(shù)詳細(xì)定義了在服務(wù)器、存儲系統(tǒng)之間建立網(wǎng)絡(luò)結(jié)構(gòu)所需的連接和信號。由于光纖通道結(jié)合了高速度與低延遲的特點,適合在時間敏感或交易處理環(huán)境中使用。
IP SAN即在傳統(tǒng)IP以太網(wǎng)上架構(gòu)的SAN存儲網(wǎng)絡(luò)把服務(wù)器與存儲設(shè)備連接起來的存儲技術(shù)。該技術(shù)具有節(jié)約成本、可擴(kuò)展性強(qiáng)的優(yōu)點。普通服務(wù)器只需具備網(wǎng)卡,即可共享和使用大容量的存儲空間。IP SAN其實是把iSCSI協(xié)議完全封裝在IP協(xié)議中實現(xiàn)。iSCSI是基于IP協(xié)議的,它能容納所有IP協(xié)議網(wǎng)路的部件。通過iSCSI用戶可以穿越標(biāo)準(zhǔn)的以太網(wǎng),在需要的地方創(chuàng)建實際的SAN環(huán)境。由于沒有光纖通道對傳輸距離的限制,iSCSI可以實現(xiàn)異地間的數(shù)據(jù)交換,使遠(yuǎn)程鏡像和災(zāi)備成為可能。
磁帶庫是專業(yè)的備份設(shè)備,主要由庫體、磁帶驅(qū)動器、磁帶槽位、磁帶交換口、控制面板、機(jī)械手和電子控制單元組成。庫體內(nèi)的大部分空間用于放置磁帶,一臺或多臺驅(qū)動器用于讀寫磁帶。帶庫工作時,機(jī)械手在管理軟件和電子控制單元的控制下移動,通過安裝在機(jī)械臂上的條碼讀取器尋找相應(yīng)的磁帶,然后將其抓取到驅(qū)動器內(nèi);讀寫操作完成后,再由機(jī)械手將磁帶取出,放回磁帶槽位。一個帶庫可以安裝多個驅(qū)動器,支持并發(fā)任務(wù),對于一個大的備份任務(wù),就可以分配到多個驅(qū)動器上并行讀寫,提高備份效率。隨著SAN和LAN-Free備份技術(shù)的完善,很多帶庫提供了光纖通道的接口,可以直接連接到SAN上作為共享的存儲資源。
虛擬磁帶庫(VTL)是使用磁盤陣列模仿標(biāo)準(zhǔn)磁帶庫的一種產(chǎn)品。VTL通過光纖連接到備份服務(wù)器,為數(shù)據(jù)存儲備份提供高速、高效和安全的解決方案,極大地縮短了數(shù)據(jù)備份所需要的時間。并通過冗余和熱插拔設(shè)計保證系統(tǒng)不停頓及備份工作的聯(lián)系進(jìn)行。隨著ATA、SATA磁盤陣列的出現(xiàn),磁盤成本已逐漸接近磁帶,磁盤有取代磁帶成為備份主流介質(zhì)的趨勢。通過VTL設(shè)備,可以提供給操作系統(tǒng)和管理軟件模擬成磁帶庫結(jié)構(gòu)的磁盤設(shè)備。具有以下特點:數(shù)據(jù)讀寫是對裸設(shè)備的讀寫,不通過文件系統(tǒng)轉(zhuǎn)換,占用系統(tǒng)資源少;按順序方式讀寫,速度極快;裸設(shè)備上的數(shù)據(jù)不易更改和損壞。
數(shù)據(jù)遷移技術(shù)也稱分層存儲管理,是將離線存儲與在線存儲整合的技術(shù)。在磁盤介質(zhì)替代離線存儲介質(zhì)的同時,磁帶介質(zhì)也借該技術(shù),向在線存儲領(lǐng)域發(fā)展。一般離線數(shù)據(jù)是靜態(tài)無法實時訪問,通過該技術(shù)將離線數(shù)據(jù)與在線數(shù)據(jù)統(tǒng)一調(diào)度,從而實現(xiàn)所有數(shù)據(jù)的實時訪問。簡單地說,就是將大量不經(jīng)常訪問的數(shù)據(jù)存放在磁帶庫中,在磁盤陣列上只保存少量訪問頻率高的數(shù)據(jù)。當(dāng)那些磁帶介質(zhì)上的數(shù)據(jù)被訪問時,系統(tǒng)自動地把這些數(shù)據(jù)回遷到陣列中。而陣列中很久沒有訪問的數(shù)據(jù)將自動遷移到磁帶介質(zhì)中。
眾所周知,GIS中最基礎(chǔ)的也是最重要的部分是地理數(shù)據(jù)。例如基礎(chǔ)地理數(shù)據(jù)就包含:大地控制成果、數(shù)字線劃圖、數(shù)字正射影像圖、數(shù)字高程模型、SPOT影像和IKONOS影像等矢量和影像數(shù)據(jù)。這些數(shù)據(jù)含有大量的圖形圖像和文字,具有類別多、海量、高密級、生產(chǎn)和使用部門多的特點。特別是近年來,隨著三維技術(shù)在GIS中的深入應(yīng)用,各類生產(chǎn)數(shù)據(jù)呈TB級增長。如何做好數(shù)據(jù)的統(tǒng)一存儲、有效共享和快速容災(zāi)恢復(fù)已成為數(shù)據(jù)管理中越來越重要的內(nèi)容。在具體實施時,應(yīng)充分利用計算機(jī)存儲技術(shù)的優(yōu)點,根據(jù)GIS數(shù)據(jù)自身的特點,構(gòu)建GIS存儲備份系統(tǒng),同時注重系統(tǒng)的安全性和可擴(kuò)展性。具體說來,主要注意下列問題:
目前存儲方式難以滿足數(shù)據(jù)集中存儲和管理需要。GIS系統(tǒng)越來越復(fù)雜,功能越來越強(qiáng)大,通常采用服務(wù)器集群方式,集中讀取數(shù)據(jù)。數(shù)據(jù)必須被所有的服務(wù)器獲取,數(shù)據(jù)儲存的容量是爆炸式的增長,傳統(tǒng)的存儲設(shè)備無法進(jìn)行支持。應(yīng)配置磁盤陣列產(chǎn)品,進(jìn)行統(tǒng)一存儲。
GIS的矢量數(shù)據(jù)通常通過ArcSDE直接存放到Oracle數(shù)據(jù)庫中。用戶需要頻繁操作該部分?jǐn)?shù)據(jù),因此在確定存儲方式時,應(yīng)選用FC SAN光纖存儲。充分發(fā)揮光纖SAN存儲高速度與低延遲的特點,實現(xiàn)對矢量圖形數(shù)據(jù)的高性能訪問。
由于航拍和衛(wèi)星影像數(shù)據(jù)具有海量的特點,傳輸帶寬要有一定保證,否則并發(fā)沖突增多,網(wǎng)絡(luò)被嚴(yán)重諸塞,系統(tǒng)將不能正常使用。該部分?jǐn)?shù)據(jù)一般以文件方式被訪問,訪問用戶較多時,易被用戶電腦中病毒的破壞。因此在確定存儲方式時,應(yīng)選用NAS存儲,充分利用其支持并發(fā)和瘦服務(wù)器的優(yōu)點,提高影像數(shù)據(jù)訪問的安全性。
數(shù)據(jù)在不斷的更新中,有一定的使用生命周期,對這些數(shù)據(jù)進(jìn)行有效的存儲備份和歸檔,是整個城市地理信息系統(tǒng)必不可或缺的一環(huán)。傳統(tǒng)的存儲方式如:增加磁盤數(shù)量和容量,使用磁帶機(jī)進(jìn)行存儲備份日益突顯其不足。備份數(shù)據(jù)慢,對應(yīng)用網(wǎng)絡(luò)影響大。大量數(shù)據(jù)通過應(yīng)用網(wǎng)絡(luò)進(jìn)行備份,這種沖擊阻塞對網(wǎng)絡(luò)傳輸效率的影響將令人難于接受。而且基于應(yīng)用程序和數(shù)據(jù)庫級別的備份,隨著數(shù)據(jù)量的增加,準(zhǔn)確性大大降低。一旦數(shù)據(jù)備份時發(fā)生中斷,由于不支持?jǐn)帱c續(xù)傳,備份需重新啟動,效率低下。如果數(shù)據(jù)在備份中發(fā)生修改,很容易引起備份的不一致,恢復(fù)時將報錯。因此需配置專業(yè)的數(shù)據(jù)庫和文件備份軟件,制定備份規(guī)則,采用LAN Free備份方式,定期向磁盤陣列或磁帶庫備份數(shù)據(jù)。
在選定備份介質(zhì)時,如果GIS數(shù)據(jù)量過大,可采用三種方式進(jìn)行優(yōu)化:
(1)采用磁帶庫虛擬技術(shù),將數(shù)據(jù)壓縮存放到磁盤陣列中,需調(diào)閱數(shù)據(jù)時,可通過索引快速恢復(fù)。
(2)采用磁帶庫數(shù)據(jù)遷移技術(shù),合理分配在線和離線空間,保障訪問頻率高數(shù)據(jù)的存儲效率。
(3)采用磁盤重復(fù)刪除技術(shù),消除存儲系統(tǒng)中重復(fù)的數(shù)據(jù),使系統(tǒng)中實際存儲的數(shù)據(jù)或者通過網(wǎng)絡(luò)傳送的數(shù)據(jù)以幾何級別遞減,大幅削減存儲以及傳輸成本。
傳統(tǒng)管理模式,不能實現(xiàn)服務(wù)器與遠(yuǎn)程存儲設(shè)備的連接,無法進(jìn)行異地災(zāi)備。一旦發(fā)生遇到自然災(zāi)害或人為破壞,沒有保留一份完整的數(shù)據(jù),后果將是災(zāi)難性和不可挽回的。因此數(shù)據(jù)的容災(zāi),是數(shù)據(jù)管理重要的組成部分。進(jìn)行數(shù)據(jù)異地定期備份,將有效降低數(shù)據(jù)發(fā)生災(zāi)難的風(fēng)險。根據(jù)目前網(wǎng)絡(luò)的連接線狀,可以選擇IP SAN,結(jié)合防火墻VPN加密通道,實現(xiàn)與遠(yuǎn)程災(zāi)備機(jī)房的數(shù)據(jù)交換。
使用先進(jìn)的計算機(jī)存儲技術(shù)將很好克服上述缺點。以SAN網(wǎng)絡(luò)架構(gòu)為基礎(chǔ),可擴(kuò)展性好,能夠提供靈活的計算組織環(huán)境,實現(xiàn)存儲資源的合理配置和有效利用。同時,能夠?qū)AN網(wǎng)內(nèi)存儲資源實施集中、統(tǒng)一的管理,并方便實現(xiàn)數(shù)據(jù)的高可用性和容災(zāi)性,目前已成為最理想的存儲管理和應(yīng)用模式。
結(jié)合GIS數(shù)據(jù)的特點,采用光纖存儲網(wǎng)絡(luò)(SAN)結(jié)合NAS技術(shù)來實現(xiàn)海量數(shù)據(jù)的有效存儲備份。
具體實施步驟如下:
(1)安裝配置磁盤陣列庫,可配置FC磁盤陣列和SATA磁盤陣列。通過配置RAID和熱備盤增強(qiáng)容災(zāi)能力。并可根據(jù)需要配置快照和復(fù)制許可,增強(qiáng)數(shù)據(jù)的安全性。
(2)磁盤陣列將分成LUN提供給服務(wù)器使用。通過陣列管理軟件,屏蔽掉多余的硬盤,避免誤操作。
(3)分配好磁盤空間給NAS控制器,連接到SAN中。設(shè)定好NAS服務(wù)器IP地址和訪問目錄,授權(quán)用戶訪問。
(4)配置光纖交換機(jī),通過光纖跳線將磁盤陣列庫連接到光纖交換機(jī)上,并使用雙通路進(jìn)行冗余。
(5)服務(wù)器上安裝光纖卡,通過光纖跳線連接到光纖交換機(jī)上。非關(guān)鍵服務(wù)器也可直接使用IP SAN。
備份軟件的安裝,根據(jù)備份內(nèi)容的不同使用的備份模塊有所不同??煞譃槿N:服務(wù)器端、客戶端和備份節(jié)點端。服務(wù)端程序用來控制整個備份過程,當(dāng)客戶端發(fā)起備份請求時,備份請求信息先發(fā)送到備份服務(wù)器,備份服務(wù)器根據(jù)請求,檢測磁帶庫,準(zhǔn)備就緒后,發(fā)送處理信息給客戶端,客戶端通過光纖網(wǎng)直接將數(shù)據(jù)備份到磁盤陣列中。備份節(jié)點端是一類特殊的客戶端,可對SQL SERVER和Oracle數(shù)據(jù)庫進(jìn)行直接備份。根據(jù)實際需要,對備份設(shè)備進(jìn)行優(yōu)化。如:配置數(shù)據(jù)遷移、重復(fù)刪除模塊。
如果異地容災(zāi)機(jī)房的陣列與新增陣列為同一系列的設(shè)備,可通過租用運(yùn)營商的裸光纜,連接兩地SAN存儲。通過陣列自帶模塊如MirrorView/Synchro模塊功能,將規(guī)劃局存儲上的生產(chǎn)數(shù)據(jù)遠(yuǎn)程同步到容災(zāi)機(jī)房的陣列上。該種方式能實現(xiàn)數(shù)據(jù)的實時同步,最大限度保護(hù)數(shù)據(jù)。但需要租用專用的光纖線路,并要求災(zāi)備中心的陣列與本地陣列為同一系列的同構(gòu)陣列,不易滿足。
也可采用數(shù)據(jù)冷備份復(fù)制方式。將本地陣列中生產(chǎn)的數(shù)據(jù),備份到本地災(zāi)備服務(wù)器的磁盤中。并通過電子政務(wù)專網(wǎng)或其他IP網(wǎng)絡(luò),將災(zāi)備服務(wù)器連接到異地容災(zāi)點的網(wǎng)絡(luò)中。將該服務(wù)器中數(shù)據(jù)通過軟件或腳本定期備份到容災(zāi)陣列共享的磁盤空間中。采用該種方式,只能進(jìn)行數(shù)據(jù)的異步復(fù)制,由于數(shù)據(jù)是在一般的IP網(wǎng)絡(luò)中傳輸,備份和恢復(fù)的時間較長。但實現(xiàn)的方式簡單,具有較強(qiáng)的可操作性。具體實施步驟如下:
(1)通過電子政務(wù)專網(wǎng)或租用專用網(wǎng)絡(luò),連通本地機(jī)房和災(zāi)備中心機(jī)房。
(2)在網(wǎng)絡(luò)連接處,各架設(shè)1臺防火墻,設(shè)定網(wǎng)絡(luò)訪問規(guī)則,建立VPN通道,加密傳輸數(shù)據(jù)。
(3)將本地陣列中生產(chǎn)的數(shù)據(jù),通過腳本定期備份到本地災(zāi)備服務(wù)器的磁盤中。
(4)在災(zāi)備服務(wù)器上,部署復(fù)制軟件,如:Symantic的VRTSREPLICATION EXEC產(chǎn)品,通過設(shè)定備份策略后,直接將服務(wù)器上的數(shù)據(jù)定期傳輸?shù)綖?zāi)備中心的共享空間中。
(5)災(zāi)備中心的服務(wù)器部署相應(yīng)的復(fù)制軟件,可將其需要備份的數(shù)據(jù)發(fā)送到本地共享空間,實現(xiàn)雙向備份。
(6)如果需要恢復(fù)數(shù)據(jù),先將正向復(fù)制作業(yè)停止,創(chuàng)建一個反向復(fù)制作業(yè)并運(yùn)行即可。
(7)具體拓?fù)鋱D如圖1所示。
圖1 災(zāi)備系統(tǒng)拓?fù)浣Y(jié)構(gòu)圖
隨著信息技術(shù)的突飛猛進(jìn),尤其是計算機(jī)存儲技術(shù)的日趨成熟。應(yīng)用該技術(shù)加強(qiáng)GIS數(shù)據(jù)的管理,將大大提高數(shù)據(jù)的安全性和可用性,為GIS技術(shù)的應(yīng)用和發(fā)展拓展更廣闊的空間。
[1] 邊馥苓.地理信息系統(tǒng)原理與方法[M].北京:測繪出版社,2000
[2] 謝希仁.計算機(jī)網(wǎng)絡(luò)(第三版)[M].大連:大連理工大學(xué)出版社,2001
[3] Richard Barker.存儲區(qū)域網(wǎng)絡(luò)精華-深入理解SAN[M].北京:電子工業(yè)出版社,2004