曾 薇 楊 樂 譚 穎
(中國(guó)地震臺(tái)網(wǎng)中心,北京 100045)
網(wǎng)絡(luò)存儲(chǔ)技術(shù)在地震數(shù)據(jù)存儲(chǔ)中的應(yīng)用
曾 薇 楊 樂 譚 穎
(中國(guó)地震臺(tái)網(wǎng)中心,北京 100045)
隨著地震觀測(cè)和地震科學(xué)研究水平的提高,大量寶貴的地震科學(xué)數(shù)據(jù)不斷產(chǎn)出。安全有效地存儲(chǔ)這些海量地震數(shù)據(jù),是目前迫切需要解決的問題。本文簡(jiǎn)要介紹了網(wǎng)絡(luò)存儲(chǔ)技術(shù)的發(fā)展和應(yīng)用,并通過分析地震數(shù)據(jù)對(duì)存儲(chǔ)系統(tǒng)的要求,探討了網(wǎng)絡(luò)存儲(chǔ)技術(shù)在地震數(shù)據(jù)存儲(chǔ)中的應(yīng)用。
網(wǎng)絡(luò)存儲(chǔ) NAS SAN 地震數(shù)據(jù)
計(jì)算機(jī)、網(wǎng)絡(luò)和存儲(chǔ)設(shè)備是信息技術(shù)基礎(chǔ)設(shè)施的三個(gè)主要部分。在計(jì)算機(jī)技術(shù)方面,CPU性能和各種總線技術(shù)得到了極大的發(fā)展;在網(wǎng)絡(luò)方面,萬兆網(wǎng)絡(luò)得到了廣泛的應(yīng)用。而與計(jì)算機(jī)和網(wǎng)絡(luò)相比,數(shù)據(jù)存儲(chǔ)技術(shù)還相對(duì)落后,管理存儲(chǔ)設(shè)備的方式也相對(duì)原始。在計(jì)算機(jī)性能和網(wǎng)絡(luò)技術(shù)飛速發(fā)展的今天,人們需要更先進(jìn)的數(shù)據(jù)存儲(chǔ)方式,以解決存儲(chǔ)容量擴(kuò)展、存儲(chǔ)性能提高和對(duì)主機(jī)影響等方面的問題,為此網(wǎng)絡(luò)存儲(chǔ)應(yīng)運(yùn)而生。
網(wǎng)絡(luò)存儲(chǔ)是指借助于網(wǎng)絡(luò)存儲(chǔ)設(shè)備,通過原有網(wǎng)絡(luò)或者構(gòu)建專有的存儲(chǔ)網(wǎng)絡(luò),為用戶提供統(tǒng)一的數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)共享服務(wù),它是基于網(wǎng)絡(luò)的存儲(chǔ)方式。網(wǎng)絡(luò)存儲(chǔ)可將數(shù)據(jù)存儲(chǔ)任務(wù)從服務(wù)器主機(jī)中分離出來,這樣可減輕服務(wù)器的負(fù)荷,并將傳統(tǒng)的數(shù)據(jù)存儲(chǔ)獨(dú)立出來,作為網(wǎng)絡(luò)的一部分,為網(wǎng)絡(luò)用戶共享,它消除了數(shù)據(jù)“孤島”現(xiàn)象。同時(shí)網(wǎng)絡(luò)存儲(chǔ)的目標(biāo)是整合廣泛的存儲(chǔ)設(shè)備,包括磁盤驅(qū)動(dòng)器、備份磁帶驅(qū)動(dòng)器、磁盤陣列、光盤庫(kù)等所有的存儲(chǔ)設(shè)備,這也使得存儲(chǔ)資源的集中管理和備份成為可能。
存儲(chǔ)設(shè)備通過標(biāo)準(zhǔn)化的I/O接口技術(shù)與服務(wù)器或者交換機(jī)/路由器通信,以實(shí)現(xiàn)開放式的系統(tǒng)互聯(lián)。在存儲(chǔ)系統(tǒng)的應(yīng)用中,目前最主要的接口技術(shù)包括:SCSI、光線通道以及iSCSI等。
SCSI(Small Computer System Interface)是用于計(jì)算機(jī)和智能設(shè)備之間(硬盤、軟驅(qū)、光驅(qū)、打印機(jī)、掃描儀等)系統(tǒng)級(jí)接口的獨(dú)立處理器標(biāo)準(zhǔn)。在系統(tǒng)中應(yīng)用時(shí),SCSI必須要有專門的SCSI控制器,也就是一塊SCSI控制卡,才能支持SCSI設(shè)備,這與IDE硬盤不同。在SCSI控制器上有一個(gè)相當(dāng)于CPU的芯片,它對(duì)SCSI設(shè)備進(jìn)行控制,能處理大部分的工作,減少了中央處理器的負(fù)擔(dān)(CPU占用率)。也正是由于 SCSI 擁有這些出眾的優(yōu)點(diǎn),使得 SCSI 能夠在專業(yè)應(yīng)用中占據(jù)絕對(duì)的主導(dǎo)地位。
SCSI是 1979 年由美國(guó)的施加特 (Shugart) 公司 ( 希捷的前身 ) 研發(fā)并制定的,并于1986 年獲得 ANSI(美國(guó)標(biāo)準(zhǔn)協(xié)會(huì))的承認(rèn)。從發(fā)明到現(xiàn)在,SCSI通過20多年的發(fā)展已經(jīng)成為一系列技術(shù)的集合,其性能也呈現(xiàn)多種多樣,如:多種總線寬度、多種總線速率、各種SCSI總線仲裁方式等。SCSI的總線速度已由開始的5兆字節(jié)/s發(fā)展到現(xiàn)在SCSI ULTRA320的320兆字節(jié)/s,并且仍在不斷地提高(周敬利等,2005)。
光線通道(Fiber Channel)是存儲(chǔ)系統(tǒng)中常用的介于I/O通道和網(wǎng)絡(luò)連接之間的通訊協(xié)議。光纖通道能為不同的設(shè)備間提供高速的數(shù)據(jù)交換通道,同時(shí),也能提供較遠(yuǎn)距離的通訊,目前,常見的光纖通道網(wǎng)絡(luò)可達(dá)到約10km的通訊距離。
光纖通道協(xié)議是一個(gè)分層的通訊協(xié)議,它包括:物理層、編解碼層、幀協(xié)議/流控制層、通用服務(wù)層、上層協(xié)議層。而光纖通道網(wǎng)絡(luò)中的設(shè)備必須遵循光纖通道協(xié)議的各個(gè)層次來通訊。
一般的存儲(chǔ)設(shè)備,如磁盤、磁帶庫(kù)等都有光纖通道接口,可以直接與其他光纖通道設(shè)備連接。而服務(wù)器往往沒有光纖通道接口,無法與其他光纖通道設(shè)備連接。在實(shí)際應(yīng)用中,服務(wù)器需要一個(gè)主機(jī)總線適配卡(Host Bus Adaptor),而這個(gè)主機(jī)總線適配卡可插在服務(wù)器內(nèi)部的總線擴(kuò)展槽上,適配卡上有光纖通道接口。這樣一來,服務(wù)器就可以通過主機(jī)總線適配卡與光纖通道的連接設(shè)備(如光纖通道集線器、交換機(jī))或其他光纖通道設(shè)備連接了。
iSCSI(internet Small Computer System Interface)是由IEETF公司開發(fā)的,它結(jié)合了TCP/IP和SCSI的網(wǎng)絡(luò)存儲(chǔ)接口標(biāo)準(zhǔn),可將SCSI命令和塊狀數(shù)據(jù)封鎖到TCP/IP包中發(fā)送、接收,同時(shí)用IP協(xié)議將存儲(chǔ)設(shè)備連接在一起。發(fā)送端可將SCSI命令和數(shù)據(jù)封裝在TCP/IP包中通過網(wǎng)絡(luò)轉(zhuǎn)發(fā),當(dāng)接收端收到TCP/IP包后,可將其還原為SCSI命令和數(shù)據(jù)并執(zhí)行,完成之后再將返回的SCSI命令和數(shù)據(jù)封裝到TCP/IP包中,再傳送到發(fā)送端。
通過在IP網(wǎng)上傳送SCSI命令和數(shù)據(jù),iSCSI推動(dòng)了數(shù)據(jù)在網(wǎng)際之間的傳遞,同時(shí)也促進(jìn)了數(shù)據(jù)的遠(yuǎn)距離管理。由于IP網(wǎng)絡(luò)的廣泛應(yīng)用,iSCSI能夠在LAN、WAN甚至internet上進(jìn)行數(shù)據(jù)傳送,使得數(shù)據(jù)的存儲(chǔ)不再受地域的限制。
RAID是Redundant Array of Independent Disks的縮寫,譯為獨(dú)立冗余磁盤陣列。RAID將一組磁盤驅(qū)動(dòng)器用某種邏輯的方式聯(lián)系起來,作為邏輯上的一個(gè)磁盤驅(qū)動(dòng)器來使用,可提高數(shù)據(jù)讀取速率和提供磁盤容錯(cuò)能力。
RAID系統(tǒng)由2個(gè)主要部件總成:RAID控制器和磁盤陣列。RAID控制器是RAID系統(tǒng)的“大腦”,負(fù)責(zé)路由、緩沖及管理主機(jī)(或網(wǎng)絡(luò))與磁盤陣列之間的數(shù)據(jù)流。RAID控制器通常以高速接口技術(shù),如上面提到的SCSI、光纖通道等與主機(jī)(或網(wǎng)絡(luò))和磁盤連接(圖1)。
圖1 RAID系統(tǒng)的物理結(jié)構(gòu)Fig. 1 Physical structure of RAID
RAID控制器有各種不同的級(jí)別,由于各級(jí)采用的工作模式和算法不同,具有不同的可靠性和性能,根據(jù)應(yīng)用的需求可以選擇相應(yīng)的RAID級(jí)別。
目前,基于網(wǎng)絡(luò)的存儲(chǔ)架構(gòu)有三個(gè)主要的發(fā)展方向:NAS、SAN和IP-SAN。網(wǎng)絡(luò)連接存儲(chǔ)NAS通過IP網(wǎng)絡(luò)向客戶端用戶提供文件級(jí)服務(wù),而存儲(chǔ)區(qū)域網(wǎng)絡(luò)SAN和IP-SAN則通過網(wǎng)絡(luò)向服務(wù)器用戶提供塊級(jí)I/O服務(wù)。對(duì)于服務(wù)器而言,SAN和IP-SAN存儲(chǔ)設(shè)備表現(xiàn)為標(biāo)準(zhǔn)的塊設(shè)備,而NAS存儲(chǔ)設(shè)備對(duì)于PC或者服務(wù)器則表現(xiàn)為一個(gè)專用的文件服務(wù)器。NAS與SAN、IP-SAN在體系結(jié)構(gòu)上存在較大的區(qū)別,而SAN與IP-SAN的體系結(jié)構(gòu)存在較多的相同點(diǎn)。
NAS使用了傳統(tǒng)以太網(wǎng)和IP協(xié)議,當(dāng)進(jìn)行文件共享時(shí),則利用了NFS和CIFS以溝通NT和 Unix系統(tǒng)。由于NFS和CIFS都是基于操作系統(tǒng)的文件共享協(xié)議,所以NAS的性能特點(diǎn)是進(jìn)行小文件級(jí)的共享存取。
從NAS的簡(jiǎn)單機(jī)制可引申出它的一些明顯的優(yōu)缺點(diǎn)。優(yōu)點(diǎn):NAS的部署非常簡(jiǎn)單,只須與傳統(tǒng)交換機(jī)連接即可;其次,它的成本較低,因?yàn)镹AS的投資僅限于1臺(tái)NAS服務(wù)器,而不像SAN是整個(gè)存儲(chǔ)網(wǎng)絡(luò),同時(shí),NAS服務(wù)器的價(jià)格往往是針對(duì)中小企業(yè)定位的;第三,NAS服務(wù)器的管理非常簡(jiǎn)單,它一般都支持 Web的客戶端管理,對(duì)熟悉操作系統(tǒng)的網(wǎng)絡(luò)管理人員來說,其設(shè)置既熟悉又簡(jiǎn)單。而在簡(jiǎn)單易用的背后,NAS的缺點(diǎn)也非常明顯:從性能上看,由于與應(yīng)用同時(shí)使用一個(gè)網(wǎng)絡(luò),NAS會(huì)增加網(wǎng)絡(luò)擁塞,反過來,NAS性能也嚴(yán)重受制于網(wǎng)絡(luò)傳輸數(shù)據(jù)能力;其次,從數(shù)據(jù)安全性看,NA一般只提供兩級(jí)用戶安全機(jī)制,雖然這能簡(jiǎn)化使用,但還需要用戶額外增加適當(dāng)級(jí)別的文件安全手段。
SAN和NAS所適合的應(yīng)用不同。SAN是傳統(tǒng)的DAS技術(shù)的發(fā)展延續(xù),適合大量的數(shù)據(jù)塊訪問方式的網(wǎng)絡(luò)存儲(chǔ)技術(shù),即信息主要是以塊方式存儲(chǔ)及管理的應(yīng)用。SAN與DAS的主要區(qū)別在于:SAN技術(shù)在主機(jī)和存儲(chǔ)設(shè)備之間增加了專用的存儲(chǔ)域交換機(jī),構(gòu)成了光纖FC存儲(chǔ)域網(wǎng)絡(luò),實(shí)現(xiàn)了網(wǎng)絡(luò)存儲(chǔ)訪問。
高性能的光纖通道交換機(jī)和光纖通道網(wǎng)絡(luò)協(xié)議是 SAN的關(guān)鍵。我們把以光纖通道交換機(jī)為骨干的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)稱為“SAN Fabric”,而光纖通道協(xié)議是SAN的另一個(gè)本質(zhì)特征。SAN正是利用光纖通道協(xié)議上加載SCSI協(xié)議來達(dá)到可靠的塊級(jí)數(shù)據(jù)傳輸。
SAN以光纖通道交換機(jī)和光纖通道協(xié)議為主要特征的本質(zhì)決定了它的諸多優(yōu)點(diǎn),可簡(jiǎn)單地概括為性能、距離、管理等方面。首先,在一些關(guān)鍵應(yīng)用中,傳輸塊級(jí)數(shù)據(jù)要求必須使用SAN,尤其是多個(gè)服務(wù)器共同向大型存儲(chǔ)設(shè)備進(jìn)行讀取。由于在數(shù)據(jù)傳輸時(shí)被分成小段,使SAN對(duì)服務(wù)器處理的依賴較少,可以有效地傳送爆發(fā)性的塊數(shù)據(jù),SAN的性能及可靠性就得到了充分的發(fā)揮。其次,通過城域網(wǎng)(MAN),SAN可以實(shí)現(xiàn)遠(yuǎn)程災(zāi)難恢復(fù)。一般地,使用E3信道, SAN可以在不降低性能的同時(shí)將部件間的距離增加至150km。第三,也是很重要的一點(diǎn),SAN的管理是集中而且高效的。用戶可以在線添加/刪除設(shè)備、動(dòng)態(tài)調(diào)整存儲(chǔ)網(wǎng)絡(luò)以及將異構(gòu)設(shè)備統(tǒng)一成存儲(chǔ)池等。
IP-SAN是近些年來新興的網(wǎng)絡(luò)存儲(chǔ)技術(shù),它通過使用TCP/IP以太網(wǎng)替代光纖通道網(wǎng)絡(luò)。前端通過IP網(wǎng)絡(luò)連接到服務(wù)器,后端采用IPSAN協(xié)議連接到存儲(chǔ)設(shè)備。iSCSI協(xié)議是IP-SAN中最為流行的協(xié)議,是IP存儲(chǔ)網(wǎng)絡(luò)的典型代表。
IP-SAN有效地利用了以太網(wǎng)絡(luò),保護(hù)了現(xiàn)有的在以太網(wǎng)絡(luò)上的投資,而且千兆、萬兆以太網(wǎng)絡(luò)的廣泛使用,使得IP-SAN的性能得到提高。采用IP-SAN存儲(chǔ)網(wǎng)絡(luò),可以達(dá)到較好的兼容性和高的性能價(jià)格比。
目前,相關(guān)的IP-SAN標(biāo)準(zhǔn)仍在制定中,在核心業(yè)務(wù)的應(yīng)用也不多,其安全性和穩(wěn)定性還有待考證。從網(wǎng)絡(luò)協(xié)議來看,IP協(xié)議比較適合傳輸大量的小塊數(shù)據(jù),性能與FC存儲(chǔ)協(xié)議適合傳送大塊數(shù)據(jù)相比仍有差距。
SAN對(duì)于高容量塊狀級(jí)數(shù)據(jù)傳輸具有明顯的優(yōu)勢(shì),而NAS則更加適合文件級(jí)別上的數(shù)據(jù)處理。盡管二者存在根本特性上的差異,但SAN和NAS 實(shí)際上可以相互補(bǔ)充存儲(chǔ)技術(shù)。如:SAN擅長(zhǎng)塊數(shù)據(jù)傳輸,極易擴(kuò)展且管理設(shè)備有效。用戶可以使用 SAN進(jìn)行關(guān)鍵應(yīng)用(比如數(shù)據(jù)庫(kù)、備份等),以完成數(shù)據(jù)的集中存取與管理;而NAS 支持若干客戶端之間文件共享,用戶可以使用NAS作為日常辦公中需要經(jīng)常交換小文件的地方(比如存儲(chǔ)網(wǎng)頁(yè)等)。SAN和NAS在實(shí)際情況中還可以并存在一個(gè)系統(tǒng)中。再如:SAN可以與NAS聯(lián)合使用,旨在為NAS設(shè)備提供高性能、大容量的存儲(chǔ)設(shè)備,同時(shí)許多SAN通常也駐留在NAS的應(yīng)用中(劉俊熙,2004)。
目前,許多公司已經(jīng)推出了融合NAS與SAN的存儲(chǔ)解決方案,同時(shí)每家公司的方案都會(huì)有其獨(dú)特的一面,然而,從總體上看,這些方案大致可分為兩類:一類名為“NAS頭”;另一類名為“統(tǒng)一存儲(chǔ)系統(tǒng)”。
在NAS基礎(chǔ)上添加對(duì)SAN的支持,就是“NAS頭”方案(圖2),在該方案中仍是以NAS為中心,NAS設(shè)備提供對(duì)SAN的支持,其中“NAS頭”由專為提供文化服務(wù)而優(yōu)化的部件構(gòu)成,相當(dāng)于原來NAS存儲(chǔ)方式中的NAS文件管理器。
業(yè)務(wù)系統(tǒng)(如數(shù)據(jù)庫(kù)等)對(duì)性能要求較高的應(yīng)用可部署在SAN的環(huán)境下,通過高速FC通道對(duì)數(shù)據(jù)進(jìn)行存??;而對(duì)于性能要求不高但是需要資源共享的情況,即主要是文件級(jí)資源共享的應(yīng)用系統(tǒng)(如Web應(yīng)用、流媒體應(yīng)用等)可部署在NAS環(huán)境下,通過TCP/IP通道對(duì)數(shù)據(jù)進(jìn)行存取。
圖2 “NAS頭”方案拓?fù)浼軜?gòu)Fig. 2 Topology structure of SAN+NAS
“NAS頭”連接到后端的SAN存儲(chǔ)上后,此時(shí)的NAS服務(wù)器就相當(dāng)于SAN存儲(chǔ)網(wǎng)絡(luò)的網(wǎng)關(guān),在前端主機(jī)需訪問SAN時(shí),通過網(wǎng)關(guān)將文件級(jí)的訪問轉(zhuǎn)換成數(shù)據(jù)塊級(jí)的訪問,可節(jié)省前端主機(jī)HBA卡的開銷。同時(shí)又可以利用SAN進(jìn)行存儲(chǔ),為“NAS頭”提供存儲(chǔ)容量,這就使“NAS頭”后面的存儲(chǔ)設(shè)備可以根據(jù)環(huán)境的需求擴(kuò)展到非常大的容量。
“NAS頭”方案雖然在一定程度上解決了SAN與NAS系統(tǒng)在存儲(chǔ)設(shè)備級(jí)的共享問題,但在文件級(jí)的共享上卻與傳統(tǒng)的NAS系統(tǒng)遇到了同樣的可擴(kuò)展性問題,當(dāng)一個(gè)文件系統(tǒng)負(fù)載很大時(shí),“NAS頭”很可能成為系統(tǒng)的瓶頸。另外,SAN與NAS之間的空間無法進(jìn)行有效利用。而這種模式的優(yōu)點(diǎn)是可以充分利用不同存儲(chǔ)系統(tǒng)的一些優(yōu)秀品質(zhì),但是并沒有減少管理和使用的復(fù)雜程度。
要實(shí)現(xiàn)一臺(tái)高端存儲(chǔ)系統(tǒng)完成所有數(shù)據(jù)的存儲(chǔ)空間需求,同時(shí)又支持SAN和NAS的訪問,在具體部署上首先要?jiǎng)澐殖鯯AN和NAS的存儲(chǔ)邏輯分區(qū),以保證在不同的應(yīng)用模式下使用不同的資源配置,這樣才能在滿足業(yè)務(wù)需求的同時(shí)消除資源競(jìng)爭(zhēng)(圖3)。
這種實(shí)現(xiàn)方式與在SAN前加“NAS頭”正好相反,它不是SAN到NAS的支持,而是NAS到SAN的支持,即在原有的NAS基礎(chǔ)上,增加對(duì)FCP協(xié)議的支持。由于NAS具有自己的操作和文件系統(tǒng),因此增加的FCP和原有的NFS、CIFS、HTTP一樣,僅是一個(gè)協(xié)議的支持。同一網(wǎng)絡(luò)存儲(chǔ)可以通過不同的接口卡完成對(duì)SAN和NAS的同時(shí)支持,如通過以太網(wǎng)卡可以提供NAS的訪問服務(wù),而同時(shí)又可以通過HBA卡提供SAN的訪問服務(wù)。至于NAS和SAN則可以共同而有效地使用所有虛擬化的空間。
圖3 統(tǒng)一存儲(chǔ)拓?fù)浼軜?gòu)Fig. 3 Topology structure of united storage
有些統(tǒng)一存儲(chǔ)設(shè)備一般只支持高性能磁盤,這就造成了設(shè)備價(jià)格居高不下,也使得產(chǎn)品的投資風(fēng)險(xiǎn)加大,而將NAS和SAN統(tǒng)一在一個(gè)設(shè)備中,其可靠性相對(duì)2個(gè)存儲(chǔ)設(shè)備而言是有所下降的。
地震數(shù)據(jù)主要來自于觀測(cè)、檢測(cè)、調(diào)查、試驗(yàn)、實(shí)驗(yàn)以及研究分析等科技活動(dòng)。目前我國(guó)已有地震觀測(cè)臺(tái)站2000多個(gè),形成了涵蓋地震、地磁、地電、地殼形變、GPS、地球重力、地下流體等方面的觀測(cè)網(wǎng),這些觀測(cè)網(wǎng)自建立以來源源不斷地產(chǎn)出了大量寶貴的地球科學(xué)基礎(chǔ)數(shù)據(jù),這些數(shù)據(jù)除用于地震行業(yè)的地震預(yù)測(cè)、地震基礎(chǔ)研究和防震減災(zāi)外,同時(shí)也為我國(guó)的地球科學(xué)基礎(chǔ)研究、科研創(chuàng)新、國(guó)民經(jīng)濟(jì)建設(shè)、生態(tài)環(huán)境、國(guó)防建設(shè)等提供了具有重大價(jià)值和應(yīng)用意義的數(shù)據(jù)(路鵬等,2007)。
安全有效地存儲(chǔ)這些海量地震科學(xué)數(shù)據(jù),是目前迫切需要解決的問題。而地震數(shù)據(jù)存儲(chǔ)設(shè)備整體規(guī)劃的具體目標(biāo),就是建立高效、安全、可靠的地震信息數(shù)據(jù)存儲(chǔ)和處理的基礎(chǔ)平臺(tái),并在此之上提供對(duì)各種應(yīng)用環(huán)境及數(shù)據(jù)集的有效備份和恢復(fù)機(jī)制,從而保證主要業(yè)務(wù)系統(tǒng)能夠持續(xù)、正常、穩(wěn)定地運(yùn)行。
中國(guó)地震臺(tái)網(wǎng)中心是我國(guó)地震監(jiān)測(cè)預(yù)測(cè)、數(shù)據(jù)信息分析處理與服務(wù)、科技情報(bào)信息服務(wù)的專門業(yè)務(wù)機(jī)構(gòu),其中地震監(jiān)測(cè)預(yù)報(bào)、震害預(yù)防、緊急救援又是核心技術(shù)支撐平臺(tái)。中國(guó)地震臺(tái)網(wǎng)中心數(shù)據(jù)存儲(chǔ)系統(tǒng)需要集中各系統(tǒng)的數(shù)據(jù)存儲(chǔ)需求,實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理和數(shù)據(jù)備份三項(xiàng)功能。
地震監(jiān)測(cè)數(shù)據(jù)存儲(chǔ)包括全國(guó)511個(gè)臺(tái)站的最近3個(gè)月的連續(xù)波形數(shù)據(jù),以及最近12個(gè)月的地震事件波形數(shù)據(jù)和相應(yīng)的處理數(shù)據(jù)。連續(xù)波形數(shù)據(jù)為實(shí)時(shí)連續(xù)接收數(shù)據(jù),每秒數(shù)據(jù)量約為0.83M,暫存20分鐘后數(shù)據(jù)存儲(chǔ)到原始數(shù)據(jù)庫(kù)中。每次入庫(kù)數(shù)據(jù)量為1G/次。數(shù)據(jù)處理系統(tǒng)從原始數(shù)據(jù)庫(kù)中讀出數(shù)據(jù),經(jīng)過分析處理加工成為數(shù)據(jù)產(chǎn)品,寫入產(chǎn)品數(shù)據(jù)庫(kù)。數(shù)據(jù)服務(wù)系統(tǒng)可訪問原始數(shù)據(jù)庫(kù)和產(chǎn)品數(shù)據(jù)庫(kù),并提供數(shù)據(jù)服務(wù)。
抗震救災(zāi)指揮部技術(shù)系統(tǒng)的數(shù)據(jù)業(yè)務(wù)內(nèi)容包括:基礎(chǔ)信息和應(yīng)急處理數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)方式有數(shù)據(jù)庫(kù)和文件兩種形式。基礎(chǔ)信息包括地理信息、震情數(shù)據(jù)、遙感信息和來自各級(jí)指揮中心的基礎(chǔ)數(shù)據(jù)等?;A(chǔ)信息數(shù)據(jù)一次性寫入數(shù)據(jù)庫(kù),定期進(jìn)行少量數(shù)據(jù)更新,數(shù)據(jù)長(zhǎng)期在線。當(dāng)大地震發(fā)生應(yīng)急系統(tǒng)啟動(dòng)時(shí),會(huì)產(chǎn)生突發(fā)性的、大量和頻繁的基礎(chǔ)數(shù)據(jù)訪問,要求數(shù)據(jù)存儲(chǔ)系統(tǒng)有盡可能高的讀出速度。應(yīng)急處理數(shù)據(jù)為應(yīng)急系統(tǒng)啟動(dòng)時(shí),由外部接收或內(nèi)部產(chǎn)生的應(yīng)急相應(yīng)的處理過程數(shù)據(jù)。
國(guó)家地震前兆臺(tái)網(wǎng)中心每天接收約2.5G的增量數(shù)據(jù)。數(shù)據(jù)存入原始數(shù)據(jù)庫(kù),原始數(shù)據(jù)經(jīng)分析處理后,成為產(chǎn)品數(shù)據(jù)存入產(chǎn)品數(shù)據(jù)庫(kù),產(chǎn)品數(shù)據(jù)長(zhǎng)期在線,并提供數(shù)據(jù)服務(wù)。
國(guó)家地震信息網(wǎng)絡(luò)系統(tǒng)每天產(chǎn)出大量的系統(tǒng)運(yùn)行狀態(tài)監(jiān)控?cái)?shù)據(jù)。負(fù)責(zé)臺(tái)網(wǎng)中心技術(shù)系統(tǒng)各類服務(wù)器的安全備份,并提供用戶的信息與數(shù)據(jù)服務(wù)。
中國(guó)地震臺(tái)網(wǎng)中心對(duì)匯集到的海量數(shù)據(jù),按照各類數(shù)據(jù)的特點(diǎn),考慮到數(shù)據(jù)的安全性、保密性級(jí)別,以合適的方式、適當(dāng)?shù)慕橘|(zhì)和數(shù)據(jù)格式進(jìn)行存儲(chǔ)。根據(jù)對(duì)各分項(xiàng)需求的分析和信息存儲(chǔ)技術(shù)的發(fā)展,中國(guó)地震臺(tái)網(wǎng)中心存儲(chǔ)系統(tǒng)采用SAN+NAS的基礎(chǔ)架構(gòu),同時(shí)提供高性能的Block存儲(chǔ)服務(wù)和可共享的File存儲(chǔ)服務(wù)。磁盤陣列采用中高端智能多控制器磁盤陣列,以滿足中國(guó)地震臺(tái)網(wǎng)中心數(shù)據(jù)在線處理和長(zhǎng)期存儲(chǔ)的需求。
中國(guó)地震臺(tái)網(wǎng)中心業(yè)務(wù)模式比較復(fù)雜,業(yè)務(wù)系統(tǒng)除了數(shù)據(jù)庫(kù)業(yè)務(wù)以外還有很多非數(shù)據(jù)庫(kù)業(yè)務(wù)。業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)庫(kù)(對(duì)性能要求較高的應(yīng)用)部署在SAN的環(huán)境下,通過高速FC通道對(duì)數(shù)據(jù)進(jìn)行存??;而對(duì)于性能要求不高但是需要資源共享,主要是文件級(jí)資源共享的應(yīng)用系統(tǒng)(如Web應(yīng)用、流媒體應(yīng)用等)部署在NAS環(huán)境下,通過TCP/IP通道對(duì)數(shù)據(jù)進(jìn)行存取。通過建立這個(gè)集成的數(shù)據(jù)存儲(chǔ)系統(tǒng),實(shí)現(xiàn)了中國(guó)地震臺(tái)網(wǎng)中心核心數(shù)據(jù)的存儲(chǔ)管理,并保證核心數(shù)據(jù)在中國(guó)地震臺(tái)網(wǎng)中心內(nèi)部被妥善長(zhǎng)期的保存和快速的訪問。
劉俊熙,2004. 電子商務(wù)環(huán)境下的網(wǎng)絡(luò)信息存儲(chǔ)技術(shù):NAS 和SAN 的融合應(yīng)用. 信息化與網(wǎng)絡(luò)建設(shè),(12):64—65.
路鵬,劉瑞豐,李志雄等,2007. 地震科學(xué)數(shù)據(jù)的分級(jí)分類探討. 西北地震學(xué)報(bào),(3):248—251.
周敬利,余勝生等,2005. 網(wǎng)絡(luò)存儲(chǔ)原理與技術(shù). 北京:清華大學(xué)出版社.
Application of Network Storage on Seismic Data Management
Zeng Wei, Yang Le and Tan Ying
( China Earthquake Networks Center, Beijing 100045, China)
A large amount of valuable seismic data is produced continuously as the improvement of seismological observation and earthquake research. At present, the most important issue is how to save the mass seismic data safely and effectively. This paper briefly introduces the development and application of network storage technology,and discusses its application through the analysis of requests by seismic data storage.
曾薇,楊樂,譚穎,2011. 網(wǎng)絡(luò)存儲(chǔ)技術(shù)在地震數(shù)據(jù)存儲(chǔ)中的應(yīng)用. 震災(zāi)防御技術(shù),6(3):335—342.
2011-05-26
曾薇,女,生于1980年。2006年畢業(yè)于北京郵電大學(xué),獲計(jì)算機(jī)應(yīng)用專業(yè)碩士學(xué)位,同年入職中國(guó)地震臺(tái)網(wǎng)中心信息網(wǎng)絡(luò)部。主要研究方向:信息網(wǎng)絡(luò)、衛(wèi)星通信。E-mail: zengwei@seis.ac.cn
Κey words: Network storage; NAS; SAN; Seismic data