單德華,楊紅艷,孫鴻雁
(遼寧省地震局,沈陽 110031)
2006年~2008年中國(guó)地震局在1個(gè)國(guó)家中心和41個(gè)省地震局及直屬單位(以下簡(jiǎn)稱區(qū)域中心)建立了暢通高效的臺(tái)站-區(qū)域-國(guó)家數(shù)據(jù)流平臺(tái),采用了SAN和NAS的相結(jié)合的存儲(chǔ)結(jié)構(gòu),具有易擴(kuò)容以及安全容錯(cuò)存儲(chǔ)機(jī)制; 為數(shù)據(jù)庫(kù)集群應(yīng)用提供了高速、共享、穩(wěn)定、大容量的共享磁盤存儲(chǔ);搭建存儲(chǔ)局域網(wǎng)絡(luò),且具有故障自動(dòng)切換功能。為各業(yè)務(wù)系統(tǒng)提供了基礎(chǔ)存儲(chǔ)平臺(tái)。
國(guó)家中心通過150T的SAN+NAS存儲(chǔ)系統(tǒng)、備份系統(tǒng)搭建了臺(tái)網(wǎng)中心數(shù)據(jù)系統(tǒng)的基礎(chǔ)設(shè)施,完成了匯集、入庫(kù)等數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)開發(fā)和部署,建成了“十五”觀測(cè)數(shù)據(jù)集成存儲(chǔ)和管理的平臺(tái),每天匯集、存儲(chǔ)、管理的觀測(cè)數(shù)據(jù)量達(dá)到35G以上,對(duì)1021個(gè)測(cè)震臺(tái)站、超過70個(gè)前兆臺(tái)站數(shù)據(jù)進(jìn)行了匯集和管理,數(shù)據(jù)庫(kù)容量超過1500萬條。
區(qū)域中心通過8.5T的SAN+NAS存儲(chǔ)系統(tǒng)搭建了區(qū)域中心數(shù)據(jù)系統(tǒng)的基礎(chǔ)設(shè)施,完成了匯集、入庫(kù)等數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)開發(fā)和部署,建成了“十五”區(qū)域觀測(cè)數(shù)據(jù)集成存儲(chǔ)和管理的平臺(tái),每個(gè)區(qū)域中心平均每天匯集、存儲(chǔ)、管理的觀測(cè)數(shù)據(jù)量達(dá)到2G以上,對(duì)區(qū)域內(nèi)測(cè)震臺(tái)站和前兆臺(tái)站數(shù)據(jù)進(jìn)行了匯集和管理,數(shù)據(jù)庫(kù)容量超過30萬條。
大中城市節(jié)點(diǎn)、縣級(jí)節(jié)點(diǎn)和臺(tái)站節(jié)點(diǎn)采用144G的PC服務(wù)器搭建了本節(jié)點(diǎn)范圍內(nèi)的地震觀測(cè)儀器數(shù)據(jù)采集和交換平臺(tái),有條件的節(jié)點(diǎn)將本地區(qū)及臨近地區(qū)的測(cè)震實(shí)時(shí)數(shù)據(jù)匯集到節(jié)點(diǎn)的服務(wù)器中,形成虛擬觀測(cè)臺(tái)網(wǎng),每個(gè)節(jié)點(diǎn)平均每天數(shù)據(jù)流量超過400M。
通過在國(guó)家中心和區(qū)域中心安裝雙機(jī)Oracle數(shù)據(jù)庫(kù),實(shí)現(xiàn)應(yīng)用集成、綜合共享和數(shù)據(jù)建模功能;在臺(tái)站安裝單機(jī)Oracle數(shù)據(jù)庫(kù)用于存放綜合在線監(jiān)控類數(shù)據(jù)、前兆觀測(cè)數(shù)據(jù)及其元數(shù)據(jù),也可根據(jù)需要選擇存放分析預(yù)報(bào)和研究需要的其它基礎(chǔ)數(shù)據(jù)(如地震目錄)和產(chǎn)出結(jié)果、速報(bào)臺(tái)所需的測(cè)震觀測(cè)數(shù)據(jù)和元數(shù)據(jù)等;在大中城市節(jié)點(diǎn)安裝單機(jī)Oracle數(shù)據(jù)庫(kù)用于存放本市及臨近地區(qū)的震情和災(zāi)情數(shù)據(jù)、地震信息服務(wù)系統(tǒng)匯集的綜合信息、應(yīng)急指揮系統(tǒng)匯集的數(shù)據(jù)等;在縣節(jié)點(diǎn)安裝單機(jī)版Oracle數(shù)據(jù)庫(kù),用于存放本地及臨近地區(qū)的震情和災(zāi)情數(shù)據(jù)、地震信息服務(wù)軟件必要的后臺(tái)基礎(chǔ)數(shù)據(jù)等。在國(guó)家中心和區(qū)域中心安裝的數(shù)據(jù)庫(kù)采用Oracle10g的RAC技術(shù)。
在中國(guó)地震臺(tái)網(wǎng)中心和區(qū)域中心部署數(shù)據(jù)存儲(chǔ)系統(tǒng),主要包括以下功能:數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、數(shù)據(jù)安全與備份。
國(guó)家中心數(shù)據(jù)存儲(chǔ)子系統(tǒng)集成國(guó)務(wù)院抗震救災(zāi)指揮部技術(shù)系統(tǒng)、國(guó)家數(shù)字測(cè)震臺(tái)網(wǎng)中心、國(guó)家地震前兆臺(tái)網(wǎng)中心、國(guó)家地震分析預(yù)報(bào)系統(tǒng)和國(guó)家地震信息網(wǎng)絡(luò)中心5個(gè)子項(xiàng)目的數(shù)據(jù)存儲(chǔ)需求。
中國(guó)地震臺(tái)網(wǎng)中心數(shù)據(jù)存儲(chǔ)系統(tǒng)拓?fù)淙鐖D1所示。
圖1 數(shù)據(jù)存儲(chǔ)系統(tǒng)整體拓?fù)涫疽鈭D
中國(guó)地震臺(tái)網(wǎng)中心數(shù)據(jù)存儲(chǔ)系統(tǒng)結(jié)構(gòu)如圖2所示。
圖2 國(guó)家中心數(shù)據(jù)存儲(chǔ)系統(tǒng)結(jié)構(gòu)圖
中國(guó)地震臺(tái)網(wǎng)中心數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)包括存儲(chǔ)架構(gòu)設(shè)計(jì),磁盤陣列存儲(chǔ)系統(tǒng)設(shè)計(jì),備份系統(tǒng)設(shè)計(jì)三個(gè)部分。
數(shù)據(jù)的存儲(chǔ)訪問模式分為數(shù)據(jù)庫(kù)系統(tǒng)和歸檔文件系統(tǒng)兩類。數(shù)據(jù)庫(kù)系統(tǒng)訪問通過SAN結(jié)構(gòu)來實(shí)現(xiàn),歸檔文件系統(tǒng)訪問通過網(wǎng)絡(luò)共享方式實(shí)現(xiàn)。
存儲(chǔ)系統(tǒng)各主要技術(shù)指標(biāo): 存儲(chǔ)系統(tǒng)配置4Gb/s主機(jī)接口卡,4Gb/s端口的光纖交換機(jī),4Gb/s端口的磁盤陣列,支持4Gb/s的磁盤通道實(shí)現(xiàn)端到端的全4Gb/s光纖通道存儲(chǔ)。
區(qū)域中心數(shù)據(jù)存儲(chǔ)子系統(tǒng)拓?fù)淙鐖D3所示。
圖3 區(qū)域中心數(shù)據(jù)存儲(chǔ)系統(tǒng)整體拓?fù)涫疽鈭D
區(qū)域中心中心數(shù)據(jù)存儲(chǔ)系統(tǒng)包括存儲(chǔ)架構(gòu)設(shè)計(jì),磁盤陣列存儲(chǔ)系統(tǒng)設(shè)計(jì),備份系統(tǒng)設(shè)計(jì)三個(gè)部分。
數(shù)據(jù)管理主要完成從業(yè)務(wù)庫(kù)(測(cè)震、前兆)到信息庫(kù)的數(shù)據(jù)交換和歸檔,數(shù)據(jù)匯集與管理如圖4所示。
圖4 數(shù)據(jù)匯集與管理物理結(jié)構(gòu)圖
服務(wù)層:不同服務(wù)集成在服務(wù)網(wǎng)站上,如:元數(shù)據(jù)查詢、臺(tái)站參數(shù)查詢、WEBSERVICE訂閱、波形數(shù)據(jù)等服務(wù),統(tǒng)一集成在服務(wù)界面上,地震數(shù)據(jù)服務(wù)層僅負(fù)責(zé)服務(wù)請(qǐng)求和展現(xiàn)。
緩沖、調(diào)度層:負(fù)責(zé)服務(wù)調(diào)度管理,緩沖文件系統(tǒng)、臨時(shí)庫(kù)的管理等,數(shù)據(jù)一般是臨時(shí)存儲(chǔ)。為了提高服務(wù)的穩(wěn)定和高效性,引人了調(diào)度管理的策略,不同的服務(wù)可以有不同的調(diào)度管理策略,根據(jù)服務(wù)性質(zhì)不通,有不同的緩沖和調(diào)度策略。
圖5 國(guó)家中心備份系統(tǒng)物理拓?fù)鋱D
數(shù)據(jù)源層: 可以不同的數(shù)據(jù)源,如不同的數(shù)據(jù)庫(kù)系統(tǒng)、文件系統(tǒng)。
根據(jù)實(shí)際的業(yè)務(wù)特點(diǎn),在國(guó)家中心和區(qū)域利用備份軟件和磁盤陣列的SnapView鏡像軟件,制定了信息數(shù)據(jù)庫(kù)及其文件系統(tǒng)的備份策略與規(guī)劃。國(guó)家中心和區(qū)域中心具體策略如表1所示。
在1個(gè)國(guó)家中心和41個(gè)區(qū)域中心采用Oracle RAC雙機(jī)系統(tǒng),具有高可靠性、負(fù)載均衡和故障自動(dòng)切換機(jī)制;為海量數(shù)據(jù)的準(zhǔn)實(shí)時(shí)接收和匯聚的數(shù)據(jù)提供了可靠的數(shù)據(jù)容器,大中城市、縣級(jí)節(jié)點(diǎn)、臺(tái)站節(jié)點(diǎn)均采用標(biāo)準(zhǔn)版Oracle。
在國(guó)家中心和區(qū)域中心基于測(cè)試和驗(yàn)證,設(shè)計(jì)了測(cè)震10分鐘等時(shí)的數(shù)據(jù)結(jié)構(gòu)(原始數(shù)據(jù)格式為512字節(jié)),使數(shù)據(jù)紀(jì)錄數(shù)縮小為原來的1/200,可提供3個(gè)月在線波形數(shù)據(jù)的高效存儲(chǔ)和有效訪問,采用了基于日期映射的分區(qū)技術(shù),BLOB和CLOB存儲(chǔ)類型單獨(dú)存儲(chǔ)的策略提高了數(shù)據(jù)匯集入庫(kù)、存儲(chǔ)管理和檢索數(shù)據(jù)訪問效率。
[1] Ken Henderson.SQL Server 存儲(chǔ)過程、XML和HTML高級(jí)指南[M].北京:清華大學(xué)出版社,2002,231-238.
[2] Stephen Coffin.Unix系統(tǒng)V第4版參考大全[M].北京:科學(xué)出版社,2005,213-217.