吳叔坤，胡文灼

（廣東省地震局，廣州510070）

廣東臺(tái)網(wǎng)地震資料產(chǎn)出的存儲(chǔ)方式探討

吳叔坤，胡文灼

（廣東省地震局，廣州510070）

隨著“廣東數(shù)字地震觀測(cè)網(wǎng)絡(luò)”項(xiàng)目的建設(shè)完成，由此產(chǎn)生的地震信息的數(shù)據(jù)量越來(lái)越大。結(jié)合廣東臺(tái)網(wǎng)實(shí)際情況，探討建立安全有效的存儲(chǔ)這些海量地震數(shù)據(jù)，降低地震數(shù)據(jù)的丟失風(fēng)險(xiǎn)問(wèn)題介紹，主要是網(wǎng)絡(luò)存儲(chǔ)方式，希望在地震臺(tái)網(wǎng)同行起到借鑒作用。

廣東臺(tái)網(wǎng)；地震資料；數(shù)據(jù)存儲(chǔ)

圖1 編目臺(tái)站分布圖Fig.1 Distribution map of catalog stations

廣東臺(tái)網(wǎng)中心處理系統(tǒng)軟件的服務(wù)器中存儲(chǔ)數(shù)據(jù)的有AWS波形服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器，磁盤大小均為3TB，考慮系統(tǒng)文件及測(cè)震軟件占有的磁盤空間將來(lái)會(huì)呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，用于存儲(chǔ)連續(xù)波形數(shù)據(jù)用的磁盤空間有3 TB，每天產(chǎn)生的臺(tái)站及臺(tái)網(wǎng)波形數(shù)據(jù)文件有6.5 GB；波形服務(wù)器目前設(shè)置成緩存大約3個(gè)月的連續(xù)波形數(shù)據(jù)，數(shù)據(jù)庫(kù)服務(wù)器存儲(chǔ)事件波形及編目等數(shù)據(jù)約有767 GB（截至到2015年）約占整個(gè)服務(wù)器硬盤空間的20%。隨著地震觀測(cè)和地震科學(xué)研究水平的提高，大量寶貴的地震科學(xué)數(shù)據(jù)不斷產(chǎn)出，現(xiàn)有的服務(wù)器磁盤空間有可能不能滿足長(zhǎng)期存儲(chǔ)數(shù)據(jù)的要求。如何安全有效地存儲(chǔ)這些海量地震數(shù)據(jù)，是目前迫切需要解決的問(wèn)題。本文將要論述幾種安全方法，對(duì)地震數(shù)據(jù)產(chǎn)出進(jìn)行備份存儲(chǔ)，有效降低地震數(shù)據(jù)丟失的風(fēng)險(xiǎn)問(wèn)題。

如何安全有效地存儲(chǔ)這些海量地震科學(xué)數(shù)據(jù)，是廣東臺(tái)網(wǎng)目前迫切需要解決的問(wèn)題。廣東臺(tái)網(wǎng)依據(jù)當(dāng)前需求，硬件上采取了光盤和磁盤陣列的傳統(tǒng)方式保存數(shù)據(jù)，軟件上采用ZFS文件系統(tǒng)管理維護(hù)數(shù)據(jù)，不但簡(jiǎn)化了硬件間的配置，還大大降低了系統(tǒng)維護(hù)成本。這種方式也是未來(lái)廣東臺(tái)網(wǎng)數(shù)據(jù)管理的主要技術(shù)手段。

1 廣東臺(tái)網(wǎng)中心軟硬件技術(shù)系統(tǒng)構(gòu)成與配置

廣東臺(tái)網(wǎng)中心系統(tǒng)主要包括通信網(wǎng)絡(luò)接入、臺(tái)站觀測(cè)數(shù)據(jù)接入?yún)R集、數(shù)據(jù)傳輸與共享服務(wù)、地震數(shù)據(jù)處理、數(shù)據(jù)庫(kù)管理與服務(wù)、系統(tǒng)管理與備份、技術(shù)系統(tǒng)運(yùn)行監(jiān)控等七大部分。另外，為保證臺(tái)網(wǎng)系統(tǒng)安全連續(xù)可靠的運(yùn)行建立了臺(tái)站及臺(tái)網(wǎng)中心環(huán)境的管理監(jiān)控體系。

臺(tái)網(wǎng)軟件系統(tǒng)采用Jopens系統(tǒng)0.5.2版本（SSS、數(shù)據(jù)庫(kù)、RTS、MSDP、JOPENS控制臺(tái)）。臺(tái)網(wǎng)中心硬件配置見(jiàn)表1。

2 資料產(chǎn)出的幾種存儲(chǔ)方式

2.1 網(wǎng)絡(luò)存儲(chǔ)

網(wǎng)絡(luò)存儲(chǔ)是指借助于網(wǎng)絡(luò)存儲(chǔ)設(shè)備，通過(guò)原有網(wǎng)絡(luò)或者構(gòu)建專有的存儲(chǔ)網(wǎng)絡(luò)，為用戶提供統(tǒng)一的數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)共享服務(wù)，它是基于網(wǎng)絡(luò)的存儲(chǔ)方式。網(wǎng)絡(luò)存儲(chǔ)可將數(shù)據(jù)存儲(chǔ)任務(wù)從服務(wù)器主機(jī)中分離出來(lái)，這樣可減輕服務(wù)器的負(fù)荷，并將傳統(tǒng)的數(shù)據(jù)存儲(chǔ)獨(dú)立出來(lái)，作為網(wǎng)絡(luò)的一部分，為網(wǎng)絡(luò)用戶共享。同時(shí)網(wǎng)絡(luò)存儲(chǔ)的目標(biāo)是整合廣泛的存儲(chǔ)設(shè)備，包括磁盤驅(qū)動(dòng)器、備份磁帶驅(qū)動(dòng)器、磁盤陣列、光盤庫(kù)等所有的存儲(chǔ)設(shè)備。

廣東臺(tái)網(wǎng)目前采取的存儲(chǔ)方式是網(wǎng)絡(luò)附加存儲(chǔ)方式，也就是俗稱的NAS。對(duì)數(shù)據(jù)要求持久存儲(chǔ)的比如地震事件波形、目錄等，我們將其放在磁盤陣列的數(shù)據(jù)庫(kù)里；對(duì)數(shù)據(jù)要求臨時(shí)存儲(chǔ)的，對(duì)臺(tái)網(wǎng)實(shí)例來(lái)說(shuō)大多數(shù)是連續(xù)波形，我們?cè)O(shè)計(jì)將其放在按年分好分區(qū)的磁盤陣列上，為考慮數(shù)據(jù)增長(zhǎng)及預(yù)留空間，一般設(shè)置連續(xù)波形臨時(shí)存儲(chǔ)3個(gè)月。磁盤陣列分區(qū)一般是本年度下半年會(huì)刪除前一年的分區(qū)，然后再新建一個(gè)未來(lái)一年分區(qū)，以此循環(huán)。

表1 廣東測(cè)震臺(tái)網(wǎng)主要配置與部署Table 1 Hardware environment and configuration

2.1.2 網(wǎng)絡(luò)安全存儲(chǔ)技術(shù)特點(diǎn)

磁盤陣列和網(wǎng)絡(luò)附加存儲(chǔ)組成的大數(shù)據(jù)在線存儲(chǔ)能力超過(guò)1PBytes，多臺(tái)高性能服務(wù)器承擔(dān)地震波形數(shù)據(jù)實(shí)時(shí)接收、校驗(yàn)、地震事件波形數(shù)據(jù)截取、連續(xù)地震波形數(shù)據(jù)重采樣、數(shù)據(jù)在線共享服務(wù)等。

對(duì)數(shù)據(jù)的威脅通常比較難于防范，這些威脅一旦變?yōu)楝F(xiàn)實(shí)，不僅會(huì)毀壞數(shù)據(jù)，也會(huì)毀壞訪問(wèn)數(shù)據(jù)的系統(tǒng)。造成數(shù)據(jù)丟失和毀壞的原因主要如下幾個(gè)方面。

（1）數(shù)據(jù)處理和訪問(wèn)軟件平臺(tái)故障。

（2）操作系統(tǒng)的設(shè)計(jì)漏洞。

（3）系統(tǒng)的硬件故障。

（4）人為的操作失誤。

（5）網(wǎng)絡(luò)內(nèi)非法訪問(wèn)者的惡意破壞。

（6）網(wǎng)絡(luò)供電系統(tǒng)故障等。

2.1.2 三層存儲(chǔ)機(jī)制

建立三層存儲(chǔ)服務(wù)機(jī)制，內(nèi)存緩沖（Memory Cache）、內(nèi)存文件系統(tǒng)（MFS）和常規(guī)文件系統(tǒng)。最新數(shù)據(jù)放在內(nèi)存緩沖中，次之?dāng)?shù)據(jù)放在內(nèi)存文件系統(tǒng)中，更次之?dāng)?shù)據(jù)按照命名規(guī)律放在常規(guī)文件系統(tǒng)。最新數(shù)據(jù)總能得到優(yōu)先快速的服務(wù)。

2.1.3 存儲(chǔ)容量的易于擴(kuò)展特性

在基于ZFS文件系統(tǒng)的基礎(chǔ)上，存儲(chǔ)系統(tǒng)采用數(shù)據(jù)文件和索引的方式存儲(chǔ)數(shù)據(jù)，當(dāng)數(shù)據(jù)存儲(chǔ)容量快飽和時(shí)，只需增加磁盤陣列等類型的數(shù)據(jù)存儲(chǔ)設(shè)備，包括iSCSI設(shè)備、SAN設(shè)備和InfiniBand網(wǎng)絡(luò)設(shè)備等，掛載入到ZFS文件系統(tǒng)里，借助于ZFS文件系統(tǒng)的主要高級(jí)特性，ZFS文件系統(tǒng)就會(huì)在原來(lái)存儲(chǔ)容量的基礎(chǔ)上，按新接入設(shè)備的容量自動(dòng)擴(kuò)大原來(lái)存儲(chǔ)的容量。隨著硬件設(shè)備的不斷發(fā)展，系統(tǒng)的存儲(chǔ)容量可以持續(xù)擴(kuò)大，幾乎不受存儲(chǔ)空間容量的限制，至少可以提供10年以上數(shù)據(jù)的在線服務(wù)。

2.1.4 存儲(chǔ)數(shù)據(jù)遷移方便

為了數(shù)據(jù)遷移的方便，高效地管理和查詢數(shù)據(jù)，我們采用最簡(jiǎn)單的數(shù)據(jù)文件方式存儲(chǔ)數(shù)據(jù)，為數(shù)據(jù)做查詢索引的基本思想，結(jié)合地震臺(tái)站觀測(cè)數(shù)據(jù)的特點(diǎn)設(shè)計(jì)數(shù)據(jù)服務(wù)系統(tǒng)。系統(tǒng)在特定的網(wǎng)絡(luò)端口為用戶提供鏈接服務(wù)，在數(shù)據(jù)管理服務(wù)器上掛載多個(gè)存儲(chǔ)數(shù)據(jù)的磁盤陣列，服務(wù)器的內(nèi)存中存儲(chǔ)著磁盤陣列上數(shù)據(jù)的索引，用戶調(diào)用數(shù)據(jù)時(shí)，系統(tǒng)按規(guī)則查找數(shù)據(jù)文件存放路徑，在內(nèi)存中找數(shù)據(jù)的索引，通過(guò)索引快速?gòu)奈募凶x取相關(guān)數(shù)據(jù)段提供給用戶。

圖2 系統(tǒng)結(jié)構(gòu)示意圖Fig.2 System Diagram

2.1.5 系統(tǒng)結(jié)構(gòu)

為了保持系統(tǒng)存儲(chǔ)容量的可擴(kuò)展性，我們采用網(wǎng)絡(luò)文件系統(tǒng)（NFS）和iSCSI等方式掛載數(shù)據(jù)存儲(chǔ)設(shè)備到系統(tǒng)主機(jī)中去，當(dāng)一個(gè)系統(tǒng)存儲(chǔ)設(shè)備（例如磁盤陣列）快滿時(shí)，可以追加掛載一個(gè)新的存儲(chǔ)設(shè)備到系統(tǒng)主機(jī)中，這樣后續(xù)的數(shù)據(jù)就往新存儲(chǔ)設(shè)備中寫，系統(tǒng)的存儲(chǔ)空間可以持續(xù)地?cái)U(kuò)展。當(dāng)然隨著數(shù)據(jù)量的增多，系統(tǒng)主機(jī)內(nèi)存中的索引數(shù)據(jù)量也會(huì)持續(xù)增大，因要求系統(tǒng)主機(jī)具有超大容量的內(nèi)存空間存儲(chǔ)數(shù)據(jù)索引。系統(tǒng)結(jié)構(gòu)示意圖如圖2所示。

數(shù)據(jù)服務(wù)系統(tǒng)可以從實(shí)時(shí)數(shù)據(jù)流服務(wù)器（SSS）中接收實(shí)時(shí)數(shù)據(jù)，立即對(duì)用戶進(jìn)行數(shù)據(jù)服務(wù)，也可以提供舊數(shù)據(jù)的在線服務(wù)，一般情況下對(duì)實(shí)時(shí)數(shù)據(jù)的使用需求較大，因此系統(tǒng)對(duì)數(shù)據(jù)實(shí)行分期管理，把數(shù)據(jù)分為當(dāng)期數(shù)據(jù)和過(guò)期數(shù)據(jù)，分別從內(nèi)存緩沖、內(nèi)存文件系統(tǒng)和磁盤陣列中提供服務(wù)，當(dāng)期數(shù)據(jù)的訪問(wèn)效率高于過(guò)期數(shù)據(jù)。當(dāng)期數(shù)據(jù)是指當(dāng)前時(shí)間之后一段時(shí)間內(nèi)（具體的時(shí)間長(zhǎng)度視主機(jī)內(nèi)存大小而定）的數(shù)據(jù)，過(guò)期數(shù)據(jù)是指時(shí)間比當(dāng)期數(shù)據(jù)還早的數(shù)據(jù)。我們?cè)谥鞣?wù)器的內(nèi)存中開(kāi)辟一個(gè)內(nèi)存文件系統(tǒng)，把當(dāng)期數(shù)據(jù)存儲(chǔ)在內(nèi)存文件系統(tǒng)中，數(shù)據(jù)過(guò)期后就寫入磁盤陣列的文件系統(tǒng)，當(dāng)用戶訪問(wèn)當(dāng)期數(shù)據(jù)時(shí)，主機(jī)可以從直接內(nèi)存文件系統(tǒng)中提供數(shù)據(jù)，不需要從NFS的文件系統(tǒng)查詢和傳輸數(shù)據(jù)，數(shù)據(jù)的服務(wù)效率會(huì)非常高。

2.2 刻錄光盤存儲(chǔ)

光盤存儲(chǔ)技術(shù)是近二十多年才發(fā)展起來(lái)的，分為L(zhǎng)D、CD、DVD、CD-ROM、MO等品種，其中大多用來(lái)保存聲音和圖像，真正用于數(shù)據(jù)存儲(chǔ)的只有CD-ROM和MO等。大多數(shù)光盤是只讀型或一次性寫人型，只有MO光盤(MO光盤實(shí)質(zhì)上已超出了早期光盤的范疇，它是種光學(xué)與磁學(xué)原理相結(jié)合的新式盤)等可以重復(fù)完成讀／寫操作。廣東臺(tái)網(wǎng)“九五”時(shí)期和“十五”前期，地震波形數(shù)據(jù)采用CD光盤存儲(chǔ)，后來(lái)隨著“十五廣東數(shù)字地震觀測(cè)網(wǎng)絡(luò)”項(xiàng)目建設(shè)完成后，共享了本省與鄰省臺(tái)站達(dá)到90多個(gè)，一張CD光盤已經(jīng)無(wú)法存儲(chǔ)一天地震波形數(shù)據(jù)，因此采用容量比較大的DVD光盤存儲(chǔ)。

廣東臺(tái)網(wǎng)目前也保持著光盤刻錄存儲(chǔ)備份，但光盤存儲(chǔ)技術(shù)目前在地震數(shù)據(jù)存儲(chǔ)領(lǐng)域還沒(méi)有得到很好應(yīng)用。也許隨著光盤存儲(chǔ)及管理技術(shù)的發(fā)展和完善，更高機(jī)械強(qiáng)度和更好安全性的光盤將會(huì)問(wèn)世，那時(shí)采用光盤存儲(chǔ)地震數(shù)據(jù)也許是更經(jīng)濟(jì)的選擇。

2.3 打印紙質(zhì)存儲(chǔ)

采用紙質(zhì)材料為載體進(jìn)行保存，優(yōu)點(diǎn)較多，便于管理和利用。當(dāng)前主要的檔案文獻(xiàn)資料都是采用紙質(zhì)材料為載體進(jìn)行保存，例如：地震觀測(cè)報(bào)告。重視紙質(zhì)文獻(xiàn)的保存和修復(fù)工作是檔案工作人員必須要注意和認(rèn)真對(duì)待的重要問(wèn)題。紙質(zhì)保存方面需要注意，防老化，防潮、防蟲、防洇方面都有各種技術(shù)要求。現(xiàn)代人在保存檔案文獻(xiàn)時(shí)往往不會(huì)考慮對(duì)紙質(zhì)文獻(xiàn)如何保存的問(wèn)題，以至于經(jīng)常造成許多無(wú)法彌補(bǔ)的損失，因而對(duì)紙質(zhì)檔案的保存問(wèn)題，必須引起檔案文獻(xiàn)管理工作者的重視。對(duì)紙質(zhì)檔案的保護(hù)主要有三種方式，一是直接修復(fù)，二是制作副本，三是電子化存檔。無(wú)論采用哪種保存方式，都無(wú)法保持檔案的原始狀態(tài)，具有一定的非檔案化風(fēng)險(xiǎn)。

[1]黃志斌，莊燦濤.DVD盤庫(kù)與地震數(shù)據(jù)的存儲(chǔ)[J].地震地磁觀測(cè)與研究，2000，21（3）：77-80.

[2]冉慧敏，史勇軍.磁盤陣列技術(shù)在新疆遙測(cè)地震臺(tái)網(wǎng)數(shù)據(jù)存儲(chǔ)中的應(yīng)用[J].內(nèi)陸地震，2010，24（2）：160-167.

[3]李剛，楊奕，孫路強(qiáng)，等.iSCSI技術(shù)在天津地震數(shù)據(jù)存儲(chǔ)中的應(yīng)用[J].震災(zāi)防御技術(shù)，2013，8（3）：319-325.

[4]蔣春曦，俞冠群，宣興耕.安徽省地震信息網(wǎng)絡(luò)數(shù)據(jù)動(dòng)態(tài)備份措施的研究[J].地震地磁觀測(cè)與研究，2005，26（3）：95-99.

[5]郭燕平，鄭重，鄒立曄，等.地震數(shù)據(jù)存儲(chǔ)的設(shè)備安全與應(yīng)用安全[J].地震地磁觀測(cè)與研究，2006，27（4）：93-97.

[6]張晨俠，丁廣，溫巖.省級(jí)地震數(shù)據(jù)容災(zāi)備份技術(shù)初探[J].防災(zāi)減災(zāi)學(xué)報(bào)，2012，28（2）：80-83.

3 結(jié)語(yǔ)

數(shù)字地震臺(tái)網(wǎng)產(chǎn)出的數(shù)字地震資料對(duì)進(jìn)行科學(xué)研究作出了很大貢獻(xiàn)。廣東數(shù)字地震臺(tái)網(wǎng)所取得的觀測(cè)資料，在確定地震震源參數(shù)、地震矩張量、地球自由震蕩、環(huán)球面波震相識(shí)別、地殼和上地幔的橫向不均勻性和各向異性等地震學(xué)方面的研究起到了基礎(chǔ)性作用。因此對(duì)產(chǎn)出的觀測(cè)資料數(shù)據(jù)進(jìn)行有效安全備份、管理，使得地震數(shù)據(jù)丟失風(fēng)險(xiǎn)降得最低要求,更好服務(wù)于各項(xiàng)研究工作。

Discussion on Seismic Data Storage Management from Guangdong Seismic Network

WU Shukun，HU WenZhuo
（Earthquake Administration of Guangdong Province,Guangzhou 501170，China）

With the completion of the project of“Guangdong Digital Seismic Observation Network”，the amount of seismic data is increasing.Combining with it's actual situation,this paper explored how to build up an effective and safe storage machnism,minimise data loss risk，mainly at network storage part.at last we hope it can giving a reference in seismic network.

Guangdong seismic network；Seismic data；Storage

P315.78

A

1001-8662（2016）03-0051-05

10.13512/j.hndz.2016.03.007

0 引言

2015-12-20

地震行業(yè)科研專項(xiàng)（201308008）

吳叔坤（1977-），男，工程師，主要從事地震監(jiān)測(cè)與數(shù)據(jù)管理等工作.

E-mail：wsk@gddsn.org.cn

吳叔坤，胡文灼.廣東臺(tái)網(wǎng)地震資料產(chǎn)出的存儲(chǔ)方式探討[J].華南地震，2016，36（3）：51-55.[WU Shukun，HU WenZhuo.Discussion on Seismic Data Storage Management from Guangdong Seismic Network[J].South china journal of seismology，2016，36（3）：51-55.]

廣東省地震臺(tái)承擔(dān)著廣東省及鄰近地區(qū)的地震速報(bào)和地震編目工作，廣東數(shù)字地震臺(tái)網(wǎng)是廣東省人民政府和中國(guó)地震局共同投資建設(shè)的區(qū)域地震臺(tái)網(wǎng)。“十五廣東數(shù)字地震觀測(cè)網(wǎng)絡(luò)”項(xiàng)目建設(shè)完成后，廣東省地震數(shù)字測(cè)震臺(tái)站增加到44個(gè)（其中5個(gè)為國(guó)家臺(tái)、39個(gè)為區(qū)域臺(tái)）。共享了本省與鄰省的臺(tái)站50個(gè)（其中地方地震臺(tái)8個(gè)，香港天文臺(tái)地震站1個(gè)、福建臺(tái)網(wǎng)地震臺(tái)12個(gè)、江西臺(tái)網(wǎng)地震臺(tái)8個(gè)、廣西臺(tái)網(wǎng)地震臺(tái)12個(gè)、湖南臺(tái)網(wǎng)地震臺(tái)4個(gè)、海南臺(tái)網(wǎng)地震臺(tái)5個(gè)）。2013年12月新加入新建的區(qū)域臺(tái)16個(gè)、陽(yáng)江臺(tái)陣臺(tái)站1個(gè)參與分析?，F(xiàn)在參與地震速報(bào)、地震編目的臺(tái)站達(dá)到111個(gè)（見(jiàn)圖1），臺(tái)網(wǎng)的主要配置與部署（見(jiàn)表1）。