呂作勇，黃文輝，康 英，蘇柱金，劉 軍，歐陽龍斌

（1.廣東省地震局，中國地震局地震監(jiān)測與減災(zāi)技術(shù)重點(diǎn)實(shí)驗(yàn)室，廣東省地震監(jiān)測預(yù)警與重大工程地震安全診斷重點(diǎn)實(shí)驗(yàn)室，廣州 510070；2.深圳防震減災(zāi)技術(shù)研究院，廣東 深圳 518003）

0 引言

多年來，隨著我國中央和地方政府在地震監(jiān)測行業(yè)的持續(xù)投入，我國建立了越來越多的數(shù)字化和網(wǎng)絡(luò)化的地震臺站，使我國的地震監(jiān)測能力得到了快速的提升。大量地震臺站的不斷建設(shè)和運(yùn)行，產(chǎn)出了越來越多的地震觀測數(shù)據(jù)，為我國地球科學(xué)研究積累了寶貴的基礎(chǔ)數(shù)據(jù)。同時(shí)，這也為海量地震連續(xù)波形數(shù)據(jù)的存儲和共享服務(wù)提出了更大的挑戰(zhàn)。

國內(nèi)外有許多機(jī)構(gòu)或組織在地震數(shù)據(jù)管理和共享方面開展一系列重要工作。我國國家數(shù)字測震臺網(wǎng)數(shù)據(jù)備份中心2007年建成以來，為注冊用戶提供全國1000多個(gè)固定地震臺站的波形數(shù)據(jù)服務(wù)[1]，在我國大震應(yīng)急和地球科學(xué)研究等方面發(fā)揮了重要的數(shù)據(jù)支撐作用。美國地震學(xué)研究聯(lián)合會（IRIS）數(shù)據(jù)管理中心（DMC）是全球最大的地震數(shù)據(jù)服務(wù)機(jī)構(gòu)，向全球提供全球地震臺網(wǎng)（GSN）、寬頻帶數(shù)字地震臺網(wǎng)聯(lián)盟（FDSN）以及各地區(qū)域臺網(wǎng)、地震臺陣等數(shù)據(jù)服務(wù)，其服務(wù)具有數(shù)據(jù)種類多、服務(wù)工具多樣和便捷等特點(diǎn)[2]。日本防災(zāi)科技研究所（NIED）也向注冊用戶提供日本測震臺網(wǎng)和強(qiáng)震臺網(wǎng)的地震數(shù)據(jù)服務(wù)[3]。

目前，我國地震系統(tǒng)的國家臺網(wǎng)中心和省級區(qū)域臺網(wǎng)中心都使用JOPENS系統(tǒng)進(jìn)行地震監(jiān)測數(shù)據(jù)分析處理[4-12]。國家臺網(wǎng)中心部署的JOPENS系統(tǒng)用于處理國家臺和國際共享臺的地震數(shù)據(jù)。省級區(qū)域臺網(wǎng)中心通常使用JOPENS系統(tǒng)處理省級區(qū)域內(nèi)的地震臺站數(shù)據(jù)。JOPENS系統(tǒng)中已經(jīng)研發(fā)了地震連續(xù)波形數(shù)據(jù)存儲和共享服務(wù)系統(tǒng)[13]（Archive Waveform Service，簡稱：AWS系統(tǒng)）。AWS系統(tǒng)通過連接JOPENS系統(tǒng)的實(shí)時(shí)波形流服務(wù)獲取連續(xù)波形數(shù)據(jù)進(jìn)行存儲，根據(jù)用戶需求提供時(shí)間段的連續(xù)波形數(shù)據(jù)服務(wù)。

然而，基于近年來的AWS系統(tǒng)在線運(yùn)行情況以及地震監(jiān)測行業(yè)快速發(fā)展帶來的新需求，我們發(fā)現(xiàn)已有AWS系統(tǒng)還需進(jìn)一步升級優(yōu)化，急需聚焦解決以下方面問題：（1）歷史離線波形數(shù)據(jù)無法在線共享；（2）由于臺站實(shí)時(shí)信號中斷導(dǎo)致AWS系統(tǒng)從實(shí)時(shí)流服務(wù)獲取的波形數(shù)據(jù)不完整；（3）在線存儲的波形數(shù)據(jù)備份和同步；（4）未能存儲臺站儀器狀態(tài)信息和觸發(fā)信息。另一方面，隨著國家地震烈度速報(bào)與預(yù)警工程項(xiàng)目的建設(shè)[14]，新建或改造的基準(zhǔn)站、基本站、一般站和GNSS臺站的總數(shù)將超過15 000個(gè)。如此大規(guī)模、高密集、多類型的地震監(jiān)測系統(tǒng)，其觀測數(shù)據(jù)具有明顯的“海量多源”特征。另外，由于四類臺站的觀測數(shù)據(jù)類型[15]、儀器狀態(tài)信息和數(shù)據(jù)傳輸方式等方面差異，導(dǎo)致了AWS系統(tǒng)需要存儲的數(shù)據(jù)也具有典型的“異構(gòu)”特征。因此，緊扣新時(shí)代防震減災(zāi)事業(yè)發(fā)展需求，瞄準(zhǔn)海量多源異構(gòu)監(jiān)測數(shù)據(jù)的存儲和在線共享服務(wù)能力的全面提升，為實(shí)現(xiàn)我國地震監(jiān)測行業(yè)現(xiàn)代化和信息化，對AWS系統(tǒng)進(jìn)行優(yōu)化升級研發(fā)勢在必行。

1 系統(tǒng)總體架構(gòu)

地震連續(xù)波形數(shù)據(jù)存儲與共享服務(wù)系統(tǒng)是對各類監(jiān)測臺站的觀測波形數(shù)據(jù)進(jìn)行高效的管理和存儲，并根據(jù)設(shè)定的規(guī)則為用戶提供豐富的數(shù)據(jù)服務(wù)。新升級研發(fā)的AWS系統(tǒng)（以下統(tǒng)稱：AWS系統(tǒng)）既可以從JOPENS系統(tǒng)的實(shí)時(shí)波形流服務(wù)SSS獲取臺站觀測的實(shí)時(shí)波形數(shù)據(jù)進(jìn)行存儲，而且可以從歷史的波形文件（如，存儲在光盤上的歷史波形、臺站斷記補(bǔ)數(shù)的波形數(shù)據(jù)等）獲取波形數(shù)據(jù)進(jìn)行存儲。同時(shí)，AWS系統(tǒng)還實(shí)現(xiàn)了數(shù)據(jù)的備份和同步。AWS系統(tǒng)設(shè)計(jì)了用戶交互命令，基于Web服務(wù)8080端口為用戶提供波形數(shù)據(jù)服務(wù)。AWS系統(tǒng)總體架構(gòu)如圖1所示。

圖1 AWS系統(tǒng)總體架構(gòu)Fig.1 The overall architecture of AWS system

2 系統(tǒng)存儲結(jié)構(gòu)

AWS系統(tǒng)采用基于文件系統(tǒng)的數(shù)據(jù)存儲方式，根據(jù)時(shí)間順序，采用三層存儲機(jī)制：（1）最新的實(shí)時(shí)波形數(shù)據(jù)存儲在內(nèi)存緩存區(qū)；（2）當(dāng)內(nèi)存緩存區(qū)滿后，轉(zhuǎn)存至內(nèi)存文件系統(tǒng)；（3）當(dāng)內(nèi)存文件系統(tǒng)存滿后，轉(zhuǎn)存至硬盤文件系統(tǒng)。

為了實(shí)現(xiàn)對歷史波形數(shù)據(jù)的存儲和管理、在線和離線波形數(shù)據(jù)存儲和共享等功能，從新優(yōu)化設(shè)計(jì)了AWS系統(tǒng)的存儲目錄結(jié)構(gòu)，并定義各文件目錄的功能含義。新研發(fā)的AWS系統(tǒng)存儲目錄結(jié)構(gòu)定義如表1所示。

表1 AWS系統(tǒng)存儲目錄結(jié)構(gòu)Table 1 The storage directory structure of the AWS system

連續(xù)波形數(shù)據(jù)主要由固定頭段包和miniSEED數(shù)據(jù)包組成，固定頭段包臺網(wǎng)標(biāo)識碼、臺站代碼、位置代碼、通道代碼、起始時(shí)間、樣本數(shù)目、采樣率、時(shí)鐘標(biāo)志等，見地震行業(yè)標(biāo)準(zhǔn)——《地震烈度速報(bào)與預(yù)警臺站數(shù)據(jù)通信協(xié)議》的規(guī)定。連續(xù)波形數(shù)據(jù)存儲目錄waveform下各類監(jiān)測站點(diǎn)的波形數(shù)據(jù)的存儲目錄結(jié)構(gòu)以及波形數(shù)據(jù)命名中涉及的“臺網(wǎng)標(biāo)識碼”、“臺站代碼”、“位置代碼”和“通道代碼”，其命名規(guī)則遵循地震行業(yè)標(biāo)準(zhǔn)——《地震波形數(shù)據(jù)通道標(biāo)識》的規(guī)定。因此系統(tǒng)存儲的波形數(shù)據(jù)包括了測震的速度波形，強(qiáng)震和烈度儀的加速度波形，以及GNSS臺站解碼后的波形。系統(tǒng)根據(jù)《地震波形數(shù)據(jù)通道標(biāo)識》規(guī)定的地震數(shù)據(jù)通道代碼來區(qū)別不同類型監(jiān)測波形數(shù)據(jù)。

3 AWS系統(tǒng)功能

AWS系統(tǒng)實(shí)現(xiàn)了從實(shí)時(shí)波形流服務(wù)獲取實(shí)時(shí)波形進(jìn)行存儲，而且實(shí)現(xiàn)從歷史波形文件或其他AWS系統(tǒng)獲取波形數(shù)據(jù)（數(shù)據(jù)備份和同步）進(jìn)行存儲的功能。AWS系統(tǒng)按照時(shí)間順序，采用STEIM2壓縮算法，按臺站通道歸檔為miniSeed格式的波形數(shù)據(jù)，同時(shí)建立各波形數(shù)據(jù)的索引信息，根據(jù)波形索引為用戶提供時(shí)間段連續(xù)波形數(shù)據(jù)服務(wù)。AWS系統(tǒng)連續(xù)波形數(shù)據(jù)存儲和共享服務(wù)的處理流程見圖2所示。

圖2 AWS系統(tǒng)數(shù)據(jù)存儲和服務(wù)處理流程示意圖Fig.2 Flow diagram of AWS system data storage and service processing

3.1 波形數(shù)據(jù)索引

波形數(shù)據(jù)索引是指連續(xù)的時(shí)間片波形數(shù)據(jù)（既不間斷也不重疊）在臺站通道波形存儲文件的位置，包括時(shí)間片波形的開始時(shí)間及其對應(yīng)的位置序列號、結(jié)束時(shí)間及其對應(yīng)的位置序列號。一個(gè)索引對應(yīng)波形數(shù)據(jù)文件中的一段數(shù)據(jù)，即對應(yīng)一個(gè)時(shí)間段的miniSeed格式的波形數(shù)據(jù)塊。通過這種一一對應(yīng)關(guān)系，根據(jù)波形數(shù)據(jù)索引來快速定位和查找對應(yīng)時(shí)間段波形數(shù)據(jù)文件。

AWS系統(tǒng)采用NetCDF格式來建立波形數(shù)據(jù)索引文件。波形數(shù)據(jù)索引與臺站通道波形數(shù)據(jù)文件是緊密關(guān)聯(lián)的，波形數(shù)據(jù)更新時(shí)，其對應(yīng)的波形索引文件也同步更新。通常一個(gè)小時(shí)的單通道波形數(shù)據(jù)只需要幾個(gè)索引來進(jìn)行關(guān)聯(lián)。為提高波形數(shù)據(jù)查詢效率，AWS系統(tǒng)的波形索引采用LRU算法常駐內(nèi)存，并且每個(gè)臺站通道通常保留幾十天的波形索引數(shù)據(jù)。

AWS系統(tǒng)在實(shí)時(shí)波形和非實(shí)時(shí)波形存儲時(shí)，存在同時(shí)更新波形數(shù)據(jù)的可能，因此系統(tǒng)針對每個(gè)臺站通道都設(shè)置一個(gè)獨(dú)立的同步鎖，采用同步鎖來保證同一時(shí)間內(nèi)，只有一個(gè)線程對波形索引和波形數(shù)據(jù)進(jìn)行更新操作。

[lsw1-Eth-Trunk1]port trunk allow-pass vlan all“允許通過的vlan流量”

3.2 實(shí)時(shí)波形存儲

AWS系統(tǒng)采用JOPENS系統(tǒng)實(shí)時(shí)波形流服務(wù)客戶端SSSPort接收各監(jiān)測臺站的實(shí)時(shí)波形數(shù)據(jù)，數(shù)據(jù)包大小可為256 byte和512 byte。系統(tǒng)將實(shí)時(shí)波形數(shù)據(jù)重新打包成4096 byte大小的miniSeed格式數(shù)據(jù)，并寫入內(nèi)存緩沖區(qū)。在內(nèi)存緩沖區(qū)滿后轉(zhuǎn)存至online內(nèi)存文件系統(tǒng)，同時(shí)對波形數(shù)據(jù)按時(shí)間順序建立線性索引，索引文件存在bufidx目錄。由于計(jì)算機(jī)內(nèi)存文件系統(tǒng)容量的限制，通常臺站每個(gè)通道的波形數(shù)據(jù)存在online目錄下的長度為2 h。當(dāng)AWS系統(tǒng)遇到關(guān)閉等情況，為防止波形數(shù)據(jù)丟失，在系統(tǒng)關(guān)閉前，系統(tǒng)會自動將online目錄下數(shù)據(jù)轉(zhuǎn)存至offline目錄。當(dāng)AWS系統(tǒng)重新啟動后，會自動先從offline目錄加載波形數(shù)據(jù)。online內(nèi)存文件系統(tǒng)存滿后，波形數(shù)據(jù)轉(zhuǎn)存到物理文件系統(tǒng)中，并按照臺站通道建立跟新線性波形索引。

當(dāng)收到的實(shí)時(shí)波形數(shù)據(jù)延遲較大（如2 h）或時(shí)序錯(cuò)誤，系統(tǒng)將此數(shù)據(jù)存儲在歷史波形數(shù)據(jù)池（.history目錄）。系統(tǒng)會根據(jù)設(shè)定自動掃描歷史波形數(shù)據(jù)池，完成波形數(shù)據(jù)存儲。這個(gè)功能主要是針對震后回傳的強(qiáng)震儀和烈度儀的波形數(shù)據(jù)存儲。

3.3 非實(shí)時(shí)波形存儲或補(bǔ)數(shù)

地震臺站運(yùn)行中會遇到實(shí)時(shí)波形數(shù)據(jù)流中斷的情況，從而造成歸檔的波形數(shù)據(jù)缺失一段時(shí)間的觀測數(shù)據(jù)。在實(shí)際的情況下，臺站觀測數(shù)據(jù)大多會存儲在臺站數(shù)據(jù)采集器或備份線路的波形數(shù)據(jù)服務(wù)器上，因此可采用非實(shí)時(shí)波形數(shù)據(jù)進(jìn)行補(bǔ)數(shù)處理。非實(shí)時(shí)波形數(shù)據(jù)通常有2個(gè)來源，一是另一個(gè)備份的AWS服務(wù)器，第二是通過JOPENS流服務(wù)的CSTP協(xié)議[16]從臺站數(shù)據(jù)采集器獲取所需波形數(shù)據(jù)。AWS系統(tǒng)設(shè)計(jì)了非實(shí)時(shí)波形數(shù)據(jù)臨時(shí)存儲目錄.ms，系統(tǒng)根據(jù)設(shè)置定時(shí)或觸發(fā)等方式掃描.ms目錄的文件，整理出連續(xù)的時(shí)間片波形數(shù)據(jù)，并轉(zhuǎn)存到.wip目錄。在.wip目錄下包含的波形數(shù)據(jù)是沒有缺失空隙，也沒有重疊的波形。系統(tǒng)根據(jù)波形數(shù)據(jù)索引，掃描各臺站通道波形數(shù)據(jù)的缺失空隙，從.wip中提取出需要的時(shí)間片波形數(shù)據(jù)，重新打包后插入到對應(yīng)的臺站通道波形文件中，并同時(shí)更新其波形索引。

3.4 數(shù)據(jù)在線共享服務(wù)

AWS系統(tǒng)設(shè)計(jì)了用戶交互命令來實(shí)現(xiàn)波形數(shù)據(jù)共享服務(wù)，通過基于HTTP協(xié)議的Web服務(wù)8080端口發(fā)送請求和應(yīng)答命令來實(shí)現(xiàn)波形數(shù)據(jù)的在線共享服務(wù)。其中應(yīng)答標(biāo)識分為兩種：OK和ERR。交互的方式為：用戶請求數(shù)據(jù)服務(wù)后，系統(tǒng)先給用戶發(fā)送波形數(shù)據(jù)，后發(fā)送應(yīng)答標(biāo)識“OK/ERR”，其他情況則是先發(fā)應(yīng)答“OK/ERR”，后發(fā)送消息體。AWS系統(tǒng)交互服務(wù)命令如表2。

表2 AWS系統(tǒng)交互命令Table 2 Interactive command of AWS system

AWS系統(tǒng)間的數(shù)據(jù)備份和同步是通過系統(tǒng)設(shè)置定時(shí)掃描各自存儲的連續(xù)波形數(shù)據(jù)，當(dāng)掃描發(fā)現(xiàn)有數(shù)據(jù)缺失時(shí)，從另一個(gè)備份AWS系統(tǒng)中進(jìn)行數(shù)據(jù)同步，獲取完整的連續(xù)波形數(shù)據(jù)。

3.5 系統(tǒng)數(shù)據(jù)監(jiān)控

升級優(yōu)化后的AWS系統(tǒng)，增加了對系統(tǒng)數(shù)據(jù)的監(jiān)控，主要是以下幾方面：

（1）波形數(shù)據(jù)連續(xù)率統(tǒng)計(jì)?？筛鶕?jù)用戶命令請求，獲取臺站通道波形數(shù)據(jù)的連續(xù)率統(tǒng)計(jì)結(jié)果。

（2）AWS系統(tǒng)連接的實(shí)時(shí)波形流服務(wù)用戶上線和下線的警告信息。系統(tǒng)會記錄流服務(wù)用戶上線獲取的第一個(gè)數(shù)據(jù)包的序號，用戶下線最后一個(gè)數(shù)據(jù)包的序號。

（3）存儲空間及波形數(shù)據(jù)狀態(tài)。系統(tǒng)會計(jì)算存儲磁盤剩余空間百分比、延遲1 h的波形數(shù)據(jù)量大小、波形索引總量、波形數(shù)據(jù)總量、數(shù)據(jù)包平均長度及數(shù)據(jù)包個(gè)數(shù)等信息。

（4）系統(tǒng)實(shí)時(shí)存儲主線程和非實(shí)時(shí)波形存儲線程的心跳狀態(tài)。

4 結(jié)語

本文介紹了AWS系統(tǒng)的整體架構(gòu)和系統(tǒng)功能的技術(shù)要點(diǎn)。通過新設(shè)計(jì)的數(shù)據(jù)存儲目錄結(jié)構(gòu)，AWS系統(tǒng)實(shí)現(xiàn)了對非實(shí)時(shí)波形數(shù)據(jù)的存儲、臺站斷記補(bǔ)數(shù)等功能?；谙到y(tǒng)設(shè)計(jì)的交互命令接口，實(shí)現(xiàn)了波形數(shù)據(jù)在線服務(wù)、數(shù)據(jù)備份和同步。AWS系統(tǒng)的研發(fā)為我國地震監(jiān)測行業(yè)提供了一套觀測數(shù)據(jù)存儲、管理和共享服務(wù)的具有自主知識產(chǎn)權(quán)的支撐技術(shù)平臺，是我國地震監(jiān)測事業(yè)現(xiàn)代化和信息化的重要標(biāo)志之一。

致謝：感謝國家地震烈度速報(bào)與預(yù)警工程技術(shù)規(guī)程編制與定制軟件項(xiàng)目支持。感謝審稿專家提出的寶貴意見。