王華柳，劉克驤，馬志剛

(云南省地震局騰沖地震臺(tái)，云南 騰沖 679100)

地震前兆數(shù)據(jù)庫(kù)是指除地震學(xué)以外的地磁、地電、地下流體、重力和定點(diǎn)形變等多學(xué)科固定臺(tái)站觀測(cè)數(shù)據(jù)的管理及共享平臺(tái)(周克昌等，2007)。前兆觀測(cè)系統(tǒng)所獲得的觀測(cè)數(shù)據(jù)通過(guò)臺(tái)站、區(qū)域中心、學(xué)科中心及國(guó)家中心的四級(jí)體系進(jìn)行匯集、管理、交換及應(yīng)用。目前，我國(guó)的地震前兆數(shù)據(jù)庫(kù)采用Oracle數(shù)據(jù)庫(kù)系統(tǒng)(周克昌等，2010)。云南地震前兆臺(tái)網(wǎng)中心從2007年開(kāi)始安裝使用地震前兆數(shù)據(jù)庫(kù)，在使用客戶端軟件查詢并顯示數(shù)據(jù)時(shí)速度較慢。使用中國(guó)地震前兆臺(tái)網(wǎng)處理系統(tǒng)2014集成版軟件按圖形方式顯示單測(cè)項(xiàng)分鐘值前兆數(shù)據(jù)，運(yùn)行時(shí)間較長(zhǎng)?！笆濉逼陂g，騰沖地震臺(tái)安裝了存儲(chǔ)測(cè)震數(shù)據(jù)的Jopens系統(tǒng)，吳永權(quán)等(2010)針對(duì)Jopens數(shù)據(jù)庫(kù)自主編寫(xiě)了一個(gè)測(cè)震分析軟件，采用該軟件打開(kāi)同等數(shù)據(jù)量的Jopens數(shù)據(jù)庫(kù)數(shù)據(jù)，運(yùn)行速度非?？臁Ｓ捎谇罢讛?shù)據(jù)與測(cè)震數(shù)據(jù)的采樣率不同，通過(guò)計(jì)算得到單測(cè)項(xiàng)分鐘值前兆數(shù)據(jù)一年的數(shù)據(jù)量相當(dāng)于采樣率為100 Hz的三通道地震儀29.2分鐘數(shù)據(jù)量。不同軟件讀取相同數(shù)據(jù)量的運(yùn)行速度的測(cè)試結(jié)果見(jiàn)表1。表1中前兆臺(tái)網(wǎng)處理系統(tǒng)測(cè)試結(jié)果為人工記時(shí)，測(cè)震分析軟件測(cè)試結(jié)果為軟件記時(shí)，均為10次記時(shí)的平均值。以下如無(wú)特殊說(shuō)明，測(cè)試結(jié)果均為軟件10次記時(shí)的平均值。結(jié)果顯示，采用測(cè)震分析軟件加載數(shù)據(jù)的耗時(shí)明顯低于前兆臺(tái)網(wǎng)處理軟件加載數(shù)據(jù)的耗時(shí)，隨著加載數(shù)據(jù)量的增加，前兆數(shù)據(jù)與測(cè)震數(shù)據(jù)的加載耗時(shí)比在0.042左右；軟件功能模塊的運(yùn)算時(shí)間與數(shù)據(jù)量、運(yùn)算復(fù)雜度及算法相關(guān)， 分析上述兩種運(yùn)算過(guò)程，認(rèn)為前兆數(shù)據(jù)處理軟件和測(cè)震數(shù)據(jù)處理軟件按圖形方式顯示數(shù)據(jù)時(shí)，在數(shù)據(jù)庫(kù)平臺(tái)、軟件算法及數(shù)據(jù)存儲(chǔ)方式三個(gè)方面存在差異。本文使用Visual Basic 2010程序設(shè)計(jì)語(yǔ)言編寫(xiě)測(cè)試軟件對(duì)上述三種差異進(jìn)行實(shí)際測(cè)試，找到云南地震前兆數(shù)據(jù)處理系統(tǒng)在數(shù)據(jù)庫(kù)查詢方面運(yùn)行速度較慢的原因，并針對(duì)實(shí)際情況提供了優(yōu)化解決方案。

表1 不同軟件讀取相同數(shù)據(jù)量的運(yùn)行速度比較

1 性能測(cè)試

1.1 算法測(cè)試

圖1 獲取數(shù)據(jù)流程

通過(guò)自主開(kāi)發(fā)讀取地震前兆數(shù)據(jù)庫(kù)的程序，測(cè)試該程序達(dá)到地震前兆臺(tái)網(wǎng)處理軟件顯示數(shù)據(jù)效果的運(yùn)行時(shí)間可以完成算法測(cè)試。從數(shù)據(jù)庫(kù)獲取數(shù)據(jù)的流程見(jiàn)圖1。

前兆數(shù)據(jù)庫(kù)中存儲(chǔ)前兆數(shù)據(jù)的字段為obsValue，該字段保存了一天的前兆觀測(cè)值序列。以分鐘值為例，觀測(cè)值數(shù)據(jù)以ASCII 字符形式存放, 一天1 440 個(gè)分鐘值數(shù)據(jù)按采樣次序連接起來(lái), 數(shù)據(jù)之間用空格分隔，可以得到觀測(cè)值序列。系列中缺測(cè)數(shù)據(jù)用NULL表示, 全天缺數(shù)時(shí)可用NULLALL表示(周克昌等，2010)。這種存儲(chǔ)方式在數(shù)據(jù)庫(kù)中稱為Clob格式。對(duì)該序列的解碼過(guò)程比較簡(jiǎn)單，只需按空格分隔前兆數(shù)據(jù)序列即可完成。李井岡等(2008)對(duì)前兆數(shù)據(jù)庫(kù)存取的數(shù)據(jù)(Clob格式)進(jìn)行了存取效果研究，結(jié)果顯示讀取一年的分鐘值數(shù)據(jù)需要7.85 s，如果對(duì)obsValue字段采用Blob格式存儲(chǔ)(float型觀測(cè)數(shù)據(jù)轉(zhuǎn)換為字節(jié))，速度可以提高到2.82 s。按上述流程編寫(xiě)測(cè)試軟件，最初得到的結(jié)果與前兆臺(tái)網(wǎng)處理軟件的運(yùn)行時(shí)間相當(dāng)，同時(shí)也與李井岡等的研究結(jié)果一致。通過(guò)分析認(rèn)為影響軟件運(yùn)行時(shí)間的主要原因是需要判斷每一個(gè)前兆數(shù)據(jù)是否缺數(shù)，為了達(dá)到此目的需要實(shí)現(xiàn)一個(gè)循環(huán)，該循環(huán)算法對(duì)每一個(gè)通過(guò)循環(huán)主體的前兆數(shù)據(jù)進(jìn)行判斷，此判斷過(guò)程非常耗時(shí)；另外繪制過(guò)程也比較耗時(shí)，原因同樣是因?yàn)槔L制前兆數(shù)據(jù)時(shí)需要判斷數(shù)據(jù)是否缺數(shù)。通過(guò)改進(jìn)并優(yōu)化循環(huán)算法，比如將循環(huán)量較大的一維循環(huán)分解為循環(huán)量較小的二維循環(huán)，測(cè)試結(jié)果有了較大改善，結(jié)果見(jiàn)表2。從表2可以看到，即使使用了優(yōu)化算法，讀取前兆數(shù)據(jù)庫(kù)的時(shí)間依舊長(zhǎng)于讀取測(cè)震數(shù)據(jù)庫(kù)的時(shí)間，從算法復(fù)雜度方面分析認(rèn)為主要原因在于顯示前兆數(shù)據(jù)時(shí)不需要繪制缺失數(shù)據(jù)，而讀取測(cè)震數(shù)據(jù)時(shí)可以采用缺數(shù)默認(rèn)為0的方式進(jìn)行處理，此種處理方式無(wú)需對(duì)數(shù)據(jù)進(jìn)行判斷，所以運(yùn)行速度比較快速。

表2 不同算法讀取前兆數(shù)據(jù)的運(yùn)行速度比較

1.2 存儲(chǔ)平臺(tái)測(cè)試

在測(cè)試計(jì)算機(jī)上安裝Oracle及MySQL數(shù)據(jù)庫(kù)后分別在兩種數(shù)據(jù)庫(kù)中建立一張表保存前兆數(shù)據(jù)庫(kù)采用的數(shù)據(jù)序列值。分別讀取兩個(gè)數(shù)據(jù)庫(kù)中的數(shù)據(jù)，測(cè)試其讀取速度。為了測(cè)試網(wǎng)絡(luò)傳輸對(duì)讀取速度的影響，在一臺(tái)遠(yuǎn)程服務(wù)器上安裝了Oracle及MySQL數(shù)據(jù)庫(kù)后完成同樣測(cè)試，測(cè)試結(jié)果見(jiàn)表3。結(jié)果表明，采用Oracle數(shù)據(jù)庫(kù)存儲(chǔ)的數(shù)據(jù)讀取速度稍優(yōu)于MySQL數(shù)據(jù)庫(kù)，但不存在明顯優(yōu)勢(shì)，本地存儲(chǔ)的數(shù)據(jù)讀取速度稍優(yōu)于遠(yuǎn)程存儲(chǔ)的數(shù)據(jù)，因?yàn)閭鬏斁嚯x較短，所以也不存在明顯優(yōu)勢(shì)， 故認(rèn)為存儲(chǔ)平臺(tái)的差異對(duì)前兆數(shù)據(jù)的讀取速度影響不大。但是測(cè)試結(jié)果中讀取前兆數(shù)據(jù)庫(kù)的速度明顯慢于上述幾種測(cè)試結(jié)果，原因包括硬件性能老化、存儲(chǔ)空間不足及數(shù)據(jù)庫(kù)配置不合理等。云南地震前兆數(shù)據(jù)庫(kù)使用至今已經(jīng)十余年時(shí)間，從安裝之后不久就發(fā)現(xiàn)讀取速度較慢，故認(rèn)為云南地震前兆數(shù)據(jù)庫(kù)在配置方面存在影響性能的問(wèn)題。深入數(shù)據(jù)庫(kù)內(nèi)部發(fā)現(xiàn)，部分?jǐn)?shù)據(jù)表主鍵缺失是影響數(shù)據(jù)庫(kù)性能的主要原因。

表3 讀取不同數(shù)據(jù)庫(kù)前兆數(shù)據(jù)的運(yùn)行速度比較

1.3 存儲(chǔ)方式測(cè)試

表4 讀取不同格式前兆數(shù)據(jù)的運(yùn)行速度比較

在讀取前兆數(shù)據(jù)庫(kù)數(shù)據(jù)的時(shí)候，發(fā)現(xiàn)部分測(cè)項(xiàng)在保存預(yù)處理數(shù)據(jù)時(shí)沒(méi)有對(duì)小數(shù)位數(shù)進(jìn)行限制，導(dǎo)致小數(shù)位數(shù)過(guò)大，最大達(dá)到了16位，這樣的精度是不真實(shí)的，它是浮點(diǎn)數(shù)在轉(zhuǎn)換為字符串時(shí)系統(tǒng)保留的位數(shù)，對(duì)于數(shù)據(jù)運(yùn)用而言沒(méi)有實(shí)際意義，反而增加了數(shù)據(jù)庫(kù)負(fù)擔(dān)，影響了讀寫(xiě)速度。如果在保存數(shù)據(jù)時(shí)對(duì)小數(shù)位數(shù)進(jìn)行合理限制可以有效提升數(shù)據(jù)庫(kù)存儲(chǔ)效率。目前測(cè)震數(shù)據(jù)在數(shù)據(jù)庫(kù)中的存儲(chǔ)格式為SEED格式(IRIS，2006)，通常采用Steim2壓縮算法。Steim2 壓縮算法是SEED 波形數(shù)據(jù)的一種整型數(shù)據(jù)的壓縮算法，該算法是一種壓縮效率較高的差分壓縮算法(羅新恒等，2003)。由于它保存的是數(shù)據(jù)序列的差值，所以在有限的存儲(chǔ)空間內(nèi)可以保存更多的數(shù)據(jù)，以分鐘值前兆數(shù)據(jù)為例，如果有效位數(shù)為5位，加上一位空格共6位，采用前兆數(shù)據(jù)庫(kù)存儲(chǔ)方式保存數(shù)據(jù)，一天的數(shù)據(jù)量(1 440個(gè)數(shù)據(jù))占用空間為8 640字節(jié)，而Steim2方式保存只需要800～1 000字節(jié)，占用存儲(chǔ)空間為前兆數(shù)據(jù)庫(kù)存儲(chǔ)方式的1/10～1/8。由于前兆數(shù)據(jù)是浮點(diǎn)數(shù)，無(wú)法直接采用Steim2壓縮算法壓縮數(shù)據(jù)，需要將浮點(diǎn)數(shù)變換為整型數(shù)據(jù)，變換過(guò)程比較簡(jiǎn)單，假定一個(gè)數(shù)據(jù)系列中數(shù)據(jù)的最大有效小數(shù)位數(shù)為N，將該數(shù)據(jù)系列分別與10N相乘即可將該數(shù)據(jù)系列轉(zhuǎn)換為整型數(shù)據(jù)。N是數(shù)據(jù)相互轉(zhuǎn)換過(guò)程中的關(guān)鍵參數(shù)，所以采用Steim2壓縮算法壓縮浮點(diǎn)型數(shù)據(jù)時(shí)需要同時(shí)保存N值，這樣才能準(zhǔn)確完成數(shù)據(jù)逆轉(zhuǎn)換(解壓縮)。在測(cè)試計(jì)算機(jī)上安裝Oracle 10g數(shù)據(jù)庫(kù)后建立2張表，一張表用于存儲(chǔ)前兆數(shù)據(jù)庫(kù)采用的數(shù)據(jù)序列值，另一張表存儲(chǔ)Steim2方式壓縮的數(shù)據(jù)。分別讀取2個(gè)表相同量級(jí)的數(shù)據(jù)，測(cè)試其讀取速度，測(cè)試結(jié)果見(jiàn)表4。結(jié)果表明，Steim2壓縮數(shù)據(jù)的讀取速度明顯優(yōu)于空格分隔的數(shù)據(jù)序列，原因是其數(shù)據(jù)量小，占用內(nèi)存少。表4中的耗時(shí)數(shù)據(jù)僅為讀取數(shù)據(jù)庫(kù)記錄的時(shí)間，不包括繪制數(shù)據(jù)的時(shí)間。

2 優(yōu)化處理

分析性能測(cè)試結(jié)果，可以認(rèn)為影響前兆數(shù)據(jù)庫(kù)讀取速度的主要原因是存儲(chǔ)平臺(tái)的配置、數(shù)據(jù)存儲(chǔ)格式及算法等原因，所以優(yōu)化處理這幾方面的問(wèn)題可以有效提升前兆數(shù)據(jù)庫(kù)的讀取速度。

2.1 數(shù)據(jù)庫(kù)優(yōu)化

數(shù)據(jù)庫(kù)優(yōu)化可以解決存儲(chǔ)平臺(tái)的配置及數(shù)據(jù)存儲(chǔ)格式方面的問(wèn)題。鑒于在原有前兆數(shù)據(jù)庫(kù)基礎(chǔ)上進(jìn)行優(yōu)化存在破壞數(shù)據(jù)庫(kù)的風(fēng)險(xiǎn)，為此重新搭建了一個(gè)數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)采用MySQL5.7作為數(shù)據(jù)庫(kù)平臺(tái)。MySQL數(shù)據(jù)庫(kù)是一種開(kāi)源的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)，雖然與Oracle及SQL Server等數(shù)據(jù)庫(kù)系統(tǒng)相比，存在規(guī)模小、功能有限等不足，但對(duì)于管理云南地震前兆數(shù)據(jù)而言，它提供的功能已經(jīng)足夠。數(shù)據(jù)庫(kù)在保留了原有前兆數(shù)據(jù)庫(kù)結(jié)構(gòu)的基礎(chǔ)上增加了一個(gè)AutoID字段作為主鍵，對(duì)obsValue字段進(jìn)行了Steim2壓縮，同時(shí)對(duì)StartDate、StationID、PointID和ItemID字段建立索引，通過(guò)編寫(xiě)一個(gè)服務(wù)端程序定時(shí)下載云南前兆數(shù)據(jù)庫(kù)數(shù)據(jù)的方式實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)。結(jié)果表明，新建數(shù)據(jù)庫(kù)占用的存儲(chǔ)空間僅為原有數(shù)據(jù)庫(kù)存儲(chǔ)空間的1/8，存儲(chǔ)效率得到了極大的提升。新建數(shù)據(jù)庫(kù)前兆數(shù)據(jù)表結(jié)構(gòu)見(jiàn)表5。利用數(shù)據(jù)庫(kù)的主鍵及索引字段進(jìn)行查詢可以有效提升數(shù)據(jù)庫(kù)查詢速度，當(dāng)然主鍵及索引的增加也會(huì)降低數(shù)據(jù)庫(kù)的寫(xiě)效率，同時(shí)會(huì)使數(shù)據(jù)庫(kù)的存儲(chǔ)空間增加。但考慮到前兆數(shù)據(jù)庫(kù)的寫(xiě)操作在時(shí)間上是分散的，而且數(shù)據(jù)量較小(每個(gè)臺(tái)站每個(gè)測(cè)項(xiàng)僅1條記錄)，而讀操作查詢的數(shù)據(jù)量相對(duì)較大。所以對(duì)上述字段建立索引對(duì)數(shù)據(jù)庫(kù)寫(xiě)操作影響不大，但對(duì)于讀操作的查詢效率卻能夠帶來(lái)相當(dāng)明顯的提升。

表5 新建前兆數(shù)據(jù)庫(kù)數(shù)據(jù)表結(jié)構(gòu)

2.2 客戶端軟件優(yōu)化

由于數(shù)據(jù)庫(kù)數(shù)據(jù)表結(jié)構(gòu)的變化，中國(guó)地震前兆臺(tái)網(wǎng)處理系統(tǒng)無(wú)法連接新建數(shù)據(jù)庫(kù)，需要開(kāi)發(fā)客戶端軟件完成數(shù)據(jù)庫(kù)操作。針對(duì)新建前兆數(shù)據(jù)庫(kù)的結(jié)構(gòu)，采用Visual Basic 2010程序設(shè)計(jì)語(yǔ)言編寫(xiě)了客戶端軟件，運(yùn)用Oracle.DataAccess組件連接Oracle數(shù)據(jù)庫(kù)，MySql.Data組件連接MySQL數(shù)據(jù)庫(kù)，軟件運(yùn)行主界面見(jiàn)圖2。

圖2 客戶端軟件運(yùn)行主界面

客戶端軟件能夠兼容原前兆數(shù)據(jù)庫(kù)，針對(duì)傳統(tǒng)前兆分析軟件在繪制數(shù)據(jù)時(shí)無(wú)法自由完成數(shù)據(jù)縮放操作，主界面參照了測(cè)震分析軟件的顯示方式，采用數(shù)據(jù)滾動(dòng)條及放大窗顯示的方式實(shí)現(xiàn)數(shù)據(jù)的縮放操作，軟件能夠自動(dòng)連接國(guó)家測(cè)震臺(tái)網(wǎng)中心數(shù)據(jù)庫(kù)并下載地震目錄加載到數(shù)據(jù)窗口中(界面中采用線條標(biāo)記)，同時(shí)自動(dòng)加載日志記錄并顯示在數(shù)據(jù)窗口中(界面中網(wǎng)格區(qū)域)。采用一臺(tái)64位終端計(jì)算機(jī)(內(nèi)存4 GB、主頻3.90 GHz的Intel? core(TM)i3-7100處理器)對(duì)數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)極限加載實(shí)驗(yàn)，結(jié)果見(jiàn)表6。結(jié)果表明客戶端軟件對(duì)兩種數(shù)據(jù)庫(kù)加載時(shí)，能夠加載的最大數(shù)據(jù)量是相同的(對(duì)于分鐘值數(shù)據(jù)，由于單測(cè)項(xiàng)數(shù)據(jù)量有限，文中給出的數(shù)據(jù)量是由多個(gè)測(cè)項(xiàng)相加后折合的單測(cè)項(xiàng)數(shù)據(jù)量)，這主要與終端計(jì)算機(jī)運(yùn)行內(nèi)存有關(guān)；但是加載時(shí)間卻差別較大，對(duì)新建數(shù)據(jù)庫(kù)數(shù)據(jù)的加載時(shí)間僅為加載原數(shù)據(jù)庫(kù)時(shí)間的1/9。這個(gè)數(shù)據(jù)加載時(shí)間壓縮比例與Steim2壓縮比率基本相當(dāng)。特別需要說(shuō)明的是，這樣的數(shù)據(jù)量采用中國(guó)地震前兆臺(tái)網(wǎng)處理系統(tǒng)2014集成版軟件將無(wú)法加載。

表6 數(shù)據(jù)庫(kù)極限加載結(jié)果

3 結(jié)論

(1)地震前兆臺(tái)網(wǎng)處理系統(tǒng)讀取前兆觀測(cè)數(shù)據(jù)的功能模塊在算法方面存在耗時(shí)比較多的突出特征，可以通過(guò)優(yōu)化算法來(lái)提高運(yùn)行速度；數(shù)據(jù)庫(kù)存儲(chǔ)平臺(tái)的差異對(duì)前兆數(shù)據(jù)的讀取速度影響不大，但是云南地震前兆數(shù)據(jù)庫(kù)自身配置對(duì)客戶端軟件查詢數(shù)據(jù)庫(kù)的運(yùn)行速度影響較大，可能存在不合理配置；前兆數(shù)據(jù)庫(kù)保存數(shù)據(jù)的方式影響了軟件的運(yùn)行速度，主要原因是此種存儲(chǔ)方式占用存儲(chǔ)空間較多。(2)數(shù)據(jù)庫(kù)極限加載實(shí)驗(yàn)結(jié)果表明采用Steim2壓縮算法保存數(shù)據(jù)可以有效提升讀取數(shù)據(jù)庫(kù)數(shù)據(jù)的速度，這樣的速度提升能夠提供非常良好的用戶體驗(yàn)。(3)通過(guò)上述方法的優(yōu)化，讀取前兆數(shù)據(jù)的速度得到了非常明顯的提升，對(duì)于數(shù)據(jù)運(yùn)用而言，這樣的提升可以改變數(shù)據(jù)運(yùn)用的方式，因?yàn)榭梢暂p松獲取更多數(shù)據(jù)用于數(shù)據(jù)分析。(4)上述測(cè)試結(jié)果主要針對(duì)區(qū)域中心級(jí)前兆數(shù)據(jù)庫(kù)，對(duì)于臺(tái)站級(jí)前兆數(shù)據(jù)庫(kù)同樣存在相同的問(wèn)題，對(duì)騰沖臺(tái)地震數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)加載時(shí)運(yùn)行速度同樣非常慢，所以文中提及的優(yōu)化方案也同樣適用于臺(tái)站級(jí)前兆數(shù)據(jù)庫(kù)。