劉 堅 李盛樂 陳曉琳 康 凱 劉珠妹（中國地震局地震研究所地震大地測量重點(diǎn)實驗室，武漢 430071）

地震大數(shù)據(jù)存儲管理研究

劉 堅 李盛樂 陳曉琳 康 凱 劉珠妹
（中國地震局地震研究所地震大地測量重點(diǎn)實驗室，武漢 430071）

針對目前傳統(tǒng)關(guān)系數(shù)據(jù)庫在存儲大數(shù)據(jù)時遇到的諸多挑戰(zhàn)，提出了一種基于Hbase的地震大數(shù)據(jù)存儲管理方法。Hbase表是一個分布式多維表，表中的數(shù)據(jù)通過一個行關(guān)鍵字（Row Key）、一個列族和一個列名（Columnfamily:column name）以及一個時間戳進(jìn)行索引和查詢定位。關(guān)鍵在設(shè)計好Row Key，以方便數(shù)據(jù)查詢并進(jìn)行數(shù)據(jù)分析。下面以地震觀測數(shù)據(jù)為實例，講述在Hbase的存儲原理和方法。

假設(shè)地震業(yè)務(wù)數(shù)據(jù)庫中有一Obs觀測數(shù)據(jù)表，如果按照傳統(tǒng)的RDBMS的話，Obs表中的列是不能隨意改變的，比如schema定義了Netid，Stationid，pointid、Intrid、Itemid、value等屬性，Obs表的屬性是不能動態(tài)增加的。如果是Hbase列式存儲數(shù)據(jù)庫，在創(chuàng)建Obs表時，再為它定義一個info列族，Obs的數(shù)據(jù)便可以表示為：info:value=23.4，如果欲增加新的字段屬性，只需要通過添加一個info:newProperty就可以了。

表1　關(guān)系數(shù)據(jù)庫表結(jié)構(gòu)

表1是關(guān)系數(shù)據(jù)庫定義的Obs表，一旦設(shè)計完投入運(yùn)行，該表的列是固定的，不能動態(tài)改變，并且列值為null值時，因占存儲空間而浪費(fèi)了這部分空間。表2是在Hbase的NoSQL數(shù)據(jù)庫，Obs表的列可通過列族動態(tài)增加，并且空值列是不存儲的，這樣就節(jié)約了存儲空間，因此Hbase的基于列存儲的數(shù)據(jù)模型就非常適合地震數(shù)據(jù)頻繁擴(kuò)展的場景。另外，選用Hbase數(shù)據(jù)庫存儲管理數(shù)據(jù)，還有另外一個好處就是能自動切分?jǐn)?shù)據(jù)，當(dāng)Obs表中的數(shù)據(jù)超過某一個閥值時，Hbase就會自動切分?jǐn)?shù)據(jù)，這樣就使查詢具有了伸縮性，再加上Hbase的弱事務(wù)性的特性，因此Hbase的數(shù)據(jù)寫入效率非常高。

表2　NoSQL數(shù)據(jù)庫表結(jié)構(gòu)

將兩者針對結(jié)構(gòu)化觀測數(shù)據(jù)的存儲進(jìn)行效能測試，在關(guān)鍵代碼行處添加秒表，記錄執(zhí)行命令時間。數(shù)據(jù)量（條）分別為50，100，1000，10000，100000。每次插入保存完畢把所耗時長（單位：ms）寫入日志文件。連續(xù)多次測試，取平均值。當(dāng)寫入記錄條數(shù)小于1 000時，可以看出兩者所耗時間差別并不明顯；但隨插入記錄條數(shù)持續(xù)增加，Mysql的插入耗時開始劇增，而Hbase耗時變化幅度相對較小，其存儲性能優(yōu)勢也就顯現(xiàn)出來了。

分別對Hbase-0.94.6和Mysql-5.1.48做10，50，100，200，500，1000次文件寫入試驗，文件大小約為30 KB/個，兩者的二進(jìn)制文件存儲耗時（單位：ms）性能對比結(jié)果顯示，當(dāng)插入文件數(shù)量越來越多時，Hbase的性能優(yōu)勢顯而易見。

分別對Hbase-0.94.6和Mysql-5.1.48做數(shù)據(jù)量為1 000、2000、10 000、100 000、500 000二者查詢性能測試，結(jié)果顯示，Hbase耗時（單位：ms）很少，且幅度變化不大，而Mysql查詢耗時隨數(shù)據(jù)量增長幅度上升變化快。

綜上所述，該種基于Hbase的地震大數(shù)據(jù)存儲方法，并與傳統(tǒng)關(guān)系數(shù)據(jù)庫Mysql在寫入與讀取效率作比對測試，結(jié)果表明，該方法在數(shù)據(jù)存儲與查詢等性能，特別是在數(shù)據(jù)量多時，具有顯著優(yōu)勢。