蔡　寅　李　紅　趙銀剛

1(中國地震局地球物理研究所　北京 100081)2(山東省地震局　山東 濟(jì)南 250014)3(山東省地震局安丘地震臺　山東 濰坊 262100)

?

基于私有云計(jì)算技術(shù)的強(qiáng)震預(yù)警系統(tǒng)應(yīng)用研究

蔡寅1,2李紅2趙銀剛3

1(中國地震局地球物理研究所北京 100081)2(山東省地震局山東 濟(jì)南 250014)3(山東省地震局安丘地震臺山東 濰坊 262100)

摘要通過分析研究地震行業(yè)目前數(shù)據(jù)處理與分析的現(xiàn)狀，展望云計(jì)算技術(shù)在地震行業(yè)的應(yīng)用前景。針對山東強(qiáng)震預(yù)警系統(tǒng)在研發(fā)與試驗(yàn)階段，各子系統(tǒng)之間存在計(jì)算效率低、資源占用不均衡等問題，提出基于云端分布式計(jì)算技術(shù)的大數(shù)據(jù)分析處理平臺體系架構(gòu)。通過對軟硬件資源進(jìn)行統(tǒng)一管理，實(shí)現(xiàn)根據(jù)子系統(tǒng)資源需求的虛擬機(jī)智能部署方案，提高平臺的高可用性及擴(kuò)展性。實(shí)驗(yàn)結(jié)果表明，強(qiáng)震預(yù)警系統(tǒng)的計(jì)算效率及資源利用率得到有效的提高，平臺體系架構(gòu)得到初步應(yīng)用。

關(guān)鍵詞私有云體系架構(gòu)資源調(diào)度強(qiáng)震預(yù)警系統(tǒng)

0引言

地震行業(yè)是一個典型數(shù)據(jù)集中的領(lǐng)域，地震科學(xué)數(shù)據(jù)按照獲取途徑可以分為五大類：(1) 觀測數(shù)據(jù)，包括：測震、強(qiáng)震動、地磁、地電、形變、地下流體、重力、GPS等實(shí)時觀測數(shù)據(jù); (2) 探測數(shù)據(jù)，包括人工地震、流動臺陣、氣槍探測等數(shù)據(jù)；(3) 調(diào)查數(shù)據(jù)，包括：地震地質(zhì)調(diào)查、震后宏觀烈度調(diào)查、斷層現(xiàn)場科考、地震遙感及航拍等數(shù)據(jù)；(4) 實(shí)驗(yàn)數(shù)據(jù)，包括構(gòu)造物理實(shí)驗(yàn)、新構(gòu)造年代測試、建筑物抗震結(jié)構(gòu)實(shí)驗(yàn)、巖土工程實(shí)驗(yàn)等數(shù)據(jù)；(5) 專題數(shù)據(jù)。這類數(shù)據(jù)主要服務(wù)于某一重要研究專題、重大工程項(xiàng)目或某一特定區(qū)域綜合研究等工作目標(biāo)而建立的。如：歷史震例總結(jié)、斷層面探測、水庫地震監(jiān)測、礦震監(jiān)測、建筑物地震安全性評價等方面的數(shù)據(jù)。從業(yè)務(wù)應(yīng)用角度來看，像地震的孕育研究與分析預(yù)測，非常依賴于對歷史數(shù)據(jù)及大量觀測數(shù)據(jù)的多角度時空觀察和分析。而地震速報(bào)和強(qiáng)震預(yù)警等應(yīng)用系統(tǒng)，則高度依賴于對密集臺網(wǎng)闡述的大規(guī)模數(shù)據(jù)的實(shí)時處理與分析能力。 如何提高對各類大規(guī)模數(shù)據(jù)的綜合處理與分析能力，成為地震行業(yè)亟需解決的一項(xiàng)技術(shù)瓶頸。

隨著信息技術(shù)的不斷發(fā)展，網(wǎng)格計(jì)算、并行計(jì)算、分布式計(jì)算、網(wǎng)絡(luò)存儲、虛擬化等技術(shù)的不斷涌現(xiàn)，融合多項(xiàng)技術(shù)的云計(jì)算為大數(shù)據(jù)的分析和處理問題提供了有效的解決方案。云計(jì)算作為一種計(jì)算方式，將大量計(jì)算節(jié)點(diǎn)和存儲節(jié)點(diǎn)進(jìn)行虛擬化管理，將計(jì)算能力、存儲空間及信息服務(wù)等資源匯聚集中起來，實(shí)現(xiàn)統(tǒng)一自動化管理。通過網(wǎng)絡(luò)將這些資源以“服務(wù)”的形式提供給用戶，而用戶不需要了解構(gòu)建這些“服務(wù)”的云計(jì)算技術(shù)架構(gòu)，就可以透明方便使用這些資源。從服務(wù)的角度劃分，云計(jì)算環(huán)境可以提供三個層次的服務(wù)，即基礎(chǔ)設(shè)施服務(wù)IaaS(Infrastructure-as-a-Service)、平臺服務(wù)PaaS(Platform-as-a-Service)和軟件服務(wù)SaaS(Software-as-a-Service)，各層服務(wù)具有可擴(kuò)展性及高可靠性等特點(diǎn)。

在云計(jì)算技術(shù)和分布式計(jì)算技術(shù)日益成熟的今天，云環(huán)境強(qiáng)大的計(jì)算資源和分布式計(jì)算的高性能為地震行業(yè)大規(guī)模數(shù)據(jù)的分析處理提供了較好解決方案。本文通過分析研究地震行業(yè)目前數(shù)據(jù)處理與分析的現(xiàn)狀，展望云計(jì)算和大數(shù)據(jù)技術(shù)在地震行業(yè)的應(yīng)用前景，結(jié)合山東省地震局?jǐn)?shù)據(jù)管理和計(jì)算資源現(xiàn)狀，提出基于云端分布式計(jì)算的大數(shù)據(jù)分析處理平臺體系架構(gòu)。最后以山東強(qiáng)震預(yù)警系統(tǒng)在研發(fā)與試驗(yàn)階段，各子系統(tǒng)之間存在計(jì)算效率低、資源占用不均衡等問題為切入點(diǎn)，搭建一個對軟硬件資源進(jìn)行統(tǒng)一管理具有高可用性及擴(kuò)展性的私有云計(jì)算平臺。利用虛擬機(jī)智能部署方案，有效地提高了計(jì)算效率及資源利用率了負(fù)載不均衡現(xiàn)象,平臺體系架構(gòu)得到初步應(yīng)用。

1云計(jì)算技術(shù)在地震行業(yè)的應(yīng)用前景

云計(jì)算技術(shù)在地震行業(yè)的應(yīng)用前景主要體現(xiàn)在三個方面：(1) 有效整合現(xiàn)有硬件資源，大幅降低系統(tǒng)應(yīng)用部署成本，提高計(jì)算資源利用率；(2) 實(shí)現(xiàn)對地震臺網(wǎng)產(chǎn)出的大規(guī)模數(shù)據(jù)進(jìn)行實(shí)時監(jiān)控、分析與處理，有效提高面向日益增多的臺站數(shù)據(jù)的計(jì)算實(shí)時性，使各類數(shù)據(jù)形成用多個監(jiān)測預(yù)警網(wǎng)；(3) 通過對歷史大規(guī)模數(shù)據(jù)進(jìn)行有針對性、多角度的分析與挖掘，為動態(tài)預(yù)測和決策提供更加精準(zhǔn)技術(shù)支持。

云計(jì)算技術(shù)重點(diǎn)關(guān)注計(jì)算能力的提升，解決的關(guān)鍵問題是大數(shù)據(jù)處理的能與不能的難題，而云計(jì)算技術(shù)是解決此難題的最佳解決方案?；谠朴?jì)算技術(shù)的大數(shù)據(jù)分析計(jì)算平臺首先解決原有技術(shù)難以實(shí)現(xiàn)的大數(shù)據(jù)分析的困境，同時實(shí)現(xiàn)高速、高效數(shù)據(jù)分析與挖掘。在保持原有業(yè)務(wù)流程大體不變的情況下，減輕了管理者的工作量，提高研究者工作效率，對決策者提供更加準(zhǔn)確的決策支持。采用云端大數(shù)據(jù)分析平臺的地震業(yè)務(wù)流程如圖1所示。

圖1　基于云端大數(shù)據(jù)分析平臺的地震業(yè)務(wù)流程圖

2云端大數(shù)據(jù)分析平臺體系架構(gòu)設(shè)計(jì)

在上述基礎(chǔ)上，本文提出基于私有云的地震大數(shù)據(jù)分析處理平臺，平臺的體系架構(gòu)如圖2所示。體系架構(gòu)主要分為五層，最底層是由專用虛擬服務(wù)器和普通服務(wù)器組成物理服務(wù)器集群作為硬件計(jì)算基礎(chǔ)。通過開源IaaS軟件如OpenStack、CloudStact等構(gòu)建云計(jì)算資源層。在云計(jì)算資源層提供的虛擬機(jī)上部署分布式計(jì)算框架用于實(shí)時數(shù)據(jù)分析及后臺數(shù)據(jù)挖掘，如Hadoop、Storm等。大數(shù)據(jù)處理服務(wù)層作為應(yīng)用邏輯部分對數(shù)據(jù)進(jìn)行分析挖掘并且完成計(jì)算資源的調(diào)度管理。面向用戶和管理員提供各項(xiàng)管理服務(wù)的應(yīng)用層，將計(jì)算結(jié)果進(jìn)行關(guān)聯(lián)處理，提供給最終用戶。

圖2　云端大數(shù)據(jù)分析平臺體系架構(gòu)圖

2.1物理層

物理層是整個計(jì)算平臺的硬件基礎(chǔ)，計(jì)算平臺的物理層采用虛擬化專用服務(wù)器和既有普通服務(wù)器混合構(gòu)筑模式。確保高性能的同時，也能充分利用既有計(jì)算資源，這樣不論是計(jì)算服務(wù)器集群或是存儲服務(wù)器集群都可以無縫水平擴(kuò)展，使計(jì)算資源的實(shí)現(xiàn)無限化。行業(yè)內(nèi)網(wǎng)用戶和公網(wǎng)用戶可以方便的使用計(jì)算及存儲資源。物理層構(gòu)建示意如圖3所示。

圖3　物理層構(gòu)建示意圖

2.2云計(jì)算環(huán)境層

云計(jì)算環(huán)境層的建立有商用解決方案，也有開源解決方案，如Eccalyptus、AbiCloud、CloudStack等。綜合考慮各個解決方案的開源性及穩(wěn)定性，本文選用OpenStack構(gòu)建云計(jì)算環(huán)境層。OpenStack是有Rackspace和NASS共同發(fā)起的一個開源項(xiàng)目，其定位是亞馬遜AWS的開源實(shí)現(xiàn)，為公有云和私有云提供容易實(shí)施且可大規(guī)模擴(kuò)展的開源云計(jì)算平臺。目前OpenStack已業(yè)界被廣泛應(yīng)用，穩(wěn)定性和可靠性均被認(rèn)可，版本發(fā)布持續(xù)穩(wěn)定。OpenStack對各類物理計(jì)算節(jié)點(diǎn)和存儲節(jié)點(diǎn)進(jìn)行虛擬化，為分布式計(jì)算層提供虛擬主機(jī)，實(shí)現(xiàn)對虛擬主機(jī)的計(jì)算管理、網(wǎng)絡(luò)管理、授權(quán)管理、卷管理、分布式存儲等功能，對于行業(yè)內(nèi)網(wǎng)和公網(wǎng)用戶提供“透明”的IaaS服務(wù)。云計(jì)算環(huán)境層構(gòu)建示意如圖4所示。

圖4　云計(jì)算環(huán)境層構(gòu)建示意圖

2.3分布式計(jì)算層

分布式計(jì)算環(huán)境層的文件系統(tǒng)有別于單機(jī)上傳統(tǒng)的文件系統(tǒng)。當(dāng)需要完成大規(guī)模計(jì)算時，運(yùn)行時間往往是數(shù)分鐘甚至數(shù)小時，但是任何一個硬件在任何時刻都有可能出現(xiàn)故障，如果由于硬件故障導(dǎo)致計(jì)算終止的話，那么對于一些計(jì)算過程可能是永遠(yuǎn)無法成功完成的。解決上述問題的方式有兩種：(1) 將文件進(jìn)行多副本存儲；(2) 將計(jì)算過程分成多任務(wù)形式。這里，我們引入Hadoop分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)，將各個數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)按業(yè)務(wù)需求提供給兩套分布式計(jì)算框架。HDFS 將文件分成文件塊，存儲在不同的計(jì)算節(jié)點(diǎn)上，MapReduce是一種計(jì)算模式，用于大規(guī)模數(shù)據(jù)集的并行計(jì)算，并能夠保障對硬件故障的容錯性，具有非常好的伸縮性。但是MapReduce只能定時從分布式文件系統(tǒng)同獲取數(shù)據(jù)，在后臺分析挖掘，實(shí)時性較差。所以為了擬補(bǔ)MapReduce實(shí)時性不足的缺陷，采用Storm實(shí)時流計(jì)算框架對實(shí)時性要求比較高的算法程序進(jìn)行并行分析和計(jì)算，從消息隊(duì)列中直接獲取數(shù)據(jù)，實(shí)時處理。分布式計(jì)算層邏輯示意如圖5所示。

圖5　分布式計(jì)算層邏輯示意圖

2.4大數(shù)據(jù)處理層與應(yīng)用層

大數(shù)據(jù)處理層分析虛擬機(jī)上的各種資源的占用情況，根據(jù)用戶需求目標(biāo)的不同，將不同的計(jì)算任務(wù)分別在MapReduce或Storm計(jì)算框架下執(zhí)行分析計(jì)算進(jìn)程，對數(shù)據(jù)進(jìn)行后臺或?qū)崟r挖掘，同時監(jiān)控管理計(jì)算過程中出現(xiàn)的各種狀況。

應(yīng)用層為用戶或管理員提供各層可視化的統(tǒng)一管理和外部接口服務(wù)，也就是說用戶通過這一層指定數(shù)據(jù)源，獲得計(jì)算結(jié)果。數(shù)據(jù)處理層與應(yīng)用層兩層間通過WebService等多種方式進(jìn)行數(shù)據(jù)交互。大數(shù)據(jù)處理層與應(yīng)用層邏輯示意如圖6所示。

圖6　大數(shù)據(jù)處理層與應(yīng)用層邏輯示意圖

3基于云平臺的強(qiáng)震預(yù)警系統(tǒng)初步應(yīng)用

本文以強(qiáng)震預(yù)警系統(tǒng)為例，討論原系統(tǒng)在云平臺下重新部署的應(yīng)用效果。強(qiáng)震預(yù)警系統(tǒng)目前被認(rèn)為是有效減輕地震災(zāi)害，提高應(yīng)對地震能力最重要的途徑之一。我國地震行業(yè)通過“十·五”、“十一·五” 和“十二·五”的基礎(chǔ)設(shè)施建設(shè)，能夠用于強(qiáng)震預(yù)警系統(tǒng)的測震及強(qiáng)震動臺站數(shù)量不斷增多。省級區(qū)域臺網(wǎng)密度進(jìn)一步提高，這為建立基于實(shí)時地震監(jiān)測臺網(wǎng)的預(yù)警系統(tǒng)提供了必要的基礎(chǔ)條件。目前，由山東省地震局自主研發(fā)的強(qiáng)震預(yù)警系統(tǒng)主要由3個子系統(tǒng)組成：(1) 觀測數(shù)據(jù)實(shí)時匯集與服務(wù)系統(tǒng)；(2) 地震事件觸發(fā)判斷及預(yù)警參數(shù)計(jì)算系統(tǒng)；(3) 基于WebGIS的預(yù)警信息動態(tài)發(fā)布系統(tǒng)。各個子系統(tǒng)對資源的需求不盡相同。數(shù)據(jù)的匯集與服務(wù)占用大量存儲空間進(jìn)行地震事件的存儲，數(shù)據(jù)分析與計(jì)算依賴與大量的計(jì)算資源支撐，以保障預(yù)警信息的實(shí)效性。當(dāng)強(qiáng)震發(fā)生時，基于WebGIS的動態(tài)預(yù)警信息發(fā)布平臺需要對多類用戶提供預(yù)警信息服務(wù)，此時對網(wǎng)絡(luò)帶寬的占用權(quán)重遠(yuǎn)遠(yuǎn)大于其他兩個子系統(tǒng)。系統(tǒng)在試驗(yàn)階段，采用每個子系統(tǒng)占用一臺服務(wù)器的傳統(tǒng)部署方式，存在計(jì)算效率低、資源占用不均衡等問題。傳統(tǒng)的應(yīng)用部署方式很難滿足不同系統(tǒng)對不同資源的需求，而應(yīng)用云端大數(shù)據(jù)分析平臺體系架構(gòu)則能有效地解決各個子系統(tǒng)間資源的分配問題。

解決系統(tǒng)資源分配的目標(biāo)有兩個，即負(fù)載均衡和綠色節(jié)能。所謂負(fù)載均衡,就是保證云平臺中各宿主機(jī)的負(fù)載率的均衡性,避免拿出現(xiàn)某些宿主機(jī)負(fù)載過重，影響系統(tǒng)整體性能的情況。綠色節(jié)能就是要盡量減少云平臺中使用的宿主機(jī)個數(shù)，自動關(guān)閉一些負(fù)載過輕或閑置的宿主機(jī)，以達(dá)到節(jié)約能源的目標(biāo)。為實(shí)現(xiàn)資源的智能分配，首先利用OpenStack對現(xiàn)有的硬件資源進(jìn)行統(tǒng)一的虛擬化管理，通過二次開發(fā)接口進(jìn)行編程，自定義代價函數(shù)。匯總云平臺下四類資源(處理器、高速緩存、磁盤存儲和網(wǎng)絡(luò)帶寬)，根據(jù)每個子系統(tǒng)對資源不同的依賴程度，將四類資源分別賦予權(quán)重 (Weight值)，比較子系統(tǒng)對各類資源的請求值和云平臺中宿主機(jī)的可用資源值，選出滿足需求的多個候選主機(jī)。最終計(jì)算各候選目標(biāo)主機(jī)的代價函數(shù)值，選擇函數(shù)值最小的宿主機(jī)作為部署的目標(biāo)主機(jī)，實(shí)現(xiàn)根據(jù)子系統(tǒng)資源需求的智能虛擬機(jī)優(yōu)化部署方案。基于OpenStack的虛擬機(jī)智能優(yōu)化部署方案如圖7所示。

圖7　基于OpenStack的智能虛擬機(jī)優(yōu)化部署方案

實(shí)驗(yàn)結(jié)果表明，基于云端大數(shù)據(jù)分析平臺能夠科學(xué)合理地利用既有系統(tǒng)資源，有效地改善了原強(qiáng)震預(yù)警系統(tǒng)的各子系統(tǒng)負(fù)載不均衡現(xiàn)象，智能選擇較優(yōu)的宿主機(jī)部署虛擬機(jī)。系統(tǒng)處理時間與IO存取速度較原平臺得到明顯提升，如圖8、圖9所示。

圖8　應(yīng)用云平臺前后系統(tǒng)處理時間對比

圖9　應(yīng)用云平臺前后每秒系統(tǒng)IO存取能力對比

總之，基于云端大數(shù)據(jù)分析平臺先進(jìn)性主要體現(xiàn)在：(1) 以Web頁面方式，圖形化管理各種資源，實(shí)現(xiàn)對軟硬件統(tǒng)一調(diào)度；(2) 自動化運(yùn)維，實(shí)現(xiàn)事件監(jiān)控報(bào)警及信息查看；(3) 通過智能虛擬機(jī)部署技術(shù)提升軟件系統(tǒng)整體運(yùn)行效率。對采用云平臺前后業(yè)務(wù)系統(tǒng)的易用性、可擴(kuò)展性、可維護(hù)性進(jìn)行比較，對比結(jié)果如表1所示。

表1　使用云平臺前后系統(tǒng)各項(xiàng)性能對比表

4結(jié)語

本文展望了云計(jì)算技術(shù)在地震行業(yè)的應(yīng)用前景，提出基于私有云的大數(shù)據(jù)分析平臺體系架構(gòu)的設(shè)計(jì)方案。通過在云計(jì)算環(huán)境層實(shí)現(xiàn)智能虛擬機(jī)部署，將優(yōu)化方案應(yīng)用于地震預(yù)警系統(tǒng)，在實(shí)現(xiàn)對資源進(jìn)行統(tǒng)一管理同時，有效提升了系統(tǒng)整體的計(jì)算效率及資源利用率，增強(qiáng)了系統(tǒng)的可用性及擴(kuò)展性。這為今后地震行業(yè)大規(guī)模數(shù)據(jù)計(jì)算解決方案提供了值得借鑒的技術(shù)經(jīng)驗(yàn)和更加深入的研究方向。

參考文獻(xiàn)

[1] 蔡寅,劉希強(qiáng),趙銀剛,等.基于CloudStack的地震預(yù)警系統(tǒng)應(yīng)用研究[C]//大數(shù)據(jù)、云計(jì)算與地球物理應(yīng)用研討活動論文摘要集,2014:7-8.

[2] 蔡寅,李衛(wèi)東,李鉑.地震行業(yè)數(shù)據(jù)整合服務(wù)架構(gòu)研究與應(yīng)用[J].計(jì)算機(jī)應(yīng)用與軟件,2014,31(3):43-46.

[3] 魏坤,許暉,楊旸.基于虛擬機(jī)實(shí)時遷移的綠色云計(jì)算及其技術(shù)實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件,2013,30(6):101-103.

[4] 王桂強(qiáng),陸朝俊.基于并行技術(shù)的大數(shù)據(jù)量統(tǒng)計(jì)分析探討[J].計(jì)算機(jī)應(yīng)用與軟件,2011,28(3):162-165.

[5] 孫大為,張廣艷,鄭緯民.大數(shù)據(jù)流式計(jì)算:關(guān)鍵技術(shù)及系統(tǒng)實(shí)例[J].軟件學(xué)報(bào),2014,25(4):839-862.

[6] 覃雄派,王會舉,李芙蓉,等.數(shù)據(jù)管理技術(shù)的新格局[J].軟件學(xué)報(bào),2013,24(2):175-197.

[7] 常捷.地震元數(shù)據(jù)標(biāo)準(zhǔn)及管理構(gòu)建研究[D].南京:南京理工大學(xué),2010.

[8] 彭紅,楊根興,蔡立志.基于用戶個性化需求的虛擬機(jī)部署機(jī)制[J].軟件產(chǎn)業(yè)與工程,2013,13(1):37-41.

[9] Wang Y J,Sun W D,Zhou S,et al.Key technologies of distributed storage for cloud computing[J].Journal of Software,2012,23(4):962-986.

STUDY ON APPLICATION OF EARLY WARNING SYSTEM FOR STRONG EARTHQUAKE BASED ON PRIVATE CLOUD COMPUTING TECHNOLOGY

Cai Yin1,2Li Hong2Zhao Yin’gang3

1(InstituteofGeophysics,ChinaEarthquakeAdministration,Beijing100081,China)2(EarthquakeAdministrationofShandongProvince,Jinan250014,Shandong,China)3(AnqiuSeismicStation,EarthquakeAdministrationofShandongProvince,Weifang262100,Shandong,China)

AbstractBy analysing and studying current situation of data processing and analysis in seismic industry, we prospected on the application of cloud computing technology in the industry. Aiming at the problems of Shandong strong earthquake early warning system during its R&D and test stage in low computational efficiency and imbalance resource occupation between subsystems, we proposed the big data analysis and processing platform architecture, which is based on distributed cloud computing technology. Through uniformly managing the hardware and software resources, it achieves the intelligent virtual machine deployment scheme according to the resource demand of subsystems, and improves the high availability and scalability of the platform. Test results showed that the computing efficiency and resource utilisation rate of strong earthquake early warning system has been raised effectively. The platform architecture has been put into preliminary application.

KeywordsPrivate cloudSystem architectureResource schedulingStrong earthquake early warning system

收稿日期：2014-10-13?！笆濉眹铱萍贾斡?jì)劃課題(2012 BAK19B04)。蔡寅，工程師，主研領(lǐng)域：地震行業(yè)信息化軟件研發(fā)。李紅，高工。趙銀剛，工程師。

中圖分類號TP311.5

文獻(xiàn)標(biāo)識碼A

DOI:10.3969/j.issn.1000-386x.2016.05.001