摘" 要:我國(guó)是世界上震害嚴(yán)重的國(guó)家之一,提高地震預(yù)測(cè)預(yù)報(bào)水平是國(guó)家和社會(huì)公眾的迫切需求。地球物理臺(tái)網(wǎng)的發(fā)展在地震預(yù)測(cè)、資源勘探和環(huán)境監(jiān)測(cè)等領(lǐng)域發(fā)揮重要作用。該文介紹一種基于Python開(kāi)發(fā)的地球物理臺(tái)網(wǎng)數(shù)據(jù)實(shí)時(shí)采集與監(jiān)控系統(tǒng)。該系統(tǒng)集成實(shí)時(shí)數(shù)據(jù)采集、智能分析和故障報(bào)警三大核心功能。數(shù)據(jù)采集利用Python的requests庫(kù),通過(guò)模擬登錄獲取地震觀測(cè)儀器的數(shù)據(jù)。智能分析模塊通過(guò)對(duì)省級(jí)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,提取關(guān)鍵指標(biāo)并評(píng)估數(shù)據(jù)質(zhì)量。故障報(bào)警功能則監(jiān)測(cè)儀器的通信狀態(tài),一旦檢測(cè)到異常,系統(tǒng)會(huì)自動(dòng)觸發(fā)警報(bào),提醒值班人員及時(shí)處理。該系統(tǒng)不僅提升地球物理觀測(cè)網(wǎng)絡(luò)的自動(dòng)化和智能化水平,還為地震監(jiān)測(cè)和數(shù)據(jù)管理提供有力支持。
關(guān)鍵詞:地震預(yù)測(cè);地球物理臺(tái)網(wǎng);實(shí)時(shí)數(shù)據(jù)采集;智能分析;故障報(bào)警;Python
中圖分類號(hào):P315.73" " " 文獻(xiàn)標(biāo)志碼:A" " " " " 文章編號(hào):2095-2945(2025)06-0040-04
Abstract: China is one of the countries with serious earthquake disasters in the world. Improving the level of earthquake prediction and prediction is an urgent need of the country and the public. The development of geophysical networks plays an important role in the fields of earthquake prediction, resource exploration and environmental monitoring. This paper introduces a real-time data acquisition and monitoring system for geophysical network based on Python. The system integrates three core functions: real-time data collection, intelligent analysis and fault alarm. Data acquisition uses Python's requests library to obtain data from seismic observation instruments through simulated login. The intelligent analysis module performs statistical analysis on data in provincial databases, extracts key indicators and evaluates data quality. The fault alarm function monitors the communication status of the instrument. Once an abnormality is detected, the system will automatically trigger an alarm to remind the person on duty to deal with it in a timely manner. This system not only improves the automation and intelligence level of geophysical observation networks, but also provides strong support for earthquake monitoring and data management.
Keywords: earthquake prediction; geophysical network; real-time data acquisition; intelligent analysis; fault alarm; Python
我國(guó)是世界上震害嚴(yán)重的國(guó)家之一,提高地震預(yù)測(cè)預(yù)報(bào)水平是國(guó)家和社會(huì)公眾的迫切需求。盡管地震監(jiān)測(cè)預(yù)報(bào)工作已經(jīng)取得了一些進(jìn)展,但仍面臨著諸多挑戰(zhàn)[1-3]。地球物理學(xué)作為研究地球物理場(chǎng)和地球內(nèi)部結(jié)構(gòu)的科學(xué),在地震預(yù)測(cè)、資源勘探和環(huán)境監(jiān)測(cè)等領(lǐng)域發(fā)揮著重要作用。
地球物理學(xué)科業(yè)務(wù)人員可以通過(guò)多種技術(shù)手段實(shí)現(xiàn)對(duì)觀測(cè)網(wǎng)絡(luò)的高效監(jiān)控和管理,以確保數(shù)據(jù)的連續(xù)性和準(zhǔn)確性,并及時(shí)發(fā)現(xiàn)且解決網(wǎng)絡(luò)問(wèn)題,提高數(shù)據(jù)質(zhì)量。
通過(guò)構(gòu)建基于Nagios地震觀測(cè)網(wǎng)絡(luò)監(jiān)控平臺(tái)[4],實(shí)現(xiàn)對(duì)設(shè)備和服務(wù)的綜合監(jiān)控。趙楠、姜佳寧、趙祖虎等[5-7]通過(guò)編寫(xiě)自動(dòng)化監(jiān)控報(bào)警軟件實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)進(jìn)行監(jiān)控,并對(duì)異常情況發(fā)出告警。崔博聞等[8]通過(guò)編程針對(duì)Oracle數(shù)據(jù)庫(kù)的監(jiān)測(cè)實(shí)現(xiàn)更為復(fù)雜的地球物理管理系統(tǒng)。這些技術(shù)的應(yīng)用不僅促進(jìn)了地球物理觀測(cè)網(wǎng)絡(luò)的自動(dòng)化和智能化,還為地震監(jiān)測(cè)和數(shù)據(jù)管理提供了強(qiáng)有力的支持。
本項(xiàng)研究是使用成熟的技術(shù)實(shí)現(xiàn)地球物理臺(tái)網(wǎng)數(shù)據(jù)的實(shí)時(shí)采集和存儲(chǔ),并對(duì)采集的數(shù)據(jù)進(jìn)行校驗(yàn)和數(shù)據(jù)質(zhì)量的簡(jiǎn)單評(píng)價(jià)。對(duì)于數(shù)據(jù)的缺失、突跳以及超量程等問(wèn)題,研究將提供及時(shí)的處理方法,以提高數(shù)據(jù)的可靠性和及時(shí)性。
1" 系統(tǒng)設(shè)計(jì)
本系統(tǒng)采用Python開(kāi)發(fā),集成了實(shí)時(shí)數(shù)據(jù)采集、智能分析和故障報(bào)警三大核心功能。地球物理臺(tái)網(wǎng)涵蓋了流體、地電、形變、重力和地磁等五大學(xué)科領(lǐng)域[9]。這些學(xué)科的儀器設(shè)備,如地電場(chǎng)、地磁、形變、流體和重力儀器,均可通過(guò)網(wǎng)頁(yè)進(jìn)行信息查詢、配置調(diào)整,并能夠?qū)崟r(shí)讀取儀器記錄的數(shù)據(jù)[10]。數(shù)據(jù)采集功能通過(guò)Python的requests模塊實(shí)現(xiàn),該模塊攜帶用戶認(rèn)證信息模擬登錄過(guò)程,獲取并解析儀器的實(shí)時(shí)數(shù)據(jù)輸出。
智能分析模塊則通過(guò)連接到省級(jí)數(shù)據(jù)庫(kù),對(duì)儀器的3至7天預(yù)處理數(shù)據(jù)進(jìn)行深入分析,提取關(guān)鍵統(tǒng)計(jì)指標(biāo)如平均值和標(biāo)準(zhǔn)差。對(duì)于形變類儀器,該模塊還能計(jì)算當(dāng)前的形變速率,并根據(jù)實(shí)時(shí)數(shù)據(jù)評(píng)估是否接近或超出量程邊界。一旦檢測(cè)到超量程情況,系統(tǒng)將自動(dòng)觸發(fā)警報(bào)機(jī)制。
黑龍江局的地電場(chǎng)儀器自2007年起便開(kāi)始服役,部分儀器因使用年限較長(zhǎng)可能出現(xiàn)死機(jī)或假死現(xiàn)象。故障報(bào)警功能通過(guò)監(jiān)測(cè)數(shù)據(jù)采集情況和儀器的網(wǎng)絡(luò)通信狀態(tài),判斷儀器是否運(yùn)行正常。一旦發(fā)現(xiàn)通信異?;驍?shù)據(jù)采集中斷,系統(tǒng)將通過(guò)聲音警報(bào)提醒值班人員,以便及時(shí)采取相應(yīng)措施。
2" 數(shù)據(jù)實(shí)時(shí)采集
地球物理臺(tái)網(wǎng)各學(xué)科Web管理頁(yè)面相似,需要用戶名和密碼,驗(yàn)證身份信息。驗(yàn)證身份后,可以讀取儀器的參數(shù)、儀器狀態(tài)、下載儀器中存取的數(shù)據(jù)、讀取當(dāng)天的數(shù)據(jù)等。這里以黑龍江省牡丹江中心站密山地震臺(tái)地電場(chǎng)儀作為實(shí)驗(yàn)對(duì)象,設(shè)計(jì)地電場(chǎng)觀測(cè)Web網(wǎng)頁(yè)數(shù)據(jù)提取流程。密山地電場(chǎng)儀登錄后,可以查閱當(dāng)前儀器產(chǎn)出數(shù)據(jù)。
使用Python的requests庫(kù),模擬用戶、密碼登錄,攜帶此次訪問(wèn)的cookies訪問(wèn)下載頁(yè)面,直接保存數(shù)據(jù)。
對(duì)用戶名和密碼進(jìn)行base64編碼,把編碼信息寫(xiě)入請(qǐng)求頭,實(shí)現(xiàn)身份的認(rèn)證,requests.Session()用于保持會(huì)話的持久性,這樣可以在多個(gè)請(qǐng)求之間保持cookies和其他會(huì)話參數(shù)。再次請(qǐng)求當(dāng)前數(shù)據(jù)頁(yè)面,對(duì)數(shù)據(jù)解析。
使用正則表達(dá)式移除返回?cái)?shù)據(jù)中的HTML標(biāo)簽,對(duì)每一行數(shù)據(jù)進(jìn)行分割,第1列為時(shí)間,可以和當(dāng)前日期拼接,轉(zhuǎn)化成可以識(shí)別的datetime格式,便于后面的繪圖,后面幾列為各道數(shù)據(jù)進(jìn)行分割。經(jīng)過(guò)以上的操作,我們獲取當(dāng)前日期的儀器所采集的各測(cè)道數(shù)據(jù)。
我們采用數(shù)據(jù)融合技術(shù),以便于更準(zhǔn)確地展示和評(píng)估密山地震臺(tái)地電場(chǎng)的實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)。圖1詳細(xì)展示了我們的數(shù)據(jù)集成結(jié)果,其中黑色線條代表了從Oracle數(shù)據(jù)庫(kù)中提取的歷史數(shù)據(jù),而灰色線條代表直接從監(jiān)測(cè)儀器采集的實(shí)時(shí)數(shù)據(jù)。確保數(shù)據(jù)的連續(xù)性和完整性,我們收集3天的數(shù)據(jù)集。
由于在每天的0點(diǎn)之后至與省局地球物理臺(tái)網(wǎng)和中心站進(jìn)行數(shù)據(jù)交換之前,存在一段時(shí)間的數(shù)據(jù)缺失,這可能會(huì)影響我們對(duì)地電場(chǎng)變化趨勢(shì)的全面理解。為了彌補(bǔ)這一數(shù)據(jù)空白,直接從地電場(chǎng)監(jiān)測(cè)儀器下載前一天缺失的數(shù)據(jù)段。這種方法不僅確保了數(shù)據(jù)采集的連續(xù)性,而且提高了我們研究的可靠性和有效性。
通過(guò)將這兩部分?jǐn)?shù)據(jù)進(jìn)行精確拼接,我們成功地構(gòu)建了一個(gè)完整的數(shù)據(jù)集,并將其存儲(chǔ)為pandas的DataFrame格式,這為后續(xù)的數(shù)據(jù)分析和可視化提供了極大的便利。
對(duì)于地磁數(shù)據(jù),我們所處理的數(shù)據(jù)集記錄的時(shí)間均以國(guó)際標(biāo)準(zhǔn)時(shí)間(UTC)為基準(zhǔn)。考慮到地區(qū)時(shí)差的影響,將所有時(shí)間數(shù)據(jù)轉(zhuǎn)換為北京時(shí)間(CST)。將數(shù)據(jù)庫(kù)中的UTC時(shí)間數(shù)據(jù)統(tǒng)一加上8個(gè)小時(shí),以實(shí)現(xiàn)時(shí)區(qū)的轉(zhuǎn)換。
流體水位儀、水溫儀,形變的寬頻帶傾斜儀(VP)、垂直擺傾斜儀(VS)、水管傾斜儀(DSQ)、銦瓦棒伸縮儀,重力的相對(duì)重力儀(PET),氣象三要素等均可以通過(guò)網(wǎng)頁(yè)形式獲取當(dāng)前的最新數(shù)據(jù),方法和原理類似,這里就不做過(guò)多的介紹。
為減少儀器訪問(wèn)壓力,我們每10分鐘采集一次數(shù)據(jù)。這不僅能夠降低服務(wù)器負(fù)載,還能節(jié)省計(jì)算成本。
3" 數(shù)據(jù)質(zhì)量監(jiān)控
數(shù)據(jù)質(zhì)量監(jiān)控模塊,通過(guò)一系列校驗(yàn)和異常檢測(cè)手段,全面評(píng)估和提升數(shù)據(jù)質(zhì)量。我們采用基于統(tǒng)計(jì)和規(guī)則的異常檢測(cè)。通過(guò)對(duì)異常值占比統(tǒng)計(jì)和數(shù)據(jù)質(zhì)量評(píng)分,提供數(shù)據(jù)質(zhì)量評(píng)估報(bào)告。并設(shè)定報(bào)警機(jī)制,以便于在數(shù)據(jù)質(zhì)量低于預(yù)期時(shí)及時(shí)通知值班人員。
3.1" 數(shù)據(jù)完整性校驗(yàn)
在數(shù)據(jù)完整性校驗(yàn)方面,所有儀器的采樣率和最新采集數(shù)據(jù)時(shí)間都是已知的。通常情況下,儀器錯(cuò)誤數(shù)據(jù)用NULL表示,我們可以統(tǒng)計(jì)NULL數(shù)量來(lái)獲取缺失數(shù)據(jù)量,并計(jì)算當(dāng)前儀器的連續(xù)率。如果發(fā)現(xiàn)超過(guò)10分鐘或更長(zhǎng)時(shí)間的數(shù)據(jù)缺失,將觸發(fā)報(bào)警。
連續(xù)率的計(jì)算公式是
連續(xù)率=(實(shí)際樣本數(shù)/預(yù)期樣本數(shù))×100%。
3.2" 異常值檢測(cè)
我們通過(guò)從數(shù)據(jù)庫(kù)下載與實(shí)時(shí)數(shù)據(jù)的拼接,基于統(tǒng)計(jì)學(xué)方法進(jìn)行檢測(cè),并對(duì)異常值進(jìn)行標(biāo)注。具體方法是,計(jì)算數(shù)據(jù)庫(kù)中前7天數(shù)據(jù)的均方差作為閾值,如果當(dāng)前產(chǎn)出數(shù)據(jù)的波動(dòng)大于2倍均方差,則被認(rèn)定為異常值,對(duì)異常值進(jìn)行標(biāo)注。
異常值檢測(cè)還可以基于預(yù)定義的規(guī)則進(jìn)行,例如,德都地磁臺(tái)GM-4磁通門(mén)磁力儀Z分量設(shè)置范圍為13~254 nT,H分量設(shè)置為-34~168 nT,D分量磁偏角為-67~-25分,設(shè)置地磁數(shù)據(jù)范圍合理,能有效減少報(bào)警次數(shù),檢測(cè)并標(biāo)注異常值。如果檢測(cè)到的異常值數(shù)量超過(guò)閾值,系統(tǒng)將觸發(fā)報(bào)警。
4" 實(shí)時(shí)報(bào)警
在數(shù)據(jù)質(zhì)量監(jiān)控中,可以通過(guò)聲音報(bào)警、郵件通知和企業(yè)微信消息多種方式,根據(jù)不同場(chǎng)景提供靈活的報(bào)警手段。
4.1" 聲音報(bào)警
聲音報(bào)警是最直接的報(bào)警方式,當(dāng)系統(tǒng)檢測(cè)到數(shù)據(jù)完整性或異常值問(wèn)題時(shí),將通過(guò)揚(yáng)聲器發(fā)出警報(bào)音,提醒值班人員立即查看系統(tǒng)狀態(tài)。
4.2" 郵件通知
郵件通知適用于需要詳細(xì)記錄報(bào)警信息的場(chǎng)景。當(dāng)數(shù)據(jù)質(zhì)量出現(xiàn)異常時(shí),系統(tǒng)會(huì)自動(dòng)發(fā)送郵件至相關(guān)負(fù)責(zé)人,郵件內(nèi)容可包含報(bào)警詳情、影響范圍及建議處理措施,確保問(wèn)題能夠被及時(shí)關(guān)注和跟進(jìn)。
4.3" 企業(yè)微信通知
如果有兼顧外部網(wǎng)絡(luò)環(huán)境,可以通過(guò)企業(yè)微信進(jìn)行消息推送。企業(yè)微信消息是一種便捷的實(shí)時(shí)通信方式,可以通過(guò)企業(yè)微信API實(shí)現(xiàn)報(bào)警消息的發(fā)送。
5" 結(jié)束語(yǔ)
本系統(tǒng)在地球物理臺(tái)網(wǎng)中應(yīng)用廣泛,特別是電磁學(xué)科、形變學(xué)科、流體學(xué)科等領(lǐng)域。通過(guò)實(shí)時(shí)數(shù)據(jù)采集和智能分析,系統(tǒng)能夠提供精準(zhǔn)的設(shè)備狀態(tài)和數(shù)據(jù)質(zhì)量監(jiān)控。在實(shí)際應(yīng)用中,系統(tǒng)能夠自動(dòng)收集和整合各類觀測(cè)數(shù)據(jù),并通過(guò)數(shù)據(jù)融合技術(shù)展示監(jiān)測(cè)結(jié)果。
對(duì)于數(shù)據(jù)的完整性和質(zhì)量,系統(tǒng)通過(guò)實(shí)時(shí)監(jiān)控、異常值檢測(cè)和質(zhì)量評(píng)估等功能,確保數(shù)據(jù)的可靠性。系統(tǒng)在發(fā)現(xiàn)異常情況時(shí),會(huì)通過(guò)聲音報(bào)警、郵件通知和企業(yè)微信消息等方式進(jìn)行警報(bào),幫助值班人員及時(shí)響應(yīng)。此外,為了減少儀器訪問(wèn)壓力,系統(tǒng)設(shè)置了每10分鐘采集一次數(shù)據(jù),優(yōu)化了數(shù)據(jù)獲取效率。
結(jié)合這些功能,本系統(tǒng)不僅提高了地球物理臺(tái)網(wǎng)的自動(dòng)化和智能化水平,還為日常工作提供了定制化服務(wù),減少了人為干預(yù),增強(qiáng)了數(shù)據(jù)管理和分析的能力。隨著臺(tái)網(wǎng)儀器的增加,系統(tǒng)的智能分析框架將進(jìn)一步擴(kuò)展,為地震監(jiān)測(cè)和地球物理數(shù)據(jù)管理提供更強(qiáng)有力的支持。
參考文獻(xiàn):
[1] 劉桂萍.我國(guó)地震預(yù)測(cè)回顧與展望[J].城市與減災(zāi),2020(6):5-9.
[2] 蔣海昆.重視預(yù)報(bào)過(guò)程反思提高地震預(yù)測(cè)水平[J].國(guó)際地震動(dòng)態(tài),2005(5):151-153.
[3] 丁鑒海,劉杰,余素榮.中國(guó)地震預(yù)報(bào)探索與實(shí)踐[J].地震,2000(S1):12-17.
[4] 高東輝,孟祥龍,張守國(guó),等.基于Nagios的網(wǎng)絡(luò)監(jiān)控系統(tǒng)在黑龍江地震監(jiān)測(cè)網(wǎng)絡(luò)中的應(yīng)用[J].防災(zāi)減災(zāi)學(xué)報(bào),2013,29(2):67-73.
[5] 趙楠,石英杰,江沛春.區(qū)域虛擬地震臺(tái)網(wǎng)數(shù)據(jù)流監(jiān)控軟件研發(fā)[J].地震地磁觀測(cè)與研究,2015,36(4):150-153.
[6] 姜佳寧,吳利軍,徐磊,等.地震觀測(cè)儀器自動(dòng)監(jiān)控軟件設(shè)計(jì)與實(shí)現(xiàn)[J].地震地磁觀測(cè)與研究,2019,40(4):167-175.
[7] 趙祖虎,吳利軍,姜佳寧,等.地球物理臺(tái)網(wǎng)儀器監(jiān)控可視化系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].地震地磁觀測(cè)與研究,2022,43(2):233-241.
[8] 崔博聞,韓孔艷,費(fèi)伯秀,等.北京市地球物理臺(tái)網(wǎng)數(shù)據(jù)運(yùn)行監(jiān)控系統(tǒng)[J].科技創(chuàng)新與應(yīng)用,2022,12(6):39-41,45.
[9] 王軍,余丹,黃經(jīng)國(guó),等.基于大數(shù)據(jù)架構(gòu)的地球物理觀測(cè)數(shù)據(jù)管理系統(tǒng)[J].中國(guó)地震,2024,40(1):144-159.
[10] 李蒙亞,楊碩,儲(chǔ)翔,等.基于地殼形變觀測(cè)網(wǎng)頁(yè)結(jié)構(gòu)的實(shí)時(shí)數(shù)據(jù)自動(dòng)獲取及應(yīng)用[J].地震地磁觀測(cè)與研究,2022,43(5):208-212.
基金項(xiàng)目:黑龍江省地震局科研項(xiàng)目(202301);黑龍江省地震局創(chuàng)新團(tuán)隊(duì)(無(wú)編號(hào))
第一作者簡(jiǎn)介:高峰(1976-),男,碩士,副高級(jí)工程師。研究方向?yàn)榈卣鸨O(jiān)測(cè)、預(yù)報(bào)與地電地磁數(shù)據(jù)綜合分析應(yīng)用。