李明建，趙旭生，談國文，宋志強，廖成

(1.瓦斯災(zāi)害監(jiān)控與應(yīng)急技術(shù)國家重點實驗室， 重慶 400037；2.中煤科工集團重慶研究院有限公司， 重慶 400037)

0 引言

煤礦瓦斯災(zāi)害影響因素眾多，防治難度較大，是當(dāng)前和未來影響我國煤與瓦斯突出礦井及高瓦斯礦井安全生產(chǎn)的最主要威脅之一[1]。國家及地方各級煤礦安全監(jiān)管監(jiān)察部門持續(xù)加大力度對轄區(qū)內(nèi)煤礦進行綜合或瓦斯安全專項安全執(zhí)法檢查。隨著煤礦安全執(zhí)法裝備及技術(shù)的快速發(fā)展，監(jiān)管監(jiān)察執(zhí)法人員技術(shù)裝備已大量投入應(yīng)用，但在執(zhí)法檢查工作安排及執(zhí)法對象重點篩查方面，當(dāng)前尚未有先進、成熟的裝備系統(tǒng)大量投入應(yīng)用。如何快速、準(zhǔn)確地篩選區(qū)域內(nèi)部分煤礦作為執(zhí)法檢查重點煤礦，確定瓦斯安全執(zhí)法檢查工作重點，很大程度上決定了監(jiān)管監(jiān)察執(zhí)法檢查工作效率。

近年來，國家、地方政府及煤炭企業(yè)對煤礦瓦斯治理的投入穩(wěn)步增加，煤礦瓦斯災(zāi)害預(yù)警技術(shù)引起了相關(guān)科研單位高度重視，出現(xiàn)了一些面向單座煤礦的瓦斯災(zāi)害預(yù)警技術(shù)及系統(tǒng)[2-4]，并得到了較好的推廣應(yīng)用，一定程度上提高了煤礦瓦斯災(zāi)害風(fēng)險預(yù)警與防控能力。但面向各級煤礦安全監(jiān)管監(jiān)察部門、礦業(yè)集團公司，對特定區(qū)域內(nèi)所有煤礦瓦斯災(zāi)害風(fēng)險進行宏觀、超前預(yù)警(即區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警)的相關(guān)技術(shù)及系統(tǒng)研究尚處于起步階段[5-6]，少有成功應(yīng)用案例。

研究面向省區(qū)級、地市級、縣級或煤礦區(qū)的區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警技術(shù)及系統(tǒng)，可為各級煤礦安全監(jiān)管監(jiān)察部門提供快速精準(zhǔn)的執(zhí)法檢查輔助決策工具，為礦業(yè)集團公司提供內(nèi)部瓦斯災(zāi)害風(fēng)險預(yù)警與自查工具，已成為當(dāng)前煤礦安全監(jiān)管監(jiān)察技術(shù)領(lǐng)域發(fā)展趨勢之一。區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警以區(qū)域內(nèi)外所有影響因素涉及的數(shù)據(jù)的有效采集為基礎(chǔ)，因此，本文分析了區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警基礎(chǔ)數(shù)據(jù)的特征及其分類，針對各類型的基礎(chǔ)數(shù)據(jù)研究了相應(yīng)的數(shù)據(jù)采集技術(shù)，并設(shè)計了區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警數(shù)據(jù)采集系統(tǒng)。

1 風(fēng)險預(yù)警基礎(chǔ)數(shù)據(jù)特征

區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警基礎(chǔ)數(shù)據(jù)具有以下特征：

(1) 數(shù)據(jù)來源廣泛。不僅包括區(qū)域內(nèi)各煤礦的安全監(jiān)控系統(tǒng)實時數(shù)據(jù)、煤礦瓦斯災(zāi)害預(yù)警結(jié)果及指標(biāo)數(shù)據(jù)，還包括區(qū)域內(nèi)各煤礦所處自然環(huán)境、生產(chǎn)系統(tǒng)、瓦斯防治等煤礦固有影響因素相關(guān)數(shù)據(jù)，甚至還包括區(qū)域外部的國家宏觀經(jīng)濟環(huán)境數(shù)據(jù)、區(qū)域內(nèi)外煤礦瓦斯災(zāi)害事故數(shù)據(jù)、全國及區(qū)域所在煤礦安全監(jiān)管監(jiān)察部門政策法規(guī)發(fā)布力度、執(zhí)法檢查強度等。上述特征決定了區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警數(shù)據(jù)采集技術(shù)和系統(tǒng)必須適應(yīng)互聯(lián)網(wǎng)環(huán)境。

(2) 數(shù)據(jù)格式多樣。既有大量以結(jié)構(gòu)化方式存儲的關(guān)系數(shù)據(jù)，也有非結(jié)構(gòu)化存儲的技術(shù)文檔、圖像、視頻、聲音等數(shù)據(jù)，還有以半結(jié)構(gòu)化方式存儲的網(wǎng)頁、文本文件等數(shù)據(jù)。

(3) 數(shù)據(jù)的時間和空間維度、屬性各不相同。從時間維度來說，既有以秒、分鐘為單位存儲的實時監(jiān)測數(shù)據(jù)，也有以班或天為單位存儲的瓦斯突出參數(shù)檢測、井下現(xiàn)場觀測數(shù)據(jù)，還有以旬、月存儲的安全檢查統(tǒng)計數(shù)據(jù)。從空間維度來說，既有來源于區(qū)域內(nèi)各個煤礦的明細數(shù)據(jù)，也有區(qū)域所處各級煤礦安全監(jiān)管監(jiān)察部門的匯總數(shù)據(jù)，還有來源于全國宏觀經(jīng)濟及煤礦安全態(tài)勢的統(tǒng)計數(shù)據(jù)。

綜上所述，區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警基礎(chǔ)數(shù)據(jù)具有多源、異構(gòu)、海量、多維等特征，數(shù)據(jù)采集和存儲面臨以下技術(shù)問題：① 信息采集不全面，僅僅關(guān)注區(qū)域內(nèi)具體煤礦的信息，而忽略了區(qū)域外部的影響因素相關(guān)數(shù)據(jù)。② 主要采集結(jié)構(gòu)化數(shù)據(jù)，很少采集技術(shù)文檔、網(wǎng)頁、音頻、視頻等半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，信息采集模式單一、維度固化。③ 缺少有效的數(shù)據(jù)預(yù)處理方法，導(dǎo)致信息質(zhì)量不高，集成度低，加工利用難度大。上述問題嚴(yán)重影響了區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警的準(zhǔn)確性和及時性，因此，亟需研究適用于互聯(lián)網(wǎng)環(huán)境的風(fēng)險預(yù)警數(shù)據(jù)采集技術(shù)，實現(xiàn)風(fēng)險預(yù)警信息的全面、準(zhǔn)確、及時采集和有效存儲，為區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警提供可靠的數(shù)據(jù)資源。

2 風(fēng)險預(yù)警基礎(chǔ)數(shù)據(jù)分類

根據(jù)系統(tǒng)論及事故致因理論研究成果，影響區(qū)域內(nèi)瓦斯災(zāi)害風(fēng)險態(tài)勢的因素不僅包括單個煤礦的自然環(huán)境風(fēng)險因素、生產(chǎn)系統(tǒng)風(fēng)險因素、瓦斯防治風(fēng)險因素等直接因素，而且包括所在區(qū)域乃至全國的宏觀經(jīng)濟環(huán)境、煤炭價格及供需關(guān)系、安全監(jiān)管監(jiān)察影響因素及區(qū)域內(nèi)外瓦斯事故情況等間接因素，統(tǒng)稱宏觀安全環(huán)境風(fēng)險因素[7-8]。為表征區(qū)域煤礦瓦斯災(zāi)害風(fēng)險態(tài)勢，需全面、準(zhǔn)確、及時采集所有影響因素相關(guān)數(shù)據(jù)，在此基礎(chǔ)上提取風(fēng)險預(yù)警指標(biāo)，在風(fēng)險預(yù)警模型驅(qū)動下生成風(fēng)險預(yù)警指數(shù)，進而劃分預(yù)警等級?；谏鲜龇治?，區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警基礎(chǔ)數(shù)據(jù)按其表征內(nèi)涵可分為區(qū)域內(nèi)礦井自然環(huán)境風(fēng)險數(shù)據(jù)、區(qū)域內(nèi)礦井生產(chǎn)系統(tǒng)風(fēng)險數(shù)據(jù)、區(qū)域內(nèi)礦井瓦斯防治風(fēng)險數(shù)據(jù)、宏觀安全環(huán)境風(fēng)險數(shù)據(jù)4類，如圖1所示。

圖1 區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警數(shù)據(jù)分類Fig.1 Classification of gas disaster risk early warning data in regional coal mines

(1) 區(qū)域內(nèi)礦井自然環(huán)境風(fēng)險數(shù)據(jù)包括礦井瓦斯等級、煤層最大瓦斯含量、最大瓦斯壓力、最大開采深度、地質(zhì)構(gòu)造復(fù)雜程度、突出煤層穩(wěn)定程度、突出煤層厚度最大變化率、礦井絕對瓦斯涌出量及相對瓦斯涌出量等。

(2) 區(qū)域內(nèi)礦井生產(chǎn)系統(tǒng)風(fēng)險數(shù)據(jù)包括礦井“四量”(開拓煤量、準(zhǔn)備煤量、回采煤量、抽采達標(biāo)煤量)合規(guī)程度、礦井采掘部署合規(guī)程度、礦井采掘機械化水平、礦井采掘工作面數(shù)量及防突工作面數(shù)量、石門揭煤或上山掘進等高風(fēng)險采掘工程數(shù)量、礦井通風(fēng)能力變化率及礦井重大通風(fēng)隱患數(shù)量變化率等。

(3) 區(qū)域內(nèi)礦井瓦斯防治風(fēng)險數(shù)據(jù)包括安全監(jiān)控系統(tǒng)故障次數(shù)、礦井瓦斯超限總次數(shù)、工作面平均瓦斯超限次數(shù)、礦井瓦斯抽采濃度變化率、防突工作面瓦斯抽采達標(biāo)率、防突工作面日常預(yù)測平均超標(biāo)次數(shù)、采掘工作面進度變化率、“一通三防”隱患及違章次數(shù)、礦井瓦斯災(zāi)害預(yù)警紅色平均次數(shù)等。

(4) 宏觀安全環(huán)境風(fēng)險數(shù)據(jù)包括反映宏觀經(jīng)濟運行狀態(tài)的制造業(yè)采購經(jīng)理指數(shù)(PMI)、工業(yè)生產(chǎn)者購進價格指數(shù)(IPI)、工業(yè)生產(chǎn)者出廠價格指數(shù)(PPI)，反映煤炭價格及供需關(guān)系的中國煤炭價格指數(shù)(CCPI)，反映季節(jié)及節(jié)假日影響的歷年月度瓦斯事故次數(shù)、歷年各節(jié)假日期間瓦斯事故次數(shù)，以及反映安全監(jiān)管監(jiān)察力度的行業(yè)法規(guī)修制訂數(shù)量、級別、綜合或?qū)ｍ棃?zhí)法檢查次數(shù)等數(shù)據(jù)。

從數(shù)據(jù)來源及信息特征角度來說，自然環(huán)境風(fēng)險數(shù)據(jù)和生產(chǎn)系統(tǒng)風(fēng)險數(shù)據(jù)一般來源于具體礦井基本情況及中長期規(guī)劃，具有靜態(tài)特征，變化頻率較低；瓦斯防治風(fēng)險數(shù)據(jù)主要來源于煤礦安全監(jiān)控系統(tǒng)和瓦斯災(zāi)害預(yù)警系統(tǒng)，大多具有動態(tài)特征；而宏觀安全環(huán)境風(fēng)險數(shù)據(jù)主要來源于互聯(lián)網(wǎng)，大多具有動態(tài)特征。此外，區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警系統(tǒng)一般運行于煤礦安全監(jiān)察部門政務(wù)內(nèi)網(wǎng)或礦業(yè)集團公司局域網(wǎng)，與相關(guān)煤礦或門戶網(wǎng)站間的數(shù)據(jù)傳輸主要通過互聯(lián)網(wǎng)或虛擬專用網(wǎng)絡(luò)(VPN)等公共網(wǎng)絡(luò)，因此，應(yīng)重視區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警數(shù)據(jù)采集的網(wǎng)絡(luò)安全。

2.6.2 綜合質(zhì)量評分 以上述2個主成分因子對10批藥材樣品質(zhì)量進行綜合評分，結(jié)果見表8。由表8可知，S7藥材樣品主成分因子綜合得分最高，該批樣品中成分1、2、5、6、9、10、11的含量相對較高，整體質(zhì)量相對較好綜合得分越高表示藥材樣品整體質(zhì)量越好[9]）。

3 風(fēng)險預(yù)警典型數(shù)據(jù)采集技術(shù)

在影響區(qū)域煤礦瓦斯災(zāi)害風(fēng)險的各類數(shù)據(jù)中，礦井瓦斯防治風(fēng)險數(shù)據(jù)對區(qū)域煤礦瓦斯災(zāi)害風(fēng)險有直接影響，而宏觀安全環(huán)境風(fēng)險數(shù)據(jù)采集技術(shù)較為復(fù)雜。因此，本文分別以礦井瓦斯防治風(fēng)險數(shù)據(jù)中具有結(jié)構(gòu)化特征的煤礦安全監(jiān)控及瓦斯災(zāi)害預(yù)警數(shù)據(jù)、宏觀安全環(huán)境風(fēng)險數(shù)據(jù)中具有半結(jié)構(gòu)化特征的監(jiān)管監(jiān)察執(zhí)法檢查數(shù)據(jù)為例，詳述2種數(shù)據(jù)采集技術(shù)。此外，對具有非結(jié)構(gòu)化特征的煤礦音視頻監(jiān)控數(shù)據(jù)采集技術(shù)現(xiàn)狀進行了簡要說明。

3.1 煤礦安全監(jiān)控及瓦斯災(zāi)害預(yù)警數(shù)據(jù)采集技術(shù)

經(jīng)過多年的研究與實踐，煤礦安全監(jiān)控系統(tǒng)實現(xiàn)了井下所有重要場景的全面感知、數(shù)據(jù)準(zhǔn)確傳輸、信息融合，不僅在煤礦安全生產(chǎn)中發(fā)揮了重要作用[9]，而且是煤礦瓦斯災(zāi)害預(yù)警的重要數(shù)據(jù)來源[10]。準(zhǔn)確、可靠、及時采集與瓦斯災(zāi)害風(fēng)險預(yù)警相關(guān)的安全監(jiān)測數(shù)據(jù)，一方面要滿足安全監(jiān)控系統(tǒng)的安全管理要求，另一方面要適應(yīng)具體礦井的網(wǎng)絡(luò)環(huán)境要求，同時還要滿足區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警模型的要求。當(dāng)前煤礦安全監(jiān)控系統(tǒng)典型的數(shù)據(jù)共享技術(shù)有文本交換文件、數(shù)據(jù)庫直接訪問、OPC、Web Service等，其中文本交換文件具有格式簡單、透明傳輸、解析方便等特點，為煤礦安全監(jiān)控系統(tǒng)所必備[11]?；谖谋窘粨Q文件的安全監(jiān)控數(shù)據(jù)采集技術(shù)雖然簡單，但仍然需要解決讀寫鎖定、完整性校驗、變化監(jiān)測等技術(shù)問題。

煤礦瓦斯災(zāi)害預(yù)警系統(tǒng)所生成的預(yù)警結(jié)果信息是實現(xiàn)區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警的重要信息支撐。煤礦瓦斯災(zāi)害預(yù)警系統(tǒng)的預(yù)警結(jié)果具有“正常定時發(fā)布，異常及時發(fā)布”的時間特性，全面、準(zhǔn)確、及時地采集煤礦瓦斯災(zāi)害預(yù)警結(jié)果信息應(yīng)采用定時檢測與變化捕獲相結(jié)合的策略：對于采掘工作面基本檔案、工作面采掘進度等信息，可使用后臺定時器提醒,每天在檢修班次定時采集上傳；而對于實時生成發(fā)布的預(yù)警結(jié)果，則可采用消息隊列、數(shù)據(jù)庫變化數(shù)據(jù)捕獲(CDC)[12-13]等技術(shù)采集上傳。

綜合煤礦安全監(jiān)控信息和煤礦瓦斯災(zāi)害預(yù)警信息特征，上述數(shù)據(jù)采集子系統(tǒng)應(yīng)滿足無侵入、跨網(wǎng)絡(luò)、高時效性、運行環(huán)境多樣等系統(tǒng)約束，在系統(tǒng)設(shè)計時應(yīng)選用兼容性好、環(huán)境適應(yīng)能力強、具有較好并發(fā)控制能力的軟件架構(gòu)及軟件實現(xiàn)平臺。在現(xiàn)代軟件架構(gòu)歷史上，經(jīng)歷了C/S和B/S架構(gòu)、面向組件架構(gòu)、面向服務(wù)架構(gòu)3次大的變革[14]，因Web服務(wù)具有自包含、自描述、組件化等優(yōu)勢，現(xiàn)已成為面向服務(wù)架構(gòu)最主要的實現(xiàn)方法。但傳統(tǒng)Web服務(wù)采用XML格式的SOAP協(xié)議，對調(diào)用客戶端要求較高，因而也限制了其跨平臺能力；新一代Web 應(yīng)用程序接口(Web API)采用比SOAP協(xié)議更底層的純文本格式http協(xié)議，相比傳統(tǒng)Web服務(wù)來說，對調(diào)用者要求更低、跨平臺能力更強，因而成為面向服務(wù)架構(gòu)的最新發(fā)展趨勢。

根據(jù)上述分析，煤礦安全監(jiān)控及瓦斯災(zāi)害預(yù)警數(shù)據(jù)采集子系統(tǒng)采用基于跨平臺Web API的面向服務(wù)軟件架構(gòu)，總體分解為預(yù)警數(shù)據(jù)采集上傳服務(wù)模塊和采集上傳客戶端程序2個部分，如圖2所示。

圖2 煤礦安全監(jiān)控及瓦斯災(zāi)害預(yù)警數(shù)據(jù)采集子系統(tǒng)架構(gòu)Fig.2 Framework of safety monitoring and gas disaster early warning data collection subsystem

(1) 預(yù)警數(shù)據(jù)采集上傳服務(wù)作為服務(wù)提供者，接收來自包括瀏覽器及智能手機在內(nèi)的跨平臺客戶端調(diào)用，并與風(fēng)險預(yù)警采集數(shù)據(jù)庫進行交互；采用.NET Core跨平臺框架及C#語言開發(fā)，使用JWTBearer中間件實現(xiàn)安全認證，使用Entity Framework Core實現(xiàn)數(shù)據(jù)持久化；采用跨平臺Web API架構(gòu)的預(yù)警數(shù)據(jù)采集上傳服務(wù)模塊部署環(huán)境靈活，既可部署于Windows操作系統(tǒng)Web服務(wù)器中或承載于Windows控制臺程序，也可部署至Linux操作系統(tǒng)，具有跨平臺、服務(wù)結(jié)構(gòu)簡單、客戶端兼容性好等技術(shù)優(yōu)勢[15]。

(2) 預(yù)警數(shù)據(jù)采集上傳客戶端程序作為服務(wù)的消費者，用于定時或不定時通過http協(xié)議調(diào)用預(yù)警數(shù)據(jù)采集上傳服務(wù)模塊的相應(yīng)方法，將安全監(jiān)控系統(tǒng)數(shù)據(jù)和瓦斯災(zāi)害預(yù)警系統(tǒng)數(shù)據(jù)上傳至區(qū)域風(fēng)險預(yù)警采集數(shù)據(jù)庫。在部署時可根據(jù)安全監(jiān)控系統(tǒng)或瓦斯災(zāi)害預(yù)警系統(tǒng)所在計算機環(huán)境需求，采用不同的開發(fā)及運行模式，例如Windows Form、WPF(Windows Presentation Foundation)程序、智能手機應(yīng)用程序(App)，甚至簡單的HTML網(wǎng)頁程序。上述采集子系統(tǒng)所研究的軟件架構(gòu)技術(shù)也適用于其他類型風(fēng)險數(shù)據(jù)采集子系統(tǒng)。

3.2 宏觀安全環(huán)境風(fēng)險數(shù)據(jù)采集技術(shù)

宏觀安全環(huán)境風(fēng)險數(shù)據(jù)來源較為復(fù)雜，但基本上都能從互聯(lián)網(wǎng)上找到來源：反映國家宏觀經(jīng)濟運行態(tài)勢的指標(biāo)可從國家統(tǒng)計局統(tǒng)計數(shù)據(jù)網(wǎng)站(http://data.stats.gov.cn/)獲取；反映煤礦價格及供需關(guān)系的數(shù)據(jù)可從秦皇島煤炭網(wǎng)(http://www.cqcoal.com/exp/exponent.jsp)或商務(wù)部商務(wù)播報(http://cif.mofcom.gov.cn/cif/html/)中獲??；反映所在區(qū)域煤礦安全監(jiān)管監(jiān)察力度及安全檢查執(zhí)法力度的數(shù)據(jù)可從各省煤礦安全監(jiān)察局網(wǎng)站獲??；瓦斯災(zāi)害事故統(tǒng)計數(shù)據(jù)可從國家煤礦安全監(jiān)察局及地方煤礦安全監(jiān)察局網(wǎng)站事故通報、事故調(diào)查板塊獲取。

上述宏觀安全環(huán)境風(fēng)險數(shù)據(jù)可定時通過人工查詢相應(yīng)網(wǎng)站、搜索相關(guān)指標(biāo)并獲取指標(biāo)信息完成采集。為了提高采集效率及準(zhǔn)確性，可采用網(wǎng)絡(luò)爬蟲技術(shù)從相關(guān)網(wǎng)站自動下載原始網(wǎng)頁，消除噪聲后通過主題詞提取有用信息并存儲至風(fēng)險預(yù)警采集數(shù)據(jù)庫。網(wǎng)絡(luò)爬蟲也稱為“蜘蛛”，可以自動化瀏覽網(wǎng)絡(luò)中的信息，其主要作用是在海量的互聯(lián)網(wǎng)信息中爬取并保存有效信息[16]。網(wǎng)絡(luò)爬蟲按照實現(xiàn)技術(shù)及目標(biāo)可分為通用網(wǎng)絡(luò)爬蟲、主題網(wǎng)絡(luò)爬蟲、增量式網(wǎng)絡(luò)爬蟲和深層網(wǎng)絡(luò)爬蟲4類。其中主題網(wǎng)絡(luò)爬蟲可按給定的主題、帶優(yōu)先級的URL列表及終止條件有目的地進行爬取，其系統(tǒng)結(jié)構(gòu)分為主題URL隊列管理模塊、頁面提取模塊、頁面分析模塊、主題相關(guān)性計算模塊、主題URL評價模塊、頁面存儲模塊[17]?，F(xiàn)以通過主題網(wǎng)絡(luò)爬蟲獲取山西省煤礦安全監(jiān)察局執(zhí)法檢查數(shù)據(jù)為例，闡述互聯(lián)網(wǎng)環(huán)境下宏觀安全環(huán)境風(fēng)險數(shù)據(jù)采集過程，如圖3所示。

圖3 煤礦安全監(jiān)管監(jiān)察執(zhí)法檢查數(shù)據(jù)采集流程Fig.3 Data collection process of coal mine safety supervision, law enforcement and inspection

通過主題網(wǎng)絡(luò)爬蟲獲取山西省煤礦安全監(jiān)察局執(zhí)法檢查數(shù)據(jù)的主要步驟如下：

(1) 主題網(wǎng)絡(luò)爬蟲以山西省煤礦安全監(jiān)察網(wǎng)主頁作為初始URL種子，向下爬取與給定主題詞匹配的“政務(wù)信息”“煤監(jiān)月報”“執(zhí)法情況”，獲取煤監(jiān)月報、執(zhí)法情況等URL列表。

(2) 通過Chrome、Firefox等瀏覽器內(nèi)核發(fā)送http請求，接收返回的頁面內(nèi)容，保存到主題網(wǎng)頁庫，從中進一步提取URL并放入主題URL列表。

(3) 從URL列表中檢索執(zhí)法統(tǒng)計附件URL，重新發(fā)起請求并下載附件。

(4) 將網(wǎng)頁內(nèi)容及附件信息發(fā)送給主題信息二次加工模塊，通過Python xlrd模塊提取各分局應(yīng)監(jiān)察煤礦數(shù)、實際監(jiān)察煤礦數(shù)、發(fā)現(xiàn)隱患數(shù)量、整改隱患數(shù)量等以電子表格發(fā)布的半結(jié)構(gòu)化數(shù)據(jù)，經(jīng)質(zhì)量估計后調(diào)用Python pymssql模塊保存至區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警采集數(shù)據(jù)庫。

3.3 煤礦音視頻監(jiān)控數(shù)據(jù)采集概述

視頻和音頻監(jiān)控數(shù)據(jù)是典型的非結(jié)構(gòu)化數(shù)據(jù)。煤礦井下重要作業(yè)場所音視頻監(jiān)控是煤礦的“順風(fēng)耳”“千里眼”，不僅是智能化礦井設(shè)計、建設(shè)、驗收的重要標(biāo)準(zhǔn)之一，也是進行遠程監(jiān)管監(jiān)察、人員違章識別、安全風(fēng)險預(yù)警的重要數(shù)據(jù)來源之一。

根據(jù)GB/T 34679—2017《智慧礦山信息系統(tǒng)通用技術(shù)規(guī)范》、GB/T 51272—2018 《煤炭工業(yè)智能化礦井設(shè)計標(biāo)準(zhǔn)》要求，煤礦井下圖像監(jiān)控系統(tǒng)必須提供實時調(diào)用、保存和回放的二次開發(fā)接口，生產(chǎn)系統(tǒng)必須具備音頻、視頻監(jiān)控，實現(xiàn)無人值守的系統(tǒng)應(yīng)與音頻、視頻監(jiān)控聯(lián)動。另外，根據(jù)2015年發(fā)布的《國家安全生產(chǎn)監(jiān)管信息平臺總體建設(shè)方案》，國家安監(jiān)總局已建成全國煤礦安全生產(chǎn)大數(shù)據(jù)平臺，主要產(chǎn)煤省煤礦安全監(jiān)察局已經(jīng)初步建成了省級煤礦事故分析平臺，實現(xiàn)了煤礦工業(yè)視頻監(jiān)控數(shù)據(jù)采集聯(lián)網(wǎng)上傳功能。上述行業(yè)標(biāo)準(zhǔn)和規(guī)范的出臺實施、基礎(chǔ)信息工程的建成使用，為區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警典型非結(jié)構(gòu)化數(shù)據(jù)采集提供了關(guān)鍵數(shù)據(jù)支撐，大規(guī)模音視頻數(shù)據(jù)采集不再成為技術(shù)難題。當(dāng)然，從海量音視頻中提取對煤礦瓦斯災(zāi)害風(fēng)險預(yù)警有用的信息，是區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警系統(tǒng)的重要研究課題和技術(shù)難題，本文不再詳細闡述。

4 系統(tǒng)實現(xiàn)及現(xiàn)場試驗

在重點研究煤礦信息自動采集技術(shù)和互聯(lián)網(wǎng)宏觀安全環(huán)境風(fēng)險數(shù)據(jù)采集技術(shù)的基礎(chǔ)上，設(shè)計了區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警數(shù)據(jù)采集系統(tǒng)。該系統(tǒng)包括自動采集數(shù)據(jù)的煤礦安全監(jiān)控及瓦斯災(zāi)害預(yù)警數(shù)據(jù)采集上傳子系統(tǒng)、用于人工錄入的煤礦安全基礎(chǔ)數(shù)據(jù)錄入子系統(tǒng)、基于網(wǎng)絡(luò)爬蟲的宏觀安全環(huán)境風(fēng)險數(shù)據(jù)采集子系統(tǒng)、風(fēng)險預(yù)警數(shù)據(jù)采集服務(wù)器及風(fēng)險預(yù)警數(shù)據(jù)采集管控子系統(tǒng)等，系統(tǒng)結(jié)構(gòu)如圖4所示。

區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警數(shù)據(jù)采集系統(tǒng)作為煤與瓦斯突出災(zāi)害風(fēng)險遠程預(yù)警平臺的重要組成部分，在山西省陽泉礦區(qū)進行了現(xiàn)場試驗。在現(xiàn)場試驗過程中，全面采集了陽泉礦區(qū)5對礦井的安全監(jiān)控系統(tǒng)及突出災(zāi)害預(yù)警數(shù)據(jù)、自然環(huán)境風(fēng)險因素、生產(chǎn)系統(tǒng)風(fēng)險因素以及瓦斯防治風(fēng)險因素等基礎(chǔ)數(shù)據(jù)。宏觀安全環(huán)境風(fēng)險數(shù)據(jù)主要從國家統(tǒng)計局統(tǒng)計數(shù)據(jù)網(wǎng)、國家煤礦安全監(jiān)察局及山西煤礦安全監(jiān)察網(wǎng)中爬取?，F(xiàn)場試驗運行效果如圖5所示。

圖4 區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)Fig.4 Structure of data collection system of gas disaster risk early warning for regional coal mines

圖5 陽泉礦區(qū)瓦斯災(zāi)害風(fēng)險預(yù)警數(shù)據(jù)采集試驗效果Fig.5 Test effect of gas disaster risk early warning data collection in Yangquan mining area

由圖5可見，在突出風(fēng)險預(yù)警信息板模塊中全面顯示了宏觀安全環(huán)境風(fēng)險數(shù)據(jù)、礦井安全監(jiān)控及瓦斯災(zāi)害預(yù)警數(shù)據(jù)、礦井自然環(huán)境風(fēng)險數(shù)據(jù)、礦井生產(chǎn)系統(tǒng)風(fēng)險數(shù)據(jù)及瓦斯防治風(fēng)險數(shù)據(jù)等當(dāng)期采集條數(shù)、同比及環(huán)比變化率。系統(tǒng)管理人員可方便地獲知區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警數(shù)據(jù)采集系統(tǒng)運行狀態(tài)。數(shù)據(jù)采集系統(tǒng)實現(xiàn)了互聯(lián)網(wǎng)環(huán)境下陽泉礦區(qū)煤礦安全監(jiān)控及瓦斯災(zāi)害預(yù)警數(shù)據(jù)、宏觀安全環(huán)境風(fēng)險數(shù)據(jù)等自動、可靠、及時采集和保存。

5 結(jié)論

(1) 分析了區(qū)域煤礦瓦斯災(zāi)害風(fēng)險數(shù)據(jù)的特征、分類及相應(yīng)的數(shù)據(jù)采集技術(shù)，重點研究了煤礦安全監(jiān)控及煤礦瓦斯災(zāi)害預(yù)警數(shù)據(jù)、基于互聯(lián)網(wǎng)的宏觀安全環(huán)境風(fēng)險數(shù)據(jù)采集技術(shù)。

(2) 設(shè)計了區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警數(shù)據(jù)采集系統(tǒng)，實現(xiàn)了服務(wù)于區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警的煤礦自然環(huán)境風(fēng)險數(shù)據(jù)、煤礦生產(chǎn)系統(tǒng)風(fēng)險數(shù)據(jù)、煤礦瓦斯防治風(fēng)險數(shù)據(jù)及宏觀安全環(huán)境風(fēng)險數(shù)據(jù)等4類預(yù)警基礎(chǔ)數(shù)據(jù)的采集與存儲。

(3) 現(xiàn)場試驗表明，基于.NET Core跨平臺Web API技術(shù)的煤礦安全監(jiān)控及瓦斯災(zāi)害預(yù)警數(shù)據(jù)采集技術(shù)，以及基于主題網(wǎng)絡(luò)爬蟲的宏觀安全環(huán)境影響數(shù)據(jù)采集技術(shù)，能夠全面、可靠、及時采集區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警所需基礎(chǔ)數(shù)據(jù)，不僅為區(qū)域煤礦瓦斯災(zāi)害風(fēng)險預(yù)警模型研究和系統(tǒng)實現(xiàn)提供了重要技術(shù)支撐，同時也探索了一條在互聯(lián)網(wǎng)環(huán)境下大規(guī)模結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)采集技術(shù)路線，為研發(fā)、構(gòu)建區(qū)域煤礦重大災(zāi)害風(fēng)險預(yù)警大數(shù)據(jù)采集系統(tǒng)提供了有益參考。