張瑞庭，付 元

（1.國家礦山安全監(jiān)察局黑龍江局，黑龍江 哈爾濱 150007；2.煤炭科學(xué)技術(shù)研究院有限公司，北京 100013；3.煤礦應(yīng)急避險技術(shù)裝備工程研究中心，北京 100013；4.北京市煤礦安全工程技術(shù)研究中心，北京 100013）

煤礦日常安監(jiān)執(zhí)法是保障煤礦安全生產(chǎn)的重要手段。為了提高煤礦執(zhí)法過程的高效性與客觀性，郜彤等[1]研究了一套執(zhí)法終端軟件，在一定程度上實(shí)現(xiàn)了執(zhí)法的規(guī)范化，但執(zhí)法文書應(yīng)然需人工制作，并打印后確認(rèn)簽字；劉梅華等[2]研究了基于捷聯(lián)慣性導(dǎo)航的執(zhí)法系統(tǒng)，實(shí)現(xiàn)了執(zhí)法軌跡可查詢，提高了執(zhí)法信息的可信度；羅冬祥[3]針對現(xiàn)場執(zhí)法過程了提出明確處置措施的適用情形以及優(yōu)化了執(zhí)法文書樣式，解決了現(xiàn)場執(zhí)法人員執(zhí)法效用的疑惑；王浩[4]針對人工編輯的執(zhí)法文書邏輯較差以及不規(guī)范等問題，設(shè)計(jì)了一種執(zhí)法文書智能生成系統(tǒng)，提高了執(zhí)法文書的智能化程度；劉建等[5]研究了基于“國家安監(jiān)云”的執(zhí)法平臺，提高了執(zhí)法效率。但在日常執(zhí)法工作中，現(xiàn)場執(zhí)法設(shè)備和技術(shù)相對匱乏，執(zhí)法信息不能實(shí)時傳輸與更新，不能有效監(jiān)管執(zhí)法過程[6]，且主要以人工問答等為主，存在監(jiān)管手段、裝備落后，取證過程時空不連續(xù)，以主觀經(jīng)驗(yàn)評判為主等問題。

針對上述煤礦執(zhí)法中存在的問題，有必要研究基于時空位置信息、視頻圖像信息、文本、圖像、語音等多語義情景協(xié)同感知的煤礦執(zhí)法系統(tǒng)，該系統(tǒng)可以實(shí)現(xiàn)執(zhí)法場景自動識別、業(yè)務(wù)自動導(dǎo)航、閉環(huán)執(zhí)法，達(dá)到井下精準(zhǔn)執(zhí)法的目的。

1 煤礦執(zhí)法系統(tǒng)

1.1 煤礦執(zhí)法系統(tǒng)架構(gòu)

執(zhí)法系統(tǒng)架構(gòu)如圖1。

圖1 執(zhí)法系統(tǒng)架構(gòu)Fig.1 Law enforcement system architecture

煤礦執(zhí)法系統(tǒng)由礦山安全生產(chǎn)執(zhí)法平臺、移動執(zhí)法設(shè)備和煤礦安全管控云平臺組成。移動執(zhí)法設(shè)備主要實(shí)現(xiàn)環(huán)境信息、人員位置信息與檢查信息的采集、執(zhí)法輔助信息的展示、受檢設(shè)備的感知等功能；礦山安全生產(chǎn)執(zhí)法平臺主要實(shí)現(xiàn)執(zhí)法檢查任務(wù)的處理、執(zhí)法檢查信息的解析與處理、檢查狀態(tài)的實(shí)時監(jiān)測、檢查證據(jù)的可信固化等功能；煤礦安全管控云平臺主要實(shí)現(xiàn)執(zhí)法任務(wù)的發(fā)布以及管理執(zhí)法結(jié)果、電子物證數(shù)據(jù)等。執(zhí)法系統(tǒng)運(yùn)行時，執(zhí)法設(shè)備連接到井下無線網(wǎng)絡(luò)，實(shí)時傳輸慣導(dǎo)信息和視頻圖像到井上執(zhí)法平臺，執(zhí)法平臺在線進(jìn)行情景識別，并下發(fā)場景信息到執(zhí)法設(shè)備。

1.2 執(zhí)法流程

執(zhí)法系統(tǒng)運(yùn)行時，執(zhí)法設(shè)備連接到井下無線網(wǎng)絡(luò)，實(shí)時傳輸慣導(dǎo)信息和視頻圖像到井上執(zhí)法平臺，執(zhí)法平臺在線進(jìn)行情景識別，并下發(fā)場景信息到執(zhí)法終端。執(zhí)法人員通過執(zhí)法終端完成執(zhí)法檢查后，執(zhí)法文書和執(zhí)法視頻可在線傳輸?shù)骄蠄?zhí)法平臺。因此，構(gòu)建了“執(zhí)法任務(wù)獲取-井下執(zhí)法取證-執(zhí)法報(bào)告生成-執(zhí)法結(jié)果判定-執(zhí)法文書上傳”閉環(huán)執(zhí)法鏈路，閉環(huán)執(zhí)法流程圖如圖2。

圖2 閉環(huán)執(zhí)法流程圖Fig.2 Closed loop law enforcement flow chart

2 情景協(xié)同感知的多模態(tài)融合技術(shù)

針對煤礦安全監(jiān)察執(zhí)法工作需求，結(jié)合深度學(xué)習(xí)領(lǐng)域多模態(tài)融合技術(shù)，構(gòu)建了一個協(xié)同感知模型，對智能場景識別算法、情景數(shù)據(jù)處理技術(shù)、慣性導(dǎo)航、多參數(shù)檢測、語音視頻同步可信取證等多語義情景進(jìn)行多模態(tài)融合，構(gòu)建多模態(tài)融合架構(gòu)和融合方法，形成基于情景感知驅(qū)動的移動執(zhí)法方法。

2.1 深度學(xué)習(xí)多模態(tài)融合架構(gòu)

多模態(tài)融合策略是集成不同類型的特征來提高機(jī)器學(xué)習(xí)模型性能，消除不同模態(tài)的異質(zhì)性差異；多模態(tài)協(xié)同架構(gòu)是將各種單模態(tài)在一些約束的作用下實(shí)現(xiàn)相互協(xié)同；由于不同模態(tài)包含的信息不同，因此協(xié)同架構(gòu)有利于保持各單模態(tài)獨(dú)有的特征和排它性。協(xié)同融合框架示意圖如圖3。

圖3 協(xié)同融合框架示意圖Fig.3 Schematic diagram of collaborative fusion framework

2.2 深度學(xué)習(xí)多模態(tài)融合方法

基于模型的融合方法是從實(shí)現(xiàn)技術(shù)和模型的角度解決多模態(tài)融合問題，常用方法包括多核學(xué)習(xí)方法[7-8]（MKL，Multi-Kernel Learning）、圖模型[9]（GM，Graph Model）、神經(jīng)網(wǎng)絡(luò)方法（NN，Neural Network）等。神經(jīng)網(wǎng)絡(luò)多模態(tài)融合方法在圖像字幕處理任務(wù)中表現(xiàn)良好[10]，主要模型包括神經(jīng)圖像字幕模型、多視圖模型等。

通過面向多語義情景協(xié)同感知的多模態(tài)融合技術(shù)，融合文本、圖像、語音、視頻、空間位置等多元信息，構(gòu)建多模態(tài)多情景決策模型，經(jīng)過信息轉(zhuǎn)換和融合，實(shí)現(xiàn)移動執(zhí)法的情景識別、業(yè)務(wù)自動導(dǎo)航。執(zhí)法人員通過執(zhí)法攝像頭、慣性導(dǎo)航等設(shè)備采集數(shù)據(jù)，后臺服務(wù)器使用集成以上技術(shù)的多模態(tài)融合模型計(jì)算出結(jié)果，返回移動執(zhí)法設(shè)備這一流程的核心計(jì)算功能。

3 便攜式手持執(zhí)法設(shè)備

3.1 執(zhí)法設(shè)備架構(gòu)

執(zhí)法設(shè)備通過云端的GIS 服務(wù)獲取井下的地圖，并從后臺服務(wù)獲取的檢查地點(diǎn)、檢查內(nèi)容、信標(biāo)位置等信息；執(zhí)法設(shè)備通過USB 接口連接佩戴在檢查人員安全帽上的攝像頭，對拍攝到的視頻畫面進(jìn)行分析，實(shí)現(xiàn)情景感知；執(zhí)法設(shè)備通過連接的甲烷、氧氣、一氧化碳傳感器對環(huán)境中的氣體參數(shù)進(jìn)行測定。執(zhí)法設(shè)備硬件結(jié)構(gòu)圖如圖4。

圖4 執(zhí)法設(shè)備硬件結(jié)構(gòu)圖Fig.4 Hardware structure of law enforcement equipment

基于情景感知驅(qū)動的執(zhí)法設(shè)備，能夠通過傳感器及其相關(guān)的技術(shù)使設(shè)備能夠“感知”到當(dāng)前的情境。執(zhí)法設(shè)備通過導(dǎo)航位置信息，自動感知執(zhí)法人員所在區(qū)域，結(jié)合視頻圖像信息采集分析，自動定位要檢查的目標(biāo)設(shè)備。針對煤礦安全管控云平臺推送的執(zhí)法任務(wù)，通過相應(yīng)的情境感知，自適應(yīng)地觸發(fā)執(zhí)法路徑、執(zhí)法流程、執(zhí)法內(nèi)容、執(zhí)法標(biāo)準(zhǔn)、執(zhí)法設(shè)備及其他執(zhí)法輔助業(yè)務(wù)，為執(zhí)法人員提供推送式服務(wù)，規(guī)范執(zhí)法人員在重要區(qū)域及關(guān)鍵設(shè)備執(zhí)法過程中的自由裁量權(quán)。

3.2 慣性導(dǎo)航定位技術(shù)

慣性導(dǎo)航是一種自主導(dǎo)航方法[11-12]，它是通過測量運(yùn)動載體自身的加速度并進(jìn)行計(jì)算來完成導(dǎo)航任務(wù)[13]。捷聯(lián)式慣性導(dǎo)航系統(tǒng)并沒有穩(wěn)定的實(shí)體平臺，以導(dǎo)航計(jì)算機(jī)產(chǎn)生的數(shù)學(xué)平臺來取代實(shí)體平臺，陀螺儀與加速度計(jì)則直接與運(yùn)動載體固聯(lián)[14]。

基于MEMS-IMU 的定位系統(tǒng)通過慣性器件采集行人的三軸加速度數(shù)據(jù)和三軸角速度數(shù)據(jù)，通過算法計(jì)算出載體的姿態(tài)信息，可以計(jì)算出姿態(tài)坐標(biāo)轉(zhuǎn)換矩陣，然后將三軸的加速度數(shù)據(jù)信息由載體坐標(biāo)系轉(zhuǎn)換到導(dǎo)航坐標(biāo)系下，通過算法的計(jì)算得到行人的位移信息。慣性導(dǎo)航原理圖如圖5。

圖5 慣性導(dǎo)航原理圖Fig.5 Schematic diagram of inertial navigation

執(zhí)法設(shè)備通過藍(lán)牙與慣性導(dǎo)航模塊連接，實(shí)時獲取當(dāng)前的位置信息。為解決慣導(dǎo)模塊可能出現(xiàn)的偏航問題，可沿巷道每隔一段距離部署1 個藍(lán)牙信標(biāo)，信標(biāo)的坐標(biāo)已事先在執(zhí)法平臺設(shè)置好，并發(fā)送給執(zhí)法設(shè)備，當(dāng)檢查人員經(jīng)過信標(biāo)附近時，慣導(dǎo)模塊會自動捕獲到信標(biāo)的編號，執(zhí)法設(shè)備根據(jù)信標(biāo)的坐標(biāo)對當(dāng)前位置進(jìn)行修正，并以此為基準(zhǔn)繼續(xù)進(jìn)行慣性導(dǎo)航。

3.3 數(shù)據(jù)并行采集技術(shù)

數(shù)據(jù)采集架構(gòu)圖如圖6。

圖6 數(shù)據(jù)采集架構(gòu)圖Fig.6 Data acquisition architecture

執(zhí)法設(shè)備需采集環(huán)境參數(shù)信息、慣導(dǎo)定位信息、圖片視頻信息，設(shè)計(jì)時建立并行數(shù)據(jù)采樣接口，建立2 路高速通道并行采集一氧化碳、氧氣體積分?jǐn)?shù)，采集器選用ADS 系列高速ADC（模擬數(shù)字轉(zhuǎn)換器），采樣速度高達(dá)65MSPS；建立2 路低速通道，并行采集供電電壓、驅(qū)動電壓數(shù)值；同時建立1 路串口通道采集甲烷體積分?jǐn)?shù)，1 路藍(lán)牙通道采集管道位置坐標(biāo)，1 路USB 通道采集圖片視頻信息。硬件上建立的7 路獨(dú)立采集通道保證了數(shù)據(jù)的實(shí)時響應(yīng)。通過分布式數(shù)據(jù)采集通道，實(shí)時采集環(huán)境參數(shù)信息、定位信息及圖片視頻信息，利用高速ADC 和UFS 閃存技術(shù)，快速對數(shù)據(jù)進(jìn)行采樣和存儲，通過IEEE 802.11n傳輸制式在線傳輸視頻流、人員位置、執(zhí)法數(shù)據(jù)。

4 執(zhí)法平臺

執(zhí)法系平臺分為5 個功能模塊：基礎(chǔ)信息、檢查任務(wù)、地理信息、記錄管理與終端管理，礦山安全生產(chǎn)執(zhí)法平臺功能模塊結(jié)構(gòu)圖如圖7。

圖7 礦山安全生產(chǎn)執(zhí)法平臺功能模塊結(jié)構(gòu)圖Fig.7 Functional module structure of mine safety production law enforcement platform

5 實(shí)驗(yàn)測試

執(zhí)法系統(tǒng)測試效果見表1。

表1 執(zhí)法系統(tǒng)測試效果Table 1 Test results of law enforcement system

執(zhí)法場景：A1 礦井中央變電所030201 甲烷傳感器上午8:00 時出現(xiàn)1%報(bào)警1 min，目前該傳感器上傳值為0.41%；煤礦安全管控云平臺推送執(zhí)法任務(wù)到執(zhí)法平臺，執(zhí)法平臺收到執(zhí)法任務(wù)后進(jìn)行提示，并可查看執(zhí)法內(nèi)容。

執(zhí)法任務(wù)內(nèi)容：①核查A1 礦井中央變電所實(shí)際甲烷體積分?jǐn)?shù)并與030201 甲烷傳感器數(shù)值進(jìn)行比較，核查030201 甲烷傳感器是否測量超差；②對A1 礦井中央變電所030201 甲烷傳感器進(jìn)行安標(biāo)有效性檢查；執(zhí)法設(shè)備彈出任務(wù)“請編號ZY001 于10:00 到13:00 之間前往A1 礦井中央變電所檢查執(zhí)法”；③走路過程中，執(zhí)法人員通過執(zhí)法設(shè)備GIS 界面實(shí)時查看自身位置，執(zhí)法人員行走路線形成軌跡線路（走過的點(diǎn)連成一條線），當(dāng)走到變電所附近時，井上執(zhí)法平臺GIS 界面彈出視頻彈窗，并顯示“中央變電所”字樣，井下執(zhí)法終端GIS 界面彈出“已到達(dá)中央變電所，請檢查執(zhí)法”，同時進(jìn)行語音播報(bào)。隨后彈出對話框“開始檢查”，“稍后檢查”，執(zhí)法人員選擇“開始檢查”，此時執(zhí)法終端開啟自動錄像，記錄執(zhí)法過程。

6 結(jié) 語

1）通過研究基于時空位置信息、視頻圖像信息、執(zhí)法人員行為狀態(tài)等多語義情景協(xié)同感知技術(shù)和方法，開發(fā)出情景感知驅(qū)動的執(zhí)法平臺。情景感知驅(qū)動的執(zhí)法平臺，具備執(zhí)法任務(wù)獲取、執(zhí)法任務(wù)分配、執(zhí)法任務(wù)管理、執(zhí)法場景識別、執(zhí)法報(bào)告生成等功能，極大提高了監(jiān)察執(zhí)法的高效性和客觀性。

2）通過面向多語義情景協(xié)同感知的多模態(tài)融合技術(shù)，從文本、圖像、語音、視頻等多個領(lǐng)域獲取信息，實(shí)現(xiàn)信息轉(zhuǎn)換和融合，構(gòu)建了多模態(tài)融合架構(gòu)和融合方法，形成基于情景感知驅(qū)動的移動執(zhí)法方法。

3）根據(jù)執(zhí)法任務(wù)規(guī)劃執(zhí)法路徑，結(jié)合情景感知結(jié)果與空間位置信息，實(shí)現(xiàn)執(zhí)法內(nèi)容的自動觸發(fā)，并提示執(zhí)法人員相應(yīng)的執(zhí)法標(biāo)準(zhǔn)，規(guī)范執(zhí)法人員的自由裁量權(quán)。