鄭東波 王海君 許浩

摘要：本文介紹了一種基于萬兆工業(yè)以太環(huán)網(wǎng)的的煤礦鉆場視頻管理系統(tǒng)，該系統(tǒng)采用圖像處理和機器視覺相結(jié)合的技術(shù)，將打鉆過程中的各種參數(shù)進行機器識別和自動記錄，做到了自動化的監(jiān)管。通過視頻監(jiān)控煤礦各采煤、掘進工作面、鉆場工作面的現(xiàn)場情況能夠有效預(yù)防煤礦突出事故，保障煤礦井下作業(yè)人員的人身安全。該系統(tǒng)融合了最新的萬兆工業(yè)以太環(huán)網(wǎng)傳輸技術(shù)，鉆場視頻的數(shù)據(jù)經(jīng)過萬兆網(wǎng)絡(luò)傳輸?shù)降孛?，保證了系統(tǒng)的穩(wěn)定性。

關(guān)鍵詞：萬兆網(wǎng)絡(luò);鉆場管理;智能視頻;機器學習

一、引言

煤礦打鉆工程是瓦斯、沖擊地壓治理，探放水的關(guān)鍵環(huán)節(jié)之一，如何監(jiān)管實際打鉆進尺使其與設(shè)計一致同時考慮數(shù)據(jù)傳輸在地面遠端進行監(jiān)管，一直是困擾鉆場管理的主要問題。本文提出了通過智能視頻監(jiān)控煤礦各采煤、掘進工作面、鉆場工作面的現(xiàn)場情況能夠有效預(yù)防煤礦突出事故，保障煤礦井下作業(yè)人員的人身安全。

傳統(tǒng)的鉆桿計數(shù)方法主要有兩種：由鉆機操作人員人工記錄打鉆鉆桿數(shù)和打鉆深度;采用接近開關(guān)，當鉆桿機器移動到某一位置，接近開關(guān)發(fā)出一次信號，再通過其他裝置累加計數(shù)。第一種方法主要靠人工進行記錄，可能出現(xiàn)漏記、多記、錯記等情況;第二種方法使用接近開關(guān)，接近開關(guān)容易損壞，使得鉆桿計數(shù)失效出現(xiàn)誤差，且其原理過于簡單，誤差比較大;接近開關(guān)雖然可以手動控制，但是記錄數(shù)據(jù)不可靠。

本文介紹的系統(tǒng)集機器學習、視頻監(jiān)控、語音廣播、環(huán)境監(jiān)控、AI智能計數(shù)、通信傳輸、計算機信息管理等技術(shù)于一體[1]，實現(xiàn)了輔助驗鉆、視頻可視對講、萬兆網(wǎng)絡(luò)的遠距離傳輸、打鉆過程中參數(shù)記錄、視頻智能分段存儲與查詢、數(shù)據(jù)報表等功能，為煤礦安全生產(chǎn)提供有力保障。

二、項目建設(shè)遵循原則

系統(tǒng)設(shè)計遵循技術(shù)先進、功能齊全、性能穩(wěn)定、節(jié)約成本的原則，并綜合考慮維護及操作因素，并將為今后的發(fā)展、擴建、改造等因素留有擴充的余地。主要參考以下原則：

（一）安全第一：必須符合煤礦礦井安全要求，所有井下產(chǎn)品均通過煤安認證。在達到國家規(guī)定的安全指標的基礎(chǔ)上，全面提升系統(tǒng)的性能。

（二）先進性：系統(tǒng)的技術(shù)性能和質(zhì)量指標應(yīng)達到國際領(lǐng)先水平;同時，系統(tǒng)的安裝調(diào)試、軟件編程和操作使用應(yīng)簡便易行，容易掌握。該系統(tǒng)集國際上眾多先進技術(shù)于一身，體現(xiàn)了當前計算機控制技術(shù)與計算機網(wǎng)絡(luò)技術(shù)的最新發(fā)展水平，適應(yīng)時代發(fā)展的要求。

（三）經(jīng)濟性與實用性：充分考慮鉆場管理的實際需要和信息技術(shù)發(fā)展趨勢，根據(jù)鉆場的現(xiàn)場環(huán)境、設(shè)計選用功能適合現(xiàn)場情況、符合鉆場智能管理系統(tǒng)要求的系統(tǒng)配置方案，通過嚴密、有機的組合，實現(xiàn)最佳的性能價格比，以便節(jié)約工程投資，同時保證系統(tǒng)功能實施的需求，經(jīng)濟實用。

（四）可靠性：本系統(tǒng)基于可靠的網(wǎng)絡(luò)通信技術(shù)，能確保系統(tǒng)級別的高穩(wěn)定性和可靠性，滿足7×24小時、全年365天的全天候長期穩(wěn)定運行。穩(wěn)定性：系統(tǒng)的設(shè)計具有較高的穩(wěn)定性，系統(tǒng)具有一整套完整的系統(tǒng)管理策略，可以保證系統(tǒng)的運行安全。

（五）升級方便：模塊化設(shè)計，界面必須清晰，無論硬件還是軟件，各個分層間結(jié)構(gòu)清楚，完全標準化，便于升級和擴容。

（六）擴展性：采用標準TCP/IP接口，完全滿足信息化要求，可與各種應(yīng)用軟件接口傳遞數(shù)據(jù)。

（七）迭代性：識別算法可以進化升級迭代和擴展。

（八）兼容性：配套使用的攝像儀與現(xiàn)有礦井視頻系統(tǒng)具備大平臺兼容、同步顯示效果。

三、系統(tǒng)設(shè)計

項目所采用的關(guān)鍵技術(shù)主要是機器視覺圖像處理技術(shù)，眾所周知，隨著新的智能視頻圖像分析技術(shù)的發(fā)展，機器視覺技術(shù)是解決煤礦行業(yè)內(nèi)視頻監(jiān)控領(lǐng)域疑難技術(shù)問題的重要手段。目前在煤礦打鉆視頻智能分析技術(shù)可以分為兩大類：一類是通過前景提取等方法對打鉆視頻監(jiān)控畫面中的鉆桿的移動進行檢測，通過規(guī)劃的規(guī)則來識別不同的行為，如闖入、物品遺留、邊界等;另一類是利用算法識別技術(shù)對監(jiān)控區(qū)域中的畫面中所需要監(jiān)控的物體進行針對性的建模，從而達到對監(jiān)控中的特定物體進行檢測及相關(guān)識別，如人臉識別、區(qū)域限員、人數(shù)統(tǒng)計等應(yīng)用。系統(tǒng)主要由地面客戶端軟件、服務(wù)器、萬兆網(wǎng)絡(luò)、線纜、智能攝像儀、操作盒等設(shè)備組成。

本項目的圖像識別技術(shù)主要是采用神經(jīng)網(wǎng)絡(luò)的卷積算法，如下圖1打鉆算法所示，將輸入的打鉆視頻的RGB圖像經(jīng)過卷積、激活函數(shù)和批標準化等系列操作多次后，得到一個特征矢量，然后利用該特征向量進行分類或者是標定檢測，并進行分類，經(jīng)過神經(jīng)網(wǎng)絡(luò)的運算后可以識別出該圖像是否出現(xiàn)鉆桿的種類。在輸入到神經(jīng)網(wǎng)絡(luò)前還需要對鉆桿視頻圖像進行數(shù)據(jù)加強，比如隨機遮擋、翻轉(zhuǎn)以及改變色調(diào)和對比度等操作。

檢測打鉆視頻的積分卷積算法用兩張圖片即可進行簡單解釋，第一是將輸入的打鉆圖片經(jīng)過高速卷積神經(jīng)元網(wǎng)絡(luò)提取出特征，當提取了打鉆視頻特征以后在特定的特征打鉆圖上會將原始圖片分成若干的網(wǎng)格，每一個網(wǎng)格都會去預(yù)測多個檢測框（Bounding Box，Bbox），每一個檢測框都會對物體進行邊界框的回歸和類別的預(yù)測，最后預(yù)測的結(jié)果就是按照公式的S×S×（B×5+C）的一個矢量。在推理過程部分，將得到的估算量對先驗框進行調(diào)整，并給出類別和可信度，在打鉆視頻場景檢測中一般分類是鉆桿和鉆機以及背景，可根據(jù)需要自行定義類別。

在推理過程中還需要針對不同視頻情況網(wǎng)格點產(chǎn)生不同的檢測框進行非極大抑制，防止出現(xiàn)一個視頻場景中的鉆桿目標被檢測多次的問題。最后將圖片數(shù)據(jù)處理好，將所需要的參數(shù)針對自己的數(shù)據(jù)集進行修改利用開源框TensorFlow、Pytorch就可以對積分網(wǎng)絡(luò)進行訓練，訓練完成后就會得到當前訓練的模型權(quán)重文件。

一個深度學習的機器算法的開發(fā)到落地是需要經(jīng)過數(shù)據(jù)的獲取與處理、軟硬件部署及現(xiàn)場測試。算法層面還需要對數(shù)據(jù)的標注有一定理解，通常在開發(fā)過程中也是利用一些標注工具例如對獲取的數(shù)據(jù)進行人工標注，作為機器視覺訓練的標簽。在本項目中，將帶有機器視覺技術(shù)的芯片移植到相關(guān)產(chǎn)品中，如礦用本安型攝像儀和圖像處理分站，都是采用此種技術(shù)進行開發(fā)設(shè)計。

礦用本安型攝像儀具備普通礦用本安型高清網(wǎng)絡(luò)全方位球形攝像機所有功能，可以選擇雙絞線或者WIFI連接到礦用萬兆環(huán)網(wǎng)交換機中，攝像機通過自身自帶的網(wǎng)口或RS485可聯(lián)結(jié)礦用本安型顯示控制箱;攝像儀本身植入深度學習算法并可以從鉆機終端獲取圖像并可識別出鉆桿、鉆機、放水管，放水管數(shù)量，攝像儀可以與客戶端軟件進行實時語音對講，并可以通過客戶端可調(diào)節(jié)攝像機云臺。

礦用本安型顯示控制箱用于井下操作人員對系統(tǒng)進行接收并查看作業(yè)任務(wù)、打鉆開始結(jié)束指令、參數(shù)設(shè)定、查看系統(tǒng)狀態(tài)、鉆探施工情況匯報、預(yù)覽當前安裝相機圖像、同地面進行雙向?qū)χv等功能。具體功能包括：LCD顯示屏，金屬鍵盤;通過RS485或以太網(wǎng)絡(luò)與攝像機連接;操作簡便的GUI人機交互界面;打鉆參數(shù)錄入、存儲或通過打鉆平臺同步;顯示本安型智能分析球機實時圖像;顯示監(jiān)控終端相機圖像，傳感器狀態(tài)，識別狀態(tài);數(shù)據(jù)存儲記錄，保持7天打鉆視頻及相關(guān)記錄;語音呼叫、對講;實時顯示自動計數(shù)的鉆桿數(shù)量;鉆桿計數(shù)按鈕可以手動進行計數(shù)并進行視頻聯(lián)動;通過藍牙與鉆孔測斜儀通信獲取打鉆的軌跡;通過藍牙與壓力傳感器通信獲取當前鉆進壓力。

礦用隔爆兼本安型圖像處理分站主要用于給設(shè)備供電，就地算法支持等。

鉆場智能管理服務(wù)器是用于在地面進行算法程序的開發(fā)及部署，是系統(tǒng)的核心設(shè)備;可以在客戶端上配置鉆場信息、智能攝像機信息、操作盒信息、鉆機終端信息、以及用戶權(quán)限信息等內(nèi)容;系統(tǒng)可以保存預(yù)先設(shè)計好的打鉆參數(shù)，用于與實際打鉆參數(shù)進行比對;保存所有用戶信息并進行權(quán)限管理;對打鉆智能攝像機和鉆桿計數(shù)器提交的鉆桿數(shù)量進行實時保存并生成臺賬;對打鉆過程的中視頻和圖片進行實時保存，并提供查詢接口;對打鉆軌跡進行保存，并與鉆場相對應(yīng)。

將鉆機周圍環(huán)境參數(shù)進行保存，并提供查詢接口;通過網(wǎng)絡(luò)通信將鉆場信息、鉆桿數(shù)量、錄像信息、環(huán)境參數(shù)、攝像機信息等發(fā)送給打鉆客戶端;安裝數(shù)據(jù)庫，方便日后的管理和維護;視頻存儲期限設(shè)計不低于36個月，保證施鉆工作有據(jù)可查;對打鉆過程進行錄像。

鉆場管理客戶端主要是輸入打鉆任務(wù)，并下發(fā)打鉆任務(wù)，下發(fā)打鉆任務(wù)時可以選擇調(diào)度員，只有通過調(diào)度員登錄的賬號才能接收到井下的呼叫和下發(fā)任務(wù)。

下發(fā)打鉆任務(wù)時可以選擇手動計數(shù)或者自動計數(shù);系統(tǒng)在打鉆過程中全程顯示。

實時顯示打鉆視頻，并可以實時截圖;顯示需要監(jiān)視的鉆場參數(shù)，如鉆桿數(shù)量、環(huán)境參數(shù)等;可以對所有鉆場發(fā)出語音廣播，并可以單獨對選中的鉆場進行語音對講，將打鉆數(shù)據(jù)生成報告并打印出報表進行簽字確認，可以對打鉆視頻錄像進行回放;查詢打鉆臺賬并生成報表進行打印;可以定位查看每個鉆桿的打入時間和退出時間，并關(guān)聯(lián)到錄像，可以任意選中打鉆錄像并進行下載。可以查看日報表、周報表、月報表、統(tǒng)計報表等。

本項目的智能視頻算法主要有自動化計數(shù)算法和計數(shù)流程設(shè)計兩個方面。通過機器深度學習方法識別出鉆桿和鉆機，在退鉆過程中如果出現(xiàn)鉆桿與鉆機之間從有鉆桿連接到?jīng)]有鉆桿連接，判定為退出一根鉆桿，將自動識別出的鉆桿數(shù)量顯示在操作盒LCD顯示屏上，并同時顯示在客戶端上。鉆場智能管理系統(tǒng)主要包含調(diào)度中心、鉆孔設(shè)計、鉆孔驗收、鉆孔報表、鉆孔查詢以及系統(tǒng)設(shè)置模塊。在主界面包含整個礦場的地測圖，通過一張圖可以清晰地看到當前各個鉆場的打鉆情況，也可以一鍵進入查看選中鉆場中鉆機的視頻以及打鉆參數(shù)情況。

在地面調(diào)度中心主要用于查看礦場所有鉆機的視頻，并可以進行語音對講、圖像抓拍、錄像、監(jiān)聽等功能，可以根據(jù)當前打鉆的實際情況設(shè)置9分屏、6分屏、4分屏或者自定義分屏。

在調(diào)度中心可以分類查看鉆機的視頻畫面，可以選擇全部、打鉆中、我的管理、在線設(shè)備、離線設(shè)備進行篩選。

系統(tǒng)建成后最終可以實現(xiàn)如下功能：

（一）系統(tǒng)建成后形成數(shù)據(jù)庫，方便日后的管理和維護，視頻存儲期限設(shè)計不低于36個月，保證施鉆工作有據(jù)可查;

（二）以采掘工作面或巷道為單位進行瓦斯鉆孔設(shè)計，將設(shè)計的數(shù)據(jù)信息錄入到系統(tǒng)用于審批和查詢;

（三）系統(tǒng)依據(jù)鉆孔施工管理要求，實現(xiàn)對瓦斯鉆孔施工地點、施工時間、施工單位、鉆孔設(shè)計參數(shù)等數(shù)據(jù)信息填報和審批，同時系統(tǒng)還可以關(guān)聯(lián)攝像機視頻，下達人工智能識別指令;

（四）采用云臺球型攝像機作為智能識別分析攝像機，井上調(diào)度人員可以通過客戶端軟件調(diào)整攝像機角度;

（五）采用深度學習技術(shù)自動計數(shù)驗鉆，降低勞動管理強度，計數(shù)更準確;

（六）智能識別自動計數(shù)后可以將鉆桿的數(shù)量實時顯示在操作盒上便于打鉆人員實時查看;

（七）打鉆前判斷鉆孔角度是否滿足設(shè)計要求，由事后驗證變成事前判斷，有效規(guī)范工人作業(yè)，提高鉆孔質(zhì)量;

（八）通過將打鉆視頻與鉆孔臺賬關(guān)聯(lián)，有效杜絕謊報進尺、違章操作、打假孔等危及安全的事件發(fā)生;

（九）系統(tǒng)以視頻監(jiān)控為基礎(chǔ)進行實時監(jiān)控，實現(xiàn)打鉆施工的全過程監(jiān)控。系統(tǒng)自動按打鉆過程，將視頻存儲和排序，便于后期資料查找;

（十）系統(tǒng)能夠?qū)@場的設(shè)計參數(shù)、施工過程參數(shù)、施工人員等按照打鉆過程需要記錄在案，形成電子文件存檔，作為打鉆管理的一部分;

（十一）系統(tǒng)可自動統(tǒng)計出日報表、周報表、月報表、統(tǒng)計報表、異常報表、鉆桿計數(shù)報表、瓦斯?jié)舛葓蟊淼?。輕松掌握井下各個鉆場工作情況;

（十二）實時監(jiān)測井下設(shè)備的通訊網(wǎng)絡(luò)狀態(tài)，當出現(xiàn)網(wǎng)絡(luò)中斷等異常情況時，將發(fā)出提示信號，保障鉆場管理工作順利有效進行;

（十三）系統(tǒng)支持井下鉆場與地面管理中心對講功能，方便雙向?qū)χv聯(lián)絡(luò)，可實時指揮，并使用數(shù)字語音處理技術(shù)降低語音底噪、去除對講回音，實現(xiàn)井上和井下的清晰通話;

（十四）當有多個鉆場同時呼叫時調(diào)度中心按照先后順序依次接聽，調(diào)度員也可以通過客戶端進行優(yōu)先選擇接聽;

（十五）打鉆參數(shù)實時疊加到視頻上，便于實時查看和后期錄像查看;

（十六）在打鉆過程中通過根據(jù)人工判斷當前打的是煤層還是巖層，然后打鉆工在操作盒上選擇煤還是巖，并將結(jié)果記錄到數(shù)據(jù)庫中，便于后期對應(yīng)查看;

（十七）通過讀取鉆孔測斜儀的數(shù)據(jù)，實現(xiàn)精準的鉆孔方位驗證，并通過圖形方式展現(xiàn)成孔軌跡，方便與設(shè)計要求進行偏差分析;

（十八）通過壓力傳感器檢測出當前鉆桿的鉆進壓力，并且通過藍牙方式實時發(fā)送給操作盒，并在操作盒及地面客戶端實時顯示，提醒打鉆工。

四、結(jié)語

該項目的成功建設(shè)并且投入運行后，實現(xiàn)了打鉆過程中的全生命周期檢測、分析、存檔及管理，大幅提升了煤礦打鉆過程中的安全，節(jié)約了日常檢修時間，降低了煤礦職工勞動強度和查繩的危險程度，保障了職工生命和煤礦財產(chǎn)安全，為進一步推進煤礦行業(yè)的智能化建設(shè)，提升煤礦行業(yè)的生產(chǎn)效率和管理水平，推進煤礦智能化生產(chǎn)起到了表率作用[2]。

作者單位：鄭東波? ? 內(nèi)蒙古上海廟礦業(yè)有限責任公司新上海一號煤礦

王海君? ? 許浩? ? 華洋通信科技股份有限公司

鄭東波（1987.10- ），男，蒙古族，寧夏銀川，本科，內(nèi)蒙古上海廟礦業(yè)有限責任公司新上海一號通防副總工程師，采煤工程師，研究方向：煤礦信息化自動化。

參? 考? 文? 獻

[1] 丁宇輝，趙金升，等.基于AI視頻識別的斜巷絞車智能控制系統(tǒng)[J].中國高新科技， 2021（11）.

[2] 王海君，謝寶東.基于圖像識別技術(shù)的煤礦井下膠帶機智能巡檢的研究與應(yīng)用[J].科技創(chuàng)新導(dǎo)報， 2020（12）.