游吉 尤楊楊 葉含梅 洪勇 潘本華

摘要：針對目前主井深指系統(tǒng)無法監(jiān)測扇形門的開閉狀態(tài)以及篦子堵煤現(xiàn)象，且緊急情況僅能通過人工報警的問題，提出一種基于視頻智能識別的主井扇形門堵煤監(jiān)測系統(tǒng)。首先提取視頻幀并且劃定 ROI區(qū)域并作了相關的圖像預處理工作，然后針對扇形門監(jiān)測、篦子堵煤兩個問題利用圖像處理方法分別予以解決。為了解決扇形門開閉監(jiān)測問題，采用混合高斯背景模型識別箕斗扇形門;使用基于標準相關性系數(shù)的相似度函數(shù)來進行模板匹配。為了解決篦子堵煤監(jiān)測問題，使用幀差法以及背景差分法，從而確定堵煤占比。最后采用 MFC以及 OpencV軟件庫設計了一個實際軟件系統(tǒng)界面，在解決上述兩個問題的同時，抓拍照片或錄制異常視頻，從而輸出報警信號。設計的主井扇形門與堵煤監(jiān)測系統(tǒng)是監(jiān)測主井系統(tǒng)的必要手段，對提升主井運輸效率以及安全具有重要意義。

關鍵詞：主井;扇形門;智能識別

中圖分類號：TP277???????????? 文獻標志碼：A??????? 文章編號：1009-9492（2021）12-0147-04

Monitoring System of Main-shaft Fan Door and Coal Blocking Based on Video Recognition

You Ji1，You Yangyang2，Ye Hanmei1，Hong Yong1， Pan Benhua1

（1. Xintian Coal Mine， Yonggui Energy Development Co.， Ltd.， Bijie， Guizhou 551700， China;2. China University of Mining and Technology， Xuzhou， Jiangsu 221000， China）

Abstract： Aiming at the problem that the deep finger system of the main shaft cannot monitor the opening and closing state of the fan-shaped door and the phenomenon of grate blocking coal， and the emergency can only be alarm by manual， a fan-shaped door blocking coal monitoring system based on video intelligent recognition was proposed. The system firstly extracted video frame and delimited ROI area and did related image preprocessing work， and then used image processing method to solve the two problems of sector door monitoring and grate blocking coal. In order to solve the problem of monitoring the opening and closing of the fan door， the system adopted the mixed Gaussian background model to identify the skip fan door. A similarity function based on standard correlation coefficients was used for template matching. In order to solve the monitoring problem of grate blocking coal， frame difference method and background difference method was used to determine the proportion of blocking coal. Finally， MFC and OpencV software library were used to design a practical software system interface， which could capture photos or record abnormal videos while solving the above two problems， so as to output alarm signals. The main shaft fan-shaped door and coal blocking monitoring system designed is a necessary means to monitor the main shaft system， which has far-reaching and long-term significance to improve the transport efficiency and safety of the main shaft.

Key words： main shaft; fan door; intelligent recognition

0 引言

扇形門是箕斗上控制煤炭下放的剛性物體。在實際應用中，有時候會出現(xiàn)箕斗到達井口，扇形門未開啟或者開啟不及時的現(xiàn)象，而在關閉時，有時候會出現(xiàn)扇形門關閉異常或者關閉不及時的情況。并且主井下方的篦子上常因為大塊存在而出現(xiàn)篦子堵塞現(xiàn)象。扇形門的開閉異常以及堵煤現(xiàn)象輕則會使箕斗反復運作，造成煤炭能源的浪費，重則會威脅到在礦井中工作、維護和檢查的一線工作人員。因此亟需一種安全方式對主井扇形門及堵煤進行有效監(jiān)測。

針對類似問題，許多觀點嘗試從各種角度切入進行解決。有研究者分析了主井提升系統(tǒng)的自動裝載的效率與安全性等各個方面，嘗試從提升系統(tǒng)本身入手解決問題[1-5]。也有研究者主要著眼于液壓系統(tǒng)，從卸載液壓制動系統(tǒng)方面著手解決問題[6-10]。但是上述的解決方法始終逃不過對主井系統(tǒng)本身進行改造，大大增加了解決成本與風險性。

本文從解決監(jiān)測扇形門開閉狀態(tài)、堵煤監(jiān)測兩個方面建立基于視頻智能識別的主井扇形門與堵煤監(jiān)測系統(tǒng)。使用高斯背景建模及模板匹配有效識別扇形門并監(jiān)測其開閉狀態(tài);使用幀差法與背景差分法監(jiān)測篦子堵煤;最后設計了實際軟件系統(tǒng)界面，將解決上述兩個問題的方法融入系統(tǒng)中，并且輸出報警信號。系統(tǒng)依托于現(xiàn)有的主井監(jiān)控設備，在不增加其他硬件成本的情況下，使用先進的視頻處理技術、目標檢測技術，減少了硬件成本，大大提高了主井運輸效率以及安全性。

1 總體框架

該系統(tǒng)以主井監(jiān)控設備以及礦下有線網(wǎng)絡為硬件基礎，確保系統(tǒng)運行有效性以及實時性的基礎上，大幅降低硬件成本，監(jiān)控設備安裝圖如圖1所示。軟件部分可以分為預處理階段、監(jiān)測階段、集成階段3部分組成，系統(tǒng)框架如圖2所示。

2 預處理階段

系統(tǒng)首先使用 OpencV軟件庫提取視頻幀，對于攝像機拍攝的每一幀圖像，為了避免在直接進行處理時增加無用處理時間，系統(tǒng)對需要作監(jiān)測的區(qū)域作了劃分提取。本系統(tǒng)提取了范圍覆蓋落煤口與篦子的一個矩形區(qū)域并將此區(qū)域作為檢測區(qū)域，示意圖如圖3所示。

該系統(tǒng)將圖像預處理分為灰度化以及濾波兩個步驟進行。監(jiān)測區(qū)域的圖像為三通道 RGB 彩色圖像，首先要對其進行灰度化，將其從彩色圖轉換成灰度圖。對于任一像素點 I ，其轉換公式為：

得到灰度圖后，為了有效去除圖像中的噪聲或者與監(jiān)測內容無關的一些線條干擾，本系統(tǒng)采用均勻濾波方法。在圖像上目標像素規(guī)定一個固定鄰域的模板，由其近鄰的若干像素組成。首先去求在當前像素鄰域中包括本身的所有像素的像素均值，再將此像素均值傳遞給當前像素點 I（x，y） ，作為其灰度值 g（x，y） ，即：

式中：M 為該鄰域中所有像素的個數(shù);S 為模板區(qū)域; I（m，n）為點（m， n）處的灰度值。

3 監(jiān)測階段

3.1 扇形門監(jiān)測

扇形門的監(jiān)測主要通過兩個步驟實現(xiàn)，分別為背景建模與模板匹配。在井口出煤口，只有箕斗在卸煤時有上升和下方的動作，所以背景建?？梢院芎玫脑趫D像中識別出箕斗。所謂模板就是一幅已知的正常扇形門開閉。模板匹配就是待檢測目標與模版通過一定的算法將目標進行比對，確定該目標同模板是否有相同的尺寸、方向，從而來判斷斗扇形門動作情況是否正常。

3.1.1 背景建模

背景建模，通過“學習”背景的方式來區(qū)分前景目標和背景模型，將學習到的背景模型與下一幀作對比，其中不變或者變化范圍較小的作為背景，變化較大的作為前景。在井口出煤口，只有箕斗在卸煤時有上升和下放的動作，所以背景建?？梢院芎玫卦趫D像中識別出箕斗。而高斯模型可以很好地解決主井工況下光線昏暗等問題，所以本系統(tǒng)采用高斯模型進行背景建模。下面將介紹高斯背景建模的理論依據(jù)，數(shù)學模型和實現(xiàn)步驟。

（1） 單高斯模型

單高斯模型將隨機過程應用到圖像中每一個像素點的顏色值，并認為該點的像素值屬于高斯分布。單高斯模型的基本原理就是針對每一個像素所在位置的求其方

差和均值，并在該位置上設置一個高斯模型。如，可設（x， y）處像素的均值為 u（x， y），方差為σ2（x，y），標準差為σ（x，y）。伴隨著視頻圖像序列的不斷輸入，與此同時，模型參數(shù)也在進行更新，所以在不同時刻模型參數(shù)也是不一樣的，故不妨將模型參數(shù)表示為3個變量 x、y、t 的函數(shù)：均值 u（x， y， t）、方差σ2（x，y，t）、標準差σ（x， y， t）。使用單高斯模型進行運動檢測有如下兩個步驟：第一步是對整體模型的初始化，第二步即更新每一個位置的參數(shù)并且重新記錄。

（2） 混合高斯模型

混合高斯模型每個像素由多個單模型描述： P（p）={[wi （x，y，t），ui （x，y，t），σi （x，y，t）2]}，i =1，2， … ，K ，一般在3～5之間選擇K 的值，其表示此混合高斯模型中所加權的單模型的個數(shù)， wi （x， y， t）表示每個模型的權重，滿足：

單高斯模型僅僅只能描述背景單一的模式，并且在樹葉晃動、水面波動等多模態(tài)形式時極易檢查出錯，而混合高斯模型在圖像中心點發(fā)生移動時，采取多個單高斯模型來模擬移動前和移動后的像素分布情況，防止模型將移動的物體作為運動目標，而專注于遠動前后的像素表示，從而增強了模型的魯棒性。從理論上來說，混合高斯模型是一種比較實用的背景建模方式。傳統(tǒng)背景建模的閾值無論是固定的還是自適應的，都屬于有缺陷的分割，這種缺陷是無論怎樣調節(jié)參數(shù)都無法完善的。而混合高斯模型采用局部分割的方式，可以更好的刻畫出局部之間的細節(jié)差別，在統(tǒng)計學的理論基礎上，更好的區(qū)分細節(jié)聯(lián)系整體。

3.1.2 模板匹配

模板匹配是一種最原始，最基本的模式識別方法，也是圖像處理中最基本，最常用的匹配方法。將打開正常和關閉正常的扇形門圖片作為模板。當扇形門到位時，將模板與區(qū)域內的扇形門進行比對，從而識別出當前扇形門開閉是否正常。如果異常，觸發(fā)異常警報，通知工作人員及時進行維護修理。對于模板匹配算法來說比較重要的一個環(huán)節(jié)是選擇合適的相似度函數(shù)來度量信息。

本系統(tǒng)模板匹配采用的相似函數(shù)為標準相關性系數(shù)匹配。在主井工況條件下，標準相關性系數(shù)具有簡單準確，計算速度快以及抗噪聲效果好的特點。所謂標準相關性系數(shù)匹配，實際上是先求匹配模板均值的相對值以及與當前圖像均值的相對值，然后將兩者進行匹配，其中1表示效果最好，-1表示效果最差，0 表示沒有相關。以8位灰度圖像為例，模板 T（m， n）疊放在被搜索圖 S（W， H）上不斷移動，而在模板移動到某一位置時會覆蓋一部分搜索圖區(qū)域，而那塊區(qū)域叫子圖 Sij ，i、j 為子圖左下角在被搜索圖 S 上的坐標，搜索范圍是：1≤i ≤ W - n ，1≤j ≤H - m ?？梢杂孟率胶饬?T 和 Sij 的相似性：

D（i，j）= [Sij（m， n）- T（m， n）]2

將其歸一化，得模板匹配的相關系數(shù)：

當模板和子圖一樣時，相關系數(shù) R（i，j）=1，在被搜索圖 S 中完成全部搜索后，找出 R 的最大值 Rmax （im ，jm），其對應的子圖Simjm 即為匹配目標。

3.2 堵煤監(jiān)測

落煤口大煤塊或大石塊可能造成篦子或其他位置堵塞，因此本節(jié)提出了一種改進的監(jiān)測方法。該方法采用幀差法和背景差分法兩種算法分別對運動煤塊進行監(jiān)測，然后對幀差法和背景差分法的監(jiān)測結果進行加權結合，提高檢測結果的準確性。

運煤過程中，由于堵煤相比較于正常的煤沫擁有更高的反射率，所以在圖像中可以觀察到，堆煤存在的區(qū)域總處于灰度值較高的位置。因此是否存在堆煤分布可以對劃定的 ROI 矩形區(qū)域進行運動目標檢測，并對所得到的灰度圖進行閾值分割也就是所謂的二值化來獲取。最終得到的結果是一個二值圖像，由此本系統(tǒng)提出了一個相對面積的概念λs ，λs 計算的是圖像中煤顆粒像素數(shù) nc 和 ROI 區(qū)域總像素數(shù) n 的比值，當λs 大于閾值 Ts 1 時，判斷當前圖像中存在大煤塊，當λs 大于閾值 Ts2（0< Ts 1< Ts2<1）時，判斷可能造成堆煤情況發(fā)生。

3.2.1 分別用幀差法和背景差分法計算當前幀的煤顆粒像素數(shù)

（1） 幀差法

首先將視頻流中前后相連的兩幀圖像或相隔幾幀的兩幀圖像作差，然后對差值圖像作二值化分割從而獲取運動區(qū)域。設差值圖像的幀數(shù)分別是第 k 幀、第 k+1幀，其幀圖像分別為 fk （x， y），fk +1（x， y），設差值圖像的二值化分割閾值為 T ，差分圖像用 DI （x， y）表示，則此算法可被

遍歷 DI （x，y）內的所有像素，計算在此區(qū)域內所有可以作為煤沫的像素數(shù) ncI：

（2） 背景差分法

首先不妨設 fk （x， y）、B（x， y）是監(jiān)測區(qū)域的當前一幀圖像和作為背景的一幀圖像，同樣的設置圖像二值化分割閾值為 T ，差分圖像用 B（x， y）表示，則背景差分法可被

遍歷 DB （x，y）內的所有像素，計算在此區(qū)域內所有可以作為煤沫的像素數(shù) ncB ：

3.2.2 求相對面積并判斷

由3.2.1節(jié)的結果可得利用幀差法得到的煤沫像素數(shù)ncI 和利用背景差分法得到的煤沫像素數(shù) ncB ，下面進行加權求相對面積。設置面積系數(shù)α（0<α<1） ，則相對面積計算方法為：

由于幀差法的空洞概率受煤流速度以及大塊存在的影響，此時使用背景差分法可以有效監(jiān)測運動目標。而背景差分法存在背景選擇適宜性的問題，當選擇的背景幀不存在煤沫或具有大塊，此時背景幀亮度比較高，會出現(xiàn)監(jiān)測失誤，此時給予幀差法更大的權重可以有效補足不足之處。所以，對上述兩種算法進行加權處理，可以各自補足對方的不足之處，有效分擔檢測過程中的誤差。最后，將求得的相對面積λs? 與閾值 Ts 1， Ts2（0< Ts 1< Ts2<1）相比較，輸出判斷結果：

4 集成系統(tǒng)與界面

根據(jù)實際的功能需求，本系統(tǒng)使用 C++編程語言、 OpencV3以及 MFC 界面控件完成設計。可以根據(jù)需求，對扇形門狀態(tài)以及堵煤進行實時監(jiān)測并在異常時輸出報警信息。同時也可對監(jiān)控內容進行抓拍或錄制。與此同時，為了實現(xiàn)在系統(tǒng)內對現(xiàn)有抓拍或錄制的樣本進行分析，本系統(tǒng)借助于 OpencV3以及 MFC設計了一個子界面專門實現(xiàn)上述功能。用戶可在系統(tǒng)內主動讀取存儲的抓拍或錄制樣本，并在子界面內觀察當前樣本的監(jiān)測情況。若分析樣本為錄制視頻，則可以通過上方進度條控制視頻進度，并且可以暫?；虮端俨シ牛蟠筇岣吡讼到y(tǒng)與用戶之間的人機接口的人性化程度。系統(tǒng)主界面如圖4所示。

5 結束語

本文首先提取攝像頭拍攝的視頻幀后，劃定 ROI區(qū)域，也即落煤口區(qū)域;之后經過圖像預處理，壓低噪聲，獲得較高質量圖像;通過背景建模識別出箕斗形狀并通過模板匹配判斷扇形門開閉狀態(tài);通過幀差法與背景差分法監(jiān)測主井篦子上是否存在堵煤;最后設計了一個軟件界面，實現(xiàn)上述功能的同時輸出報警信息。利用先進視頻處理技術，保證了系統(tǒng)的有效性、實時性，在大幅節(jié)省硬件成本的同時確保其高可靠性，為主井安全生產保駕護航。

參考文獻：

[1]趙志武，王忠民，王超越.主井自動卸載扇形門箕斗改造經驗[J].煤礦機械，2010，31（7）：158-160.

[2]蔣玉松，許培寬.箕斗扇形門固定軸的改進[J].煤炭科學技術， 1993（10）：18-19.

[3]王飛.西門子自動化與驅動產品在主井提升機中的應用[J].機械管理開發(fā)，2019，34（6）：229-230.

[4]王新星.城鎮(zhèn)燃氣管網(wǎng)優(yōu)化設計[J].住宅與房地產，2019（6）：222.

[5]金楠，李曼.箕斗定重裝載稱重方法研究[J].煤礦機械，2017，38（10）：38-40.

[6]王希澤， 梁福平，王迪，等.箕斗掛鉤閉鎖到位檢測裝置技改及其應用[J].電工技術，2019（14）：142-143.

[7]黃化柏.礦井提升機更新改造的技術經濟分析[J].礦山機械， 1988（4）：60-64.

[8]王憲朋，王立杰，涂光富，等.某鐵礦主井提升箕斗卸載液壓系統(tǒng)技術改造實踐[J].現(xiàn)代礦業(yè)，2019，35（9）：182-184.

[9]王文哲， 劉輝，王彬，等.基于背景建模與特征匹配的工業(yè)煙塵圖像分割方法[J].傳感器與微系統(tǒng)，2018，37（8）：37-39.

[10]魏旭賓，王向軍.基于累積差分圖像和高斯背景統(tǒng)計模型的煙塵目標檢測[J].宇航計測技術，2007（2）：58-61.

[11]李吉太.蔣莊礦主井箕斗改造簡介[J].煤礦設計，1994（2）：16-18.

[12]孫玉昌.主井井底箕斗減蹾裝置[J].煤礦設計，1978（2）：21.

第一作者簡介：游吉（1994-），男，貴州人，助理工程師，研究領域為煤礦機電。

（編輯：王智圣）