李 旭 ，董 博 ，黨恩輝

（西安合智宇信息科技有限公司，陜西 西安 710075）

近年來，伴隨礦井生產(chǎn)能力、開采深度的逐漸增加，機(jī)械化程度也隨之提升，帶式輸送機(jī)已經(jīng)成為煤礦井下運輸?shù)年P(guān)鍵設(shè)備。帶式輸送機(jī)工作環(huán)境惡劣，采集的煤流中會夾雜著矸石、錨桿、角鐵等異物，若這些異物未能及時得到清理，便極易卡在輸送機(jī)的槽體、托輥及輸送帶間，從而導(dǎo)致運輸環(huán)節(jié)中斷造成運輸、采掘等工作癱瘓。因此，帶式輸送機(jī)的故障情況是運輸系統(tǒng)能否正常運行的關(guān)鍵因素。

目前針對綜采面工作的運輸問題，文獻(xiàn)[1]以路徑優(yōu)化調(diào)度對運輸路線進(jìn)行研究，為故障輔助識別系統(tǒng)的數(shù)據(jù)采集點提供最優(yōu)方案；文獻(xiàn)[2-5]分析了運輸系統(tǒng)的發(fā)展?fàn)顩r和自動化水平，提供了故障識別系統(tǒng)的搭建思路；文獻(xiàn)[6-7]對數(shù)據(jù)的處理和數(shù)據(jù)的存儲做了介紹，為系統(tǒng)識別異物奠定基礎(chǔ)。

綜上，結(jié)合傳統(tǒng)的帶式輸送機(jī)檢測系統(tǒng)，設(shè)計開發(fā)了一種基于機(jī)器視覺深度學(xué)習(xí)的帶式輸送機(jī)故障輔助識別系統(tǒng)[8-11]，本文障輔助識別系統(tǒng)可以保證綜采工作面運輸系統(tǒng)的正常運行，提高運輸環(huán)節(jié)的運輸效率。

1 系統(tǒng)總體設(shè)計

1.1 系統(tǒng)概述

相比于目前的人工分揀法、射線識別法、除鐵器法、光譜探測法和傳統(tǒng)圖像識別方法，基于機(jī)器視覺和深度學(xué)習(xí)的目標(biāo)識別算法提取抽象特征的魯棒性更強、泛化能力更好，在高速識別方面具有較好的適用性，能夠適應(yīng)煤礦井下的復(fù)雜環(huán)境。

異物識別流程圖如圖1。

圖1 異物識別流程圖Fig.1 Foreign object identification flow chart

異物識別流程主要包括數(shù)據(jù)集構(gòu)建、異物識別模型訓(xùn)練和異物識別3 部分。首先，使用系統(tǒng)攝像機(jī)進(jìn)行實時錄像和監(jiān)測，獲取實時輸送帶上的視頻圖像；將采集的視頻圖像數(shù)據(jù)進(jìn)行預(yù)處理，得到相應(yīng)處理數(shù)據(jù)；將預(yù)處理后的視頻流數(shù)據(jù)輸入到多層特征融合的圖像檢測模型中，使用多層特征融合的圖像檢測模型對復(fù)雜環(huán)境中的異物進(jìn)行識別和定位，將視頻中的異物標(biāo)出，并且進(jìn)行異物識別；根據(jù)異物的大小建立不同異物類型數(shù)據(jù)集，數(shù)據(jù)集包含不同運輸區(qū)域的采樣序列和對應(yīng)的故障類型標(biāo)簽值[12-13]，在分類器中提取異物類型信息，并將其整理為時序數(shù)據(jù)，用生成對抗網(wǎng)絡(luò)的方法擴(kuò)充訓(xùn)練數(shù)據(jù)集，然后送入下一步的異物檢測模型；根據(jù)時序數(shù)據(jù)和異物類型信息，使用預(yù)先訓(xùn)練好的面向動態(tài)特征補充機(jī)制的網(wǎng)絡(luò)異物檢測模型對其進(jìn)行判斷，根據(jù)輸出進(jìn)行判斷，確定預(yù)警等級；輸出預(yù)警等級后，系統(tǒng)將運輸帶上異物對線路的影響進(jìn)行提示，與此同時視頻中的異物的狀態(tài)也將被標(biāo)注出；最后，運用訓(xùn)練后的異物識別模型實時對監(jiān)控視頻進(jìn)行識別，并得出異物識別結(jié)果。

當(dāng)識別到輸送帶運行過程中出現(xiàn)可能造成輸送帶撕裂和造成破碎機(jī)損壞的工字鋼、刮板等金屬異物，聯(lián)動設(shè)備控制系統(tǒng)可實現(xiàn)聲光告警并對采煤機(jī)、刮板機(jī)變速器及帶式運輸機(jī)變速器進(jìn)行智能減速，避免設(shè)備損壞，保證設(shè)備得正常運行。

1.2 基本原理

基于機(jī)器視覺深度學(xué)習(xí)的輸送機(jī)故障輔助識別系統(tǒng)，通過圖像算法庫進(jìn)行圖像預(yù)處理，使用深度學(xué)習(xí)訓(xùn)練得出的識別網(wǎng)絡(luò)模型利用監(jiān)控視頻對異物進(jìn)行識別[13]。

1）深度學(xué)習(xí)?；谏疃葘W(xué)習(xí)的帶式輸送機(jī)異物識別方法以目標(biāo)檢測算法為基礎(chǔ)框架，構(gòu)建異物圖像數(shù)據(jù)集，搭建異物監(jiān)測模型庫，并對模型庫不斷更新，依據(jù)井下環(huán)境對相關(guān)數(shù)據(jù)應(yīng)用校正方法，使得異物圖像訓(xùn)練與測試能夠更好地擬合，從而實現(xiàn)了對異物多目標(biāo)、快速、精準(zhǔn)識別與定位。在 Faster R-CNN 的基礎(chǔ)上，將主干特征提取網(wǎng)絡(luò) VGG-16 的多尺度輸出進(jìn)行特征融合，使得特征圖包含更多待檢測目標(biāo)的特征信息，使用改進(jìn)的非極大值抑制（NMS）算法避免重疊部分小目標(biāo)的丟失，并且重新設(shè)置了適合井下作業(yè)區(qū)域場景下的小目標(biāo)檢測的錨的尺寸比例，在感興趣區(qū)域池化層中使用雙線性插值法來減小傳統(tǒng)方法造成的預(yù)測邊框定位偏差。

2）深度學(xué)習(xí)數(shù)據(jù)庫。為使異物識別系統(tǒng)能夠貼合礦下環(huán)境，獲得更準(zhǔn)確的識別率，采集的數(shù)據(jù)內(nèi)容來自各個煤礦井下帶式輸送機(jī)和刮板機(jī)圖像，系統(tǒng)訓(xùn)練集包含的所有數(shù)據(jù)均由此提供?？紤]到煤礦井下環(huán)境復(fù)雜,圖像庫內(nèi)的數(shù)據(jù)是在不同光照下、不同礦井下輸送帶和刮板不同方位采集的圖像，由于礦井下的復(fù)雜環(huán)境有的運輸環(huán)節(jié)無法進(jìn)行全方位圖像采集，對于固定視角拍攝的圖像，使用仿射變換的方法可以將固定視角拍攝的圖像擴(kuò)展為不同視角的圖像。訓(xùn)練樣本包含了錨桿、角鐵、 螺母、矸石等目標(biāo)樣圖像。在實際的運輸環(huán)境中，通過監(jiān)測系統(tǒng)對運輸環(huán)節(jié)進(jìn)行異物識別，對所有異物進(jìn)行標(biāo)注，這樣就可以獲得模型訓(xùn)練、測試所需先驗標(biāo)簽，標(biāo)注內(nèi)容為預(yù)測邊界框中心點為相對坐標(biāo)、預(yù)測框邊界相對寬度、預(yù)測邊界框相對高度。異物標(biāo)注實例如圖2。

圖2 異物標(biāo)注實例Fig.2 Example of foreign object labeling

2 系統(tǒng)組成及故障輔助識別控制方案

2.1 監(jiān)控系統(tǒng)框架

輸送機(jī)故障輔助識別系統(tǒng)主要由機(jī)器視覺異物監(jiān)測系統(tǒng)、礦用隔爆兼本質(zhì)安全型攝像儀、光源等組成。

1）機(jī)器視覺異物監(jiān)測系統(tǒng)。機(jī)器視覺異物監(jiān)測系統(tǒng)系統(tǒng)由現(xiàn)場硬件部分和后臺軟件分析系統(tǒng)組成，屬于基于視覺的輸送機(jī)運輸保護(hù)系統(tǒng)的一部分，整個系統(tǒng)是基于網(wǎng)絡(luò)的聯(lián)網(wǎng)平臺，能夠自動分析前端監(jiān)測到的異常情況，對特定的輸送帶監(jiān)控區(qū)域出現(xiàn)的異常情況進(jìn)行判定和報警，并同步提醒巡檢人員。

2）礦用本質(zhì)安全型攝像儀。主要用于對輸送機(jī)運輸環(huán)節(jié)各個節(jié)點的輸送情況進(jìn)行視頻監(jiān)控，并對工作面或回風(fēng)巷視頻信息進(jìn)行采集，壓縮編碼，并打包成IP 報文的形式發(fā)布到以太網(wǎng)上，供顯示器解碼顯示。礦用本質(zhì)安全型攝像儀具有結(jié)構(gòu)小巧、質(zhì)量輕，安裝布置靈活、低照度、高分辨率、可靠性等特點，完全符合在薄煤層工作面上的工作要求。

2.2 圖像預(yù)處理

圖像預(yù)處理的主要目的是將采集的圖像中的無關(guān)信息進(jìn)行弱化或消除，恢復(fù)有效的真實信息并對有效信息可檢測性進(jìn)行增強，對圖像數(shù)據(jù)進(jìn)行最大限度地簡化，從而提高圖像分割、目標(biāo)匹配和識別的可靠性。系統(tǒng)采用高斯濾波算法對圖像像素點的值和鄰域間的像素加權(quán)平均后獲得。采用一個3×3 尺寸的高斯掩模對圖像處理，首先對圖像某一點坐標(biāo)及其鄰域坐標(biāo)通過公式計算出坐標(biāo)模板，再對獲得的模板歸一化得到高斯核，當(dāng)獲得高斯模板后對圖像像素值線性相乘即可得到高斯濾波處理后的圖像。經(jīng)過上述操作能夠突出異物邊緣特征并去除噪音。圖像預(yù)處理的框架圖如圖3，圖像預(yù)處理前后對比如圖4。

圖3 圖像預(yù)處理框架圖Fig.3 Image pre-processing framework diagram

圖4 圖像預(yù)處理前后對比Fig.4 Comparison before and after image pre-processing

2.3 輸送機(jī)故障輔助識別系統(tǒng)控制方案

系統(tǒng)攝像儀采集帶式運輸機(jī)實時運行視頻，傳輸至機(jī)器視覺系統(tǒng)進(jìn)行視頻圖像分析處理，當(dāng)控制中心異物識別系統(tǒng)，監(jiān)測到輸送帶運行過程中出現(xiàn)可能造成輸送帶撕裂和造成破碎機(jī)損壞的工字鋼、刮板等金屬異物，對所有異物進(jìn)行編碼顯示，并進(jìn)行跟蹤，直至異物處理；同時發(fā)出自動保護(hù)控制指令，首先進(jìn)行聲光告警，發(fā)出警報告知工作人員，并對所述輔助調(diào)節(jié)模塊發(fā)出指令，自動調(diào)節(jié)采煤機(jī)、刮板運輸機(jī)及帶式輸送機(jī)運轉(zhuǎn)速度，使其進(jìn)入低速運行模式，使工作人員能夠及時處理帶式輸送機(jī)上的異物；異物處理完成后，異物編碼消失，并對新出現(xiàn)異物重新進(jìn)行編碼。

3 結(jié) 語

結(jié)合傳統(tǒng)的帶式輸送機(jī)檢測系統(tǒng)，研制了一種基于機(jī)器視覺深度學(xué)習(xí)的帶式輸送機(jī)故障輔助識別系統(tǒng)；通過圖像算法庫進(jìn)行圖像預(yù)處理，增強系統(tǒng)對有關(guān)信息的可檢測性；使用深度學(xué)習(xí)訓(xùn)練得出的識別網(wǎng)絡(luò)模型利用監(jiān)控視頻對異物進(jìn)行識別，提高系統(tǒng)識別異物的準(zhǔn)確率，有效提高運輸環(huán)節(jié)的運輸效率。試驗結(jié)果表明：通過視頻圖像采集與智能識別技術(shù)，可以有效識別出帶式輸送機(jī)運輸過程中的異物，極大降低了異物導(dǎo)致輸送機(jī)故障的概率，保證了綜采工作面運輸系統(tǒng)的正常運行。