王琨 趙燃 王海君 張永福

（1.中天合創(chuàng)能源有限責(zé)任公司，內(nèi)蒙古鄂爾多斯 017399；2.華洋通信科技股份有限公司，江蘇徐州 221116）

0.引言

目前現(xiàn)代化的智能高效礦井為了及時(shí)發(fā)現(xiàn)設(shè)備存在的隱患，避免發(fā)生事故，在煤礦井上、井下的重點(diǎn)區(qū)域都建設(shè)了普通安防監(jiān)控系統(tǒng)，在井上的調(diào)度指揮中心采取24h值班制，值班人員實(shí)時(shí)盯著各重點(diǎn)位置，監(jiān)控作業(yè)過程，一旦發(fā)生隱患，通過程控電話或廣播喊話的方式通知井下相關(guān)區(qū)域人員現(xiàn)場(chǎng)消除隱患。

但是煤礦井下設(shè)備面臨點(diǎn)多面廣的環(huán)節(jié)，由于人的視覺疲勞，難以長(zhǎng)時(shí)間保持警覺，值班調(diào)度人員不可能“面面俱到”，也不可能24h目不轉(zhuǎn)睛地看著多個(gè)或一個(gè)監(jiān)控點(diǎn)，無法對(duì)違章作業(yè)、環(huán)境異常和設(shè)備異常狀態(tài)進(jìn)行及時(shí)獲取。所以，需要有一雙智能的“監(jiān)控眼睛”替代人眼，及時(shí)發(fā)現(xiàn)隱患，立即進(jìn)行報(bào)警處理，做到抓拍照片和延時(shí)錄像，提醒現(xiàn)場(chǎng)人員和監(jiān)管人員，并能發(fā)出聯(lián)動(dòng)控制指令，命令現(xiàn)場(chǎng)設(shè)備停車，避免重大事故的發(fā)生。

本項(xiàng)目介紹了一種基于機(jī)器視覺圖像識(shí)別技術(shù)的煤礦首尾繩監(jiān)測(cè)系統(tǒng)，該系統(tǒng)通過數(shù)字圖像處理和分析來理解視頻畫面中的內(nèi)容，具備自動(dòng)分析和抽取視頻畫面中的關(guān)鍵信息的功能[1]。視頻圖像識(shí)別技術(shù)借助計(jì)算機(jī)強(qiáng)大的數(shù)據(jù)處理功能對(duì)視頻圖像中的海量數(shù)據(jù)進(jìn)行高速分析，過濾掉用戶不關(guān)心的信息，為監(jiān)控者提供有用的關(guān)鍵信息。視頻圖像識(shí)別以數(shù)字化、網(wǎng)絡(luò)化視頻監(jiān)控為基礎(chǔ)，它是一種更高端的視頻監(jiān)控系統(tǒng)的應(yīng)用。視頻圖像識(shí)別監(jiān)控系統(tǒng)能夠識(shí)別不同的物體，發(fā)現(xiàn)監(jiān)控畫面中的異常情況，并能夠以最快和最佳的方式發(fā)出警報(bào)和提供有用信息，從而能夠有效地協(xié)助值班人員處理危機(jī)[2]，并最大限度地減少人為因素的干擾。

1.項(xiàng)目建設(shè)內(nèi)容

煤礦主井提升機(jī)鋼絲繩在礦井生產(chǎn)過程中起著重要作用，其主要用在煤炭提升中使用，在礦井主要生產(chǎn)系統(tǒng)運(yùn)行中起到非常關(guān)鍵的作用，為避免出現(xiàn)事故需要有多種監(jiān)測(cè)手段[3]。大多數(shù)煤礦的主井提升運(yùn)輸系統(tǒng)具備全自動(dòng)運(yùn)行功能，但仍需安排崗位工值崗，觀察提升系統(tǒng)的運(yùn)行，防止出現(xiàn)異常情況。煤礦提升系統(tǒng)的鋼絲繩首繩和尾繩是煤礦提升系統(tǒng)生產(chǎn)流程中重要的組成部分，也是提升機(jī)關(guān)鍵承載構(gòu)件，其運(yùn)行環(huán)境復(fù)雜，日常維護(hù)困難，一旦發(fā)生故障會(huì)引起停產(chǎn)或人員傷亡的嚴(yán)重事故。

長(zhǎng)期以來，傳統(tǒng)地提升系統(tǒng)首、尾繩系統(tǒng)的巡檢、檢修工作主要依靠人工進(jìn)行定時(shí)排查，日常維護(hù)主要依賴的是“目視、手摸、卡尺量”，人工目測(cè)方法不僅可靠性差、效率低下，而且花費(fèi)大量人力，無法做到高效的檢測(cè)。而且國(guó)家層面發(fā)布的《煤礦安全規(guī)程》對(duì)于鋼絲繩檢測(cè)也有相關(guān)的規(guī)定，比如對(duì)在用鋼絲繩的檢測(cè)周期、拉力、彎曲程度都有要求，所有煤礦生產(chǎn)企業(yè)都是定期利用檢修時(shí)間，每次花費(fèi)幾個(gè)小時(shí)的時(shí)間，依靠人力去人工觀測(cè)鋼絲繩的狀況，這種傳統(tǒng)的檢測(cè)方式嚴(yán)重制約了煤礦的發(fā)展，而且存在安全隱患。而且表面顯性損傷要依靠檢測(cè)技術(shù)人員良好的經(jīng)驗(yàn)和判斷才能發(fā)現(xiàn)，隱性損傷則很難查到。依靠傳統(tǒng)的檢測(cè)方法也無法定量定性地描述首尾繩的損傷情況，更為嚴(yán)重的情況是盡管鋼絲繩的使用性能始終處于不可逆的衰變當(dāng)中，但日常維護(hù)中卻無法準(zhǔn)確衡量這種衰變的嚴(yán)重程度，直到剩余承載能力接近極限從而引發(fā)安全事故才被發(fā)現(xiàn)，所以急需一種新的技術(shù)來解決此問題。

本項(xiàng)目借助機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺技術(shù)，通過機(jī)器自動(dòng)完成提升機(jī)首繩、尾繩各種外部狀態(tài)分析、檢測(cè)及預(yù)警，可完全替代人工查繩的勞動(dòng)。

門克慶煤礦主井提升系統(tǒng)目前由圓型首繩和扁型尾繩組成。針對(duì)門克慶煤礦的現(xiàn)場(chǎng)情況我們利用機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺識(shí)別技術(shù)，在現(xiàn)場(chǎng)放置智能機(jī)器人來實(shí)現(xiàn)提升機(jī)首繩、尾繩的各種外部狀態(tài)分析、檢測(cè)及預(yù)警，從而替代人工查繩。其中首繩損傷檢測(cè)包括：繩徑變化、捻距變化，鋼絲繩外部損傷（斷絲等）；尾繩狀態(tài)監(jiān)控包括：尾繩擺動(dòng)異常、尾繩散股、尾繩纏繞。

在該項(xiàng)目中技術(shù)研發(fā)包括3個(gè)步驟：（1）視覺系統(tǒng)選型和評(píng)估，數(shù)據(jù)采集和預(yù)處理；（2）檢測(cè)模型算法設(shè)計(jì)和驗(yàn)證；（3）平臺(tái)搭建，系統(tǒng)聯(lián)調(diào)及檢測(cè)系統(tǒng)在現(xiàn)場(chǎng)的部署和檢測(cè)模型的遷移。具體包括：設(shè)計(jì)首尾繩攝像系統(tǒng)，根據(jù)主井提升機(jī)現(xiàn)場(chǎng)情況，設(shè)計(jì)首尾繩攝像系統(tǒng)，系統(tǒng)設(shè)計(jì)模式如圖1所示。整個(gè)系統(tǒng)由巡檢機(jī)器人、軌道、運(yùn)動(dòng)控制器及驅(qū)動(dòng)器，圖像處理工作站，交換機(jī)、工程師操作站、高速AI相機(jī)、補(bǔ)光燈等組成。系統(tǒng)采用運(yùn)行于軌道上的巡檢裝置，巡檢裝置上安裝有檢測(cè)裝置，由高精2D/3D線激光測(cè)量、高速線掃相機(jī)、線掃光源以及高清攝像機(jī)組成。高清廣角相機(jī)用于拍攝周圍實(shí)時(shí)視頻，便于遠(yuǎn)端操作者感知現(xiàn)場(chǎng)狀態(tài)。通過預(yù)設(shè)位置自動(dòng)/手動(dòng)運(yùn)行到待檢測(cè)位置。通過自帶高精度圖像傳感器進(jìn)行圖像抓拍等處理。可實(shí)現(xiàn)鋼纜多角度拍攝，保證檢測(cè)無死角，見圖1。

圖1 系統(tǒng)示意圖

2.算法流程

設(shè)計(jì)檢測(cè)模型和驗(yàn)證，當(dāng)鋼絲繩尾繩姿態(tài)異常檢測(cè)算法訓(xùn)練完成后，可以將該算法部署在終端IPC，實(shí)時(shí)對(duì)視頻監(jiān)控系統(tǒng)采集的圖像進(jìn)行判斷，以確認(rèn)是否發(fā)生尾繩纏繞等異常，并實(shí)時(shí)給出報(bào)警信息。系統(tǒng)滿足首繩損傷多樣性檢測(cè)，同時(shí)滿足礦井提升機(jī)鋼絲繩檢測(cè)，系統(tǒng)軟件具備深度學(xué)習(xí)功能。本項(xiàng)目的算法主要采用機(jī)器識(shí)別的算法，我們開發(fā)的目標(biāo)檢測(cè)（鋼纜檢測(cè)）算法主要是分為單階段（one-stage）和兩階段（two-stage）2個(gè)算法，下面主要以單階段算法的代表算法Yolo算法的原理簡(jiǎn)單介紹下算法的開發(fā)流程。

首先需要了解圖像識(shí)別技術(shù)如何編制圖像數(shù)據(jù)，如圖2算法流程圖所示，將輸入的鋼絲繩的三基色圖像經(jīng)過卷積、激活函數(shù)和批標(biāo)準(zhǔn)化等系列操作多次得到一個(gè)特征矢量，然后利用該特征量進(jìn)行分類或者檢測(cè)，經(jīng)過神經(jīng)網(wǎng)絡(luò)的運(yùn)算后可以識(shí)別出該圖像是出現(xiàn)鋼纜故障的類別。在輸入神經(jīng)分析網(wǎng)絡(luò)前還可以對(duì)圖像進(jìn)行數(shù)據(jù)方面的增強(qiáng)，例如隨機(jī)翻轉(zhuǎn)隨機(jī)遮擋和改變色調(diào)對(duì)比度等操作。

圖2 算法流程圖

檢測(cè)鋼絲繩的智能算法用2張圖即可簡(jiǎn)單解釋，首先是將輸入的圖片經(jīng)過深度卷積神經(jīng)網(wǎng)絡(luò)提取特征，提取了特征以后在鋼絲繩特征圖上會(huì)將最初的圖片劃分成若干的網(wǎng)格，每一個(gè)框都會(huì)去預(yù)測(cè)若干個(gè)檢測(cè)框（Bounding Box，Bbox），每一個(gè)塊都會(huì)對(duì)鋼絲繩進(jìn)行邊界框的回歸和類別的預(yù)測(cè)，最后預(yù)測(cè)的結(jié)果就是一個(gè)張量。在推理部分利用得到的張量對(duì)先驗(yàn)框進(jìn)行調(diào)整，并給出類別和可信度，在鋼絲繩檢測(cè)中一般分類是正常的鋼絲繩和有誤差的鋼絲繩以及背景和圖中的異常進(jìn)行比對(duì)，可根據(jù)需要自行定義類別。

推理時(shí)還需要針對(duì)不同網(wǎng)格點(diǎn)產(chǎn)生不同的檢測(cè)框進(jìn)行非極大抑制防止出現(xiàn)一個(gè)目標(biāo)檢測(cè)多次的問題。將圖片數(shù)據(jù)處理好，將所需要的超參數(shù)針對(duì)自己的數(shù)據(jù)集進(jìn)行修改利用開源框架TensorFlow、Pytorch就可以對(duì)機(jī)器神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練完成后就會(huì)得到當(dāng)前訓(xùn)練的模型權(quán)重文件[4]。一個(gè)深度機(jī)器視覺學(xué)習(xí)算法的開發(fā)到最終落地是需要經(jīng)過數(shù)據(jù)的獲取與處理、模型訓(xùn)練、模型剪枝、模型部署、軟硬件部署、現(xiàn)場(chǎng)測(cè)試等一系列的。算法層面還需要對(duì)數(shù)據(jù)的標(biāo)注有一定理解，通常在開發(fā)過程中也是利用一些標(biāo)注工具對(duì)獲取的數(shù)據(jù)進(jìn)行人工標(biāo)注，作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練的標(biāo)簽。

3.搭建平臺(tái)

完成系統(tǒng)硬件現(xiàn)場(chǎng)部署、檢測(cè)模型遷移及系統(tǒng)聯(lián)調(diào)，并且在監(jiān)控室布置用于系統(tǒng)數(shù)據(jù)傳輸及圖形圖像分析的上位機(jī)。

（1）提升機(jī)高速（全速14m/s）運(yùn)行期間，能夠?qū)崿F(xiàn)檢測(cè)鋼絲繩無盲區(qū)的效果，實(shí)時(shí)監(jiān)測(cè)單根鋼絲繩捻距、斷絲、變形、磨損等狀態(tài)，定時(shí)自動(dòng)或手動(dòng)遙控切換至其他鋼絲繩檢測(cè)，可自動(dòng)判斷形成鋼絲繩捻距、斷絲、變形等狀態(tài)變化趨勢(shì)曲線，具備預(yù)報(bào)預(yù)警功能，可按周、月、季度、年查詢鋼絲繩全生命周期狀態(tài)趨勢(shì)。

（2）系統(tǒng)可自動(dòng)完成同等位置一根鋼絲繩及鋼絲繩間捻距變化情況，可實(shí)現(xiàn)智能比對(duì)并形成檢測(cè)報(bào)告。

（3）自動(dòng)標(biāo)定鋼絲繩斷絲圖像信息、提升機(jī)位置，位置誤差控制在100mm以內(nèi)；可自動(dòng)檢測(cè)出標(biāo)定捻距內(nèi)斷絲數(shù)量，準(zhǔn)確率100%。

（4）檢測(cè)準(zhǔn)確率：鋼絲繩金屬截面積（LMA）誤差 ＜±1%，鋼絲繩繩徑精度為0.01mm。

（5）可自動(dòng)檢測(cè)判斷鋼絲繩變形情況，即鋼絲繩繩徑局部變大、鋼絲繩繩徑局部變小、鋼絲繩局部被壓扁或損傷。

（6）可監(jiān)控尾繩運(yùn)行軌跡，能實(shí)時(shí)監(jiān)控尾繩運(yùn)行狀態(tài)，尾繩運(yùn)行軌跡或擺動(dòng)超出預(yù)警值時(shí)，可給予警示并觸發(fā)視頻、位置緊急鎖存功能。

（7）可檢測(cè)出尾繩散股，10m及以上尾散股檢出率100%，1m～10m尾繩散股檢出率＞85%。

（8）具備大數(shù)據(jù)分析、處理功能，出具捻距斷絲數(shù)量識(shí)別統(tǒng)計(jì)報(bào)告、直徑測(cè)量數(shù)值報(bào)告、鋼絲繩磨損銹蝕等級(jí)報(bào)告、其他各種損傷視圖檢測(cè)報(bào)告等，可自動(dòng)生成檢測(cè)報(bào)告和趨勢(shì)圖，檢測(cè)報(bào)告和趨勢(shì)圖可以Word、PDF、Excel等文件形式導(dǎo)出打印。通過以上的算法軟件我們可以精確定位到鋼絲繩斷絲發(fā)生的位置及捕捉到到此時(shí)斷絲發(fā)生圖，如發(fā)生斷絲的位置為447.87m，并且看到了此時(shí)的圖片，極大地方便了我們的檢修。

4.結(jié)語

該項(xiàng)目的成功建設(shè)且投入運(yùn)行后，實(shí)現(xiàn)了煤礦提升機(jī)首尾繩的全生命周期檢測(cè)、分析、存檔及管理，大幅提升了煤礦提升機(jī)系統(tǒng)的查繩效率和質(zhì)量監(jiān)測(cè)，節(jié)約了日常檢修時(shí)間，降低了煤礦職工勞動(dòng)強(qiáng)度和查繩的危險(xiǎn)程度，保障了職工生命和煤礦財(cái)產(chǎn)安全，為進(jìn)一步推進(jìn)煤礦行業(yè)的智能化建設(shè)，提升煤礦行業(yè)的生產(chǎn)效率和管理水平，推進(jìn)煤礦智能化生產(chǎn)發(fā)揮了表率作用。