胡金成，張立斌，蔣澤，姚超修，蔣志龍，王正義

（1.中煤科工集團(tuán)常州研究院有限公司，江蘇 常州 213015；2.天地（常州）自動(dòng)化股份有限公司，江蘇 常州 213015；3.常州工學(xué)院 土木建筑工程學(xué)院，江蘇 常州 213032）

0 引言

瓦斯抽采鉆場(chǎng)打鉆是煤礦井下瓦斯治理的關(guān)鍵環(huán)節(jié)之一[1-2]，鉆孔施工情況直接影響瓦斯抽采效果與煤礦生產(chǎn)安全[3-4]。驗(yàn)證施工過(guò)程中的鉆桿數(shù)等信息可有效防止打假鉆、虛報(bào)進(jìn)尺和不按設(shè)計(jì)路徑打鉆等情況，確保鉆孔的施工質(zhì)量。然而，井下打鉆地點(diǎn)與地面進(jìn)行信息交互存在較大困難。記錄施工信息的傳統(tǒng)方式包括人工記錄、語(yǔ)音通話與終端記錄。人工記錄可能出現(xiàn)漏記、多記、錯(cuò)記等情況，且記錄效率低、誤差大、實(shí)時(shí)性較差；打鉆施工人員通過(guò)語(yǔ)音通話告知地面施工信息，事后檢閱并數(shù)鉆桿耗費(fèi)額外人力；終端記錄可人為手動(dòng)控制，但數(shù)據(jù)不可靠[5]。此外，現(xiàn)有基于人工及儀器的鉆桿計(jì)數(shù)法存在精度較低、耗時(shí)費(fèi)力等問(wèn)題[6]。

傳統(tǒng)的視頻監(jiān)控系統(tǒng)在鉆孔施工及退鉆桿期間，執(zhí)行“一鉆一攝像、一孔一視頻”管理辦法，在地面調(diào)度室通過(guò)視頻對(duì)鉆孔施工現(xiàn)場(chǎng)的鉆進(jìn)、退桿進(jìn)行實(shí)時(shí)監(jiān)督，代替人工驗(yàn)孔，減少了大量驗(yàn)孔人員，且保證了鉆孔進(jìn)尺的真實(shí)性，杜絕虛報(bào)進(jìn)尺現(xiàn)象。然而，傳統(tǒng)的視頻監(jiān)控系統(tǒng)只具有監(jiān)測(cè)和存儲(chǔ)功能，重要的過(guò)程參數(shù)或信息只能由監(jiān)測(cè)人員通過(guò)視頻錄像查看[7-8]。

隨著大數(shù)據(jù)、深度學(xué)習(xí)、圖像識(shí)別等技術(shù)的快速發(fā)展，基于深度神經(jīng)網(wǎng)絡(luò)搭建模型對(duì)視頻和圖像進(jìn)行處理，成為實(shí)現(xiàn)AI 視頻監(jiān)控的重要手段，有效節(jié)約人力資源和提高監(jiān)控效率[9-12]。通過(guò)查閱大量參考文獻(xiàn)[13-18]，發(fā)現(xiàn)目前AI 視頻分析技術(shù)已在煤礦智能視頻分析領(lǐng)域取得不少研究成果，但AI 視頻分析技術(shù)在瓦斯抽采鉆場(chǎng)視頻識(shí)別領(lǐng)域應(yīng)用較少。

針對(duì)煤礦井下鉆場(chǎng)記錄施工信息易出錯(cuò)、鉆場(chǎng)管理人員難以連續(xù)監(jiān)控現(xiàn)場(chǎng)視頻、人工驗(yàn)收模式效率低且易出現(xiàn)打假鉆情況等問(wèn)題，本文提出一種基于AI 視頻分析的煤礦瓦斯抽采鉆場(chǎng)遠(yuǎn)程監(jiān)督管理方法。該方法通過(guò)AI 分析識(shí)別出打鉆流程后分段存儲(chǔ)錄像、記錄施工參數(shù)，基于AI 分析提供無(wú)人值守模式，對(duì)打鉆全過(guò)程進(jìn)行分析與管控，解決了鉆點(diǎn)信息需要人工錄入、打鉆過(guò)程錄像需要人工控制起止時(shí)間的問(wèn)題，同時(shí)解決了鉆桿計(jì)數(shù)需要通過(guò)人工回看退鉆錄像，占用大量人工時(shí)間并容易出現(xiàn)計(jì)數(shù)錯(cuò)誤的問(wèn)題。

1 鉆場(chǎng)管理全過(guò)程分析

打鉆工作前，應(yīng)根據(jù)工作要求制定詳細(xì)的作業(yè)計(jì)劃，明確工作目標(biāo)和任務(wù)。打鉆作業(yè)應(yīng)依次執(zhí)行開(kāi)孔、收孔、封孔3 個(gè)流程，并分別錄制視頻。打鉆作業(yè)流程如圖1 所示。準(zhǔn)備工作：設(shè)計(jì)并下發(fā)打鉆任務(wù)。執(zhí)行過(guò)程：在接收并開(kāi)始打鉆任務(wù)后，啟用目標(biāo)檢測(cè)與OCR（Optical Character Recognition，光學(xué)字符識(shí)別 ）識(shí)別服務(wù)，根據(jù)依次識(shí)別到的開(kāi)孔、收孔、封孔流程與施工參數(shù)，打鉆管理系統(tǒng)自動(dòng)執(zhí)行是否錄像與保存參數(shù)的相應(yīng)操作，直到結(jié)束打鉆任務(wù)。當(dāng)識(shí)別出開(kāi)始收孔，啟用退桿分析服務(wù)；當(dāng)識(shí)別出結(jié)束收孔，停止退桿分析服務(wù)。

實(shí)際打鉆過(guò)程中，井下工人需舉牌管理。在開(kāi)始開(kāi)孔、開(kāi)始收孔、開(kāi)始封孔任務(wù)施工前，需吸附上流程編號(hào)磁貼，并舉牌對(duì)準(zhǔn)攝像儀；在結(jié)束開(kāi)孔、結(jié)束收孔、結(jié)束封孔任務(wù)施工前，需貼上流程編號(hào)，填入對(duì)應(yīng)施工信息，并舉牌對(duì)準(zhǔn)攝像儀。在退桿分析時(shí)，要求攝像儀正對(duì)鉆機(jī)與鉆桿，能夠清晰拍攝退桿過(guò)程，拍攝環(huán)境光照良好。退桿分析只在收孔過(guò)程進(jìn)行，開(kāi)孔與封孔階段不進(jìn)行退桿分析。

2 AI 視頻分析關(guān)鍵技術(shù)

基于AI 視頻分析的煤礦瓦斯抽采鉆場(chǎng)遠(yuǎn)程監(jiān)督管理方法涉及信息牌檢測(cè)、OCR 識(shí)別、退桿分析3 種算法。信息牌檢測(cè)用于檢測(cè)當(dāng)前施工環(huán)節(jié)；OCR 識(shí)別用于識(shí)別信息牌上打鉆流程與施工信息；退桿分析用于分析收孔階段的退桿數(shù)，從而實(shí)現(xiàn)打鉆作業(yè)的全過(guò)程分析與管控。

2.1 信息牌檢測(cè)算法

信息牌檢測(cè)算法以YOLOv5 算法為核心，采用TensorRT 加速，流程如圖2 所示。先逐幀掃描監(jiān)控視頻，再根據(jù)檢測(cè)信息牌邊框與表格特征信息來(lái)判斷信息牌在視頻畫(huà)面中的大小是否達(dá)到60%，若達(dá)到60%則認(rèn)為檢測(cè)到信息牌目標(biāo)，并截取信息牌圖像。需注意的是，信息牌檢測(cè)過(guò)程要求信息牌正對(duì)攝像儀且光照良好。

圖2 信息牌檢測(cè)算法流程Fig.2 Process of information board detection algorithm

YOLOv5 算法是一種從端到端的檢測(cè)算法，其核心是卷積神經(jīng)網(wǎng)絡(luò)的特征結(jié)構(gòu)提取，可識(shí)別輸入目標(biāo)類(lèi)別及輸出位置，廣泛應(yīng)用于圖像分類(lèi)等場(chǎng)景[19-20]，其模型結(jié)構(gòu)如圖3 所示。Focus 結(jié)構(gòu)對(duì)輸入目標(biāo)的維度進(jìn)行切片操作，減少目標(biāo)原始特征信息的丟失，并提高模型計(jì)算速度，經(jīng)過(guò)一系列卷積操作得到不同尺寸的特征圖像；通過(guò)特征融合結(jié)構(gòu)對(duì)特征圖像進(jìn)行采樣，將其處理成相同大小，然后進(jìn)行特征融合及卷積，得到3 個(gè)具有更強(qiáng)特征表現(xiàn)能力的特征層；預(yù)測(cè)結(jié)構(gòu)通過(guò)損失函數(shù)進(jìn)行目標(biāo)類(lèi)別概率和位置坐標(biāo)計(jì)算，最終得到預(yù)測(cè)結(jié)果[21]。

圖3 YOLOv5 算法模型結(jié)構(gòu)Fig.3 Structure of YOLOv5 algorithm model

2.2 OCR 識(shí)別算法

OCR 識(shí)別算法可解決打鉆過(guò)程鉆點(diǎn)信息需要人工錄入、分段錄像需要人工控制起止時(shí)間的問(wèn)題。該算法基于PaddleOCR，通過(guò)提取打鉆各個(gè)環(huán)節(jié)的文字信息，對(duì)文字信息進(jìn)行訓(xùn)練，其業(yè)務(wù)流程如圖4 所示。根據(jù)信息牌檢測(cè)算法截取的信息牌圖像，通過(guò)文本檢測(cè)算法與表格結(jié)構(gòu)識(shí)別，最終生成關(guān)于表格結(jié)構(gòu)的識(shí)別結(jié)果。

圖4 OCR 識(shí)別算法業(yè)務(wù)流程Fig.4 Processes of OCR recognition algorithm

OCR 識(shí)別是對(duì)檢測(cè)到的信息牌上的信息進(jìn)行識(shí)別。OCR 識(shí)別包括打鉆流程識(shí)別與施工信息識(shí)別，其中打鉆流程識(shí)別指判斷哪個(gè)流程對(duì)應(yīng)位置吸附了“綠色磁釘”，則識(shí)別出相應(yīng)流程、施工地點(diǎn)、鉆場(chǎng)、鉆孔號(hào)，并在系統(tǒng)執(zhí)行對(duì)應(yīng)業(yè)務(wù)。試驗(yàn)過(guò)程中將“綠色磁釘”直接吸附在信息牌流程信息位置。當(dāng)識(shí)別到“綠色磁釘”所在位置為信息牌上方的“結(jié)束開(kāi)孔、結(jié)束收孔、結(jié)束封孔”時(shí)，需對(duì)信息牌下方的施工信息進(jìn)行識(shí)別，否則只需識(shí)別上方的流程。結(jié)束開(kāi)孔時(shí)，需識(shí)別出距頂、距底、距測(cè)點(diǎn)、方位角、傾角、見(jiàn)煤、見(jiàn)巖、見(jiàn)瓦斯、孔徑、施工人員、班次、施工隊(duì)；結(jié)束收孔時(shí)，需識(shí)別出桿長(zhǎng)、桿數(shù)、孔深、施工人員、班次、施工隊(duì)；結(jié)束封孔時(shí)，需識(shí)別出封孔方式、封孔管長(zhǎng)度、排氣管長(zhǎng)度、施工人員、班次、施工隊(duì)。在開(kāi)始開(kāi)孔、開(kāi)始收孔、開(kāi)始封孔階段不識(shí)別施工信息。需注意的是，OCR 識(shí)別過(guò)程不僅要求信息牌正對(duì)攝像儀與光照良好，還要清晰看出信息牌上文字。

2.3 退桿分析算法

退桿分析是在收孔階段進(jìn)行退桿數(shù)與現(xiàn)場(chǎng)人數(shù)識(shí)別。當(dāng)識(shí)別到收孔階段的流程信息時(shí)，啟動(dòng)AI 分析服務(wù)，監(jiān)控視頻顯示含有現(xiàn)場(chǎng)人數(shù)與退桿數(shù)的分析視頻流，并實(shí)時(shí)更新視頻畫(huà)面中現(xiàn)場(chǎng)人數(shù)、退桿數(shù)。通過(guò)獲取視頻中鉆機(jī)與鉆桿的空間位置關(guān)系及運(yùn)動(dòng)軌跡，結(jié)合人員位置進(jìn)行綜合判斷，實(shí)現(xiàn)鉆桿計(jì)數(shù)。退桿分析算法業(yè)務(wù)流程如圖5 所示。若鉆機(jī)與鉆桿由位置有交叉到無(wú)交叉，且人與鉆桿由位置無(wú)交叉到有交叉再到無(wú)交叉，則退桿數(shù)加1，并保存到本地?cái)?shù)據(jù)庫(kù)，否則退桿數(shù)不變。此外，通過(guò)人體檢測(cè)模型檢測(cè)并顯示視頻中的現(xiàn)場(chǎng)人數(shù)。當(dāng)識(shí)別到結(jié)束收孔階段的流程信息時(shí)，停止AI 分析服務(wù)，監(jiān)控視頻顯示原始視頻流。通過(guò)采集煤礦現(xiàn)場(chǎng)的退桿視頻，利用機(jī)器學(xué)習(xí)修正模型參數(shù)來(lái)優(yōu)化退桿分析算法，不斷提高退桿數(shù)識(shí)別準(zhǔn)確率。

圖5 退桿分析算法業(yè)務(wù)流程Fig.5 Process of pip withdrawal analysis algorithm

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)過(guò)程

為了運(yùn)行AI 視頻分析算法，需搭建GPU 服務(wù)器部署AI 分析服務(wù)，對(duì)打鉆監(jiān)控視頻進(jìn)行分析。實(shí)驗(yàn)中GPU 服務(wù)器部署在Linux 環(huán)境下，采用Docker、Python 及TensorRT 搭建算法模型；采用Tesla P100顯卡，32 GiB 內(nèi)存。在進(jìn)行實(shí)驗(yàn)驗(yàn)證前，需采集現(xiàn)場(chǎng)的打鉆視頻進(jìn)行訓(xùn)練，以期獲得較好的AI 分析模型。實(shí)驗(yàn)步驟包括數(shù)據(jù)預(yù)處理、標(biāo)注及命名，模型參數(shù)配置，模型訓(xùn)練及測(cè)試。打鉆作業(yè)全過(guò)程執(zhí)行流程具體如下，不同流程對(duì)應(yīng)的信息牌如圖6-圖8所示。

圖6 開(kāi)孔作業(yè)對(duì)應(yīng)的信息牌Fig.6 Information board corresponding to the opening hole

圖7 收孔作業(yè)對(duì)應(yīng)的信息牌Fig.7 The information board corresponding to the closing hole

圖8 封孔作業(yè)對(duì)應(yīng)的信息牌Fig.8 Information board corresponding to the sealing hole

1）當(dāng)識(shí)別出開(kāi)孔開(kāi)始，則開(kāi)始開(kāi)孔錄像，啟動(dòng)信息牌檢測(cè)與OCR 識(shí)別服務(wù)，并發(fā)出語(yǔ)音播報(bào)“現(xiàn)在開(kāi)始開(kāi)孔”。

2）當(dāng)識(shí)別出開(kāi)孔結(jié)束與開(kāi)孔參數(shù)，則結(jié)束開(kāi)孔錄像，保存參數(shù)并發(fā)出語(yǔ)音播報(bào)“現(xiàn)在結(jié)束開(kāi)孔”。

3）當(dāng)識(shí)別出收孔開(kāi)始，則開(kāi)始收孔錄像，啟動(dòng)退桿分析服務(wù)，實(shí)時(shí)更新分析視頻上的退桿數(shù)及現(xiàn)場(chǎng)人數(shù)，并發(fā)出語(yǔ)音播報(bào)“現(xiàn)在開(kāi)始收孔”。

4）當(dāng)識(shí)別出收孔結(jié)束與收孔參數(shù)，則結(jié)束收孔錄像，停止退桿分析服務(wù)，保存參數(shù)，并發(fā)出語(yǔ)音播報(bào)“現(xiàn)在結(jié)束收孔”。

5）當(dāng)識(shí)別出封孔開(kāi)始，則開(kāi)始封孔錄像，發(fā)出語(yǔ)音播報(bào)“現(xiàn)在開(kāi)始封孔”。

6）當(dāng)識(shí)別出封孔結(jié)束與封孔參數(shù)，則結(jié)束封孔錄像，停止信息牌檢測(cè)與OCR 識(shí)別服務(wù)，保存參數(shù)，并發(fā)出語(yǔ)音播報(bào)“現(xiàn)在結(jié)束封孔”。

7）當(dāng)識(shí)別出打鉆流程錯(cuò)誤，如開(kāi)孔后識(shí)別出封孔，則發(fā)出語(yǔ)音播報(bào)“當(dāng)前打鉆流程錯(cuò)誤，請(qǐng)重新舉牌”。

一旦檢測(cè)到信息牌，AI 分析服務(wù)會(huì)自動(dòng)啟用OCR 識(shí)別算法分析信息牌上信息，并反饋?zhàn)R別結(jié)果。

3.2 結(jié)果分析

將5 張信息牌分別連續(xù)檢測(cè)100 次，觀察檢測(cè)成功的次數(shù)，得到信息牌檢測(cè)成功的準(zhǔn)確率約為96%。OCR 識(shí)別算法通過(guò)識(shí)別信息牌上的“綠色磁貼”所在位置，確定當(dāng)前打鉆流程與施工信息，并用紫色框圈出。識(shí)別開(kāi)孔階段的結(jié)果如圖9 所示。當(dāng)處于開(kāi)孔開(kāi)始階段，可識(shí)別出施工地點(diǎn)、鉆場(chǎng)、鉆孔號(hào)、施工人員、班次、施工隊(duì)。若為開(kāi)孔結(jié)束階段，可識(shí)別出開(kāi)孔參數(shù)，包括距頂、距底、距測(cè)點(diǎn)、方位角、傾角、見(jiàn)煤、見(jiàn)巖、見(jiàn)瓦斯、孔徑。

圖9 OCR 識(shí)別開(kāi)孔結(jié)果Fig.9 The result of opening hole by OCR recognition

采用PaddleOCR 識(shí)別算法與常用的文字識(shí)別算法EasyOCR、ChineseOCR 分別對(duì)500 張信息牌圖像進(jìn)行識(shí)別，識(shí)別效果見(jiàn)表1?？煽闯鯬addleOCR 識(shí)別算法平均用時(shí)17.51 ms，較其他2 種識(shí)別算法分別降低了25.25，4.34 ms，PaddleOCR 識(shí)別算法的準(zhǔn)確率較其他2 種識(shí)別算法分別提高了5.75%，2.29%，召回率較其他2 種識(shí)別算法分別提高了9.77%，2.36%。

表1 OCR 識(shí)別效果對(duì)比Table 1 Comparison of OCR identification effects

取現(xiàn)場(chǎng)50 段不同的收孔視頻進(jìn)行退桿分析算法驗(yàn)證，分析效果如圖10 所示。通過(guò)對(duì)比實(shí)際退桿數(shù)與分析退桿數(shù)的偏差，可得出本文方法分析準(zhǔn)確率約為95%，進(jìn)一步證明了本文所提方法可有效輔助驗(yàn)鉆。

圖10 退桿分析效果Fig.10 The effect of pipe withdrawal analysis

4 結(jié)論

1）信息牌檢測(cè)算法對(duì)信息牌的識(shí)別準(zhǔn)確率為96%?；赑addleOCR 的OCR 識(shí)別算法具有檢測(cè)速度快、識(shí)別精度高的特點(diǎn)，平均用時(shí)17.51 ms，準(zhǔn)確率和召回率分別為93.9%，96.03%。

2）基于深度學(xué)習(xí)的退桿分析算法準(zhǔn)確率約為95%，能夠有效識(shí)別現(xiàn)場(chǎng)退桿數(shù)，有效輔助驗(yàn)鉆。

3）AI 智能視頻分析技術(shù)可促進(jìn)打鉆作業(yè)無(wú)人值守與全過(guò)程分析管控。