劉曉磊，吳國群，闞 哲

(1.晉能控股煤業(yè)集團，山西 大同 036000；2.中煤科工集團沈陽研究院有限公司，遼寧 沈陽 113112；3.遼寧石油化工大學 信息控制工程學院，遼寧 撫順 113001)

由于礦井內(nèi)工作環(huán)境惡劣以及鋼絲繩長久保持高強度受力狀態(tài)，并且在工作過程中，天輪、井架等部位會對鋼絲繩產(chǎn)生摩擦[1]，因此在鋼絲繩投入工作過程中對鋼絲繩的健康狀態(tài)進行檢測是極為重要的。礦用鋼絲繩現(xiàn)有檢測方法有：聲波檢測方法[2，3]，超聲波檢測方法[4]，電磁檢測方法[5-10]，視頻圖像檢測方法[11]。胡佩東等提出一種利用弱磁勵磁技術條件下的檢測探頭，實現(xiàn)對煤礦用鋼絲繩的缺陷定性以及半定量檢測[12]。Jie等提出一種用于鋼絲繩檢測的新式探頭，該探頭利用霍爾元件陣列結合磁聚焦技術實現(xiàn)鋼絲繩的缺損定性檢測[13]。張銘利用外部磁場對鋼絲繩軸向作用影響其磁導率實現(xiàn)對鋼絲繩的缺損檢測[14]。

近年，中國礦業(yè)大學(北京)采用電磁檢測方法檢測礦用鋼絲繩取得了一些顯著成果，通過對以往煤礦用鋼絲繩的缺損檢測方式進行研究發(fā)現(xiàn)，多是利用鋼絲繩的磁化特性達到檢測目的，一般都會對其施加外部磁場或其他干擾因素，這可能影響其正常工作狀態(tài)。本文提出一種基于計算機視覺并結合深度學習圖像檢測方法實現(xiàn)煤礦用鋼絲繩的缺損檢測，該方式不需要對鋼絲繩施加外部作用，對生產(chǎn)過程不存在任何干擾，并且能有效檢測出鋼絲繩的缺損狀態(tài)，為煤礦安全生產(chǎn)檢測提出了一種新的解決方案。

1 煤礦用鋼絲繩缺損類型

由于煤礦中惡劣的生產(chǎn)環(huán)境，鋼絲繩會因為多種因素導致其缺損，不僅影響鋼絲繩使用壽命，嚴重時更會危及工作人員生命安全[15]。使用過程中的機械拉伸是造成其出現(xiàn)缺損的重要原因，可能會導致鋼絲繩斷絲、磨損等很多問題。礦用鋼絲繩常見狀態(tài)如圖1所示。

圖1 鋼絲繩狀態(tài)

1.1 磨 損

在鋼絲繩工作過程中，其外部繩周與支架溝道之間會因為摩擦產(chǎn)生一定的磨損。由于繩與支架接觸面一般較為固定，所以在長期使用中會產(chǎn)生單邊磨損現(xiàn)象，而鋼絲繩的單邊磨損會導致某段受力不均衡而導致中部斷裂。在使用過程中，常采用定期換向使用的方法延長使用壽命，不過雖然能夠使其受力均衡，但長期磨損會使鋼絲繩變細，達不到安全使用標準。

另一種情況是鋼絲繩在發(fā)生彎折或成卷的時候對彎折處產(chǎn)生擠壓，使載荷集中在彎折處，導致絲與絲之間發(fā)生摩擦，導致鋼絲繩內(nèi)部出現(xiàn)磨損，從而使其內(nèi)部產(chǎn)生斷絲。

鋼絲繩長期磨損會嚴重影響其使用壽命，產(chǎn)生極大的安全隱患。

1.2 斷 絲

鋼絲繩斷絲主要有兩方面原因，一是由于制造工藝或生產(chǎn)誤差導致鋼絲繩在出廠時就存在的斷絲現(xiàn)象；二是在使用過程中，由于嚴重磨損、受力超載以及彎折疲勞等由于鋼絲繩機械強度過載而導致的斷絲現(xiàn)象。

針對生產(chǎn)斷絲情況，在使用之前必須對鋼絲繩出廠性能進行檢測，避免生產(chǎn)斷絲情況。而使用斷絲情況，則是接下來本文需要重點研究的問題之一。另外，除了上述情況外，腐蝕斷絲和磨損斷絲也是較為常見的兩種缺損故障。在使用過程中可能因為潮濕等因素導致鋼絲繩產(chǎn)生一定的化學腐蝕，長期如此腐蝕加劇就會導致鋼絲繩斷裂。通過觀察，導致斷絲的原因不同，鋼絲繩斷口有明顯區(qū)別，如由于過載導致斷絲而形成的切面會呈現(xiàn)斜茬狀，斷口扁平。

綜上所述，為了保證煤礦的安全生產(chǎn)，需要在鋼絲繩使用中產(chǎn)生故障之前將故障檢測出來。因此本文提出了用于鋼絲繩使用前檢測的一種可靠方案。

2 鋼絲繩檢測系統(tǒng)設計

2.1 檢測平臺設計

礦用鋼絲繩缺損檢測平臺設計方案如圖2所示。其中主要包括鋼絲繩傳送裝置、攝像機、照明裝置、嵌入式系統(tǒng)以及整體支架等部分。鋼絲繩傳送裝置架設在礦井口外部，通過一段平行導軌使鋼絲繩在井口前平緩移動。照明系統(tǒng)能夠保證攝像頭采集到的畫面光照均勻并提供足夠檢測的亮度，避免陰影或較暗環(huán)境對檢測產(chǎn)生干擾。嵌入式系統(tǒng)負責圖像的處理以及深度學習程序的執(zhí)行和識別結果的輸出，該系統(tǒng)具有較強的穩(wěn)定性和抗干擾性，能夠適應煤礦中惡劣的工作環(huán)境。支架部分采用工字鋼對各部分提供穩(wěn)定支撐，避免檢測過程中發(fā)生不必要抖動，產(chǎn)生誤差。

圖2 礦用鋼絲繩缺損檢測平臺

2.2 檢測系統(tǒng)設計

煤礦用鋼絲繩缺損檢測系統(tǒng)整體架構如圖3所示。由圖3可知，由攝像頭采集到的圖像信息，通過采集卡轉碼傳遞給嵌入式系統(tǒng)中的深度學習網(wǎng)絡，對其進行實時檢測，并將結果傳遞給監(jiān)控室上位機，向其反饋鋼絲繩狀態(tài)。其中攝像頭的采樣頻率可以根據(jù)鋼絲繩運動速度或者檢測需求進行調(diào)整，但是越高的采樣頻率能夠實現(xiàn)高精度檢測，同時也需要極強的算力支持。

圖3 煤礦用鋼絲繩缺損檢測系統(tǒng)架構

3 基于YOLO v5的煤礦用鋼絲繩缺損檢測

3.1 YOLO v5深度學習網(wǎng)絡模型

3.1.1 YOLO算法簡介

You Only Look Once(YOLO)是基于深度學習one-stage系列圖像識別算法，其識別速度極具優(yōu)勢，并且擁有很好的目標識別能力[16，17]。其V5版本新增了馬賽克增強以及自適應錨框等特性。選擇one-stage系列的YOLO v5網(wǎng)絡模型作為該系統(tǒng)的檢測算法，能夠極大程度緩解算力有限邊緣計算設備的壓力。

3.1.2 改進的YOLO v5模型

SPIE組織規(guī)定，廣義上面積占比小于整幅圖像的0.12%即為小目標。而小目標一般有清晰度低、面積小、信息量不足等特點，而且很容易與其他特征和噪點等干擾混淆。所以小目標很難通過傳統(tǒng)特征提取算法進行分析，這就導致了神經(jīng)網(wǎng)絡對于其特征的學習變得極其困難。根據(jù)小目標檢測中存在的問題，本文采用YOLO v5模型為基礎并針對鋼絲繩缺陷檢測這一問題進行了優(yōu)化，提出一種基于YOLO v5的多尺度改進模型，該模型在原有網(wǎng)絡基礎上增加了一個特征提取尺度，使之可以適應更小的檢測目標，彌補小目標檢測尺度上的不足。改進后的網(wǎng)絡整體結構如圖4所示。

圖4 改進的YOLO v5結構

1)網(wǎng)絡主干。優(yōu)化后的YOLO v5由Backbone、Neck和Head三個部分組成。其中Backbone中包括Focus、CSPNet、CBL以及SPP結構，如圖5所示。Focus結構對輸入網(wǎng)絡的圖像進行切片后進行一次卷積，得到320×320×32的特征圖，該結構有效的減少了特征損失，提高了運算速度；CSPNet由殘差組件構成，將梯度變化集成到特征圖之中，解決了梯度冗余問題，減少了參數(shù)量；CBL通常是指卷積-BN-激活函數(shù)，該結構是模型中一個基本的下采樣模塊；SPP利用不同核體積的池化層提取不同尺度的特征，再將得到的特征以空間金字塔形式融合，達到多尺度特征提取的目的。

圖5 模型模塊介紹

2)網(wǎng)絡頸部及頭部。網(wǎng)絡的頸部(Neck)和頭部(Head)組合實現(xiàn)了多尺度預測的功能。頸部通過改進的PANet結構，采用新的疊加方式將特征融合起來，使得模型具有多尺度目標檢測的能力。網(wǎng)絡的頭部是檢測的關鍵模塊，選用模型最后的特征圖作為基底，并利用錨框將類別信息、置信度等整合到輸出結果中，從而實現(xiàn)目標檢測。

3)尺度擴張。本文改進的YOLO網(wǎng)絡在原來的基礎上增加了一個尺度，即160×160。增加該尺度的主要目的是為了解決小目標缺陷的檢測需求。本文通過將模型重復進行一次上采樣和拼接工作實現(xiàn)了多一次的特征提取，提高了對小目標的檢測準確度，對于一幅樣本圖像，最小能夠檢測的目標為1/(160×160)。

4)激活函數(shù)。本文針對鋼絲繩樣本對YOLO v5網(wǎng)絡進行了改進和優(yōu)化，其中BackBone部分采用ACON-C激活函數(shù)，其圖像如圖6所示。ReLU強制的稀疏處理會減少模型的有效容量，且由于ReLU在負半軸上的梯度為0，這導致該部分神經(jīng)元出現(xiàn)壞死現(xiàn)象。而ACON Family可以自適應的選擇是否激活神經(jīng)元這一特征有效克制了ReLU導致的神經(jīng)元壞死出現(xiàn)。本文Backbone部分采用ACON Family之中最廣泛的ACON-C激活函數(shù)，即：

圖6 ACON-C激活函數(shù)圖像

ACON-C(x)=Sβ(p1x，p2x)=

(p1-p2)xσ[β(p1-p2)x]+p2x

(1)

式中，p1和p2是兩個能夠自主學習的參數(shù)用以自適應調(diào)整，其圖像如圖6所示。

式(2)為ACON-C的一階導：

考慮式(3)可知當x趨近于正無窮時，其梯度趨近于p1，趨近于負無窮時，梯度趨近于p2。

對ACON-C求二階導，有：

令上式為0，得到一階導上下界分別為：

(β>0)

(5)

根據(jù)式(3)、式(5)可以看出，ACON-C的梯度完全由p1、p2決定。

5)損失函數(shù)。YOLO v5系列圖像檢測網(wǎng)絡模型的損失函數(shù)由三個部分組成，包括邊界框回歸損失/置信度預測損失以及類別預測損失。在本文所設計模型中采用GIoU作為邊界框回歸損失，其公式如下：

式中，GIoU的含義為：對于預測定位框A和實際定位框B，計算能夠同時包含A和B的最小矩形區(qū)域C。考慮實際框與預測框重合及完全分離狀態(tài)可知GIoU Loss在[-2，0]之間。

置信度及類別預測損失采用Binary Cross Entropy Loss，其公式為：

其中，σ(x)是sigmoid函數(shù)，即：

3.1.3 YOLO v5算法實現(xiàn)

該算法使用Python3.7，基于Pytorch框架實現(xiàn)。本文使用的訓練機為AMD R7-4800H CPU，GTX1650 GPU的Windows10系統(tǒng)PC機對網(wǎng)絡模型進行預訓練。在訓練之前首先要對虛擬環(huán)境進行配置，在Python3.7環(huán)境下安裝torch1.7.1、torchvision0.8.2等支持庫和相關依賴。之后對樣本數(shù)據(jù)集進行處理，將采集到的鋼絲繩缺損圖像通過LabelImg軟件進行標記，并將樣本數(shù)據(jù)集放到JPEGImages文件夾中，將標記軟件生成的.xml文件放入Annotations文件夾中。

之后對數(shù)據(jù)集按照8∶1∶1隨機劃分為訓練集、驗證集和測試集，并將標注信息以及分類情況放入YOLOLabels文件夾中。數(shù)據(jù)集準備完畢既可開始網(wǎng)絡的訓練，訓練通過遷移學習方式，采用原生權重參數(shù)作為網(wǎng)絡超參數(shù)，其他有關初始化參數(shù)設置見表1。經(jīng)過1000次訓練之后將最好的權重結果保存為best.pt文件，即訓練完成。

表1 網(wǎng)絡訓練初始化參數(shù)設置

3.1.4 模型測試

使用已知缺陷的鋼絲繩視頻樣本輸入到訓練好的網(wǎng)絡中，對測試程序進行調(diào)試后執(zhí)行，最終將識別結果保存在runs/detect文件夾中。

3.2 模型評價

本實驗通過與應用廣泛的Faster RCNN、YOLOv3-dense、CNN、Tiny-YOLOv4以及CSPD-YOLO在接受者操作特征曲線(receiver operating characteristic curve，ROC)和精確召回曲線(precision recall curve，PR)來分析評估目標檢測模型的準確度。ROC曲線是反映敏感性與特異性關系的曲線，可以用來描述檢測模型對鋼絲繩缺損圖片變化敏感性及特異性連續(xù)變化指標，根據(jù)ROC曲線的位置把整個圖劃分了兩個部分，曲線下方的面積稱為AUC值。當AUC的值越大，也就是當ROC的曲線越靠近左上方，說明目標檢測的準確性越高。若正負樣本的比例存在不平衡的現(xiàn)象，可以采用PR曲線進一步地判定模型分類的效果，與ROC曲線相同，AUC值越大，即PRC曲線越靠近右上方，目標檢測的準確率越高。

在ROC曲線當中，橫坐標是假陽性率(False Positive Rate，F(xiàn)PR)，代表的是假陽性率，縱坐標是真陽性檢出率(True Positive Rate，TPR)。兩者的計算公式如下：

其中，P代表測試樣本正例的數(shù)目，N代表測試樣本負例的數(shù)目，很明顯地可以看出，TPR越大模型的效果越好。

不同模型下鋼絲繩缺損檢測的ROC曲線，如圖7所示，從圖7可以看出，所提出的模型的ROC曲線更接近坐標軸的左上角，對缺損檢測的準確性較高，并且識別出各個故障類型的準確率達到93%以上，能夠較好地把缺陷狀態(tài)進行分類。

圖7 不同模型下鋼絲繩缺損檢測的ROC曲線

不同模型下鋼絲繩缺損檢測的PR曲線如圖8所示，結合如圖8PRC曲線來看，雖然CSPD-YOLO模型比所提出模型的ROC-AUC高0.02，但是對各個缺陷狀態(tài)的準確率整體上均高于CSPD-YOLO模型。相比于其它網(wǎng)絡模型下的PRC曲線，所提出的模型更加地接近坐標軸的右上方，并且其PRC曲線上的AUC值均大于在其他網(wǎng)絡模型上所對應的值。因此可以得出，所提出的模型在鋼絲繩缺損檢測準確率要高于其它診斷模型下的準確率。模型實驗檢測結果如圖9所示。

圖8 不同模型下鋼絲繩缺損檢測的PR曲線

圖9 模型實驗檢測結果

4 結 語

利用YOLO v5深度學習模型，設計了一套用于煤礦用鋼絲繩缺陷檢測裝置，實現(xiàn)了對鋼絲繩缺損的實時檢測，綜合識別準確率達到90%以上。該裝置既可在現(xiàn)場查看結果，也能通過HTTP協(xié)議將識別信息傳輸?shù)街骺厥疑衔粰C中。可根據(jù)實際工況要求，實現(xiàn)對單根鋼絲繩或多跟鋼絲繩的缺損檢測。