聶志勇，官鋒，穆杞梓

（國家能源集團信息公司，北京 100011）

1 引言

皮帶輸送機作為一種連續(xù)性物料運輸機械，近年來在煤炭、礦山、港口等領(lǐng)域獲得廣泛應(yīng)用。在輸送機運行過程中，最常見的故障就是皮帶跑偏。若故障不及時處理容易導(dǎo)致物料堆積泄漏，造成環(huán)境污染等不良后果。因此，研究皮帶跑偏檢測方法對維護整個生產(chǎn)系統(tǒng)的安全具有重要意義。

目前，各電廠、港口等對于皮帶跑偏故障常采用傳感器式檢測方案。其通常在輸送帶兩側(cè)機架安裝偏差開關(guān)，一旦發(fā)生跑偏事故，輸送帶推動偏差開關(guān)的作用臂發(fā)生偏轉(zhuǎn)，進而觸發(fā)開關(guān)并發(fā)出報警信號。然而，這種方法常出現(xiàn)誤報現(xiàn)象，嚴重影響工廠正常生產(chǎn)。近年來，隨著機器視覺在能源領(lǐng)域的不斷發(fā)展，結(jié)合圖像識別的皮帶跑偏檢測方法逐漸受到研究者關(guān)注。此類方法不僅能從根本上避免因人工導(dǎo)致的失誤，提高檢測精度；并且能在檢測出皮帶跑偏故障的同時，及時上報報警信息并快速響應(yīng)處理，節(jié)省時間和成本。最近，Yang 等通過線陣CCD 采集皮帶下表面圖像，并采用列閾值的圖像分割算法檢測皮帶邊緣，從而確定偏差。Mei 等提出一種基于圖像增強算法的偏差檢測方法，通過自適應(yīng)閾值和圖像增強算法檢測皮帶邊緣，據(jù)此計算皮帶的偏移和變形并預(yù)測跑偏故障。

隨著深度學習的發(fā)展，結(jié)合神經(jīng)網(wǎng)絡(luò)的皮帶跑偏檢測方法開始成為研究熱點。當前結(jié)合神經(jīng)網(wǎng)絡(luò)的皮帶跑偏檢測方法主要是以皮帶兩側(cè)托輥作為檢測目標的托輥檢測法。Liu 等提出一種基于模板匹配的橢圓弧檢測算法來檢測托輥外邊緣。然而由于檢測目標易受干擾，因此當單側(cè)目標被遮擋時該方法無法正常檢測。且其易受現(xiàn)場亮度、托輥與相機的距離等環(huán)境因素影響，對于新場景需要進行針對性優(yōu)化，普適性較低。最近，范等提出基于BP 神經(jīng)網(wǎng)絡(luò)的皮帶跑偏檢測方法。王等提出用鑒頻器來判斷故障聲，并通過CNN 定位故障聲位置。然而，上述方法均在皮帶出現(xiàn)輕度跑偏時就產(chǎn)生報警信號，而實際生產(chǎn)作業(yè)中，皮帶輕微偏斜并不會對生產(chǎn)造成影響，若輕度跑偏報警過于頻繁，會出現(xiàn)較多干擾信號，影響現(xiàn)場調(diào)度人員判斷。因此，對皮帶跑偏故障進行分級報警顯得尤為重要。

基于上述分析，本文提出一種基于圖像分割的皮帶跑偏故障分級報警方法。該方法結(jié)合實例分割及邊緣檢測技術(shù)，首先基于Mask R-CNN 進行實例分割獲取圖像中皮帶的位置，其次結(jié)合霍夫直線檢測有效定位皮帶邊緣，最終通過判定皮帶邊緣和預(yù)設(shè)報警線之間的位置關(guān)系確定報警級別，從而達到在減少人工成本的同時及時獲取報警信息的目的，避免因人員誤判導(dǎo)致的經(jīng)濟效益損失。

2 基于圖像分割的皮帶跑偏故障分級報警方法設(shè)計

根據(jù)實際場景，皮帶跑偏故障分為輕度、中度及重度跑偏。在輕度跑偏時，跑偏故障不會對生產(chǎn)造成影響；中度跑偏后，皮帶運行中存在撒煤等生產(chǎn)隱患；重度跑偏情況下，皮帶嚴重偏斜，無法正常工作。因此，為進行皮帶跑偏故障分級檢測，本文基于專家經(jīng)驗提前對皮帶跑偏報警線進行標注（如圖1 皮帶兩側(cè)各3 根綠色直線），并在此基礎(chǔ)上設(shè)計了皮帶跑偏故障分級檢測模型。

圖1 皮帶預(yù)標注報警線示意圖

該模型主要包含3 個階段。首先，通過實例分割技術(shù)輸出圖像中的皮帶實例（圖1 黃色區(qū)域所示），并篩取皮帶邊緣點；其次，運用霍夫直線檢測技術(shù)獲取皮帶邊緣集，設(shè)計過濾方法對該集合中的直線進行過濾；最后結(jié)合邊緣點及邊緣集擬合得到皮帶邊緣（圖1 中紅色直線），并通過比較皮帶邊緣與預(yù)設(shè)報警線間的位置關(guān)系確定跑偏故障等級。

2.1 基于Mask R-CNN 的皮帶實例及邊緣點提取方法

為計算皮帶跑偏程度，首先需要對圖像上的皮帶實例進行識別及分割。該過程屬于目標檢測的范疇?；谏疃葘W習的典型目標檢測方法包括yolo 系列，F(xiàn)ast R-CNN，F(xiàn)aster R-CNN 等。2017 年，何等提出Mask R-CNN 作為Faster R-CNN 的改進，他們通過ROI Align 來替換ROI Pooling 的取整操作，使得對每個感興趣區(qū)域取得的特征都能更好地對齊原圖上的感興趣區(qū)域。因此，為保證皮帶感興趣區(qū)域提取的準確性，本文通過Mask R-CNN 模型識別圖片中的皮帶實例，為其繪制邊界框并對邊界點進行標記。模型整體架構(gòu)如圖2 所示。

圖2 Mask R-CNN 整體架構(gòu)

Mask R-CNN 在輸入圖像后，首先，使用殘差網(wǎng)絡(luò)ResNet101 以及特征金字塔網(wǎng)絡(luò)FPN 作為骨架層進行特征提取，其中由ResNet 網(wǎng)絡(luò)完成主干特征的提取，并通過FPN 加強特征提取，以獲得圖像的多尺度特征；其次，在獲得對應(yīng)的特征圖后，將其送入?yún)^(qū)域建議網(wǎng)絡(luò)RPN 來獲得感興趣區(qū)域；最后，通過ROI Align 對感興趣區(qū)域進行池化操作，將相應(yīng)區(qū)域池化為固定尺寸的特征圖；最后對這些感興趣區(qū)域進行分類、邊框回歸和mask 生成，并將檢測得到的所有mask 疊加融合為1 個mask 整體。

在輸出mask 基礎(chǔ)上基于預(yù)設(shè)報警線分別計算得到皮帶兩側(cè)邊緣點。鑒于該過程中輸出的邊緣點數(shù)量眾多，導(dǎo)致后續(xù)計算量較大，因此需要對上述邊緣點進行篩取。而Mask R-CNN 模型輸出的mask 存在不規(guī)則現(xiàn)象，通過直接均分篩取得到的邊緣點不能很好的表現(xiàn)出皮帶實例的語義信息，因此本文設(shè)計了如下邊緣點均分方法來分別獲取皮帶2 側(cè)各n 個（本文根據(jù)專家經(jīng)驗選取n=10）具有較強特征的邊緣點（以左側(cè)邊緣點獲取為例）：

（1）獲取mask 縱坐標方向的最大、最小值：yMax，yMin；

（2）考慮到mask 的連續(xù)性，將皮帶依照縱坐標均分為n-1 等份，記縱坐標依次為y1,y2,...,yi,...yn， 其中y1=yMin，yn=ymax。 對于某縱坐標yi， 獲取mask 多邊形左側(cè)區(qū)域與直線y=yi的交點， 記為 集 合， 其 中，xmaxi表示縱坐標yi下獲取的所有邊緣點中橫坐標的最大值；該步驟中獲取的所有邊緣點組成邊緣點集

（3） 選 取 各 縱 坐 標 中 最 靠 近 皮 帶區(qū) 域 的 那 一 點(xmaxi,yi) 進 行 存 儲， 記 為。

2.2 皮帶邊緣檢測及過濾

通過標準霍夫直線檢測獲取圖像中皮帶2 側(cè)的邊緣線，并設(shè)計相關(guān)過濾方法對直線檢測結(jié)果進行過濾。

霍夫直線檢測具體步驟如下：

（1）對輸入圖像進行高斯模糊。

圖像中的皮帶邊緣往往是灰度變化幅度最劇烈的區(qū)域，而這其中存在一些表現(xiàn)出階躍效應(yīng)或屋頂效應(yīng)的孤立像素點或像素塊，對最終的邊緣檢測效果帶來干擾。因此，這一步，通過高斯濾波器來消除圖像噪聲，從而提高和噪聲相關(guān)的邊緣檢測算子的性能。

（2）使用Canny 算子進行皮帶邊緣檢測。

（3）利用概率霍夫變換直線檢測獲取皮帶邊緣。

對得到的邊緣檢測結(jié)果進行概率霍夫變換直線檢測得到最終所需的皮帶邊緣。在該步驟中，為滿足足夠的泛化性，Canny 邊緣檢測和概率霍夫變換直線檢測的參數(shù)設(shè)置寬容度較高，導(dǎo)致在最終結(jié)果中生成大量直線，使得后續(xù)計算量龐大。因此，為保證檢測的實時性，縮短檢測周期，本文設(shè)計了如下過濾方法來剔除多余的直線檢測結(jié)果：

①將用戶標注的預(yù)警線轉(zhuǎn)換為極坐標參數(shù)(θ,r)；

②將霍夫變換直線檢測結(jié)果中各直線坐標轉(zhuǎn)換為極坐標參數(shù)(θ’,r’)，并根據(jù)公式（1）篩除多余結(jié)果；

③估計皮帶寬度?；陬A(yù)設(shè)報警線獲取皮帶兩側(cè)中心點，求出兩點間的歐式距離d，即為對應(yīng)皮帶寬度估值。（以1920*1080 圖像分辨率為例，豎直方向像素點為1080，皮帶兩側(cè)中心點為皮帶兩側(cè)輕度報警線與直線y=540 的交點。）

④根據(jù)公式（2）篩選滿足條件的直線，獲取最終結(jié)果。

2.3 邊緣線擬合及分級報警

基于2.1 節(jié)輸出的皮帶2 側(cè)各n 個邊緣點，以及2.2節(jié)篩選得到的備選皮帶邊緣，設(shè)計如下擬合方案，準確得到皮帶2 側(cè)邊緣：

（1）利用預(yù)設(shè)報警線獲取圖像中的皮帶中軸，并基于該中軸線區(qū)分皮帶左右兩側(cè)備選邊緣；

（2）分別計算皮帶兩側(cè)各邊緣點與備選邊緣直線間的歐式距離；對于某邊緣點i（x,y），其到直線j：Ax+By+C=0 的歐式距離定義為：

（3）分別計算皮帶兩側(cè)各備選直線的邊緣擬合權(quán)重，以皮帶左側(cè)為例，某備選直線j 的邊緣擬合權(quán)重（j=1,2,3....ml）如公式（4）所示：

（4）分別取出皮帶兩側(cè)權(quán)重最小的直線作為其邊緣。同時，通過判斷皮帶邊緣與各條報警線間的位置關(guān)系確定最終報警級別。具體方法如下（以左側(cè)皮帶為例）：

①以皮帶中軸線為基準，在圖像中分別以2.1 中mask 縱坐標方向的最大、最小值：yMax，yMin做兩條水平直線y=ymin及y=ymax；

②計算上述2 條直線與3 條皮帶跑偏預(yù)警線（如圖3所示綠色直線）分別相交形成的多邊形的面積S2及S3；

圖3 皮帶跑偏故障分級報警計算方法圖示

③以皮帶中軸線為基準，遍歷計算皮帶左邊緣與中軸線及y=ymax,y=ymin形成的多邊形S1與上述S2以及S3是否有交集，當或時，皮帶正常運行；當且或，且時，皮帶發(fā)生輕度跑偏；當且時，皮帶發(fā)生中度跑偏；當且時，皮帶發(fā)生重度跑偏。其中t1表示一般跑偏故障閾值，t2表示重度跑偏故障閾值，這里根據(jù)專家經(jīng)驗設(shè)定取值為：t1=40%，t2=80%。

本模型優(yōu)點在于報警條件可客制化，且在邊緣直線檢測階段使用的是概率霍夫變換方法，因此相較于傳統(tǒng)霍夫直線檢測在惡劣場景（如塵土干擾、光照強度不足等）下的魯棒性更高。

3 實驗及評價

3.1 實驗環(huán)境及數(shù)據(jù)

本文所有實驗均在windows 10 專業(yè)版64 位操作系統(tǒng)下進行，配置采用Intel Xeon Gold 5218R CPU，搭配2 張NVIDIA RTX6000 顯卡，基于pytorch 框架，在python 3.8，CUDA10.2.89 上訓練和測試深度神經(jīng)網(wǎng)絡(luò)模型。

為測試所提方法的有效性及準確性，基于烏東及錦界煤礦實際生產(chǎn)中的皮帶視頻監(jiān)控數(shù)據(jù)建立訓練集、驗證集及測試集。該測試集主要包含13 個樣本數(shù)據(jù)共21490 張圖像，每個樣本中包括數(shù)量不等的正負樣本，其中負樣本中包含一定比例的輕度、中度以及重度皮帶跑偏圖像。

3.2 實驗結(jié)果

3.2.1 分級報警可行性分析

在上述測試集中測試本文所提算法對于皮帶分級跑偏故障檢測的準確性，具體結(jié)果如表1 所示。根據(jù)結(jié)果，所提算法在輕度、中度以及重度跑偏故障檢測中的準確率均大于90%，驗證了所提算法對于分級故障檢測的可行性。

表1 皮帶分級故障檢測準確率

3.2.2 與傳統(tǒng)托輥檢測方案比較

在上述測試集中將所提方法與傳統(tǒng)托輥檢測方案進行對比，驗證本方法對于識別皮帶故障的準確性，結(jié)果如表2 所示?？梢姡岱椒ㄔ?1 個樣本中都表現(xiàn)出與傳統(tǒng)托輥檢測算法相等甚至更優(yōu)的精確率，而在9 個樣本中也表現(xiàn)出相對更高的召回率。同時，在表現(xiàn)略差的情況下，本方法與托輥檢測方案的誤差也始終控制在0.08以內(nèi)，驗證了本方法對于檢測皮帶跑偏故障的準確性。

3.2.3 項目現(xiàn)場應(yīng)用結(jié)果評價

通過在項目現(xiàn)場實際應(yīng)用部署，驗證所提方法在現(xiàn)實應(yīng)用場景中的有效性。使用本文所設(shè)計方法得到的皮帶正常工作時及皮帶跑偏故障時檢測結(jié)果如圖4 所示。從實際現(xiàn)場部署及報警結(jié)果來看，本方法能有效識別皮帶邊緣線，在皮帶發(fā)生跑偏故障時準確且及時地判斷故障等級并發(fā)出報警信號，該結(jié)果也與3.2.1 及3.2.2 節(jié)中的測試結(jié)果高度吻合?？梢?，所提方法在項目實施現(xiàn)場能夠滿足實時的皮帶跑偏故障檢測需求，有效實現(xiàn)跑偏故障分級報警。

圖4 所提方法項目現(xiàn)場實際應(yīng)用部署情況

4 結(jié)語

本文提出一種基于圖像分割的皮帶跑偏故障分級報警方法，該方法運用Mask R-CNN 模型進行實例分割來定位皮帶位置，并基于霍夫直線檢測方法定位皮帶邊緣，最終通過判斷該檢測邊緣與預(yù)設(shè)報警線間的位置關(guān)系實現(xiàn)故障分級報警。本文創(chuàng)新性地提出了一系列優(yōu)化方案，包括篩取皮帶邊緣點以及過濾多余的邊緣直線來減少計算量，大大提升了算法效率。通過在真實的數(shù)據(jù)集以及實際現(xiàn)場部署來驗證算法可行性及準確性，結(jié)果顯示，本方法能夠?qū)崿F(xiàn)皮帶分級報警，且相比傳統(tǒng)皮帶托輥檢測方法，其在多數(shù)情況下表現(xiàn)出更高的準確性，避免了傳統(tǒng)托輥檢測因單側(cè)遮擋造成的誤報、漏報事故，有效減少了井下安全事故發(fā)生的可能，提高了生產(chǎn)安全。