成彥穎,白尚旺,黨偉超,潘理虎,2,吳喆峰

1(太原科技大學 計算機科學與技術(shù)學院,太原 030024)

2(中國科學院 地理科學與資源研究所,北京 100101)

3(精英數(shù)智科技股份有限公司,太原 030012)

煤炭作為我國的重要能源之一,主要采用傳送帶輸送機進行煤炭的輸送,所以傳送帶運輸機的運行狀況直接影響著煤礦的產(chǎn)能和效率[1].近年來我國的經(jīng)濟也在進一步轉(zhuǎn)型,煤礦企業(yè)也正在改變過去的生產(chǎn)經(jīng)營模式,大力推廣節(jié)能降耗技術(shù),提高能源利用率[2].煤礦井下傳送帶運輸距離遠、運輸量大、運輸時間長,而且因為生產(chǎn)需要,不能隨時停機,導致傳送帶輸送機經(jīng)常無煤空載,不僅浪費了電能,對輸送機損害嚴重,而且影響煤礦的產(chǎn)能和效益[3].據(jù)統(tǒng)計,每年煤礦傳送帶空載造成的電能虧損占到正常運行電能損耗的30%.所以本文通過檢測傳送帶輸送機的煤量、判斷運行狀態(tài),防止傳送帶無煤空載,節(jié)省電能,提高傳送帶的工作效率.

傳統(tǒng)的輸送機為了防止堆煤,大部分采用逆煤流的啟動方式,造成多臺輸送機長時間空載運行,嚴重浪費了電能.國內(nèi)煤礦主要采用變頻器調(diào)整電壓和電流,進而控制傳送帶的速度[4],后來利用PLC 變頻調(diào)速技術(shù)自動控制運行速度,但無法根據(jù)實際煤量自動調(diào)整.劉鴻利[5]針對這一問題,設(shè)計了一種載荷檢測的煤礦運輸機控制系統(tǒng),該系統(tǒng)根據(jù)傳送帶上的煤量自動判斷傳送帶是否處于空載狀態(tài),從而自動控制傳送帶的速度.但在復雜艱苦的煤礦環(huán)境下,電磁容易受到干擾、電源異常、變頻器損壞[6].隨著煤礦行業(yè)信息智能化技術(shù)的不斷深入,國內(nèi)大部分煤礦都安裝了傳送帶輸送機的視頻監(jiān)控系統(tǒng)和集成系統(tǒng).所以程健等[7]對煤矸石的視頻特征分析,采用改進的高斯混合模型提取視頻背景,實現(xiàn)煤矸石的檢測和識別.張瑞勛等[8]結(jié)合Faster R-CNN 模型,提出傳送帶目標檢測方法.該方法對傳送帶上的藥盒及空位目標進行檢測,以此判斷傳送帶的擁堵狀態(tài).這兩種方法在實時性和處理速度方面有待提高.而YOLOv3是一個很好的檢測器,檢測速度快,準確率高.

本文采用邊緣結(jié)構(gòu)相似算法和YOLOv3 目標檢測相結(jié)合的方法.首先基于邊緣結(jié)構(gòu)相似算法判斷傳送帶的啟停狀態(tài),通過邊緣結(jié)構(gòu)特征比較圖像之間的差異,判斷傳送帶處于運行狀態(tài)還是停機狀態(tài).當判斷出傳送帶運行時,通過改進的YOLOv3 目標檢測方法檢測傳送帶上的煤量.當傳送帶運行并且無煤時,傳送帶處于空載狀態(tài).

1 空載檢測的方法

傳送帶空載狀態(tài)需要具備兩個條件:傳送帶正在運行,并且傳送帶上不運輸煤炭.本文方法包括3 個模塊,模塊1 判斷傳送帶是否處于運動狀態(tài),模塊2是目標檢測模塊,通過目標檢測判斷傳送帶是否空載.模塊3是廣播預警模塊,當傳送帶空載時,發(fā)出警告.傳送帶空載檢測方法的流程圖如圖1所示.

1.1 基于邊緣結(jié)構(gòu)相似的傳送帶狀態(tài)判斷

煤礦井下的攝像頭將采集的傳送帶視頻轉(zhuǎn)化為圖像,然后通過相鄰幀圖像的相似度來判斷傳送帶的運行狀態(tài).

圖像一般具有亮度、灰度、對比度等結(jié)構(gòu)特征,這些結(jié)構(gòu)特征能夠描述圖像的信息.結(jié)構(gòu)相似性(SSIM)[9]就是衡量兩張圖片相似度的重要指標.傳統(tǒng)的圖像相似度通過均方差MSE、峰值信噪比PSNR 等方法來比較像素之間的差異,雖然計算簡單,但沒有充分考慮人類的視覺系統(tǒng)[10].煤礦井下傳送帶運輸系統(tǒng)視覺條件差,并且傳送帶運行時,煤流寬度及紋理在變化,有時采集的視頻煤量邊緣和傳送帶顏色相近,基于上述產(chǎn)生的問題,本文首先計算整張圖片平均結(jié)構(gòu)相似性,然后運用Sobel 算子提取圖像不同尺度的邊緣值,計算邊緣結(jié)構(gòu)相似度.將兩者融合來比較圖像的相似度,每隔10 幀檢測圖像的相似度,連續(xù)檢測3 次,判斷傳送帶是否運行.算法實現(xiàn)步驟如下:

(1)將圖像分成N×N共M個圖像塊,分別計算每一個圖像塊的均值、方差及協(xié)方差,然后計算對應(yīng)圖像塊的結(jié)構(gòu)相似性.SSIM的公式定義如下:

其中,SSIM的衡量指標亮度函數(shù)、對比度函數(shù)的計算分別為α、β主要調(diào)節(jié)指標的相對重要程度.然后以單位像素移動圖像塊,使整張圖像結(jié)構(gòu)相似度指標計算完畢.最后將結(jié)構(gòu)相似性(SSIM)的平均值比較兩張圖片的相似度.由此,整張圖像的平均結(jié)構(gòu)相似性表示為(MSSIM):

(2)圖像塊分別選取雙尺度3×3和5×5的窗口,利用Sobel 邊緣檢測算法和梯度提取其邊緣信息,計算每個尺度邊緣幅度的估計值函數(shù)e1(x,y),e2(x,y).將不同尺度的邊緣估計值函數(shù)加權(quán)求和計算出每個圖像塊的邊緣結(jié)構(gòu)相似性e(x,y),α取1/2.

(3)將結(jié)構(gòu)相似性、邊緣相似度相合并,不斷移動窗口計算整張圖像的邊緣結(jié)構(gòu)相似性(ESSIM).然后計算整張圖像的平均邊緣結(jié)構(gòu)相似性(MESSIM).

1.2 YOLOv3 目標檢測

在1.1 節(jié)中通過圖像之間的邊緣結(jié)構(gòu)差異判斷了傳送帶是否運行.在運行的基礎(chǔ)上檢測煤量.

基于深度學習的目標檢測算法采取從關(guān)注分類到基于回歸的思路,從RCNN[11]到Y(jié)OLO[12]、SSD[13]、YOLOv2[14]、YOLOv3[15],目標檢測的速度和準確度都在逐漸提高.YOLOv3 利用多尺度檢測目標物體的位置、大小,準確率高、速度快.適合應(yīng)用于實時的工程目標檢測.YOLOv3 以Darknet-53 作為基礎(chǔ)網(wǎng)絡(luò),主要由一系列的3×3和1×1 卷積層、殘差結(jié)構(gòu)構(gòu)成.其中卷積層用來提取圖像的特征,通過調(diào)整卷積步長控制特征圖的輸出尺寸.每個卷積層后增加批標準化(batch normalization)和Leaky ReLU 激活層降低差異性、加速收斂和避免過擬合.殘差結(jié)構(gòu)通過增加網(wǎng)絡(luò)深度提高準確率,緩解梯度消失問題.圖2表示了YOLOv3的數(shù)據(jù)流程圖,輸入圖像大小以256×256為例.經(jīng)過Darknet-53 網(wǎng)絡(luò)、YoloBlock 生成的特征圖分為兩個分支,第一個分支經(jīng)過3×3、1×1 卷積之后生成特征圖一,第二個分支經(jīng)過1×1 卷積層加上采樣層,與Darknet-53 網(wǎng)絡(luò)中間層的輸出結(jié)果按照通道維度進行拼接,生成第二個特征圖.如此循環(huán)得到第三個特征圖.

圖2 YOLOv3 數(shù)據(jù)流程圖

YOLOv3 添加了類似的特征金字塔網(wǎng)絡(luò)(FPN),采用多尺度對不同大小的物體進行檢測.在確保實時性的基礎(chǔ)上提高了準確率.YOLOv3 輸出3 種不同尺度的特征圖,每個網(wǎng)格預測3 個邊界框(bounding box),每個邊界框包含5 個要素(x,y,w,h,confidence),即邊界框的4 個偏移量和1 個目標的預測.在COCO 數(shù)據(jù)集中有80 個類別,N×N表示輸出特征圖的網(wǎng)格數(shù),所以輸出張量為N×N×.本文檢測的是有煤、無煤兩類,修改YOLOv3的分類器,得到輸出維度為3×(5+2)=21.

1.3 自適應(yīng)錨框機制

本文通過YOLOv3 錨框機制來完成目標檢測任務(wù),根據(jù)傳送帶上的煤量范圍,使用聚類維度來預測錨框(anchor box),通過錨框預測區(qū)域建議產(chǎn)生預測框(bounding box).當預測框(bounding box)和實際真實框(ground truth box)的差值很小時,就可以比較準確的定位目標物體.這就需要設(shè)置不同大小和縱橫比的錨框,得到9 個錨框,將其平均分配到輸出的3 個特征圖上.同時YOLOv3 使用邏輯回歸(logistic regression),去掉不必要的錨框,從9 個錨框中找到最有可能是目標的錨框來預測物體的類別、位置.

隨著物體變得復雜,默認錨框的數(shù)量也會增加,使預測變得復雜.為了更有效的定位目標物體,本文提出了一種基于深度信息的自適應(yīng)錨框機制,其目標檢測結(jié)構(gòu)如圖3所示.首先輸入的圖像經(jīng)過YOLOv3 網(wǎng)絡(luò)得到預測參數(shù),這些參數(shù)用來將歸一化錨框變?yōu)闅w一化預測框.d?(P)(*表示x,y,w,h)為網(wǎng)絡(luò)預測輸出的參數(shù)[9].將歸一化默認錨框和參數(shù)計算得到歸一化預測框.

圖3 自適應(yīng)錨框機制的結(jié)構(gòu)

從攝像頭中獲取深度圖像,然后計算圖像中每個像素的比例因子以形成比例映射.計算的比例因子可以自動改變錨框大小.根據(jù)煤礦井下攝像頭拍攝到的圖像建立數(shù)學模型,使得攝像頭到物體之間的距離與采集的圖像大小之間可以轉(zhuǎn)換.從采集到的深度圖像中計算比例因子,定義攝像頭與物體之間的距離為深度h,物體的長度為l,攝像機的長度為f,成像物體的長度s為比例因子,計算的比例因子s=f×l÷h.通過比例因子與歸一化預測框計算公式,式(5)-式(8)大小相乘得到區(qū)域建議.

該結(jié)構(gòu)放棄了預測物體大小的過程,更關(guān)注物體的中心的像素坐標和寬高比例.不從卷積層提取特征,而從攝像頭收集的深度圖像中計算的比例因子自動改變錨框的大小,將預測不同大小的物體.當攝像頭角度發(fā)生變化時,計算的比例因子仍然不變,使得目標檢測模型也能達到很強的適應(yīng)性和較高的準確率.

2 實驗

2.1 制作數(shù)據(jù)集

本文的數(shù)據(jù)來源于三甲煤礦不同機頭和機尾、不同的拍攝角度、不同的時間段的傳送帶監(jiān)控視頻數(shù)據(jù),具有代表性.三甲煤礦攝像頭采用KBA127 礦用隔爆型攝像儀安裝在各個傳送帶的正上方,距離傳送帶2 米,光源對準傳送帶,采集10 段不同場景的視頻,每個場景包含有煤運行、無煤運行、無煤停止3 種類型的視頻,將視頻數(shù)據(jù)按每相鄰3 幀截成8000 張圖像數(shù)據(jù)集,挑選不同場景的、清晰的3500 張有煤(包括少煤、多煤),選擇3500 張無煤作為訓練集,對訓練集按照COCO 數(shù)據(jù)集標注標準進行標注,生成XML 文件.選取沒有訓練的1000 張圖像(有煤、無煤)作為測試集來驗證實驗的可靠性.

2.2 實驗流程

首先對數(shù)據(jù)集進行預處理,圖像裁剪將圖片尺寸裁剪為240×240,圖像池化使用卷積神經(jīng)網(wǎng)絡(luò)池化層的思想,對目標區(qū)域的像素值起到平滑的效果.對預處理之后訓練集使用YOLO_mark 工具進行標注,然后通過邊緣結(jié)構(gòu)相似算法每相隔10 幀比較圖像的相似度,連續(xù)比較3 次,若平均邊緣結(jié)構(gòu)相似性(MDESSIM)的值越低,則兩幅圖像的相似度越低,差異越大,則可以判斷傳送帶處于運行狀態(tài).若兩幅圖MDESSIM的值不變,則傳送帶處于停機狀態(tài).當傳送帶運行時,通過改進的YOLOv3 目標檢測模型對目標區(qū)域的煤炭進行檢測,當檢測到有煤時,認為傳送帶上有煤運輸.相反,在15 s 內(nèi)沒有檢測到煤炭,且傳送帶正在運行,則判斷傳送帶處于空載狀態(tài),提醒工作人員實行空載時自動降速或停機的操作.

2.3 實驗結(jié)果分析與對比

(1)圖像MESSIM的比較

選取測試集進行測試,每隔10 幀計算圖像的MESSIM,如表1所示,分別計算第1 幀,第10 幀,第20 幀的MESSIM,不同圖像計算的MESSIM比較的結(jié)果如表1所示.

表1 不同幀的圖像MESSIM 比較

從表1可以看出,當MESSIM的值為1 時,說明不同幀之間的圖像都相同,此時傳送帶處于停止狀態(tài).而當MESSIM的值隨著幀數(shù)的變化而降低時,圖像之間的相似度越來越低,說明傳送帶正在運行.

(2)煤量檢測結(jié)果

將傳送帶運行時的圖像通過改進的YOLOv3 模型訓練,檢測傳送帶上是否有煤,檢測結(jié)果如圖4所示.

在圖4中,傳送帶正在運行,YOLOv3 自動檢測傳送帶上的煤量,并且根據(jù)煤流寬度,自動調(diào)整檢測框的大小,尤其在煤量少時,也不會出現(xiàn)誤測.當連續(xù)20 s內(nèi)檢測到無煤時,就可以判斷傳送帶正在空載.

(3)實驗對比

在制作的傳送帶數(shù)據(jù)集上通過YOLOv2、YOLOv3和本文提出的方法進行對比,比較平均準確率,結(jié)果如表2所示.

YOLOv2 通過改變錨框數(shù)量,得到不同的平均準確率.根據(jù)表2的實驗結(jié)果,說明當YOLOv2 錨框的數(shù)量為2 時,檢測的平均準確率較高,隨后增加錨框數(shù)量,就會出現(xiàn)過擬合現(xiàn)象.而YOLOv3的輸出為3 個特征圖,每個特征圖至少需要分配一個錨框,所以選擇的錨框數(shù)量為3 個.由表2結(jié)果可以看出,本文提出的方法準確率達到了96.85%,與傳統(tǒng)的YOLOv2、YOLOv3相比,能達到更高準確率.并且該實驗在一張2080Ti顯卡上運行的fps 可以達到30～40 之間,滿足實時性的需求.從而能夠更準確的判斷出傳送帶的空載狀態(tài).

圖4 YOLOv3 模型上的檢測結(jié)果

表2 傳送帶數(shù)據(jù)集目標檢測比較

3 結(jié)論與展望

本文針對煤礦井下傳送帶空載問題,提出了一種融合YOLOv3和邊緣結(jié)構(gòu)相似算法的井下傳送帶空載判定方法.首先運用邊緣結(jié)構(gòu)相似算法比較圖像的相似度,從而判斷傳送帶的運行狀態(tài).然后通過自適應(yīng)錨框機制的YOLOv3 目標檢測模型檢測傳送帶上是否有煤.通過這兩個步驟判斷傳送帶的空載狀態(tài).實驗結(jié)果表明,邊緣結(jié)構(gòu)相似算法能夠有效解決將空載狀態(tài)誤判為停機狀態(tài)的問題,準確判斷傳送帶的運行狀態(tài).自適應(yīng)錨框機制的YOLOv3 模型可以準確、快速的檢測煤量.綜上,本文提到的傳送帶空載檢測方法能夠?qū)崟r可靠的檢測傳送帶的空載狀態(tài),達到節(jié)能降耗的目的.從而提高煤礦企業(yè)的生產(chǎn)效率、經(jīng)濟效益和能源利用效率、打造能約節(jié)約型企業(yè).但是本文沒有考慮光照、灰塵等因素對檢測造成的影響,這是下一步的研究方向.