成彥穎 白尚旺

（太原科技大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院 太原 030024）

1 引言

煤炭產(chǎn)量是衡量煤礦生產(chǎn)效率和經(jīng)濟(jì)效益的重要指標(biāo)，帶式輸送機(jī)作為煤礦中常用的輸送設(shè)備，在運(yùn)輸煤料中經(jīng)常會出現(xiàn)堆煤、少煤、空載的情況，使得煤量運(yùn)輸不均勻。所以煤量的檢測不僅能預(yù)測煤炭產(chǎn)量，進(jìn)行生產(chǎn)管理，而且能將皮帶煤料上的情況反饋給工作人員，對皮帶進(jìn)行及時有效的控制，達(dá)到優(yōu)化煤量，節(jié)省電能的目的。

傳統(tǒng)的皮帶煤量檢測有接觸式或非接觸式兩種方法，接觸式的方法包括傾斜開關(guān)、壓力檢測［1］或電子膠帶秤［2］。傾斜開關(guān)雖然簡單，容易檢測，但皮帶易磨損，需要定期檢查維修，而且檢測的準(zhǔn)確率和可靠性差［1］。壓力檢測和電子膠帶秤由于和皮帶長時間接觸、皮帶自身的重量和速度等誤差都會對檢測造成影響［3］。非接觸式方法有電場感應(yīng)和激光檢測，電場感應(yīng)通過安裝智能傳感器來檢測煤量，產(chǎn)生的電場變化作為煤量檢測的輸出，但是電場感應(yīng)方法無法檢測煤量的多少［1］。激光檢測通過激光掃描測量技術(shù)實(shí)時采集煤流的三維數(shù)據(jù)，計算煤的體積和重量［4］。這種方法可以檢測出煤量的多少，但是成本較高，不能很好的普及。部分煤礦將變頻技術(shù)和載煤量自動匹配控制結(jié)合起來，加強(qiáng)了節(jié)能的效果［5］，但是在復(fù)雜的煤礦環(huán)境中，變頻器易收到干擾而損壞。

隨著計算機(jī)視覺的發(fā)展，利用深度學(xué)習(xí)進(jìn)行圖像分割檢測也有著突出表現(xiàn)。在煤礦領(lǐng)域中，利用了視覺檢測中的單目視覺技術(shù)構(gòu)建小孔成像測距模型，實(shí)現(xiàn)了膠帶堆煤檢測［6］?；跈C(jī)器視覺的智能輸煤檢測系統(tǒng)將煤量檢測分為煤寬和煤高檢測，采取煤寬分割區(qū)域和基于卷積神經(jīng)網(wǎng)絡(luò)的煤高檢測，整體效果好，但是在復(fù)雜的環(huán)境下適應(yīng)性差且精度較低［7］。

本文針對煤炭圖像檢測精度低，且適應(yīng)性差等問題，提出了一種新的煤量檢測方法，首先通過Camshift 算法實(shí)時跟蹤捕捉皮帶煤量的區(qū)域，然后通過Res2-UNet模型將多層次、多尺度的顯著性特征集中到單一的網(wǎng)絡(luò)，檢測煤量的輪廓區(qū)域。實(shí)現(xiàn)了對煤量的準(zhǔn)確定位和分割。

2 皮帶煤量檢測視覺監(jiān)控系統(tǒng)

本系統(tǒng)在皮帶上方安裝礦用高清防爆攝像頭實(shí)時采集皮帶的視頻，將采集到的視頻通過網(wǎng)絡(luò)傳到服務(wù)器上，服務(wù)器通過人工智能視頻識別模型檢測和分析煤量，采用Camshift 算法跟蹤和Res2-UNet網(wǎng)絡(luò)檢測。圖1為皮帶煤量檢測視覺監(jiān)控系統(tǒng)。

圖1 皮帶煤量檢測視覺監(jiān)控系統(tǒng)

3 實(shí)驗(yàn)流程

3.1 預(yù)處理

首先讀入要檢測的皮帶視頻，采集煤流數(shù)據(jù)，為了保證圖像檢測的準(zhǔn)確性和提高訓(xùn)練的速度，需要對目標(biāo)圖像進(jìn)行預(yù)處理，包括圖像裁剪、光照均勻處理、圖像池化等。圖像裁剪根據(jù)檢測的目標(biāo)對象的坐標(biāo)來定位裁剪區(qū)域，將圖像尺寸調(diào)整為250像素×250 像素。光照均勻處理，是指當(dāng)在工作場景中光照不均勻時，可能會對我們的檢測造成影響，光照的變化會導(dǎo)致圖像的像素矩陣發(fā)生變化，這里對圖像做光照均勻處理可在一定程度上改善算法的判斷效果。最后，對于預(yù)處理步驟中的圖像池化，是因?yàn)樵趯?shí)際場景中可能會出現(xiàn)攝像頭輕微抖動等情況，可能會導(dǎo)致相鄰的視頻幀的圖像的像素值會發(fā)生一定的偏移，這里使用卷積神經(jīng)網(wǎng)絡(luò)中的池化層的思想，對圖像進(jìn)行池化可達(dá)到對池化區(qū)域內(nèi)像素值進(jìn)行平滑的效果，可在一定程度上改善輕微的像素值變化造成的影響。

預(yù)處理之后利用Camshift 算法快速跟蹤捕捉運(yùn)行的皮帶煤流圖像，然后通過Res2-UNet模型進(jìn)行煤量檢測。圖2為皮帶煤量檢測流程圖。

圖2 皮帶煤量檢測流程圖

3.2 基于Camshift算法的皮帶煤量快速跟蹤

利 用Camshift（Continuously Adaptive Mean Shift）［8］連續(xù)的自適應(yīng)平均移位（Meanshift）算法對快速移動的物體跟蹤，提取煤量的位移。這種算法根據(jù)目標(biāo)物體的顏色特征跟蹤目標(biāo)的運(yùn)動軌跡，顏色特征不會受外界的環(huán)境變化，所以Camshift 算法對于跟蹤物體來說比較穩(wěn)定，并且實(shí)時性好、準(zhǔn)確率和效率都很高。

本文通過礦用高清防爆攝像頭捕獲高速運(yùn)動的皮帶，對采集到的視頻幀做預(yù)處理，將RGB 顏色空間變?yōu)镠SV 空間形成候選目標(biāo)區(qū)域，手動定義搜索窗口選擇移動目標(biāo)，通過Meanshift 運(yùn)算，并且使上一幀目標(biāo)窗口的的中心位置和大小作為下一幀的目標(biāo)窗口的初始值，依次迭代下去，直到最后一幀的目標(biāo)跟蹤。Camshift算法流程如圖3所示。

圖3 Camshift算法流程圖

首先計算搜索區(qū)域的大小，將RGB 圖像轉(zhuǎn)化為HSV 圖像，HSV 空間有三個參數(shù)，即色調(diào)（H）、飽和度（S）和明度（V），計算公式如下：

計算搜索窗口的目標(biāo)顏色直方圖是為了得到顏色概率分布圖像。當(dāng)直方圖投影后，每個像素的值代表了顏色的概率信息，從而通過顏色特征可以跟蹤目標(biāo)的軌跡。

搜索區(qū)域像素點(diǎn)的坐標(biāo)為（x，y），在投影圖中，對應(yīng)的像素值為I（x，y）。搜索窗口的零階矩、一階矩、二階矩分別為M00；M01；M10；M20；M02；M11。

定義了搜索框的質(zhì)心坐標(biāo)（xc，yc）：

長軸為l，短軸為w，目標(biāo)的方向角為

通過Meanshift 算法，搜索窗口的中心移動到質(zhì)心位置，設(shè)定搜索窗口中心到質(zhì)心距離閾值，不斷移動計算兩者之間的實(shí)際距離，若實(shí)際距離小于設(shè)定的閾值，則達(dá)到了收斂條件進(jìn)行下一幀的循環(huán)，否則重新調(diào)整搜索窗口的質(zhì)心位置以滿足條件。

3.3 建立Res2-UNet煤量檢測模型

本文提出的Res2-UNet 模型借鑒了圖像分割U-Net［9~11］網(wǎng)絡(luò)的思想，是一個編碼器-解碼器架構(gòu)，編碼器采用Res2Net［12］多尺度卷積網(wǎng)絡(luò)提取特征信息，如圖4 所示，Res2Net 將ResNet 通用的3×3的卷積核變?yōu)槎喾种У奶卣鹘M，這些特征組以分層殘差的形式連接以增加多尺度的輸出。首先將輸入特征圖分成幾組，一組輸入特征圖提取特征，其輸出特征與另一組的輸入特征圖共同送入下一個3×3 的卷積核，重復(fù)幾次，處理完所有的輸入特征圖，輸出不同大小感受野，將輸出結(jié)果融合并且經(jīng)過1×1的卷積核，得到更多尺度的特征。

圖4 Res2Net網(wǎng)絡(luò)模型

隨著深度的增加，圖像尺寸逐漸減少，所以通過下采樣操作提取高層次的特征，輸入圖像以256×256 為例，以Res2Net 網(wǎng)絡(luò)作為特征提取模塊得到8×8 的特征圖。解碼器通過反卷積操作擴(kuò)大圖像尺寸，并與下采樣相同尺寸的特征圖拼接起來，將輸入特征的空間大小加倍，傳播上下文信息到更高分辨率的層，然后將拼接后的特征圖經(jīng)過1×1 的卷積核和反卷積操作后，使得輸出與輸入圖像的的分辨率大小相同。最后通過1×1 分類器映射特征向量到輸出層進(jìn)行分類，采用Sigmoid 函數(shù)作為激活函數(shù)，以交叉熵為代價函數(shù)，提高訓(xùn)練的速度［13~14］。Res2-UNet的模型結(jié)構(gòu)如圖5所示。

圖5 Res2-UNet的模型

4 實(shí)驗(yàn)

4.1 Camshift算法快速跟蹤皮帶

煤礦中皮帶工作時以較高的速度運(yùn)行，皮帶煤量視覺監(jiān)控系統(tǒng)必須快速捕捉跟蹤皮帶上的煤量，在煤量區(qū)域的視野范圍內(nèi)，采集高速運(yùn)行的皮帶圖像。本文實(shí)地采集三甲煤礦不同場景（露天煤礦、地下煤礦）、不同角度、不同時間段5 段共10h 皮帶煤流運(yùn)行的視頻，具有代表性，符合實(shí)際情況，驗(yàn)證本文方法在多變環(huán)境中的煤量檢測效果。

首先采用Camshift 算法跟蹤快速運(yùn)行的皮帶視頻，觀察煤量變化的情況。如圖6 所示為跟蹤皮帶第230幀和第245幀的結(jié)果。

圖6 皮帶跟蹤結(jié)果

4.2 Res2-UNet模型皮帶檢測

通過Camshift 算法快速跟蹤到煤量區(qū)域后，在跟蹤后的圖片數(shù)據(jù)集挑選無煤、少煤、中煤、多煤、大塊煤各150 張數(shù)據(jù)集，總共800 張訓(xùn)練集和100張測試集。將訓(xùn)練集在Res2-UNet 網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，訓(xùn)練參數(shù)如表1所示，“batch_size”表示每次迭代的皮帶圖像數(shù)量，“epochs”表示訓(xùn)練集中所有數(shù)據(jù)迭代的次數(shù)。“imgs_train”表示訓(xùn)練集的總數(shù)?！癛esolution”表示訓(xùn)練集圖像的分辨率。 實(shí)驗(yàn)采用隨機(jī)梯度下降法。訓(xùn)練完成后識別和分割皮帶上的煤量，結(jié)果如圖7所示。

表1 設(shè)置訓(xùn)練參數(shù)

圖7 煤量檢測結(jié)果

通過對比本文的煤量檢測方法與CNN、E-Net［15］、U-Net 在平均準(zhǔn)確率和運(yùn)行時間指標(biāo)上的區(qū)別，精確率為測試圖像中每個像素點(diǎn)與真實(shí)圖相對比，分類正確的占比，運(yùn)行時間為每張圖像從輸入網(wǎng)絡(luò)到輸出的時間。驗(yàn)證本文方法的有效性。檢測結(jié)果如表2所示。

表2 不同模型的精度

從表2可知，U-Net網(wǎng)絡(luò)平均準(zhǔn)確率較高，但是運(yùn)行時間不占優(yōu)勢，E-Net 運(yùn)行時間少，但是平均準(zhǔn)確率低。而本文提到的煤量檢測方法準(zhǔn)確率更高，達(dá)到95.5%。且運(yùn)行時間為4.8s，從而能更準(zhǔn)確及時地檢測皮帶上煤料，對帶式輸送機(jī)進(jìn)行有效的控制。

5 結(jié)語

為了能實(shí)時準(zhǔn)確地檢測皮帶上的煤量，本文采用Camshift 算法捕捉跟蹤快速運(yùn)行的皮帶煤量目標(biāo)，當(dāng)定位目標(biāo)的感興趣區(qū)域后，通過Res2Net 網(wǎng)絡(luò)提取煤量顯著特征，結(jié)合U-Net網(wǎng)絡(luò)的設(shè)計思想建立Res2-UNet 模型。該架構(gòu)通過收縮路徑捕捉煤量的上下文信息，對稱的擴(kuò)張路徑來準(zhǔn)確定位，可以用很少的數(shù)據(jù)集實(shí)現(xiàn)端到端的訓(xùn)練，降低了模型訓(xùn)練的難度，減少了計算量，加快了檢測速度。綜上本文提到的檢測方法能高效快速地檢測皮帶煤量，大大減少了電能損耗，提高了煤礦井下煤量的生產(chǎn)效率和經(jīng)濟(jì)效益。