魏 強(qiáng)，白尚旺，龔大立，黨偉超，潘理虎

(1.太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030024;2.精英數(shù)智科技股份有限公司，太原 030024)

采煤機(jī)采煤后，護(hù)幫板要對綜采工作面煤壁進(jìn)行支護(hù)。生產(chǎn)實(shí)踐表明，如果采煤后護(hù)幫板沒有及時(shí)護(hù)幫，工作面煤壁可能因采動應(yīng)力而發(fā)生片幫，造成砸死砸傷事故[1]。為了避免此類事故的發(fā)生，煤礦傳統(tǒng)做法是由液壓支架工檢測護(hù)幫板是否護(hù)幫，但液壓支架工作業(yè)時(shí)間長，容易出現(xiàn)因身體疲勞沒有檢測到液壓支架護(hù)幫板未護(hù)幫的情況。為解決液壓支架工因身體疲勞導(dǎo)致漏檢的問題，將目標(biāo)檢測技術(shù)應(yīng)用到護(hù)幫板狀態(tài)檢測是一項(xiàng)很有必要的研究。

現(xiàn)階段液壓支架護(hù)幫板狀態(tài)研究大多基于傳感器技術(shù)實(shí)現(xiàn)，如梁海權(quán)[2]等人提出將勵(lì)磁體分別放置于護(hù)幫板和液壓支架伸縮梁上獲得電壓值，通過電壓運(yùn)算電路得到液壓支架護(hù)幫板狀態(tài)；黃金福[3]等人提出在護(hù)幫板上安裝壓力傳感器和傾角傳感器護(hù)幫板傳感器單元，通過傾角傳感器得到護(hù)幫板當(dāng)前的伸收角度并控制每個(gè)護(hù)幫板的伸收；魏文艷[4]等人提出在液壓支架頂梁、護(hù)幫千斤頂油缸里和護(hù)幫板上安裝接近開關(guān)、壓力傳感器和行程傳感器，通過接收的傳感信息控制液壓支架護(hù)幫板的動作。徐勇智[5]通過收集安裝在護(hù)幫板和液壓支架上傳感器的數(shù)據(jù)，對護(hù)幫板運(yùn)動過程和傳感器數(shù)據(jù)處理及分析，從而對護(hù)幫板收放狀態(tài)進(jìn)行判斷。以上方法均是接觸式測量，需安裝傳感器設(shè)備，成本較高、安裝繁瑣、維護(hù)困難，容易受到電磁干擾，導(dǎo)致測量結(jié)果不準(zhǔn)確。針對以上問題，王淵[6]等人提出一種圖像識別的護(hù)幫板狀態(tài)監(jiān)測方法，通過獲取視頻某一幀圖像并進(jìn)行去霧處理，然后使用機(jī)器視覺測量方法對護(hù)幫板狀態(tài)進(jìn)行監(jiān)測，但該方法不能實(shí)時(shí)檢測護(hù)幫板狀態(tài)。

目標(biāo)檢測技術(shù)已經(jīng)成功用于機(jī)器人導(dǎo)航、智能視頻監(jiān)控、工業(yè)檢測、航空航天等諸多領(lǐng)域，并取得很好的效果。目前檢測速度和精度較好的目標(biāo)檢測算法是YOLOv3[7-8]，但消耗的計(jì)算資源較多，在性能較高的設(shè)備上才能滿足實(shí)時(shí)檢測。而Tiny-YOLOv3是YOLOV3的簡化模型，通過降低卷積層的深度減少計(jì)算量，在低性能設(shè)備上能滿足實(shí)時(shí)檢測。同時(shí)考慮到綜采工作面環(huán)境惡劣，采集的視頻數(shù)據(jù)存在采煤時(shí)產(chǎn)生的煤塵和噴霧，導(dǎo)致護(hù)幫板特征提取困難。為減少塵霧對檢測任務(wù)的影響，有必要對采集的數(shù)據(jù)進(jìn)行去霧處理。但傳統(tǒng)圖像去霧算法包含大量浮點(diǎn)型數(shù)據(jù)和矩陣運(yùn)算，在CPU上去霧時(shí)間較長。因此，本文提出一種融合圖像去霧與Tiny-YOLOv3的檢測算法，并優(yōu)化圖像去霧算法的CUDA實(shí)現(xiàn)，加快圖像去霧速度，提高本文算法檢測效率。

1 融合圖像去霧與Tiny-YOLOv3的算法

1.1 算法流程

本文算法首先將煤礦井下視頻監(jiān)控圖像進(jìn)行去霧處理，接著將去霧圖像輸入到Tiny-YOLOv3算法完成護(hù)幫板狀態(tài)檢測，最后將標(biāo)注后的圖像幀合并成視頻輸出。算法流程圖如圖1所示。

圖1 算法流程圖

檢測算法的主要步驟：

Step1.調(diào)用cv2.VideoCapture()函數(shù)獲取視頻數(shù)據(jù)；

Step2.將視頻數(shù)據(jù)用Image.fromarray()函數(shù)保存為圖片；

Step3.把圖片按橫縱比例縮放；

Step4.調(diào)用圖像去霧算法對縮放圖片進(jìn)行去霧；

Step5.用yolo.detect_image()函數(shù)對圖片進(jìn)行檢測；

Step6.調(diào)用np.asarray()將圖片合成視頻。

1.2 圖像去霧算法

圖像去霧算法根據(jù)McCartney[9]的圖像退化模型描述有霧圖像成像原理，模型表示如式(1)所示：

H(x)=F(x)t(x)+A(1-t(x))

(1)

式中x是圖像像素的2D空間位置，H(x)是有霧圖像，F(xiàn)(x)是無霧圖像，A是全局大氣光，t(x)是透射率，描述光線通過傳輸介質(zhì)到達(dá)相機(jī)未散射的部分。場景中的霧氣越重會導(dǎo)致透射率越低，圖像衰減越嚴(yán)重。大氣光表示圖像因散射光導(dǎo)致的顏色偏移。對公式(1)變型后得到：

(2)

根據(jù)輸入圖像H(x)計(jì)算出F(x)、A和t(x)，得到去霧圖像。顯然這個(gè)方程有無數(shù)解，因此，本文采用去霧效果較好的暗通道先驗(yàn)[10]求解方程。

基于暗通道先驗(yàn)的思想，對于任意不含有大量明亮區(qū)域的圖像，通過比較圖像RGB三通道的像素值，總存在某一個(gè)通道的像素值趨近于0.即：

(3)

式中Ω(x)表示以像素點(diǎn)x為中心的局部區(qū)域，c∈{r，g，b}表示RGB三通道。

考慮到煤礦圖像一般由較暗的巖石和大型機(jī)械的陰影組成，RGB三通道像素值整體較小，通道之間像素值相差不大，煤礦圖像可以用RGB任意單通道圖像代替暗通道圖像。為驗(yàn)證該方法有效性，本文隨機(jī)選取500張煤礦清晰圖像，繪制單通道圖像和暗通道圖像的直方圖，通過對比發(fā)現(xiàn)圖2和圖3的像素值分布情況大致相同，驗(yàn)證了任意單通道圖像代替暗通道圖像方法的有效性。

圖2 RGB三通道圖像素值分布

圖3 暗通道圖像素值分布

圖像去霧算法具體步驟如下：

a)計(jì)算暗通道圖像。用RGB任意單通道圖像代替。

b)計(jì)算全局大氣光。通過排序選取暗通道圖中亮度最大的前0.1%的像素點(diǎn)的均值作為全局大氣光值A(chǔ).

(4)

式中c∈{r，g，b}，并將式(4)變形得到：

(5)

接著在RGB三通道求最小值得：

(6)

由式(3)可知：

(7)

結(jié)合式(6)和式(7)計(jì)算得初始透射率為：

(8)

d)精細(xì)化透射率及圖像還原。初始透射率還原的圖像會出現(xiàn)“塊效應(yīng)”。為了克服這一問題，算法采用He[11]等人提出導(dǎo)向?yàn)V波算法精細(xì)化透射率。最后將大氣光值和精細(xì)化透射率代入式(2)即可得到去霧圖像。

1.3 Tiny-YOLOv3算法

首先，輸入大小為416*416*3的圖像，結(jié)合7個(gè)卷積層和最大池化層提取特征，并借鑒FPN(feature p-yramid network，F(xiàn)PN)[12]的思想，得到兩個(gè)不同尺度大小的特征圖，根據(jù)尺度不同的特征圖對目標(biāo)進(jìn)行檢測。其中卷積層結(jié)構(gòu)為Convolution2D+BatchNormalization+LeakyRelu結(jié)構(gòu)。圖4展示了Tiny-YOLOv3的結(jié)構(gòu)。

圖4 Tiny-YOLOv3算法結(jié)構(gòu)

訓(xùn)練模型時(shí)，Tiny-YOLOv3使用的損失函數(shù)由預(yù)測框的位置(x，y)，預(yù)測框的大小(w，h)，預(yù)測類別和預(yù)測置信度四部分組成。公式(9)中顯示了Tiny-YOLOv3的表達(dá)式：

(9)

其中n是每批次的訓(xùn)練個(gè)數(shù)，公式(9)中每個(gè)因子的損失函數(shù)如下：

(10)

(11)

(12)

(13)

其中objectmask表示實(shí)際是否包含對象，(w，h)是預(yù)測框的寬度和高度，bianrycrossentropy是二進(jìn)制交叉熵函數(shù)，square是方差函數(shù)。truexy是目標(biāo)的實(shí)際位置，predxy是預(yù)測位置；truewh是標(biāo)注框的大小，predwh是預(yù)測框的大小；trueclass是目標(biāo)的分類，predclass是預(yù)測的類；predmask是預(yù)測是否包含對象，ignoremask與IOU相關(guān)，如果IOU的值小于設(shè)定閾值，則ignoremask為0.

2 優(yōu)化圖像去霧算法的CUDA實(shí)現(xiàn)

為保證圖像去霧算法和Tiny-YOLOv3融合后不影響算法的實(shí)時(shí)性，本文在Xue[13]等人對暗通道去霧算法的CUDA并行處理基礎(chǔ)上優(yōu)化了圖像去霧算法的CUDA實(shí)現(xiàn)，優(yōu)化過程包括以下四步：第一步用RGB任意單通道圖像代替暗通道圖像，第二步按列分組求大氣光值，第三步優(yōu)化初始透射率，第四步優(yōu)化精細(xì)化透射率的計(jì)算過程。

2.1 計(jì)算暗通道圖像和全局大氣光值

計(jì)算暗通道圖像是用RGB任意單通道圖像代替暗通道圖像，不涉及比較運(yùn)算耗時(shí)較小。而計(jì)算全局大氣光值需將圖像保存在線程塊中，然后通過排序方式求得，但線程塊之間通信耗困難，不滿足CUDA線程并發(fā)和獨(dú)立計(jì)算的特性。

為滿足CUDA線程特性，本文提出一種簡化計(jì)算全局大氣光值的方法，該方法通過按列分組的方法計(jì)算全局大氣光值，滿足線程特性且不影響去霧效果。按列分組方法是將圖像的每列像素值放入線程塊中，獨(dú)立計(jì)算每列的局部大氣光值，然后通過歸約算法比較不同列之間的大氣光值，得到局部大氣光值最大的一列，取該列像素值的均值作為近似全局大氣光值。該方法計(jì)算的全局大氣光值接近傳統(tǒng)方法的全局大氣光值，在不影響去霧效果的前提可以有效提升并行效率。

圖5 歸約算法圖

2.2 初始透射率

根據(jù)1.2節(jié)可知計(jì)算初始透射率的過程為三步，需要將計(jì)算過程設(shè)計(jì)三個(gè)kernel函數(shù)，第一個(gè)將局部區(qū)域 各通道像素值除以大氣光值A(chǔ)，第二個(gè)計(jì)算暗通道圖像，第三個(gè)計(jì)算初始透射率，如圖6所示。但在計(jì)算初始透射率的過程中，CPU需要頻繁調(diào)用這三個(gè)kernel函數(shù)，時(shí)間消耗較大。

圖6 kernel函數(shù)

為了減少kernel函數(shù)的調(diào)用次數(shù)，節(jié)省時(shí)間開銷，將數(shù)據(jù)從全局存儲器中讀取到共享存儲區(qū)中進(jìn)行計(jì)算，并合并kernel函數(shù)，實(shí)現(xiàn)整個(gè)計(jì)算過程在GPU內(nèi)完成，減少數(shù)據(jù)重復(fù)調(diào)用和數(shù)據(jù)交互耗時(shí)。具體過程如圖7所示。

圖7 kernel函數(shù)合并

2.3 精細(xì)化透射率和圖像還原

精細(xì)化透射率采用導(dǎo)向?yàn)V波算法，而導(dǎo)向?yàn)V波算法的主要計(jì)算量集中在box_filter函數(shù)，因此對box_filter函數(shù)的優(yōu)化是一項(xiàng)重要的工作。

本文采取的box_filter函數(shù)優(yōu)化方法[14]如圖8所示。傳統(tǒng)方法存在大量重復(fù)的計(jì)算且需要多次分配內(nèi)存，而優(yōu)化方法將保留中間結(jié)果存放于共享存儲器，有效的減少重復(fù)計(jì)算，提高內(nèi)存使用效率。圖像還原的計(jì)算過程僅涉及矩陣簡單的四則運(yùn)算，通過CUDA容易實(shí)現(xiàn)，時(shí)間消耗較少，本文不再贅述。

圖8 并行累加

3 實(shí)驗(yàn)準(zhǔn)備

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)運(yùn)行環(huán)境的操作系統(tǒng)為Windows10，處理器主頻為3.4 GHz、系統(tǒng)內(nèi)存為16 G，GPU為NVIDIA GTX 1080Ti，圖像去霧算法CUDA實(shí)現(xiàn)的編譯語言為C++，Tiny-YOLOv3算法的編譯語言為Python.

3.2 數(shù)據(jù)來源

實(shí)驗(yàn)數(shù)據(jù)來自某煤礦綜采工作面時(shí)長為60 min，圖像大小為1 920×1 080的視頻。

3.3 數(shù)據(jù)預(yù)處理

將視頻數(shù)據(jù)每隔10幀存儲為一張圖片，共得到18 000張圖像，把得到的圖像均分為兩部分。對第一部分的9 000張圖像不做任何處理，第二部分的9 000張圖像做去霧處理，把這兩部分圖像作為未去霧處理和去霧處理的對照數(shù)據(jù)集。圖9為未處理圖像，圖10為去霧圖像。

圖9 未處理圖像

圖10 去霧圖像

3.4 數(shù)據(jù)集的制作

將去霧圖像數(shù)據(jù)集和未處理圖像數(shù)據(jù)集按照VOC2007數(shù)據(jù)集的格式制作，采用labelImg數(shù)據(jù)標(biāo)注工具對兩部分?jǐn)?shù)據(jù)進(jìn)行標(biāo)注，生成網(wǎng)絡(luò)訓(xùn)練所需的xml配置文件。標(biāo)注內(nèi)容為如圖11所示。兩部分?jǐn)?shù)據(jù)集是按照8∶1∶1的比例分為訓(xùn)練集、驗(yàn)證集和測試集，數(shù)量分別為7 200張、900張和900張。

圖11 標(biāo)注內(nèi)容

3.5 Tiny-YOLOv3算法的參數(shù)選取

本文的檢測對象是護(hù)幫板，形狀一般為長方形，大小固定，而Tiny-YOLOv3的先驗(yàn)框數(shù)量和長寬不適用于本文數(shù)據(jù)集。通過K-means聚類算法獲取適合本文數(shù)據(jù)集的先驗(yàn)框數(shù)量和長寬。聚類結(jié)果如圖12所示，縱坐標(biāo)的平均畸變越小表明類內(nèi)的距離越小。根據(jù)肘部法則最終確定本文數(shù)據(jù)集的先驗(yàn)框數(shù)量k值為6，對應(yīng)的先驗(yàn)框長寬為[111，215]、[126，185]、[126，211]、[137，218]、[144，248]、[155，285].

圖12 K-means聚類結(jié)果

將Tiny-YOLOv3配置文件中的檢測類別class改為1，過濾器的值改為，這樣可以在不影響檢測任務(wù)的條件下，減少算法運(yùn)算量。算法的訓(xùn)練迭代次數(shù)設(shè)置為5 600次，初始學(xué)習(xí)率設(shè)置為0.01.通過調(diào)整參數(shù)發(fā)現(xiàn)，當(dāng)?shù)謩e為4 000和5 600次時(shí)，對應(yīng)的學(xué)習(xí)率分別為0.007和0.005，網(wǎng)絡(luò)具有一定的收斂性。圖13展示了整個(gè)網(wǎng)絡(luò)的訓(xùn)練損失圖，從圖中可以看出，當(dāng)?shù)螖?shù)為5 600時(shí)基本上收斂。

圖13 本文算法的訓(xùn)練損失圖

4 實(shí)驗(yàn)結(jié)果與分析

4.1 去霧效果比較

為驗(yàn)證本文圖像去霧算法能夠有效減少護(hù)幫板周圍的煤塵和噴霧，提高圖像清晰度，分別與文獻(xiàn)[10]、文獻(xiàn)[15]和文獻(xiàn)[16]去霧算法對煤礦圖像進(jìn)行去霧實(shí)驗(yàn)。圖14給出了本文去霧算法與其他去霧算法對煤礦圖像的去霧效果比較。從圖14的去霧效果可以看出，本文去霧算法與其他去霧算法相比可以有效地去除煤礦圖像中的煤塵和霧氣，處理后的圖像對比度、清晰度得到了提升，細(xì)節(jié)得到了很好的保留。

圖14 去霧效果比較

4.2 去霧速度比較

為了保證圖像去霧算法能夠?qū)崟r(shí)去霧，對后續(xù)檢測任務(wù)的實(shí)時(shí)性影響較小，實(shí)驗(yàn)將輸入大小為1 920×1 080的圖片縮放成大小960×540后執(zhí)行圖像去霧操作。表1展示了本文去霧算法與Xue[13]算法在處理大小960×540的煤礦圖片的各步驟運(yùn)行時(shí)間的比較。由表1的結(jié)果比較可以看出本文去霧算法在GPU上比Xue算法去霧速度提升較為明顯，對大小為960×540的煤礦圖片去霧時(shí)間僅需9 ms，比Xue算法去霧速度快了27 ms，保障后續(xù)檢測任務(wù)的實(shí)時(shí)性。

表1 不同去霧方法各步驟的運(yùn)行時(shí)間

4.3 檢測準(zhǔn)確率和速度比較

為了驗(yàn)證融合圖像去霧算法對YOLOv3和Tiny-YOLOv3檢測準(zhǔn)確率和速度的影響，本文設(shè)置了兩組對比實(shí)驗(yàn)。第一組對比實(shí)驗(yàn)是只采用YOLOv3和Tiny-YOLOv3進(jìn)行護(hù)幫板情況的檢測；第二組對比實(shí)驗(yàn)分別在兩個(gè)檢測算法中融合圖像去霧算法，比較融合后的檢測算法準(zhǔn)確率和速度。表2展示了不同算法在測試集上準(zhǔn)確率和速度的結(jié)果對比。

表2 不同算法檢測準(zhǔn)確率和速度對比

通過表2的實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，第一組對比實(shí)驗(yàn)中單純使用YOLOv3比Tiny-YOLOv3的檢測準(zhǔn)確率提高了10.6%，檢測速度YOLOv3比Tiny-YOLOv3低22fps.結(jié)果表明，YOLOv3比Tiny-YOLOv3的檢測準(zhǔn)確率高，但檢測速度不能滿足實(shí)時(shí)檢測的要求。在第二組對比實(shí)驗(yàn)中，融合了圖像去霧算法YOLOv3算法比本文算法準(zhǔn)確率提高了7.1%，檢測速度YOLOv3比Tiny-YOLOv3低20 fps.結(jié)果表明，本文算法在準(zhǔn)確率比融合圖像去霧的YOLOv3算法稍有下降，但檢測速度滿足實(shí)時(shí)檢測的要求。其次，通過兩組對比實(shí)驗(yàn)發(fā)現(xiàn)，融合圖像去霧的檢測算法比原檢測算法的準(zhǔn)確率有明顯提高。這意味著融合圖像去霧算法能夠提高檢測算法的檢測準(zhǔn)確率，準(zhǔn)確率提高的主要原因是圖像去霧算法能夠有效減少煤塵和噴霧對檢測任務(wù)的影響，使檢測算法提取的特征更接近實(shí)際值，檢測準(zhǔn)確率提高。

最后實(shí)驗(yàn)權(quán)衡檢測精度和檢測速度得出結(jié)論：融合圖像去霧算法的YOLOv3準(zhǔn)確率雖然較高，但受限于煤礦的低性能設(shè)備，檢測速度不能滿足實(shí)時(shí)檢測的要求。為了同時(shí)滿足檢測準(zhǔn)確率和速度的要求，本文選擇檢測準(zhǔn)確率較高且滿足實(shí)時(shí)檢測要求的本文算法。實(shí)驗(yàn)表明，本文算法比Tiny-YOLOv3準(zhǔn)確率提升22.8%，且滿足實(shí)時(shí)檢測的要求。

表3具體展示了本文算法和Tiny-YOLOv3算法在測試集上的結(jié)果。

表3 不同算法檢測結(jié)果對比

從表3的檢測結(jié)果發(fā)現(xiàn)，Tiny-YOLOv3算法與本文算法相比，使用Tiny-YOLOv3算法漏檢和錯(cuò)檢的對象數(shù)量分別為224個(gè)和104，比本文算法漏檢和錯(cuò)檢對象個(gè)數(shù)分別多164個(gè)和61個(gè)。通過定量分析得出本文檢測算法在檢測煤礦護(hù)幫板方面比Tiny-YOLOv3算法更準(zhǔn)確，有效減少了漏檢和錯(cuò)檢對象的個(gè)數(shù)。最后展示本文算法和Tiny-YOLOv3算法的檢測結(jié)果，如圖15-18所示。

圖15 本文算法檢測結(jié)果

圖16 本文算法漏檢結(jié)果

圖17 Tiny-YOLOv3算法錯(cuò)檢結(jié)果

圖18 Tiny-YOLOv3算法漏檢結(jié)果(虛線框?yàn)槁z對象)

5 結(jié)束語

本文提出一種檢測護(hù)幫板狀態(tài)的融合算法，首先將視頻分幀并進(jìn)行去霧處理，然后將去霧圖像輸入到Tiny-YOLOv3算法中進(jìn)行檢測，最后輸出檢測結(jié)果。實(shí)驗(yàn)結(jié)果表明，在煤礦護(hù)幫板檢測場景下，與Tiny-YOLOv3算法相比，本文算法滿足實(shí)時(shí)性的同時(shí)具有更高的檢測精度，對綜采工作面安全生產(chǎn)起決定性的作用，同時(shí)也對綜采工作面無人化、自動化的發(fā)展起到了一定的促進(jìn)作用。但本文算法仍存在不足，當(dāng)應(yīng)用在其他煤礦時(shí)，會出現(xiàn)誤識別和未識別的情況。作者將在后續(xù)工作中通過優(yōu)化Tiny-YOLOv3算法的方式，解決過擬合問題，提高本文算法的泛化能力。