吳江偉，南柄飛

（北京天瑪智控科技股份有限公司，北京 101300）

0 引言

隨著煤礦智能化無(wú)人開(kāi)采進(jìn)程的縱深推進(jìn)，構(gòu)建AI 視覺(jué)感知、自動(dòng)決策、設(shè)備協(xié)同控制三大環(huán)節(jié)一體化的生產(chǎn)管理系統(tǒng)已經(jīng)成為業(yè)界共識(shí)。在井下工作面中，利用刮板輸送機(jī)上煤流狀態(tài)的視覺(jué)感知結(jié)果，聯(lián)動(dòng)控制采煤機(jī)和刮板輸送機(jī)進(jìn)行生產(chǎn)作業(yè)管理，從而實(shí)現(xiàn)工作面煤流負(fù)載平衡，不僅可以降低工作面堆煤事件發(fā)生率，提升工作面自動(dòng)化生產(chǎn)率，同時(shí)可以降低井下能源消耗。

目前礦井煤流狀態(tài)識(shí)別方法大多針對(duì)帶式輸送機(jī)場(chǎng)景，其實(shí)現(xiàn)方式大致分為兩類。第一類是基于圖像的方法，如文獻(xiàn)[1-2]通過(guò)傳統(tǒng)圖像處理方法獲取帶式輸送機(jī)輪廓及煤料邊界，并由此計(jì)算煤料橫截面積和體積，但該方法嚴(yán)重依賴于邊緣檢測(cè)方法，受光照等環(huán)境因素影響較大，精度和穩(wěn)定性差。文獻(xiàn)[3]將圖像中煤流量大小劃分為5 個(gè)級(jí)別并利用深度學(xué)習(xí)模型直接對(duì)圖像進(jìn)行分類，該方法邏輯簡(jiǎn)單、部署方便，但對(duì)全圖進(jìn)行操作時(shí)沒(méi)有排除非煤流區(qū)域的影響，且該方法只對(duì)單幅圖像進(jìn)行分類，并沒(méi)有對(duì)煤流的時(shí)序特征進(jìn)行建模。第二類是基于特殊傳感裝置（如超聲波傳感器、激光掃描儀等[4-7]）的方法，通過(guò)計(jì)算煤料截面積進(jìn)而獲得煤料體積。此類方法中雖然也可能用到圖像信息，但關(guān)鍵在于其引入的硬件設(shè)備能夠給算法增加諸如深度、超聲回波、煤流速度、激光條紋等信號(hào)，使得煤流量計(jì)算結(jié)果更加精確；但此類方法的問(wèn)題在于處理的數(shù)據(jù)量較大，相關(guān)算法模型實(shí)時(shí)性、可靠性較差，且硬件設(shè)備大幅增加了成本開(kāi)銷。

然而，上述方法無(wú)法有效應(yīng)用于工作面刮板輸送機(jī)場(chǎng)景中的煤流狀態(tài)識(shí)別，這是因?yàn)楣ぷ髅婀伟遢斔蜋C(jī)與帶式輸送機(jī)場(chǎng)景存在巨大差異。①帶式輸送機(jī)有固定外形且運(yùn)輸?shù)拿毫辖?jīng)過(guò)破碎后形狀相對(duì)規(guī)則、大小相對(duì)均衡，這些場(chǎng)景特征使得準(zhǔn)確計(jì)算煤料橫截面積及煤流體積成為可能；而在工作面刮板輸送機(jī)場(chǎng)景中，刮板輸送機(jī)姿態(tài)易受地質(zhì)條件影響且煤料形狀不規(guī)則、大小差異巨大，導(dǎo)致無(wú)法準(zhǔn)確計(jì)算煤料橫截面積，煤料間存在的空隙導(dǎo)致無(wú)法簡(jiǎn)單根據(jù)體積公式獲得煤流體積。② 帶式輸送機(jī)場(chǎng)景中相機(jī)、燈具等設(shè)備的安裝條件相對(duì)較好，可將其安裝在理想位置使得算法魯棒性更好；而在空間局促的工作面刮板輸送機(jī)場(chǎng)景中，由于需要考慮相機(jī)、燈具等設(shè)備是否會(huì)與滾筒、采煤機(jī)、護(hù)幫板發(fā)生干涉，造成其安裝位置受限甚至無(wú)法安裝，進(jìn)而導(dǎo)致攝像儀視角、可見(jiàn)度等無(wú)法滿足已有算法要求。③在生產(chǎn)過(guò)程中，工作面刮板輸送機(jī)場(chǎng)景中存在高粉塵、采煤機(jī)遮擋、刮板輸送機(jī)位置改變等不利因素，影響采集數(shù)據(jù)的質(zhì)量，導(dǎo)致算法識(shí)別精度下降。

針對(duì)工作面刮板輸送機(jī)場(chǎng)景，本文提出了一種基于時(shí)序視覺(jué)特征的煤流狀態(tài)識(shí)別方法。該方法具有以下優(yōu)勢(shì)：①無(wú)需計(jì)算準(zhǔn)確煤量，用空載煤流、正常煤流和飽和煤流3 種狀態(tài)描述刮板輸送機(jī)上煤量大小，在滿足應(yīng)用要求的前提下大大降低了算法復(fù)雜度。② 僅需以現(xiàn)有工作面中部署的攝像儀作為數(shù)據(jù)采集設(shè)備，避免了設(shè)備安裝受限問(wèn)題；同時(shí)，只需處理圖像數(shù)據(jù)，數(shù)據(jù)處理量較小，具有很好的實(shí)時(shí)性。③采用深度學(xué)習(xí)語(yǔ)義分割模型確定煤流區(qū)域，有效緩解傳統(tǒng)方法易受光照、粉塵影響導(dǎo)致算法精度下降的問(wèn)題；同時(shí)，能夠精確定位煤流區(qū)域，排除無(wú)關(guān)圖像區(qū)域影響。④ 采用深度學(xué)習(xí)動(dòng)作識(shí)別模型進(jìn)行煤流特征建模，不僅能夠?qū)W習(xí)到煤流的紋理特征，而且能夠?qū)W習(xí)到煤流的時(shí)序特征。

1 方法原理

基于時(shí)序視覺(jué)特征的刮板輸送機(jī)煤流狀態(tài)識(shí)別方法原理如圖1 所示。針對(duì)工作面煤流視頻幀圖像，首先利用深度學(xué)習(xí)語(yǔ)義分割模型獲得粗略煤流區(qū)域，在此基礎(chǔ)上通過(guò)線性擬合方法定位精細(xì)煤流區(qū)域坐標(biāo)并裁剪出煤流圖像；然后將煤流圖像按視頻時(shí)序排列形成煤流圖像序列；最后通過(guò)動(dòng)作識(shí)別模型對(duì)煤流圖像序列進(jìn)行特征建模，獲得煤流狀態(tài)識(shí)別結(jié)果。

圖1 基于時(shí)序視覺(jué)特征的刮板輸送機(jī)煤流狀態(tài)識(shí)別方法原理Fig.1 Principle of method for recognizing coal flow status of scraper conveyor based on temporal visual features

2 刮板輸送機(jī)煤流圖像提取

刮板輸送機(jī)煤流圖像提取整體流程：針對(duì)視頻幀圖像進(jìn)行圖像語(yǔ)義分割，獲得線纜槽邊緣；針對(duì)線纜槽邊緣進(jìn)行曲線擬合；根據(jù)視頻幀圖像中刮板輸送機(jī)特點(diǎn)及線纜槽邊緣擬合曲線獲取煤流區(qū)域邊界；從視頻幀圖像中裁剪出煤流區(qū)域形成煤流圖像。

2.1 煤流視頻圖像語(yǔ)義分割

針對(duì)煤流視頻幀圖像進(jìn)行語(yǔ)義分割的主要目的：①獲取視頻幀圖像中局部煤流區(qū)域，從而排除大量非煤流區(qū)域圖像對(duì)后續(xù)動(dòng)作識(shí)別模型的影響，使得煤流狀態(tài)識(shí)別結(jié)果更加準(zhǔn)確。② 受限于安裝條件，監(jiān)控?cái)z像儀往往只能安裝在液壓支架頂板上，當(dāng)支架頂板與刮板輸送機(jī)相對(duì)位置不變時(shí)，煤流區(qū)域處于圖像中的固定位置；然而，采煤過(guò)程中頻繁性推刮板輸送機(jī)動(dòng)作使得支架頂板與刮板輸送機(jī)相對(duì)位置發(fā)生變化，導(dǎo)致煤流區(qū)域在圖像中的位置也隨之發(fā)生變化。因此，需要利用語(yǔ)義分割結(jié)果動(dòng)態(tài)定位煤流區(qū)域。

語(yǔ)義分割是圖像分割的一個(gè)分支，可實(shí)現(xiàn)圖像中不同語(yǔ)義區(qū)域的分割。經(jīng)典的深度學(xué)習(xí)語(yǔ)義分割模型有SegNet[8]，Mask R-CNN[9]，U-Net[10]，DeepLab系列[11-13]等。本文采用DeepLabV3+語(yǔ)義分割模型，如圖2 所示，DeepLabV3+語(yǔ)義分割模型將空間金字塔池化模塊（Atrous Spatial Pyramid Pooling，ASPP）與編解碼結(jié)構(gòu)相結(jié)合，既能夠使模型獲得多尺度上下文信息，又能夠保證圖像分割結(jié)果中物體的邊緣分割更加準(zhǔn)確。同時(shí)，DeepLabV3+語(yǔ)義分割模型采用了Xception[14]框架，使得模型分割處理速度更快，滿足實(shí)際應(yīng)用的實(shí)時(shí)性要求。

圖2 DeepLabV3+語(yǔ)義分割模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of DeepLabV3+semantic segmentation model

如圖2 中DeepLabV3+語(yǔ)義分割模型輸出的分割結(jié)果所示，本文將視頻幀圖像以線纜槽底部為界劃分為2 個(gè)部分：①線纜槽底部到煤壁為粗略煤流區(qū)域，是后續(xù)動(dòng)作識(shí)別模型的候選輸入數(shù)據(jù)。② 線纜槽底部到支架為非煤流區(qū)域。

2.2 煤流區(qū)域定位獲取

由于語(yǔ)義分割獲得的粗略煤流區(qū)域中仍包含較多非煤流區(qū)域（如煤壁、浮煤等），且該分割區(qū)域形狀不規(guī)則，所以不能直接作為后續(xù)動(dòng)作識(shí)別模型的輸入圖像。為獲得精細(xì)煤流區(qū)域，需確定煤流區(qū)域的4 個(gè)邊界，選取原則為盡可能包含更多煤流區(qū)域且排除非煤流區(qū)域。本文直接選取圖像高度的一半處作為上邊界，選取圖像的下邊界作為煤流區(qū)域下邊界。對(duì)于右邊界，本文先提取線纜槽邊界點(diǎn)并對(duì)其進(jìn)行分段直線擬合，獲得擬合曲線，然后取擬合曲線與視頻幀圖像下邊緣交點(diǎn)橫坐標(biāo)作為煤流區(qū)域右邊界。分段直線擬合計(jì)算公式為

式中：為求解參數(shù)結(jié)果；為待求參數(shù)集合；為待求直線方程；xi和yi分別為線纜槽邊界點(diǎn)中第i（i=1，2，···，n，n為線纜槽邊界點(diǎn)總數(shù)）個(gè)點(diǎn)的橫坐標(biāo)和縱坐標(biāo)。

對(duì)于左邊界，由于刮板輸送機(jī)在圖像中大小不會(huì)發(fā)生變化，所以當(dāng)右邊界確定時(shí)，可通過(guò)線性擬合方法根據(jù)右邊界值預(yù)測(cè)出左邊界值，計(jì)算公式為

式中：xl為煤流區(qū)域左邊界值；k為線性系數(shù)，本文對(duì)推刮板輸送機(jī)動(dòng)作前后2 種情況分別進(jìn)行線性擬合，推刮板輸送機(jī)動(dòng)作前k取0.57,推刮板輸送機(jī)動(dòng)作后k取0.4；xr為煤流區(qū)域右邊界值。

3 刮板輸送機(jī)煤流狀態(tài)識(shí)別

3.1 問(wèn)題建模

通常煤流實(shí)際是指煤料隨刮板輸送機(jī)運(yùn)動(dòng)而形成的流體，煤量由刮板輸送機(jī)上煤料橫截面積與刮板輸送機(jī)長(zhǎng)度積分獲得：

式中：V為待求煤量；L為刮板輸送機(jī)長(zhǎng)度；ρ為煤料密度；F(x)為刮板輸送機(jī)上x(chóng)處的煤料橫截面積。

這種方法要求精確計(jì)算刮板輸送機(jī)上煤料橫截面積。但在工作面刮板輸送機(jī)場(chǎng)景下精確計(jì)算煤料橫截面積面臨極大挑戰(zhàn)。因此，本文采用一種新的方法：煤量可由刮板輸送機(jī)上某一點(diǎn)在某一時(shí)刻的煤量與時(shí)間積分獲得：

式中：T為時(shí)間；G(t)為刮板輸送機(jī)某一位置在t時(shí)刻的瞬時(shí)煤量。

與式（3）相比，式（4）雖然不需要計(jì)算煤料橫截面積，但其中的瞬時(shí)煤量G(t)同樣無(wú)法計(jì)算。為避免精確煤量計(jì)算，本文將煤量離散化，分為空載煤流、正常煤流及飽和煤流3 個(gè)狀態(tài)。同時(shí)，為避免煤流狀態(tài)隨著刮板輸送機(jī)上煤料分布變化而頻繁變化，對(duì)一個(gè)時(shí)間段內(nèi)的煤流狀態(tài)進(jìn)行融合：

式中：S為t1到tT時(shí)刻刮板輸送機(jī)上煤流狀態(tài)；g(t)為t時(shí)刻刮板輸送機(jī)上煤流狀態(tài)，g(t)=0,1,2，分別表示空載煤流、正常煤流、飽和煤流狀態(tài)；H(g(t1),g(t2),···,g(tT))為對(duì)t1到tT時(shí)刻的煤流狀態(tài)進(jìn)行融合操作。

3.2 煤流狀態(tài)識(shí)別

如式（5）所示，求解刮板輸送機(jī)煤流狀態(tài)就是求解函數(shù)H（·）。求解函數(shù)H（·）可采用多種方法，最簡(jiǎn)單的是加權(quán)平均法，即先求得各個(gè)時(shí)間點(diǎn)煤流狀態(tài)，然后對(duì)其進(jìn)行加權(quán)平均，但該方法忽略了鄰近煤流狀態(tài)在時(shí)序上的內(nèi)在聯(lián)系。因此，本文采用動(dòng)作識(shí)別模型直接對(duì)不同煤流狀態(tài)圖像序列的時(shí)空特征進(jìn)行建模。

動(dòng)作識(shí)別通常是指通過(guò)某種算法識(shí)別出視頻中人的行為，并對(duì)其進(jìn)行分類，其本質(zhì)是對(duì)視頻圖像序列中呈現(xiàn)的行為模式進(jìn)行建模。經(jīng)典的動(dòng)作識(shí)別模型有TSN（Temporal Segment Networks）[15]，TSM（Temporal Shift Module）[16]，SlowFast（SlowFast Networks）[17]，I3D（Two-Stream Inflated 3D convNet）[18]，R（2+1）D（Residual Spatial and Temporal Factorized Block）[19]，C3D（Convolutional 3D）[20]，TimeSformer（Time-Space Transformer）[21]等。其中TSN，TSM 使用2D 卷積用于提取圖像特征，并通過(guò)光流、時(shí)序漂移等方法補(bǔ)充時(shí)序信息；SlowFast 通過(guò)快慢2 路視頻流分別對(duì)時(shí)序信息和空間信息進(jìn)行建模；I3D，R（2+1）D，C3D 則使用3D 卷積直接對(duì)視頻進(jìn)行時(shí)空特征建模，有更強(qiáng)的時(shí)空特征表示能力；TimeSformer采用Transformer 結(jié)構(gòu)完成特征提取，模型識(shí)別準(zhǔn)確率優(yōu)于前三者，但模型處理耗時(shí)較大，無(wú)法滿足實(shí)時(shí)性要求。

本文采用C3D 動(dòng)作識(shí)別模型對(duì)煤流視頻幀圖像序列進(jìn)行建模和煤流狀態(tài)分類，模型結(jié)構(gòu)如圖3 所示。將煤流圖像按時(shí)序組成新的圖像序列，再將圖像序列輸入到C3D 動(dòng)作識(shí)別模型中，從而計(jì)算并輸出煤流狀態(tài)識(shí)別結(jié)果。

圖3 C3D 動(dòng)作識(shí)別模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of convolutional 3D action recognition model

在實(shí)際使用過(guò)程中，由于工作面工況場(chǎng)景中存在導(dǎo)致監(jiān)控?cái)z像儀無(wú)法觀測(cè)到煤流的情況，為使模型能力更加完備且符合現(xiàn)場(chǎng)實(shí)際情況，本文在空載煤流、正常煤流及飽和煤流3 種狀態(tài)之外還增加了“未檢測(cè)煤流”，用于表示視頻幀圖像中未出現(xiàn)煤流的情況。另外，由于煤流狀態(tài)識(shí)別任務(wù)相對(duì)比較簡(jiǎn)單，所以需要減少模型參數(shù)量，以防止模型過(guò)擬合情況發(fā)生。本文一方面將原始C3D 動(dòng)作識(shí)別模型主干網(wǎng)絡(luò)中最后2 個(gè)全連接層FC6，F(xiàn)C7 維度從原來(lái)的4 096 修改為2 048，從而極大地減少模型參數(shù)量；另一方面，在全連接層FC7 之后添加自適應(yīng)平均池化層（Avg Pool），將最終特征層縮小為1×1×1，以擴(kuò)大感受野，并進(jìn)一步減少了模型參數(shù)量。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)設(shè)定

4.1.1 硬件設(shè)備

實(shí)驗(yàn)所用設(shè)備配置：操作系統(tǒng)，Ubuntu20.04；顯卡，NVIDIA GeForce RTX 3 090 ；CPU，Intel（R）Xeon（R）Gold 6258R 2.7 GHz；CUDA，版本11.4；TensorRT，版本8.2；訓(xùn)練框架，PyTorch 1.10。

4.1.2 數(shù)據(jù)集

實(shí)驗(yàn)所用數(shù)據(jù)來(lái)自國(guó)內(nèi)某煤礦井下工作面視頻監(jiān)控系統(tǒng)，視頻幀速率為25 幀/s，圖像分辨率為1 280×720。

對(duì)于語(yǔ)義分割，本文人工采集、篩選并標(biāo)注圖像總數(shù)量為1 867 幅，其中訓(xùn)練集1 767 幅，測(cè)試集100 幅；每幅樣本圖像標(biāo)注2 個(gè)類別：煤流區(qū)域、非煤流區(qū)域。

在C3D 動(dòng)作識(shí)別模型訓(xùn)練構(gòu)建階段，本文先采集工作面煤流視頻數(shù)據(jù)并進(jìn)行人工篩選，獲得共5.3 h的訓(xùn)練視頻數(shù)據(jù)，對(duì)篩選視頻進(jìn)行4 個(gè)類別標(biāo)注，然后按3 幀/s 的速率對(duì)訓(xùn)練視頻數(shù)據(jù)進(jìn)行采樣，形成圖像序列。對(duì)于較長(zhǎng)圖像序列，將其切分為多個(gè)片段，每段長(zhǎng)度為32 幅圖像；對(duì)于較短圖像序列，用序列尾部圖像進(jìn)行補(bǔ)齊，最終長(zhǎng)度為16 幅圖像。最終訓(xùn)練數(shù)據(jù)包含1 728 個(gè)視頻片段，總共58 568 幅樣本圖像。

在C3D 動(dòng)作識(shí)別模型測(cè)試階段，本文采集工作面采煤工況條件下1 刀的煤流視頻數(shù)據(jù)，時(shí)長(zhǎng)約52 min，按1 s/段對(duì)視頻進(jìn)行分段，總共3 138 個(gè)片段，對(duì)每個(gè)片段煤流狀態(tài)進(jìn)行標(biāo)注并形成最終測(cè)試樣本數(shù)據(jù)。

4.1.3 訓(xùn)練參數(shù)設(shè)置

DeepLabV3+語(yǔ)義分割模型的主要訓(xùn)練參數(shù)：模型輸入圖像尺寸為513×513；初始學(xué)習(xí)率為0.02，學(xué)習(xí)率按多項(xiàng)式曲線進(jìn)行下降，最小學(xué)習(xí)率為10-6；使用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化器，設(shè)置動(dòng)量參數(shù)為0.9，權(quán)重衰減因子為10-4；設(shè)置批處理大小為32，共迭代6 000 次。

C3D 動(dòng)作識(shí)別模型的主要訓(xùn)練參數(shù)：模型輸入視頻片段長(zhǎng)度為16，圖像尺寸為112×112；初始學(xué)習(xí)率為0.002，學(xué)習(xí)率采用階梯下降方法，分別在第30，60 輪下降為原來(lái)的1/10；使用SGD 優(yōu)化器，設(shè)置動(dòng)量參數(shù)為0.9，權(quán)重衰減因子為10-4；設(shè)置批處理大小為96，共訓(xùn)練80 輪。

4.2 煤流圖像提取實(shí)驗(yàn)

煤流圖像提取結(jié)果如圖4 所示，其中淡黃色和淡藍(lán)色2 個(gè)區(qū)域?yàn)檎Z(yǔ)義分割結(jié)果，紅色曲線為線纜槽底部邊界經(jīng)過(guò)分段直線擬合后結(jié)果，深藍(lán)色點(diǎn)表示待裁剪煤流圖像的4 個(gè)頂點(diǎn)。

圖4 煤流圖像提取結(jié)果Fig.4 Coal flow image extraction results

從圖4（a）可看出，在液壓支架推刮板輸送機(jī)動(dòng)作后，本文方法能夠準(zhǔn)確定位線纜槽邊緣并獲取煤流區(qū)域；從圖4（b）可看出，煤流視頻幀圖像中存在大量粉塵，導(dǎo)致圖像中物體紋理模糊，在此情況下本文方法仍能準(zhǔn)確定位線纜槽邊緣并獲取煤流區(qū)域；從圖4（c）可看出，在采煤機(jī)進(jìn)入監(jiān)控視野并遮擋住刮板輸送機(jī)時(shí)，雖然無(wú)法直接觀察到煤流區(qū)域，但通過(guò)采煤機(jī)邊緣同樣能夠獲取煤流區(qū)域；從4（d）可看出，與前3 幅圖像相比，該圖中刮板輸送機(jī)和煤流區(qū)域在圖像中位置發(fā)生明顯變化，在此情況下本文方法同樣能夠自適應(yīng)地準(zhǔn)確獲取煤流區(qū)域。這表明本文方法能夠針對(duì)工作面復(fù)雜工況場(chǎng)景準(zhǔn)確定位煤流區(qū)域。

為驗(yàn)證DeepLabV3+語(yǔ)義分割模型的準(zhǔn)確性，在測(cè)試集上計(jì)算分割結(jié)果與真實(shí)值的IoU（Intersection over Union，交并比）：

式中：Agt為真實(shí)區(qū)域；Apred為預(yù)測(cè)區(qū)域。

IoU 計(jì)算結(jié)果：線纜槽底部到煤壁區(qū)域IoU 為0.976，線纜槽底部到支架區(qū)域IoU 為0.946，平均IoU 為0.961。這表明DeepLabV3+語(yǔ)義分割模型的預(yù)測(cè)準(zhǔn)確率較高，能夠準(zhǔn)確分割出煤流區(qū)域。

為驗(yàn)證煤流圖像裁剪框的準(zhǔn)確性，需要標(biāo)注理想裁剪框并將其與預(yù)測(cè)裁剪框進(jìn)行比較，然后計(jì)算2 個(gè)裁剪框的IoU，但由于理想裁剪框沒(méi)有明確標(biāo)準(zhǔn)，所以無(wú)法實(shí)現(xiàn)。裁剪框邊界中最重要的是右邊界的確定，即線纜槽底部邊緣與圖像下邊緣的交點(diǎn)橫坐標(biāo)。因此本文對(duì)每幅測(cè)試圖像進(jìn)行右邊界標(biāo)注并將其與預(yù)測(cè)的右邊界進(jìn)行比較，計(jì)算得到平均偏差為8.4 像素（圖像寬度的0.66%），標(biāo)準(zhǔn)差為3.3 像素。表明誤差較小，不會(huì)導(dǎo)致煤流圖像缺失關(guān)鍵區(qū)域。

4.3 煤流狀態(tài)識(shí)別實(shí)驗(yàn)

刮板輸送機(jī)煤流狀態(tài)識(shí)別結(jié)果如圖5 所示。圖5（a）由于刮板輸送機(jī)被采煤機(jī)遮擋導(dǎo)致煤流不可見(jiàn)，所以顯示未檢測(cè)煤流狀態(tài)；圖5（b）為空載煤流狀態(tài)，其中左圖為無(wú)粉塵情況，右圖為存在粉塵干擾情況；圖5（c）為正常煤流狀態(tài)，左圖為液壓支架推刮板輸送機(jī)動(dòng)作后情況，右圖為液壓支架推刮板輸送機(jī)動(dòng)作前情況；圖5（d）為飽和煤流狀態(tài)。

圖5 刮板輸送機(jī)煤流狀態(tài)識(shí)別結(jié)果Fig.5 Recognition results of coal flow status of scraper conveyor

在采煤作業(yè)1 刀52 min 的3 138 個(gè)測(cè)試視頻片段中，煤流狀態(tài)平均識(shí)別準(zhǔn)確率為92.73%，其中未檢測(cè)煤流狀態(tài)識(shí)別準(zhǔn)確率為99.05%，空載煤流狀態(tài)識(shí)別準(zhǔn)確率為96.13%，正常煤流狀態(tài)識(shí)別準(zhǔn)確率為90.04%，飽和煤流狀態(tài)識(shí)別準(zhǔn)確率為90.30%。

4.4 模型加速實(shí)驗(yàn)

為提升整體處理速度，將PyTorch 訓(xùn)練生成的模型使用TensorRT 進(jìn)行轉(zhuǎn)換。對(duì)DeepLabV3+語(yǔ)義分割模型和C3D 動(dòng)作識(shí)別模型分別進(jìn)行轉(zhuǎn)換，轉(zhuǎn)換前后模型推理耗時(shí)對(duì)比見(jiàn)表1?？煽闯觯篋eepLabV3+語(yǔ)義分割模型推理耗時(shí)從39.5 ms 下降到14.1 ms，處理速度提升1.8 倍；C3D 動(dòng)作識(shí)別模型推理耗時(shí)從15.1 ms 下降到5.7 ms，處理速度提升1.6 倍。經(jīng)過(guò)TensorRT 加速后，整體處理速度為42.7 幀/s，滿足實(shí)時(shí)處理要求。

表1 模型加速前后推理耗時(shí)對(duì)比Table 1 Comparison of inference time before and after model accelerationms

5 結(jié)論

1）基于圖像語(yǔ)義分割的刮板輸送機(jī)煤流圖像提取方法能夠準(zhǔn)確定位煤流區(qū)域并獲取煤流圖像，為后續(xù)煤流狀態(tài)自動(dòng)識(shí)別提供可靠數(shù)據(jù)輸入。針對(duì)高粉塵、采煤機(jī)遮擋、刮板輸送機(jī)位置改變等不同工況，該方法都能夠自適應(yīng)獲得煤流圖像。

2）C3D 動(dòng)作識(shí)別模型能夠有效提取煤流圖像視覺(jué)特征和圖像序列的時(shí)序特征，并進(jìn)行準(zhǔn)確表征，實(shí)現(xiàn)煤流狀態(tài)自動(dòng)識(shí)別，煤流狀態(tài)平均識(shí)別準(zhǔn)確率達(dá)92.73%，滿足工作面刮板輸送機(jī)煤流狀態(tài)智能監(jiān)測(cè)實(shí)際應(yīng)用需求。

3）針對(duì)工程化部署應(yīng)用，利用TensorRT 對(duì)模型進(jìn)行加速處理，整體處理速度達(dá)42.7 幀/s，滿足現(xiàn)場(chǎng)工程化應(yīng)用的實(shí)時(shí)性要求。