杜 明,趙國瑞
(1.中煤科工開采研究院有限公司,北京 100013 ;2.天地科技股份有限公司,北京 100013)
煤礦智能化建設(shè)是我國煤炭工業(yè)發(fā)展的必由之路,綜采工作面智能化開采技術(shù)是實(shí)現(xiàn)智能化煤礦的核心支撐技術(shù)[1-3]。面對新時代煤炭工業(yè)發(fā)展需求,突破煤炭綠色安全開采等重大關(guān)鍵技術(shù),實(shí)現(xiàn)高效、智能化生產(chǎn)成為煤炭開采未來發(fā)展主要方向[4,5]。
綜采工作面是煤炭的第一生產(chǎn)現(xiàn)場,綜采裝備通過“三機(jī)”協(xié)調(diào)機(jī)制有序完成綜采工作面的生產(chǎn)任務(wù)。其中,液壓支架是維護(hù)采場安全的唯一裝備,其通過與周圍巖體形成耦合作用場,起到工作面頂板支撐、煤壁防護(hù)、采空區(qū)矸石隔絕的重要作用。液壓支架護(hù)幫板主要承擔(dān)支護(hù)煤壁、預(yù)防片幫的作用。在協(xié)同采煤過程中,液壓支架護(hù)幫板被采煤機(jī)滾筒截割的危險工況被稱為截割干涉,即在采煤機(jī)抵達(dá)前,液壓支架護(hù)幫板沒有收回或收回程度未能滿足安全行程時,將會出現(xiàn)護(hù)幫板被采煤機(jī)滾筒截割的情況,造成嚴(yán)重的生產(chǎn)事故,因此,液壓支架護(hù)幫板實(shí)時運(yùn)動狀態(tài)監(jiān)測是實(shí)現(xiàn)綜采工作面液壓支架護(hù)幫板與采煤機(jī)滾筒截割干涉識別的重要前提,也是實(shí)現(xiàn)安全高效智能開采的關(guān)鍵技術(shù)之一,對煤礦安全、高效、智能開采具有重要意義。
液壓支架護(hù)幫板是液壓支架的重要組成部分,其利用液壓油缸的收放作用,向煤層施加一個外張力,防止片幫事故發(fā)生或減弱片幫規(guī)模,對確保采煤機(jī)、刮板輸送機(jī)的正常運(yùn)行以及人員安全起著重要作用。護(hù)幫板運(yùn)動狀態(tài)監(jiān)測的早期研究主要依靠壓力、傾角和位移等接觸式傳感器聯(lián)合物理結(jié)構(gòu)約束實(shí)現(xiàn)位姿狀態(tài)解算。徐勇智[6]設(shè)計了一套基于壓力傳感器、電感式接近開關(guān)和PLC的液壓支架護(hù)幫板收放監(jiān)測系統(tǒng),實(shí)現(xiàn)了護(hù)幫板收放狀態(tài)的數(shù)據(jù)采集與傳輸。然而傳統(tǒng)接觸式測量方法,硬件成本高、安裝繁瑣、效率低、維護(hù)困難,且礦井環(huán)境復(fù)雜,存在電磁干擾,會導(dǎo)致測量結(jié)果不準(zhǔn)確。針對這些問題,部分學(xué)者研究了基于視覺的非接觸式測量方法。王淵等[7]提出一種基于圖像識別的液壓支架護(hù)幫板收回狀態(tài)監(jiān)測方法,利用塵霧圖像清晰化算法與機(jī)器視覺測量方法對液壓支架護(hù)幫板的收回角度進(jìn)行監(jiān)測,通過測量護(hù)幫板角度來確定液壓支架護(hù)幫板的收回狀態(tài)。滿溢橋[8]以液壓支架護(hù)幫板與采煤機(jī)滾筒截割干涉監(jiān)測為目標(biāo),以液壓支架護(hù)幫板監(jiān)控圖像作為信號源,研究了基于圖像特征的液壓支架護(hù)幫板位姿解算和截割干涉監(jiān)測方法。
雖然機(jī)器視覺技術(shù)在煤炭工程中取得了廣泛應(yīng)用[9-12],但基于視覺的護(hù)幫板位姿監(jiān)測方法基本都采用傳統(tǒng)圖像處理方法,利用圖像增強(qiáng)和邊緣檢測技術(shù),提取護(hù)幫板的輪廓形狀,然后通過視圖幾何原理轉(zhuǎn)換成護(hù)幫板位姿參數(shù)。然而,井下實(shí)際工況環(huán)境相對復(fù)雜,圖像易到塵霧、光照以及設(shè)備運(yùn)動的影響,出現(xiàn)嚴(yán)重的退化現(xiàn)象,傳統(tǒng)的視覺處理方法難以保證算法的魯棒性和準(zhǔn)確性。基于以上分析,本文提出一種基于深度神經(jīng)網(wǎng)絡(luò)的液壓支架護(hù)幫板運(yùn)動狀態(tài)監(jiān)測方法,利用神經(jīng)網(wǎng)絡(luò)的強(qiáng)大特征表達(dá)能力,提升視覺監(jiān)測方法的魯棒性和準(zhǔn)確性,實(shí)現(xiàn)護(hù)幫板狀態(tài)檢測和位姿量化。
基于深度學(xué)習(xí)的護(hù)幫板運(yùn)動狀態(tài)監(jiān)測算法流程如圖1所示。算法工作流程主要分為四個部分,首先,對觀測視頻序列進(jìn)行取樣,獲取護(hù)幫板樣本圖像,然后在護(hù)幫板區(qū)域選取關(guān)鍵特征點(diǎn)進(jìn)行標(biāo)記,形成訓(xùn)練樣本數(shù)據(jù),再次,基于深度卷積網(wǎng)絡(luò)設(shè)計關(guān)鍵點(diǎn)檢測模型,實(shí)現(xiàn)觀測視頻序列每幀圖像的護(hù)幫板關(guān)鍵點(diǎn)位置檢測,形成關(guān)鍵點(diǎn)運(yùn)動軌跡,最后,利用前饋神經(jīng)網(wǎng)絡(luò)模型完成關(guān)鍵點(diǎn)運(yùn)動軌跡與護(hù)幫板位姿角度的轉(zhuǎn)換,實(shí)現(xiàn)護(hù)幫板運(yùn)動狀態(tài)量化監(jiān)測。
圖1 護(hù)幫板運(yùn)動狀態(tài)監(jiān)測算法流程
護(hù)幫板運(yùn)動狀態(tài)跟蹤通過對護(hù)幫板關(guān)鍵點(diǎn)實(shí)時檢測來實(shí)現(xiàn)。根據(jù)護(hù)幫板對象的幾何構(gòu)造特性,共選取了16個關(guān)鍵特征點(diǎn)作為檢測對象,分為3種類型。第一類為護(hù)幫板的定位孔,共10個關(guān)鍵點(diǎn),其中下部4個關(guān)鍵點(diǎn)命名為[bt1,bt2,bt3,bt4],中部2個關(guān)鍵點(diǎn)命名為[md1,md2],上部4個關(guān)鍵點(diǎn)命名為[tp1,tp2,tp3,tp4]。第二類為內(nèi)部角點(diǎn)特征,取上部線纜孔的4個角點(diǎn),這4個關(guān)鍵點(diǎn)命名為[tc1,tc2,tc3,tc4]。第三類為伸縮液壓油缸的連接點(diǎn),命名為[tk1,tk2]。護(hù)幫板關(guān)鍵點(diǎn)在不同視角和運(yùn)動狀態(tài)下關(guān)鍵點(diǎn)的標(biāo)記示例如圖2所示,關(guān)鍵點(diǎn)分布范圍較廣,左右視覺下兩側(cè)的部分關(guān)鍵點(diǎn)容易被遮擋,二級板上的定位孔特征點(diǎn)不容易被遮擋,屬于穩(wěn)定特征點(diǎn),在后續(xù)角度計算時也主要采用穩(wěn)定特征點(diǎn),其他特征點(diǎn)主要用于檢測網(wǎng)絡(luò)的輔助訓(xùn)練,增強(qiáng)檢測的魯棒性。
圖2 護(hù)幫板關(guān)鍵點(diǎn)標(biāo)記示例
護(hù)幫板關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)是一個深度全卷積神經(jīng)網(wǎng)絡(luò),由兩部分組成:特征提取部分和概率密度圖生成部分。
采用在大規(guī)模圖像目標(biāo)識別數(shù)據(jù)集ImageNet[13,14]上預(yù)訓(xùn)練過的深度神經(jīng)網(wǎng)絡(luò)模型ResNet[15]進(jìn)行改進(jìn),用于對輸入圖像進(jìn)行網(wǎng)絡(luò)特征提取。深度ResNet模型沿用了VGG[16]模型使用多個小卷積核代替一個大卷積核的方式,在減少模型參數(shù)的同時增加非線性激活函數(shù)的數(shù)量,使模型計算量更小,近似能力更強(qiáng)。然而不同深度的ResNet模型差異在于卷積層數(shù)不同,網(wǎng)絡(luò)層數(shù)越深,卷積核個數(shù)越多,所能提取的特征越抽象,覆蓋的特征越全面,但所消耗的計算資源越多,所需要的訓(xùn)練時間也越長。因此,為平衡訓(xùn)練成本和網(wǎng)絡(luò)深度結(jié)構(gòu),采用ResNet50模型進(jìn)行改進(jìn),并作為關(guān)鍵點(diǎn)特征提取骨干網(wǎng)絡(luò)。
ResNet50包含50層網(wǎng)絡(luò),共分為5個階段,除第一個階段外,其余4個階段都采用了瓶頸式殘差結(jié)構(gòu)。ResNet50采用最大池化和增加每階段卷積步幅的方式快速調(diào)整網(wǎng)絡(luò)輸出分辨率,第5階段輸出的卷積特征空間分辨率僅為原始輸入圖像分辨率的1/32。第5階段的輸出特征具有較高的語義特性和較低的空間分辨特性,而關(guān)鍵點(diǎn)的定位檢測需要具備足夠的空間分辨率,同時,相關(guān)的研究表明[17,18],對于關(guān)鍵點(diǎn)定位任務(wù),輸出特征的空間分辨率達(dá)到原始圖像的1/8時,可以得到較好的空間定位精度,因此,需要對原始ResNet50的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)調(diào)整。
本文對ResNet50的網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整集中在第5階段。首先,取消了第5階段中的卷積步幅來增加特征輸出的空間分辨率,取消步幅后輸出特征的空間分辨率為原始輸入圖像的1/16。然而,卷積步幅的降低會極大的降低后續(xù)卷積核的空間感受野,弱化了特征的空間捕獲能力。為了保持輸出特征的空間捕獲能力,在第5階段中引入擴(kuò)張卷積[19],將第5階段瓶頸殘差結(jié)構(gòu)中的3×3普通卷積替換為3×3擴(kuò)張卷積,并將擴(kuò)張卷積的擴(kuò)張系數(shù)設(shè)置為2,以保證特征的空間捕獲能力。最后,移除ResNet50后端的全局平均池化層和全連接分類層,使特征網(wǎng)絡(luò)僅輸出第5階段的卷積特征。
概率密度圖生成部分采用反卷積層[20],通過反卷積實(shí)現(xiàn)特征上采樣,生成關(guān)鍵點(diǎn)空間位置概率密度圖,概率密度的大小對應(yīng)關(guān)鍵點(diǎn)在該位置的可能性,每一個關(guān)鍵點(diǎn)都對應(yīng)一張概率密度圖。本文中,反卷積的上采樣倍數(shù)設(shè)置為2,最終關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)輸出的概率密度圖的空間分辨率為原始輸入圖像的1/8。
護(hù)幫板運(yùn)動狀態(tài)的量化監(jiān)測是將護(hù)幫板的運(yùn)動狀態(tài)信息轉(zhuǎn)換為護(hù)幫板對應(yīng)的伸縮角度,實(shí)現(xiàn)全運(yùn)動過程量化監(jiān)測。護(hù)幫板監(jiān)控視頻經(jīng)過關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)可以得到護(hù)幫板上關(guān)鍵點(diǎn)在每幀圖像中的位置信息,這些關(guān)鍵點(diǎn)的序列位置信息構(gòu)成了護(hù)幫板的運(yùn)動軌跡,視頻序列中的每個關(guān)鍵點(diǎn)都對應(yīng)一條運(yùn)動軌跡,由于護(hù)幫板運(yùn)動屬于剛體運(yùn)動,所有關(guān)鍵點(diǎn)的運(yùn)動軌跡共同表征護(hù)幫板的同一種運(yùn)動。
傳統(tǒng)的單目視覺位姿解算,需要通過相機(jī)標(biāo)定、物體尺寸測量和視圖幾何建模等手段來完成,其過程相對復(fù)雜。筆者嘗試從運(yùn)動學(xué)的角度去求解護(hù)幫板的位姿狀態(tài)。護(hù)幫板與頂梁屬于剛性連接,通過液壓推移油缸控制其運(yùn)動,護(hù)幫板的伸縮運(yùn)動可以表示為繞固定軸的旋轉(zhuǎn)運(yùn)動,則關(guān)鍵點(diǎn)在三維空間中的運(yùn)動狀態(tài)可以表示為圓周運(yùn)動,在經(jīng)過成像二維投影后,關(guān)鍵點(diǎn)在視圖平面中的運(yùn)動軌跡可以近似為橢圓曲線。在護(hù)幫板在一個伸縮周期內(nèi),其上一個關(guān)鍵點(diǎn)在二維平面上的位置軌跡如圖3所示,從圖中可以看出運(yùn)動軌跡曲線近似橢圓,符合理論分析的預(yù)期。
圖3 單周期內(nèi)關(guān)鍵點(diǎn)運(yùn)動軌跡
為了建立運(yùn)動軌跡曲線與位姿角度的映射關(guān)系,本文在試驗(yàn)數(shù)據(jù)采樣時,將護(hù)幫板的收放運(yùn)動設(shè)定為勻速運(yùn)動,并且設(shè)定護(hù)幫板垂直展開狀態(tài)時的位姿角度為90°,完全收縮狀態(tài)時的位姿角度為0°。經(jīng)過多次收縮周期采樣,可以得到多個運(yùn)動周期的位置軌跡曲線,多周期數(shù)據(jù)采樣可以消除收縮運(yùn)動由于外界狀態(tài)帶來的非勻速擾動。在護(hù)幫板的收放周期內(nèi),由于勻速運(yùn)動,可以計算得到這段時期內(nèi),每個關(guān)鍵點(diǎn)位置對應(yīng)的位姿角度值,形成運(yùn)動軌跡與位姿角度樣本數(shù)據(jù)。
監(jiān)控視圖中的護(hù)幫板運(yùn)動軌跡與真實(shí)位姿角度之間的對應(yīng)是一種多重非線性關(guān)聯(lián)映射,采用前饋神經(jīng)網(wǎng)絡(luò)模型來表征這一關(guān)聯(lián)映射過程。采用的前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示,網(wǎng)絡(luò)的輸入為關(guān)鍵點(diǎn)在圖像中的二維像素位置坐標(biāo),中間隱藏層神經(jīng)元個數(shù)為10,輸出神經(jīng)元個數(shù)為1,直接輸出對應(yīng)的位姿角度。
圖4 軌跡-角度映射網(wǎng)絡(luò)
采用三個圖像傳感器在三個視角方向上采集試驗(yàn)素材,圖像傳感器間隔一個液壓支架進(jìn)行安裝并且圖像傳感器位于液壓支架前立柱上。采樣時,其中一個圖像傳感器正對液壓支架護(hù)幫板,其余兩個放置在兩個液壓支架的距離之外。在視頻數(shù)據(jù)采集過程中,液壓支架護(hù)幫板固定一二級連接,當(dāng)作一個一級護(hù)幫板模型使用,護(hù)幫板的伸縮適中保持為勻速運(yùn)動。本次試驗(yàn)在兩個試驗(yàn)點(diǎn)上共采集6個視頻序列,每個視頻序列包含3000+圖像幀。
為了驗(yàn)證網(wǎng)絡(luò)的泛化能力,僅使用少量圖像樣本作為訓(xùn)練數(shù)據(jù)集。利用視頻聚類方法對采集的6個視頻序列進(jìn)行聚類處理,并將聚類中心個數(shù)設(shè)置為40,即在每個視頻序列中選取40幀圖像作為樣本圖像,共得到240幀樣本圖像。構(gòu)建的樣本數(shù)據(jù)集示例如圖5所示,從圖5可以看出,護(hù)幫板數(shù)據(jù)集包含不同視角(正視和側(cè)視)、不同環(huán)境條件(塵霧和光照干擾)和不同運(yùn)動狀態(tài)下(運(yùn)動模糊)的數(shù)據(jù),同時,數(shù)據(jù)樣本還包含護(hù)幫板收起狀態(tài)下的圖像數(shù)據(jù)。構(gòu)建的樣本數(shù)據(jù)集具有豐富的多樣性,對關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)的泛化性具有較大的挑戰(zhàn)性。
圖5 護(hù)幫板關(guān)鍵點(diǎn)樣本數(shù)據(jù)
關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)在TensorFlow[21]框架下實(shí)現(xiàn),在進(jìn)行關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)訓(xùn)練時,將數(shù)據(jù)集90%的樣本作為訓(xùn)練數(shù)據(jù),10%的樣本作為測試數(shù)據(jù)。采用余弦階梯學(xué)習(xí)率方式進(jìn)行訓(xùn)練,訓(xùn)練輪數(shù)設(shè)置為1000000。訓(xùn)練損失過程曲線如圖6所示。從圖6中可以看出,訓(xùn)練輪數(shù)達(dá)到總輪數(shù)一半之后,網(wǎng)絡(luò)就開始處于一個較穩(wěn)定的收斂狀態(tài)。
圖6 關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)訓(xùn)練損失過程曲線
在關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)模型收斂后,通過監(jiān)督測量方式來評估訓(xùn)練模型的檢測能力。本文設(shè)計訓(xùn)練的關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)的訓(xùn)練誤差和測試誤差見表1,從表中可以看出,無能是否采用概率截斷測試方法,其測試誤差都處于穩(wěn)定狀態(tài),反應(yīng)了網(wǎng)絡(luò)具有較好的泛化能力;另一方面,訓(xùn)練誤差和測試誤差都小于2個像素,表明本文的關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)具有較高的檢測精度。
表1 關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)檢測性能測試
關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)模型訓(xùn)練后,以一個測試點(diǎn)的左視角監(jiān)控視頻為對象,進(jìn)行全序列護(hù)幫板關(guān)鍵點(diǎn)檢測。視頻序列中第1611幀的關(guān)鍵點(diǎn)檢測結(jié)果如圖7所示,其對應(yīng)的關(guān)鍵點(diǎn)概率密度如圖8所示。
圖7 單幀圖像的每個關(guān)鍵點(diǎn)檢測
圖8 單幀圖像每個關(guān)鍵點(diǎn)對應(yīng)概率密度
將每幀圖像中每個關(guān)鍵點(diǎn)的圖像坐標(biāo)繪制在圖像平面內(nèi),即可得到視頻流中護(hù)幫板的運(yùn)動軌跡,左側(cè)試驗(yàn)點(diǎn)監(jiān)控視頻對應(yīng)的護(hù)幫板關(guān)鍵點(diǎn)運(yùn)動軌跡如9所示。從圖9可知,離護(hù)幫板旋轉(zhuǎn)軸較遠(yuǎn)的關(guān)鍵點(diǎn)具有較好的空間軌跡分布和較高的空間分辨率。
圖9 護(hù)幫板關(guān)鍵點(diǎn)運(yùn)動軌跡
護(hù)幫板下部關(guān)鍵點(diǎn)的軌跡分辨率較高,適合用來進(jìn)行角度轉(zhuǎn)換,以護(hù)幫板下部一個關(guān)鍵點(diǎn)作為試驗(yàn)對象,其運(yùn)動軌跡隨圖像幀的序列化如圖10所示。從運(yùn)動軌跡中可以清晰地看出,本次試驗(yàn)記錄了護(hù)幫板三個周期的伸縮運(yùn)動,其缺口部分為護(hù)幫板完全收起或接近完全收起時間段,此階段內(nèi)護(hù)幫板上關(guān)鍵被遮擋或超出監(jiān)控視場。
圖10 關(guān)鍵點(diǎn)運(yùn)動軌跡序列化
以一個運(yùn)動周期為數(shù)據(jù)樣本,根據(jù)勻速運(yùn)動設(shè)定,標(biāo)定角度樣本訓(xùn)練數(shù)據(jù),訓(xùn)練軌跡-角度轉(zhuǎn)換前饋神經(jīng)網(wǎng)絡(luò)。在完成訓(xùn)練后對全視頻序列進(jìn)行軌跡角度轉(zhuǎn)換,角度轉(zhuǎn)換結(jié)果如圖11所示。護(hù)幫板角度測量與試驗(yàn)真實(shí)標(biāo)定之間的平均誤差小于3°,滿足實(shí)際工況的使用要求。
圖11 軌跡-角度轉(zhuǎn)換結(jié)果
針對綜采工作面液壓支架護(hù)幫板運(yùn)動過程的量化監(jiān)測問題,提出了一種基于深度學(xué)習(xí)的護(hù)幫板狀態(tài)量化監(jiān)測方法,并對提出的方法進(jìn)行了試驗(yàn)驗(yàn)證,主要貢獻(xiàn)及創(chuàng)新點(diǎn)如下:
1)針對液壓支架護(hù)幫板運(yùn)動狀態(tài)難監(jiān)測問題,設(shè)計了一種基于關(guān)鍵點(diǎn)檢測的運(yùn)動狀態(tài)跟蹤方法,采用改進(jìn)后的ResNet50作為特征提取骨干網(wǎng)絡(luò),采用反卷積層輸出關(guān)鍵點(diǎn)的空間位置概率分布。驗(yàn)證試驗(yàn)表明,關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)僅需要少量的訓(xùn)練樣本即可實(shí)現(xiàn)護(hù)幫板關(guān)鍵點(diǎn)高精度檢測,關(guān)鍵點(diǎn)檢測的平均誤差小于2個像素。
2)設(shè)計了一種基于前饋神經(jīng)網(wǎng)絡(luò)的護(hù)幫板位姿量化方法,通過運(yùn)動標(biāo)定,訓(xùn)練圖像坐標(biāo)下運(yùn)動軌跡到護(hù)幫板位姿角度的映射關(guān)系,實(shí)現(xiàn)了護(hù)幫板運(yùn)動狀態(tài)的量化監(jiān)測,試驗(yàn)驗(yàn)證表明該方法的平均測量誤差小于3°。
3)所提液壓支架護(hù)幫板運(yùn)動狀態(tài)監(jiān)測方法在RTX2080 Ti顯卡下運(yùn)行速度為60FPS,滿足井下實(shí)際監(jiān)測的要求。