張 超，張旭輝,2,3，杜昱陽,2,3，楊文娟，張楷鑫

(1.西安科技大學 機械工程學院，陜西 西安 710054；2.陜西省礦山機電裝備智能監(jiān)測重點實驗室，陜西 西安 710054;3.陜西省煤礦機電設備智能檢測與控制科技創(chuàng)新團隊，陜西 西安 710054)

0 引 言

隨著煤礦綜采工作面智能化推進，煤炭開采效率大幅提升，然而由于其復雜的工況環(huán)境和繁瑣的工序?qū)е孪锏谰蜻M自動化進展緩慢[1]。當前采掘工作隊配比為1∶3.1，且掘進過程以人工操作為主，不能保證巷道成型質(zhì)量。推動掘進的自動化、智能化和無人化研究是提高掘進速度，保證掘進安全的有效途徑，掘進裝備的位姿自主測量是實現(xiàn)自動化、智能化的前提。

當前巷道掘進作業(yè)中以地測部門按照巷道設計走向固定在掘進機后方巷道一定位置的點激光指向儀為掘進基準，根據(jù)前方煤壁上的激光光斑作掘進方向指示。這種指向方式要求掘進機司機經(jīng)驗豐富，但仍然會出現(xiàn)超挖欠挖，巷道成形不佳。這種落后的指向方式迫切地需要改變，為此許多專家學者做了大量的研究工作。文獻[2]提出了基于全站儀的掘進機位姿測量方法，并在現(xiàn)場測試了有效性，但是難以實現(xiàn)自主測量。慣性導航技術應用在煤礦領域[3-4]，該方法可直接獲得位姿信息，抗干擾強，但嚴重的累積誤差導致需要其他信息定時修正。杜雨馨等[5]以十字激光器為特征源，利用視覺測量技術實時獲取部分位姿信息，無法得到巷道軸線距離。文獻[6]將雙目相機與激光指向儀剛性連接拍攝機身上的特征達到求解位姿的目的，雙目測量距離一般很近，導致距離較遠時測量失效?；趇GPS定位技術[7]，基于空間交匯測量技術[8]、基于超寬帶測量技術[9]等均能實現(xiàn)位姿測量，但其系統(tǒng)較為復雜，難以持續(xù)化運行。楊文娟等[10]將激光指向儀改進為兩個平行激光指向儀束，利用單目視覺技術實現(xiàn)復雜背景下機身實時位姿獲取，并在井下成功應用。

綜上所述，懸臂式掘進機位姿測量可以分為：人工測量、半自動測量和自主測量[11]。結構簡單、操作方便的自主測量方式是今后采掘裝備的發(fā)展趨勢?；诖耍岢隽嘶陔p目立體視覺的懸臂式掘進機位姿自主測量方法，該方法采用紅外LED特征替代巷道環(huán)境特征，構建雙目視覺位姿測量結構，旨在為實現(xiàn)巷道掘進自動化、智能化和無人化研究提供借鑒。

1 雙目視覺測量方案

1.1 雙目視覺測量原理

理想情況下雙目視覺空間點坐標測量原理如圖1所示。雙目相機左右視圖的成像原點一致、兩相機光軸平行及成像平面的極線行對齊[12]。以左相機坐標系為世界坐標系，在空間中有一點P，相對于雙目相機的中心的世界坐標為(XW,YW,ZW)。

圖1 雙目視覺測量原理Fig.1 Principle of measurement in binocular vision

雙目相機中左右相機光心分別是Ol、Or，焦距為f，基線距離為B。世界中點P在左右相機成像平面中的成像點為xl(xl,yl)、xr(xr,yr)。在理想狀態(tài)下左右相機的光心一致，即

(1)

根據(jù)相似三角形原理可得：

(2)

(3)

聯(lián)立式(2)和(3)從而可得：

(4)

為保證測量符合測量原理，開展測量的第一步工作應該是利用雙目相機標定原理獲得雙目相機各自的內(nèi)參數(shù)，根據(jù)雙目立體校正技術對雙目視覺進行校正[13]。

1.2 懸臂式掘進機雙目視覺位姿測量方案

懸臂式掘進機雙目視覺測量系統(tǒng)結構如圖2所示。將掘進機簡化為長方體模型，將雙目相機固定在機身上鏡頭朝向機尾方向，便于拍攝后方的圖像特征。

圖2 懸臂式掘進機雙目視覺測量系統(tǒng)結構Fig.2 Measurement structure of binocularvision for cantileverro adheader

在掘進機機身重心處建立機身坐標系Ob-XbYbZb，其中x方向指向掘進機左側并垂直于前進方向，y方向垂直向上，z方向于前進方向一致；建立雙目視覺測量坐標系Oc-XcYcZc，3個方向均與機身坐標系各方向平行但方向相反。

懸臂式掘進機雙目視覺位姿測量方案如圖3所示。首先采用張正友標定原理對雙目相機進行內(nèi)參數(shù)標定，獲得兩相機內(nèi)參數(shù)和兩相機之間的變換矩陣。利用雙目相機采集雙目圖像獲得雙目圖像序列，根據(jù)標定得到的參數(shù)利用雙目校正技術實現(xiàn)雙目圖像的立體校正，隨后利用區(qū)域生長的方法實現(xiàn)圖像特征分割并采用高斯擬合的方式實現(xiàn)特征的快速精確提取。將前后2幀雙目圖像進行環(huán)形匹配實現(xiàn)雙目圖像的時域特征匹配，得到獲得4組匹配好的特征點組，即2組相鄰時刻雙目圖像特征點。根據(jù)前述三角測量原理，結合相機內(nèi)參數(shù)計算得到2組3D空間坐標，最后利用運動估計方法求解機身的運動參數(shù)。

圖3 懸臂式掘進機雙目視覺位姿測量方案Fig.3 Measure mentpro gramme of binocular visual for cantilever roadheader

2 雙目圖像特征選取

2.1 紅外LED圖像特征

在視覺測量技術中，常用的圖像特征有點特征、線特征、圖形特征和邊緣特征。在煤礦井下巷道掘進中，低照度、高粉塵和機電設備眾多且集中等造成圖像特征不明顯或特征缺失，因此，通過人為構建圖像特征的方法可以有效地保證穩(wěn)定的特征。在研究截割頭位姿視覺測量方法[14-15]時采用了一種紅外LED燈作為圖像特征，有效地避免了雜光的干擾，增加了特征的穩(wěn)定性，在此基礎上，人為構建紅外LED標靶作為圖像特征。雙目相機拍攝的紅外LED雙目圖像如圖4所示。

圖4 紅外LED雙目圖像Fig.4 Binocu larimages based on infrared LED

2.2 紅外LED圖像井下應用

在山西某礦綜掘工作面，基于紅外LED特征的截割頭位姿視覺測量方法在井下成功應用。如圖5所示，是現(xiàn)場拍攝的井下紅外LED標靶圖像和在高粉塵、低照度、大水霧中拍攝的標靶圖像。

由圖5a近距離拍攝的紅外LED標靶圖像可以看出，在巷道掘進過程中高粉塵、大水霧和低照度等工況十分惡劣；圖5b是未掘進時工業(yè)相機拍攝的紅外LED標靶圖像，可以看出特征非常清晰；圖5c中紅外LED標靶受到了粉塵水霧的影響，但是光斑特征依然清晰。在煤礦井下應用時，紅外LED標靶安裝在截割臂上，距離截割頭和前煤壁較近，在此種情況下圖像特征依然可以精確提取說明這種方案是可行的。

圖5 紅外LED標靶在煤礦井下的應用Fig.5 Application of infrared LED targetin underground coal mine

紅外LED標靶放置在掘進機后方一定位置處，受到的粉塵和水霧影響較小，因此采用紅外LED作為視覺測量中的圖像特征。

3 特征提取與匹配

3.1 特征提取

圖像特征提取即準確地提取紅外LED光斑中心。光斑中心精確定位分為光斑區(qū)域分割和中心點定位2個步驟。

3.1.1 光斑區(qū)域分割

采用紅外SE3470燈組成的紅外LED標靶作為圖像特征，在基于紅外LED特征的雙目圖像中，每個光斑區(qū)域具有很強的連通性。紅外LED燈的圖像特征成像如圖6所示，特征點成像近似橢圓，且其灰度值從光斑中心向邊緣減小。

圖6 紅外LED光源成像與放大Fig.6 Imaging and amplifi cation of infrared LED light source

根據(jù)這種特性，采用區(qū)域生長的方法對雙目圖像進行光斑區(qū)域分割。區(qū)域生長算法的思想是將具有相似性的像素點合并到一起[16]。利用區(qū)域生長的算法實現(xiàn)紅外LED特征點光斑區(qū)域分割的關鍵在于確定生長種子點、區(qū)域生長和停止生長的條件。在雙目圖像中光斑區(qū)域較多，采用人機交互的方式確定種子點不能滿足需求，因此提出一種自動確定種子生長點的區(qū)域分割方法。具體實現(xiàn)步驟如下：

步驟①：創(chuàng)建一個全黑的空白圖像J，即灰度值J(x,y)=0。

步驟②：以原圖像I(x,y)>T&J(x,y)=0為種子的自動判定條件，確定多種子點起始生長點坐標,其中T為閾值，(x,y)為像素坐標。

步驟③：判斷種子點(x0,y0)周圍8鄰域像素(x,y)與種子像素灰度值之差的絕對值小于某個閾值，如果滿足條件，將(x,y)與(x0,y0)合并為統(tǒng)一區(qū)域，并將其灰度值寫入圖像J，并壓入堆棧。

步驟④：從堆棧中取出一個像素，把它當做新的種子點(x0,y0)返回到步驟②，直到堆棧為空，此時一個光斑區(qū)域分割結束。

步驟⑤：重復步驟①—④直到圖像中每個點都有歸屬，生長結束。如圖7所示是利用區(qū)域生長算法實現(xiàn)的雙目左圖像區(qū)域分割結果。

圖7 左圖像光斑區(qū)域分割Fig.7 Region-dependent segment ation of spotsin leftimage

3.1.2 光斑中心定位

通過區(qū)域生長算法實現(xiàn)了特征點光斑區(qū)域分割，獲得了各個區(qū)域的所有像素坐標。一個光斑圖像的灰度分布如圖8所示，近似于二維高斯分布[17]，其模型是：

圖8 光斑圖像的灰度分布情況Fig.8 Grayscale distribution of spot image

(5)

式中：I0為紅外LED的總能量；(x,y)為高斯分布函數(shù)區(qū)域內(nèi)一點坐標；(x0,y0)為光斑的成像中心坐標；σpsf為高斯函數(shù)的均方差。

采用粗提取的方法提取光斑的中心點(x′,y′)，記粗提取中心點左邊的像素點坐標為(xl,y′)，中心點右側的像素坐標(xr,y′)，中心點上方的像素點坐標為(x′,yup)，中心點下方的像素點坐標為(x′,ydown)。由公式(6)可知：

(6)

對于(xl,y′)、(x′,y′)、(xr,y′)三點，可以得出以下方程組：

(7)

由此可計算出光斑中心點坐標為：

(8)

由此可知，光斑中心點(x0,y0)可以快速計算得出。光斑中心點定位結果如圖9所示。

圖9 光斑中心定位結果Fig.9 Location of spot center

3.2 特征點匹配

懸臂式掘進機雙目視覺位姿測量方法中的特征點匹配是時域特征點匹配，即同一幀左右圖像的特征點匹配和相鄰兩幀之間的特征點匹配,本文采用環(huán)形匹配策略實現(xiàn)特征點精確匹配。環(huán)形匹配策略結構如圖10所示。

圖10 特征點環(huán)形匹配策略Fig.10 Ring-matching strategy for feature points

沿時間軸方向選擇t1、t2時刻2幀圖像，截取前后兩幀雙目圖像，t1時刻左右圖像分別是Pl1和Pr1，t2時刻左右圖像分別是Pl2和Pr2。根據(jù)前文所述方法實現(xiàn)雙目圖像中光斑中心的精確定位。環(huán)形匹配具體的實現(xiàn)過程如下：

步驟①：建立匹配坐標系。在每幅圖像中，取所有特征點像素坐標中x和y方向坐標值的最大和最小值，計算各自的平均值組成新的坐標A(xav,yav)，以此為原點，x和y方向不變建立匹配坐標系。并求取每個特征點與坐標A(xav,yav)的特征向量。

以Pl1圖像中為例，假設特征點Pi坐標為(xi,yi)，其中(i=1,2,3,…,n)。計算xi中的最大值xmax和最小值xmin，并計算兩者的平均值，記為xav；同理計算出yi中的最大值ymax和最小值ymin，并計算兩者的平均值，記為yav。組成新的坐標點A(xav,yav)。

(9)

(10)

其平均值為

(11)

同理：

(12)

(13)

其平均值為

(14)

(15)

(16)

(17)

步驟③:匹配成功后，繼續(xù)匹配t1時刻右圖像中對應的特征點。t2時刻右圖像中的匹配成功的特征點按步驟②找到t1時刻右圖像中的匹配點，若不滿足，返回t2時刻左圖像選擇新的特征點進行匹配。

步驟④:匹配成功后，繼續(xù)匹配t1時刻左圖像中對應的特征點。t1時刻右圖像中的匹配成功的特征點按步驟②找到t1時刻左圖像中的匹配點，若不滿足，返回匹配t2時刻左圖像選擇新的特征點進行匹配。

步驟⑤:匹配成功后，繼續(xù)匹配t2時刻左圖像中對應的特征點。將t1時刻左圖像中的匹配得到的特征點對應的特征向量按照步驟②對t2時刻左圖像進行匹配，若匹配得到的特征點與起始匹配點一致，匹配成功；否則匹配失敗。

步驟⑥:選擇t2時刻左圖像新的特征點按步驟②—⑤循環(huán)執(zhí)行，直至t2時刻左圖像中所有特征點已執(zhí)行匹配過程。

環(huán)形匹配結果如圖11所示。

圖11 特征點環(huán)形匹配結果Fig.11 Result soffeature point sbasedon ring matching

4 懸臂式掘進機運動估計

利用環(huán)形匹配結果，結合雙目視覺測量原理就可以計算出相機坐標系的2組3D點空間坐標。那么基于雙目視覺的懸臂式掘進機運動估計問題就變成了已知2組匹配好的3D點坐標求解相鄰時刻的運動變換參數(shù)[18]。

假設2組3D點表示為

P=p1,…,pn,P′=p1′,…,pn′

(18)

求解變換矩陣R,D滿足：

?i,pi=Rpi′+D

(19)

得到的R和D就是相機運動的變換矩陣。采用線性代數(shù)方法求解(SVD)該問題。

定義第i對點的誤差項為

ei=pi-Rpi′+D

(20)

則構建其最小二乘問題，求解R和D使得誤差平方和達到極?。?/p>

(21)

首先定義兩組點的質(zhì)心：

(22)

將公式(21)中的最小二乘函數(shù)可化簡為

(23)

交叉項中pi-p-R(pi′-p)在求和之后為0，因此目標函數(shù)可以優(yōu)化為

(24)

1)計算2組點的質(zhì)心位置p，p′，然后計算每個點的去質(zhì)心坐標：

qi=pi-p;qi′=pi′-p′

(25)

2)根據(jù)以下優(yōu)化問題計算旋轉矩陣：

(26)

3)根據(jù)第(2)步計算結果R，求得D:

展開R的誤差項：

(27)

顯然第1項與R無關，RTR=I，第2項也與R無關，所以目標函數(shù)簡化為：

(28)

定義矩陣：

(29)

所以W是一個3×3的矩陣，對其進行SVD分解得到：

W=U∑VT

(30)

當W滿秩時，R為

R=UVT

(31)

解得R后，代入公式(25)即可求出D。式中R是一個3×3的矩陣，表示兩幀圖像之間姿態(tài)的旋轉矩陣，D是一個平移向量，表示2幀圖像之間的位移變化量。

將采集的第一幀圖像時的載體位姿作為初始姿態(tài)，記為P0，包括旋轉矩陣R0和平移矩陣T0，則

(33)

通常初始位姿P0由煤礦地測科利用全站儀測量得到。設Pk為第k個位姿，Rk,Tk,k=0,1,2,…,k表示每1幀的旋轉矩陣和平移矩陣。則具體每個時刻的位姿計算如下：

(34)

由相鄰兩幀即可得到位移量和姿態(tài)角的變化量，將一小段離散化的位移按照時間順序進行迭代計算，便可得到懸臂式掘進機連續(xù)的運動軌跡，如圖12所示。

圖12 懸臂式掘進機運動軌跡推算Fig.12 Calculation of trajectory of cantileverroad header

5 雙目視覺位姿測量策略

由于雙目視覺測量原理自身的不足導致測量距離有限，考慮基于雙目立體視覺的懸臂式掘進機位姿測量方法在實際使用中存在標靶移動問題，提出了一種雙標靶交叉移動的懸臂式掘進機雙目視覺位姿測量使用策略。如圖13所示，將雙目相機固定在懸臂式掘進機上，通過采集布置在后方的雙紅外LED標靶A和B的圖像實現(xiàn)機身位姿檢測的目的。

圖13 雙標靶雙目測量初始狀態(tài)Fig.13 Initialstate of doubletar getbino cularmea surement

在實際工作中，隨著掘進效率的提升，掘進機前進的速度越來越快，雙目的測量距離很難保證長距離或超長距離測量，此時可以通過交叉移動的方式，既保證測量的精度，也能保證測量的連續(xù)性。如圖14所示，在標靶和相機之間的距離超過雙目視覺測量距離而不能滿足測量精度時，保證B標靶保持不動正常工作，同時切斷A的供電使其前移至雙目位姿測量的最小測量距離處，打開電源使其正常工作。移動期間，雙目視覺位姿檢測連續(xù)工作沒有中斷，這樣就保證了測量的連續(xù)性。

圖14 標靶A斷電前移Fig.14 Target A forward after power off

將A移動至前方后，再按照同樣的方法移動B至前側，如圖15所示。如此循環(huán)交替移動即可實現(xiàn)連續(xù)測量，彌補了其測量距離不足的缺陷。

圖15 標靶B斷電前移Fig.15 Target B for ward after power off

6 試驗結果與分析

為有效地驗證基于雙目視覺的懸臂式掘進機位姿測量性能，論文分別從位置和姿態(tài)測量2個方面進行驗證。

1)雙目視覺位置測量精度試驗。

采用MYNTEYE的D1000-IR-120/Color雙目相機和SE347-003880 nm紅外LED燈組成的被測標靶構成雙目視覺位姿測量系統(tǒng)。將加裝了紅外濾鏡的雙目相機固定在精度為0.1 mm的高精度移動平臺，并將紅外LED光源組成的被測標靶固定于機身后方一定距離處。如圖16所示是搭建的雙目視覺位置測量動態(tài)試驗平臺。

圖16 雙目視覺位置測量試驗驗證平臺Fig.16 Experimental veri fication platform for binocular visual position measurement

通過調(diào)整相機橫向位移，每次移動5 cm并利用雙目圖像采集軟件采集固定于機身后方2 m處的紅外LED標靶圖像。以初始位置(0,0,0)和初始姿態(tài)(0°,0°,0°)為起始位姿，得到連續(xù)的位姿測量結果。如圖17所示是測量距離為2 m時，雙目視覺測量方法在X方向的測量結果。

圖17 測量距離為2 m時X方向?qū)嶋H位移Fig.17 Actual displacement in X direction when measuring distance is 2 m

從上圖中可以得到，雙目視覺在X方向的位移變換情況與高精度的位移變化情況完全吻合，但是由于存在測量誤差的情況，出現(xiàn)了小幅的偏差。如圖18所示是與雙目相機保持同步運動時高精度移動平臺位移數(shù)據(jù)。

圖18 X方向位移誤差Fig.18 Displace menterror of X directional

如圖18所示是X方向位移測量誤差，可以看出誤差在±30 mm以內(nèi)。如圖19和圖20是在移動過程中雙目視覺位姿測量得到的Y和Z方向的位移變化情況。

圖19 Y方向的位移變化Fig.19 Displace ment changein Y direction

其中Y方向的測量誤差在(-20 mm，0 mm)之間，Z方向測量誤差在±10 mm以內(nèi)。如圖20—圖22所示，分別是通過雙目視覺位姿測量方法計算得到的橫滾角、航向角和俯仰角姿態(tài)值。

圖20 Z方向的位移變化Fig.20 Displace ment changein Z direction

圖21 橫滾角變化情況Fig.21 Variationo frol langle

圖22 航向角變化情況Fig.22 Variation of rawangle

其中，橫滾角測量誤差在±0.2°以內(nèi)，航向角在(-0.5°，0.3°)之內(nèi)變化，俯仰角在(-0.72°，0°)之間變化。從總體上來說，姿態(tài)的變化相對穩(wěn)定且精度高。

圖23 俯仰角變化情況Fig.23 Variation of pitchangle

2)雙目視覺測量姿態(tài)測量試驗。

試驗器材包括MYEYEN120雙目相機，紅外LED標靶，精度為0.01°的高精度三軸轉臺。為便于研究，將雙目相機固定在高精度三軸轉臺,如圖24所示。

圖24 雙目視覺位姿測量實驗驗證平臺Fig.24 Experimental verification plat form for binocular visual position measurement

通過旋轉雙目相機并利用雙目圖像采集軟件采集固定于機身后方2 m處的紅外LED標靶圖像。如圖25所示是高精度三軸轉臺回轉角數(shù)據(jù)變化情況，圖26是通過雙目視覺計算得到的航向角數(shù)據(jù)，可以看出姿態(tài)變化情況基本一致。

圖25 雙目視覺航向角與高精度三軸轉臺對比Fig.25 Comparison of positive and high precision triaxial turbine with dual visual camera

圖26 雙目視覺測量航向角誤差值Fig.26 Error of heading anglemea sured by binocular vision

繪制得到的誤差結果如圖26所示，可以得到航向角的誤差在±1°以內(nèi)。如圖27和圖28分別是俯仰角和橫滾角姿態(tài)測量情況，可以看出其在(-1.2°，1°)以內(nèi)變化。

圖27 航向角誤差值Fig.27 Errorin heading angle

圖28 雙目視覺測量橫滾角Fig.28 Roll angle of Binocular visionmea surement

雙目視覺位姿檢測的橫滾角在0.1°以內(nèi)變化，但是由于安裝過程相機不是絕對水平的原因，橫滾角出現(xiàn)了小幅的降低。

7 結 論

1)煤礦井下高粉塵、低照度的實際工況環(huán)境，造成了嚴重的圖像特征缺失，因此采用穩(wěn)定的紅外LED光源組成特征標靶作為視覺測量的目標。

2)提出了一種基于雙目立體視覺的懸臂式掘進機位姿測量方法，采用高斯擬合法計算紅外LED多光斑中心特征提出，同時采用環(huán)形匹配策略實現(xiàn)雙目視覺的前后時域特征匹配并驗證了匹配的正確性，根據(jù)雙目視覺基本測量原理計算出光斑中心的空間三維坐標，最后利用3D-3D運動估計計算出空間位姿。

3)搭建試驗驗證平臺評估了其測量性能。理論與實驗表明：該測量方法在X方向即橫向位移的測量誤差在±30 mm，航向角的測量誤差在±1°以內(nèi)，滿足煤礦井下巷道掘進的要求。