孫猛超, 李鐵軍, 史家浩, 李賽雷, 鄭凱文, 劉今越

(河北工業(yè)大學(xué) 機(jī)械工程學(xué)院,天津 300131)

0 引 言

當(dāng)前巡檢機(jī)器人對設(shè)備運(yùn)行狀態(tài)的檢測，通常是通過用紅外測溫裝置檢測熱缺陷以及基于可見光圖像分析的開關(guān)、儀表等設(shè)備的自動識別[1]。存在普適性差、智能水平低和難以對設(shè)備的運(yùn)行狀態(tài)做出準(zhǔn)確的評估等問題。三維的振動信號可以為設(shè)備的安全評估和健康檢測等提供豐富的有效信息。根據(jù)振動測量方法與被測對象是否接觸可以分為接觸式測量和非接觸式測量。在實(shí)際的檢測環(huán)境下的接觸式測量方法存在布線、成本和通用性差等問題無法在實(shí)際中應(yīng)用。而機(jī)器視覺測量技術(shù)作為一種新的測量技術(shù)，其以非接觸、高效率、高精度、無負(fù)載效應(yīng)等特點(diǎn)受到越來越多研究者的關(guān)注[2]。

近年來，基于機(jī)器視覺的三維振動測量技術(shù)開始嶄露頭角。崇愛新等人[3]通過在軌旁的設(shè)施上部署的參考標(biāo)靶、軌腰上部署的待測編碼標(biāo)志，用鏈?zhǔn)诫p目相機(jī)三維測距算法完成了鋼軌的位移測量。黃鵬程等人[4]通過在待測物體上粘貼多個圓形發(fā)光標(biāo)志點(diǎn)來實(shí)現(xiàn)對目標(biāo)物體的三維振動測量。陳忠等人[5]通過雙目高速攝像機(jī)連續(xù)采集散斑動態(tài)變形圖像實(shí)現(xiàn)結(jié)構(gòu)全場振動的測量。歹英杰等>人[6]通過雙目拍攝目標(biāo)靶振動圖像，根據(jù)目標(biāo)點(diǎn)像素位置信息獲得目標(biāo)點(diǎn)空間坐標(biāo)，進(jìn)而求出動目標(biāo)空間位姿。劉巍等人[7]將便攜式合作靶標(biāo)安裝在工作臺上，利用雙目視覺測量合作靶標(biāo)以準(zhǔn)確表征機(jī)床運(yùn)動位置信息。上述所提的方法都能實(shí)現(xiàn)對目標(biāo)物體的三維振動測量，但是都需要在目標(biāo)物體上粘附特殊標(biāo)志或者對目標(biāo)物體的表面有著較高的要求[8～11]，難以滿足巡檢機(jī)器人對設(shè)備運(yùn)行狀態(tài)的檢測要求。

為了解決智能巡檢機(jī)器人對機(jī)電設(shè)備的狀態(tài)檢測問題,針對雙目視覺測量三維振動時存在需要物理目標(biāo)附著、實(shí)時性差和特征點(diǎn)假匹配等問題,提出一種基于特征點(diǎn)的三維振動信息提取的方法。通過追蹤被測目標(biāo)像素特征點(diǎn)對被測目標(biāo)進(jìn)行實(shí)時的三維振動測量。利用雙目視覺原理將特征點(diǎn)像素位移的變化裝換成實(shí)際的位移變化，從而得出目標(biāo)物體三維振動。最后構(gòu)建了一個智能巡檢機(jī)器人對機(jī)電設(shè)備的狀態(tài)檢測實(shí)驗(yàn)平臺，對所提算法進(jìn)行了驗(yàn)證，實(shí)驗(yàn)結(jié)果表明本文所提方法具有較好的準(zhǔn)確性。

1 理論與方法

1.1 相機(jī)標(biāo)定與極線校正

雙目相機(jī)安裝在機(jī)械臂末端。由于存在安裝和制造誤差的存在，需要對相機(jī)進(jìn)行標(biāo)定和對采集的圖像進(jìn)行極線校正。相機(jī)在測量前還需要進(jìn)行鏡頭校準(zhǔn)，鏡頭校準(zhǔn)采用文獻(xiàn)[12]的方法，再利用MATLAB工具箱對雙目相機(jī)進(jìn)行標(biāo)定。極線校正可以使兩幅圖像的極線相互平行[13]，就好像產(chǎn)生了虛擬的平行式立體視覺模型[14]。極線校正的過程如圖1所示，校正前兩個相機(jī)的光心并不平行，兩相機(jī)光心的連線叫基線，像平面與基線的交點(diǎn)為極點(diǎn)，像點(diǎn)與極點(diǎn)所在的直線為極線，左右極線與基線構(gòu)成的平面為空間點(diǎn)對應(yīng)的極平面。校正時假設(shè)極點(diǎn)的位置在無窮遠(yuǎn)處，兩個相機(jī)的光軸平行，使得兩幅圖像對應(yīng)極線處于同一水平上，即將成像面從Πl(fā)0和Πr0變換到Πl(fā)1和Πr1的過程，此時極線相互平行。本文采用Bouguet算法對圖像進(jìn)行校正。

圖1 極線校正示意

1.2 特征點(diǎn)的提取

尺度不變特征變換(scale-invariant feature transform，SIFT)是在計算機(jī)視覺領(lǐng)域中檢測和描述圖像中局部特征的算法[15]。SIFT算法的實(shí)質(zhì)是在不同的尺度空間上查找關(guān)鍵點(diǎn)(特征點(diǎn))，并計算出關(guān)鍵點(diǎn)的方向并得出128維的特征點(diǎn)描述子。

算法將圖像進(jìn)行高斯卷積操作與降采樣，來獲取不同尺度的圖像。再將相鄰的高斯金字塔圖相減得到的新圖像，對新圖像的每一個像素點(diǎn)進(jìn)行如下操作：將一個像素點(diǎn)和它同一平面相鄰的8個像素點(diǎn)和上下層的9×2個像素點(diǎn)共26個進(jìn)行比較，當(dāng)這個像素點(diǎn)在上、中、下三層圖像構(gòu)成的魔方形狀空間中為極大值或者極小值時，認(rèn)為此點(diǎn)是初步特征點(diǎn)。但是極值點(diǎn)是通過離散空間得到的，離散空間和連續(xù)空間得到的極值差別還是很大的。所以，需要對尺度空間函數(shù)進(jìn)行三維二次曲線擬合，使極值點(diǎn)達(dá)到亞像素級的精確定位。

為了獲得準(zhǔn)確的關(guān)鍵點(diǎn)的特征信息，對特征點(diǎn)的方向進(jìn)行定義，對高斯差分金字塔中的像素點(diǎn)梯度表示為

(1)

梯度幅度

m(x,y)={[L(x-1,y)-L(x-1,y)]2+

[L(x,y+1)-L(x,y-1)]2}1/2

(2)

梯度方向

(3)

將梯度方向360°每10°作為一個方向在區(qū)域半徑中統(tǒng)計幅度和方向，以直方圖的形式表達(dá)方向的數(shù)量，主峰值作為該點(diǎn)的主方向。將特征點(diǎn)鄰近區(qū)域分成4×4個區(qū)域共16個區(qū)域，并且在每個區(qū)域統(tǒng)計梯度信息生成8維的直方圖。這樣就將一個特征點(diǎn)的描述子通過128維的向量表達(dá)出來。

1.3 特征點(diǎn)的選取與匹配

通過計算匹配特征點(diǎn)之間的歐氏距離來判斷兩幀之間的特征點(diǎn)是否為同一點(diǎn)。將所有匹配特征點(diǎn)的歐氏距離進(jìn)行排序，選取歐氏距離較小的多個特征點(diǎn)(本文為20個,選取的特征點(diǎn)需要滿足位于雙目相機(jī)的共同視野范圍內(nèi))并讀取這些特征點(diǎn)在圖像中的坐標(biāo)位置；并以這些特征點(diǎn)為中心，半徑為a個像素形成一個基圓(a為被測目標(biāo)的最大像素位移的5倍)，后一幀圖像在這個基圓內(nèi)獲取并匹配特征點(diǎn)。這樣不需要遍歷圖像的所有特征點(diǎn)即可完成特征點(diǎn)的匹配，大大縮短計算時間。

1.4 錯誤匹配點(diǎn)的剔除

為了消除匹配時的錯誤匹配，由于本文所采用的方法是攝像頭不動，將采用方差閾值的方法消除假匹配點(diǎn)公式如下

(X1-X)2+(Y1-Y)2≤a2

(4)

式中X1,Y1為一個特征點(diǎn)的某幅圖像中的像素坐標(biāo)，X,Y為該特征點(diǎn)在另一幅圖像中的像素坐標(biāo)，α為設(shè)定的閾值。

1.5 像素位移轉(zhuǎn)換成工程位移

雙目立體視覺是基于視差，通過三角法原理獲取物體的三維信息,即由左右兩個攝像頭的成像平面和被測物體組成的三角形。兩相機(jī)的位置關(guān)系可以通過標(biāo)定得到，因此可以通過雙目公共視野的物體成像坐標(biāo)計算出物體在世界坐標(biāo)系下三維坐標(biāo)。圖2為雙目立體成像原理。

圖2 雙目立體成像原理

兩攝像機(jī)投影中心之間的距離為基線距離B。兩攝像機(jī)在同一時刻同一平面觀看世界坐標(biāo)系中的一點(diǎn)P，分別在各自的成像平面形成坐標(biāo)PL(XL,YL)和PR(XR,YR)。又因?yàn)閮蓴z像機(jī)在同一平面，所以YL=YR=Y。由幾何三角關(guān)系可得如下關(guān)系式

(5)

由此計算出，特征點(diǎn)P在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)

(6)

由于像素坐標(biāo)系和成像平面相差一個縮放和一個原點(diǎn)平移,P點(diǎn)的像素坐標(biāo)系與成像平面的關(guān)系為

u=α×X+cx，v=β×X+cy

(7)

可得

α×(XL-XR)=ul-ur

(8)

將式(8)代入式(6)中，得到如下表達(dá)式

(9)

式中 (u0,v0)為圖像的主點(diǎn)坐標(biāo)；(ul,vl)為Pl在像素坐標(biāo)系下的坐標(biāo)；ur為Pr的橫軸像素坐標(biāo)值；fx為f×α；fy為f×β。

由于上面已經(jīng)獲得了目標(biāo)圖像中的特征點(diǎn)每一時刻的像素坐標(biāo),因此可以通過雙目測量原理得出每一時刻目標(biāo)的實(shí)際坐標(biāo)，從而得出目標(biāo)物體的三維振動信息。

2 實(shí) 驗(yàn)

將實(shí)驗(yàn)室的一個房間作為實(shí)驗(yàn)環(huán)境，模擬巡檢的場景。規(guī)劃出一條機(jī)器人巡檢的路徑和機(jī)械臂到達(dá)測量目標(biāo)點(diǎn)的位置。對獲取的圖像進(jìn)行圖像校正、特征點(diǎn)匹配，獲取目標(biāo)物體的振動信息與加速度計和激光位移傳感器進(jìn)行驗(yàn)證。

2.1 實(shí)驗(yàn)系統(tǒng)

實(shí)驗(yàn)將小型空氣壓縮機(jī)作為測量對象，實(shí)驗(yàn)系統(tǒng)包括移動機(jī)器人地盤、UR5機(jī)械臂、雷達(dá)、自制雙目相機(jī)、計算機(jī)2臺、三軸加速度計、激光位移傳感器和小型空氣壓縮機(jī)。實(shí)驗(yàn)布局如圖3所示。

圖3 實(shí)驗(yàn)系統(tǒng)

在UR5機(jī)械臂末端安裝自制的雙目相機(jī)，加速度計采用的是粘附式粘貼在空氣壓縮機(jī)上。三軸加速度計型號為Kistler—8396A2D0DTTA00，雙目相機(jī)型號為A5131MU210，激光測振儀型號為OFV—505/5000高性能單點(diǎn)激光測振儀，測量時采樣頻率均為120 Hz，為本次實(shí)驗(yàn)相機(jī)圖像采集的幀率均為120 fps，分辨率為1 280像素×1 024像素。小型空氣壓縮機(jī)型號為550W—30L，功率為550 W，存儲罐30 L，氣壓0.7 MPa，排氣量40 L/min。雷達(dá)安裝在小車前端，型號為YDLIDAR G4，搭載移動機(jī)器人上的筆記本為神州K650。

2.2 實(shí)驗(yàn)分析

移動機(jī)器人地盤搭載著機(jī)械臂、雙目相機(jī)和雷達(dá)等，移動機(jī)器人地盤按照預(yù)先設(shè)定的巡檢軌跡通過雷達(dá)定位，準(zhǔn)確的到達(dá)測量目標(biāo)的附近；機(jī)械臂將雙目相機(jī)移動測量位置。為了消除機(jī)械臂和移動地盤的抖動帶來的測量誤差，將機(jī)械臂和移動地盤的電機(jī)處于斷電狀態(tài)。獲取圖像后對圖像進(jìn)行校正，再進(jìn)行特征點(diǎn)分提取與匹配，最后計算出特征點(diǎn)的三維坐標(biāo)來獲取被對象的振動信息。實(shí)驗(yàn)時，保持空氣壓縮機(jī)始終在壓縮空氣狀態(tài)下。并用雙目相機(jī)、三軸加速度計和激光測振儀同時記錄測量信息。左右相機(jī)分別采集3 600幀圖像，時長為30 s。

將雙目視覺采集的X方向的振動位移信號跟激光位移傳感器采集的信號進(jìn)行波形匹配，結(jié)果如圖4所示。從圖中可以看出，視覺測量的結(jié)果和激光測振儀測量的振動信號波形重合度很高。將雙目相機(jī)采集的三維振動信號與加速度計采集的加速度三維振動信號進(jìn)行快速傅里葉變換(fast Fourier transform，F(xiàn)FT)，結(jié)果如圖5所示。

圖4 激光測振儀與視覺X位移對比

圖5 快速傅里葉變換

2.3 實(shí)驗(yàn)結(jié)果評價

對于X方向的位移用公式來判斷激光位移傳感器測量出的位移波形和視覺測量出來的相關(guān)性。公式如下

(10)

式中ρy1yc為離散化形成下的相關(guān)系數(shù)，可衡量信號y1(n)和yc(n)波形在同一采樣數(shù)據(jù)窗N內(nèi)的相似程度。ρy1yc在0～1變換，ρy1yc=1為完全相關(guān)，ρy1yc=0為兩個數(shù)據(jù)之間完全沒有相關(guān)性。視覺測量的空壓機(jī)X方向的位移和激光位移傳感器測量的波形相關(guān)性如表1所示。加速度計測量出的三維振動頻率和雙目測量出的三維振動頻率的對比如表2所示。

表1 位移傳感器與視覺的X方向位移波形相關(guān)性

表2 加速度計與視覺測量的頻率對比

3 結(jié) 論

本文所提方法能在無物理目標(biāo)附著的情況下進(jìn)行實(shí)時的三維振動測量，與激光位移傳感器在位移為40 μm左右的波形下重合度達(dá)到95.15 %以上，與三軸加速度計的幅頻值對比獲得99.97 %以上的準(zhǔn)確率。實(shí)驗(yàn)驗(yàn)證了該方法的可行性和準(zhǔn)確性。相較于傳統(tǒng)的雙目視覺三維振動測量方法，在測量目標(biāo)物體時對目標(biāo)的輪廓沒有特殊要求，也不需要對目標(biāo)物體粘附特殊的標(biāo)志。