趙鵬宇 王宗彥 丁培燎 吳 璞 臧春田

(①中北大學(xué)機械工程學(xué)院,山西 太原 030051;②山西省起重機數(shù)字化設(shè)計工程技術(shù)研究中心，山西 太原 030051)

目前并聯(lián)機器人因其可以大大提高工件分揀速度，已被應(yīng)用到自動化工件分揀線中，而且機器人技術(shù)的應(yīng)用也是衡量一個國家工業(yè)水平的重要指標(biāo)，因此已被列為“中國制造2025”規(guī)劃中的重點突破項目[1]。但是我國的大部分并聯(lián)機器人分揀系統(tǒng)采用的是傳統(tǒng)的示教方法，預(yù)先規(guī)劃好路徑與工件信息，無法對工件進行識別，一旦工件種類、位置和位姿發(fā)生變化就無法完成指定工作。為了提高機器人的柔性自動化水平，發(fā)揮并聯(lián)機器人高速的優(yōu)勢。必須使其可以實時掌握工件的種類、位置等信息，這就引入了機器視覺技術(shù)。機器視覺不僅識別速度快準(zhǔn)確率高，而且成本較低，因此已被應(yīng)用在工業(yè)生產(chǎn)線、探傷檢測和非接觸測量等工業(yè)場景[2-4]。機器視覺技術(shù)實現(xiàn)過程為：首先通過相機采集圖像，然后對圖像進行處理并獲取有效信息，使機器人可以對工件進行識別并確定工件的位置，最終提高生產(chǎn)線的分揀效率，而且減少了人力資源的浪費。

機器人工作時首先要進行工件識別，識別的準(zhǔn)確性決定了機器人的整體性能。目標(biāo)識別方法中最常用的是圖像匹配法，其主要包括基于灰度值的匹配算法和基于特征的匹配算法[5]。兩種方法中，由于特征提取匹配方法具有運算速度快，魯棒性好，抗干擾等優(yōu)點[6]，因此受到很多研究者的關(guān)注，催生了很多成熟的理論和特征提取方法，如SIFT、SURF[7]、ORB[8]和不變矩特征等方法[9]，都可以提取出穩(wěn)定不變的特征，得到了越來越多的應(yīng)用。

本文通過將工業(yè)相機安裝到并聯(lián)機器人分揀線上來采集圖像，利用OpenCV視覺庫進行圖像處理。在分析了現(xiàn)有的圖像預(yù)處理，特征提取等方法后，提出了一種工件識別與定位的圖像處理算法：提取目標(biāo)圖像中的工件輪廓，提取其不變特征，將其與模板輪廓的不變特征進行匹配，以達到識別工件的目的，針對擺放位姿隨機的工件再確定其質(zhì)心信息與旋轉(zhuǎn)角度。

1 機器視覺硬件系統(tǒng)

機器視覺硬件可以分為圖像采集和圖像處理兩部分。圖像采集部分采用的是工業(yè)相機，型號為?？礛V-CA013-20面陣相機，分辨率為1 280×1 024，通訊口為Gige接口，鏡頭為畫面清晰度高、對比度好的MVL-HF1628M-6MP，并采用LED條形光源進行補光以使工件圖像更加清晰。將相機垂直安裝在并聯(lián)機器人分揀傳送帶上方，用于采集工件圖像，如圖1所示。

以PC作為上位機，通過Gige網(wǎng)口接收工業(yè)相機發(fā)送過來的圖像信息，CPU為I5-3470s主頻為2.9 GHz，內(nèi)存為4 G，系統(tǒng)為WINDOWS 10，每秒最多可接收90幀圖像。具體的實驗平臺如圖2所示。以C++作為開發(fā)語言，通過Microsoft Visual 2017軟件作為開發(fā)環(huán)境，完成圖像處理任務(wù)。

2 圖像預(yù)處理分析

工件識別算法的核心是對采集到的工件圖像進行圖像處理，步驟一般包括圖像預(yù)處理與圖像匹配。預(yù)處理的步驟一般為灰度轉(zhuǎn)換、濾波、閾值分割和邊緣檢測。圖像匹配的步驟包括特征提取與模板匹配。

機器人依據(jù)工件形狀對工件進行識別，所以只需要灰度圖像就可以完成識別工作，灰度轉(zhuǎn)化可以將采集到的RGB圖像轉(zhuǎn)換為灰度圖像?；叶绒D(zhuǎn)換后的圖像不僅可以加快識別速度，而且可以提高準(zhǔn)確性。OpenCV中通過cvtColor函數(shù)可以實現(xiàn)灰度轉(zhuǎn)換，需要將參數(shù)設(shè)置為COLOR_RGB2GRAY。具體效果如圖3所示，圖3a為原始圖像，圖3b為灰度轉(zhuǎn)換后的圖像。

2.1 圖像濾波

圖像濾波又稱為圖像平滑，由于相機在工作和傳輸過程中不可避免地會受到來自粉塵、噪聲等因素的干擾，圖像濾波就是盡可能地消除這些因素的影響，同時突出圖像中識別對象的特征，提升圖像的質(zhì)量，也要保存其中的邊緣輪廓等信息。圖像濾波的方法主要有均值濾波、高斯濾波、中值濾波及雙邊濾波等。前兩者無法抑制孤立的噪聲點并且對圖像細節(jié)有所破壞，使邊緣不能很好地保存。后兩種濾波效果中，中值濾波效果如圖4a所示，雙邊濾波效果如如圖4b所示。

中值濾波是通過計算像素點鄰域灰度值的中值來消除噪聲，對椒鹽噪聲和脈沖噪聲有很好的效果，同時對圖像的邊緣信息也可以很好地保存。而雙邊濾波還是存在高頻噪聲，對比之后選擇中值濾波。

2.2 圖像閾值分割

圖像閾值分割是圖像處理的關(guān)鍵步驟之一，其目的是將背景與識別目標(biāo)分離，去除大量的無用信息，突出人們感興趣的區(qū)域，方便后續(xù)的識別操作。圖像分割的方法有很多其中閾值分割法因其簡單快速而受到廣泛地應(yīng)用。

分割閾值的數(shù)值是該方法的重要參數(shù)，需要遍歷圖像以尋找最優(yōu)閾值。目前成熟的閾值分割法有很多包括固定值法、最大類間方差法[10]和最大熵分割方法等[11]。根據(jù)中值濾波后的灰度直方圖(如圖5所示)，灰度直方圖有明顯的分布趨勢，所以不必采用搜索閾值的方法，而是采用固定值法。

固定值法可以有效減少算法的運算量，提升圖像處理的速度。只要選取合適的閾值進行分割就可以將工件有效分別出來。但是考慮到金屬工件表面的反光問題，不可避免地會造成局部過度曝光的現(xiàn)象，所以應(yīng)采用雙閾值的分割方法。公式如下：

(1)

式中：f(x,y)表示圖像在(x,y)像素處的灰度值，g(x,y)表示閾值化后的灰度值，max為最大灰度值這里取255，0為最小灰度值，low、high分別表示低分割閾值與高分割閾值。

通過OpenCV固定閾值分割函數(shù)threshold，對圖像進行兩次固定閾值分割并通過bitwise_and函數(shù)進行與操作，即對圖像每個像素值進行二進制與操作，1&1=1，1&0=0，0&0=0，以完成雙閾值分割的操作得到所需圖像。效果如圖6所示。

2.3 圖像邊緣檢測

圖像邊緣就是圖像中灰度值明顯變化的像素區(qū)域，邊緣檢測就是將這些突變的像素連接起來形成連續(xù)的邊緣。經(jīng)典的邊緣檢測算法有Canny算子、Sobel算子、Laplacian算子和Roberts算子等[12]。Sobel算子只能提取一些明顯的輪廓，Laplacian算子會造成圖像模糊降低匹配精度，Roberts對噪聲敏感不適用于嘈雜的工業(yè)場景。Canny算子的效果要優(yōu)于上述幾種算子所以是目前應(yīng)用最廣的邊緣檢測算子。這一算子基于Canny提出的邊緣檢測要求，即邊緣檢測應(yīng)該符合3個條件：首先輸出的信噪比最大化也就是錯撿漏撿的概率要低；其次提取出的邊緣要靠近真正的邊緣；最后邊緣檢測算法應(yīng)該對每個邊緣返回唯一的一個邊緣，避免多重響應(yīng)。

Canny算子具有運算快和算法簡單的優(yōu)點，其步驟可以總結(jié)為4步：

(1)高斯平滑圖像。

(2)計算圖像梯度幅度和方向，梯度公式如式(2)所示，方向公式如式(3)所示，其中fs(x,y)為高斯平滑后的圖像。

(2)

(3)

(3)對梯度圖像進行非極大值抑制，假設(shè)4個基本方向d1～d4，前兩者表示水平和豎直方向，后兩者表示+45°和-45°方向。尋找最接近α(x,y)的方向dk，若?fs(x,y)的值小于dk方向上的一或兩個鄰點值則抑制否則保留這個值，對所有(x,y)重復(fù)這一過程，就可得到非極大抑制圖像。

(4)對非極大抑制圖像進行雙閾值處理和連通性來檢測與連接邊緣，以減少孤立或假的邊緣點。Canny算子檢測的邊緣較齊全，對于細微的邊緣也有較好的檢測效果且檢測速度快，方法成熟。但是檢測出來的邊緣寬度不一，還會出現(xiàn)微小、斷續(xù)的邊緣。所以還需對Canny檢測出來的邊緣進行連接與細。檢測完成后結(jié)合OpenCV中的findContours函數(shù)查找Canny返回的邊緣并結(jié)合drawContours繪制固定邊緣使工件邊緣更加突出，以得到易于進行圖像匹配的工件輪廓。

3 圖像匹配

本文用到的圖像匹配方法為圖像特征匹配，圖像特征包括全局特征和其他特征，全局特征如工件表面的顏色、紋理等。而其他特征比較特殊可以表征全局也可以表征局部，如形狀特征或者空間關(guān)系特征前者既可以用工件的整個形狀輪廓來表示，也可以用外輪廓來表示。后者則需要利用圖像中多個工件的相對位置來表示，也可以用在整幅圖像中的絕對位置來表示。圖像的不變特征就是在圖像經(jīng)過平移、旋轉(zhuǎn)及縮放等操作后仍然保持不變的特征量，其中圖像矩特征是用來描述像素的分布，反映了圖像形狀的全局特征。

在常用的特征提取算子中，SIFT計算相對復(fù)雜、速度慢，不能滿足快速識別的要求。ORB算法不具有尺度不變性，在不能保證工業(yè)相機垂直采集圖像時，準(zhǔn)確率較低。所以本次實驗利用不變矩特征，通過提取出圖像中待識別工件的輪廓，計算出它的Hu不變矩，再將其與模板工件的Hu不變矩做匹配度對比，以進行工件識別。

3.1 Hu不變矩

由于采集到的圖像在轉(zhuǎn)換成數(shù)字信號后不再是連續(xù)信號，所以對于離散的二維圖像f(x,y)，其(p+q)階幾何矩和中心距定義為：

(4)

(5)

其中，x0=m10/m00，y0=m01/m00，它們分別表示圖像水平和垂直方向的重心。用中心距只能保證圖像特征的平移不變，為了確?？s放時特征不變，還需對中心距做歸一化操作如式(6)所示：

(6)

其中：γ=(p+q+2)/2，p+q=2,3…。但是上述操作只保證了圖像特征在平移和縮放時的不變性，所以Hu通過分析利用歸一化的二階中心矩η20、η02、η11和三階中心距η30、η21、η03、η12推導(dǎo)出了7個平移、旋轉(zhuǎn)和縮放時的不變矩特征量，即Hu不變矩：

(7)

但是這7個特征量變化較大，會造成很大誤差，不利于進行數(shù)據(jù)處理。所以為了減小誤差，在實驗中將這7個數(shù)據(jù)進行取對數(shù)操作，以壓縮數(shù)據(jù)量。具體公式如式(8)所示。

φi=sign(φi)log|φi|

(8)

3.2 工件匹配

工件匹配的原理是將工件的模板圖像與工業(yè)相機采集圖像中各個工件圖像進行對比，并建立相應(yīng)的度量公式與檢索閾值，不超過閾值則認(rèn)為是相同工件，以達到識別的目的。在實驗中只需要工件的外輪廓就可以進行匹配，這樣可以增加計算速度，減少計算量。方法為利用Canny算子提取采集到圖像中所有的輪廓，如圖7a所示，采用findContours函數(shù)將其檢索類型設(shè)置為RETR_EXTERNAL就可以只檢測最外層輪廓，如圖7b所示。

匹配過程，首先要建立模板A，提取其外輪廓，并計算出模板外輪廓的特征值，本文需要計算特征值是取對數(shù)操作后的Hu矩。對于待識別圖像，首先提取圖像中所有工件外層輪廓，分別計算這些輪廓的Hu矩，通過計算其與模板特征值的匹配度來確定需要識別的工件。具體的匹配度公式如式(9)所示：

(9)

3.3 工件定位

工件識別完成后為了進行后續(xù)的分揀等操作還需對工件中心進行定位，找出其在圖像中的確切位置。定位方法采用最小外接矩形法：首先獲取到目標(biāo)的初始位置，運用重心原理計算每一列的重心點并擬合作為水平主軸，將其上下平移得到目標(biāo)工件的上下邊界，計算每一行的重心點并擬合作為垂直主軸，左右平移得到目標(biāo)工件的左右邊界，這樣就得到一個外接矩形；然后以這兩條軸的交點作為旋轉(zhuǎn)中心點，設(shè)定旋轉(zhuǎn)角度逆時針旋轉(zhuǎn)外接矩形，通過對比外接矩形的面積就可以找到工件的最小外接矩形。外接局矩形沿水平主軸旋轉(zhuǎn)過的角度θ就是水平軸與延逆時針方向接觸的矩形第一條邊的夾角，以確定工件位姿還需確定其是長邊還是短邊。為了方便機器人抓取一般選用長邊作為基準(zhǔn)邊，所以如果是長邊則取角度θ如圖8a所示，否則為γ=90°+θ,如圖8b所示。獲取最小外接矩形后就可以利用矩形的4個頂點R0、R1、R2、R3,進而求得工件的質(zhì)心坐標(biāo)C(x,y)。如式(10)所示，式中Ri(x)表示第i個頂點x軸的值，Ri(y)表示第i個頂點y軸的值。

(10)

4 試驗及分析

本文使用OpenCV3.4.6視覺庫結(jié)合C++語言，在VS2017集成開發(fā)環(huán)境下進行開發(fā)和試驗驗證。試驗對象選擇常見的圓矩形法蘭軸承與圓形法蘭底座工件，并設(shè)置模板圖像，圓矩形法蘭軸承模板如圖9a所示,圓形法蘭底座模板如圖9b所示。

采集待識別圖像時，先采集單個圓矩形法蘭軸承與圓形法蘭底座的圖像進行算法驗證，設(shè)置匹配度閾值為0.08，即返回的匹配度在0.08以內(nèi)時就認(rèn)為是同一工件。單個工件識別如圖10所示。識別到的工件采取外輪廓包圍，并用十字標(biāo)出中心點以突出工件。

為了驗證算法的有效性，還需采集兩者共存的圖像進行探究。通過提取它們的外輪廓與法蘭軸承模板和法蘭底座模板做圖像匹配，圖11為采集的兩幅待識別工件圖像，為了便于區(qū)分將工件排序，序號如圖所示。

以上兩幅圖像用于展示本次識別定位試驗的效果，圖11a中有一個底座兩個軸承，圖11b中有兩個底座和兩個軸承。利用這兩張圖中分別進行軸承識別與底座識別。并對識別到的工件進行定位，根據(jù)本文方法計算出軸承的位姿角度和確切的質(zhì)心坐標(biāo)，而對于圓形底座只需要求出質(zhì)心坐標(biāo)即可。

表1表示圖11a的識別與定位結(jié)果，識別示意圖如圖12所示，圖12a為底座識別圖，圖12b為軸承識別圖。表2表示圖11b的試驗結(jié)果，識別示意圖如圖13所示。

表1 圖11a識別結(jié)果

表2 圖11b識別結(jié)果

本次試驗共采集了100幅圖像進行匹配試驗，其中底座工件的匹配度范圍在0.002 01～0.003 79，軸承工件的匹配度范圍在0.001 27～0.028 72，對底座和軸承都可以準(zhǔn)確進行識別，無論物體的旋轉(zhuǎn)角度是多少識別率都在99%以上，識別速度平均在110 ms左右，可以滿足實時識別的需求。

試驗證明本文算法可以準(zhǔn)確識別圖像中需要識別的工件，同時確定工件的質(zhì)心坐標(biāo)與旋轉(zhuǎn)角度，這些信息可以使機器人調(diào)整末端執(zhí)行器的位姿，高效地進行選擇抓取工件的操作。對比軸承和底座的試驗匹配度數(shù)據(jù)，可以發(fā)現(xiàn)軸承由于表面反光較強，受光照的影響很大,這就造成了匹配度波動較大，而底座反光能力弱,所以匹配相對穩(wěn)定。

5 結(jié)語

本文運用并聯(lián)機器人分揀平臺，通過分析機器視覺技術(shù)的理論和方法，提出了一種基于Hu矩和外接矩形的工件識別和定位的方法。首先對圖像進行預(yù)處理，利用固定雙閾值對圖像進行分割，再獲取圖像的外輪廓并利用OpenCV函數(shù)重塑邊緣，計算Hu矩，并與模板Hu矩進行匹配達到工件識別的目的，再利用尋找外接矩形的辦法對工件進行定位并確定位姿。由于光照會影響圖像邊緣輪廓造成軸承工件匹配度波動較大，在正式工業(yè)場景應(yīng)加以注意。試驗表明本文的算法識別率高，可以進行工件識別與定位，具有很高的實用和參考價值。