黃佳興，孫 曉，雷張文，于 柳，鄧林志

（1.湖南工業(yè)大學(xué) 機(jī)械工程學(xué)院，湖南 株洲 412007；2. 株洲國創(chuàng)軌道科技有限公司，湖南 株洲 412007；3. 湖南工業(yè)大學(xué) 圖書館，湖南 株洲 412007）

0 引言

在“十四五”和《中國制造2025》等戰(zhàn)略背景下，制造技術(shù)現(xiàn)朝著新型智能方向發(fā)展[1]。機(jī)器視覺技術(shù)作為一項(xiàng)新型工業(yè)生產(chǎn)中的輔助技術(shù)，隨著智能化的發(fā)展得到了廣泛的應(yīng)用。

利用圖像處理及機(jī)器視覺技術(shù)進(jìn)行工業(yè)生產(chǎn)的最大特點(diǎn)，是能夠快速無接觸地獲取目標(biāo)信息[2]。在生產(chǎn)線上的應(yīng)用可以有效避免人為主觀性造成的誤差；在新型工業(yè)生產(chǎn)線的應(yīng)用中，裝配視覺檢測的機(jī)器人替代人工完成抓取和裝配工作。裝配生產(chǎn)線中因工件偏移造成的錯誤裝配使得機(jī)器壽命縮短，而在工業(yè)傳輸鏈條的裝配過程，對連接插銷的準(zhǔn)確插入有極高的要求，如果有偏差靠強(qiáng)行插入，會嚴(yán)重影響鏈條的使用壽命，因此及時反饋并更新工件位置信息是非常必要的。如何提高工件識別定位的效率與精度，一直是國內(nèi)外學(xué)者的研究重點(diǎn)。

目前，在工件識別與定位中，圖像處理、機(jī)器視覺、深度學(xué)習(xí)[3-5]等自動化識別處理方式被廣泛應(yīng)用。羅輝等[6]結(jié)合Hu 矩不變量和模板匹配方法對工件定位與識別，但是其結(jié)果的準(zhǔn)確性對輪廓提取的精度有一定要求。龔海強(qiáng)等[7]通過比較兩相鄰點(diǎn)之間的高度差與歐氏距離大小關(guān)系，得出點(diǎn)間斜率，并以此確定工件位置，但是此方法要保證3 個相鄰的采樣點(diǎn)要在同一個區(qū)域內(nèi)。武洪恩等[8]結(jié)合八鄰域跟蹤算法、Hu 矩、遞進(jìn)霍夫變換法，對工件完成了識別與定位。鐘佩思等[9]將工件質(zhì)心像素值作為樣本點(diǎn)，通過對樣本點(diǎn)進(jìn)行正交函數(shù)擬合得到工件質(zhì)心平面坐標(biāo)，最后經(jīng)雙目視覺以工件質(zhì)心進(jìn)行三維重建。盧軍等[10]通過加權(quán)最小二乘法擬合工件亞像素邊緣的二維測量法來定位工件的策略，達(dá)到了工件亞像素級的定位精度。余永維等[11]利用GrabCut 算法、SURF 算法、視差測距法，實(shí)現(xiàn)了對目標(biāo)工件圖像的分離、三維立體匹配和定位。但是這些算法的計(jì)算量都較大，不適用于快速處理的場景要求。

綜上所述，現(xiàn)有的工件檢測算法存在算法復(fù)雜、對硬件設(shè)備要求較高、難以實(shí)時檢測等缺點(diǎn)。針對上述問題，本文提出了一種快速的提取與調(diào)整策略，使其更易于在嵌入式設(shè)備上使用。

1 系統(tǒng)平臺設(shè)置

1.1 系統(tǒng)平臺搭建

該檢測調(diào)整系統(tǒng)由圖像采集系統(tǒng)、圖像處理系統(tǒng)、機(jī)械系統(tǒng)、運(yùn)動控制系統(tǒng)4 個子系統(tǒng)構(gòu)成，如圖1 所示。

圖1 所示插銷位置檢測調(diào)整系統(tǒng)中，圖像采集系統(tǒng)由200 萬像素的CMOS 相機(jī)、畸變小于1.00%的定焦鏡頭和環(huán)形光源構(gòu)成，鏡頭與光源同側(cè)放置直射工件；機(jī)械系統(tǒng)由可自由移動的相機(jī)和光源支架構(gòu)成；運(yùn)動控制系統(tǒng)由移動滑臺和舵機(jī)運(yùn)動控制驅(qū)動器構(gòu)成，樹莓派（Raspberry Pi）與舵機(jī)運(yùn)動控制卡控制舵機(jī)步進(jìn)距離；圖像處理系統(tǒng)基于OpenCV-Python平臺搭建。移動滑臺搭載相機(jī)與光源做同步移動。面陣CMOS 相機(jī)定距自動采集圖像，并經(jīng)由千兆網(wǎng)線傳輸?shù)綐漭蛇M(jìn)行圖像的保存與數(shù)據(jù)的處理。當(dāng)一個目標(biāo)插銷被運(yùn)送至檢測點(diǎn)時，發(fā)出信號，相機(jī)獲取當(dāng)前圖像，讀取分析目標(biāo)位置信息，并計(jì)算需要調(diào)整的角度，調(diào)整系統(tǒng)對插銷進(jìn)行調(diào)整，完成一個作業(yè)動作。

1.2 視覺系統(tǒng)標(biāo)定

整個系統(tǒng)的坐標(biāo)位置如圖2 所示。

圖2 各坐標(biāo)系位置關(guān)系示意圖Fig. 2 Position relationship of each coordinate system

圖2 中，世界坐標(biāo)系用{Ow-XwYwZw}表示、工件調(diào)整執(zhí)行坐標(biāo)系用{Oe-XeYeZe}表示、相機(jī)坐標(biāo)系用{Oc-XcYcZc}表示、插銷圖像坐標(biāo)系用{Og-XgYgZg}表示，根據(jù)式（1）可求解插銷像素坐標(biāo)(u,v)映射到{Oe-XeYeZe}坐標(biāo)的變換矩陣T。

根據(jù)已知的像素坐標(biāo)、圖像坐標(biāo)、相機(jī)坐標(biāo)和執(zhí)行坐標(biāo)相互之間的坐標(biāo)變換關(guān)系公式（2）

推導(dǎo)出如下像素坐標(biāo)與末端執(zhí)行坐標(biāo)的映射表達(dá)式（3）：

可得到變換矩陣T，

式（2）～（4）中：fx、fy為相機(jī)內(nèi)參數(shù)中的焦距；u0、v0為相機(jī)感光板中心在像素坐標(biāo)系下的坐標(biāo)；R為外參數(shù)中的旋轉(zhuǎn)矩陣；I為平移矩陣；f為像距；dx、dy為x、y方向上一個像素在相機(jī)感光板上的物理長度；以上參數(shù)可通過采集不同方向上的黑白棋盤格圖像進(jìn)行標(biāo)定。

2 目標(biāo)提取

為減輕后期計(jì)算壓力，達(dá)到快速提取目標(biāo)要求，在目標(biāo)獲取階段需尋找一種準(zhǔn)確有效的目標(biāo)檢測方法，將目標(biāo)與背景剝離出來。

2.1 檢測方法

在對目標(biāo)進(jìn)行識別前，需要從復(fù)雜的工業(yè)背景中檢測到所需的目標(biāo)并分離出來。在目標(biāo)檢測中，利用連續(xù)視頻幀中目標(biāo)區(qū)域的像素點(diǎn)變化可將目標(biāo)從背景圖像中提取出來。

根據(jù)檢測目標(biāo)背景的復(fù)雜程度以及相機(jī)的相對運(yùn)動情況，不同的算法之間存在較大的差異。其中背景差分法、光流場法和幀間差分法是最常用于運(yùn)動物體分離的方法[12]。為了提高工業(yè)生產(chǎn)線上的效率，快速提取目標(biāo)并且讀取目標(biāo)信息。在上述3 種方法中，選用檢測運(yùn)動目標(biāo)快速、檢測精度較高、魯棒性較好和計(jì)算資源需求較小的背景差分法。為進(jìn)一步降低背景差分法的計(jì)算資源需求，提出對背景差分算法進(jìn)行幀數(shù)獲取的限制約束改進(jìn)，即在連續(xù)的視頻序列中只獲取兩張照片，不對中間圖像進(jìn)行計(jì)算處理，這樣可有效提高計(jì)算效率。

圖3 序列片段選取Fig. 3 Sequence fragment selection

2.2 快速目標(biāo)提取

背景差分法被廣泛應(yīng)用于視頻片段中的運(yùn)動對象提取，根據(jù)視頻幀之間的相減結(jié)果得到運(yùn)動物體的變化來分離目標(biāo)，原理如圖4 所示。

圖4 背景差分原理圖Fig. 4 Background difference schematic diagram

通過目標(biāo)圖像與背景圖像得到的差分圖像經(jīng)閾值劃分后得到最終運(yùn)動目標(biāo)，如式（5）所示。在對視頻序列進(jìn)行了精簡化處理后，雖然降低了計(jì)算量，但是對提取結(jié)果有一定的影響。這些主要來源于環(huán)境變化帶來的各種干擾，可以通過后續(xù)的圖像增強(qiáng)處理予以消除。

式中：fk(x,y)為目標(biāo)圖像；bk(x,y)為背景圖像；T為設(shè)定的閾值。

背景差分法需要建立一個背景圖像，然后將目標(biāo)圖像與背景圖像進(jìn)行差分處理得到差分圖像。本文選取了一個工序內(nèi)的兩張圖像作為背景圖像和目標(biāo)圖像進(jìn)行處理。這兩種圖像是需通過快速篩選而決定的，整個過程如圖5 所示。

圖5 目標(biāo)快速提取調(diào)整流程圖Fig. 5 Flow chart for target quick extraction and adjustment

當(dāng)插銷從流水線上過來時，相機(jī)捕獲兩張序列圖像，對兩張圖像進(jìn)行差分處理，通過將差分圖像的像素點(diǎn)與預(yù)設(shè)好的閾值比較，判斷像素點(diǎn)的分類情況，篩選出合格的目標(biāo)圖像。如目標(biāo)圖像不合格，則重復(fù)循環(huán)捕獲序列圖像，直至目標(biāo)圖像合格。經(jīng)過快速背景差分處理后，剔除了目標(biāo)外的大部分背景，圖6為背景差分法處理后的圖像及其像素灰度。

圖6 干擾背景去除結(jié)果Fig. 6 Image after interference background removal

從圖6 中可以看出，采用背景差分法處理圖像，可以有效地分離出目標(biāo)圖像，但由灰度強(qiáng)度圖可以看出還是存在許多干擾。

2.3 圖像增強(qiáng)處理

為了削弱或者去除圖像中的一些干擾信息，使圖像的主體信息能夠清楚地表示出來，需要對圖像進(jìn)行增強(qiáng)處理。考慮到本研究在消除噪點(diǎn)的同時，需要保護(hù)插銷的邊緣信息。因此在進(jìn)行濾波和形態(tài)學(xué)處理時，對中心像素和邊緣像素分別進(jìn)行處理。對金屬材質(zhì)零件易反光的邊緣處，進(jìn)行了形態(tài)學(xué)腐蝕膨脹算法（morphology erosion-dilation algorithm，MEDA）來加強(qiáng)邊緣特征。對中心和其他點(diǎn)附近的像素點(diǎn)，設(shè)置較大的權(quán)值并且灰度差值較小的雙邊濾波器來濾除圖像的噪聲，圖7 為經(jīng)過濾波和形態(tài)學(xué)處理后得到的圖像。

圖7 增強(qiáng)處理后的圖像結(jié)果Fig. 7 Image after enhancement processing

2.4 特征提取

經(jīng)過增強(qiáng)處理后的圖像邊緣特征變化最明顯、差異最大的部分，通過圖像梯度的變化，就能很好地找到圖像邊緣。目前常用的檢測算子有Canny、Sobel、Scharr 等，圖8 所示為插銷在不同的檢測方法下獲得的邊緣檢測效果圖。

圖8 邊緣檢測效果對比圖Fig. 8 Edge detection effect comparison chart

對此圖8 中3 種算子的邊緣檢測效果圖，可以看出，Canny 算子的邊緣檢測效果較好。

3 目標(biāo)位置調(diào)整

目前，關(guān)于目標(biāo)位置的獲取，一般運(yùn)用霍夫變換（Hough）或者其他智能匹配算法和來實(shí)現(xiàn)，但是傳統(tǒng)的霍夫變換所需計(jì)算資源極大，難以滿足快速檢測的需求。

3.1 基于粒子群優(yōu)化的Hough 變換

對于簡單幾何形狀的圖像邊界的提取，霍夫變換是一個非常直接有效的方法。其首先通過將圖像坐標(biāo)上每一點(diǎn)映射成參數(shù)坐標(biāo)下的對應(yīng)曲線，然后利用投票算法機(jī)制，統(tǒng)計(jì)在參數(shù)坐標(biāo)下對應(yīng)曲線相同交點(diǎn)的個數(shù)，并且根據(jù)結(jié)果的局部最大值，得到檢測圖像中的特征曲線[13]。

如關(guān)于直線的檢測，在直角坐標(biāo)下的直線上的一點(diǎn)，經(jīng)霍夫變換后，為極坐標(biāo)下的一正弦曲線，多個點(diǎn)則對應(yīng)多條曲線。如果通過一個交點(diǎn)的曲線越多，則表示原直角坐標(biāo)系下的點(diǎn)在同一條直線上。此時兩曲線交點(diǎn)坐標(biāo)即原直線的兩個極坐標(biāo)參數(shù)ρ和θ，且滿足

曲線霍夫變換過程如圖9 所示。

雖然霍夫變換能準(zhǔn)確地提取到所需的特征曲線，但由于圖像的像素數(shù)量較大，導(dǎo)致所需的計(jì)算量較大，內(nèi)存占據(jù)較多，檢測耗時嚴(yán)重，無法滿足實(shí)時處理的問題。為此，在傳統(tǒng)的Hough 變換中加入粒子群優(yōu)化算法。把粒子群算法中的粒子位置和適應(yīng)度值替換為Hough 變換中解出的參數(shù)和累加數(shù)組值。通過適應(yīng)度值更新粒子速度和位置，并在下一代中剔除適應(yīng)度值低的粒子，以此降低算法的計(jì)算量，提高處理速度。

其中粒子群算法可以描述為在n維解空間中，用xi=[xi1,xi2, …,xin]表示粒子i的當(dāng)前位置；用vi=[vi1,vi2, …,vin]表示粒子i的當(dāng)前飛行速度。找到粒子i所經(jīng)歷的最好位置pi=[pi1,pi2, …,pin]，pi也稱個體最好位置；最終得到所有粒子經(jīng)歷的最好位置pg=[pg1,pg2, …,pgn]，也稱全局最優(yōu)位置。

粒子群算法的速度和位置更新公式如下：

式（7）中：rand1、rand2是兩個0～1 間的隨機(jī)數(shù)；c1、c2為學(xué)習(xí)因子，設(shè)為常數(shù)2；w為慣性因子，其中w=1.5Mk/kM，其中Mk為第k次迭代時粒子群的數(shù)量；M為初始粒子量。

通過適應(yīng)度更新每個粒子的位置pi(k+1)，即

以檢測直線的過程為例，具體說明結(jié)合了粒子群優(yōu)化的Hough 變換算法過程：

1）選擇1 個具有m個粒子的種群S(0)，設(shè)置初始種群S(0)={P1,P2, …,Pm}，初始極坐標(biāo)參數(shù)ρ和θ為ρ0、θ0，初始累加數(shù)組A為0；

2）對預(yù)處理后的圖像進(jìn)行邊緣提取后得到目標(biāo)邊緣點(diǎn)集合；

3）隨機(jī)挑選點(diǎn)集中兩點(diǎn)Pp1、Pp2，構(gòu)建直線并獲得直線極徑和極角，用該數(shù)據(jù)對粒子位置進(jìn)行設(shè)置，直到所有粒子完成初始化設(shè)置；

4）隨機(jī)設(shè)置每個粒子在種群中的初始速度vi；

5）利用適應(yīng)度函數(shù)，計(jì)算粒子的適應(yīng)度值f(xi(k,ρk,θk))；

6）根據(jù)式（9）比較每個粒子位置的當(dāng)前適應(yīng)度值和歷史最優(yōu)適應(yīng)度值，將當(dāng)前最優(yōu)適應(yīng)度值的粒子位置設(shè)為全局最佳位置，并更新粒子位置；

7）選取適應(yīng)度值大的粒子組成下一代粒子群；

8）根據(jù)直線參數(shù)方程更新k+1 代種群S(k+1)中每個粒子的速度vi(k+1,ρk,θk)；

9）更新k+1 代種群中粒子的位置；

10）返回第5 步，重復(fù)執(zhí)行，直到迭代結(jié)束。

3.2 目標(biāo)位置信息的獲取

對于大部分零件的二維圖像都可以拆分成直線和圓弧這樣的簡單幾何形狀,對此可以通過粒子群優(yōu)化的霍夫變換算法來檢測形狀特征進(jìn)行插銷位置的確定。因此本文提出了一種通過拆分零件圖像特征的目標(biāo)位置獲取方法。只檢測圖像的某些幾何形狀特征，以加快檢測的速度。計(jì)算插銷旋轉(zhuǎn)角度的具體步驟如下：

1）通過Hough 變換找出圖像中直線段，設(shè)置最大閾值得到所需的直線L，完成直線提??；

2）利用Hough 變換，找出圖像中第二個形狀特征圓，進(jìn)行中心定位，得到原本的插銷圓的中點(diǎn)（xr,yr）；

3）用最小包圍矩找出包圍零件的最小矩形，得到最小包圍矩的中心點(diǎn)坐標(biāo)（xe,ye）；

4）對插銷旋轉(zhuǎn)角度大小進(jìn)行計(jì)算。為統(tǒng)一方向，選取直線在X方向上值最小的點(diǎn)作為直線L的計(jì)算起點(diǎn)，使得直線L與X的夾角大小位于[0°,180°]。

根據(jù)式（12）計(jì)算的角度范圍僅在[0°,180°]。為了擴(kuò)大夾角范圍，獲得一個圓周內(nèi)的完整旋轉(zhuǎn)角度大小。根據(jù)式（13）比較插銷圓中心點(diǎn)和最小包圍矩中心點(diǎn)坐標(biāo)確定插銷的旋轉(zhuǎn)角度θ的正負(fù)方向。θ的正負(fù)方向表示旋轉(zhuǎn)的方向。當(dāng)夾角θ為正時，表明當(dāng)前需要調(diào)整位置的插銷通過逆時針旋轉(zhuǎn)變換能夠得到裝配標(biāo)準(zhǔn)位置，如圖10a 所示；θ為負(fù)時，表明當(dāng)前需要調(diào)整位置的插銷通過順時針旋轉(zhuǎn)變換能夠得到裝配標(biāo)準(zhǔn)位置，如圖10b 所示。最后用標(biāo)定插銷的初始角度θ1、待旋轉(zhuǎn)插銷角度θ2，計(jì)算插銷旋轉(zhuǎn)角度偏移量Δθ。

圖10 旋轉(zhuǎn)方向示意圖Fig. 10 Rotation direction diagram

最后對旋轉(zhuǎn)后的插銷角度位置進(jìn)行校驗(yàn)。根據(jù)計(jì)算出的圖像旋轉(zhuǎn)偏移量Δθ旋轉(zhuǎn)圖像，再次計(jì)算圖像中直線L與X的角度，確定旋轉(zhuǎn)角度的誤差是否符合要求。

通過插銷像素坐標(biāo)變化可計(jì)算出插銷的位移。已知目標(biāo)插銷中心像素坐標(biāo)為(u1,v1)，標(biāo)定插銷中心像素坐標(biāo)為(u2,v2)，則插銷在圖像坐標(biāo)系下的移動量為(u2-u1,v2-v1)。利用式（14）計(jì)算出像素偏移量?u、?v，式（9）將?u、?v轉(zhuǎn)換為執(zhí)行坐標(biāo)系下的偏移量?x、?y。

4 仿真實(shí)驗(yàn)

為減少在實(shí)際測量中的誤差，在SolidWorks軟件中將待調(diào)整插銷角度位置隨機(jī)擺放，通過比較本文算法計(jì)算出的插銷旋轉(zhuǎn)角度偏移量Δθ。和SolidWorks 中實(shí)際測量的角度偏移量Δθ*，得到實(shí)際的誤差結(jié)果。此外，為了評估本文方法和其他方法在求解旋轉(zhuǎn)角度時的精度和速度，與Hough、SIFT、ORB 算法進(jìn)行對比。總共進(jìn)行了50 次模擬實(shí)驗(yàn)，圖11 所示為本文算法的部分結(jié)果。

圖11 部分仿真實(shí)驗(yàn)結(jié)果圖Fig. 11 Partial simulation experiments

用式（16）計(jì)算偏移量的誤差δθ和δθ′將算法獨(dú)立運(yùn)行后，兩種算法所得的誤差角度和運(yùn)行時間的對比曲線如圖12～13 所示。

圖12 角度誤差對比曲線Fig. 12 Angular error comparison curves

圖13 運(yùn)行時間對比曲線Fig. 13 Runtime comparison curves

對比圖12 中各算法的角度誤差曲線，可以看出本文算法和Hough 算法的計(jì)算測量誤差范圍為[-0.4°,+0.4°]，SIFT 算法的誤差范圍為[-0.6°, +0.6°]，ORB算法的誤差范圍為[-1°, +1°]。4 種算法在插銷調(diào)整中計(jì)算的角度誤差均小于1°，滿足基本誤差范圍要求，但是SIFT 算法和ORB 算法的計(jì)算誤差波動較大，且利用ORB 算法時還出現(xiàn)了誤差角度方向的錯誤。本文算法在對Hough 算法進(jìn)行精簡后，仍然可以保持同樣的精度，且在求解旋轉(zhuǎn)角度時的精度要明顯高于其他兩種算法的對應(yīng)值。

對50 次實(shí)驗(yàn)的運(yùn)行時間進(jìn)行統(tǒng)計(jì)，得到本文方法對旋轉(zhuǎn)角度進(jìn)行計(jì)算的平均時長約為332.0 ms，SIFT 算法所用平均時長約為512.6 ms，Hough 算法所用平均時長約為831.7 ms，ORB 算法所用平均時長約為343.2 ms?？梢岳帽疚姆椒ㄓ?jì)算的運(yùn)行時間較其他3 種方法有所縮短，提高了工作效率。

綜上所述，通過對霍夫變換中引入粒子群算法，在保證霍夫變換的精度情況下可縮短運(yùn)行時間，提高了插銷位置匹配的速度。

5 結(jié)語

為了精確且快速獲取流水線上隨機(jī)擺放的插銷位置信息，本文提出了一種快速的目標(biāo)提取與調(diào)整策略。運(yùn)用了一種基于背景差分的目標(biāo)背景分離和粒子群優(yōu)化Hough 變換的定位算法。在背景分離中，為節(jié)省嵌入式設(shè)備的計(jì)算資源，對幀數(shù)獲取進(jìn)行限制約束。通過獲取其中幾張圖像代替整個視頻幀的方法減少了圖像處理環(huán)節(jié)的計(jì)算量，提高了計(jì)算速度。在特征提取與匹配中，通過拆分圖像幾何形狀特征進(jìn)行目標(biāo)匹配，精簡了特征數(shù)量，從而提高了運(yùn)算效率，并且具有較高的精度。結(jié)合粒子群優(yōu)化的霍夫變換，通過丟棄劣等種群來加快傳統(tǒng)霍夫變換的計(jì)算速率。相比其他方法，本文方法也更能滿足使用嵌入式設(shè)備的工業(yè)自動化生產(chǎn)需求。