黃和平

(樂(lè)清兆泰機(jī)電有限公司，浙江 溫州 325011)

0 引言

在智能制造自動(dòng)化高速加工行業(yè)，往往需要對(duì)產(chǎn)品表面進(jìn)行高速智能識(shí)別與檢測(cè)。現(xiàn)有的機(jī)器視覺(jué)檢測(cè)識(shí)別基本上是在靜態(tài)下具有較佳的效果，針對(duì)視覺(jué)動(dòng)態(tài)圖像檢測(cè)，人們研發(fā)出上百種軟件識(shí)別方法、高速高精度的硬件手段，對(duì)圖像進(jìn)行預(yù)處理、前處理、后處理技術(shù)進(jìn)行圖像邊緣識(shí)別與分割，特別是高速自動(dòng)化的使用中，效果不是很理想，總會(huì)產(chǎn)生誤判和漏判產(chǎn)生，檢測(cè)效果達(dá)不到零錯(cuò)判零漏檢，達(dá)不到100%的識(shí)別要求，機(jī)器視覺(jué)圖像檢測(cè)存在兩大方面的問(wèn)題：

1) 實(shí)現(xiàn)運(yùn)動(dòng)物體檢測(cè)的方法主要包括：① 背景差分法：不適用于攝像頭運(yùn)動(dòng)的情況；② 光流法：能檢測(cè)獨(dú)立運(yùn)動(dòng)的圖像，可用于攝像頭運(yùn)動(dòng)的情況，但計(jì)算復(fù)雜耗時(shí)，較難實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)。

2) 較快運(yùn)動(dòng)物體圖像模糊，即便對(duì)圖像的動(dòng)態(tài)表面分析處理，都會(huì)使得圖像識(shí)別錯(cuò)判、漏判的發(fā)生，為了解決這樣的問(wèn)題，適應(yīng)多種場(chǎng)合進(jìn)行圖像的動(dòng)態(tài)表面分析處理應(yīng)用，人們希望濾波函數(shù)是動(dòng)態(tài)的、可調(diào)節(jié)的、可自我學(xué)習(xí)的。設(shè)計(jì)這樣的濾波器是非常困難的，到目前還沒(méi)有圖像的動(dòng)態(tài)表面的濾波器產(chǎn)生。

3) 針對(duì)以上技術(shù)問(wèn)題，筆者設(shè)計(jì)了一種簡(jiǎn)單、可靠、效率高的智能圖像智能識(shí)別分揀方法及裝置來(lái)解決這些類似問(wèn)題。

1 系統(tǒng)裝置結(jié)構(gòu)原理設(shè)計(jì)

如圖1所示，一種智覺(jué)圖像智能識(shí)別分揀裝置：主要由在輸送軌道(7)上被測(cè)件(8)移動(dòng)路線的位置上方分別設(shè)置有至少一組LED燈(6)，LED燈(6)的軸心上方設(shè)置有CCD相機(jī)(1)，CCD相機(jī)(1)通過(guò)USB連接線(4)與PC機(jī)(5)連接，USB連接線(4)的兩端分別設(shè)置有一個(gè)消磁環(huán)；PC機(jī)(5)連接有觸摸屏(9)，PC機(jī)(5)與PLC控制器(12)連接，PLC控制器(12)的輸出端分別與多個(gè)電磁閥(16)對(duì)應(yīng)連接，各個(gè)電磁閥(16)再與對(duì)應(yīng)的吹氣閥(17)及機(jī)械手(18)連接，各個(gè)吹氣閥(17)及機(jī)械手(18)設(shè)置在輸送軌道(7)旁邊構(gòu)成。

1) 可視化檢測(cè)設(shè)置：

在顯示屏上沿著輸送軌道(7)的輸送方向依次布置有4個(gè)檢測(cè)區(qū)，依次是左檢測(cè)區(qū)(21)、主檢測(cè)區(qū)(22)、副檢測(cè)區(qū)(23)和右檢測(cè)區(qū)(24)，該4個(gè)檢測(cè)區(qū)均處于CCD相機(jī)(1)的攝像范圍及LED燈(6)的照射范圍之下；在主檢測(cè)區(qū)(22)、副檢測(cè)區(qū)(23)和右檢測(cè)區(qū)(24)位置的軌道外側(cè)分別對(duì)應(yīng)設(shè)置有吹氣口一(25)、吹氣口二(26)及吹氣口三(27)，吹氣口一(25)、吹氣口二(26)及吹氣口三(27)分別與各自的吹氣閥(17)連通，三組吹氣閥(17)分別與控制機(jī)構(gòu)連接。

被測(cè)件(8)為雙金時(shí)的正反面設(shè)置方式是，正面設(shè)置為光潔面或光潔面上刻有與雙金相同顏色的文字；

2) 智覺(jué)圖像智能識(shí)別分揀方法依賴于上述的結(jié)構(gòu)的智能識(shí)別步驟包括：

步驟1： CCD相機(jī)獲取輸送軌道上的被測(cè)件朝上一面的表面圖像傳輸給PC機(jī)進(jìn)行緩存；

步驟2：PC機(jī)利用預(yù)存的圖像處理程序通過(guò)圖像邊緣檢測(cè)高速數(shù)字濾波器緩存獲取圖像數(shù)據(jù)；

步驟3：判斷上表面為正面的被測(cè)件沿輸送軌道正常向前移動(dòng)，進(jìn)入下一步的焊接及裝配工序；判斷上表面為反面的被測(cè)件則由PC機(jī)發(fā)送剔除信息給PLC控制器。

2 裝置結(jié)構(gòu)圖說(shuō)明

圖1是實(shí)施裝置的結(jié)構(gòu)示意圖；

圖2是實(shí)施裝置中的吹氣分揀部分示意圖；

圖3本實(shí)施裝置被測(cè)件是雙金時(shí)的正反面設(shè)置示意圖；

圖4是本實(shí)施裝置中的觸摸屏顯示及操作分區(qū)設(shè)定的示意圖。

圖1-圖4中，1為CCD相機(jī)；2為消磁環(huán)A；3為消磁環(huán)B；4為USB連接線；5為PC機(jī)；6為L(zhǎng)ED燈；7為輸送軌道；8為被測(cè)件；9為觸摸屏；10為控制盒；11為輸出端子；12為PLC控制器；13為單片機(jī)控制板；14為電源插線；15為信號(hào)線；16為電磁閥；17為吹氣閥；18為機(jī)械手；19為電源接線；20為串口線；21為左檢測(cè)區(qū)；22為主檢測(cè)區(qū)；23為副檢測(cè)區(qū)；24為右檢測(cè)區(qū)；25為吹氣口一；26為吹氣口二；27為吹氣口三；22為正反面顯示區(qū)域；221為反面圖像；222為正面圖像；23為檢測(cè)區(qū)域；231為左檢測(cè)窗口；232為主檢測(cè)窗口；233為副檢測(cè)窗口；234為右檢測(cè)窗口；24為參數(shù)設(shè)定區(qū)域；241為設(shè)定按鈕；242為吹氣窗口區(qū)域設(shè)定；243為檢測(cè)區(qū)域設(shè)定；244為到位區(qū)域設(shè)定；245為有效灰度設(shè)定；25為系統(tǒng)顯示區(qū)域；251為有效比例灰度顯示；252為有效黑點(diǎn)顯示；253為系統(tǒng)當(dāng)前狀態(tài)和正反面顯示；254為吹氣狀態(tài)、有效吹氣數(shù)和二次吹氣數(shù)顯示；26為操作區(qū)域。

圖1 裝置結(jié)構(gòu)示意圖

圖2 吹氣分揀部分示意圖

圖3 被測(cè)件正反面設(shè)置示意圖

圖4 觸摸屏顯示及操作分區(qū)設(shè)定的示意圖

3 圖像邊緣檢測(cè)高速數(shù)字濾波器智能識(shí)別分揀方法步驟

如圖1-圖4所示，智覺(jué)圖像智能識(shí)別分揀方法，設(shè)計(jì)圖像邊緣檢測(cè)高速數(shù)字濾波器置于PC機(jī)(5)內(nèi)部，包括對(duì)預(yù)存圖像邊緣數(shù)字化處理識(shí)別程序中，圖像邊緣數(shù)字化處理識(shí)別程序及其過(guò)程是：

1) 讀入圖像-高斯平滑圖像[1]

用高斯一階導(dǎo)數(shù)濾波器對(duì)讀入圖像進(jìn)行濾波，即用高斯函數(shù)對(duì)圖像f(x,y)進(jìn)行濾波得到平滑圖像數(shù)據(jù)矩陣，f(x,y)分別是圖像像素坐標(biāo)，則有：

S(x,y)=f(x，y)·G(x，y,σ)

(1)

式(1)為高斯濾波函數(shù)G(x,y,σ)與原始圖像f(x,y)經(jīng)進(jìn)行卷積處理，濾波后得到一個(gè)平滑的圖像S(x,y)；G(x,y,σ) 中的σ是指定標(biāo)準(zhǔn)偏差[2]。

高斯濾波函數(shù)為：

(2)

Gx,y,σ為二維高斯函數(shù)，在某一方向n上是Gx,y的一階方向?qū)?shù)，則：

(3)

式(3)中的n是方向矢量，▽G是梯度矢量，將圖像fx,y與Gn作卷積，同時(shí)改變n的方向，則Gn·f(x,y)取得最大值時(shí)的n就是正交于檢測(cè)邊緣的方向；σ取值范圍為0.3～3。

2) 計(jì)算濾波后圖像的梯度幅值和梯度方向[3]

分別按照下式計(jì)算梯度幅值M和方向角A：

M=‖fx,y·Gx,y,σ‖

(4)

(5)

范數(shù)所滿足的條件有：

① ‖x‖≥0，且‖x‖=0當(dāng)且僅當(dāng)x=0；

② ‖ax‖=|a|·‖x‖ 其中a為線性空間對(duì)應(yīng)的數(shù)域中的數(shù)；

③ ‖x+y‖≤‖x‖+‖y‖。

其中：M為梯度幅值，A為方向角。

3) 對(duì)梯度幅值進(jìn)行非極大值仰制

選擇梯度幅值對(duì)比的鄰近像素點(diǎn)，進(jìn)行非最大值抑制處理過(guò)程是：算法追蹤所有細(xì)化幅值圖像的屋脊帶的脊的頂部，并將所有不在脊的頂部的像素設(shè)為0，僅保留幅值局部變化最大的點(diǎn)，以便在輸出中給出一條細(xì)線，產(chǎn)生細(xì)化寬度為1個(gè)像素點(diǎn)寬度的邊緣，將梯度幅值比梯度方向上鄰近點(diǎn)梯度幅值大的像素點(diǎn)檢測(cè)為邊緣點(diǎn)，非最大值圖像邊緣點(diǎn)即為在方向角A上使M取得局部極大值的點(diǎn)，如下式：

Ni,j=NMSMi,j,ci,j=Sectorθi,j

(6)

非極大值抑制幅值圖像為Ni,j、梯度角為θi,j、扇區(qū)值c(i,j)，4個(gè)扇區(qū)的標(biāo)號(hào)分別為0到3，對(duì)應(yīng)著33鄰域內(nèi)的4種可能組合。

4) 雙門限檢測(cè)得到圖像邊緣

通過(guò)最大熵算法來(lái)獲得Canny算法的高門限閾值并據(jù)此求出低門限值，減少假邊緣數(shù)量的典型方法是對(duì)Ni,j使用一個(gè)閾值，將低于閾值的所有值賦零值，對(duì)非極大值抑制幅值進(jìn)行閾值化的結(jié)果是一個(gè)圖像I(i,j)的邊緣陣列，閾值化后得到的邊緣陣列仍然有假邊緣存在，利用累計(jì)統(tǒng)計(jì)直方圖得到一個(gè)高閥值T1，然后再取一個(gè)低閥值T2，設(shè)定：

(7)

如果圖像信號(hào)的響應(yīng)大于高閥值，那么一定是邊緣；如果低于低閥值，那么一定不是邊緣；如果在低閥值和高閥值之間，就看其8個(gè)鄰接像素有沒(méi)有大于高閥值的邊緣，如果有，那么是邊緣，否則不是邊緣。

5) 邊界尋跡及低灰度混合連接圖像邊緣

把以上非極大值仰制的邊緣點(diǎn)給出的脊的頂部一條細(xì)線作為邊界尋跡；采取將一條細(xì)線周圍檢測(cè)邊緣寬度的3-11Pix的有效低灰度包圍起來(lái)進(jìn)行連接，形成邊界尋跡及低灰度混合連接圖像邊緣。

有效低灰度是指大于25Pix且在0～255灰階中占有一定比例，且占有有效最高灰階的10%～60%范圍，將低于25Pix且在0～255灰階中沒(méi)有占有一定比例未達(dá)到10%以上比例的去除。

有效低灰度=最近有效灰度+(10%～60%)調(diào)節(jié)部分灰度。

6) 混合連接圖像邊緣二值化，求取判斷產(chǎn)品正反面的規(guī)則

圖像本身像素由不同灰度的像素組成，灰度值本身存在利用最大和最小函數(shù)分別寄存周邊的極大灰度值H和極小灰度值L，灰階門限是軟件界面上可調(diào)節(jié)部分，也就是設(shè)定一個(gè)灰階值大于等于這個(gè)值得將此灰階值重新置位255，小于此門限灰階值得重新置位為0，實(shí)現(xiàn)對(duì)圖像進(jìn)行需要的二值化圖像，完成以下邊沿提取后，利用二值化灰階處理方式，有兩種判斷方式及相應(yīng)的標(biāo)準(zhǔn)。

實(shí)施方案如下：

二值化灰階后的混合連接圖像邊緣的高低灰度面積或周長(zhǎng)；先獲取當(dāng)前圖片的最高灰度H與最低灰度L即：

(8)

K代表計(jì)算的各極值的個(gè)數(shù)，式(8)也是求和取平均的公式。

根據(jù)兩灰度的差值平均設(shè)定一個(gè)合適的灰階門檻，計(jì)算出檢測(cè)區(qū)域二值化后的二值像素面積SH、SL，對(duì)處理過(guò)后的梯度圖像用雙閾值算法連接，有效最高灰階M的范圍為10%～60%，得到邊緣圖像。

對(duì)于一個(gè)圖像區(qū)域，其面積SH或SL是圖像區(qū)域中有效像素點(diǎn)數(shù)，則有判斷產(chǎn)品正反面的混合連接圖像邊緣的高低灰度面積參數(shù)公式為：

SL=Sum(L1+L2+L3...+LK)

(9)

SH=Sum(H1+H2+H3...+HK)

(10)

A=SL+SH

(11)

邊緣面積灰階為：

用于暗點(diǎn)或陰影判斷時(shí)：K=SL/SL+SH

用于亮點(diǎn)或亮影判斷時(shí)：K=SH/SL+SH

其中的SH和SL分別為有效像素?cái)?shù)量和代表有效像素面積值；有效像素面積則代表整個(gè)檢測(cè)方框的像素?cái)?shù)量。

根據(jù)產(chǎn)品正反面圖像灰階面積比例檢測(cè)系數(shù)K，判斷邊緣圖像正反面，其中60%≥K≥10%，用于暗點(diǎn)或陰影判斷，判斷為反面，當(dāng)K大于等于反面標(biāo)識(shí)比例，則判定此時(shí)檢測(cè)面為產(chǎn)品反面，否則此時(shí)檢測(cè)面為產(chǎn)品正面。

4 工作裝置智能識(shí)別分揀方法過(guò)程

智覺(jué)圖像智能識(shí)別分揀方法在PC機(jī)(5)內(nèi)部預(yù)存圖像邊緣數(shù)字化處理識(shí)別程序中，包括檢測(cè)時(shí)機(jī)的設(shè)置及正反面判斷，其過(guò)程如下：

1) 檢測(cè)區(qū)域包括監(jiān)控輸送軌道(7)的左檢測(cè)窗口(231)、主檢測(cè)窗口(232)、副檢測(cè)窗口(233)和右檢測(cè)窗口(234)，當(dāng)2個(gè)產(chǎn)品頭尾相連時(shí)軟件會(huì)智能在左檢測(cè)窗口(231)和副檢測(cè)窗口(233)同時(shí)識(shí)別并處理，實(shí)現(xiàn)連續(xù)產(chǎn)品的分界線的分辯檢測(cè)。

2) 對(duì)于上述的各個(gè)檢測(cè)窗口，當(dāng)圖像設(shè)定檢測(cè)區(qū)域 ≥ 2/3方框檢測(cè)到與背景色有異的灰度值時(shí)，判定雙金已進(jìn)入檢測(cè)區(qū)域。

3) 左檢測(cè)窗口( 231 )對(duì)產(chǎn)品的檢測(cè)為在線檢測(cè)，左檢測(cè)窗口( 231 )和副檢測(cè)窗口(233)均采用到位有效像素點(diǎn)檢測(cè)，到位有效像素點(diǎn)區(qū)域的面積根據(jù)實(shí)際調(diào)節(jié)設(shè)定，判斷依據(jù)為設(shè)定區(qū)域的面積 ≥ 100個(gè)像素，在產(chǎn)品進(jìn)入即開(kāi)始產(chǎn)品正反面檢測(cè)，在主檢測(cè)窗口(232)的區(qū)域前端設(shè)置有吹氣口一(25)，在產(chǎn)品頭部進(jìn)入左檢測(cè)窗口(231)時(shí)不檢測(cè)，當(dāng)產(chǎn)品的尾部進(jìn)入左檢測(cè)窗口(231)，尾部的有效像素點(diǎn)面積 ≥ 100個(gè)像素，給出產(chǎn)品運(yùn)行到位的信號(hào)，主檢測(cè)窗口(232)開(kāi)始檢測(cè)，主檢測(cè)窗口(232)依據(jù)有效灰度點(diǎn)檢驗(yàn)產(chǎn)品上表面，判斷為正面產(chǎn)品正常通過(guò)，當(dāng)判斷為反面產(chǎn)品時(shí)，產(chǎn)品的頭部已進(jìn)入副檢測(cè)窗口(233)，該副檢測(cè)窗口(233)的區(qū)域前端設(shè)置有吹氣口二(26)，當(dāng)產(chǎn)品的頭部有效像素點(diǎn)面積 ≥ 100個(gè)像素，給出產(chǎn)品運(yùn)行到位的信號(hào)，開(kāi)始檢測(cè)，判斷為反面朝上則吹氣，吹掉反面產(chǎn)品，判斷為正面朝上則不吹氣，正面產(chǎn)品正常通過(guò)。進(jìn)入右檢測(cè)窗口(234)時(shí)，右檢測(cè)窗口(234)的區(qū)域另外設(shè)置有吹氣口三(27)，系統(tǒng)再一次判斷，判斷為反面朝上則吹氣，吹掉反面產(chǎn)品，判斷為正面朝上則不吹氣，正面產(chǎn)品正常通過(guò)。

4) 副檢測(cè)窗口(233)判斷產(chǎn)品是否離開(kāi)吹氣口，判斷標(biāo)準(zhǔn)為：產(chǎn)品的有效像素點(diǎn)≥檢測(cè)窗口豎向高度的50%，橫向有效像素點(diǎn)≥3個(gè)點(diǎn)相連成一排，則產(chǎn)品經(jīng)過(guò)了吹氣口離開(kāi)，離開(kāi)左檢測(cè)窗口區(qū)不檢測(cè)。

5) 設(shè)定反面產(chǎn)品有效像素的下限值，左檢測(cè)窗口(231)反面產(chǎn)品幀黑顯示，有效黑點(diǎn)≥ 有效像素的下限值，判斷為反面產(chǎn)品，此為第1個(gè)反面判斷條件；產(chǎn)品進(jìn)入主檢測(cè)窗口(232)，主檢測(cè)窗口(232)中的產(chǎn)品上中下部顯示的黑點(diǎn)≥50%，主檢測(cè)窗口的長(zhǎng)度距離時(shí)，判斷為反面產(chǎn)品，此為第2個(gè)反面判斷條件；檢測(cè)反面有效比例k，滿足反面有效比例k，判斷為反面產(chǎn)品，此為第3個(gè)反面判斷條件。

5 應(yīng)用實(shí)例與效果評(píng)析

1) 實(shí)施例1

雙金置于輸送軌道移動(dòng)速度25個(gè)/min，經(jīng)過(guò)CCD相機(jī)視覺(jué)下，將本智能識(shí)別方法用于動(dòng)態(tài)檢測(cè)雙金有字面的識(shí)別，檢測(cè)項(xiàng)目及參數(shù)分別是：在原始圖中，利用像素尺寸為752×480 Pix；幀率為MAX60F/S的CCD，對(duì)連續(xù)運(yùn)動(dòng)的雙金有字面通過(guò)動(dòng)態(tài)檢測(cè)和程序，得到邊界尋跡及低灰度混合連接圖像邊緣，在邊界尋跡及低灰度連接混合圖中，高斯濾波器的標(biāo)準(zhǔn)方差設(shè)置為3，檢測(cè)邊沿最大寬度設(shè)置為11 Pix；二值化圖中，邊沿寬度選擇≥3，在直方圖中，利用本檢測(cè)方法得到雙金有字面的檢測(cè)參數(shù)：有效像元數(shù)為56 672 Pix，最高有效灰度是255 Pix，最低有效灰度是94 Pix；高灰度面積SH為42 852 Pix，低灰度面積SL為13 820 Pix，檢測(cè)比例K為0.2～0.42，利用檢測(cè)比例K經(jīng)過(guò)1 500萬(wàn)產(chǎn)品的檢測(cè)，雙金有字面的百萬(wàn)合格率為100%。

2) 實(shí)施例2

幀率為MAX60F/S的CCD，對(duì)連續(xù)運(yùn)動(dòng)的雙金無(wú)字面通過(guò)動(dòng)態(tài)檢測(cè)和程序，得到邊界尋跡及低灰度混合連接圖像邊緣，在邊界尋跡及低灰度連接混合圖中，高斯濾波器的標(biāo)準(zhǔn)方差設(shè)置為3，檢測(cè)邊沿最大寬度是7 Pix；二值化圖中，邊沿寬度選擇≥3，在直方圖中，利用本檢測(cè)方法得到雙金無(wú)字面的檢測(cè)參數(shù)：有效像元數(shù)為56 672 Pix，最高有效灰度是248 Pix，最低有效灰度是140 Pix；高灰度面積SH為56 464 Pix，低灰度面積SL為208 Pix，檢測(cè)比例K為0.68～0.8，利用檢測(cè)比例K經(jīng)過(guò)1 600萬(wàn)產(chǎn)品的檢測(cè)，雙金無(wú)字面的百萬(wàn)合格率為100%。

一種智覺(jué)圖像智能識(shí)別分揀方法及裝置結(jié)構(gòu)簡(jiǎn)單，采用具有CCD相機(jī)+PC+PLC+可視化觸摸窗口+軌道氣吹硬件與圖像邊緣數(shù)字化處理模型，適應(yīng)了在線高速攝像快速識(shí)別和分揀，能夠保證 100% 的識(shí)別和分揀，自動(dòng)化智能化水平高，顯著提高了工作效率和質(zhì)量。該一種智覺(jué)圖像智能識(shí)別分揀方法及裝置已獲得了國(guó)家發(fā)明專利。

參考文獻(xiàn):

[1] 劉仁云，孫秋成，王春艷. 數(shù)字圖像中邊緣檢測(cè)算法研究[M]. 北京:科學(xué)出版社,2015.

[2] 汪岳. 基于邊緣檢測(cè)經(jīng)典算法的改進(jìn)與研究[D]. 合肥：安徽大學(xué)，2012.

[3] 馮伍，張俊蘭，苗秋瑾.幾種典型邊緣檢測(cè)算子的評(píng)估[J]. 電子設(shè)計(jì)工程, 2011,19(4):131-133.