譚智仁,盧 軍
(陜西科技大學(xué) 機(jī)電工程學(xué)院,西安 710021)
投影儀殼體在生產(chǎn)過程中需要貼上產(chǎn)品標(biāo)簽,由于這項工藝存在任務(wù)量大、勞動密集,在粘貼的過程中很容易出現(xiàn)標(biāo)簽貼錯、損壞等缺陷,因此在出廠之前必須要剔除。然而目前,國內(nèi)對于標(biāo)簽的這些缺陷檢測,主要還停留在人工目測的階段,效率低下,而且還很容易出現(xiàn)誤、漏檢。如何提高檢測準(zhǔn)確性和檢測效率是目前需要解決的問題,而機(jī)器視覺技術(shù)憑借其速度快、精度高、非接觸式、永不疲勞等優(yōu)點(diǎn)[1],逐漸在這個領(lǐng)域內(nèi)被越來越多的人們所重視。有很多的學(xué)者提出了不同類型的標(biāo)簽缺陷檢測的方法,這些方法根據(jù)它的檢測對象和工具大致可以分為三類:①遠(yuǎn)距離RFID射頻識別。它是一種非接觸式的自動識別技術(shù),通過射頻信號自動識別目標(biāo)對象并獲取相關(guān)信息,無需人工干預(yù),具有防水、防磁、耐高溫、讀取距離大、存儲信息更改自如、標(biāo)簽信息加密等優(yōu)點(diǎn);②基于聲表面波延遲線式的無線標(biāo)簽識別,它是以不同的無源編碼標(biāo)簽代表不同的對象,通過對標(biāo)簽的傳感達(dá)到目標(biāo)識別的目的,具有獲取信息快的特點(diǎn);③條碼標(biāo)簽識別,它是在計算機(jī)應(yīng)用和實(shí)踐中產(chǎn)生并發(fā)展起來的一種廣泛應(yīng)用于商業(yè)、郵政、圖書管理、倉儲、工業(yè)生產(chǎn)過程控制、交通等領(lǐng)域的自動識別技術(shù),具有輸入速度快、準(zhǔn)確度高、采集信息量大、靈活實(shí)用等優(yōu)點(diǎn),在當(dāng)今的標(biāo)簽自動識別技術(shù)中占有重要的地位[2]。
在眾多的標(biāo)簽識別和檢測應(yīng)用研究中,單個信息識別都已經(jīng)不成問題,有比較成熟的光學(xué)字符識別(OCR)軟件和條碼閱讀器就可以解決問題,但是將這些信息的識別都采用視覺的方法在一個系統(tǒng)中實(shí)現(xiàn)就是一個全新的問題。鑒于投影儀殼體標(biāo)簽可能出現(xiàn)的缺陷情況進(jìn)行分析,大致可能存在四種缺陷形式:檢測標(biāo)簽是否貼錯;檢測標(biāo)簽是否上下顛倒;檢測標(biāo)簽是否標(biāo)錯;檢測標(biāo)簽是否存在部分文字缺失。因此,本文闡述了一種利用特征匹配和模板匹配相結(jié)合的自動檢測算法。單純的利用機(jī)器視覺技術(shù)提取面積、重心、方向這些關(guān)鍵特征進(jìn)行特征匹配,可以粗略的判別待檢測的標(biāo)簽是否符合出廠要求,實(shí)現(xiàn)簡單的自動化檢測。但是,對于檢測標(biāo)簽中某些字符是否標(biāo)錯這種情況,僅僅只利用特征匹配的方法不能很好的達(dá)到檢測效果,因此,在檢測的過程中結(jié)合了模板匹配技術(shù)對字符容易識別的部分單獨(dú)進(jìn)行缺陷檢測。這就是本文提出的將所有可能出現(xiàn)的缺陷分為兩類進(jìn)行檢測:字符區(qū)域標(biāo)簽缺陷檢測與非字符區(qū)域標(biāo)簽缺陷檢測。字符區(qū)域標(biāo)簽檢測采用模板匹配的方法進(jìn)行缺陷檢測;而非字符區(qū)域標(biāo)簽檢測則通過提取標(biāo)簽區(qū)域的面積、重心、方向這些特征量進(jìn)行特征檢測。
圖像的采集系統(tǒng)如圖1 所示。由于對產(chǎn)品進(jìn)行在線檢測,因此系統(tǒng)選用具有異步復(fù)位功能的黑白CCD攝像機(jī)進(jìn)行拍攝。所得圖像通過圖像采集卡送入計算機(jī)中進(jìn)行圖像處理,同時在屏幕上顯示當(dāng)前進(jìn)行檢測的標(biāo)簽圖像,檢測人員可以進(jìn)行目測和人工判斷。
圖1 圖像采集系統(tǒng)結(jié)構(gòu)
光源的選取是影響標(biāo)簽缺陷檢測的重要因素,光源必須滿足亮度大、均勻性好、穩(wěn)定性高等要求,以抑制光線對圖像質(zhì)量產(chǎn)生的不良影響。系統(tǒng)的光源選用節(jié)能光管,它具有壽命長、亮度高等特點(diǎn)[3]。
在本系統(tǒng)中,每個投影儀殼體產(chǎn)品在傳送帶上的運(yùn)行過程中位置是固定不變的,且粘有標(biāo)簽的檢測面與鏡頭正對,以保證在獲取的圖像中只有標(biāo)簽發(fā)生變化。
有些標(biāo)簽區(qū)域印有字符,而且在圖像中清晰可見,對于標(biāo)簽標(biāo)錯的檢測,如果對整個標(biāo)簽進(jìn)行整體檢測效果往往不理想,本文所提的算法是將檢測標(biāo)簽內(nèi)字符是否清晰可見分為字符標(biāo)簽區(qū)域、非字符標(biāo)簽區(qū)域兩部分,兩部分是否存在缺陷分別進(jìn)行檢測。字符標(biāo)簽區(qū)域,通過Blob(斑點(diǎn))檢測分離標(biāo)簽上待檢測的字符,然后利用模板匹配的最小距離判別法進(jìn)行字符缺陷檢測。非字符標(biāo)簽區(qū)域,分別提取每個標(biāo)簽區(qū)域的面積、重心、方向三個特征量,分別與模板進(jìn)行特征匹配,判斷是否存在缺陷。具體檢測算法流程如圖2 所示。
圖2 檢測算法流程圖
原始圖像或多或少存在噪聲,為了突出檢測目標(biāo)物,減少噪聲干擾,有必要對圖像進(jìn)行預(yù)處理,利用最大類間方差法(Otsu)閾值分割圖像。
(1)采用線性拉伸的方法對原圖灰度進(jìn)行變換,使原圖整體變亮,這樣可以突出要處理的標(biāo)簽區(qū)域亮度帶。r表示原始圖像中對應(yīng)點(diǎn)(x,y)的亮度,s表示變換后圖像中對應(yīng)點(diǎn)(x,y)的亮度,拉伸函數(shù)為:
(2)Otsu 的基本思想是選取最優(yōu)閾值使分割后的得到的前景與背景兩個大類的類間方差最大。對于圖像I(x,y),前景和背景的分割閾值記為T,屬于前景的像素點(diǎn)占整幅圖像的比例記為ω0,其平均灰度為μ0;屬于背景的像素點(diǎn)占整幅圖像的比例記ω1,其平均灰度記為μ1;圖像的總平均灰度記為ū,類間方差記為δ。
求取δ 的最大值,對應(yīng)的閾值T就是要尋找的最優(yōu)閾值。利用這個閾值T可以對原始圖像進(jìn)行分割處理。預(yù)處理效果如圖3 所示。
圖3 投影儀殼體預(yù)處理前、后對比
字符標(biāo)簽區(qū)域標(biāo)錯缺陷可以通過模板匹配來進(jìn)行缺陷判別。實(shí)現(xiàn)步驟如下所示:
(1)利用Blob 技術(shù)將字符標(biāo)簽圖像進(jìn)行分割。
Blob 算法:首先標(biāo)定每一個字符的連通域,然后通過連通域計算它的最小外接矩,以最小外接矩為單位,將每一個字符單獨(dú)分離。
(2)將待檢測的字符與訓(xùn)練模板集的字符一一進(jìn)行模板匹配,計算兩者之間匹配的距離,如果距離大于0.3,則判斷待檢測的字符與模板集對應(yīng)的字符不符,即為缺陷。
匹配距離算法:首先將單個字符的最小外接矩區(qū)域劃分成N×N個均勻等分;然后對每一個小區(qū)域的黑像素個數(shù)進(jìn)行統(tǒng)計,除以該小區(qū)域的面積總數(shù),即作為特征值;最后將這些特征值構(gòu)成一個N×N矩陣。通過大量的實(shí)驗(yàn)證明,N通常取5,因?yàn)镹值太小,無法進(jìn)行正確的分類;如果N值太大,盡管區(qū)分能力更強(qiáng),但是計算量增加,運(yùn)行時間更長[4]。最后計算匹配距離:
xi與yi分別表示待檢測字符矩陣元素值和模板集字符矩陣元素值;d表示矩陣的元素個數(shù)。
標(biāo)簽缺陷的判別依據(jù)是缺陷面積、大小和方向。標(biāo)簽若存在貼錯、缺失、上下顛倒等情況,它的面積、重心以及方向都會發(fā)生明顯的變化。根據(jù)這種現(xiàn)象,可以通過計算標(biāo)簽的這些特征量來進(jìn)行特征匹配,判斷標(biāo)簽是否存在缺陷。
2.3.1 面積計算
通過逐行掃描,計算出標(biāo)簽像素點(diǎn)總數(shù),即為標(biāo)簽面積A。計算由下式得出:
其中B[i,j]表示二值圖像。當(dāng)標(biāo)簽出現(xiàn)缺失、貼錯、標(biāo)錯等缺陷情況出現(xiàn)的時候,檢測出來的標(biāo)簽面積必然會發(fā)生變化,通過與標(biāo)準(zhǔn)合格產(chǎn)品對應(yīng)的標(biāo)簽區(qū)域的面積值進(jìn)行比較,當(dāng)超出設(shè)定的誤差范圍時,就可以判定該標(biāo)簽存在缺陷。
2.3.2 重心計算
重心是物體區(qū)域的中心值。重心(X0,Y0)的計算公式如下:
當(dāng)標(biāo)簽存在上述缺陷等情況,檢測出來的標(biāo)簽區(qū)域重心必然發(fā)生改變,通過與標(biāo)準(zhǔn)合格產(chǎn)品對應(yīng)的標(biāo)簽區(qū)域重心值進(jìn)行比較,當(dāng)超過設(shè)定的誤差范圍時,就可以判定該標(biāo)簽為不合格。
2.3.3 方向計算
物體方向的計算比較復(fù)雜,在1987 年Kass[5]等人提出了基于梯度的指紋紋線方向場計算方法,其計算簡單有效,很快就被很多學(xué)者采用計算物體的方向場[6-7]?;诜较驁龅膽?yīng)用,可以為物體定義方向,我們可以把每個物體看作橢圓,在笛卡爾坐標(biāo)平面上與最小慣量軸相同方向的最小二階矩軸定義為長軸[8]。通過計算獲得物體的長軸,并把長軸方向定義為物體的方向。
圖像中物體的最小二階矩軸就是物體上所有的點(diǎn)到該線的距離的平方和最小。給出一幅二值圖像B[i,j],物體所有的點(diǎn)到直線進(jìn)行最小二乘擬合,獲得物體的最小二階矩軸方程。
其中rij是物體上某點(diǎn)[i,j]到直線的距離,用極坐標(biāo)表示直線是:
θ 是直線與法線的夾角,ρ 是直線到原點(diǎn)的距離,由上面兩個公式可以得到
對上式求導(dǎo),可以得到:
兩公式進(jìn)行整合,得到:
其中參數(shù):
這樣表達(dá)式可以重新寫成:
對上式求微分,并置微分結(jié)果為0,求解θ
這樣我們就可以通過計算θ 來判斷標(biāo)簽是否發(fā)生旋轉(zhuǎn)以及旋轉(zhuǎn)的角度。θ 定義為長軸與x軸的夾角,設(shè)定允許旋轉(zhuǎn)的變化量為±5°(即±0.087222),將計算得到的待檢測標(biāo)簽θ 與標(biāo)準(zhǔn)模板相對應(yīng)的標(biāo)簽θ 進(jìn)行比較,如果超過了這個范圍,則可以判定其不合格,存在缺陷。
測試圖片共100 張,標(biāo)簽缺失缺陷20 張,標(biāo)簽上下顛倒缺陷20 張,標(biāo)簽貼錯位置缺陷20 張,標(biāo)簽標(biāo)錯缺陷20 張,合格產(chǎn)品20 張。針對標(biāo)簽的缺失、上下顛倒以及貼錯位置這些缺陷可以進(jìn)行整體檢測,因此定義為非字符缺陷;而標(biāo)簽標(biāo)錯是對具體的某個數(shù)字或字符進(jìn)行檢測,因此可以定義為字符缺陷。為了提高檢測的準(zhǔn)確性,將字符缺陷和非字符缺陷分開檢測,互不干擾。
字符標(biāo)簽區(qū)域缺陷檢測:
圖4 投影儀殼體字符標(biāo)簽區(qū)域缺陷檢測
分別檢測局部字符區(qū)域:DX140 與DX120,檢測結(jié)果分析如下:
表1 匹配距離值數(shù)據(jù)
根據(jù)公式(3)對待檢測標(biāo)簽區(qū)域每一個分割字符的匹配距離值進(jìn)行統(tǒng)計,如表1 所示。
對表1 中的數(shù)據(jù)進(jìn)行對比分析,正確的字符(如D、X、1、0)與標(biāo)準(zhǔn)模板集字符(如D、X、1、0)的匹配距離值都小于0.3,而標(biāo)錯的字符(如2)與標(biāo)準(zhǔn)模板集字符(如4)的匹配距離值則遠(yuǎn)大于0.3,發(fā)生了很大的變化。因此通過OCR 識別將待檢測的字符與訓(xùn)練模板集的字符一一進(jìn)行模板匹配,計算兩者之間的匹配距離的方法可以實(shí)現(xiàn)對字符標(biāo)簽區(qū)域缺陷檢測。
非字符標(biāo)簽缺陷檢測:
以圖5a 作為標(biāo)準(zhǔn)模板,分別對各類非字符標(biāo)簽缺陷和合格標(biāo)簽進(jìn)行檢測,實(shí)驗(yàn)測試結(jié)果分析如下。
圖5 投影儀殼體非字符標(biāo)簽區(qū)域缺陷檢測
圖5a 為標(biāo)準(zhǔn)標(biāo)簽?zāi)0?,圖5b、c、d 分別為上下顛倒、缺失以及標(biāo)簽貼錯缺陷,檢測結(jié)果分析如下。
分別計算標(biāo)準(zhǔn)標(biāo)簽和待檢測標(biāo)簽的面積、重心與方向三個特征量,并對其結(jié)果進(jìn)行統(tǒng)計,數(shù)據(jù)如表2 所示。
表2 特征量計算數(shù)據(jù)
對表中的數(shù)據(jù)進(jìn)行分析比較,合格標(biāo)簽與標(biāo)準(zhǔn)標(biāo)簽三種特征值數(shù)據(jù)相差不大;而有缺陷的標(biāo)簽,三種特征值與標(biāo)準(zhǔn)模板相比都發(fā)生了很大變化,超過了給定的誤差范圍。因此以這三個特征值作為判斷依據(jù),我們可以進(jìn)行非字符標(biāo)簽缺陷檢測。
本檢測算法正確率如表3 所示。
表3 算法檢測結(jié)果
本文針對投影儀殼體標(biāo)簽自身的特點(diǎn)提出了一種基于機(jī)器視覺的標(biāo)簽缺陷檢測方法,該方法結(jié)合了模板匹配技術(shù)和特征匹配技術(shù)。由于該方法對采集的圖像質(zhì)量要求比較高,因此設(shè)計了一套缺陷自動檢測系統(tǒng),保證采集到的圖片清晰、穩(wěn)定,便于進(jìn)行缺陷檢測。另外,該缺陷檢測方法針對字符標(biāo)簽區(qū)域和非字符標(biāo)簽區(qū)域缺陷各自的特點(diǎn),分別利用了模板匹配和特征匹配,有效的提高了缺陷檢測的正確率和穩(wěn)定性。實(shí)驗(yàn)表明:該標(biāo)簽缺陷檢測算法正確率達(dá)到95%以上,雖未能徹底的檢測出所有的缺陷情況,但具有很高的實(shí)用價值,若用于實(shí)際生產(chǎn),可以實(shí)現(xiàn)投影儀殼體標(biāo)簽缺陷的自動檢測,具有廣闊的應(yīng)用前景。
[1]張揚(yáng). 基于圖像處理的軸承防塵蓋表面缺陷檢測研究[D].杭州:浙江大學(xué),2010.
[2]王增春.基于視覺的標(biāo)簽動態(tài)檢測識別系統(tǒng)研究及應(yīng)用[D].河北:河北工業(yè)大學(xué),2006.
[3]張曉波,劉文耀,王兵振,等.汽車自動閥內(nèi)地面質(zhì)量檢測儀的設(shè)計[J]. 計算機(jī)測量與控制,2005,13(6):1671 -4598.
[4]楊淑瀅.圖像模式識別-VC++技術(shù)實(shí)現(xiàn)[M]. 北京:北京交通大學(xué)出版社,2005.
[5]Kass M,Witkin A.Analyzing oriented patterns[J].Computer vision,Graphics,and Image Processing,1987,37(3):362 -385.
[6]Jain A K,Hong L,Pankanti S,etal.An dentity-authentication system using fingerprints[C]. Proc. IEEE,1997,85(9):1365 -1388.
[7]GU Jin-wei,ZHOU Jie,David ZHANG.A combination model for orientation Field of Fingerprints[J].Pattern Recognition,2004,37(3):542 -553.
[8]賈云德.機(jī)器視覺[M].北京:科學(xué)出版社,2000.