黨領(lǐng)茹，朱 丹，佟新鑫

（1.中國科學院沈陽自動化研究所，沈陽 110016；2.中國科學院大學，北京 100049；3.中國科學院光電信息處理重點實驗室，沈陽 110016）

金屬管器件表面缺陷實時檢測技術(shù)研究

黨領(lǐng)茹1～3，朱 丹1,3，佟新鑫1,3

（1.中國科學院沈陽自動化研究所，沈陽 110016；2.中國科學院大學，北京 100049；3.中國科學院光電信息處理重點實驗室，沈陽 110016）

0 引言

金屬管器件廣泛應用于汽車、航天、軸承、氣動元件、液壓、機械加工等各個領(lǐng)域，而在金屬管器件生產(chǎn)過程中，由于原材料，生產(chǎn)設備，加工工藝，加工環(huán)境等因素的影響，導致金屬管器件表面出現(xiàn)各種瑕疵和缺陷，而缺陷的存在對器件的質(zhì)量和性能產(chǎn)生一定的影響。目前，國內(nèi)對于金屬管器件的外觀質(zhì)量檢測主要采用人工檢測的方法，不僅占用大量的人力，而且勞動強度大，檢測結(jié)果容易受人為因素的影響，智能化程度低。

近年來，隨著圖像處理技術(shù)方面的不斷發(fā)展和成熟[1,2]，機器視覺技術(shù)在缺陷檢測方面得到了廣泛的推廣和應用[3～5]。對于平面結(jié)構(gòu)目標的檢測，如PCB，鋼板等[6,7]，多采用差影法[8]。此算法簡單易操作，但實際生產(chǎn)條件下很難找到一個標準模板圖像。對于曲面結(jié)構(gòu)目標，如水果，鋼管等，采集圖像時會出現(xiàn)光照不均勻問題，針對這一問題，馮斌等采用建立目標光照模型的方法[9]，一定程度上削弱了曲面結(jié)構(gòu)帶來的光照不均問題，但此方法要求目標與攝像機擺放的相對位置具有高度一致性，實際中很難實現(xiàn)。張建軍等采用線性濾波原理對圖像進行背景光擬合[10]，有效的改善了光照不均勻現(xiàn)象。但窗口較大時，在硬件上很難實現(xiàn)。李江波等提出一種基于照度-反射模型的亮度均一化方法[11]，利用頻域的低通濾波獲取圖像的亮度分量，對原圖進行光照校正，取得一定效果，但仍存在實時性的問題。

本文研究的是基于機器視覺的金屬管器件表面缺陷檢測系統(tǒng)，不僅檢測精度要求高，而且對實時性也有嚴格的要求。同時，由于金屬表面的強反光特性和結(jié)構(gòu)自身的曲面特性，給圖像處理方面帶來了很大檢測難度。本文提出了實時表面缺陷檢測系統(tǒng)的整體設計方案，并詳細的闡述了圖像處理系統(tǒng)的具體實現(xiàn)細節(jié)?？朔藗鹘y(tǒng)人工在線檢測的各種弊端，提高了生產(chǎn)效率及檢測準確性，實現(xiàn)了實時連續(xù)檢測。

1 在線表面缺陷檢測系統(tǒng)整體設計

本系統(tǒng)的總體結(jié)構(gòu)設計方案如圖1所示，整個系統(tǒng)包括自動上料機構(gòu)、傳輸機構(gòu)、圖像采集系統(tǒng)、圖像處理系統(tǒng)以及分選機構(gòu)五個部分。其中圖像采集系統(tǒng)包括光學系統(tǒng)的設計，以及攝相機的選取和安置；圖像處理系統(tǒng)為整個系統(tǒng)的軟件設計部分，也是整個視覺系統(tǒng)的核心部分，包括圖像目標分割、缺陷檢測和缺陷定位識別三大方面。

在整體系統(tǒng)設計中，考慮到周圍環(huán)境對圖像采集的影響，我們將圖像采集系統(tǒng)放在一個暗室中完成。這樣可以避免由于外界光照以及生產(chǎn)環(huán)境變化對成像效果的影響，得到一個相對穩(wěn)定的圖像采集環(huán)境。

圖1 總體結(jié)構(gòu)設計方案流程圖

系統(tǒng)的工作過程為：首先，金屬管器件由自動上料機構(gòu)，按順序傳送到帶有固定卡槽的傳送帶上。然后，借助器件與傳送帶之間的滑動摩擦力，金屬管器件將靠緊卡槽的一邊做自轉(zhuǎn)運動，保證器件在攝相機視場中時，能夠通過拍攝多幅圖像獲取到整個金屬管表面的圖像，系統(tǒng)中每個器件采集5幅圖像。然后，將獲取的圖片發(fā)送給圖像處理系統(tǒng)進行缺陷檢測，如果存在缺陷，則由分選機構(gòu)將其剔除，如果為合格產(chǎn)品，則通過篩選。

2 圖像處理系統(tǒng)設計

圖像處理環(huán)節(jié)是整個機器視覺系統(tǒng)最為重要的環(huán)節(jié)。本文提出的用于金屬管器件表面缺陷檢測的圖像處理系統(tǒng)，設計中綜合考慮了算法的時間復雜度和有效性。

系統(tǒng)拍攝的圖像中包含背景區(qū)域，目標區(qū)域以及目標上的缺陷區(qū)域三部分，如圖2所示。系統(tǒng)中圖像處理算法的本質(zhì)目的就是將三個區(qū)域區(qū)分開，定位出目標上缺陷區(qū)域的位置。首先，需要將背景區(qū)域與目標區(qū)域區(qū)分開，實現(xiàn)目標分割；然后，需要在目標區(qū)域中提取出缺陷，完成缺陷的檢測。最后，定位出缺陷的具體位置，并進行缺陷的識別。

圖2 原始圖像

2.1 目標分割

圖像中背景區(qū)域并不是單一均勻的，這是由于傳輸機構(gòu)中卡槽的顏色與傳送帶顏色不一致導致的。其中，背景區(qū)域中較亮部分為卡槽，較暗部分為傳送帶。同時，器件本身有著它獨特的金屬顏色。因此，本文利用顏色信息的特定關(guān)系進行目標分割。

彩色圖像中包含著豐富的信息量，可以通過挖掘不同區(qū)域顏色信息中的特定關(guān)系，將背景與目標區(qū)分開。首先，對RGB顏色空間中的顏色分量進行觀察分析，發(fā)現(xiàn)各顏色分量中目標與背景灰度級范圍重疊在一起，在單個顏色分量中不可能通過閾值實現(xiàn)分割；然后，隨機取圖像某一行的R，G，B分量進行觀察，發(fā)現(xiàn)紅色分量中目標區(qū)域和背景亮區(qū)域呈現(xiàn)較高的灰度值，而背景中的暗區(qū)域帶則呈現(xiàn)較低的灰度值，如圖3a所示。并且發(fā)現(xiàn)背景亮區(qū)域中藍色分量遠大于綠色分量，而目標區(qū)域中藍色分量基本小于紅色分量，圖3b中為圖像第100行中藍色分量減去紅色分量后的曲線圖。依據(jù)此特殊關(guān)系，設計了適用于本系統(tǒng)的目標分割算法。

圖3 單行圖像色彩信息分析曲線

具體算法步驟為：

Step1：提取原圖像中的紅色分量圖像I_b和藍色分量圖像I_c。

Step2：設定固定閾值，對紅色分量圖像I_b進行二值化，大于閾值的像素置為1，小于閾值的像素置為0，得到圖像I_d，如圖4d所示，圖中得到了目標區(qū)域和背景亮區(qū)域位置信息。

Step3：結(jié)合圖像I_b和I_c的信息，將藍色分量大于紅色分量10個灰度值的像素位置置為1，反之則置為0，得到圖像I_e，如圖4e所示，圖中得到背景亮區(qū)域位置信息。

Step4：將圖像I_e取反，然后與圖像I_d進行相與運算，去除背景亮區(qū)域，得到圖像I_f，如圖4f所示。

Step5：對圖像I_f進行形態(tài)學開運算，去除噪聲點，平滑目標邊緣。處理后得到圖像I_g，結(jié)果如圖4g所示。

Step6：將得到的圖像I_g與原圖像相乘得到目標分割后的圖像，如圖4h所示。

圖4 圖像目標分割過程圖

2.2 缺陷檢測

由于金屬管器件表面反射和曲面結(jié)構(gòu)特性，使得拍攝得到的金屬管圖像出現(xiàn)嚴重的光照不均現(xiàn)象。圖像中可以看出，目標區(qū)域中中間部分亮度較高，邊緣附近出現(xiàn)明顯的暗區(qū)域帶。這種現(xiàn)象的存在導致處在不同區(qū)域的缺陷亮度特性差異大，很難使用固定閾值進行缺陷分割。圖5為使用大津法閾值分割的結(jié)果，從結(jié)果中可以看出，缺陷檢測出來的同時出現(xiàn)嚴重的誤檢現(xiàn)象，即將亮區(qū)域中缺陷檢測出來的同時，暗區(qū)域部分區(qū)域也檢測為缺陷。

圖5 自適應閾值缺陷分割結(jié)果

針對此種情況，本文設計了一種實時光照校正算法，去除光照影響，保留缺陷。考慮到光照變化是一種大尺度緩慢的變化行為，而缺陷相對于目標本身是一個低亮度的小結(jié)構(gòu)體，表現(xiàn)為小尺度范圍內(nèi)劇烈的變化。本算法的思想是：根據(jù)原圖像的大小和缺陷大小關(guān)系，確定縮放比例，通過對原圖像進行縮小，并進行均值濾波，將大尺度緩慢變化的信息保留下來，將小尺度劇烈變化的信息去除；然后將圖像放大到原圖像大小，所得圖像即為光照變化圖像。最后，從原圖像中減去光照圖像，得到去除光照后的圖像。

算法具體步驟如下：

Step1：由圖像預處理完后的彩色圖像I_a，獲取平均灰度圖像I_b，如圖6b所示，轉(zhuǎn)換公式為：

式中，I_r，I_g，I_b分別為彩色圖像I_rgb的紅色分量，綠色分量和藍色分量。常規(guī)的灰度圖像是選擇r，g，b分量中最大值作為該點的灰度值，主要體現(xiàn)的是目標亮度情況。而平均灰度圖像更能體現(xiàn)目標顏色上的差異特點。

Step2：用雙線性插值算法，將平均灰度圖像I_b，縮小為原圖像大小的1/5，得到圖像I_c，如圖6c所示。其中，通用的插值方法有最近鄰插值法，雙線性插值和三次卷積法。最近鄰插值后會產(chǎn)生嚴重的鋸齒效應，后兩種方法縮放后圖像質(zhì)量高，不會出現(xiàn)不連續(xù)現(xiàn)象，三次卷積法的計算精度高，但計算量大，因此選用了雙線性插值法進行縮放；縮放比例的選取綜合原圖像中目標的大小和缺陷大小來考慮，原圖像大小為250×250，塊狀缺陷尺寸大小一般在10×10范圍內(nèi)，線形缺陷的寬度一般在10個像素內(nèi)。選擇縮小比例為1/5能夠?qū)⑷毕莩叽缈s小在2×2的范圍內(nèi)。

Step3：選用3×3的模板，對縮小后的圖像I_c進行均值濾波，得到濾波后圖像I_d，如圖6d所示。均值模板大小的選取，依據(jù)的是縮小后圖像缺陷尺寸大小。在經(jīng)過縮放后，缺陷大小縮小到2×2的范圍內(nèi)，算法中選用3×3的模板，既能夠保留好背景的光照信息，也能夠?qū)⑷毕萜交簟?/p>

Step4：同樣選用雙線性插值算法，將濾波后圖像I_d放大到原圖像大小，得到背景光照圖像I_e，如圖6e所示。

Step5：將平均灰度圖像I_b與背景光照圖像I_e相減，得到去除背景光照的圖像I_f，如圖6f所示。

Step6：選取固定閾值，對去除背景光照后的圖像I_f進行二值化，結(jié)果如圖6g所示。從圖像I_f中可以發(fā)現(xiàn)，缺陷和目標之間存在較大灰度差，因此可以使用固定閾值對其進行分割，固定閾值分割大大減少了算法的時間復雜度。

圖6 缺陷檢測過程圖

2.3 缺陷定位識別

為了識別缺陷，首先要對缺陷進行定位，找出缺陷所處的具體位置，然后根據(jù)缺陷的具體特征，判斷是否是缺陷。本文采用方向投影法實現(xiàn)缺陷的定位。該方法簡單，快速，準確性高。

具體步驟如下：

Step1：將得到的缺陷二值圖像進行水平方向和垂直方向的投影，投影結(jié)果如圖7所示。

Step2：分別對水平和垂直方向的投影曲線進行掃描，記下每對0到非0和非0到0的跳變點。

Step3：將水平和垂直方向的點對進行組合，對組合形成的所有矩形區(qū)域分別進行面積統(tǒng)計，面積值為0，則說明此區(qū)域為非缺陷區(qū)域，面積值不為0，則說明此區(qū)域為待判斷缺陷區(qū)域，對其進行標記。

圖7 缺陷圖像水平方向和垂直方向投影曲線

采用面積作為判斷缺陷的標準，當待判斷缺陷區(qū)域的面積超過設定值時，則認為此區(qū)域為缺陷區(qū)域，否則認為此處為噪聲干擾。最后，綜合某一金屬管器件的所有圖像的判斷結(jié)果，如果其中存在含有缺陷區(qū)域的圖片，則判定此鋼管器件有缺陷，為不合格產(chǎn)品；否則，判定為合格產(chǎn)品。

3 實驗結(jié)果分析

本文對400個金屬管器件圖像的處理結(jié)果進行了統(tǒng)計分析。圖8中給出了典型缺陷類型的檢測結(jié)果，圖中可以看出，本文算法對各類缺陷都有很好的檢測效果。表1中給出了400個圖像的缺陷檢測的統(tǒng)計結(jié)果。

圖8 不同缺陷檢測結(jié)果

本文采用識別率，虛警率兩個指標來衡量算法的有效性，計算公式如下：

識別率 = 檢測出的缺陷數(shù)目/缺陷樣本總數(shù)

虛警率 = 誤檢為缺陷的數(shù)目/合格樣本總數(shù)

從表格中數(shù)據(jù)可以看出，識別率達到98.8%，虛警率為1.3%。其中，出現(xiàn)漏檢現(xiàn)象主要原因是缺陷出現(xiàn)在目標邊緣區(qū)域，缺陷的亮度與邊緣區(qū)域趨于一致，難以檢測出來，但由于會采集多幅金屬管表面缺陷圖像，出現(xiàn)在邊緣區(qū)域的缺陷在其它圖像的其中一幅中會出現(xiàn)在比較明顯的位置，保證缺陷能夠被檢測出來，使缺陷產(chǎn)品的檢測率達到100%。而由于缺陷產(chǎn)品和合格產(chǎn)品的區(qū)分邊界定義的不確定性，一定概率的虛警現(xiàn)象的存在是在廠商允許范圍內(nèi)的。

表1 樣本缺陷檢測結(jié)果統(tǒng)計

為驗證算法的實時性，采用配置為Pentium(R)Dual-core CPU E6600 3.06GHz，2.00G內(nèi)存的計算機，運用Visual C++6.0和OpenCV編程，對分辨率為250×250像素的彩色圖像進行處理。結(jié)果表明，處理每幅圖像的時間基本小于0.042s，平均每個金屬管器件(5幅圖像)的檢測時間在0.21s內(nèi)，可以保證系統(tǒng)運行的實時性。

4 結(jié)論

針對金屬管器件表面缺陷檢測問題，設計了基于機器視覺的檢測系統(tǒng)。結(jié)合金屬管器件圖像的特性，通過顏色信息的特定關(guān)系，實現(xiàn)目標的簡單準確分割。在目標分割圖像基礎上，提出實時光照校正算法，有效的解決了光照不均帶來的分割閾值選取困難的問題，實現(xiàn)使用固定閾值的缺陷分割。并且采用方向投影的方法定位缺陷位置，使用面積參數(shù)作為判斷缺陷與否的依據(jù)。算法步驟簡單、有效，能夠?qū)崿F(xiàn)實時在線檢測。

本系統(tǒng)采用機器視覺技術(shù)，解決了金屬管器件表面缺陷檢測的問題。實現(xiàn)了檢測的自動化和智能化，提高了檢測的速度和準確率，應用于工業(yè)生產(chǎn)中，有效的提高了生產(chǎn)的效率。

[1]Newman T S, Jain A K. A survey of automated visual inspection[J].Computer vision and image understanding,1995,61(2):231-262.

[2]Malamas E N, Petrakis E G M, Zervakis M, et al. A survey on industrial vision systems, applications and tools[J].Image and vision computing,2003,21(2):171-188.

[3]謝佩軍,計時鳴,程越.基于計算機視覺的晶振帽缺陷自動檢測系統(tǒng)[J].儀器儀表學報,2008,29(5):1079-1083.

[4]應義斌,景寒松.機器視覺技術(shù)在黃花梨尺寸和果面缺陷檢測中的應用[J].農(nóng)業(yè)工程學報,1999,15(1):197-200.

[5]劉佳男.基于機器視覺的水果表面缺陷識別方法的研究[D].江南大學,2012.

[6]彭向前,陳幼平,余文勇.一種基于機器視覺的浮法玻璃質(zhì)量在線檢測系統(tǒng)[J].制造業(yè)自動化,2008,29(12):50-52.

[7]李煒,黃心漢.基于機器視覺的帶鋼表面缺陷檢測系統(tǒng)[J]. 華中科技大學學報:自然科學版,2003,31(2):72-74.

[8]楊慶華,陳亮,荀一,等.基于機器視覺的 PCB 裸板缺陷自動檢測方法[J].中國機械工程,2012,23(022):2661-2666.

[9]馮斌,汪懋華.計算機視覺技術(shù)識別水果缺陷的一種新方法[J].中國農(nóng)業(yè)大學學報,2002,7(4):73-76.

[10]張建軍,胡惠靈,劉征宇,等.光照不均管道內(nèi)圖像增強算法的研究與應用[J].計算機工程,2011,37(16):227-229.

[11]李江波,饒秀勤,應義斌.基于照度-反射模型的臍橙表面缺陷檢測[J].農(nóng)業(yè)工程學報,2011,27(7):338-342.

Research of metal tube device surface defect real-time detection technology

DANG Ling-ru1～3, ZHU Dan1,3, TONG Xin-xin1,3

針對金屬管器件的表面缺陷檢測進行研究，以機器視覺技術(shù)為基礎，設計了金屬管器件表面缺陷在線檢測系統(tǒng)。根據(jù)生產(chǎn)線的實際檢測要求，提出了檢測系統(tǒng)的整體設計方案。針對金屬管器件圖像特點，設計了簡單有效的圖像處理算法。首先，提出了基于顏色統(tǒng)計特性的目標分割算法，實現(xiàn)了目標與背景的準確分割。然后，提出的實時光照校正算法，克服了光照影響，實現(xiàn)固定閾值的缺陷分割。最后，使用方向投影的方法定位缺陷區(qū)域，并采用面積指標對缺陷進行有效判定。實驗結(jié)果表明，該方法對于每個器件的平均檢測時間為0.21秒，缺陷產(chǎn)品的檢測率為100%，能夠滿足金屬管器件表面質(zhì)量實時檢測的要求。

機器視覺；光照不均；缺陷檢測

黨領(lǐng)茹（1989 -），女，河北石家莊人，碩士研究生，研究方向為數(shù)字圖像處理，機器視覺。

TP27

A

1009-0134(2014)05(下)-0039-05

10.3969/j.issn.1009-0134.2014.05(下).11

2014-02-23