李 春，李 琳，鄒焱飚，曾亮華

（1.北京理工大學(xué) 珠海學(xué)院機(jī)械與車(chē)輛學(xué)院，珠海 519088；2.華南理工大學(xué) 機(jī)械與汽車(chē)工程學(xué)院，廣州 510640）

基于機(jī)器視覺(jué)的鈑金件缺陷在線(xiàn)檢測(cè)算法

李 春1，李 琳2，鄒焱飚2，曾亮華1

（1.北京理工大學(xué) 珠海學(xué)院機(jī)械與車(chē)輛學(xué)院，珠海 519088；2.華南理工大學(xué) 機(jī)械與汽車(chē)工程學(xué)院，廣州 510640）

結(jié)合圖像處理技術(shù)，設(shè)計(jì)了鈑金件缺陷在線(xiàn)檢測(cè)系統(tǒng)，提出了一種基于機(jī)器視覺(jué)的鈑金件缺陷在線(xiàn)檢測(cè)算法。首先基于幾何形狀金字塔分層模板匹配算法檢測(cè)出大部分有缺陷的鈑金件，再創(chuàng)新性地結(jié)合圖像窗口、閾值分割、區(qū)域連通、區(qū)域面積及長(zhǎng)度計(jì)算等技術(shù)，開(kāi)發(fā)了膨脹窗口區(qū)域算法，以此來(lái)篩選出滿(mǎn)足形狀匹配要求但實(shí)際為不合格的工件，從而實(shí)現(xiàn)了對(duì)缺陷鈑金件的檢測(cè)。實(shí)驗(yàn)結(jié)果表明，該算法響應(yīng)速度快，正確率高，可達(dá)97.7%，滿(mǎn)足了實(shí)際應(yīng)用中對(duì)準(zhǔn)確度和實(shí)時(shí)性的要求。

機(jī)器視覺(jué)；缺陷檢測(cè)；模板匹配；圖像處理

0　引言

鈑金件一般是由薄板或帶料經(jīng)沖壓、剪切、折彎、拼接、焊接等工藝完成，具有重量輕、強(qiáng)度高、易成型、成本低等優(yōu)點(diǎn)，因此，廣泛應(yīng)用于汽車(chē)、電子電器、醫(yī)療機(jī)械、航空航天等領(lǐng)域。同時(shí)，由于鈑金件的制造過(guò)程需要經(jīng)過(guò)復(fù)雜的加工工藝，不免會(huì)造成鈑金件的表面不平整、彎曲、翹邊、尺寸不一等缺陷，因此，有必要對(duì)鈑金件進(jìn)行獨(dú)立于生產(chǎn)的品質(zhì)檢測(cè)，篩選出不合格的鈑金件，從而保證產(chǎn)品的質(zhì)量和安全性。

目前，我國(guó)大部分的鈑金件生產(chǎn)工廠(chǎng)還在使用游標(biāo)卡尺、樣板、三坐標(biāo)測(cè)量?jī)x等工具進(jìn)行人工檢測(cè)，這些傳統(tǒng)的檢測(cè)方法效率低、誤差大且對(duì)檢測(cè)人員的技術(shù)要求高，遠(yuǎn)遠(yuǎn)不能滿(mǎn)足現(xiàn)代化智能制造產(chǎn)業(yè)的需求。為提高檢測(cè)的效率和準(zhǔn)確度，研究一種鈑金件缺陷檢測(cè)系統(tǒng)和檢測(cè)方法，快速、可靠地實(shí)現(xiàn)鈑金件的自動(dòng)化檢測(cè)已成為必然。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，國(guó)內(nèi)外學(xué)者對(duì)鈑金件缺陷自動(dòng)化檢測(cè)技術(shù)做了研究，主要采用三維重建技術(shù)，電子光束、激光雷達(dá)和機(jī)器視覺(jué)技術(shù)。三維重建技術(shù)，首先識(shí)別鈑金件特征，然后對(duì)鈑金件進(jìn)行分類(lèi)，可獲得零件的制造誤差[1,2]，但只能檢測(cè)出某幾種特定種類(lèi)的缺陷。電子光束檢測(cè)具有較好的精度，但其系統(tǒng)構(gòu)造復(fù)雜，測(cè)量效率低[3]。激光雷達(dá)檢測(cè)具有良好的定向性和抗干擾性，但其成本高，掃描成像時(shí)間長(zhǎng)[4]。機(jī)器視覺(jué)檢測(cè)由于其成像速度快，能較好的進(jìn)行算法開(kāi)發(fā)，廣泛用于汽車(chē)儀表檢測(cè)[5]、焊接過(guò)程質(zhì)量控制[6]、鈑金件輪廓的跟蹤測(cè)量[7]等方面。

本文基于機(jī)器視覺(jué)技術(shù)，設(shè)計(jì)了鈑金件缺陷檢測(cè)系統(tǒng)，提出了一種鈑金件缺陷在線(xiàn)檢測(cè)算法。采用基于幾何形狀金字塔分層模板匹配算法，首先提取標(biāo)準(zhǔn)鈑金件的幾何特征，并分層，從而減少像素點(diǎn)，降低計(jì)算量，加快響應(yīng)速度，然后，建立模板并進(jìn)行訓(xùn)練，訓(xùn)練后，對(duì)新采集的鈑金件進(jìn)行匹配，當(dāng)匹配度小于設(shè)置值時(shí)，則認(rèn)為是不合格品，最后，創(chuàng)新性地結(jié)合膨脹窗口區(qū)域算法進(jìn)一步對(duì)誤判的鈑金件進(jìn)行檢測(cè)，從而保證檢測(cè)結(jié)果的正確率。

1　系統(tǒng)設(shè)計(jì)

鈑金件缺陷檢測(cè)系統(tǒng)的硬件部分主要包括視覺(jué)檢測(cè)模塊和控制執(zhí)行模塊。其中，控制模塊主要由機(jī)器人及其控制器組成；視覺(jué)檢測(cè)模塊由攝像機(jī)、鏡頭、光源、圖像采集卡組成，進(jìn)行圖像的采集、處理和傳輸。視覺(jué)檢測(cè)模塊與控制執(zhí)行模塊均是通過(guò)以太網(wǎng)與工業(yè)級(jí)計(jì)算機(jī)進(jìn)行數(shù)據(jù)的傳輸和通訊，其中，通訊時(shí)間約為100ms。

2　鈑金件缺陷檢測(cè)關(guān)鍵算法的研究

2.1中值濾波

由于周?chē)h(huán)境存在雜質(zhì)、光照不均勻、工件表面不平整等因素的影響以及在圖像生成和處理的過(guò)程中受到電磁的干擾，直接獲取的鈑金件圖像存在大量的噪聲，因此首先需要對(duì)圖像進(jìn)行平滑處理，濾去噪聲。中值濾波是一種非線(xiàn)性平滑濾波方法，其在消除噪聲的同時(shí)又可以較好的保留圖像的細(xì)節(jié)特征，特別是對(duì)于隨機(jī)噪聲具有很好的去噪效果，且模糊程度較之于線(xiàn)性平滑濾波器更低[8]，因此，本文通過(guò)對(duì)鈑金件圖像的分析，采用中值濾波器進(jìn)行降噪處理，能達(dá)到較好的效果，滿(mǎn)足后續(xù)圖像處理的要求。

2.2基于幾何形狀的金字塔分層匹配算法

本文采用的金字塔分層匹配算法，是在幾何特征的基礎(chǔ)上進(jìn)行的。該算法首先檢測(cè)工件圖像的邊緣，提取對(duì)象的幾何輪廓特征，再采用金字塔分層思想，對(duì)幾何特征進(jìn)行分層[9]。該算法的分層搜索步驟可定義為：首先，根據(jù)匹配對(duì)象像素的大小，計(jì)算分層層數(shù)，層數(shù)應(yīng)當(dāng)保證金字塔最上層的圖像的特征清晰可辨。然后，從金字塔的最上層開(kāi)始進(jìn)行完整的匹配，再逐級(jí)向下搜索。

為驗(yàn)證基于幾何形狀的金字塔分層匹配算法的效率和準(zhǔn)確度，本文根據(jù)實(shí)驗(yàn)對(duì)象的尺寸和特征，調(diào)整獲取圖像的大小為640×480像素，并分別基于灰度值、相關(guān)性和本算法進(jìn)行匹配，結(jié)果如圖1所示，圖1(a)、圖1(b)、圖1(c)分別為不同工件，其中，圖1(c)中放入了與目標(biāo)對(duì)象幾何特征相類(lèi)似的干擾工件，且光照強(qiáng)度有所改變，基于幾何形狀的金字塔分層匹配仍然能準(zhǔn)確地搜索到模板圖像，可見(jiàn)本算法具有較高的抗干擾性和魯棒性。實(shí)驗(yàn)中，提取了目標(biāo)圖像的外輪廓，并對(duì)其進(jìn)行分層，共為4層。從圖中可以看到，每層的輪廓逐漸縮小，且清晰度也變差，但是仍保持了原始圖像的主要特征，因此，分層匹配既可以有效的減少計(jì)算量又可以成功地搜索到目標(biāo)對(duì)象。

圖1　基于幾何形狀金字塔分層匹配結(jié)果

對(duì)20個(gè)不同鈑金件進(jìn)行重復(fù)性實(shí)驗(yàn)，分別記錄其建立模板時(shí)間、模板匹配時(shí)間及相似度量值，并求均值，結(jié)果如表1所示。從表1可知，基于灰度值的模板匹配相似度量歸一化系數(shù)只有0.72，可見(jiàn)其相關(guān)度低，在要求比較高的應(yīng)用中，則可能造成正確目標(biāo)被舍棄，從而產(chǎn)生去真錯(cuò)誤?；谙嚓P(guān)性的模板匹配雖然相似度量值較大，但是建立模板的時(shí)間過(guò)長(zhǎng)，遠(yuǎn)遠(yuǎn)不能滿(mǎn)足實(shí)際應(yīng)用中對(duì)實(shí)時(shí)性的要求。而本算法響應(yīng)時(shí)間短，總時(shí)間不到0.1s，且相似度量的歸一化系數(shù)約為0.97。綜上可知，與一般的模板匹配算法比較，本文研究的算法能夠快速、準(zhǔn)確地搜索到匹配對(duì)象，為進(jìn)一步檢測(cè)鈑金件缺陷打下了基礎(chǔ)。

表1　三種匹配算法比較

2.3膨脹窗口區(qū)域[10]

通過(guò)模板匹配可檢測(cè)出大部分有缺陷的鈑金件，但是仍然存在誤判，尤其是對(duì)于幾何形狀和模板工件相似而尺寸略有差異的工件。因此，本文在基于幾何形狀金字塔分層匹配算法的基礎(chǔ)上，研究了膨脹窗口區(qū)域算法，該算法的具體步驟如下：

對(duì)于模板鈑金件：

1）獲取模板鈑金件圖像的幾何形狀0，根據(jù)幾何形狀生成包容矩形R；

2）對(duì)窗口內(nèi)包容矩形R進(jìn)行閾值分割；

3）區(qū)域連通，單獨(dú)計(jì)算每個(gè)連通區(qū)域的面積，并設(shè)定面積允許范圍；

4）根據(jù)面積允許范圍去除包容矩形R中的雜質(zhì)或因窗口膨脹而進(jìn)入的其他工件的邊角；

5）計(jì)算包容矩形R內(nèi)模板工件的面積A和長(zhǎng)度L，并根據(jù)實(shí)際鈑金件圖像面積和長(zhǎng)度的變化范圍分別設(shè)定待檢測(cè)鈑金件面積和長(zhǎng)度允許的波動(dòng)范圍±δA和±δL；

對(duì)于待檢測(cè)鈑金件：

1）基于幾何形狀金字塔分層匹配后，獲得鈑金件匹配中心點(diǎn)的坐標(biāo)位置；

2）以匹配中心點(diǎn)為矩形中心，生成包容矩形R'；

3）與模板鈑金件的步驟2）、3）、4）相同，閾值分割去除干擾對(duì)象；

4）計(jì)算包容矩形R'內(nèi)鈑金件的區(qū)域面積A'和長(zhǎng)度L'；

5）判斷區(qū)域面積A'和長(zhǎng)度L'是否在允許范圍±δA、±δL內(nèi)，由此獲得檢測(cè)結(jié)果。

算法的具體流程如圖2所示。

圖2　檢測(cè)方法流程

按照上述步驟對(duì)模板鈑金件和待檢測(cè)鈑金件分別處理，結(jié)果如圖3所示。其中圖3(a)為對(duì)模板圖像的操作，首先，根據(jù)模板圖像的幾何形狀生成包容矩形窗口，然后對(duì)包容矩形進(jìn)行閾值分割，區(qū)域連通后去除干擾對(duì)象，最后獲得工件的幾何輪廓。圖3(b)為對(duì)待檢測(cè)工件的操作，由第一張圖像可知，待檢測(cè)對(duì)象的視覺(jué)區(qū)域中共有三個(gè)鈑金件，首先基于幾何形狀的金字塔分層匹配，分別獲得每個(gè)工件的匹配的中心點(diǎn)坐標(biāo)，根據(jù)中心點(diǎn)分別生成包容矩形窗口，并對(duì)每個(gè)包容矩形窗口單獨(dú)處理，然后進(jìn)行閾值分割。如圖3(b)所示，第一個(gè)鈑金件矩形區(qū)域內(nèi)存在大量噪聲點(diǎn)以及由于區(qū)域膨脹而誤入的另外兩個(gè)工件的邊角，按照待檢測(cè)工件中的步驟3）進(jìn)行處理，去除窗口內(nèi)的干擾對(duì)象，最后獲得待檢測(cè)工件的幾何形狀。

圖3　圖像處理結(jié)果

3　實(shí)驗(yàn)與數(shù)據(jù)分析

3.1實(shí)驗(yàn)平臺(tái)介紹

鈑金件缺陷檢測(cè)系統(tǒng)的實(shí)驗(yàn)平臺(tái)如圖4所示，機(jī)器人與機(jī)器視覺(jué)構(gòu)成手-眼系統(tǒng)，實(shí)現(xiàn)在線(xiàn)檢測(cè)。其中，機(jī)器人本體為ABB-IRB120機(jī)器人。視覺(jué)系統(tǒng)中的攝像機(jī)為BASLER acA2500-14gm，單位像素為2.2um。鏡頭為M2514-MP2百萬(wàn)像素鏡頭，焦距為25mm。系統(tǒng)中采用環(huán)形光源，可有效地減少環(huán)境光對(duì)圖像的干擾。系統(tǒng)軟件是在Microsoft Visual Studio 2010語(yǔ)言環(huán)境下，采用HALCON程序包進(jìn)行圖像處理算法的開(kāi)發(fā)和編譯。

圖4　實(shí)驗(yàn)平臺(tái)

3.2實(shí)驗(yàn)結(jié)果

鈑金件的檢測(cè)結(jié)果如圖5所示，其中，合格的鈑金件用綠色字體“合格品”表示，有缺陷的用紅色字體“不合格品”表示。圖中藍(lán)色矩形框?yàn)榕蛎浉鱾€(gè)鈑金件的區(qū)域面積和長(zhǎng)度后生成的包容矩形窗口。由圖可知，由于對(duì)包容矩形窗口進(jìn)行了膨脹，當(dāng)鈑金件排列的位置比較緊湊時(shí)，容易錯(cuò)誤地計(jì)算其他工件的部分面積。例如，在計(jì)算圖5中下排左數(shù)第三個(gè)鈑金件的區(qū)域面積時(shí)，包容矩形窗口囊括了左側(cè)鈑金件的右下角部分、右側(cè)鈑金件的左下角部分、上側(cè)鈑金件的底部和右上角鈑金件的左下角部分。因此，本文在計(jì)算包容矩形窗口內(nèi)的面積之前，首先連通了窗口中的區(qū)域，然后分別計(jì)算其連通區(qū)域的各個(gè)面積，再篩選出小面積區(qū)域并去除，只保留最大的連通區(qū)域，即為該包容矩形窗口內(nèi)鈑金件的區(qū)域面積。由此可見(jiàn)，結(jié)合模板匹配和膨脹窗口區(qū)域可以有效地實(shí)現(xiàn)鈑金件缺陷在線(xiàn)檢測(cè)。

圖5　檢測(cè)結(jié)果

3.3實(shí)驗(yàn)數(shù)據(jù)分析

為了驗(yàn)證該算法的準(zhǔn)確度和穩(wěn)定性，在光照強(qiáng)度不同的條件下，共對(duì)8組圖像進(jìn)行了檢測(cè)實(shí)驗(yàn)。每組圖像中鈑金件的數(shù)量分別為1至8件，且每組圖像中，分別取不同的鈑金件進(jìn)行4次實(shí)驗(yàn)，因此，共對(duì)128個(gè)鈑金件進(jìn)行了檢測(cè)，實(shí)驗(yàn)結(jié)果如表2所示。

表2　18組鈑金件檢測(cè)結(jié)果

由表2可知，無(wú)論圖像中識(shí)別的對(duì)象是一個(gè)還是多個(gè)，本算法都能準(zhǔn)確的識(shí)別出有缺陷的鈑金件。對(duì)檢測(cè)結(jié)果求平均值，正確率可達(dá)97.7%?？芍?，本算法的準(zhǔn)確度較高，且具有一定的穩(wěn)定性。

4　結(jié)論

1）本文設(shè)計(jì)了鈑金件缺陷在線(xiàn)檢測(cè)系統(tǒng)，基于機(jī)器視覺(jué)構(gòu)建機(jī)器人手-眼系統(tǒng)，實(shí)現(xiàn)了鈑金件缺陷的在線(xiàn)實(shí)時(shí)檢測(cè)功能。該系統(tǒng)穩(wěn)定性好，可靠性高，且具有較好的適應(yīng)性。

2）鈑金件缺陷檢測(cè)系統(tǒng)對(duì)圖像處理的實(shí)時(shí)性和準(zhǔn)確度的要求非常高，因此，本文首先對(duì)圖像進(jìn)行中值濾波去噪，使其具有一定的魯棒性。然后基于幾何形狀金字塔分層匹配，大大地減少了計(jì)算量，提高了運(yùn)算速度，較好地解決了具有復(fù)雜噪聲的鈑金件圖像的特征提取和檢測(cè)的實(shí)時(shí)性問(wèn)題。

3）針對(duì)基于幾何形狀金字塔分層匹配誤判的工件，創(chuàng)新性地結(jié)合圖像窗口、閾值分割、區(qū)域連通、區(qū)域面積和長(zhǎng)度計(jì)算等技術(shù)，開(kāi)發(fā)了膨脹窗口區(qū)域檢測(cè)算法，從而增加了本算法的準(zhǔn)確度。通過(guò)對(duì)128個(gè)對(duì)象進(jìn)行檢測(cè)，正確率達(dá)97.7%，可知，基于機(jī)器視覺(jué)的鈑金件缺陷在線(xiàn)檢測(cè)算法具有較好的實(shí)際應(yīng)用價(jià)值。

[1] 張永軍,張祖勛,張劍清.基于序列圖像的工業(yè)鈑金件件三維重建與視覺(jué)檢測(cè)[J].清華大學(xué)學(xué)報(bào)(自然科學(xué)版),2004,(04)：534-537.

[2] 張瑩,王兆輝.面向鈑金件零件可制造性的特征識(shí)別[J].山東大學(xué)學(xué)報(bào)(工學(xué)版),2006,02：4-7,21.

[3] S. M. Tam, K. C. Cheung. A New Approach for Machined Parts Inspection[J].The International Journal of Advanced Manufacturing Technology,2001,Vol.17(1)：54-60.

[4] 張川.飛機(jī)鈑金件特征數(shù)字化檢測(cè)預(yù)處理技術(shù)研究[D].南京航空航天大學(xué),2014.

[5] 劉曙光,劉明遠(yuǎn),何鉞.基于機(jī)器視覺(jué)的汽車(chē)儀表板智能檢測(cè)方法[J].機(jī)械科學(xué)與技術(shù),1998,(02)：145-147.

[6] 王振民,張麗玲,薛家祥.基于視覺(jué)處理的焊縫質(zhì)量檢測(cè)與控制系統(tǒng)[J].焊接技術(shù),2007,(03)：60-62,4.

[7] 張有權(quán).基于機(jī)器視覺(jué)的鈑金件件樣板自動(dòng)影像測(cè)量系統(tǒng)[D].南京航空航天大學(xué),2007.

[8] 李婧,黃進(jìn).一種圖像測(cè)量中的快速中值濾波算法[J].微計(jì)算機(jī)信息,2007,(21)：299-300,310.

[9] 李琳,李春,鄒焱飚.基于機(jī)器視覺(jué)焊接軌跡搜索算法[J].焊接學(xué)報(bào),2015,(06)：57-60,115-116.

[10] Carsten Steger, Markus Ulrich, ChristainWiedemann.機(jī)器視覺(jué)算法與應(yīng)用[M].楊少榮,吳迪靖,段德山,等譯.北京：清華大學(xué)出版社,2008.

A on-line defect inspection algorithm of sheet metal parts based on machine vision

LI Chun1, LI Lin2, ZOU Yan-biao2, ZENG Liang-hua1

TP278

A

1009-0134(2016)07-0056-04

2016-03-23

廣東省機(jī)械工程及自動(dòng)化專(zhuān)業(yè)綜合改革試點(diǎn)項(xiàng)目（320006/021）

李春（1987 -），女，湖南衡陽(yáng)人，碩士，研究方向?yàn)闄C(jī)器視覺(jué)與圖像處理技術(shù)。