陳新華 唐順海 劉宇哲 李志娟 王宇紅

摘? 要：為實(shí)現(xiàn)機(jī)械零部件裝配過程中漏裝或錯(cuò)裝等裝配質(zhì)量問題的自動(dòng)檢測(cè)，對(duì)機(jī)器視覺的技術(shù)進(jìn)行了研究，提出一種嶄新的基于機(jī)器視覺的圖像一致性比對(duì)的通用檢測(cè)算法。采用模板匹配方法對(duì)實(shí)時(shí)圖像進(jìn)行校準(zhǔn)，并與建立好的標(biāo)準(zhǔn)模板圖像進(jìn)行圖像差分，通過Blob分析進(jìn)行圖像差異的量化與判斷。最后進(jìn)行了算法軟件開發(fā)及實(shí)驗(yàn)驗(yàn)證，結(jié)果表明檢測(cè)效果良好并且具有一定通用性。

關(guān)鍵詞：機(jī)器視覺;模板匹配;圖像差分;一致性比對(duì)

中圖分類號(hào)：TP391.4;TP183? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2021）05-0121-04

Research on Image Consistency Comparison Algorithm Based on Machine Vision

CHEN Xinhua，TANG Shunhai，LIU Yuzhe，LI Zhijuan，WANG Yuhong

（Intelligent Testing Equipment Branch of Hunan Aerospace Tianlu New Material Testing Co.，Ltd.，Changsha? 410221，China）

Abstract：In order to realize the automatic inspection of assembly quality problems such as missing or wrong assembly during the assembly process of mechanical components and parts，the technology of machine vision is studied. A completely new universal detection algorithm for image consistency comparison based on machine vision is proposed. The template matching method is used to calibrate the real-time image and the image difference is performed with the established standard template image. The Blob analysis is used to quantify and judge the image difference. Finally，the algorithm software development and experimental verification are carried out，and the results show that the detection effect is good and has a certain universality.

Keywords：machine vision;template matching;image difference;consistency comparison

0? 引? 言

某機(jī)械零部件生產(chǎn)工藝復(fù)雜，大部分工序依賴手工操作，由于裝配過程中的零件種類多樣，品種復(fù)雜，難免出現(xiàn)漏裝或錯(cuò)裝的現(xiàn)象，因此裝配過程中的防錯(cuò)檢測(cè)非常重要。傳統(tǒng)人工目檢的方式容易受到檢測(cè)人員的主觀因素影響，無法保證結(jié)果的可靠性和穩(wěn)定性，進(jìn)而影響產(chǎn)品的裝配質(zhì)量[1]。機(jī)器視覺作為一門迅速發(fā)展的人工智能技術(shù)，目前已經(jīng)廣泛應(yīng)用于工業(yè)檢測(cè)中。通過視覺檢測(cè)代替人工檢測(cè)，符合智能化、自動(dòng)化的發(fā)展趨勢(shì)[2-4]。

本文針對(duì)機(jī)械零部件的裝配質(zhì)量問題，通過對(duì)機(jī)器視覺技術(shù)的研究，提出一種基于機(jī)器視覺的圖像一致性比對(duì)算法，實(shí)現(xiàn)機(jī)械產(chǎn)品裝配過程中關(guān)鍵部件的漏裝或錯(cuò)裝檢測(cè)，并且該方法具有一定的通用性。

1? 算法原理

本文算法分為訓(xùn)練模塊和檢測(cè)模塊。訓(xùn)練指的是對(duì)標(biāo)準(zhǔn)圖像進(jìn)行訓(xùn)練建模的過程，它通過采集到的良品圖像進(jìn)行模板圖像訓(xùn)練，建立標(biāo)準(zhǔn)的輪廓模型。檢測(cè)模塊是將實(shí)時(shí)圖像與模板圖像進(jìn)行一致性對(duì)比，該模塊首先通過模板匹配算法進(jìn)行產(chǎn)品定位，之后采用定位的結(jié)果進(jìn)行圖像配準(zhǔn)，將實(shí)時(shí)檢測(cè)圖像與模板圖像對(duì)齊，然后將檢測(cè)圖像與模板圖像進(jìn)行圖像差分處理得到差異圖像，最后再對(duì)差異圖像進(jìn)行Blob分析，最終得到檢測(cè)的結(jié)果。算法流程圖如圖1所示。

2? 算法實(shí)現(xiàn)過程

2.1? 模板訓(xùn)練與配準(zhǔn)

圖像一致性比對(duì)的第一步就是需要對(duì)產(chǎn)品圖像進(jìn)行圖像配準(zhǔn)，也就是說將實(shí)時(shí)產(chǎn)品圖像與標(biāo)準(zhǔn)模板圖像盡可能地重合。圖像配準(zhǔn)大致上有兩種方式，第一種是通過提取圖像中的某些特征點(diǎn)，計(jì)算兩幅圖像對(duì)應(yīng)特征點(diǎn)的相關(guān)性來進(jìn)行圖像匹配。另一種方法是通過計(jì)算圖像灰度分布或圖像邊緣形狀的方式獲取模板，在圖像中查找相似的模板從而定位圖像匹配位置[5]。

模板匹配的思路是將目標(biāo)圖像與標(biāo)準(zhǔn)模板進(jìn)行比較，在目標(biāo)圖像上找到相對(duì)應(yīng)的模板區(qū)域[6]。具體的方法是在待匹配圖像上對(duì)圖版圖像進(jìn)行搜尋，每進(jìn)行一次匹配計(jì)算就會(huì)得出一個(gè)相似性度量值，在所有搜尋的結(jié)果中，計(jì)算得到相似性度量值最大的位置，也就是最優(yōu)的匹配位置。

一般來講，基于特征提取的圖像配準(zhǔn)方法，計(jì)算量小，效率較高，但是該方法也損失了圖像信息，同時(shí)圖像分割和特征提取會(huì)產(chǎn)生一定的誤差，使配準(zhǔn)結(jié)果不準(zhǔn)確。

本文采用基于輪廓的形狀模板匹配方法進(jìn)行圖像配準(zhǔn)，這種方法能夠適應(yīng)光照、遮擋、變化的尺寸、位置和旋轉(zhuǎn)，有甚者是模板部分的相對(duì)移動(dòng)。而且匹配速度快，位置精度高。下文具體論述模型創(chuàng)建步驟。

2.1.1? 尋找圖像梯度和方向

在模板圖像上使用Sobel算子計(jì)算得到X（Gx）和Y（Gy）梯度方向，利用以下公式可以計(jì)算邊緣幅度和方向：

2.1.2? 非極大值抑制

在找到邊緣方向后，我們將做一個(gè)非極大值抑制操作。在求出的幅值圖像中，可能存在多個(gè)較大幅值臨近的情況，但真正的邊緣點(diǎn)只有一個(gè)，針對(duì)這樣的情況我們進(jìn)行非極大值抑制，找出局部最大值，從而可以剔除大部分非邊緣點(diǎn)。非極大抑制沿邊緣方向跟蹤左右像素，如果當(dāng)前像素大小小于左右像素大小，則抑制當(dāng)前像素大小。

2.1.3? 雙閾值檢測(cè)

使用滯后閾值需要兩個(gè)閾值：高閾值和低閾值。我們用一個(gè)高閾值來標(biāo)記那些我們可以確定是真實(shí)的邊緣。如果某一像素位置的幅值小于低閾值，則該像素被排除。如果某一像素位置的幅值在兩個(gè)閾值之間，該像素僅僅在連接到一個(gè)高于高閾值的像素時(shí)被保留。

2.1.4? 創(chuàng)建模型

提取邊緣后，將選定邊緣的X、Y導(dǎo)數(shù)與坐標(biāo)信息保存為模板模型。圖2為標(biāo)準(zhǔn)模板圖像，圖3為模板圖像提取的輪廓模型。

模板匹配過程為：

匹配的任務(wù)是利用模板模型在搜索圖像中找到目標(biāo)。在模板圖像T中包含一系列的點(diǎn)集 ，以及每個(gè)點(diǎn)相關(guān)聯(lián)的方向向量 ，其中i=1，2，…，n。同樣的在檢測(cè)圖像S中，我們也可以計(jì)算出 。在匹配過程中，需要使用相似性度量將模板模型與所有位置的搜索圖像進(jìn)行比較。相似度度量的思想是在模型數(shù)據(jù)集中搜索圖像的所有點(diǎn)，計(jì)算模板圖像梯度向量的所有歸一化點(diǎn)積之和，這將在搜索圖像的每個(gè)點(diǎn)上得到一個(gè)分?jǐn)?shù)Score，公式為：

如果模板模型和搜索圖像完全匹配，則該函數(shù)將返回1，如果搜索圖像中不存在該對(duì)象，得分將為0。相關(guān)性系數(shù)的值越小，表明物體間越不相似，差異越大;反之則相似度越大差異越小。Score最大值所對(duì)應(yīng)的坐標(biāo)的位置就是模板圖像在待匹配圖像中的最優(yōu)匹配位置。同時(shí)在匹配結(jié)果中，我們還可以得到檢測(cè)圖像相對(duì)模板的角度、位置以及縮放比例等，進(jìn)而計(jì)算出檢測(cè)圖像與模板圖像之間的仿射矩陣。配準(zhǔn)的過程也就是將檢測(cè)圖像通過得到的仿射矩陣進(jìn)行仿射變換從而與模板圖像重合。

2.2? 圖像差分

圖像差分在檢測(cè)圖像灰度變化等方面具有較大的速度優(yōu)勢(shì)，它的主要思想就是將同一個(gè)目標(biāo)在不同的時(shí)間下采集的圖像進(jìn)行圖像相減運(yùn)算，其原理就是把待檢測(cè)的圖像與模板圖像對(duì)應(yīng)坐標(biāo)的像素灰度值相減，這就是差分運(yùn)算，差分的結(jié)果就是兩幅圖像的差異。差分算法一般用于視頻監(jiān)控、運(yùn)動(dòng)目標(biāo)跟蹤以及目標(biāo)識(shí)別等領(lǐng)域[7]。

模板匹配在檢測(cè)圖像中找到最佳匹配位置再經(jīng)過配準(zhǔn)后，檢測(cè)圖像中的產(chǎn)品與標(biāo)準(zhǔn)圖像中的產(chǎn)品具有相同的位姿，用圖像差分的方法將兩幅圖像做差分處理，通過差分圖像就可以獲得模板圖像與檢測(cè)圖像之間的差異信息。公式為：

D（x，y）=|T（m，n）-G（m′，n′）|

其中，T（m，n）為模板圖像，G（m′，n′）為檢測(cè)圖像，D（x，y）為差值圖像。當(dāng)D（x，y）越小，說明兩幅圖像越一致;當(dāng)D（x，y）越大，說明兩幅圖像差別越大。如圖4所示為待檢測(cè)圖像，圖5為檢測(cè)圖像經(jīng)過匹配校準(zhǔn)后的圖像，圖6為校準(zhǔn)后圖像與標(biāo)準(zhǔn)模板圖像進(jìn)行差分后的差分圖像。

2.3? Blob分析

通過圖像差分法得到檢測(cè)圖像與模板圖像的差異圖像后，需要對(duì)差異圖像進(jìn)行圖像分析來進(jìn)一步量化和判別。Blob分析其實(shí)就是將圖像進(jìn)行二值化，分割得到前景和背景，然后進(jìn)行連通域檢測(cè)，從而得到Blob塊的過程。提取出目標(biāo)區(qū)域后就可以對(duì)目標(biāo)區(qū)域進(jìn)行形態(tài)參數(shù)特征計(jì)算和統(tǒng)計(jì)。

二值化工具實(shí)質(zhì)是對(duì)圖像灰度進(jìn)行分割，它的基本原理是以某個(gè)閾值為分界，灰度值小于閾值的像素設(shè)置成0，反之則設(shè)置成255。閾值分割主要包括手動(dòng)閾值和自動(dòng)閾值兩種方法。手動(dòng)閾值顧名思義就是人為設(shè)置固定的閾值，自動(dòng)閾值就是自動(dòng)計(jì)算閾值進(jìn)行分割。自動(dòng)閾值法常用的是迭代法和大津法[8，9]。迭代法基于逼近的思想，首先根據(jù)圖像的灰度分布情況，選取一個(gè)近似閾值作為初始閾值，然后通過分割圖像和修改閾值的迭代過程獲得認(rèn)可的最佳閾值。大津法使用了最大類間方差法，是按圖像的灰度特性，將圖像分成前景和背景兩部分，前景和背景之間的類間方差越大，說明構(gòu)成圖像的兩部分的差別越大。當(dāng)部分前景錯(cuò)分為背景或部分背景錯(cuò)分為前景都會(huì)導(dǎo)致兩部分差別變小。因此，使類間方差最大的分割意味著錯(cuò)分概率最小。如圖7所示為對(duì)差分圖像進(jìn)行二值化處理后的圖像。

在二值化后需要對(duì)圖像進(jìn)行形態(tài)學(xué)處理，該處理的基本思想是用具有一定形態(tài)的結(jié)構(gòu)元素去度量和提取圖像中的對(duì)應(yīng)形狀以達(dá)到對(duì)圖像分析和識(shí)別的目的。常用的形態(tài)學(xué)圖像處理的基本運(yùn)算包括膨脹、腐蝕、開操作和閉操作等[10]。為消除差分二值化后圖像中孤立的小點(diǎn)、線條，采用形態(tài)學(xué)開運(yùn)算進(jìn)行處理。經(jīng)過二值化和形態(tài)學(xué)操作后，圖像中的區(qū)域基本上就是實(shí)時(shí)圖像與模板圖像的真實(shí)差異部分，再對(duì)目標(biāo)區(qū)域就行特征提取與分析后就可以判定檢測(cè)結(jié)果。如圖8所示為二值化圖像經(jīng)過形態(tài)學(xué)處理后的圖像。

3? 實(shí)驗(yàn)與結(jié)果分析

某機(jī)械零部件在裝配過程中大量用到螺釘，通常由操作人員使用電動(dòng)螺絲刀完成裝配。由于螺釘?shù)耐庑纬叽巛^小，同時(shí)人工裝配多個(gè)螺釘時(shí)容易發(fā)生漏裝的情況。部件產(chǎn)品裝配線及其零部件的種類繁多，螺釘檢測(cè)場(chǎng)景具有一定的代表性。搭建圖像采集系統(tǒng)并編寫算法軟件，對(duì)部件產(chǎn)品螺釘漏裝問題進(jìn)行檢測(cè)。

軟件操作流程為首先采集標(biāo)準(zhǔn)圖像建立模板，建立模板的方式可以選擇全圖或者框選局部，檢測(cè)區(qū)域也可以設(shè)置為全局或局部檢測(cè)。設(shè)置好模板和檢測(cè)區(qū)域范圍后執(zhí)行模板訓(xùn)練，再設(shè)置合適的檢測(cè)參數(shù)，最終對(duì)測(cè)試圖像執(zhí)行檢測(cè)操作。如圖9和圖10所示為軟件界面。

通過采集不同姿態(tài)下的產(chǎn)品圖像進(jìn)行實(shí)時(shí)檢測(cè)，良品均檢測(cè)為合格，漏裝產(chǎn)品和錯(cuò)裝不良產(chǎn)品檢測(cè)結(jié)果判定為不良并且用紅色框定位了缺陷的位置。如圖9所示為良品檢測(cè)，檢測(cè)結(jié)果為OK，如圖10所示為不良品檢測(cè)結(jié)為NG。從實(shí)驗(yàn)測(cè)試表明該算法能有效檢測(cè)得到不同姿態(tài)位置下機(jī)械部件產(chǎn)品螺釘?shù)娜笔А?/p>

4? 結(jié)? 論

本文提出的基于機(jī)器視覺的圖像一致性比對(duì)算法，首先采用模板匹配算法進(jìn)行圖像配準(zhǔn)，再將校準(zhǔn)之后的圖像與模板圖像進(jìn)行差分計(jì)算出差分圖像，再進(jìn)一步進(jìn)行Blob分析從而檢測(cè)出模板圖像與標(biāo)準(zhǔn)圖像的差異。設(shè)計(jì)和開發(fā)相應(yīng)的檢測(cè)軟件并做了試驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果表明該算法可以有效地檢測(cè)出機(jī)械零部件產(chǎn)品裝配過程中螺釘漏裝，能夠滿足工業(yè)檢測(cè)的要求。該算法具有一定的通用性，可以適當(dāng)應(yīng)用到其他的零件漏裝或錯(cuò)裝檢測(cè)場(chǎng)景當(dāng)中。

參考文獻(xiàn)：

[1] 席斌，王振雷，錢鋒.機(jī)器視覺工業(yè)檢測(cè)系統(tǒng)的應(yīng)用與發(fā)展 [J].控制工程，2006（S1）：220-222.

[2] 陳洋，張林.工業(yè)視覺檢測(cè)系統(tǒng)及應(yīng)用 [J].科技展望，2015，25（16）：119+121.

[3] LAHAJNAR F，BERNARD R. Machine vision system for inspecting electric plates [J].Computer in Industry，2002，47（1）：113-121.

[4] 趙大興，孫國(guó)棟.可重構(gòu)視覺檢測(cè)理論與技術(shù) [M].北京：科學(xué)出版社，2014.

[5] HU T，GUO B P，GUO X，et al.Contour feature based on image registration [J].Opto-Electronic Engineering，2009，36（11）：118-122+127.

[6] SALVE S G，JONDHALE K C. Shape Matching and Object Recognition Using Shape Contexts [C]//2010 3rd International Conference on Computer Science and Information Technology.Chengdu：IEEE，2010：471-474.

[7] 曹丹華，鄒偉，吳裕斌.基于背景圖像差分的運(yùn)動(dòng)人體檢測(cè) [J].光電工程，2007（6）：107-111.

[8] 韓思奇，王蕾.圖像分割的閾值法綜述 [J].系統(tǒng)工程與電子技術(shù)，2002（6）：91-94+102.

[9] 魯斯.數(shù)字圖像處理 [M].余翔宇，譯.北京：電子工業(yè)出版社，2014.

[10] 阮秋琦.數(shù)字圖像處理學(xué) [M].北京：電子工業(yè)出版社，2007.

作者簡(jiǎn)介：陳新華（1990—），男，漢族，湖南婁底人，算法工程師，碩士，研究方向：機(jī)器視覺、圖像處理;唐順海（1979—），男，漢族，湖南永州人，軟件工程師，本科，研究方向：系統(tǒng)集成與信息系統(tǒng)管理;劉宇哲（1987—），男，漢族，湖南湘潭人，材料工程師，博士，研究方向：傳感器與材料檢測(cè);李志娟（1970—），女，漢族，天津人，高級(jí)工程師，博士，研究方向：先進(jìn)光源和X射線;王宇紅（1983—）女，漢族，湖南益陽(yáng)人，中級(jí)工程師，碩士，研究方向：工業(yè)CT圖像處理與缺陷識(shí)別