樓旭東，曹松曉，蔣慶，徐志鵬，湯建斌

(中國計量大學(xué)計量測試工程學(xué)院，浙江杭州 310016)

0 前言

近年來隨著我國制冷領(lǐng)域的快速發(fā)展，膨脹閥作為制冷系統(tǒng)中重要的零部件，其生產(chǎn)檢測技術(shù)獲得越來越多的關(guān)注。膨脹閥在制冷系統(tǒng)中起著實現(xiàn)冷凝壓力至蒸發(fā)壓力節(jié)流的作用，對制冷系統(tǒng)的整體性能有至關(guān)重要的影響。為防止生產(chǎn)運輸過程中產(chǎn)生的缺陷影響膨脹閥的性能，在出廠前需對膨脹閥各閥孔進行檢測。針對安裝孔缺陷的檢測，目前國內(nèi)生產(chǎn)企業(yè)多采用人工觀察、手動剔除的方式，但因其效率低下、可靠性差、漏檢率高，嚴重制約了行業(yè)的發(fā)展。近年來機器視覺技術(shù)憑借其快速性、精確性、智能化等特性已廣泛應(yīng)用到現(xiàn)代工業(yè)的各行各業(yè)中。在工業(yè)4.0的背景下，自動化設(shè)備取代人工檢測已是大勢所趨，且目前行業(yè)內(nèi)針對膨脹閥安裝孔的缺陷檢測方法較少或尚未成熟。綜上，研究基于機器視覺的膨脹閥安裝孔缺陷檢測方法以替代人工檢測具有充分的可行性與必要性。

機器視覺是實現(xiàn)缺陷檢測的主流方法之一?；跈C器視覺的缺陷檢測方法大致可以分為三類：缺陷區(qū)域提取、圖像對比差分、圖像紋理檢測。對于缺陷區(qū)域提取，余厚云和張輝使用基于連通域的輪廓提取算法和圖像分割實現(xiàn)了汽車渦輪殼零件表面的缺陷檢測。對于圖像對比差分，URBANEK等通過閾值分割提取輸氣管道表面缺陷，將缺陷特征區(qū)域與已知缺陷模板對比，從而提取缺陷。對于圖像紋理檢測，苑瑋琦等通過分析雪糕木棒表面紋理信息的灰度特征鎖定缺陷的位置。

對于形如膨脹閥安裝孔的圓環(huán)結(jié)構(gòu)對象的缺陷檢測，汪鳳林等通過對獲取的輪廓邊緣進行計算、擬合與差分，提出了一種飛輪齒圈缺陷和尺寸的檢測方法，能夠?qū)崿F(xiàn)缺齒和殘齒的定位；項新建等設(shè)計一套軸承墊圈表面缺陷檢測及分類系統(tǒng)，用最小二乘法圓擬合提取感興趣區(qū)域，基于形狀指標和多個閾值實現(xiàn)缺陷提取與分類；黃森林等提出一種基于隨機圓擬合評估定位圓心和通過投影特征分區(qū)域分割磁滯閾值的瓶口缺陷檢測方法。以上提到的方法，其實現(xiàn)均建立在待測對象已從背景中實現(xiàn)理想分割的前提下，且上述方法在檢測區(qū)分度較小的缺陷時準確率較低，難以應(yīng)用到膨脹閥這類具有復(fù)雜表面對象的缺陷檢測中。為此，本文作者主要基于缺陷區(qū)域提取的思想，針對膨脹閥安裝孔缺陷的成像特點，提出一種高效率、高精度的基于機器視覺的膨脹閥安裝孔缺陷檢測方法。針對閥體表面較為復(fù)雜、輪廓難以提取的問題，使用SURF(Speeded Up Robust Features)特征匹配定位待檢測區(qū)域；通過基于雙閾值遲滯分割法的預(yù)處理方法去除噪聲，利用Canny算子計算輪廓邊緣，并使用鄰域生長法提取輪廓信息。為準確定位安裝孔圓心，針對缺陷信息的干擾，提出基于幾何矩與最小二乘擬合的圓心定位方法。根據(jù)輪廓上的點到圓心的距離分割出缺陷輪廓并在輸入圖像上進行標注，從而實現(xiàn)安裝孔缺陷的檢測與提取。

1 系統(tǒng)結(jié)構(gòu)

基于機器視覺的膨脹閥安裝孔缺陷檢測方法，系統(tǒng)硬件主要包括：工業(yè)相機、遠心鏡頭、同軸光源、檢測平臺與計算機。其中，工業(yè)相機選用HIKVISION的MV-CA060-11GC工業(yè)面陣相機(分辨率3 072像素×2 048像素)。鏡頭選用燦銳XF-PTL11008-C雙側(cè)遠心鏡頭，遠心度小于0.04°，光學(xué)畸變小于0.095，能較好地抑制圖像畸變。光源選用康視達CST-COS25-W同軸光源面打光，相較主流的環(huán)形光源，其同軸光源亮度高、光照均勻且能凸顯物體表面不平整，能夠較好地克服因光照不均勻而產(chǎn)生的閥體金屬表面反光造成的干擾。檢測系統(tǒng)實物如圖1所示。將待測閥體置于檢測臺面中央，工業(yè)相機采集待測圖像并輸入至軟件算法中，實現(xiàn)膨脹閥表面缺陷的提取與檢測。系統(tǒng)結(jié)構(gòu)如圖2所示。

圖1 檢測系統(tǒng)實物

圖2 系統(tǒng)結(jié)構(gòu)

2 膨脹閥安裝孔缺陷檢測算法

膨脹閥安裝孔缺陷是指在生產(chǎn)、運輸或保存過程中由于操作不當(dāng)而在安裝孔附近產(chǎn)生的凹陷、劃傷、油污等缺陷。為防止影響膨脹閥的性能，必須對它進行檢測和剔除。膨脹閥表面圖像如圖3所示。

圖3 膨脹閥表面圖像

在采得圖像后，首先使用SURF特征檢測算法定位匹配點并根據(jù)相對位姿計算提取感興趣區(qū)域(Region of Interest,ROI)。為減小圖像噪聲的影響和方便隨后的輪廓提取，使用包括雙閾值遲滯分割法的預(yù)處理方法對圖像進行預(yù)處理。通過Canny算子計算出預(yù)處理圖像的輪廓邊緣并通過區(qū)域生長法提取輪廓信息。使用本文作者提出的基于幾何矩與最小二乘法的圓心定位方法定位輪廓圓心，并根據(jù)輪廓上的點到圓心的距離提取缺陷。最終根據(jù)是否提取到缺陷輪廓判斷當(dāng)前檢測閥體是否合格。檢測流程如圖4所示。

圖4 檢測流程

2.1 特征匹配

膨脹閥圖像中，除待檢測的安裝通孔區(qū)域外，還存在其他閥孔以及背景等干擾因素。為提高算法的檢測精度和檢測效率，需將圖像處理的范圍限定在安裝孔區(qū)域內(nèi)。對于圓形區(qū)域的定位，傳統(tǒng)的圓定位方法，如Hough變換法，在處理背景復(fù)雜的對象時易出現(xiàn)擬合結(jié)果偏離真實邊緣的問題，從而導(dǎo)致定位錯誤。為提高定位精度，結(jié)合膨脹閥表面各區(qū)域相對位置固定的特點，通過SURF特征檢測算法定位ROI。將特征性較強的冷凝器口作為匹配模板，對待檢測圖像和模板圖像進行特征點提取和匹配，并根據(jù)特征點匹配關(guān)系計算變換矩陣，根據(jù)冷凝器口與安裝孔的相對位姿獲取ROI的坐標信息，完成ROI的提取。

2.1.1 匹配點計算

冷凝器口區(qū)域特征性較強，因此將完好膨脹閥的冷凝器口圖像作為標準匹配模板。確定匹配模板與輸入圖像的特征匹配關(guān)系的方法如下：

(1)構(gòu)建圖像的Hessian矩陣，計算每個像素的判別式值。對于圖像(,)，其尺度為的Hessian矩陣為

(1)

對應(yīng)的判別式為

()=-(09)

(2)

式中:為沿方向的高斯二階偏導(dǎo)在(,)處與圖像的卷積，、同理。

(2)構(gòu)造尺度空間，并將每個像素的判別式值與空間鄰域內(nèi)的鄰點進行對比。若該點的判別式值為極大點或極小點，則確定當(dāng)前點為極值點。濾除定位錯誤與能量較低的極值點后，剩余的極值點即為特征點。計算獲得的圖像特征點如圖5所示。

圖5 圖像特征點

(3)計算特征點的特征向量，并根據(jù)兩特征點間特征向量的歐氏距離確定匹配度，歐氏距離越短，匹配度越高。若兩點的歐氏距離在設(shè)定閾值內(nèi)，且矩陣跡正負相同，即可確定兩點是一對匹配點。遍歷模板圖像和輸入圖像的無歸屬特征點，使所有潛在匹配點完成配對并獲得對應(yīng)匹配點組。

2.1.2 透視變換

透視變換指將圖像從原視平面投影到一個新的視平面。將模板圖像上的匹配框端點投影到輸入圖像的視覺平面上，而模板圖像和輸入圖像的視覺平面一般不可能完全配準，需要進行透視變換。變換矩陣的計算公式如下：

(3)

(4)

式中:(,)為模板圖像的像素坐標；(,)為變換到輸入圖像上的像素坐標；′、′為中間變量；、、、為圖像旋轉(zhuǎn)、伸縮參數(shù)；、用于產(chǎn)生圖像透視變換;、為圖像平移量。由式(4)可知，只需給定對應(yīng)的至少4組匹配點的坐標即可求得透視變換矩陣；求得變換矩陣后，根據(jù)給定像素坐標亦可求得變換后對應(yīng)的像素坐標。將前文獲得的匹配點組代入式(4)中并求得變換矩陣。以模板圖像的邊緣制作矩形匹配框，求得模板圖像的4個端點坐標投影到輸入圖像上的對應(yīng)坐標，根據(jù)待檢測區(qū)域與匹配區(qū)域的相對位置信息完成ROI的提取。設(shè)匹配區(qū)域中心為(,)，ROI中心為(′,′)，則有：

(5)

式中:、為匹配區(qū)域中心與ROI中心像素坐標的差值且為已知量，由此計算出ROI中心坐標(′,′)，根據(jù)設(shè)定的矩形區(qū)域提取ROI。透視變換與ROI提取效果如圖6所示。

圖6 透視變換與ROI提取

2.2 輪廓提取算法

為分析缺陷信息，需對安裝孔輪廓進行提取。對提取的ROI圖像進行灰度轉(zhuǎn)換與低通濾波處理，通過雙閾值遲滯分割法對圖像進行二值分割。使用Canny算子計算輪廓邊緣，并進行閉操作(Close)合并連通區(qū)域。對于屬于同一輪廓的點，利用區(qū)域生長算法進行提取并儲存在數(shù)組中以便進一步處理。

2.2.1 圖像的預(yù)處理

圖像在采集和傳輸時往往會受到外界環(huán)境的干擾，從而產(chǎn)生噪聲；膨脹閥的表面有特殊的紋理噪聲和金屬反光，亦會影響檢測效果。為提高檢測效果，在進行缺陷檢測前需要對圖像進行預(yù)處理。圖像的預(yù)處理方案如下：

(1)對輸入的RGB圖像進行灰度轉(zhuǎn)換，根據(jù)圖像各個通道的采樣值進行加權(quán)平均,計算出灰度值取代原像素值。考慮到人眼的生理特點，選用以下加權(quán)系數(shù)計算灰度：=0.299+0587+0114。

(2)為減少金屬紋理和其他細小噪聲的影響，用尺寸為5×5的高斯低通濾波器對圖像進行濾波處理。

(3)為增強輪廓、抑制噪聲，對圖像進行閾值分割。結(jié)合實驗效果，選用雙閾值遲滯分割法對圖像進行閾值分割。雙閾值遲滯分割法在處理低強度邊緣時能較好地保存真實邊緣。對于完成灰度轉(zhuǎn)換與低通濾波處理的圖像，設(shè)其當(dāng)前點坐標灰度為(,)，設(shè)低閾值，高閾值。若當(dāng)前坐標點灰度(,)大于高閾值或小于低閾值，則將其置為0；若(,)介于高、低閾值之間，則保留它的值。該過程可用式(6)表示：

(6)

對于(,)介于高低閾值之間的像素點，搜索其4個鄰域，若鄰域中存在灰度不為0的點，則認定該點為輪廓真點，將其置為255，否則將其置為0。該方法能夠較好地分割輪廓周圍微小的缺陷。經(jīng)實驗驗證，圖像=70、=230時獲得最佳分割效果。圖像的預(yù)處理效果如圖7所示。

圖7 圖像預(yù)處理

2.2.2 輪廓信息提取

對完成預(yù)處理的輸入圖像，使用Canny算子計算圖像輪廓的邊緣像素。為進一步增強邊緣信息和合并邊緣，對獲得的圖像進行閉操作(Close)處理,效果如圖8所示，圖中像素值為255的像素點可視為輪廓點。

圖8 提取輪廓

為提取輪廓并儲存輪廓信息以便后續(xù)計算，本文作者使用區(qū)域生長法對圖像進行進一步處理。主要流程如下：開始時，遍歷并標記輪廓圖像的像素，直至獲取一灰度為255的像素點，將它作為種子點，以它為中心，沿逆時針方向依次遍歷8個鄰近點。若某一鄰近點的灰度為255，說明該點是輪廓點，將與合并到同一區(qū)域內(nèi)，標記點及其鄰點為已遍歷點，并定位到；下一次遍歷以為中心，重復(fù)上述步驟；若當(dāng)前點鄰域內(nèi)無符合條件的點，則認為鄰域內(nèi)無輪廓點，結(jié)束生長。遍歷并標記圖像所有像素，濾除組成像素小于20的輪廓，實現(xiàn)輪廓信息提取。

2.3 缺陷種類分析

使用第2.2節(jié)中提出的輪廓提取方法對缺陷樣本進行處理。為更好地分析缺陷，結(jié)合安裝孔的同心圓環(huán)結(jié)構(gòu)與實際檢測需求，根據(jù)所處位置，將安裝孔缺陷分為3類：槽內(nèi)缺陷、外環(huán)缺陷、內(nèi)環(huán)缺陷。完好安裝孔與安裝孔缺陷如圖9所示。

圖9 完好安裝孔與安裝孔缺陷

2.4 圓心定位與缺陷提取

為提取缺陷信息，需先對輪廓的圓心進行定位。理想情況下，安裝孔圖像是由4個圓組成的同心嵌套圓環(huán)結(jié)構(gòu)。但在實際情況中，由于圖像畸變的影響，各圓的圓心往往不在同一位置，因此需分別計算各輪廓圓心。由外而內(nèi)，設(shè)外圓環(huán)相鄰邊緣對輪廓為、，內(nèi)圓環(huán)相鄰邊緣對輪廓為、。對于上述輪廓中的某一輪廓，設(shè)其理想圓心為。由于輪廓上可能存在缺陷信息的影響，直接對它進行擬合會產(chǎn)生較大誤差。為提高定位精度，本文作者提出一種基于幾何矩與最小二乘擬合的圓心定位方法，主要實現(xiàn)步驟如下：

(1)通過幾何矩定位輪廓的近似圓心，對于輪廓，其質(zhì)心坐標(,)的計算公式為

(7)

(8)

式中:為圖像的零階矩；、為圖像的一階矩；(,)為上某一像素坐標(,)的灰度。統(tǒng)計上的輪廓點，根據(jù)式(7)、式(8)計算得到對應(yīng)質(zhì)心坐標(,)，并將質(zhì)心作為的近似圓心。

(2)缺陷輪廓會對圓擬合的結(jié)果產(chǎn)生影響,為避免代入缺陷點使圓心定位結(jié)果產(chǎn)生較大偏差，需分離輪廓上的缺陷，剔除不良點。計算輪廓上各點到近似圓心距離的平均值，該過程可用式(9)表示：

(9)

式中:為輪廓上的像素點數(shù);為輪廓上某一點到的距離。由于缺陷的影響，近似圓心較理想圓心存在一定偏差。為防止誤將真實圓輪廓濾除，將保留邊界擴展3個像素，以為圓心，設(shè)定保留半徑區(qū)間為[-3,+3]像素，濾除區(qū)間之外的缺陷輪廓。使用上述方法依次對所有圓輪廓進行處理，濾除各輪廓。處理效果如圖10所示。

圖10 濾除缺陷輪廓

(3)對濾除缺陷后的4組輪廓分別進行最小二乘圓擬合。對于完成缺陷濾除的輪廓′，其某一像素坐標為(,)，設(shè)根據(jù)最小二乘法求得的擬合圓心為(,)，擬合半徑為，為該點到圓心(,)距離的平方和與擬合圓半徑的平方和之差，可用式(10)表示：

(10)

(11)

擬合半徑可由式(12)計算獲得：

(12)

通過上述方法求得擬合半徑后，濾去真實輪廓點，即以(,)為圓心，半徑范圍為[-3,+3]圓環(huán)區(qū)域內(nèi)的輪廓，完成缺陷輪廓的提取。使用上述方法，依次對輪廓、、、進行缺陷提取，并根據(jù)是否提取到輪廓，判斷樣本是否存在缺陷。計算缺陷輪廓的最小外接矩形，在輸入圖像上進行標注，如圖11所示。

圖11 缺陷標注

3 實驗數(shù)據(jù)

實驗中圖像處理部分運行平臺為Windows10系統(tǒng)，CPU型號為Inter(R) Core(TM) i7-8750H，主頻為2.20 GHz，內(nèi)存為16 GB，采用開源計算機視覺處理庫OpenCV 3.4.1在Visual Studio 2019開發(fā)環(huán)境下使用C++語言編程實現(xiàn)。運行一次耗時約305 ms，滿足現(xiàn)場檢測的需求。為驗證文中所提出算法的可靠性，設(shè)計了圓心定位算法對比實驗與缺陷檢測效果評定實驗。

3.1 圓心定位算法對比實驗

文中提出的安裝孔缺陷檢測方法準確率受圓心定位的精度影響。為驗證文中所提出的圓心定位方法的可靠性與精確度，設(shè)計如下對比實驗。對存在缺陷的某一輪廓，按照逆時針方向搜索其輪廓點，依次將輪廓點的坐標存入數(shù)組中并進行編號，該過程如圖12所示。計算所提出的圓心定位方法定位的圓心坐標到輪廓各點坐標的距離，并與最小二乘圓擬合法、質(zhì)心法求取的圓心坐標到輪廓各點坐標的距離進行比較，結(jié)果如圖13所示?？芍合噍^最小二乘圓擬合法與質(zhì)心法，文中方法對應(yīng)曲線更為平滑，說明文中提出的圓心定位方法能夠有效對抗缺陷的不良信息對圓心定位的干擾，定位精度較高。

圖12 輪廓點坐標存入

圖13 圓心定位算法對比實驗

3.2 缺陷檢測效果評定實驗

實際檢測時,缺陷的尺寸可根據(jù)需求定義，在文中的實驗條件下(0.026 mm/像素)認為缺陷提取后周長大于0.26 mm的輪廓即為缺陷。取槽內(nèi)缺陷、外環(huán)缺陷、內(nèi)環(huán)缺陷樣本各一枚，實際檢測效果如圖14所示。

圖14 膨脹閥安裝孔缺陷檢測效果

存在多種缺陷的混合缺陷樣本檢測效果如圖15所示。

圖15 混合缺陷樣本檢測效果

經(jīng)實驗驗證，本文作者提出的算法能夠準確檢測膨脹閥安裝孔缺陷，滿足工業(yè)生產(chǎn)自動化檢測的需求。

4 結(jié)語

本文作者提出了一種基于機器視覺的膨脹閥安裝孔缺陷檢測方法。通過SURF特征匹配算法定位ROI，使用基于雙閾值遲滯分割的方法對圖像進行預(yù)處理，通過Canny算子計算輪廓邊緣，并使用鄰域生長法提取輪廓信息。為準確分割缺陷輪廓，提出了基于圖像矩與最小二乘擬合的圓心定位方法，能夠有效對抗缺陷的干擾，并根據(jù)輪廓上的點到圓心的距離分割出缺陷輪廓并在輸入圖像上進行標注。實驗測試表明文中所提出的缺陷檢測方法能夠準確提取安裝孔缺陷，能夠滿足實際生產(chǎn)中膨脹閥安裝孔缺陷自動檢測的需求。同時該算法也存在不足之處，當(dāng)缺陷面積較大時，可能出現(xiàn)缺陷的誤標注。引起該問題的原因是缺陷引起圖像質(zhì)心偏移量過大，導(dǎo)致缺陷輪廓誤提取，但并不影響該算法的缺陷識別率。后續(xù)的研究將致力于解決該問題，并提高算法對膨脹閥各孔位缺陷的普遍適用性與缺陷檢測的準確性。