李建興，林華良，俞斌，陳煒，林晨煌，黃詩婷

(1.福建工程學(xué)院 電子電氣與物理學(xué)院，福建 福州，350118;2.福建省工業(yè)集成自動化行業(yè)技術(shù)開發(fā)基地，福建 福州，350118；3.福州市工業(yè)集成自動化行業(yè)技術(shù)創(chuàng)新中心，福建 福州，350118；4.福耀集團(tuán)汽車玻璃有限公司，上海，200000)

由于汽車玻璃的制造工藝復(fù)雜，需要采用分段式生產(chǎn)，在生產(chǎn)和運(yùn)輸過程中，一些外觀、材質(zhì)相近的玻璃容易混雜到一起，故而在包裝前需要對其進(jìn)行混線檢測，解決目標(biāo)的識別與匹配問題[1]。目前國內(nèi)大型的汽車玻璃廠商主要是依靠人工對汽車玻璃進(jìn)行混線檢測[2]。

計(jì)算機(jī)視覺已被廣泛應(yīng)用于圖像檢索、文字識別、人臉識別、醫(yī)學(xué)圖像分析、機(jī)器人導(dǎo)航等諸多領(lǐng)域[3]。在現(xiàn)有的基于特征的圖像匹配技術(shù)中，幾何矩特征已經(jīng)成為了重要的特征區(qū)域集。文獻(xiàn)[4]提出先利用幾何矩進(jìn)行輪廓匹配，保留每一次匹配過程中重疊窗口區(qū)域的計(jì)算結(jié)果在下一次匹配中使用，但計(jì)算復(fù)雜、耗費(fèi)計(jì)算機(jī)內(nèi)存大，在高分辨率圖像匹配中無法快速檢索。文獻(xiàn)[5]先利用 Canny 算子提取兩幅圖像的輪廓，計(jì)算兩個(gè)輪廓的幾何矩，進(jìn)行相似度度量完成形狀匹配，但該算法精度不高，無法準(zhǔn)確定位。文獻(xiàn)[6]結(jié)合幾何矩和圖像偏轉(zhuǎn)角進(jìn)行分段擬合，實(shí)現(xiàn)對車道的快速檢測，但該算法檢測準(zhǔn)確率不高且抗干擾能力較差。

目前的檢測技術(shù)主要是利用輪廓特征進(jìn)行匹配。對于角窗玻璃而言，有些型號的角窗玻璃輪廓一樣，材質(zhì)卻不相同。若僅依靠上述檢測技術(shù)無法實(shí)現(xiàn)準(zhǔn)確的混線檢測。由于汽車玻璃材質(zhì)的不同主要在于成分與厚度，成分的不同主要表現(xiàn)為顏色的區(qū)別，而厚度的改變同樣也能影響顏色的深淺。本課題提出利用機(jī)器視覺技術(shù)進(jìn)行輪廓檢測的同時(shí)融合顏色特征進(jìn)行汽車玻璃的材質(zhì)與厚度的檢測，實(shí)現(xiàn)混線檢測。

1 汽車玻璃的特征分析

汽車玻璃的特征包含3個(gè)方面：輪廓特征、材質(zhì)特征和厚度特征。輪廓特征主要表現(xiàn)為外形輪廓的不同。對不同形狀的汽車玻璃提取其輪廓特征，用低階幾何矩表示。如圖1所示為部分不同輪廓的檢測對象。對其中a、b、c3種輪廓不同的玻璃進(jìn)行研究，其中b、c玻璃形狀較為相似，a玻璃與b、c玻璃輪廓差異較大。用n1、n2和n3表示幾何矩的1到3階幾何矩。由表1可得，不同的汽車玻璃，幾何矩具有較大的不同。

圖1 檢測對象Fig.1 Detection objects

普通玻璃配料中需加入0.4%～0.7%的著色劑，不同的著色劑使得玻璃帶上不同的色彩，在數(shù)字圖像中則表現(xiàn)為色彩信息的不同，主要分為白玻-C(clear)、藍(lán)玻-B(blue)、綠玻-G(green)、SOLAR綠玻-SG(solar green)、茶玻-Z(bronze)和灰波-Y(gray)等6大類。厚度特征的變化也會導(dǎo)致色彩信息發(fā)生變化。汽車玻璃越厚，色彩越濃重。不同材質(zhì)與厚度的汽車玻璃樣片，其命名規(guī)則是以數(shù)字則代表厚度，單位為mm，英文字母代表玻璃材質(zhì)，例如2.0C、3.5SG、4.0G等。

表1 汽車玻璃幾何矩輪廓信息

將不同材質(zhì)與厚度的玻璃樣片置于同一位置，在光線均勻的情況下進(jìn)行汽車玻璃樣片的圖像采集，對每一張所采集的圖像隨機(jī)抽取3 000個(gè)點(diǎn)的色彩信息數(shù)據(jù)，取平均數(shù)作為該玻璃樣片的色彩信息。部分采集到的不同材質(zhì)與厚度的汽車玻璃樣片的色彩信息如表2所示，用R、G、B 3個(gè)分量的數(shù)值來表示色彩信息。

表2 部分不同材質(zhì)與厚度的汽車玻璃色彩信息

觀察表2可知，同一厚度不同材質(zhì)的汽車玻璃色彩差異較大，易于區(qū)分；不同厚度同一材質(zhì)的汽車玻璃的色彩信息差異較小，但仍然遵循隨著厚度的增加，色彩信息變得更加濃重的規(guī)則，在表2中則表現(xiàn)為R、G、B分量的數(shù)值的降低。

綜上可知，外形的不同可用輪廓特征辨別，材質(zhì)與厚度的不同則可用色彩特征辨別，因此，采用輪廓特征信息和色彩特征信息進(jìn)行汽車玻璃的混線檢測具有一定的可行性。

2 基于改進(jìn)幾何矩的汽車玻璃輪廓檢測

在輪廓檢測中，形狀描述符的選擇決定了匹配算法的性能。有學(xué)者比較了輪廓檢測中4種重要的輪廓描述符的優(yōu)缺點(diǎn)，包括傅里葉描述符、曲率尺度空間描述符、角度徑向變換和圖像矩描述符，結(jié)果表明圖像矩描述符比其他3種方法可靠度更高，性能優(yōu)異[7,8]。故而選擇利用圖像矩描述符進(jìn)行玻璃輪廓的描述。

2.1 改進(jìn)的幾何矩輪廓匹配算法

2.1.1 改進(jìn)的幾何矩輪廓匹配算法流程

在實(shí)際的生產(chǎn)線中，鏡頭到傳送帶的距離是固定的，因此在本課題的匹配算法中無需使用幾何矩的縮放不變性。為了去除縮放不變性的影響，本課題在傳統(tǒng)幾何矩匹配算法上增加了面積特征進(jìn)行輪廓檢測。在進(jìn)行幾何矩計(jì)算時(shí)已獲得面積特征，因此改進(jìn)的幾何矩匹配算法不會增加額外的計(jì)算量，不影響實(shí)時(shí)檢測速度。改進(jìn)的幾何矩匹配算法的流程如圖2所示。

圖2 改進(jìn)幾何矩匹配算法流程圖Fig.2 Improved geometric moment matching algorithm flow chart

2.1.2 改進(jìn)的圖像匹配策略

(1) 形狀相似性計(jì)算

(1)

式中，i=1,2,···,7，分別用于表示圖像的1～7階幾何矩。

利用式得到圖像A和圖像B的形狀相似性I(A,B)，其中I(A,B)越小，相似度越高。

(2)

(2)面積相似性計(jì)算

設(shè)SA和SB分別為兩張圖像上汽車玻璃的區(qū)域面積，可以通過計(jì)算零階原點(diǎn)矩m00獲得。S(A,B)為兩張圖像的面積相似性函數(shù)，如式(3)所示。S(A,B)的值越小，說明兩張圖像的面積越接近。

(3)

(3)綜合相似度計(jì)算

為了綜合考慮形狀相似性和面積相似性對匹配結(jié)果的影響，利用形狀相似性I(A,B)和面積相似性S(A,B)的加權(quán)綜合值作為輪廓檢測相似程度的判斷依據(jù)，如式(4)所示。若綜合值小于閾值，則表示誤差在允許范圍，輪廓匹配成功。

I(A,B)+α·S(A,B)<δ1

(4)

式中，α的取值為2；δ1是用于判斷輪廓相似性的閾值，本研究取0.1。

當(dāng)式(4)的不等式成立時(shí)，當(dāng)前檢測的玻璃即為排產(chǎn)玻璃；不等式左側(cè)的值越小，待測玻璃與模板玻璃的輪廓相似性越大。若待測玻璃與模板玻璃的外形輪廓完全一樣，但只要兩者的面積相差超過5%，面積相似性S(A,B)≥0.05，用本算法就能夠判斷出兩片玻璃的不同。

實(shí)際上，雖然鏡頭和輸送帶的相對位置固定，但是輸送帶運(yùn)轉(zhuǎn)起來后總會有微小的抖動，導(dǎo)致輸送帶上的玻璃也會產(chǎn)生上下抖動，因此鏡頭和玻璃間的距離每次都會有微小變化，即使是從排產(chǎn)型號的玻璃采集到的玻璃圖像的大小也會與模板圖像存在微小的變化。為避免上述情況影響檢測的結(jié)果，允許待測圖像與模板圖像的面積相差5%以內(nèi)。

2.2 輪廓檢測的實(shí)驗(yàn)與結(jié)果分析

2.2.1 輪廓檢測實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證提出的檢測算法的準(zhǔn)確性和魯棒性，分別采用傳統(tǒng)的幾何矩匹配算法和改進(jìn)的幾何矩匹配算法對檢測對象進(jìn)行匹配測試。檢測對象為圖2所示的4種汽車玻璃，其中玻璃c與d外觀較為相似，視覺檢測上容易出現(xiàn)誤判。

第一組實(shí)驗(yàn)的測試對象均為與模板圖像同一品類的玻璃。以玻璃a為例，第一組實(shí)驗(yàn)將玻璃a與其經(jīng)過平移和旋轉(zhuǎn)后的同品類玻璃進(jìn)行匹配測試。第二組實(shí)驗(yàn)的測試對象為與模板玻璃外形輪廓一模一樣，但大小不一樣的玻璃。以玻璃a為例，將同品類的玻璃圖像經(jīng)過等比例縮放后與玻璃a的模板圖像進(jìn)行匹配測試。第三組實(shí)驗(yàn)測試對象是將圖2中的1種玻璃與其他3種玻璃進(jìn)行匹配測試。

2.2.2 測試結(jié)果與分析

表3為圖1所示的4種汽車玻璃的前4階幾何矩和與其對應(yīng)的面積特征。n1、n2、n3和n4表示幾何矩的1到4階幾何矩，表征汽車玻璃的輪廓信息，面積大小表示在圖像中汽車玻璃黑色區(qū)域所占像素區(qū)域大小。

表3 檢測對象的輪廓與面積特征數(shù)據(jù)

玻璃a與d的輪廓和面積大小有較大不同，體現(xiàn)在表3中顯示為低階幾何矩的極大不同和面積差異較大；玻璃b、c的輪廓與面積大小均較為接近，在表3中則表現(xiàn)為低階幾何矩與面積大小的差異較小。

表4為采用傳統(tǒng)的幾何矩匹配算法的檢測結(jié)果。第一組測試數(shù)據(jù)表明傳統(tǒng)的幾何矩匹配算法對自身匹配(平移和旋轉(zhuǎn))的識別率較高，其準(zhǔn)確率在95%以上。第二組測試數(shù)據(jù)表明當(dāng)測試對象與模板玻璃外形輪廓一模一樣，大小不一樣時(shí)，準(zhǔn)確率非常差。傳統(tǒng)幾何矩算法無法區(qū)分等比例縮放后的玻璃圖像與模板圖像的不同，這將導(dǎo)致該算法無法檢測出外形輪廓非常相似但大小不同的玻璃。第三組測試結(jié)果的準(zhǔn)確率較低，主要是由于傳統(tǒng)的幾何矩匹配算法對于輪廓相近(例如玻璃c與d)的圖像無法較為準(zhǔn)確地進(jìn)行識別。

表4 傳統(tǒng)幾何矩匹配算法

表5為改進(jìn)的幾何矩匹配算法的檢測結(jié)果。改進(jìn)的算法保留了傳統(tǒng)算法對自身匹配(平移和旋轉(zhuǎn))的優(yōu)良性能，成功識別出了縮放后的玻璃與原玻璃的區(qū)別，準(zhǔn)確率在99%以上，也提高了對其他品類玻璃的識別率，準(zhǔn)確率在96%以上。

表5 改進(jìn)的幾何矩匹配算法

3 基于色彩信息的汽車玻璃材質(zhì)和厚度檢測

汽車玻璃在生產(chǎn)過程中添加了不同的著色劑形成了不同的顏色。玻璃的色彩濃度也會隨厚度的變化而變化。色彩檢測的算法流程如圖3所示。

圖3 色彩檢測流程圖Fig.3 Color detection flow chart

3.1 邊緣色彩信息的處理

色彩檢測需要對汽車玻璃的原圖像進(jìn)行色彩分析，先對原圖像進(jìn)行濾波處理，排除異常區(qū)域，使預(yù)處理后的圖像能夠呈現(xiàn)出汽車玻璃的真實(shí)色彩。

彩色圖像在數(shù)字系統(tǒng)中是用RGB色彩分量的三維數(shù)組來表示的，故而預(yù)處理時(shí)需要對圖像的每個(gè)色彩分量分別進(jìn)行均值濾波處理。

由于汽車玻璃具有黑色邊界部分(包括黑邊和標(biāo)簽區(qū)域)，若直接采用均值濾波進(jìn)行平滑處理會導(dǎo)致位于邊緣位置的像素值出現(xiàn)明顯的模糊現(xiàn)象。圖4為直接進(jìn)行均值濾波后部分邊界圖像，其中標(biāo)記部分為異常部分，若在信息采集時(shí)采集到該區(qū)域的色彩信息，會導(dǎo)致所采集的色彩信息不符合真實(shí)的汽車玻璃的色彩信息。

圖4 均值濾波后部分邊界圖像Fig.4 Part of the boundary image after mean filtering

為了防止上述現(xiàn)象導(dǎo)致最后得到的色彩數(shù)據(jù)不精準(zhǔn)，結(jié)合形態(tài)學(xué)處理技術(shù)和感興趣區(qū)域提取技術(shù)，完成對邊緣色彩信息異常區(qū)域的剔除。首先利用感興趣區(qū)域提取技術(shù)獲得掩模板；再對掩模板進(jìn)行形態(tài)學(xué)操作，令得到的掩模板的掩蓋區(qū)域擴(kuò)大，在圖像中則表現(xiàn)為黑色區(qū)域變大、白色區(qū)域減小，由此獲得經(jīng)形態(tài)學(xué)處理后的掩模板如圖5所示。

圖5 掩模板Fig.5 Mask

最后，對已完成均值濾波的原彩色圖像進(jìn)行掩模板覆蓋，得到的結(jié)果如圖6所示。圖6(b)為邊緣部分的局部放大圖，與圖4比，圖6(b)的邊緣部分不存在模糊區(qū)域。

圖6 均值濾波結(jié)果圖Fig.6 Mean filtering results

3.2 色彩匹配數(shù)據(jù)的確定

獲得玻璃的R、G、B色彩分量數(shù)據(jù)后，若用R、G、B分量直接作為判斷依據(jù)，因?yàn)樯氏嘟膬蓧K玻璃的單個(gè)R、G、B分量的差值非常小，甚至小于設(shè)定的閾值，容易造成檢測錯(cuò)誤。為了避免上述問題，需在進(jìn)行色彩數(shù)據(jù)比對前，對采集到的R、G、B數(shù)據(jù)先進(jìn)行預(yù)處理，以便獲得以下這3個(gè)數(shù)據(jù)：C1( R、G、B分量之和)、C2(R分量占3個(gè)分量的比例)和C3(G分量占3個(gè)分量的比例)。利用這3個(gè)數(shù)據(jù)可以擴(kuò)大玻璃色彩數(shù)據(jù)的差異，提高檢測的正確性。

3.3 采集量的確定

色彩信息的采集將影響汽車玻璃材質(zhì)與厚度的確定，而采集量N的大小將影響玻璃色彩信息的準(zhǔn)確性和數(shù)據(jù)采集的速度。在工業(yè)現(xiàn)場，影響色彩信息的因素有很多，例如灰塵、污漬、光照不均等因素。N較大時(shí)，能準(zhǔn)確地呈現(xiàn)出色彩信息，它是通過降低異常值所占采集量的比例來減小外界因素對于色彩的影響，降低了偶然性，但計(jì)算量較大，增加采樣和處理時(shí)間；N值較小時(shí)，計(jì)算量小，處理時(shí)間短，但異常值對于色彩信息的影響較大，對于兩塊色彩十分近似的汽車玻璃，采集到的數(shù)據(jù)會較容易出現(xiàn)誤判。綜合考慮計(jì)算速度和精度，N值取值為500。

3.4 汽車玻璃色彩匹配策略

為了實(shí)現(xiàn)色彩檢測，設(shè)計(jì)的匹配策略如下：設(shè)A為被測汽車玻璃圖像，通過檢測能夠獲得3個(gè)待匹配數(shù)據(jù)分別記為CA1、CA2和CA3。設(shè)B為標(biāo)準(zhǔn)玻璃，它的3個(gè)匹配數(shù)據(jù)分別為CB1，CB2和CB3，采用歐式距離來衡量A，B兩塊玻璃的色彩相關(guān)性，如式(5)～(7)所示。

(5)

(6)

(7)

式中，δ2、δ3和δ4是設(shè)定的比較閾值。經(jīng)實(shí)驗(yàn)確定，色彩信息最接近的兩塊玻璃，其δ2、δ3和δ4的差值分別為9、5、5 pixel，比較閾值需保留一定余量，經(jīng)歸一化處理后，取δ2、δ3和δ4的值分別為0.010、0.013、0.013。只有當(dāng)式(5)(6)(7)均成立時(shí)才表明A和B的材質(zhì)與厚度是相同的。

3.4.1 色彩檢測實(shí)驗(yàn)設(shè)計(jì)

玻璃的原料成分和厚度會影響玻璃的色彩。當(dāng)玻璃較薄時(shí)，白玻(C)與綠玻(G)的色彩難以區(qū)分；當(dāng)玻璃較厚時(shí)，綠玻(G)與綠玻(SG)的色彩難以區(qū)分。故而取材質(zhì)為2.0C、2.1C、2.1G、2.1SG、3.5G 、3.5SG、4.0G、4.0SG和4.2SG的汽車玻璃各20片作為測試玻璃，每片均采集5組數(shù)據(jù)；并以2.0C、2.1C、3.5G和4.0G的汽車玻璃作為標(biāo)準(zhǔn)對象，進(jìn)行色彩匹配實(shí)驗(yàn)。如表6所示為部分汽車玻璃的色彩模板數(shù)據(jù)。

表6 部分汽車玻璃色彩模板

3.4.2 材質(zhì)與厚度檢測結(jié)果分析

表7為色彩檢測的匹配結(jié)果，由表7數(shù)據(jù)可見存在部分匹配失敗案例。分析圖像，發(fā)現(xiàn)型號一致但厚度不同的汽車玻璃，其色彩數(shù)據(jù)差異相對較小，色彩數(shù)據(jù)受外界影響較大，不能完全準(zhǔn)確區(qū)分同型號厚度相近的汽車玻璃。例如當(dāng)以2.0C為模板時(shí)，會將部分2.1C的待測圖像誤判為2.0C或?qū)⒉糠?.0C的待測圖像誤判為2.1C。

表7 色彩檢測實(shí)驗(yàn)結(jié)果

雖然存在部分匹配失敗的情況，但在進(jìn)行材質(zhì)與厚度的檢測時(shí)，所提的色彩匹配策略能很好的識別出待測圖像中的模板玻璃型號，平均檢測準(zhǔn)確率達(dá)到了99.50%。由此可知，利用色彩檢測來實(shí)現(xiàn)汽車玻璃材質(zhì)與厚度的檢測方法是可行且有效的。

4 混線檢測的實(shí)驗(yàn)與結(jié)果分析

4.1 混線檢測實(shí)驗(yàn)設(shè)計(jì)

將上述的輪廓檢測部分與色彩檢測部分進(jìn)行統(tǒng)合，對待檢測玻璃分別進(jìn)行輪廓檢測與色彩檢測，當(dāng)任意檢測環(huán)節(jié)匹配失敗則表示此待檢測玻璃不符合規(guī)格要求，生產(chǎn)線上出現(xiàn)混線現(xiàn)象。

分別取厚度為2.0、2.1、3.5、4.0 mm的白玻(C)、綠玻(G)和綠玻(SG)各10塊，其輪廓形狀有非常相似的也有差異較大的，共計(jì)120塊汽車玻璃。分別以這12種不同的汽車玻璃作為模板與這120塊玻璃進(jìn)行匹配實(shí)驗(yàn)，統(tǒng)計(jì)其錯(cuò)判的次數(shù)和匹配時(shí)間，以驗(yàn)證算法的準(zhǔn)確性與快速性。

4.2 混線檢測結(jié)果分析

運(yùn)行環(huán)境：計(jì)算機(jī)(配置為：Intel(R) Core(TM) i5-7400 CPU，主頻3.0 GHz，內(nèi)存16 GB)，操作系統(tǒng)為Windows10 專業(yè)版，開發(fā)語言為MATLAB R2018a，圖像大小為2048*2592*3。在此環(huán)境下系統(tǒng)平均匹配一張圖像的時(shí)間為1.32 s。

汽車玻璃生產(chǎn)線的運(yùn)行速度在15～20 m/min，一塊中等大小的汽車角窗玻璃的長度約0.5 m，兩塊玻璃之間同時(shí)存在0.1 m以上間隔。以最快的運(yùn)行速度20 m/min計(jì)算，兩塊玻璃經(jīng)過同一點(diǎn)的間隔時(shí)間為2.00 s，大于1.32 s，符合實(shí)際要求。

表8為混線檢測實(shí)驗(yàn)結(jié)果，由表8可知，混線檢測準(zhǔn)確率普遍高于95%以上。12組實(shí)驗(yàn)中，有10組實(shí)驗(yàn)的準(zhǔn)確率為高于97% ，其中有4組實(shí)驗(yàn)的準(zhǔn)確率為100%，平均檢測成功率達(dá)到 98.62%，具有較高的準(zhǔn)確性，適用于工業(yè)現(xiàn)場。

表8 混線檢測實(shí)驗(yàn)結(jié)果

5 結(jié)論

1)改進(jìn)不變矩算法，增加了面積特征對汽車玻璃進(jìn)行外形上的檢測，提高檢測正確率的同時(shí)對檢測效率幾乎不產(chǎn)生影響。

2)在進(jìn)行色彩檢測時(shí)，利用改進(jìn)的均值濾波算法，降低由灰塵、光照、污漬等引起的偶然性，并針對傳統(tǒng)的均值濾波算法產(chǎn)生的邊界模糊問題，結(jié)合形態(tài)學(xué)處理和感興趣區(qū)域提取技術(shù)，解決了傳統(tǒng)均值濾波算法導(dǎo)致的邊界模糊問題。

3)結(jié)合改進(jìn)的色彩匹配策略實(shí)現(xiàn)了材質(zhì)與厚度不同的辨別。提出的結(jié)合輪廓檢測和色彩檢測來實(shí)現(xiàn)汽車玻璃的混線檢測，該策略對混線檢測的準(zhǔn)確率達(dá)到98.62%。