孫國棟 楊林杰 張 楊

(湖北工業(yè)大學(xué)機(jī)械工程學(xué)院，湖北 武漢 430068)

0 引言

柔性印制電路(flexible printed circuit，F(xiàn)PC)是以聚酰亞胺或聚酯薄膜為基材制成，具有質(zhì)量輕、布線密集、焊點(diǎn)小、集成度高等傳統(tǒng)材質(zhì)無法比擬的優(yōu)點(diǎn)，廣泛用于手機(jī)、數(shù)碼相機(jī)、醫(yī)療器械等產(chǎn)品，被冠以“黃金薄膜”稱號(hào)［1］。補(bǔ)強(qiáng)片是FPC 軟板一個(gè)重要的貼裝部件，其細(xì)微的缺陷都會(huì)導(dǎo)致整個(gè)產(chǎn)品的報(bào)廢，這就對(duì)FPC 軟板補(bǔ)強(qiáng)片質(zhì)量提出了相當(dāng)嚴(yán)格的要求［1-2］。目前國內(nèi)大多數(shù)FPC 生產(chǎn)企業(yè)主要依靠人眼輔助光學(xué)設(shè)備來檢測(cè)產(chǎn)品質(zhì)量，但長時(shí)間、高度集中觀察圖像給檢測(cè)人員帶來了極大的精神疲勞，難以保證產(chǎn)品質(zhì)量且用工成本不斷上升，因此實(shí)現(xiàn)FPC 自動(dòng)機(jī)器視覺檢測(cè)是發(fā)展的必然趨勢(shì)。目前提出的檢測(cè)方法都過分依賴于FPC 軟板的紋理和幾何特征，檢測(cè)具有很大的局限性。本文綜合各方面的研究成果，基于彩色圖像顏色空間變換理論，提出了一種新的FPC 缺陷視覺檢測(cè)方法。

1 FPC 視覺檢測(cè)方案

1.1 視覺缺陷檢測(cè)平臺(tái)

視覺檢測(cè)系統(tǒng)主要由彩色工業(yè)相機(jī)、鏡頭、圖像采集卡、運(yùn)動(dòng)控制平臺(tái)、工控機(jī)、圖像處理軟件等部分組成。首先通過導(dǎo)入FPC 的CAD 相關(guān)數(shù)據(jù)初始化系統(tǒng)設(shè)備，運(yùn)動(dòng)控制平臺(tái)依據(jù)初始信息定位補(bǔ)強(qiáng)片的位置，并用串口觸發(fā)光源和彩色相機(jī)，最終處理軟件完成檢測(cè)工作。系統(tǒng)框架如圖1 所示。

圖1 系統(tǒng)框架圖Fig.1 The system structure diagram

1.2 缺陷視覺檢測(cè)總流程

FPC 軟板補(bǔ)強(qiáng)片的品質(zhì)直接決定著電子產(chǎn)品的質(zhì)量。經(jīng)過長期調(diào)研，目前其存在的主要缺陷有壓點(diǎn)、劃傷、溢膠。針對(duì)這三種缺陷，提出的檢測(cè)總體流程如圖2 所示。

圖2 FPC 缺陷視覺檢測(cè)總流程圖Fig.2 The general flow chart of FPC visual defect detection

通過運(yùn)動(dòng)定位實(shí)時(shí)采集相應(yīng)區(qū)域的圖像，并作相關(guān)預(yù)處理;然后在RGB 顏色空間對(duì)補(bǔ)強(qiáng)片的輪廓進(jìn)行提取，且以輪廓為基底設(shè)計(jì)內(nèi)外圖像掩膜，從而得到對(duì)應(yīng)的感興趣區(qū)域;再通過RGB 與HSV 顏色空間相關(guān)處理算法，對(duì)經(jīng)掩膜處理后的圖像進(jìn)行缺陷識(shí)別;最后以缺陷的幾何特征與空間信息為判別標(biāo)準(zhǔn)對(duì)其進(jìn)行分類。

1.3 圖像預(yù)處理

在拍攝、傳輸過程中，CCD 傳感器脈沖引起的椒鹽噪聲［3］將會(huì)對(duì)后續(xù)的缺陷識(shí)別產(chǎn)生致命的影響。為保留圖像的細(xì)節(jié)信息，采用窗口為3 ×3 中值濾波器對(duì)FPC 補(bǔ)強(qiáng)片圖像進(jìn)行處理。圖3 是正常FPC 補(bǔ)強(qiáng)片和含有三種缺陷的FPC 補(bǔ)強(qiáng)片在特殊設(shè)計(jì)的組合光源下經(jīng)預(yù)處理后的圖像［4-6］。

圖3 預(yù)處理后的FPC 補(bǔ)強(qiáng)片缺陷對(duì)比圖Fig.3 The defect comparison of reinforcing sheet after preprocessing

2 FPC 補(bǔ)強(qiáng)片缺陷識(shí)別算法

2.1 補(bǔ)強(qiáng)片輪廓提取

提取FPC 補(bǔ)強(qiáng)片輪廓是其缺陷識(shí)別算法中的一個(gè)重要環(huán)節(jié)。輪廓可以把視場(chǎng)圖像分割成內(nèi)外兩部分，使識(shí)別中內(nèi)外空間區(qū)域的缺陷特征互不干擾，并行處理;可以通過缺陷在輪廓內(nèi)外的空間信息來區(qū)分其所屬類型。當(dāng)補(bǔ)強(qiáng)片內(nèi)外區(qū)域的不同缺陷呈現(xiàn)相同描述特征時(shí)，輪廓成為區(qū)分的最佳標(biāo)準(zhǔn)。

提取補(bǔ)強(qiáng)片輪廓采用RGB 顏色空間，該空間中，任一顏色在紅、綠、藍(lán)三個(gè)不同通道的分量不同，這也是彩色圖像特征識(shí)別的基礎(chǔ)［7］。在組合光源下，片體的各部分因材質(zhì)不同顏色特征存在明顯差異。由于補(bǔ)強(qiáng)片的鏡面反射，片體具有明顯不同于其他區(qū)域的顏色特征，其顏色在RGB 通道所占分量分別約為0.005(R)、0.47(G)和0.98(B)。實(shí)驗(yàn)數(shù)據(jù)表明，片體顏色在B 通道的分量最大，故在該通道提取片體的輪廓。由于在B 通道背景與前景差別很大，采用otsu閾值對(duì)圖像進(jìn)行分割，效果圖如圖4 所示。

圖4 FPC 補(bǔ)強(qiáng)片處理效果圖Fig.4 The processing effect of FPC reinforcing sheet

2.2 FPC 補(bǔ)強(qiáng)片圖像掩膜設(shè)計(jì)

掩膜是圖像處理中一種十分實(shí)用的技術(shù)，其最大的特點(diǎn)是可以設(shè)置任意形狀的感興趣區(qū)域。其原理是用預(yù)先制作的感興趣區(qū)域掩膜［8-9］與待處理圖像進(jìn)行數(shù)學(xué)運(yùn)算，使得感興趣區(qū)域內(nèi)圖像特征保持不變，而區(qū)域外的圖像將會(huì)被屏蔽。本文以FPC 補(bǔ)強(qiáng)片輪廓設(shè)計(jì)區(qū)域掩膜，并將其用到缺陷識(shí)別算法中。

具體實(shí)現(xiàn)為:首先按2.1 節(jié)提出的方法提取圖像中補(bǔ)強(qiáng)片輪廓，將輪廓以像素精度畫在另一幅在內(nèi)存中開辟的與采集圖像大小相同且像素灰度全為0 的圖像上，作為缺陷識(shí)別掩膜的母體;分別填充掩膜母體輪廓內(nèi)部與外部區(qū)域，從而產(chǎn)生內(nèi)外兩個(gè)圖像掩膜;分別用內(nèi)外掩膜與原圖像進(jìn)行數(shù)學(xué)運(yùn)算，得到內(nèi)外感興趣區(qū)域圖像。以FPC 的補(bǔ)強(qiáng)片輪廓為界，內(nèi)掩膜與采集圖像處理后可使FPC 補(bǔ)強(qiáng)片輪廓內(nèi)部的圖像得以全部保留，外部被忽略(處理后灰度值為0)。若與外掩膜作用，處理效果正好相反。

2.3 補(bǔ)強(qiáng)片缺陷提取算法

2.3.1 壓點(diǎn)、劃傷缺陷特征提取

如圖3 所示，在組合光源下壓點(diǎn)和劃傷呈白色，基于缺陷的顏色特征，采用RGB 顏色空間投影閾值算法對(duì)壓點(diǎn)與劃傷進(jìn)行識(shí)別，并引入向量空間理論對(duì)缺陷識(shí)別算法進(jìn)行解釋。RGB 顏色空間以一個(gè)單位長度的立方體來表示，過原點(diǎn)的三條邊r、g、b 構(gòu)成了顏色空間的單位正交基，設(shè)C 為可見光譜里面的任一種顏色，其可以等價(jià)為RGB 顏色空間的任一向量c，則有:

λr、λg、λb分別表示向量c 在顏色空間r、g、b 三個(gè)正交基上的分量。設(shè)白色與淺藍(lán)色光譜對(duì)應(yīng)的RGB顏色空間向量分別為w、b。對(duì)于向量w，有λr∶ λg∶λb=1∶1∶1，向量b 有λr=0，λg∶λb=0.5∶1。顏色的亮度由其對(duì)應(yīng)的幅值來決定。為了使白色的壓點(diǎn)、劃傷缺陷與藍(lán)色片體在向量空間具有較大區(qū)分度，可將w和b 向量向r 軸投影，b 在r 軸的投影為一個(gè)點(diǎn)，則br=0;而w 在r 軸的投影為一定長度的線段，由投影幾何關(guān)系可知向量間夾角余弦值約為0. 8，故wr=0.8 × |w|，定義向量w 和b 在r 軸投影分量比值η 來描述這種區(qū)分度，如式(2)所示。

由上式可知，理論上br趨近于0，則區(qū)分度η 趨近無窮大，說明在r 通道壓點(diǎn)、劃傷特征與背景才具有最大的區(qū)分度，同時(shí)CCD 傳感器對(duì)紅外光較其他光譜更敏感，因此r 軸投影的區(qū)分效果最理想。

壓點(diǎn)劃分缺陷提取流程如下:首先把實(shí)時(shí)采集并預(yù)處理后的圖像與內(nèi)部掩膜進(jìn)行數(shù)學(xué)運(yùn)算，得到輪廓內(nèi)部感興趣區(qū)域圖像，然后提取R 通道的圖像，選擇閾值Th=60 對(duì)其進(jìn)行二值化處理。

2.3.2 溢膠缺陷特征提取

膠體呈粉色，在RGB 顏色空間用向量p 表示，其對(duì)應(yīng)的λr、λg、λb都有一定分量，p 不能用RGB 顏色空間中的任意兩個(gè)正交基完全線性表示，故單純?cè)赗GB顏色空間膠體難以取得較好的提取效果，于是選擇HSV 顏色空間。

將彩色圖像從RGB 空間轉(zhuǎn)換到HSV 空間，能夠有效地提取出更加豐富的彩色圖像顏色信息，特別是其色調(diào)分量(H)能夠描述不同波段的顏色光譜的變化信息，該分量不易受到光照條件變化的影響，其描述特征具有很強(qiáng)的魯棒性［10-11］。基于色調(diào)分量良好的描述特性，經(jīng)過大量實(shí)驗(yàn)比對(duì)發(fā)現(xiàn)，H 分量更適合分離膠體與其他圖像特征。將顏色空間模型的連續(xù)角度參數(shù)離散成0 到255 的數(shù)值區(qū)間，各特征在HSV 顏色空間的色調(diào)H 離散分布為:片體的分布區(qū)間為［130，140］，背景約為［160，171］，膠體為［220，234］。從數(shù)據(jù)可以看出，膠體顏色與其他顏色特征在HSV 的H 通道具有很大的區(qū)分度，當(dāng)閾值TH∈［175，215］任意一個(gè)值，都可以將膠體提取出來。

溢膠缺陷提取流程如下:通過預(yù)處理圖像與外部掩膜的數(shù)學(xué)運(yùn)算，得到輪廓外部感興趣區(qū)域圖像;然后將其變換到HSV 顏色空間，提取H 通道的圖像，對(duì)其作閾值化處理，取閾值區(qū)間的中值TH=195。

3 缺陷識(shí)別與分類

進(jìn)行缺陷種類數(shù)據(jù)統(tǒng)計(jì)是工業(yè)生產(chǎn)一個(gè)重要的環(huán)節(jié)，通過該數(shù)據(jù)反饋，可以更好地指導(dǎo)生產(chǎn)，改進(jìn)加工工藝。經(jīng)過缺陷提取算法處理后的圖像若無以上特征，則FPC 補(bǔ)強(qiáng)片沒有這三種缺陷，否則存在。以FPC補(bǔ)強(qiáng)片輪廓為界，依據(jù)缺陷的空間信息可把缺陷分為內(nèi)部缺陷和外部缺陷，溢膠全部在輪廓外側(cè)屬于外部缺陷，壓點(diǎn)與劃傷為內(nèi)部缺陷。檢測(cè)要求對(duì)內(nèi)部缺陷作進(jìn)一步分類，依據(jù)內(nèi)部缺陷的幾何特征將其區(qū)分為壓點(diǎn)與劃傷，且采用缺陷輪廓面積Scon與最小外接矩形面積Srect的比值來描述這種區(qū)分，定義為填充度。

壓點(diǎn)的填充度R 比較大，實(shí)驗(yàn)發(fā)現(xiàn)都在0.7 以上，而劃傷呈條狀，填充度R 較小，均在0.3 以下。綜合以上分析，缺陷分類準(zhǔn)則為:①若輪廓外部有寬度大于限定閾值Tw的白色區(qū)域，則為溢膠;②若輪廓內(nèi)部存在面積大于限定閾值Ts的白色區(qū)域，依據(jù)式(3)計(jì)算該區(qū)域的輪廓填充度R，若R ＞0.5，則為壓點(diǎn)，否則為劃傷。

本文取Tw=3，Ts=5，單位為像素，按照上述分類準(zhǔn)則，內(nèi)部缺陷的輪廓及其對(duì)應(yīng)的最小外接矩形如圖5 所示。其中，圖5(a)的R =0.95;圖5(b)兩處缺陷的R 值分別為0.04 和0.78;圖5(c)為溢膠效果圖，其缺陷位置均在輪廓之外。實(shí)驗(yàn)證明該分類準(zhǔn)則具有很強(qiáng)的魯棒性。

圖5 FPC 三種缺陷的識(shí)別效果圖Fig.5 Three defects recognition effects of FPC

4 結(jié)束語

結(jié)合機(jī)器視覺技術(shù)，提出了一種變換顏色空間的FPC 補(bǔ)強(qiáng)片缺陷識(shí)別方法。本文基于補(bǔ)強(qiáng)片片體的顏色特征，在RGB 顏色空間對(duì)其輪廓進(jìn)行提取，并依據(jù)輪廓設(shè)計(jì)了內(nèi)外圖像掩膜，從而得到相應(yīng)感興趣區(qū)域的圖像。通過RGB 顏色空間投影和HSV 顏色空間色調(diào)處理算法分別提取壓點(diǎn)、劃傷和溢膠缺陷，并基于缺陷幾何特征與圖像空間信息定義了分類準(zhǔn)則，取得了良好的識(shí)別效果。

該FPC 缺陷識(shí)別算法對(duì)圖像噪聲具有一定的魯棒性，能夠滿足企業(yè)的缺陷識(shí)別要求，檢測(cè)效果穩(wěn)定，為FPC 補(bǔ)強(qiáng)片缺陷識(shí)別提供了良好的解決方案，具有重要的應(yīng)用價(jià)值。但是該算法對(duì)光源的依賴性較強(qiáng)，今后將進(jìn)一步研究具有光照不變性的缺陷檢測(cè)算法。

［1］ 張家亮.全球撓性印制板的市場(chǎng)及其技術(shù)研究［J］.印刷電路信息，2011，10(1):7 -15.

［2］ 苗振海，王西峰，康運(yùn)江. 基于機(jī)器視覺的FPC 檢測(cè)對(duì)位系統(tǒng)關(guān)鍵技術(shù)研究與開發(fā)［D］.北京:機(jī)械科學(xué)研究總院，2013.

［3］ 宋宇，吳滿天，孫立寧.基于相似度函數(shù)的圖像椒鹽噪聲自適應(yīng)濾除算法［J］.自動(dòng)化學(xué)報(bào)，2007，33(5):474 -479.

［4］ 吳德剛，趙利平.一種去除圖像混合噪聲的濾波算法［J］.自動(dòng)化儀表，2012，33(9):95 -97.

［5］ 劉瑞禎，于仕琪. OpenCV 教程［M］. 北京:北京航空航天大學(xué)出版社，2007.

［6］Galba T，Romi K，Baumgartner A.Edge-preserving partial variable median filtering for fast noise reduction in CT slices［J］.Proceedings Elmar-International Symposium Electronics in Marine，2014，10(13):195 -198.

［7］ Ryu B，Kim K，Ha Y，et al.New RGB primary for various multimedia systems［J］.Journal of Information Display，2014，15(2):65-70.

［8］ Kinoshita H，Hamamoto K，Sakaya N，et al，Aerial image mask inspection system for extreme ultraviolet lithography［J］. Japanese Journal of Applied Physics，2007，46(9):6116 -6117.

［9］ Sang H K，Jan P A. Optimal unsharp mask for image sharpening and noise removal［J］. Journal of Electronic Imaging，2005，14(2):1 -13.

［10］Cao P，Zhao Q T，Da W，et al.HSV color space based pupil position locating method ［J］. WIT Transactions on Information and Communication Technologies，2014，61(1):387 -396.

［11］秦緒佳，王慧玲，杜軼誠.HSV 色彩空間的Retinex 結(jié)構(gòu)光圖像增強(qiáng)算法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013，25(4):488-493.