詹前賢，馮增輝，沈 奕，林典欽，王雙喜

（1.汕頭超聲顯示器有限責(zé)任公司，廣東汕頭 515044；2.汕頭大學(xué)工學(xué)院，廣東汕頭 515063；3.汕頭輕工裝備研究院，廣東汕頭 515061）

0 引言

隨著車載觸摸屏功能的多樣化發(fā)展以及分辨率不斷提高，觸摸屏的制造工藝越發(fā)精密復(fù)雜，在制造過程中容易出現(xiàn)各類缺陷，如：點(diǎn)缺陷、線缺陷與Mura 缺陷等。為了保證產(chǎn)品的質(zhì)量，需要對(duì)車載觸摸屏全面檢測(cè)，傳統(tǒng)的缺陷檢測(cè)方法主要依靠人工裸眼檢測(cè)，存在檢測(cè)效率低、準(zhǔn)確性差的缺點(diǎn)，且在檢測(cè)過程中易損傷顯示屏。因此，研究精準(zhǔn)化、自動(dòng)化的新型檢測(cè)設(shè)備實(shí)現(xiàn)對(duì)觸摸屏的缺陷檢測(cè)具有重要意義。機(jī)器視覺檢測(cè)是目前最為常用的檢測(cè)方法，汕頭大學(xué)與汕頭超聲顯示器有限公司合作共同開發(fā)在汽車觸摸屏領(lǐng)域的機(jī)器視覺質(zhì)量檢測(cè)設(shè)備，針對(duì)不同工序的質(zhì)量要求，形成了自動(dòng)化檢測(cè)質(zhì)量控制系統(tǒng)。本文內(nèi)容作為廣東省科技計(jì)劃項(xiàng)目的重點(diǎn)建設(shè)內(nèi)容，對(duì)研究方向具有積極推動(dòng)意義。

20 世紀(jì)50 年代機(jī)器視覺技術(shù)起源于美國(guó)，到21 世紀(jì)，機(jī)器視覺自動(dòng)化檢測(cè)技術(shù)快速發(fā)展[1]，從早期簡(jiǎn)單的二維圖像分析發(fā)展到如今圖像的分割、識(shí)別和在工業(yè)中的應(yīng)用。采用機(jī)器視覺檢測(cè)系統(tǒng)代替人工檢測(cè)的方法對(duì)屏幕缺陷進(jìn)行檢測(cè)，圖像可以被精準(zhǔn)采集、分割和識(shí)別，實(shí)現(xiàn)缺陷的識(shí)別與分類。Jian等[2]提出了一種改進(jìn)的MPSG 缺陷識(shí)別和分割檢測(cè)算法，可以更加準(zhǔn)確地分割MPSG中的表面缺陷。Otsuki等[3]運(yùn)用視覺系統(tǒng)將亮度和表面粗糙度等表面質(zhì)量數(shù)據(jù)進(jìn)行可視化，來評(píng)價(jià)零件表面加工質(zhì)量。周晶等[4]開發(fā)了一種基于圖像識(shí)別的異型玻璃表面質(zhì)量全檢測(cè)設(shè)備，提高了異型玻璃表面和邊緣全檢測(cè)效率。Wang 等[5]開發(fā)了一種用于LCD背光屏的檢測(cè)裝備，實(shí)現(xiàn)背光屏的漏光、變形、劃痕等缺陷的檢測(cè)。彭趕等[6]設(shè)計(jì)了一種手機(jī)屏幕缺陷在線檢測(cè)系統(tǒng)，但在實(shí)際生產(chǎn)過程中，存在檢測(cè)速度慢、正面拍攝無法準(zhǔn)確抓取缺陷特征的問題。羅根等[7]基于最小二乘法較準(zhǔn)確地檢測(cè)出手機(jī)屏幕玻璃尺寸和崩邊。周國(guó)棟[8]提出一種改進(jìn)的SIFT 算法，在凹陷類和斑點(diǎn)類缺陷的檢出率上有明顯的優(yōu)勢(shì)，但在檢測(cè)時(shí)間方面，比神經(jīng)網(wǎng)絡(luò)慢了近一倍。

為滿足車載觸摸屏的檢測(cè)效率及準(zhǔn)確性的需求，本文采用指數(shù)灰度變換法和中值濾波法對(duì)采集圖像預(yù)處理，利用Canny算法、金字塔模板匹配法和仿射變換法實(shí)現(xiàn)圖像定位與矯正，然后采用動(dòng)態(tài)閾值分割法進(jìn)行信息識(shí)別，最后通過合格產(chǎn)品模型與透過率轉(zhuǎn)換關(guān)系圖，完成缺陷檢測(cè)。

1 觸摸屏檢測(cè)系統(tǒng)設(shè)計(jì)

針對(duì)車載觸摸屏檢測(cè)面積大、缺陷種類多等特點(diǎn)，本文采用工業(yè)CCD 相機(jī)、遠(yuǎn)心鏡頭、LED 矩陣光源等硬件，開發(fā)了一種具有目標(biāo)區(qū)域易分割、圖像光照均勻、光學(xué)畸變率小于0.025%、邊緣定位精度較高等優(yōu)點(diǎn)的機(jī)器視覺檢測(cè)系統(tǒng)。視覺檢測(cè)平臺(tái)如圖1所示。

圖1 車載觸摸屏的機(jī)器視覺平臺(tái)

在檢測(cè)之前，通過采集合格產(chǎn)品圖像實(shí)現(xiàn)檢測(cè)系統(tǒng)的機(jī)器自我學(xué)習(xí)，建立包含檢測(cè)距離、Icon 位置、形狀模型等參數(shù)的模型庫。檢測(cè)過程中，車載觸摸屏到達(dá)指定位置，獲取車載觸摸屏當(dāng)前位置對(duì)位mark 點(diǎn)的圖像并傳送至PC，檢測(cè)軟件識(shí)別玻璃窗區(qū)上的定位點(diǎn)，通過模型匹配方法對(duì)采集樣本圖像進(jìn)行校正后，觸發(fā)光電傳感器、光源與相機(jī)同時(shí)工作，在陣列排布式LED燈矩陣光源的照射下進(jìn)行多段掃描拍照，獲取車載觸摸屏面板上圖標(biāo)的高精度圖像，將圖像傳送至檢測(cè)計(jì)算機(jī)實(shí)時(shí)處理，完成信息記錄。

2 圖像處理

2.1 圖像預(yù)處理

工業(yè)相機(jī)直接對(duì)觸摸屏樣本采集的圖像由于存在灰度區(qū)分不明顯，噪聲過多等問題[7]易對(duì)圖像的缺陷檢測(cè)造成干擾，因此需要對(duì)圖像進(jìn)行圖像灰度增強(qiáng)和圖像降噪處理以便于目標(biāo)區(qū)域的提取及避免檢測(cè)干擾。

本文以車載觸摸屏上一待測(cè)Icon區(qū)域圖像信息為例。由于車載觸摸屏的Icon 圖標(biāo)的有效信息集中在如圖2 的高灰度區(qū)域，本文采用指數(shù)灰度變換法來實(shí)現(xiàn)圖像灰度的增強(qiáng)，指數(shù)灰度變換公式為：

圖2 待檢測(cè)區(qū)域灰度直方圖

式中：a為用來放大整體數(shù)字圖像的灰度倍數(shù)；ε為補(bǔ)償系數(shù)；γ為伽馬系數(shù)，當(dāng)γ＜1 時(shí)，低灰度區(qū)域被拉伸，高灰度區(qū)域被壓縮；當(dāng)γ＞1時(shí)，低灰度區(qū)域被壓縮，高灰度區(qū)域被拉伸；當(dāng)γ=1時(shí)，正比變換。

通過改變?chǔ)玫臄?shù)值實(shí)現(xiàn)對(duì)圖像不同程度的灰度變換，選擇性地拉伸不同的灰度區(qū)域，指數(shù)灰度變換特性曲線如圖3所示。

圖3 指數(shù)灰度變換曲線

由于該方法可以選擇性的針對(duì)高灰度區(qū)域進(jìn)行拉伸，故選用γ=2對(duì)圖像進(jìn)行拉伸處理，在壓縮待檢圖像低灰度區(qū)域信息的同時(shí)，對(duì)圖像高灰度區(qū)域信息進(jìn)行了拉伸，使得高灰度區(qū)域信息部分更加明顯，得到處理后的灰度3D圖，如圖4所示。

圖4 待檢區(qū)域及指數(shù)灰度變換處理結(jié)果

圖像采集過程中產(chǎn)生的噪聲會(huì)被檢測(cè)為圖標(biāo)缺陷，影響后續(xù)圖像的重構(gòu)和分割，導(dǎo)致檢測(cè)結(jié)果的不準(zhǔn)確。圖標(biāo)的3D 圖像中的椒鹽噪聲分布情況，如圖5（a）～（b）所示，因此需要對(duì)圖像進(jìn)行濾波處理，對(duì)圖像采集中產(chǎn)生的噪聲進(jìn)行消除?；谂判蚪y(tǒng)計(jì)理論的中值濾波法是一種有效抑制噪聲的非線性信號(hào)平滑處理技術(shù)[9]，二維中值濾波的數(shù)學(xué)表達(dá)式為：

式中：f（x,y）為原圖像上的灰度值；g（x,y）為f（x,y）濾波后的灰度值；Med為f（x,y）模板領(lǐng)域內(nèi)取中值。

本文采用圓形二維中值濾波模板，利用Halcon 軟件生成一個(gè)半徑為3 個(gè)像素的中值濾波器[10]，通過該中值濾波器對(duì)圖5（a）進(jìn)行濾波處理，得到的處理結(jié)果如圖5（d）所示，采用中值濾波對(duì)圖像進(jìn)行降噪處理，既保留了圖像的邊緣信息又降低了圖像中孤立點(diǎn)和線段產(chǎn)生的干擾，從而起到了良好的降噪作用。

圖5 椒鹽噪聲圖像與中值濾波對(duì)噪聲圖像的處理結(jié)果

2.2 圖像定位

將相機(jī)固定在檢測(cè)設(shè)備上，待測(cè)觸摸屏移動(dòng)至相機(jī)檢測(cè)區(qū)域。在圖像處理過程中圖像模板位置信息的確定對(duì)圖像的捕獲與提取尤為重要。首先確定模板及模板上待檢測(cè)信息的位置，其次將采集到的待測(cè)產(chǎn)品的圖像與模板圖像匹配并進(jìn)行圖像矯正，最終完成缺陷檢測(cè)前的圖像處理工作。

通過圖像邊緣檢測(cè)算法來確定圖像模板的位置。本文采用基于Canny 算子的邊緣檢測(cè)法對(duì)高斯濾波處理后的圖像采用非極值抑制技術(shù)進(jìn)行處理[11]，得到所需邊緣圖像，進(jìn)而確定模板的位置信息，其處理步驟如下。

（1）高斯濾波器平滑圖像：

式中：H（x,y）為二維高斯函數(shù)；σ為標(biāo)準(zhǔn)差。

式中：G（x,y）為高斯變換后圖像上的灰度值。

（2）用1階偏導(dǎo)計(jì)算梯度的幅值和方向，其模為：

計(jì)算得到的幅值為：

計(jì)算得到的方向?yàn)椋?/p>

（3）由于得到的所有梯度不能確定最終的邊緣，所以需要對(duì)梯度幅值進(jìn)行非極大值抑制，保留局部梯度最大的點(diǎn)。

（4）采用雙閾值分割法檢測(cè)邊緣和連接邊緣。采用Canny算子對(duì)圖4（a）進(jìn)行邊緣提取，檢測(cè)結(jié)果如圖6所示。

圖6 Canny 算子邊緣提取效果

采用圖像金字塔搭配形狀匹配的模板匹配法可以加快模板的匹配速度，表1 所示為不同模板匹配方法的運(yùn)行時(shí)間的對(duì)比情況。圖像金字塔需要向上采樣和向下采樣兩個(gè)操作，圖像金字塔的底層是高分辨率原圖，圖像先向上模糊，金字塔層級(jí)越高，則圖像越小，其分辨率越低，則檢測(cè)速度越快，但圖像分辨率不能過低，否則會(huì)導(dǎo)致檢測(cè)不到目標(biāo)圖像。采用圖像金字塔模板檢測(cè)方法向下采樣，首先檢測(cè)頂層圖像，找到模板信息后映射到下一層圖像，通過多次映射直至到達(dá)金字塔底層原始圖像，實(shí)現(xiàn)圖像模板匹配。本文采用4 層圖像金字塔方法對(duì)待檢區(qū)域進(jìn)行模板匹配操作，其結(jié)果如圖7所示。

圖7 采用圖像金字塔方法的模板匹配

表1 不同模板匹配方法的運(yùn)行時(shí)間

2.3 圖象矯正

由于待測(cè)品每次放置位置有差異，所采集的圖像會(huì)出現(xiàn)平移、旋轉(zhuǎn)等錯(cuò)位問題與模板圖像不重合而影響缺陷檢測(cè)，因此需要對(duì)采集的圖像進(jìn)行矯正使其與模板相重合。對(duì)于圖像矯正的問題，可采用式（11）對(duì)待處理的圖像進(jìn)行矯正，其中a、b、c、d、e、f為變換矩陣中的約束，對(duì)應(yīng)不同的待處理圖片使用不同的約束。若一副不需要矯正的圖像，其變換矩陣T就是單位矩陣，如式（12）：

（1）處理圖像的平移問題需對(duì)原圖像使用如式（13）所示的平移矩陣：

式中：t=；Tx為水平方向的位移；Ty為豎直方向的位移。

使用Halcon對(duì)采集的圖像進(jìn)行平移操作，需首先使用算子hom_mat2d_identity 生成一個(gè)如式（12）的單位矩陣，然后通過使用hom_mat2d_translate 算子對(duì)單位矩陣的X、Y進(jìn)行賦值使其變成式（13），最后通過使用算子affine_trans_image 對(duì)圖像進(jìn)行仿射變換：

hom_mat2d_translate（: : HomMat2D,Tx,Ty: Hom-Mat2DTranslate）：為平移矩陣賦值

affine_trans_image（Image : ImageAffineTrans : HomMat2D,Interpolation,AdaptImageSize:）：對(duì)圖像進(jìn)行放射變換。

（2）處理圖像的旋轉(zhuǎn)問題需要對(duì)原圖像使用如式（14）所示的旋轉(zhuǎn)矩陣：

使用Halcon對(duì)采集的圖像進(jìn)行旋轉(zhuǎn)操作，第一步與第三步與平移操作相同，其中第二步需要使用算子hom_mat2d_rotate把生成的單位矩陣變?yōu)樾D(zhuǎn)矩陣：

hom_mat2d_rotate（: : HomMat2D,Phi,Px,Py : Hom-Mat2DRotate）：為旋轉(zhuǎn)矩陣賦值。

3 目標(biāo)信息檢測(cè)

3.1 信息識(shí)別

在待測(cè)面板信息目標(biāo)檢測(cè)過程中，閾值分割法能夠有效地提取圖像背景和待檢目標(biāo)灰度對(duì)比相差較大的區(qū)域，當(dāng)待檢圖像目標(biāo)灰度與背景灰度存在交集時(shí)，此時(shí)閾值分割法的魯棒性較差，采用對(duì)待檢區(qū)域灰度選擇范圍較靈活的動(dòng)態(tài)閾值分割法來提高對(duì)灰度的魯棒性。對(duì)圖像進(jìn)行閾值分割之后，將字符、圖標(biāo)等樣本添加到分類器中對(duì)樣本進(jìn)行機(jī)器自主訓(xùn)練并對(duì)分類器進(jìn)行分類，便于后續(xù)使用Halcon 軟件創(chuàng)建OCR 分類器實(shí)現(xiàn)對(duì)待測(cè)觸摸屏中OCR字符、圖標(biāo)等的精準(zhǔn)識(shí)別。

3.2 缺陷檢測(cè)

針對(duì)灰度差距小、缺陷位置不確定等問題，采用圖像金字塔模板匹配方法配合差異化模型方法，通過將待測(cè)模型與模板相匹配從而提高觸摸屏信息檢測(cè)準(zhǔn)確性。利用動(dòng)態(tài)閾值方法提取目標(biāo)區(qū)域并建立標(biāo)準(zhǔn)差異模型，根據(jù)像素點(diǎn)的灰度變化量建立變化模型庫，將待檢測(cè)區(qū)域與模型庫進(jìn)行差異對(duì)比，采用該方法實(shí)現(xiàn)對(duì)待測(cè)車載觸摸屏中的缺陷部位的有效檢測(cè)。由于車載觸摸屏面板的透過率相差較大，而面板的透過率作為評(píng)定觸摸屏光學(xué)性能的重要參數(shù)，因此通過計(jì)算目標(biāo)區(qū)域灰度值的絕對(duì)和相對(duì)直方圖，利用直方圖計(jì)算目標(biāo)區(qū)域的平均灰度值T，并設(shè)定允許偏移量，向高、低灰度區(qū)域延伸，得到黑、白缺陷區(qū)域與合格區(qū)域的檢測(cè)灰度區(qū)間，計(jì)算出檢測(cè)缺陷區(qū)域的形狀因素并進(jìn)行分類等步驟，建立一套觸摸屏透過率缺陷檢測(cè)的動(dòng)態(tài)判斷標(biāo)準(zhǔn)。

采用面陣相機(jī)采集一批良品的圖像，檢測(cè)該批次樣品的透過率與灰度值，通過收集圖像灰度值和面板透過率數(shù)據(jù)，從中尋找圖像灰度值與面板透過率之間的關(guān)系，在二維坐標(biāo)系中將每一個(gè)樣品的灰度值與透過率進(jìn)行函數(shù)擬合，并通過最小二乘法建立函數(shù)計(jì)算公式來計(jì)算面板透過率，從而得出灰度值與透過率的關(guān)系[12]，如圖8所示。

圖8 透過率轉(zhuǎn)換關(guān)系

4 實(shí)驗(yàn)與測(cè)試

針對(duì)車載觸摸屏存在黑白點(diǎn)、黑白不均、殘缺等問題，利用該檢測(cè)系統(tǒng)對(duì)尺寸為220 mm×180 mm 的車載觸摸屏進(jìn)行測(cè)試。該檢測(cè)系統(tǒng)首先對(duì)檢測(cè)面板的平均灰度值A(chǔ)1、缺陷的平均灰度值A(chǔ)2、缺陷的長(zhǎng)度L、以及缺陷的寬度W進(jìn)行檢測(cè)，再根據(jù)產(chǎn)品的質(zhì)量標(biāo)準(zhǔn)要求建立觸摸屏缺陷篩選標(biāo)準(zhǔn)，如表2所示。

表2 缺陷篩選標(biāo)準(zhǔn)

利用檢測(cè)系統(tǒng)對(duì)不同批次的觸摸屏進(jìn)行檢測(cè)試驗(yàn)，部分檢測(cè)結(jié)果如圖9 所示。對(duì)檢測(cè)系統(tǒng)確定為合格的產(chǎn)品進(jìn)一步地人工檢測(cè)來確定檢測(cè)系統(tǒng)對(duì)缺陷檢測(cè)的準(zhǔn)確率。

圖9 基于篩選機(jī)制的缺陷檢測(cè)結(jié)果

其中表3 所示為車載觸摸屏檢測(cè)系統(tǒng)對(duì)樣品的檢測(cè)數(shù)據(jù)，表4所示為現(xiàn)場(chǎng)工人的檢測(cè)數(shù)據(jù)。

表3 車載觸摸屏檢測(cè)系統(tǒng)的檢測(cè)數(shù)據(jù)

表4 人工檢測(cè)觸摸屏的檢測(cè)數(shù)據(jù)

實(shí)驗(yàn)結(jié)果表明，檢測(cè)系統(tǒng)的良品率與人工檢測(cè)的良品率相當(dāng)，檢測(cè)系統(tǒng)的漏檢率小于2.5%，檢測(cè)效率為8 片/min，是人工檢測(cè)的3倍以上。

5 結(jié)束語

針對(duì)車載觸摸屏的缺陷檢測(cè)，本文設(shè)計(jì)了一種高效、高精度車載觸摸屏檢測(cè)系統(tǒng)，本文所研究的觸摸屏的圖標(biāo)信息多集中在高灰度區(qū)域，采用指數(shù)灰度變換法對(duì)高灰度信息區(qū)域進(jìn)行拉伸，解決了局部圖像灰度差過低，不容易分割目標(biāo)的問題；基于Canny 算子邊緣檢測(cè)法實(shí)現(xiàn)了亞像素精度，采用模板匹配方法配合圖像變異化模型訓(xùn)練合格樣品的模型庫，并通過建立灰度值與透過率的關(guān)系方程，實(shí)現(xiàn)了對(duì)觸摸屏表面黑白點(diǎn)、黑白不均、Icon殘缺等缺陷與屏幕透過率的快速一體化檢測(cè)。實(shí)驗(yàn)結(jié)果表明，對(duì)于220 mm×180 mm尺寸的車載觸摸屏，檢測(cè)效率達(dá)8片/min，是人工檢測(cè)速度的3倍，缺陷檢出率達(dá)97.5%。