蘇孝雨，張榮輝，張　杰，楊亞寧（大連民族大學(xué)信息與通信工程學(xué)院，遼寧大連116600）

?

基于機(jī)器視覺的液晶屏裂痕自動(dòng)檢測方法研究*

蘇孝雨，張榮輝，張杰，楊亞寧
（大連民族大學(xué)信息與通信工程學(xué)院，遼寧大連116600）

摘 要：隨著液晶的普及，對(duì)液晶屏生產(chǎn)過程中質(zhì)量控制提出更高的要求，液晶屏裂痕自動(dòng)檢測系統(tǒng)應(yīng)運(yùn)而生，它能真正實(shí)現(xiàn)高效率、高穩(wěn)定性的實(shí)時(shí)檢測。針對(duì)液晶屏裂痕缺陷中的“線缺陷”、“點(diǎn)缺陷”進(jìn)行深入研究，把機(jī)器視覺、數(shù)字圖像處理技術(shù)運(yùn)用到液晶屏裂痕自動(dòng)檢測系統(tǒng)中，并以HALCON和VC++聯(lián)合編程完成了裂痕自動(dòng)檢測系統(tǒng)的設(shè)計(jì)。在數(shù)字圖像處理部分，根據(jù)指定尺寸對(duì)圖像進(jìn)行傅里葉變換、高斯濾波、迭代處理等一系列操作，為了得到更清晰的圖像，突出裂痕區(qū)域，對(duì)圖像進(jìn)行灰度化、頻域圖像卷積、濾波去噪、形態(tài)學(xué)處理。選擇出適合在線測量的各種算法，進(jìn)行了大量實(shí)驗(yàn)測試和實(shí)時(shí)自動(dòng)檢測，結(jié)果表明，該方法在識(shí)別液晶屏裂痕的幾何特征上效果和精度較好，識(shí)別速度達(dá)到在線要求。

關(guān)鍵詞：機(jī)器視覺；高斯濾波；數(shù)字圖像處理；形態(tài)學(xué)處理

0　引言

液晶屏生產(chǎn)過程不可避免地出現(xiàn)一些缺陷，最常見的缺陷是液晶屏有裂痕。如何保證液晶屏質(zhì)量，提高產(chǎn)品合格率成為亟待解決的問題。國內(nèi)外檢測液晶屏裂痕的方法主要有兩大類，即在線檢測和離線檢測。電位法、磁粉法、超聲波法、電磁檢測法等常見的離線檢測方法已經(jīng)被時(shí)代淘汰，目前國內(nèi)主要依靠人工檢測的方法，在射線照射下觀察是否有裂痕存在。人工的方法效率低下，生產(chǎn)成本高。近年來，許多學(xué)者將機(jī)器視覺技術(shù)運(yùn)用到物體表面裂痕檢測中，取得了突出成績［1］。本文研究一種基于機(jī)器視覺的液晶屏裂痕自動(dòng)檢測系統(tǒng)，以提高液晶屏缺陷檢測的效率。自動(dòng)檢測的基本思路是對(duì)工業(yè)相機(jī)采集到的液晶屏表面圖像進(jìn)行圖像處理，將圖像信息傳輸?shù)缴衔粰C(jī)或者指定設(shè)備中。

1　光學(xué)系統(tǒng)平臺(tái)結(jié)構(gòu)

液晶屏的生產(chǎn)過程技術(shù)復(fù)雜、工藝精密，少則20多道工序，多則達(dá)50多道工序，這些工序大致分為氧化銦錫玻璃刻蝕、定向排列、空盒制作、液晶灌注、成品檢測和包裝5個(gè)階段。每個(gè)階段都會(huì)引發(fā)各種類型的裂痕缺陷，包括外刮、破損以及切割不良等，液晶屏的檢測主要是為了淘汰不合格產(chǎn)品。

光學(xué)系統(tǒng)平臺(tái)由高速、高精度的工業(yè)相機(jī)和鏡頭與高穩(wěn)定、均勻的高性能照明系統(tǒng)組成。裂痕產(chǎn)生的大小、位置以及方式都會(huì)不一樣，為了突出顯示裂痕缺陷，需要對(duì)光源做深入研究，包括光源的種類、光源的照明方式、光源的強(qiáng)弱等。根據(jù)實(shí)際需要檢測的最小裂痕尺寸，確定相機(jī)和鏡頭參數(shù)，均衡優(yōu)劣，共同搭建光學(xué)系統(tǒng)平臺(tái)［2］。原始圖像示范圖如圖1所示。

針對(duì)系統(tǒng)對(duì)生產(chǎn)線上的液晶屏進(jìn)行不間斷裂痕檢測的要求，在圖像采集系統(tǒng)設(shè)計(jì)時(shí)采用了雙線高速線掃描相機(jī)。設(shè)在水平方向上基板傳送速度設(shè)計(jì)為v1（mm/s），相機(jī)掃描速率達(dá)到v2（Hz/s），水平方向上能檢測到最小缺陷為x（μm），則x=（v1 /v2） ×103。設(shè)每線像素?cái)?shù)為m（Pixel），在垂直方向上n個(gè)相機(jī)直線排列，基板垂直尺寸為s（mm），垂直方向上能檢測到最小y（μm）的缺陷。則y=［s/（n×m）］×103。

圖1　液晶屏原始圖像示范圖

2　基于HALCON的圖像處理

基于機(jī)器視覺的液晶屏裂痕自動(dòng)檢測系統(tǒng)核心技術(shù)體現(xiàn)在數(shù)字圖像處理部分。其技術(shù)要求主要是實(shí)時(shí)性、準(zhǔn)確性和穩(wěn)定可靠性。為了避免誤檢達(dá)到準(zhǔn)確性的要求，檢測系統(tǒng)根據(jù)指定尺寸對(duì)圖像進(jìn)行傅里葉變換、高斯濾波、迭代處理等一系列操作，應(yīng)對(duì)所采集的圖像中不同類型的裂痕缺陷在給定精度和要求中能夠準(zhǔn)確檢出并標(biāo)記。為了得到更清晰的圖像［3］，突出裂痕區(qū)域，對(duì)圖像進(jìn)行灰度化、頻域圖像卷積、濾波去噪、形態(tài)學(xué)處理。遵循實(shí)用的原則，擇優(yōu)選擇出適合在線測量的各種算法［4］。

2.1對(duì)圖像進(jìn)行傅里葉變換

對(duì)圖像進(jìn)行傅里葉變換后就能通過頻率成分來分析一個(gè)函數(shù)。任何信號(hào)（如圖像信號(hào)）都可以表示成一系列正弦信號(hào)的疊加，在圖像處理方面就是將圖像brightness variation作為正弦變量，圖像的頻率表征圖像中灰度變化劇烈程度的指標(biāo)，是灰度在平面空間上的梯度，一幅圖像能量主要集中在低頻區(qū)域，在噪聲點(diǎn)和圖像邊緣處的頻率為高頻。傅里葉變換在實(shí)際應(yīng)用中有非常明顯的物理意義，傅里葉變換將圖像的灰度分布函數(shù)變換為圖像的頻率分布函數(shù)，如式（1）所示；傅里葉逆變換是將圖像的頻率分布函數(shù)變換為灰度分布函數(shù)，如式（2）所示。

2.2對(duì)圖像進(jìn)行高斯濾波與迭代處理

一幅原始圖像在獲取和傳輸過程中會(huì)受到各種噪聲的干擾，一些常見的噪聲有椒鹽噪聲、脈沖噪聲、高斯噪聲等，這些噪聲會(huì)使圖像質(zhì)量下降，對(duì)分析圖像不利。為了抑制噪聲，改善圖像質(zhì)量，要對(duì)圖像進(jìn)行平滑處理。圖像平滑處理的方法有中值濾波、高斯濾波、灰度最小方差的均值濾波等。高斯濾波對(duì)去除服從正態(tài)分布的噪聲是很有效果的。迭代處理能夠有效解決平滑過程中的細(xì)節(jié)保持和邊緣檢測時(shí)剔除偽邊緣這兩個(gè)難題。

2.3圖像處理

2.3.1圖像的灰度化

灰度直方圖是數(shù)字圖像處理中最簡單實(shí)用的工具，其原理是在RGB模型中，若R=G=B時(shí)，則灰度圖像是R、G、B 3個(gè)分量相同的一種特殊彩色圖像，其中R =G =B的值叫灰度值，灰度值范圍為0～255，灰度圖像每個(gè)像素只需一個(gè)字節(jié)存放灰度值?；叶葓D像的描述仍然反映了整幅圖像整體和局部的色度和亮度等級(jí)的分布和特征。HALCON中的灰度直方圖是灰度級(jí)的函數(shù)，描述的是圖像中具有該灰度級(jí)的像素的個(gè)數(shù)。

2.3.2對(duì)頻域圖像進(jìn)行卷積

可以將數(shù)字圖像看作一個(gè)二維空間的離散函數(shù)，該函數(shù)用f（x，y）表示，假設(shè)有對(duì)于二維卷積操作函數(shù)C（u，v），則會(huì)產(chǎn)生輸出圖像g（x，y）=f（x，y）C（u，v），利用卷積可以實(shí)現(xiàn)對(duì)圖像模糊處理，邊緣檢測，產(chǎn)生軋花效果的圖像。

一般卷積模板行列為奇數(shù)，輸出圖像大小與輸入相同。設(shè)卷積模板F、輸入圖像X、輸出圖像均為3×3矩陣。

卷積模板元素下標(biāo)調(diào)整后，為：

輸入圖像二維擴(kuò)展1行1列（M行、N列），以0填充（或行列元素對(duì)稱擴(kuò)展），代入離散二維卷積公式，逐行逐列計(jì)算，其中i，j=1∶3，即得結(jié)果。圖像卷積的過程，相當(dāng)于將原模板矩陣旋轉(zhuǎn)180°（即中心對(duì)稱），然后與輸入圖像矩陣對(duì)應(yīng)元素相乘求和，得出輸出圖像中心元素的值。

2.3.3形態(tài)學(xué)處理

數(shù)學(xué)形態(tài)學(xué)是一門建立在格論和拓?fù)鋵W(xué)基礎(chǔ)之上的圖像分析學(xué)科，是由一組形態(tài)學(xué)的代數(shù)算子組成的，最基本的形態(tài)學(xué)算子有：腐蝕、膨脹、開運(yùn)算、閉運(yùn)算和骨骼［5］。腐蝕的作用是消除物體邊界點(diǎn)，使目標(biāo)縮小，可以消除小于結(jié)構(gòu)元素的噪聲點(diǎn)；膨脹的作用是將與物體接觸的所有背景點(diǎn)合并到物體中，使目標(biāo)增大，可添補(bǔ)目標(biāo)中的空洞；開運(yùn)算是先腐蝕后膨脹的過程，可以消除圖像上細(xì)小的噪聲，并平滑物體邊界；閉運(yùn)算是先膨脹后腐蝕的過程，可以填充物體內(nèi)細(xì)小的空洞，并平滑物體邊界。HALCON的形態(tài)學(xué)運(yùn)算有基于二值化圖像區(qū)域的形態(tài)學(xué)算子和基于灰度化圖像區(qū)域的形態(tài)學(xué)算子。圖像處理后示范圖如圖2所示。

3　軟件系統(tǒng)設(shè)計(jì)

為了能夠?qū)⒐I(yè)相機(jī)集成到自行開發(fā)的液晶屏裂痕自動(dòng)檢測系統(tǒng)中進(jìn)行圖像采集，需要使用工業(yè)相機(jī)廠商提供的開發(fā)包SDK進(jìn)行二次開發(fā)。基于VC++的裂痕自動(dòng)檢測軟件系統(tǒng)的功能主要分為控制模塊、圖像采集模塊、圖像處理和檢測結(jié)果顯示模塊。為了保證實(shí)時(shí)檢測的大場景要求以及采集到圖像的質(zhì)量，軟件設(shè)計(jì)的一個(gè)關(guān)鍵點(diǎn)是液晶屏傳送平臺(tái)到位時(shí)間幾乎恒定，圖像處理和顯示檢測結(jié)果所需時(shí)間也都基本為定值，設(shè)計(jì)時(shí)可取二者間隔時(shí)間中較大值進(jìn)行觸發(fā)，即可實(shí)現(xiàn)較高效率，系統(tǒng)也相對(duì)穩(wěn)定。在VC++中使用SetTimer函數(shù)來確定時(shí)間間隔，然后使用OnTimer函數(shù)進(jìn)行響應(yīng)。

圖2　圖像處理后示范圖

4　結(jié)論

本文研究了一種高精度、大場景、實(shí)時(shí)穩(wěn)定的液晶屏裂痕自動(dòng)檢測系統(tǒng)，分別進(jìn)行了硬件結(jié)構(gòu)的搭建和軟件系統(tǒng)的設(shè)計(jì)。該系統(tǒng)主要包括由工業(yè)相機(jī)、鏡頭和光源搭建的光學(xué)系統(tǒng)平臺(tái)、數(shù)字圖像處理模塊和裂痕缺陷檢測結(jié)果顯示模塊。通過考察液晶屏生產(chǎn)線上的場景、裂痕缺陷檢測的現(xiàn)狀以及參考國內(nèi)液晶屏合格標(biāo)準(zhǔn)，不斷優(yōu)化系統(tǒng)設(shè)計(jì)，改進(jìn)的圖像處理算法保證了系統(tǒng)的準(zhǔn)確率，一鍵式自動(dòng)檢測的設(shè)計(jì)滿足實(shí)時(shí)檢測的要求。實(shí)際應(yīng)用也表明，相對(duì)于傳統(tǒng)缺陷檢測而言，在線檢測解決了人工檢測的主觀因素，檢測結(jié)果更為準(zhǔn)確可靠，同時(shí)方便形成數(shù)據(jù)報(bào)表，能夠通過網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)分析和管理，保證液晶屏生產(chǎn)過程中質(zhì)量控制，提高管理效率，具有很高的實(shí)用價(jià)值。

參考文獻(xiàn)

［1］李煒，黃心漢，王敏，等.基于機(jī)器視覺的帶鋼表面缺陷檢測系統(tǒng)［J］.華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2003，31（2）：72-74.

［2］王時(shí)麗，劉桂華.基于機(jī)器視覺的鋼軌表面缺陷三維檢測方法［J］.微型機(jī)與應(yīng)用，2015，34（19）：10-13.

［3］宋菲菲，趙宏宇.基于雙目立體視覺的圖像增強(qiáng)［J］.微型機(jī)與應(yīng)用，2015，34（19）：40-42.

［4］龔聲蓉，劉純平，王強(qiáng).數(shù)字圖像處理與分析［M］.北京：清華大學(xué)出版社，2006.

［5］馬頌德，張正友.計(jì)算機(jī)視覺——計(jì)算理論與算法基礎(chǔ)［M］.北京：科學(xué)出版社，1999.

蘇孝雨（1994 -），男，本科在讀，主要研究方向：機(jī)器視覺應(yīng)用。

張榮輝（1994 -），男，本科在讀，主要研究方向：機(jī)器視覺應(yīng)用。

張 杰（1993 -），女，本科在讀，主要研究方向：復(fù)雜網(wǎng)絡(luò)，大數(shù)據(jù)挖掘，社交網(wǎng)絡(luò)行為。

引用格式：蘇孝雨，張榮輝，張杰，等.基于機(jī)器視覺的液晶屏裂痕自動(dòng)檢測方法研究［J］.微型機(jī)與應(yīng)用，2016，35（10）：52-54.

LCD crack automatic detection method based on machine vision research

Su Xiaoyu，Zhang Ronghui，Zhang Jie，Yang Yaning
（School of Information and Communication Engineering，Dalian Nationalities University，Dalian 116600，China）

Abstrac t：W ith the popularity of LCD，quality control of LCD screen in the production process needs higher requirements，thus the LCD screen crack automatic detection system came into being，which can truly achieve high efficiency，high stability and real-time detection.This paper studies the crack defects of LCD screen such as line defect and point defect deeply.Themachine vision and digital image processing technology are app lied to the liquid crystal screen crack automatic detection system，and HALCON and VC++ programm ing are used to comp lete the crack automatic detection system design.In the part of digital image processing，according to specified dimensions of the image，a series of operations like Fourier transform，Gaussian filtering and iterative processing are taken out.In order to get a clearer image and highlight the rift zone，the operations including gradation，frequency domain image convolution，noise filtering and morphological processing are taken out.Various algorithms suitable for onlinemeasurement are selected for a large number of tests and real-time automatic inspection.The results show that on the geometric characteristics of the recognition of LCD screen cracks，effect and precision are better，and recognition speed meets online requirement.

Key words：machine vision；Gauss filter；digital image processing；morphological processing

作者簡介：

收稿日期：（2015-12-31）

*基金項(xiàng)目：大連民族大學(xué)大學(xué)生創(chuàng)新訓(xùn)練計(jì)劃（X201511197）

中圖分類號(hào)：TP181

文獻(xiàn)標(biāo)識(shí)碼：A

DOI：10.19358 /j.issn.1674-7720.2016.09.018