嚴(yán)成宸,閆真真

不依賴于邊緣的TFT-LCD面板缺陷自動(dòng)檢測方法

嚴(yán)成宸,閆真真

（合肥工業(yè)大學(xué)儀器科學(xué)與光電工程學(xué)院,安徽合肥230009）

為了檢測TFT-LCD面板上可能出現(xiàn)的點(diǎn)缺陷和線缺陷,同時(shí)為應(yīng)對其粗糙面及透明、半透明材質(zhì)在光線的散射和多重反射下缺陷成像邊緣較模糊的問題,提出了一種不依賴于邊緣的TFT-LCD缺陷機(jī)器視覺自動(dòng)檢測方法.由工業(yè)CCD相機(jī)采集到的圖像,采用Wiener濾波實(shí)現(xiàn)圖像去噪；構(gòu)造實(shí)值Gabor小波濾波器實(shí)現(xiàn)紋理背景抑制；采用基于最大熵的閾值分割方法分割缺陷；最后提取缺陷參數(shù).通過實(shí)驗(yàn)實(shí)現(xiàn)了對樣本圖像中缺陷的判斷、定位、面積測算和形狀確定,與已有機(jī)器視覺檢測方法相比,算法能夠顯著提高檢測效率,適合缺陷在線檢測.

缺陷檢測；Wiener濾波；Gabor濾波；最大熵分割；特征提取

TFT-LCD面板在制造的過程中會出現(xiàn)一些常見的缺陷,根據(jù)缺陷的形狀、大小,一般分為點(diǎn)缺陷、線缺陷、MURA缺陷3類.其中,點(diǎn)缺陷最為常見,分為亮點(diǎn)和暗點(diǎn)；線缺陷可分為亮線、暗線和微亮線等；MURA缺陷即斑或者云紋,主要特點(diǎn)為局部區(qū)域亮暗程度不均,無固定形狀.本文主要針對前兩類缺陷.

Lu等[1]基于獨(dú)立成分分析進(jìn)行圖像重構(gòu),能有效地移除全局結(jié)構(gòu)圖案,僅保留局部異常,不受水平移動(dòng)和光照變化的影響,但對受檢圖片的垂直移動(dòng)敏感且重構(gòu)圖像不能保存缺陷的大小和形狀.Tsai等[2]利用一維傅里葉重構(gòu)直接作用于一維線性圖像,以濾除重復(fù)紋理背景,再利用小波分解去除不均勻的照度,可以檢出各種模糊的缺陷,但不能測出不同種類缺陷的量化特征.Cen等[3]利用低階矩陣重構(gòu)方法,可以較好地消除紋理背景的重復(fù)圖案,但得到的最終圖像中噪聲點(diǎn)較多,且處理時(shí)間較長,不能很好地滿足在線實(shí)時(shí)檢測的要求.吳寅[4]分別采用奇異值分解法、傅里葉變換法、Gabor小波濾波,對比總結(jié)出Gabor變換適合均勻紋理下的LCD缺陷檢測.

平板類材料檢測的難點(diǎn)一是材料表面跨越從粗糙到光滑,材料材質(zhì)跨越從透明到不透明,以及光線的散射和多重反射的干擾,缺陷邊緣成像較為模糊；二是平板顯示屏缺陷檢測中采集的信息量巨大,如玻璃基板尺寸為1 950mm×2 250mm的7.5代液晶屏能產(chǎn)生175.5GB的圖像數(shù)據(jù)量,要求完成在線實(shí)時(shí)檢測.為此本文提出了一種不依賴于邊緣的TFT-LCD缺陷機(jī)器視覺自動(dòng)檢測方法,兼顧實(shí)時(shí)性和準(zhǔn)確性.

1 缺陷檢測算法

本文所提缺陷檢測算法主要分為圖像去噪、紋理背景抑制、缺陷分割和參數(shù)特征提取4個(gè)步驟.

1.1 圖像去噪

圖像在獲取的過程中,會受到相機(jī)自身性能、機(jī)器抖動(dòng)、光強(qiáng)變化和人員控制等因素的影響,初始圖像可能會附帶各種噪聲.常見的噪聲有高斯噪聲（主要由阻性元器件內(nèi)部產(chǎn)生）和椒鹽噪聲（主要是圖像切割引起的黑圖像上的白點(diǎn)噪聲或光電轉(zhuǎn)換過程中產(chǎn)生的泊松噪聲）等.

為了不影響圖像分析和特征提取等處理,首先要對獲取圖像進(jìn)行預(yù)處理.Wiener（維納）濾波是一種自適應(yīng)濾波器,可以實(shí)現(xiàn)原始圖像和去噪圖像之間較小的均方誤差,并能夠根據(jù)局部方差來調(diào)整濾波器效果,可以很好地保存圖像的邊緣和紋理等高頻細(xì)節(jié)信息,能有效地去除高斯噪聲[5].

圖像首先通過Wiener濾波,基本消除了CCD及其他元件在采集圖像時(shí)由于抖動(dòng)產(chǎn)生的噪聲,并且保留了圖像缺陷信息,同時(shí)保證紋理背景沒有變模糊,這對下一步紋理背景抑制極其重要.

1.2 紋理背景抑制

針對LCD紋理的分布特點(diǎn),設(shè)計(jì)Gabor濾波器,濾除待測圖像的紋理背景.Gabor變換[6]在空域、頻域和方向上都能獲得很好的分辨率,是紋理分析中重要的方向性濾波器.Gabor濾波通過設(shè)置不同參數(shù)構(gòu)成不同的濾波器,實(shí)現(xiàn)對圖像多尺度、多方向特征提取,可以模擬人類視覺系統(tǒng).

在空域中,Gabor濾波函數(shù)由一個(gè)高斯函數(shù)和一個(gè)正弦復(fù)值函數(shù)乘積得到,完整表達(dá)見式（1）、式（2）.

式（1）中,和為Gabor濾波器的尺度因子,分別代表二維橢圓高斯包絡(luò)沿兩坐標(biāo)軸標(biāo)準(zhǔn)偏差,決定了計(jì)算某像素點(diǎn)加權(quán)時(shí)受影響的像素領(lǐng)域的大小.式（2）中θ表示Gabor濾波器的濾波方向,改變θ取值可以構(gòu)成不同方向的Gabor濾波器.二維Gabor函數(shù)是一個(gè)復(fù)值函數(shù),其實(shí)部和虛部分別見式（3）和式（4）.

式（3）、式（4）中：f是中心頻率,θ是旋轉(zhuǎn)角度.經(jīng)驗(yàn)證,實(shí)值Gabor濾波器在紋理分析中適合于塊狀區(qū)域的檢測,而虛值Gabor濾波器適合于邊緣檢測.因此,為消除重復(fù)紋理背景,選用實(shí)值Gabor濾波器,與常用的復(fù)值濾波器相比,可大大減少檢測時(shí)間.

通過設(shè)定不同的中心頻率f和旋轉(zhuǎn)角度θ,可以構(gòu)造出多尺度、多方向的Gabor濾波器組,即Gabor小波濾波器[7].背景抑制的關(guān)鍵因素是濾波器的3個(gè)參數(shù)中心頻率f、濾波方向θ、尺度因子σ的設(shè)定,參數(shù)的最佳取值需要根據(jù)待測圖像紋理特點(diǎn),通過不斷試驗(yàn)得到.本文通過設(shè)定4個(gè)中心頻率和4個(gè)方向共16個(gè)濾波器組成了實(shí)值Gabor濾波器組.文獻(xiàn)[8]指出,以1/（2l）為中心頻率的實(shí)值Gabor濾波器可以作為寬度為l的物體的理想Blob檢測器.本文采用的4個(gè)中心頻率為fm=fmax/2m-1（m=1,2,3,4）.其中,fmax≤1/（2T）,T為一個(gè)紋理單元的寬度.本文中試驗(yàn)圖像,T≈2,故取fmax=1/4.考慮到對稱性,4個(gè)方向分別選擇θ=0°、45°、90°和135°.在本算法中,采用圓對稱的Gabor濾波器,尺度因子和均設(shè)定為5.6[4].

構(gòu)造好實(shí)值Gabor濾波器之后,通過待測圖像與濾波器模板做卷積來實(shí)現(xiàn)對圖像進(jìn)行Gabor濾波,所得圖像可用式（5）來表示.

式（5）中：I(x,y)表示輸入圖像,IG(x,y)表示經(jīng)Gabor濾波處理后的輸出圖像.

由于Gabor濾波器設(shè)定了4個(gè)方向和4個(gè)頻率,一共16個(gè)濾波器,故用這16個(gè)濾波器對待測圖像進(jìn)行處理,結(jié)果得到16幅輸出圖像,各個(gè)輸出圖像的信息有所不同.本算法中,依次采用求均方根、幾何平均和算術(shù)平均的方法來實(shí)現(xiàn)圖像融合[9].

（1）均方根

（2）幾何平均

同理得到I23、I24.

（3）算術(shù)平均

經(jīng)過圖像融合將16幅Gabor濾波輸出的圖像合成一幅圖像,為了將缺陷部分與背景完全區(qū)分開,下一步必須對合成圖像進(jìn)行缺陷分割.

1.3 缺陷分割

一般情況下,TFT-LCD面板圖像可能出現(xiàn)缺陷邊緣模糊、對比度低等問題,手動(dòng)設(shè)定閾值或利用邊緣檢測算子進(jìn)行圖像分割均不適用,因此必須考慮使用不依賴于邊緣的模糊缺陷分割方法.

熵是圖像統(tǒng)計(jì)特性的一種表現(xiàn)形式,反映了圖像包含信息量的大小.數(shù)字圖像分割后的二值圖像的熵值越大,說明分割圖像細(xì)節(jié)越豐富,分割效果越好.采用基于最大熵的閾值分割算法[10],受目標(biāo)缺陷大小的影響小,能實(shí)現(xiàn)高精度的分割[11].

假設(shè)一幅灰度級為大小為M行N列的灰度圖像,f(x,y)表示坐標(biāo)為(x,y)的像素的灰度值.計(jì)算分割閾值分為3步.

（1）計(jì)算整張圖像中灰度級i出現(xiàn)的概率pii

式（9）中,Ni為圖像中灰度值為i的像素點(diǎn)總數(shù),Nimage為整幅圖像像素總數(shù).

（2）分割閾值從0到255遍歷,計(jì)算每個(gè)閾值分割后前景和背景的熵,故圖像前景和背景熵值分別為

（3）前景熵與背景熵之和最大值時(shí)對應(yīng)的灰度,即為所求閾值

1.4 參數(shù)特征提取

TFT-LCD屏的缺陷種類較多,且表現(xiàn)各異,對于不同特點(diǎn)的缺陷要進(jìn)行具體的分析,選用能夠準(zhǔn)確反映圖像中缺陷的類型、性質(zhì)和狀態(tài)等特征的圖像特征值.點(diǎn)缺陷一般為單個(gè)子像素面積,缺陷類型為亮點(diǎn)或者暗點(diǎn),而相鄰的多個(gè)點(diǎn)缺陷則尤為嚴(yán)重,所以判斷點(diǎn)缺陷需考慮面積和位置兩個(gè)特征參數(shù).線缺陷一般寬度為單個(gè)子像素,而長軸方向貫穿屏幕縱軸或橫軸方向的一排亮點(diǎn)或暗點(diǎn),可通過面積、位置和矩形度3個(gè)特征參數(shù)來判定.

樣本圖像中缺陷的面積、位置和矩形度可由下列公式得出

（1）位置（質(zhì)心）

式（14）中：U表示缺陷存在的區(qū)域.

（2）面積

（3）矩形度

式（16）中：AS表示缺陷區(qū)域S的面積,AR表示包圍該區(qū)域的最小矩形面積.

2 實(shí)驗(yàn)與結(jié)果

為了驗(yàn)證前文提出的缺陷檢測方法,對帶有缺陷的樣本圖像圖1進(jìn)行了實(shí)驗(yàn)驗(yàn)證.

圖1 樣本圖像Fig.1 Sample images

本算法以Matlab R2014a為工具,采用win7 64位系統(tǒng)的計(jì)算機(jī),CPU主頻為3.2GHz,內(nèi)存為4GB,對像素均為256×256的樣本圖像,圖1分別給出其經(jīng)過圖像去噪、Gabor濾波、最大熵分割和參數(shù)特征提取的結(jié)果,見圖2至圖5.

圖2 圖像去噪Fig.2 Image denoising

圖3 Gabor小波濾波Fig.3 Gaborwavelet filter

圖4 最大熵分割Fig.4 Maximum entropy segmentation

圖5 參數(shù)特征提取Fig.5 Extraction ofparameters feature

從結(jié)果中可以看出,通過Wiener濾波,圖像基本消除了高斯噪聲,并完好地保存了缺陷信息；根據(jù)圖像的紋理特點(diǎn)構(gòu)造的實(shí)值Gabor小波濾波器能很好地消除紋理背景,且能適應(yīng)一定程度的紋理變形、旋轉(zhuǎn)及圖像光照不均勻；最大熵分割不依賴于缺陷邊緣,可以很好地分割出缺陷,對點(diǎn)缺陷和線缺陷都有很好的識別效果；參數(shù)特征提取可以在圖上標(biāo)記出缺陷的具體位置,并給出相應(yīng)的特征參數(shù).

圖4所示3幅樣本圖像經(jīng)過最大熵分割后得到的效果圖,圖中的缺陷基本被檢出,其中分割閾值分別為43、43、47.圖5中面積以像素點(diǎn)個(gè)數(shù)為單位,坐標(biāo)位置以圖的左上角為原點(diǎn),自原點(diǎn)往右、往下分別為X、Y軸.圖5-a上中心的針孔缺陷像素面積為1 018,位置坐標(biāo)為（119.66,123.63）.表1給出了圖5-b中各顆粒缺陷的質(zhì)心位置、面積及矩形度等參數(shù).表2給出了圖5-c中劃痕上各點(diǎn)的質(zhì)心位置、面積及矩形度等參數(shù).

表1 圖5-b的缺陷參數(shù)Tab.1 Parametersofdefects in Fig.5-b

表2 圖5-c的缺陷參數(shù)Tab.2 Parametersofdefects in Fig.5-c

從表1、表2可以看出,3幅樣本圖像中各個(gè)缺陷完整的參數(shù)數(shù)據(jù)被成功地提取出,并可直接用于后續(xù)的在線識別.經(jīng)測算,每幅圖平均檢測用時(shí)為0.8 s,基本滿足TFT-LCD面板在線檢測系統(tǒng)要求的實(shí)時(shí)性.文獻(xiàn)[3]使用低階矩陣重構(gòu)方法得到的效果圖見圖6.

圖6 文獻(xiàn)[3]檢測效果Fig.6 Detection results in documentNo.3

由圖6可以看出,未濾去的紋理背景多以點(diǎn)線狀存在,對缺陷的分類和參數(shù)特征提取會引起很大干擾.相比較而言,本文中提出的方法可以更好地抑制紋理背景,便于提取缺陷的特征參數(shù),且檢測用時(shí)短,可大大提高檢測的效率.

3 小結(jié)

本文提出了一種不依賴于邊緣的TFT-LCD點(diǎn)缺陷和線缺陷的機(jī)器視覺自動(dòng)檢測方法.由工業(yè)CCD相機(jī)采集圖像,通過Wiener濾波,基本消除了高斯噪聲并完好保留了缺陷信息；通過設(shè)定不同的參數(shù),構(gòu)造實(shí)值Gabor小波濾波器以實(shí)現(xiàn)均勻紋理背景抑制；采用基于最大熵的分割方法分割出點(diǎn)缺陷和線缺陷；最后提取出缺陷的位置、面積及矩形度等參數(shù)特征以便后續(xù)工作使用.相比較現(xiàn)有的機(jī)器視覺檢測方法,本方法能夠顯著提高檢測效率,適用于在線檢測,而對于微小缺陷的分割檢測則需要做進(jìn)一步的優(yōu)化研究.

[1]LU C J,TSAIDM.Independent componentanalysis-based defectdetection in patterned liquid crystal display surfaces[J].Image Vision Computer,2008,26：955-970.

[2]TSAIDM,HUNGCY.Automatic defect inspection ofpatterned TFT-LCD panelsusing 1-D Fourier reconstruction andWavelet decomposition[J].International JournalofProduction Research,2005,43：4589-4607.

[3]CEN Y G,ZHAO R Z,CEN LH,et al.Defect inspection for TFT-LCD images based on the low-rankmatrix reconstruction[J]. Neurocomputing,2015,149：1206-1215.

[4]吳寅.基于機(jī)器視覺的航空顯示組件LCD缺陷檢測技術(shù)研究[D].南京：南京航空航天大學(xué),2012.

[5]王姣斐,王雙喜.基于MATLAB軟件的圖像去噪方法比較[J].甘肅農(nóng)業(yè)大學(xué)學(xué)報(bào),2011,8（4）：157-160.

[6]GABOR D.Theory of communication.Part 3：Frequency compression and expansion[J].Journal of the Institution of Electrical Engineers,1946,93（26）：429-457.

[7]畢昕.面向TFT-LCD制程的Mura缺陷機(jī)器視覺檢測方法研究[D].上海：上海交通大學(xué),2009.

[8]CASASENT D.P,SMOKELIN JS.Neural net design ofmacro gabor wavelet filters for distortion-invariant object detection in clutter[J].OpticalEngineering,1994,33（7）：2264-2271.

[9]ESCOFET J,NAVARRO R,Garciaverela M SM.et al.Detection of local defects in textile webs using gabor filters[J].Vision Systems New Image Processing Techniques,1996,2785（8）：163-170.

[10]章毓晉.圖像工程：中冊：圖像分析[M].北京：清華大學(xué)出版社,2006.

[11]劉文萍,吳立德.圖像分割中閾值選取方法比較研究[J].模式識別與人工智能,1997,3（10）：271-278.

（責(zé)任編輯：盧奇）

Automatic detection of TFT-LCD panel defectsw ithout edge-dependence

YAN Chengchen,YAN Zhenzhen
（InstrumentScienceand Opto-electric Engineering College,HefeiUniversityof Technology, Hefei230009,China）

In order to detect pointand line defectswhichmay occur on TFT-LCD panels,at the same time,under the light scattering and multiple reflections,fuzzy edge of defects was imaged by the rough surface and transparent or translucent material.To deal with them,an independent-of-edge machine vision method of automatic detection of TFT-LCD defects was proposed.The images obtained by industrial CCD camera were denoised by Wiener filtering；the background texture was suppressed by constructing real value Gabor wavelet filter；the threshold segmentation method based on maximum entropy was employed to segment defects.Finally,the defect parameters were extracted. The judgment,positioning,areameasuring and shape confirmation of defects in sample images were achieved through the experiment.Compared with the existingmachine vision detection method,this algorithm can significantly improve the efficiency of detection,and is suitable for online detecting defects.

defect detection；Wiener filtering；Gabor filtering；maximum entropy segmentation；feature extraction

TP391.4

A

1008-7516（2017）03-0065-07

10.3969/j.issn.1008-7516.2017.03.011

2017-04-01

科技部重大儀器專項(xiàng)資助項(xiàng)目（2013YQ220749）

嚴(yán)成宸（1992—）,男,江蘇泰州人,碩士生.主要從事機(jī)器視覺研究.