張亞洲 ，盧先領 *

（1.江南大學物聯(lián)網工程學院，江蘇無錫214122；2.輕工過程先進控制教育部重點實驗室（江南大學），江蘇無錫214122）（?通信作者電子郵箱jnluxl@jiangnan.edu.cn）

0 引言

液晶屏（Liquid Crystal Display，LCD）導光板是液晶顯示器背光源模組中的重要組成部件，其表面缺陷將影響液晶屏的顯示效果。基于機器視覺的LCD導光板表面缺陷自動光學檢測（Automated Optical Inspection，AOI）［1］系統(tǒng)，相對人工視覺檢測具有檢出率高、誤檢率低、速度快、可全天無間斷工作等優(yōu)點，其中，LCD導光板圖像在復雜背景下的缺陷檢測技術是AOI系統(tǒng)視覺檢測部分的核心［2］，其難點問題在于：1）由于LCD導光板表面導光顆粒尺寸和散布密度漸變的特點，導致同一圖像不同區(qū)域的背景紋理差異性較大；2）在復雜背景紋理信息的干擾下，成像面積較小，其特征難以提?。?）對漏檢率和誤檢率等性能指標有較高的要求。

根據LCD導光板表面常見缺陷的種類和缺陷特征的提取方式，目前現有的LCD導光板缺陷檢測方法有不變矩特征檢測法［3-4］和頻域濾波檢測法［5-7］。不變矩特征檢測法通過提取圖像的矩不變量作為描述不同區(qū)域網點結構分布的特征量，但使用高階矩表征圖像細節(jié)信息時易受到噪聲等因素的影響，對此，Lin［3］通過引入加權中心矩來提高遠離質心區(qū)域噪聲的容忍度，并結合人工神經網絡（Artificial Neural Network，ANN）識別出LCD導光板表面微結構缺陷，但沒有對劃痕和異物等常見缺陷提出檢測方法，而且矩不變量的計算較為復雜，難以達到檢測系統(tǒng)的實時性要求。頻域濾波檢測法是實際生產中常用的檢測方法，Huang等［5］提出基于離散傅里葉變換（Discrete Fourier Transform，DFT）的檢測方法，通過頻域濾波，剔除了具有周期性的背景圖案，并利用最大類間方差（Otsu）閾值分割法和形態(tài)學操作完成缺陷區(qū)域前景的提??；但此方法缺乏局部化分析能力，易受到圖像灰度局部分布不均的干擾。Bi等［6］使用Gabor變換在頻域中對多個固定的方向和尺度提取TFT-LCD（Thin Film Transistor Liquid Crystal Display）圖像的相關特征并檢測出Mura缺陷，雖然Gabor濾波法有頻率和方位的選擇性，克服了DFT檢測法的缺點，但其時頻窗口的大小和形狀不能隨頻率的變化而變化，不具備自適應能力［8］。因此，頻域濾波檢測法在圖像重構的過程中容易出現缺陷信息丟失和背景濾除不徹底的現象。

針對LCD導光板視覺檢測技術中的難點和現有缺陷檢測方法的不足，本文提出一種基于改進相干增強擴散（Improved Coherence Enhancing Diffusion，ICED）與 TEMGMM（Texture Energy Measure-Gaussian Mixture Model）的 LCD導光板表面缺陷檢測方法。該方法在每次迭代計算結構張量之前，使用平均曲率流擴散（Mean Curvature Flow，MCF）濾波代替高斯濾波對上次迭代更新后的圖像進行擴散濾波操作，得到缺陷紋理增強和背景紋理抑制的ICED圖像，并依據Laws紋理能量測度和缺陷的紋理特性在相同區(qū)域提取不同的紋理特征；結合背景建模的思想，將多通道的背景紋理特征作為高斯混合模型（Gaussian Mixture Model，GMM）的訓練數據，利用期望最大化（Expectation Maximization，EM）算法估計所建立的高斯混合模型參數，計算待檢測圖像各個像素的后驗概率，據此判斷各個像素是否屬于缺陷區(qū)域。

1 LCD導光板表面缺陷檢測裝置

LCD導光板表面缺陷檢測裝置架構如圖1所示，由片材傳送、圖像采集和片材分揀三部分組成。圖像采集部分主要包括工業(yè)相機、鏡頭和光源，相機采用型號為DALSA-PX-HC-08K07T的CMOS線掃描相機，水平方向分辨率大小為8 160 pixel，最高行頻70 kHz，鏡頭型號為Schneider COMPONON-S100mm f5.6；在相機的正下方安裝條形發(fā)光二極管（Light Emitting Diode，LED）光源，其長度大于片材的長邊，經過光源控制器調節(jié)光照強度。進入檢測機構的片材經過導正裝置和清潔裝置處理后，以片材的長邊進入圖像采集工位，使用三臺線掃描相機同時采集圖像數據。機械手根據檢測結果信號將片材放置相應的抽檢盒。

圖1 LCD導光板表面缺陷檢測裝置架構Fig.1 LCDlight-guideplate surfacedefect detection devicearchitecture

采集不同型號的LCD導光板圖像如圖2所示，圖2（a）中包含了產品表面導光顆粒規(guī)則分布和散亂分布的無缺陷圖像，圖2（b）為相應的缺陷圖像。

圖2 LCD導光板圖像Fig.2 LCDlight-guide plate images

2 本文方法

2.1 改進的相干增強擴散

由于LCD導光板圖像中的缺陷和背景具有不同的紋理結構，其表面缺陷檢測問題可以看作紋理特征差異性較大的區(qū)域的判別問題，因此，增強缺陷的紋理特征有利于對缺陷的檢測?；谄⒎址匠蹋≒artial Differential Equation，PDE）的擴散濾波方法通過對圖像的局部結構進行分析和處理，可得到背景與缺陷的紋理特征差異性擴大的濾波后圖像。典型的P-M（Perona-Malik）擴散濾波［9］通過迭代計算圖像的梯度值來檢測邊緣，使得擴散濾波過程對圖像的邊緣有較小的平滑作用，而對圖像的非邊緣區(qū)域有顯著的降噪作用，但約束擴散行為的條件單一，而且容易使圖像產生塊狀效應。為此，Weickert等［10］提出了相干增強擴散（Coherence Enhancing Diffusion，CDE）模型，將擴散因子轉換為擴散張量，從而獲得更多的局部結構信息，擴散行為也更有方向性，CED模型如式（1）表示：

其中：Iσ表示以方差為σ2的高斯函數Gσ與I做卷積運算；符號“*”表示卷積運算，即Iσ(i，j，t)=Gσ*I(i，j，t)；Kρ表示方差為ρ2的高斯核；“?”表示張量積。式（2）中的ρ必須大于0，若ρ=0，擴散矩陣的擴散行為將只受圖像梯度的控制。計算結構張量Lρ(?Iσ)的兩個特征值λ1、λ2得：

令特征值λ1＞λ2，λ1和λ2對應特征向量分別為v1和v2，v1與圖像梯度方向平行，v2與圖像梯度方向垂直。根據Weickert等的建議［12］，D的特征值μ1、μ2取為：

其中：η為擴散率，通常取較小的正數，如η=0.001。擴散矩陣D的特征向量與結構張量的特征向量相同，所以μ1對應v1，μ2對應v2。顯然，圖像沿著v1方向有較小的擴散率，沿著v2方向的擴散程度與相干性C的強弱相同，相干性定義為C=(λ1-λ2)2，當λ1≈λ2≈0時，圖像的相應區(qū)域具有光滑特性，此時C≈0，表示相干性較弱；當λ1?λ2≈0時，圖像的相應區(qū)域有邊緣或流線狀結構，C≈1，即相干性較強；當λ1≈λ2?0時，圖像有轉角或T形的局部結構，C≈0，則相干性較弱。CDE模型中包含兩個高斯過程：第一個高斯濾波方差為σ2，在計算梯度之前對圖像作一次高斯平滑的預處理；第二個高斯濾波方差為ρ2，以尺度為ρ的鄰域考慮了圖像的局部結構信息。

該模型雖然能夠使圖像朝著定義的相干方向恢復斷線的連接，但預處理階段的高斯濾波會隨著迭代計算的過程逐漸模糊劃痕狀缺陷的邊緣信息。因此，本文提出了ICED模型，將CDE模型的第一個高斯濾波替換為MCF擴散濾波。MCF擴散濾波具有在梯度的方向上不擴散，只在邊緣的切線方向上擴散的性質［13］，相比預處理階段的高斯濾波能更好地保持劃痕的邊緣，改進后的結構張量定義如下：

圖3 ICED模型與CED模型處理效果對比Fig.3 Processingeffectcomparison between ICEDmodel and CEDmodel

2.2 多通道紋理特征提取

經過ICED濾波后，為了進一步突出圖像的局部相關特性，采用Laws紋理能量測度（Texture Energy Measure，TEM）計算紋理特征［15］，對單個像素及其鄰域內像素灰度值的分布進行紋理測量的一階統(tǒng)計分析，其主要步驟包括微窗口紋理模板卷積和宏窗口能量變換兩個操作。首先，選擇微窗口紋理模板，Laws提供了5個常用的1維（1D）模板向量用來提取紋理特征，其中：L5給出中心加權的局部平均，E5檢測邊緣，S5檢測點，W5和R5檢測波紋。5個1D模板向量通過卷積可以計算出25個2維（2D）模板，如E5L5為向量E5的轉置與向量L5卷積所得，每個2D微窗口紋理模板與圖像I(i，j)做卷積運算，可得到相應的微窗口紋理圖像，表達式如下：

其中：M(a，b)為2D微窗口紋理模板；w為模板大??；G(i，j)為卷積后的微窗口紋理圖像，且每個像素位置(i，j)包含該像素一定鄰域內的紋理信息，使用d個2D紋理模板分別對同一圖像進行卷積操作，得到(i，j)的d個紋理特征分量，則每個像素位置均有一個d維的微窗口紋理特征向量(G1(i，j)，G2(i，j)，…，G d(i，j))。其次，將每個微窗口紋理圖像再經過一個宏窗口的均值濾波器處理，即完成了紋理能量的變換，表達式如下：

其中：G(k，l)表示微窗口紋理圖像，宏窗口均值濾波器的大小為(2n+1)×(2n+1)，得到圖像的紋理特征為E(i，j)。在25個2D微窗口紋理模板中，E5L5通常用于描述水平邊緣紋理特征；L5S5和L5E5對垂直邊緣紋理特征比較敏感；R5R5用于提取高頻信息；對同一張圖像使用d組2D微窗口紋理模板可以提取更豐富的紋理特征，并組成多通道的紋理圖像，即原圖中每個像素位置的值可以由包含d個元素的集合表示。

2.3 基于GMM的缺陷像素判別

經過紋理特征提取階段后，圖像中的缺陷區(qū)域和背景區(qū)域均有對應的多個紋理特征分量，即紋理信息由這些紋理特征分量所張成的子空間表征。因此，缺陷區(qū)域的判別問題就轉化為缺陷紋理和背景紋理的分類問題，對待檢測圖像而言，其分類的依據為圖像像素點所屬不同紋理特征子空間的概率，而對于紋理特征子空間的描述，使用GMM［16］能很好地擬合多通道的紋理圖像。

設隨機變量X為像素點位置為(i，j)處像素所攜帶的紋理特征，在多通道紋理特征圖中X是d維向量，使用變量s(s=1，2，…，n)表示高斯混合模型輸入數據中像素點的個數，隨機變量X在s=n時的觀測值記為X s=n=[x1，n，x2，n，…，xd，n]T，則像素點屬于背景區(qū)域的概率可由下式表示：

采用EM算法找到使對數似然函數取最大值的參數θ的估計值θ?［17］，采用隨機中心的方法計算EM迭代的初始參數［18］α0、μ0、Σ0。

EM算法分為E步驟和M步驟。

將求解的參數值回代入E-步驟計算期望，直到對數似然函數值收斂于最優(yōu)值，得到高斯混合模型最終的估計參數。應用高斯混合模型時，提取待檢測圖像的紋理特征，計算每個像素位置所屬第m個分布的后驗概率P，將所求概率較小的像素點標記為缺陷像素點。

綜上所述，在離線訓練階段，首先采集合格產品的圖像，以表面導光顆粒的尺寸和分布密度為標準，將圖像劃分為若干個面積相等的子區(qū)域。保證子區(qū)域內的背景紋理有較小的漸變程度，對每個子區(qū)域作進一步的分塊操作，選取若干張表征每個子區(qū)域背景紋理分布的圖片，經過ICED處理后提取所選圖像的紋理特征作為高斯混合模型的訓練數據。在線檢測階段，經相同的特征提取操作后，應用已訓練的高斯混合模型對所屬缺陷區(qū)域的像素進行標記，檢測方法流程示意圖如圖4所示。

3 實驗與結果分析

3.1 實驗數據與性能指標

為了驗證本文所提檢測方法的有效性和適用性，本實驗采集了兩種不同類型的LCD導光板圖像。由于產品在進入檢測階段前其尺寸信息已知，每種LCD導光板的無缺陷圖像沿著短邊劃分為若干個等面積區(qū)域，按該區(qū)域內每個區(qū)域使用25張長寬尺寸為600 pixel的子圖像表示該組的背景紋理分布情況，并建立該區(qū)域背景紋理特征的高斯混合模型。兩種LCD導光板的6組測試數據相關信息如表1所示。

表1 六組測試數據信息Tab.1 Information of six sets of test data

本文使用漏檢率A和誤檢率B來評價每組測試數據的整體檢測效果，表達式如下：

其中：NF是指實際存在的缺陷但未被檢出的缺陷個數；NT是實際缺陷總數量；NC是實際不存在的缺陷卻被誤認為缺陷的數量。由于本文檢測方法是對分塊后的子圖像進行逐像素判斷，所以對每張子圖像的檢測效果使用檢測精確度Pre、召回率Rec和F1值［19］三個指標進行定量的分析，其定義為：

其中：TP為正確檢測的缺陷像素點數；FP為正確檢測的背景像素點數；FN為沒有檢測到的缺陷像素點數；F1是檢測精確度和召回率的綜合評估指標。

圖4 本文檢測方法流程示意圖Fig.4 Overall flowchart of the proposed detection algorithm

3.2 參數的選擇

本文從應用的角度分析所提方法的主要參數，在ICED濾波階段，IMCF中的高斯平滑參數γ反映了抑制噪聲的效果，γ的取值過大（γ=10）會使圖像失真，對LCD導光板圖像而言，γ的取值在0～1對平坦區(qū)域的噪聲抑制效果最好，經大量仿真實驗總結，本文取γ=0.5。結構張量Hρ(?IMCF)中參數ρICED反映了邊緣紋理結構特征尺度，即高斯過程的卷積是以尺度為ρICED的鄰域對每個像素點取加權平均，調節(jié)尺度的大小可以控制導光顆粒邊緣部分的擴散程度。在IMCF的影響下，選擇相對γ（γ＜1）較大的ρICED對導光顆粒的邊緣保護效果較好，缺陷區(qū)域內部像素在迭代計算中逐漸平滑，但沒有抑制導光顆粒的邊緣，此時，缺陷和背景之間紋理特征的差異性較小；ρICED的值相對γ（γ＜1）的值較接近時，能有效地抑制導光顆粒邊緣信息；但過小的ρICED將破壞背景的紋理特性，導致GMM無法對背景進行有效的建模。由于參數γ對擴散效果影響較小，所以本實驗對比分析不同紋理特征尺度參數下ICED與CED的濾波效果，令迭代次數為15，處理結果如圖5所示。

從濾波效果來看：CED濾波中，當ρCED=0.5時，圖像的紋理特征沒有得到增強；當ρCED=1.5時，圖像表現出很強的流線狀紋理特征，但背景也隨之發(fā)生了嚴重的條紋狀的扭曲。ICED濾波中，當ρICED=0.5時，有效增強了缺陷的線狀紋理并抑制了背景紋理。為了進一步對比CED和ICED的紋理增強效果，分別將圖5中ρCED=1.5對應的CED濾波后圖像和圖5中ρICED=0.5對應的ICED濾波后圖像使用Laws模板L5S5提取相應的紋理特征分量，其灰度分布三維視圖如圖6所示。

圖5 不同參數下CED濾波與ICED濾波的處理效果對比Fig.5 Processingeffect comparison between CEDfilteringand ICEDfilteringunder different parameters

顯然ICED濾波在參數ρICED=0.5時能較好地突出缺陷存在的區(qū)域，并減少背景對缺陷的干擾。為了進一步確定ρICED的取值，在固定的迭代次數下和有效的ρICED取值區(qū)間內，分別對表1中的6組高斯混合模型進行訓練，并將表1中的6組測試圖像應用于對應的GMM，統(tǒng)計漏檢率A和誤檢率B的值，結果如圖7所示，得出ICED參數ρ的取值范圍在0.6～0.8有更佳的檢測效果。

圖6 CED、ICED濾波后L L 5S S 5紋理特征分量的灰度分布三維視圖Fig.6 Gray distribution 3Dmaps of L5S5 texture features after CED and ICED filtering

圖7 ICED參數ρ與漏檢率A和誤檢率B的對應關系Fig.7 Correspondence between ICED parameterρand missing rate A and false detection rate B

3.3 檢測結果對比

將本文方法與 DFT［4］、Gabor［5］、TEM［20］和 CED 與 TEM 結合的方法進行對比分析。其中DFT和Gabor方法均先對圖像的背景紋理進行頻域濾波，然后通過逆變換得到重構圖像，最后通過Otsu分割出缺陷區(qū)域；TEM方法和CED結合TEM方法采用與本文方法相同的2D紋理濾波模板和GMM參數。選擇不同背景類型的LCD導光板缺陷圖像作為對比實驗的測試數據，檢測結果如圖8所示，白色像素點表示被檢測到的缺陷像素點。從圖8的檢測結果來看，Gabor方法和DFT方法均有一定程度的漏檢和誤檢現象，但Gabor方法對非缺陷區(qū)域的誤判率比DFT方法低；紋理特征與高斯混合模型相結合的檢測方法對“顆粒缺失”這種特殊類型的缺陷具有很好的判斷能力，彌補了頻域濾波法對此類缺陷判斷不力的缺點，但TEMGMM和CED+TEM-GMM方法對背景紋理沒有抑制，對缺陷紋理也沒有增強，使得高斯混合模型對缺陷像素的判斷有較大的誤差。不同方法的檢測結果對比表明，本文方法所檢測出的缺陷區(qū)域更接近人工標記的缺陷區(qū)域。

為了更加精準地評估本文檢測方法，使用性能指標：檢測精度Pre、召回率Rec、F1以及漏檢率A、誤檢率B進行定量的分析。本文方法與其他方法在圖8測試數據上的召回率Rec和檢測精確度Pre的對比如表2所示。表2中：DFT+Otsu方法和Gabor+Otsu方法對其頻域濾波器中相關參數的選擇較為敏感，相同的參數設置難以適應背景紋理的變化，對不同缺陷圖像計算的Rec和Pre數值波動較大；基于多通道紋理特征和背景建模的檢測方法，對非缺陷像素有較低的誤判，所以Pre值偏高，但TEM-GMM和CED+TEM-GMM方法沒有紋理的增強功能，造成對缺乏紋理特征的缺陷像素漏檢，即出現FN數值偏高、Rec數值偏小的情況，由于CED+TEM-GMM方法對缺陷內部的平坦區(qū)域有平滑的作用，一定程度上增強了缺陷內部區(qū)域的紋理特征，其Rec數值大于TEM-GMM方法；本文方法通過對缺陷紋理進行增強，降低了FN和FP的值，所以Rec和Pre的數值普遍高于其他方法。計算F1值的結果如圖9所示，本文方法比其他方法有較高的F1值，對不同背景紋理和不同類型的缺陷有更穩(wěn)健的檢測效果。

圖8 不同方法的檢測結果對比Fig.8 Comparison of detection resultsobtained by different methods

表2 不同方法缺陷圖像檢測結果的Rec和Pre值比較Tab.2 Comparison of Rec and Pre values of defect imagedetection resultsby different methods

表3顯示了不同方法對整個實驗數據中待檢圖像的漏檢率A、誤檢率B以及檢測時間的對比，與其他對比方法相比，本文方法有較低的漏檢率和誤檢率。

表3 不同方法的漏檢率、誤檢率以及檢測時間的對比Tab.3 Comparison of missingrate，falsedetection rateand detection timeof test datasetsby different methods

在檢測時間方面，運行環(huán)境為計算機CPU i5-7200U 2.7 GHz、8 GB內存，算法采用Matlab和OpenCV等機器視覺庫函數實現，由于本文的ICED過程有多次的迭代計算，使得檢測時間略高于其他方法，需在后續(xù)的工作中對ICED優(yōu)化，但仍控制在毫秒級別，滿足實際生產中檢測系統(tǒng)的實時性要求。

圖9 檢測結果的F1值對比Fig.9 F1 valuecomparison of detection results

4 結語

本文提出了基于改進相干增強擴散與TEM-GMM的LCD導光板表面缺陷檢測方法，對相干增強模型引入平均曲率流擴散濾波，對每次迭代更新的圖像進行邊緣保持，通過選擇合適的結構特征尺度參數ρ來增強缺陷紋理并抑制背景紋理，利用高斯混合模型擬合多通道背景紋理特征，通過EM算法估計背景模型參數，結合待檢圖像像素點屬于背景像素的后驗概率，完成缺陷區(qū)域的判斷。在實際采集的實驗數據上進行測試，對比實驗的結果表明，本文方法在F1值、漏檢率和誤檢率等性能指標上均有明顯的優(yōu)勢，但需要在進一步的工作中研究ICED階段的迭代停止條件和紋理結構特征尺度參數ρ自適應選擇的問題。