黃妍妍，高寶紅，張海濤，康軍廣

（1.河北工業(yè)大學(xué) 微電子研究所，天津 300130；2.河北工業(yè)大學(xué) 網(wǎng)絡(luò)管理中心，天津 300130）

1 引 言

液晶屏是一種光電子產(chǎn)品，我國現(xiàn)有液晶屏生產(chǎn)企業(yè)100多家，中低檔液晶的產(chǎn)量占世界的90%，其中大部分產(chǎn)品出口到國外，是當(dāng)前我國電子信息產(chǎn)業(yè)中極富競爭力和發(fā)展前景的高新技術(shù)產(chǎn)業(yè)。在液晶生產(chǎn)過程中需要多步清洗［1］來保證液晶屏產(chǎn)品的質(zhì)量。包括LCD基片的清洗、曝光顯影后的清洗、摩擦定向后的清洗、灌注液晶后的清洗等。在LCD生產(chǎn)過程中，由于液晶的沁潤而發(fā)生虹吸現(xiàn)象，使液晶進(jìn)入狹縫，而且在液晶盒表面、PIN腳上也會殘留很多液晶，這些殘留不但影響產(chǎn)品外觀，妨礙貼偏光片工序，還會造成電極接觸不良，電路斷路，短路等嚴(yán)重的質(zhì)量問題，導(dǎo)致整機(jī)報(bào)廢，損失嚴(yán)重。因此，及時有效地檢測這些液晶殘留對于提高產(chǎn)品的優(yōu)品率，優(yōu)化清洗工藝和研發(fā)優(yōu)質(zhì)的清洗劑具有重要意義。

現(xiàn)有各種污染物識別方法和設(shè)備不適于高精度器件表面，不能識別分析微小的污染物。針對微小污染物，需要借助顯微鏡對物體表面的潔凈度進(jìn)行評價的方法，包括電子顯微分析法、光學(xué)顯微分析法等。電子顯微分析法識別準(zhǔn)確率高，但價格高昂，分析過程復(fù)雜。光學(xué)顯微分析方法設(shè)備較為簡單，但評價中主觀因素影響較大。

對于LCD液晶屏表面的污染物識別與分析，將顯微鏡等裝置獲取的放大后圖像進(jìn)行數(shù)字化，用計(jì)算機(jī)軟件程序進(jìn)行自動評價，是一種客觀定量的方法。數(shù)字圖像處理技術(shù)不僅可以排除主觀因素的干擾，降低勞動強(qiáng)度，提高生產(chǎn)效率，而且還能對這些指標(biāo)進(jìn)行定量描述，對污染物的形態(tài)、類型進(jìn)行鑒別和統(tǒng)計(jì)［2－4］。但其難點(diǎn)在于對獲得圖像的處理，即圖像中污染物特性的確定。本文的研究工作正是基于數(shù)字圖像處理技術(shù)，面向LCD液晶屏表面污染物進(jìn)行識別與分析。此外，基于圖像處理的器件表面污染物自動識別與分析方法對于集成電路平坦化過程中的清洗工藝及清洗劑配比研究也有重要應(yīng)用意義。

2 復(fù)雜背景殘留液晶識別方法設(shè)計(jì)

圖像分割是自動識別圖像中目標(biāo)的基礎(chǔ)［5］，但困難在于圖像本身的清晰度并無法保證［6］。迭代閾值分割方法能夠有效地處理背景較平滑的單一背景液晶殘留［7－8］，但是對于包含殘留封膠背景或者背景顏色不均勻的圖像，效果不理想，背景灰度變化較大的影響，整幅圖像分割沒有合適的閾值，單一閾值不能兼顧圖像全部像素。如圖1所示。

圖1 復(fù)雜背景的殘留液晶識別（迭代閾值分割方法）Fig.1 Liquid crystal rudimental recongnition in complex background （Iterative threshold）

圖1中，上下邊緣為殘留封膠，顏色較深，與中間淺色部分有明顯邊界。迭代閾值分割方法是對圖像整體進(jìn)行處理，而在此類圖像中，復(fù)雜背景差距過于明顯，并且顏色值與需要識別的殘留液晶接近，因此處理過程中所計(jì)算得到的閾值并不能將背景與殘留液晶分開，而是會將大面積的背景識別為殘留液晶。因此，對于背景中包含封膠圖像等規(guī)則噪聲的圖像，不能直接使用全局迭代閾值分割算法。

對于以上圖像，大面積噪聲出現(xiàn)于上、下邊緣，并且下邊緣與淺色背景邊界不明顯，因此可以嘗試先對圖像直接進(jìn)行分割，識別出圖像的邊緣，所得到的邊緣所包圍的區(qū)域即是需要識別的殘留液晶。

對圖像進(jìn)行增強(qiáng)并常規(guī)分割后的結(jié)果如圖2所示（所使用的邊緣檢測算子為Sobel算子［9］）。

圖2 圖像增強(qiáng)并分割的處理結(jié)果（Sobel算子）Fig.2 Enhanced and segmented image by Sobel operator

由圖2可見，殘留液晶的邊緣得到了較精確的識別，但所得到的只是邊緣部分，并且受圖像本身質(zhì)量的影響，邊緣并不完全閉合，另外，大面積殘留液晶的邊緣識別為雙邊緣內(nèi)曲線。因而首先需要對邊緣進(jìn)行連接處理，使之成為閉合的邊緣，然后進(jìn)行填充，為最終統(tǒng)計(jì)殘留液晶特征做好準(zhǔn)備。

3 邊緣連接算子研究與設(shè)計(jì)

3.1 圖像填充

在填充過程分為兩個階段：邊緣閉合、二次內(nèi)部填充。邊緣閉合階段采用本文設(shè)計(jì)實(shí)現(xiàn)的邊緣連接算子進(jìn)行處理，針對每一像素，根據(jù)8個相鄰方向上一定范圍內(nèi)的像素顏色值，將滿足預(yù)設(shè)閾值的像素設(shè)置為黑色，從而實(shí)現(xiàn)對不連續(xù)污染物圖像邊緣的閉合連接。處理的結(jié)果是，較大面積（內(nèi)部空白直徑大于閾值）的污染物圖像邊緣確保連續(xù)，內(nèi)部空白直徑小于閾值的污染物圖像被完全填充。

二次內(nèi)部填充是對內(nèi)部空白直徑大于閾值的油污圖像進(jìn)行填充，采用掃描線填充方法進(jìn)行處理。圖像填充［10］是一個將指定不規(guī)則區(qū)域內(nèi)部像素填充為填充色的過程，在計(jì)算機(jī)輔助設(shè)計(jì)和圖像處理等領(lǐng)域有廣泛應(yīng)用，常用算法包括種子填充算法、掃描線填充算法、邊填充算法等。

3.2 邊緣連接算子

本文所設(shè)計(jì)實(shí)現(xiàn)的邊緣連接算子（Edge Connector，EC）如圖3所示。使用EC算子對圖像的每一個像素進(jìn)行處理，當(dāng)遍歷到像素Ai，j時，如果其值為0，則分析其8個方向上相鄰像素的值，以確定是否將其值修改為1，進(jìn)行填充。

圖3 邊緣連接算子示意圖Fig.3 Edge Connector operator illustration

EC算子有兩個參數(shù)：D表示算子的大小，即圖中圓的直徑（或正方形邊長），取值為奇數(shù)，以保證待處理的像素位于中心；N表示在某方向上像素值連續(xù)為1的像素?cái)?shù)閾值。

當(dāng)以下條件之一成立時，將Ai，j的像素值設(shè)置為1：

（1）左邊相鄰 （D－1）／2個像素中有連續(xù)N個像素值為1，并且右邊相鄰 （D－1）／2個像素中有連續(xù)N個像素值為1。

（2）上邊相鄰 （D－1）／2個像素中有連續(xù)N個像素值為1，并且下邊相鄰 （D－1）／2個像素中有連續(xù)N個像素值為1。

由圖4可見，圖像的邊緣均已經(jīng)連接為閉合曲線。由于填充過程中將只對閉合的區(qū)域?qū)M(jìn)行填充，因此圖像邊緣的閉合將確保填充過程準(zhǔn)確完成。

圖4 對分界線進(jìn)行連接處理的結(jié)果Fig.4 Connected edge

圖5 對圖像內(nèi)部進(jìn)行填充處理結(jié)果Fig.5 Filled image

4 圖像原始形狀恢復(fù)方法的研究

填充后所獲得的圖像，準(zhǔn)確地表現(xiàn)出了原圖中的殘留液晶部分，保持了原殘留液晶的幾何形狀，但是由于在識別邊緣的過程中，所標(biāo)注出來的邊緣，實(shí)際上在殘留液晶之外的邊緣，因此至此步驟所獲得的殘留液晶的圖像，比實(shí)際的殘留液晶圖像面積增大，標(biāo)注的邊緣線即為增大的部分，圍繞殘留液晶外部一周，寬度為一個像素。因此在最終的結(jié)果中需要去除這一多余部分。另外，由于背景也存在明顯的區(qū)域，被識別為一條直線（寬度為1個像素），也需要在最終結(jié)果中去除。

由于圖像多余的邊緣以及非殘留液晶的直線寬度均為一個像素，因此采用二值腐蝕的方法去除多余部分，二值腐蝕的結(jié)果是使二值圖像中像素值為1的區(qū)域減小。用結(jié)構(gòu)元素B，掃描圖像A的每一個像素，用結(jié)構(gòu)元素與其所覆蓋的二值圖像做“與”操作如果都為1，結(jié)果圖像的該像素為1。否則為0。如果結(jié)構(gòu)元素是半徑為1的圓，則二值腐蝕的結(jié)果是令圖像區(qū)域減小一圈，同時會去除寬度小于2的邊界線，這些邊界線并不是殘留液晶。

由圖6通過二值腐蝕處理，去除了單像素寬度的邊界影響，同時使得殘留液晶的實(shí)際面積恢復(fù)至原大?。ㄔ谶M(jìn)行識別邊界的分割過程中，將殘留液晶的大小擴(kuò)大了一圈）。

圖6 使用半徑為1的圓形結(jié)構(gòu)元素進(jìn)行腐蝕后的結(jié)果Fig.6 Eroded by circle structure elecment which radius＝1

5 復(fù)雜背景殘留液晶識別流程設(shè)計(jì)及實(shí)例分析

5.1 識別流程設(shè)計(jì)

綜上所述，對于復(fù)雜背景殘留液晶的識別，可通過如圖7步驟完成：

（a）圖像預(yù)處理，包括圖像的灰度轉(zhuǎn)換等處理。

（b）圖像分割，識別出殘留液晶的邊緣。此步驟是處理的關(guān)鍵，對于單一背景的殘留液晶識別，可使用迭代閾值分割方法，而對于較復(fù)雜背景中的殘留液晶，迭代閾值分割方法誤差過大，需要根據(jù)不同背景采用相應(yīng)的分割方法。

圖7 復(fù)雜背景殘留液晶識別圖像處理流程Fig.7 Image processing flow of the rudimental liquid crystal recongnition in complex background

（c）邊緣連接，使用EC算子，將殘留液晶的邊緣處理為閉合曲線。（此步驟為可選項(xiàng)，如果分割后所獲得的污染圖像邊緣都是閉合的，則不需要進(jìn)行本步驟）

（d）圖像填充，將殘留液晶部分填充為實(shí)心圖像，為污染物幾何形狀模式識別做好準(zhǔn)備。

（e）去除多余部分，使用二值腐蝕方法，去除多余的邊緣以及部分線型背景噪聲。

（f）殘留液晶幾何形狀識別，輸出結(jié)果。

5.2 實(shí)例分析

示例圖像A：

圖8 原圖像Fig.8 Original image

在圖8所示的圖像中，有多處殘留液晶，并且背景中存在較大差異，在中部左側(cè)有部分較亮的背景。另外，圖像底部背景的亮度也與上部有差異，圖像亮度由上至下逐漸變暗。

圖9 迭代閾值分割方法處理結(jié)果Fig.9 Output of iterative threshold method

由圖9可見，使用迭代閾值分割方法處理圖8的圖像，由于背景較復(fù)雜，因此處理結(jié)果不理想，錯誤地將底部背景識別為殘留液晶。

圖10 圖像分割處理Fig.10 Image segmentation

圖10所示圖像為對圖9進(jìn)行圖像分割處理的結(jié)果，盡管圖像背景較復(fù)雜，亮度不均勻，但由于背景亮度變化不足被識別為圖像邊界，所以圖像分割能夠識別出所有殘留液晶的邊界。但在中部偏左的較亮豎條也識別出了幾處不屬于殘留液晶的邊界，在后繼步驟中將被去除。

圖10識別出殘留液晶的邊緣，但尚不易統(tǒng)計(jì)每一處殘留液晶的特征，需要對殘留液晶內(nèi)容進(jìn)行填充，獲得殘留液晶的完整圖像。在填充之前，首先將殘留液晶圖像邊緣不連續(xù)的部分進(jìn)行連接處理，以確保填充操作的準(zhǔn)確進(jìn)行。圖像邊緣連接處理的結(jié)果如圖11所示。

圖11 圖像邊緣連接處理Fig.11 Edge connection

對圖11所示的圖像進(jìn)行圖像填充處理，還原殘留液晶圖像，處理結(jié)果如圖12所示。

圖12 圖像填充Fig.12 Filled image

由于殘留液晶的亮度低于背景，因此圖像分割過程中，所獲得的邊緣實(shí)際上是在沿殘留液晶邊界之外的像素，并不屬于殘留液晶，所以最后需要去除所獲得的殘留液晶圖像的邊界（寬度為1像素）。在此使用二值腐蝕操作完成此步驟，使用的是半徑為1的圓形結(jié)構(gòu)元素，處理結(jié)果如圖13所示。

圖13 二值腐蝕處理（半徑為1的圓形結(jié)構(gòu)元素）Fig.13 Eroded by circle structure elecment which radius＝1

示例圖像B：

圖14 原圖像圖Fig.14 Original image

圖15 灰度變換處理結(jié)果Fig.15 Output of gray－scale transformation

在圖14所示的圖像中，有多處圓形殘留液晶，圖像亮度由下至上逐漸變暗。圖15是原圖像灰度變換后的處理結(jié)果。

圖16 使用圖像分割方法Fig.16 Image segmentation

圖17 邊緣連接Fig.17 Edge connection

圖16所示圖像為對圖15進(jìn)行圖像分割處理的結(jié)果，盡管圖像背景亮度不均勻，但由于背景亮度變化不足被識別為圖像邊界，所以圖像分割能夠識別出所有殘留液晶的邊界。

圖16識別出殘留液晶的邊緣，但尚不易統(tǒng)計(jì)每一處殘留液晶的特征，需要對殘留液晶內(nèi)容進(jìn)行填充，獲得殘留液晶的完整圖像。在填充之前，首先將殘留液晶圖像邊緣不連續(xù)的部分進(jìn)行連接處理，以確保填充操作的準(zhǔn)確進(jìn)行。圖像邊緣連接處理的結(jié)果如圖17所示。

圖18 圖像填充Fig.18 Filled image

圖19 二值腐蝕處理Fig.19 Binary image erosion

對圖17所示的圖像進(jìn)行圖像填充處理，還原殘留液晶圖像，處理結(jié)果如圖18所示。

最后還需要去除所獲得的殘留液晶圖像的邊界（寬度為1像素）。使用二值腐蝕操作完成此步驟，使用的是半徑為1的圓形結(jié)構(gòu)元素，處理結(jié)果如圖19所示。

5.3 幾何形狀模式識別

污染物幾何形狀模式分類就是通過提取污染物圖像的特征量，對污染物幾何形狀模式進(jìn)行分類，這需要通過另外定義相應(yīng)的分類器［11］來實(shí)現(xiàn)。由于污染物種類眾多，并不是所有同類污染物圖像具有共同的特征，所以污染物幾何形狀模式分類是污染物圖像分析中的難點(diǎn)之一。鑒于器件表面污染物圖像各種特征有一定的相關(guān)性，為了降低識別算法的復(fù)雜性，特征識別時采用階層識別的方法。利用分類器，逐步判斷各特征參數(shù)，對各污染物圖像進(jìn)行分析，并輸出分析的結(jié)果。

圖像分割等處理結(jié)束后，將獲得一個標(biāo)識出污染物的二值圖像。為定量分析污染物的特性，本文定義了如下幾何特征參數(shù)：

全局統(tǒng)計(jì)特征參數(shù)：總面積、總數(shù)目、最大面積、最小面積、平均面積、面積方差、面積標(biāo)準(zhǔn)差。

單個污染物特征參數(shù)：面積、周長、質(zhì)心點(diǎn)、最大內(nèi)切圓直徑、離心率、傾角等。

污染物幾何形狀模式定義為6類，分別是圓形、橢圓形、帶形、線形、有較大面積節(jié)點(diǎn)的線形、不規(guī)則形狀。由污染物幾何形狀模式定義可知，對污染物形狀的判定要考察多個參數(shù)值的所有范圍，如果按各模式的參數(shù)值約束逐一排查，會引入過多重復(fù)計(jì)算，且不利于模式識別過程的擴(kuò)展性。因此本文設(shè)計(jì)了一個基于二叉分類［12］方法的模式分類器，每一步只判斷一個參數(shù)值的取值，并且每一步判斷只有兩個分支（符合條件，或不符合條件）。分類器處理流程如圖20所示。

圖20 幾何形狀模式識別流程圖Fig.20 Geometry shapes recognition flow chart

圖13所示圖像識別結(jié)果如下：原圖像大?。?57×495；污染物對象數(shù)目：9；最大污染物面積：1193；最小污染物面積：1；污染物平均面積：304.0000；污染物面積方差：170154.5000；污染物面積標(biāo)準(zhǔn)差：412.4979。污染物形狀分別為：有大面積節(jié)點(diǎn)的線形、橢圓形、圓形各一個，線形五個，剩余一個面積為1像素的污染物不需識別形狀特征。

圖19所示圖像識別結(jié)果如下：原圖像大?。?30×400；污染物對象數(shù)目：5；最大污染物面積：2412；最小污染物面積：584；污染物平均面積：1441.8000；污染物面積方差：441276.2000；污染物面積標(biāo)準(zhǔn)差：664.2862。5個污染物形狀均為圓形。

6 結(jié) 論

針對單一背景殘留液晶的識別，設(shè)計(jì)的迭代閾值分割方法以及基于數(shù)學(xué)形態(tài)學(xué)的邊緣檢測算子，用以提取殘留液晶的邊緣輪廓，并進(jìn)行噪聲分析。此方法能夠較精確地進(jìn)行識別與分析，但對背景的一致性要求較高，因此不適于背景差異較大的復(fù)雜背景殘留液晶識別。實(shí)際情況中多為復(fù)雜背景，針對復(fù)雜背景殘留液晶的識別，設(shè)計(jì)了相應(yīng)的圖像處理流程，首先通過預(yù)處理將RGB圖像轉(zhuǎn)換為灰度圖像，并進(jìn)行圖像分割；然后對分割后的圖像進(jìn)行邊緣連接，將不連續(xù)的邊界補(bǔ)充至閉合；之后進(jìn)行圖像填充，還原得到污染物圖像，再使用二值腐蝕操作去除圖像分割過程中引入的多余邊界以及部分噪聲；處理結(jié)果可用于污染物圖像的幾何形狀模式識別，獲得分析結(jié)果。提出了一種邊緣連接算子，在對圖像進(jìn)行分割后，將不連續(xù)的圖像邊界連接為閉合，為圖像填充奠定基礎(chǔ)。

通過實(shí)驗(yàn)可知，針對單一背景殘留液晶的識別與分析方法能夠精確獲得殘留液晶邊緣，并且控制了噪聲的干擾；針對復(fù)雜背景殘留液晶識別與分析方法能夠?qū)Ρ尘按嬖诿黠@差異的特定類型圖像（圖像中包含有封膠的規(guī)則邊界）進(jìn)行準(zhǔn)確的處理，去除背景不一致的影響，獲得殘留液晶的相關(guān)數(shù)據(jù)。幾何形狀模式識別的結(jié)果也驗(yàn)證了之前工作所提出的模式識別模型以及分類器實(shí)現(xiàn)的正確性。對于無規(guī)律背景液晶圖像的處理，尚需進(jìn)一步研究與改進(jìn)。

［1］李廣福，劉玉嶺，李薇薇.LCD殘留液晶的清洗［J］.清洗世界，2006，22（9）：24－28.Li G F，Liu Y L，Li W W.Removal of rudimental LC on LCD ［J］.Cleaning World，2006，22（9）：24－28.（in Chinese）

［2］Huang Y Y，Gao N，Yu M，et al.Detection of surface cleanliness based on image recognition［C］.IITA＇08.Proceedings of the 2008 Second International Symposium on Intelligent Information Technology Application，Washington，DC，USA：IEEE Computer Society，2008：360－365.

［3］于洪春，鄧意成，鄭喜鳳.面積約束下的最優(yōu)閾值法分割LED像素點(diǎn)陣［J］.液晶與顯示，2012，27（5）：653－657.Yu H C，Deng Y C，Zheng X F.Segmentation of LED pixel matrix by using optimal threshold method with area constraint［J］.Chinese Journal of Liquid Crystals and Displays，2012，27（5）：653－657.（in Chinese）

［4］丘文濤，趙建，劉杰.結(jié)合區(qū)域分割的SIFT圖像匹配方法［J］.液晶與顯示，2012，27（6）：827－831.Qiu W T，Zhao J，Liu J.Image matching algorithm combining sift with region segmentation［J］.Chinese Journal of Liquid Crystals and Displays，2012，27（6）：827－831.（in Chinese）

［5］靳永亮，王延杰，劉艷瀅，等.紅外弱小目標(biāo)的分割預(yù)檢測［J］.光學(xué)精密工程，2012，20（1）：171－178.Jin Y L，Wang Y J，Liu Y Y，et al.Pre－detection method for small infrared target［J］.Optics and Precision Engineering，2012，2012，20（1）：171－178.（in Chinese）

［6］吳笑天，魯劍鋒，賀柏根，等.霧天降質(zhì)圖像的快速復(fù)原［J］.中國光學(xué)，2013，6（6）：892－899.Wu X T，Lu J F，He B G，et al.Fast restoration of haze－degraded image［J］.Chinese Optics，2013，6（6）：892－899.（in Chinese）

［7］Wang X F，Zhang X Y，Gao R N.Research of image edge detection based on mathematical morphology［J］.International Journal of Signal Processing，Image Processing and Pattern Recognition，2013，6（5）：227－236.

［8］黃妍妍，姜樂濤，于明，等.LCD表面液晶污染的非接觸檢測新算法［J］.液晶與顯示，2009，24（1）：135－138.Huang Y Y，Jiang Y T，Yu M，et al.New method of non－contact inspection for liquid crystal residues on lcds surface［J］.Chinese Journal of Liquid Crystals and Displays，2009，24（1）：135－138.（in Chinese）

［9］Rafael C G.Digital Image Processing ［M］.3rd ed.Pearson，2013.

［10］Zhao H，Chen Z X.A simple hole filling algorithm for binary cell images［J］.Applied Mechanics and Materials，2013，433－435：1715－1719.

［11］Spasojevic S S，Susic M Z，Durovic Z M.Recognition and classification of geometric shapes using neural networks［C］.201211th Symposium on Neural Network Applications in Electrical Engineering （NEUREL），2012：71－76.

［12］Gueheneuc Y G，Albin－Amiot H.A pragmatic study of binary class relationship ［C］.18th IEEE International Conference on Automated Software Engineering，Montreal，Canada：ASE 2003，2003：277－280.