曹夢(mèng)龍,靳利文

(青島科技大學(xué) 自動(dòng)化與電子工程學(xué)院，山東 青島266061)

隨著電子技術(shù)和計(jì)算機(jī)技術(shù)的快速發(fā)展，電子路牌作為一種多功能顯示終端在公共交通領(lǐng)域得到廣泛的應(yīng)用。電子路牌通常是由遮陽(yáng)板和幾千至幾萬(wàn)個(gè)發(fā)光二極管(light emitting diode，LED)組成，在復(fù)雜的工業(yè)生產(chǎn)過程中難免會(huì)出現(xiàn)各種顯示質(zhì)量缺陷，如虛亮、壞點(diǎn)和花屏等。目前國(guó)內(nèi)相關(guān)企業(yè)主要采取人工目視檢測(cè)法對(duì)產(chǎn)品進(jìn)行檢測(cè)，該方法容易受到質(zhì)檢人員主觀因素的影響，出現(xiàn)漏檢和誤檢，嚴(yán)重影響產(chǎn)品的良品率。而傳統(tǒng)的檢測(cè)方法，如射線檢測(cè)法(RT)、渦流探傷法(ET)、紅外檢測(cè)法(TIR)等，主要針對(duì)產(chǎn)品的各種表面缺陷，如凹坑、擦痕、劃痕等[1-3]，無(wú)法對(duì)電子路牌顯示質(zhì)量進(jìn)行測(cè)試。近年來(lái)，隨著新能源客車的大量使用，電子路牌產(chǎn)量急劇增長(zhǎng)，相關(guān)企業(yè)急需一種穩(wěn)定可靠的檢測(cè)方法。機(jī)器視覺技術(shù)以其出色的檢測(cè)精度和效率成為電子路牌產(chǎn)品缺陷檢測(cè)的關(guān)鍵技術(shù)。

針對(duì)電子路牌顯示質(zhì)量缺陷，需要從采集圖像中完整分割出目標(biāo)區(qū)域(即每顆LED像素的灰度信息)。目前常用的圖像目標(biāo)提取方法包括:閾值分割法[4]、邊緣檢測(cè)技術(shù)[5]、形態(tài)學(xué)操作[6]等。閾值分割法是最常見的圖像分割方法，處理速度快，但是難以處理圖像中反光干擾與目標(biāo)區(qū)域低對(duì)比度的問題;而邊緣檢測(cè)技術(shù)和形態(tài)學(xué)操作很容易被噪聲干擾，出現(xiàn)邊緣斷裂的情況，影響目標(biāo)輪廓的提取。為了增強(qiáng)圖像閾值分割效果，本研究提出一種引入面積約束條件的直方圖閾值分割新方法。針對(duì)圖像中存在遮陽(yáng)板反光干擾與目標(biāo)區(qū)域?qū)Ρ榷容^低的問題，通過引入面積約束條件限制閾值取值范圍，結(jié)合直方圖閾值分割方法完成對(duì)目標(biāo)區(qū)域的準(zhǔn)確提取。

1 本研究算法概述

本研究針對(duì)遮陽(yáng)板反光干擾與目標(biāo)區(qū)域低對(duì)比度造成的閾值分割效果差的問題，提出了一種基于面積約束的閾值分割新方法。首先，對(duì)圖像進(jìn)行圖像預(yù)處理，然后對(duì)圖像像素的灰度信息進(jìn)行直方圖分析，通過面積約束條件限制閾值取值范圍，結(jié)合閾值分割方法增強(qiáng)圖像閾值分割效果，最后使用圖像矩完成缺陷目標(biāo)的識(shí)別。本研究缺陷識(shí)別算法流程圖如圖1所示。

圖1 改進(jìn)閾值分割方法的缺陷識(shí)別算法流程Fig．1 Defect recognition algorithm flow based on improved threshold segmentation method

2 圖像預(yù)處理

為了降低遮陽(yáng)板表面反光干擾對(duì)圖像中目標(biāo)區(qū)域幾何形狀特征的影響，本研究采用了由TOMASI C和MANDUCHI R提出的雙邊濾波方法[7-8]。該方法是一種同時(shí)考慮了圖像頻域處理和時(shí)域處理的非線性濾波方法。主要在Gauss濾波基礎(chǔ)之上，將Gauss權(quán)系數(shù)改進(jìn)成Gauss函數(shù)和圖像亮度信息的乘積，再與圖像信息作卷積運(yùn)算，使圖像經(jīng)過Gauss濾波后能夠保持清晰的邊緣信息[7，9]，從而達(dá)到“去噪保邊”的目的。

定義圖像像素函數(shù)f(x，y)的簡(jiǎn)式為f(ξ)，經(jīng)過濾波處理后輸出的圖像表示為h(x)，綜合考量圖像像素空間鄰近度和灰度值相似度的雙邊濾波算法，其公式化描述如下:

其中:

公式(2)中，k(x)為歸一化參數(shù)。φ(x，y)是基于像素間空間鄰近度的空域核，在灰度變化平緩的區(qū)域內(nèi)對(duì)圖像進(jìn)行平滑作用。φ(x，y)是基于像素灰度值相似度的值域核，在圖像邊緣部分具有保持邊緣的作用。濾波核的公式化描述如下:

其中，σd為空域核φ(x，y)的空域?yàn)V波系數(shù)，由像素間的空間鄰近度決定，距離越小，σd越大;σr為值域核φ(x，y)的值域?yàn)V波系數(shù)，由像素灰度值相似度決定，相似度越高，σr越大[7，9]。

在實(shí)際應(yīng)用中，由于超過一定距離的像素對(duì)當(dāng)前目標(biāo)像素的影響權(quán)重較小，可以忽略其影響。所以在鄰域窗口Ω內(nèi)，可以對(duì)公式(1)離散化，其公式可以簡(jiǎn)化成如下公式:

由公式(5)可見，該式綜合了兩種高斯權(quán)重，其中的單位化分部ω是雙邊濾波的濾波核，由空域核φ(x，y)和值域核φ(x，y)的乘積得到，使其能夠在平滑圖像灰度“尖銳”變化的同時(shí)保持邊緣特征。

由于原始圖像尺寸較大，為顯示缺陷的圖像信息，本研究將包含缺陷的部分區(qū)域放大顯示，并將圖中反光干擾、缺陷位置用紅色圓圈標(biāo)識(shí)。經(jīng)過雙邊濾波和灰度化處理的缺陷圖像如圖2所示。

圖2 灰度化缺陷圖像Fig．2 Grayscale defect image

3 圖像閾值分割算法

由于電子路牌圖像目標(biāo)區(qū)域內(nèi)像素灰度值相關(guān)性較高，其邊緣部分圖像灰度值與背景有較大差異，滿足閾值分割法的基本模型，所以本研究采用閾值分割法作為圖像缺陷提取方法。

3．1 閾值分割算法原理

閾值分割法是最常見的圖像分割方法，具有處理速度快，穩(wěn)定性高的優(yōu)點(diǎn)。閾值分割法的基本原理是選取一個(gè)合適的灰度圖像分割閾值T，將f(x，y)≥T的像素點(diǎn)標(biāo)為1，剩余f(x，y)＜T的像素點(diǎn)標(biāo)為0，輸出的二值化圖像g(x，y)算法模型如式(6)所示。

閾值分割法的目標(biāo)是在盡可能保留目標(biāo)區(qū)域的同時(shí)舍棄干擾信息[4]，因此，選取一個(gè)合適的灰度圖像分割閾值成為確定圖像分割效果的關(guān)鍵。由于圖像熵具有較強(qiáng)的適應(yīng)能力和魯棒性，因此選擇圖像熵作為選取圖像分割閾值的主要依據(jù)。其原理是:圖像熵在給定閾值T的基礎(chǔ)上，計(jì)算該閾值所分割圖像的目標(biāo)區(qū)域概率密度、背景區(qū)域概率密度，從而計(jì)算出目標(biāo)區(qū)域熵值和背景區(qū)域熵值，通過被選擇的閾值T使分割的圖像目標(biāo)區(qū)域熵值、背景區(qū)域熵值兩部分灰度統(tǒng)計(jì)的信息量為最大，從而得到合適的分割閾值。該方法的具體步驟如下:

1)求出給定的灰度圖像分割閾值T所分割圖像的目標(biāo)區(qū)域概率密度、背景區(qū)域概率密度

2)求取灰度圖像分割閾值T所分割圖像的目標(biāo)區(qū)域熵值和背景區(qū)域熵值

3)根據(jù)閾值T分割的圖像目標(biāo)區(qū)域熵值、背景區(qū)域熵值，根據(jù)兩部分灰度值計(jì)算總熵值H(t)＝H0(t)＋H1(t)。

4)如果分割閾值T使得分割后的圖像目標(biāo)、背景區(qū)域兩部分灰度值計(jì)算的總熵值H(t)最大，即滿足T＝argmax(H0(t)＋H1(t))，所得閾值T即為最佳閾值;否則轉(zhuǎn)入步驟(1)繼續(xù)選取閾值。

為了更好的提高處理速度，優(yōu)化計(jì)算效率，在實(shí)際應(yīng)用中針對(duì)目標(biāo)區(qū)域熵值H0(t)和背景區(qū)域熵值H1(t)進(jìn)行統(tǒng)一變量處理，推導(dǎo)過程如式(7)、式(8)所示。

3．2 改進(jìn)閾值分割算法

由圖2可知，在經(jīng)過圖像預(yù)處理之后，仍然存在少部分遮陽(yáng)板工件表面反光干擾，這些干擾與目標(biāo)區(qū)域?qū)Ρ榷容^低，嚴(yán)重干擾了閾值分割效果。為了去除干擾，在閾值分割處理的同時(shí)引入面積約束，通過增加對(duì)閾值取值范圍的限制，結(jié)合閾值分割方法計(jì)算出最佳的灰度圖像分割閾值，從而達(dá)到理想的分割效果。

面積約束的核心思想是根據(jù)電子路牌的光特性模型，得到預(yù)判的目標(biāo)和圖像像素的比例，根據(jù)此先驗(yàn)信息在直方圖上增加對(duì)閾值取值范圍的限制。面積約束綜合考量了LED目標(biāo)區(qū)域像素和圖像總像素之間的關(guān)系并考慮了反光噪點(diǎn)的分割比例。電子路牌可以用圖3所示的模型表示。

圖3 電子路牌模型Fig．3 Electronic street sign model

電子路牌由大量的LED組成，其光特性使得成像效果近似于圓形，而且LED分布均勻，具有陣列分布的特點(diǎn)，具備引入面積約束的條件。面積約束條件是LED目標(biāo)區(qū)域像素和像素總數(shù)的比例。由圖3可知，圖像f(x，y)像素總數(shù)是M×N，LED數(shù)量為n，電子路牌模型中LED半徑為r，求取目標(biāo)和圖像總像素的比例K的公式如下:

由式(9)可以看出，通過設(shè)置r的大小就可以控制面積約束參數(shù)K。面積約束可以直接在灰度直方圖上設(shè)置，也可以通過公式(10)形式表現(xiàn)，其中T i為當(dāng)前選取閾值，Pi為灰度值為i的像素點(diǎn)的數(shù)量。

該公式含義是指從灰度0開始，根據(jù)選取閾值T i依次計(jì)算目標(biāo)區(qū)域像素?cái)?shù)占采集圖像像素總數(shù)的比例，如果該比值與面積約束參數(shù)K的差的絕對(duì)值達(dá)到最小，則T i為圖像分割的最佳閾值。

3．3 實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證本研究算法引入面積約束條件的有效性，本研究對(duì)3種典型的顯示質(zhì)量缺陷:虛亮、壞點(diǎn)和花屏，建立圖像灰度直方圖分析。為了顯示引入面積約束條件的分割閾值與其他算法分割閾值的差異性，本研究使用傳統(tǒng)的OTSU方法與本研究算法進(jìn)行對(duì)比，其圖像分割閾值取值如圖4所示。

圖4 閾值分割算法對(duì)比實(shí)驗(yàn)Fig．4 Threshold segmentation comparison experiment

由對(duì)比實(shí)驗(yàn)可以看出，本研究方法選取的圖像分割閾值相對(duì)傳統(tǒng)的OTSU方法的圖像分割閾值差異較為明顯，證明本研究引用的面積約束條件能夠很好的限制閾值取值范圍。相對(duì)比傳統(tǒng)的OTSU算法，本研究算法選取的圖像分割閾值灰度值更高，能夠更好的處理遮陽(yáng)板工件表面反光干擾與目標(biāo)區(qū)域?qū)Ρ榷鹊偷膯栴}，其圖像分割閾值的取值明顯優(yōu)于傳統(tǒng)的OTSU方法。

4 缺陷識(shí)別算法

經(jīng)過圖像預(yù)處理以及圖像閾值分割之后，需要對(duì)電子路牌顯示質(zhì)量缺陷數(shù)量進(jìn)行統(tǒng)計(jì)。通過對(duì)電子路牌模型分析可知，其分割之后的LED目標(biāo)區(qū)域輪廓近似于圓形。因此，本研究主要使用圖像矩對(duì)LED目標(biāo)區(qū)域質(zhì)心進(jìn)行標(biāo)記，并按照電子路牌具有陣列分布的特點(diǎn)，根據(jù)求取的質(zhì)心坐標(biāo)，進(jìn)行行列掃描，找出缺陷坐標(biāo)位置。其具體流程圖如圖5所示。

圖5 缺陷識(shí)別算法流程圖Fig．5 Defect recognition algorithm flow chart

該缺陷識(shí)別算法質(zhì)心坐標(biāo)求取公式如下。

1)計(jì)算二值化圖像的像素灰度值之和M＝

2)計(jì)算圖像中每個(gè)像素與其對(duì)應(yīng)的X坐標(biāo)的乘積之和;每個(gè)像素與其對(duì)應(yīng)的Y坐標(biāo)的乘積之和

本研究根據(jù)電子路牌的特點(diǎn)，通過對(duì)求取的質(zhì)心坐標(biāo)進(jìn)行行列掃描，找出質(zhì)心坐標(biāo)缺失位置即為缺陷位置。其質(zhì)心標(biāo)記的部分坐標(biāo)如表1所示。

表1 圖像矩缺陷標(biāo)記結(jié)果Table 1 Image moment defect marking results

5 實(shí)驗(yàn)部分

5．1 實(shí)驗(yàn)條件

實(shí)驗(yàn)采用Intel Core i5 CPU，8 G內(nèi)存，VS2017編譯軟件;使用C＋＋與OPENCV視覺庫(kù)進(jìn)行編程開發(fā)。在圖像采集過程中，為降低遮陽(yáng)板反光干擾，保證圖像采集過程中亮度的一致性，本研究采用指向性較弱的漫反射光源進(jìn)行照明。為了更好地顯示圖像處理效果，實(shí)驗(yàn)中選取的30幅待檢圖像中包含虛亮、壞點(diǎn)和花屏等顯示質(zhì)量缺陷，均存在遮陽(yáng)板反光干擾。

5．2 實(shí)驗(yàn)過程分析

本實(shí)驗(yàn)過程以圖6所示虛亮缺陷為例進(jìn)行詳述。通過圖6(a)可以明顯看出該圖像含有數(shù)目較多反光干擾，本研究通過在圖6(b)引入的雙邊濾波有效地平滑了圖像，可以明顯地觀察到圖像內(nèi)部的大部分反光干擾得到了很好的抑制，而且對(duì)于目標(biāo)區(qū)域的特征并沒有太大改變。經(jīng)過圖像預(yù)處理之后，圖像中仍然存在少部分反光干擾，使用傳統(tǒng)的閾值分割法很難處理該圖像。因此，本研究引入面積約束條件限制閾值取值范圍。對(duì)比傳統(tǒng)的閾值分割，更能兼顧缺陷提取的準(zhǔn)確度和效率，從而達(dá)到理想的分割效果。面積約束引入的分割比例K的數(shù)值是在均衡計(jì)算熵值準(zhǔn)確率和算法效率前提下，經(jīng)過綜合考慮電子路牌LED發(fā)光模型并結(jié)合大量的實(shí)驗(yàn)確定的。根據(jù)電子路牌產(chǎn)品型號(hào)不同，K值也不同，但是經(jīng)過實(shí)驗(yàn)驗(yàn)證，決定分割比例K值的關(guān)鍵參數(shù)r值約為電子路牌LED發(fā)光模型中標(biāo)準(zhǔn)r值的0.87倍，改進(jìn)的閾值分割效果如圖6(c)所示。最后通過圖像矩對(duì)目標(biāo)區(qū)域進(jìn)行標(biāo)記，完成對(duì)缺陷的識(shí)別，其缺陷識(shí)別效果如圖6(d)所示。

圖6 電子路牌顯示質(zhì)量缺陷檢測(cè)過程Fig．6 Relationship of crude BIS dilution factor and selectivity

考慮到待檢對(duì)象的缺陷的多樣性，本研究在對(duì)比實(shí)驗(yàn)選擇上，選取了3組具有代表性的缺陷圖像作為實(shí)驗(yàn)對(duì)象，并選取了2種常見的具有代表性的缺陷識(shí)別方法與本研究算法進(jìn)行了對(duì)比:一種是文獻(xiàn)[10]所述基于Otsu算子的最優(yōu)閾值處理方法，該方法使用最小二乘法原理進(jìn)行圖像分割，具備良好的分割效果;另一種是文獻(xiàn)[11]所述具備自適應(yīng)分割閾值的Sobel微分檢測(cè)算法，該方法對(duì)于一般圖像分割效果好，通用性較強(qiáng)。為了避免其他因素的影響，本研究均對(duì)原始圖像采用了雙邊濾波。缺陷識(shí)別的對(duì)比實(shí)驗(yàn)如圖7所示。

圖7 本研究對(duì)比實(shí)驗(yàn)分割效果Fig．7 Experimental segmentation effect comparison

圖7(a)、(b)、(c)中可以看出不同缺陷圖像中均存在數(shù)目較多的低對(duì)比度缺陷噪點(diǎn)。在對(duì)比實(shí)驗(yàn)中，經(jīng)過人工調(diào)整閾值參數(shù)，文獻(xiàn)[10]算法能對(duì)圖像進(jìn)行識(shí)別分割，但是分割效果不理想，仍有部分反光干擾存在，需要對(duì)圖像進(jìn)行二次處理才能完整分割出目標(biāo)區(qū)域;文獻(xiàn)[11]算法在此實(shí)驗(yàn)條件下對(duì)3種圖像缺陷均無(wú)法完成準(zhǔn)確識(shí)別;而經(jīng)過本研究方法可以完全識(shí)別這3種缺陷，經(jīng)過閾值分割處理之后直接保留圖像目標(biāo)區(qū)域的完整灰度信息。

為了平衡檢測(cè)效率和算法準(zhǔn)確度，驗(yàn)證本研究算法的魯棒性及有效性，本實(shí)驗(yàn)采集4種不同缺陷數(shù)目的混合缺陷素材各50幅，共計(jì)200幅圖做為驗(yàn)證樣本。使用本研究缺陷檢測(cè)算法對(duì)缺陷圖像進(jìn)行檢測(cè)驗(yàn)證，將測(cè)試結(jié)果與樣本實(shí)際缺陷數(shù)量對(duì)比來(lái)統(tǒng)計(jì)檢測(cè)算法的正確率。表2給出了改進(jìn)閾值分割方式的本研究算法實(shí)驗(yàn)結(jié)果，表明了本研究算法對(duì)檢測(cè)精度、速度的提高都有明顯的效果。

6 結(jié) 語(yǔ)

本研究主要針對(duì)電子路牌遮陽(yáng)板反光干擾與目標(biāo)區(qū)域低對(duì)比度造成圖像難以分割的問題，提出了一種基于直方圖閾值分割和面積特征約束獲取最佳分割閾值的目標(biāo)區(qū)域提取方法。通過使用改進(jìn)的閾值分割新方法，極大的提高了缺陷檢測(cè)效率，解決了電子路牌質(zhì)量缺陷檢測(cè)識(shí)別難點(diǎn)，提升了該產(chǎn)業(yè)自動(dòng)化水平。經(jīng)過綜合實(shí)驗(yàn)生產(chǎn)測(cè)試，該方法對(duì)產(chǎn)品缺陷檢測(cè)準(zhǔn)確率達(dá)到95%，其效率遠(yuǎn)大于人工檢測(cè)，成功實(shí)現(xiàn)了對(duì)電子路牌顯示質(zhì)量缺陷的實(shí)時(shí)、快速、準(zhǔn)確檢測(cè)。