宋章明,賀慧勇,黃躍俊

(1. 長(zhǎng)沙理工大學(xué) 物理與電子科學(xué)學(xué)院，長(zhǎng)沙 410114; 2. 近地空間電磁環(huán)境監(jiān)測(cè)與建模湖南省普通高校重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)沙 410114)

0 引言

漆包線是電機(jī)、電器和家用電器等產(chǎn)品的主要原材料，漆包線的質(zhì)量決定了這些產(chǎn)品的性能[1- 2]，因此，對(duì)漆包線的質(zhì)量檢測(cè)至關(guān)重要。目前國(guó)內(nèi)外使用的日本鹽水法、壓輪式直流高壓漆膜連續(xù)性檢測(cè)法等檢測(cè)方法都存在或多或少的問(wèn)題[3]。因此，對(duì)于漆包線中的一種扁平漆包線，采用圖像處理的方法對(duì)其表面缺陷進(jìn)行在線檢測(cè)。圖像處理方法包括背景分離，缺陷特征提取，缺陷分類等。采用幀間差分法對(duì)扁平漆包線做背景分離，由于扁平漆包線抖動(dòng)的存在，容易產(chǎn)生抖動(dòng)干擾，與真實(shí)缺陷混淆，影響缺陷檢測(cè)的準(zhǔn)確率，因此本文主要研究抖動(dòng)干擾的消除。

2015年，陳勇等人在文獻(xiàn)[4]中提出了運(yùn)用特征點(diǎn)匹配做運(yùn)動(dòng)補(bǔ)償?shù)姆椒▽?duì)運(yùn)動(dòng)干擾做消除，但是這種方法消耗時(shí)間長(zhǎng)，不滿足在線檢測(cè)的要求。2017年，朱妍妍等人在文獻(xiàn)[5]中提出了將與邊界線連接的連通域置零，實(shí)現(xiàn)干擾消除，這種方法消耗時(shí)間可以滿足在線檢測(cè)要求，但是當(dāng)真實(shí)缺陷與抖動(dòng)干擾連接構(gòu)成一個(gè)連通域時(shí)，這種方法會(huì)誤消除真實(shí)缺陷。

針對(duì)以上常見(jiàn)方法的不足之處，本文提出一種改進(jìn)方法，首先分析了抖動(dòng)干擾的分布區(qū)域，得到了抖動(dòng)干擾與真實(shí)缺陷不處在同一行，且存在抖動(dòng)干擾的行上前景像素點(diǎn)數(shù)量較多的性質(zhì)。然后在分布區(qū)域內(nèi)，將前景像素點(diǎn)數(shù)量超過(guò)一定閾值的行置零，實(shí)現(xiàn)對(duì)抖動(dòng)干擾的消除。閾值的選取利用一種改進(jìn)的Otsu處理分布圖得到，該圖是將圖像所有行，按照行上前景像素點(diǎn)數(shù)量多少，統(tǒng)計(jì)行出現(xiàn)的頻率。

1 抖動(dòng)干擾產(chǎn)生原因及性質(zhì)

1.1 抖動(dòng)干擾產(chǎn)生原因

圖像處理檢測(cè)方法中，采用幀間差分法對(duì)扁平漆包線做背景分離。已知當(dāng)前幀的灰度化圖像fn(x，y)與前一幀灰度化圖像fn-1(x，y)，由式(1)可以得出幀差圖像Dn(x，y)。設(shè)定閾值T，按照式(2)對(duì)幀差圖像進(jìn)行二值化處理，得到二值化圖像Rn(x，y)，灰度值為0的點(diǎn)為背景像素點(diǎn)，灰度值為255的點(diǎn)為前景像素點(diǎn)[6]，為了方便觀察，二值圖像中黑色像素點(diǎn)代表前景像素點(diǎn)，白色像素點(diǎn)代表背景像素點(diǎn)。

Dn(x,y)=fn(x,y)-fn-1(x,y)

(1)

(2)

實(shí)際生產(chǎn)線上，扁平漆包線由牽引機(jī)帶動(dòng)在水平方向上運(yùn)動(dòng)，由于扁平漆包線抖動(dòng)的存在，幀間差分法去背景會(huì)導(dǎo)致抖動(dòng)干擾的存在。特別的，扁平漆包線上存在張力，此處不考慮樣線傾斜抖動(dòng)的情況。理想情況下，如圖1(a)所示，扁平漆包線上的缺陷“A”灰度值為0，其余部分灰度值為127。樣線邊界處有兩條灰度值為0的條帶，寬度為Δ，其余背景灰度值為255，閾值T取50。這條樣線在x方向上運(yùn)動(dòng)的同時(shí)，y方向以及垂直于x-y平面的z方向上存在抖動(dòng)。假設(shè)扁平漆包線在當(dāng)前幀圖像中上邊界為a2，下邊界為b2，在前一幀圖像中上邊界為a1，下邊界為b1，抖動(dòng)距離為a。當(dāng)樣線向y軸負(fù)方向抖動(dòng)時(shí)，有以下關(guān)系：

|a1-b1|=|a2-b2|

(3)

a=|a1-a2|=|b1-b2|

(4)

圖1 幀間差分法背景分離過(guò)程

如圖1(b)所示，運(yùn)用幀間差分法得到扁平漆包線的背景分離圖像。在扁平漆包線樣本區(qū)域內(nèi)，抖動(dòng)干擾寬度為a-Δ，分布在背景分離圖像中與樣線下邊界距離小于等于a-Δ的行，呈橫向分布，長(zhǎng)度為圖像列數(shù)，并且抖動(dòng)干擾與真實(shí)缺陷不處在同一行。另外在上邊界上方也有一條寬度為Δ的抖動(dòng)干擾，由于存在于樣本區(qū)域外，通過(guò)圖像剪切可以去除，所以此處不考慮它的影響。類似的，當(dāng)扁平漆包線向y軸正方向抖動(dòng)時(shí)，抖動(dòng)干擾分布在背景分離圖像中與樣線上邊界距離小于等于a-Δ的行。因此，在理想情況下，抖動(dòng)干擾存在于背景分離圖像中與樣線上下邊界距離小于等于a-Δ的行組成的兩個(gè)區(qū)域，長(zhǎng)度為圖像列數(shù)，并且不與真實(shí)缺陷處在同一行。

1.2 抖動(dòng)干擾性質(zhì)

如圖2(a)所示為實(shí)際生產(chǎn)線上采集得到的扁平漆包線灰度圖像，樣線上下邊界處有兩條灰度值較低的條帶。對(duì)灰度圖像做反二值化操作，掃描得到二值化圖像每一行前景像素點(diǎn)個(gè)數(shù)，將其投影到坐標(biāo)軸上，如圖2(b)所示，曲線上中間兩次顯著跳變的地方就是樣本的上下邊界值[7-9]，統(tǒng)計(jì)曲線跳變凸起的部分可以得到這兩條條帶的寬度。根據(jù)上下邊界對(duì)幀間差分法結(jié)果圖像剪切，得到扁平漆包線的背景分離圖像[10- 11]，結(jié)果如圖2(c)所示。

圖2 樣本灰度圖像及背景分離圖像

由于光照不均勻等多種因素的影響，存在抖動(dòng)干擾的行上面的前景像素點(diǎn)數(shù)量較多，接近圖像列數(shù)，而非存在抖動(dòng)干擾的每行上前景像素點(diǎn)個(gè)數(shù)都是圖像列數(shù)。另外，運(yùn)用上述方法得到樣本在前一幀圖像中上邊界為a1，下邊界為b1，在當(dāng)前幀圖像中上邊界為a2，下邊界為b2，樣本邊界處四條灰度值較低的條帶寬度分別為Δ1，Δ2，Δ3，Δ4。由于扁平漆包線邊界定位存在誤差，所以4個(gè)邊界值的范圍為[a1-Δ1，a1+Δ1]，[b1-Δ2，b1+Δ2]，[a2-Δ3，a2+Δ3]，[b2-Δ4，b2+Δ4]。此時(shí)，抖動(dòng)距離a滿足以下關(guān)系，其中n1= max{Δ1，Δ2，Δ3，Δ4}：

a≤max{|a2-a1|+Δ3+Δ1，|b2-b1|+Δ4+Δ2}≤

max{|a2-a1|，|b2-b1|}+2n1

(5)

所以，抖動(dòng)干擾寬度a-Δ有以下關(guān)系，其中，n2= min{Δ1，Δ2，Δ3，Δ4}，m= max{|a2-a1|，|b2-b1|}：

a-Δ≤max{|a2-a1|，|b2-b1|}+2n1-n2≤

m+2n1-n2

(6)

綜上所述，在實(shí)際生產(chǎn)線上，抖動(dòng)干擾有以下性質(zhì)：

1) 抖動(dòng)干擾與真實(shí)缺陷不處在同一行。

2) 背景分離圖像中存在抖動(dòng)干擾的行上，前景像素點(diǎn)數(shù)量較多, 接近圖像列數(shù)。

3) 抖動(dòng)干擾分布在背景分離圖像中與上下邊界距離小于等于m+2n1-n2的行組成的兩個(gè)區(qū)域。其中，m為前后兩幀圖像中樣本上邊界差值與下邊界差值的最大值，n1為樣本邊界處四條灰度值較低的條帶寬度的最大值，n2為這四條條帶寬度的最小值。

2 抖動(dòng)干擾消除

2.1 抖動(dòng)干擾與真實(shí)缺陷的分割

由于真實(shí)缺陷與抖動(dòng)干擾不會(huì)處在同一行，且存在抖動(dòng)干擾的行上，前景像素點(diǎn)數(shù)量較多。因此，在抖動(dòng)干擾區(qū)域內(nèi)，為了將真實(shí)缺陷與抖動(dòng)干擾區(qū)分開(kāi)，根據(jù)行上前景像素點(diǎn)數(shù)量，將區(qū)域內(nèi)每一行分割成抖動(dòng)干擾行和真實(shí)缺陷行。以圖像的行作為最小單位對(duì)抖動(dòng)干擾和真實(shí)缺陷進(jìn)行分割，可以有效地解決常見(jiàn)方法誤消除與抖動(dòng)干擾連接的真實(shí)缺陷的問(wèn)題。

對(duì)于背景分離圖像，掃描抖動(dòng)干擾區(qū)域內(nèi)的行，得到每一行前景像素點(diǎn)個(gè)數(shù)，當(dāng)該數(shù)量大于t*時(shí)，認(rèn)為該行上存在抖動(dòng)干擾，令該行所有像素點(diǎn)灰度值為0。當(dāng)該數(shù)量不大于t*時(shí)，令該行所有像素點(diǎn)灰度值保持不變。最后得到抖動(dòng)處理后的圖像。流程圖如圖3所示。

圖3 抖動(dòng)消除流程圖

2.2 分割閾值選取

閾值t*的選取對(duì)分割結(jié)果至關(guān)重要，本文將背景分離圖像中的所有行，按照該行上前景像素點(diǎn)數(shù)量的大小，統(tǒng)計(jì)該行出現(xiàn)的頻率，得到了圖像的行的分布圖。因?yàn)樵摲植紙D主要是為了區(qū)分真實(shí)缺陷和抖動(dòng)干擾，于是不考慮前景像素點(diǎn)數(shù)為0的行。由于單張圖像具有前景像素點(diǎn)的行數(shù)量較少，不具有隨機(jī)性，應(yīng)該統(tǒng)計(jì)多張圖像的行的分布圖。

取實(shí)際生產(chǎn)線上同一條扁平漆包線的200幀樣品圖像，大小為640×480，如圖4(a)所示，為這200幀圖像的行的分布圖，可以看出該分布圖為“單峰”圖，圖像真實(shí)缺陷主要集中在這個(gè)“單峰”上，找到“單峰”右側(cè)谷底的位置即得到了分割閾值t*。然而一般的迭代法，Otsu等自適應(yīng)閾值分割算法適用于“雙峰”圖，對(duì)“單峰”圖做分割效果并不好[12- 13]，因此，本文采用一種改進(jìn)的Otsu[14]，得到這種“單峰”圖的閾值，該方法又稱為NVE[15]方法(Neighborhood valley-emphasis method)。

對(duì)k幀大小為m×n的二值化圖像，總行數(shù)為k×n行，行前景像素點(diǎn)數(shù)g∈[1，m]，f(g)為行前景像素點(diǎn)數(shù)為g的行的數(shù)量。行前景像素點(diǎn)數(shù)g的行出現(xiàn)的概率為：

(7)

在閾值t的分割下，k幀圖像所有具有前景像素點(diǎn)的行被分為兩個(gè)類別，計(jì)算兩類之間的類間方差σB(t)，改進(jìn)后的類間方差ξB(t)為

(8)

(9)

通過(guò)最大化ξB(t)來(lái)選擇最佳閾值t*：

(10)

如圖4(a)所示，運(yùn)用NVE方法得到這條扁平漆包線樣本的最佳分割閾值t*為112，即行上前景像素點(diǎn)個(gè)數(shù)大于112的行為抖動(dòng)干擾行。如圖4(b)所示，為改進(jìn)方法的抖動(dòng)干擾消除結(jié)果。

圖4 分割閾值選取及改進(jìn)方法結(jié)果

3 實(shí)驗(yàn)結(jié)果

為了比較改進(jìn)方法與文獻(xiàn)[4]和文獻(xiàn)[5]提出方法的處理時(shí)間，通過(guò)實(shí)驗(yàn)對(duì)6張帶有抖動(dòng)干擾的圖像進(jìn)行消抖處理，分別得到3種方法的處理時(shí)間，表1為3種方法處理抖動(dòng)干擾的時(shí)間對(duì)比，通過(guò)處理多個(gè)樣本圖像可以得出，文獻(xiàn)[4]提出的利用運(yùn)動(dòng)補(bǔ)償消除干擾的方法處理時(shí)間太長(zhǎng)，不適合用于扁平漆包線表面缺陷的在線檢測(cè)。改進(jìn)方法的處理時(shí)間要明顯少于文獻(xiàn)[5]提出的方法。

表1 改進(jìn)方法與常見(jiàn)方法處理時(shí)間對(duì)比 (ms)

為了驗(yàn)證抖動(dòng)干擾區(qū)域劃分以及分割閾值選取的準(zhǔn)確性，將背景分離圖像的每一行上的前景像素點(diǎn)個(gè)數(shù)投影到坐標(biāo)軸上，橫坐標(biāo)為行數(shù)，縱坐標(biāo)為該行上前景像素點(diǎn)個(gè)數(shù)，投影曲線如圖5(a)所示。從圖中可以看出，劃分出來(lái)的抖動(dòng)干擾區(qū)域可以完整地包含抖動(dòng)干擾，分割閾值可以較好地將抖動(dòng)干擾和真實(shí)缺陷分割。

為了更直觀地體現(xiàn)文獻(xiàn)[5]提出方法的不足之處以及改進(jìn)方法可以彌補(bǔ)這個(gè)缺陷，特選取一張真實(shí)缺陷與抖動(dòng)干擾連接的樣本圖像，通過(guò)利用兩種方法對(duì)這張圖像進(jìn)行消抖處理，將處理結(jié)果與理想情況下消抖處理結(jié)果進(jìn)行異或運(yùn)算，即可以對(duì)兩種方法進(jìn)行評(píng)價(jià)。圖5 (b)為理想消除抖動(dòng)圖像、圖5(c)為文獻(xiàn)[5]提出的方法結(jié)果、圖5(d)為改進(jìn)方法結(jié)果。將圖5(c)文獻(xiàn)[5]提出的方法結(jié)果與圖5(b)理想結(jié)果對(duì)比可以發(fā)現(xiàn)，文獻(xiàn)[5]提出的方法會(huì)誤消除與抖動(dòng)干擾連接的真實(shí)缺陷。將圖5(d)改進(jìn)方法結(jié)果與圖5(b)理想結(jié)果對(duì)比可以發(fā)現(xiàn)，改進(jìn)方法不會(huì)誤消除與抖動(dòng)干擾連接的真實(shí)缺陷，部分未消除的抖動(dòng)干擾寬度很小，可以在缺陷特征提取時(shí)忽略不計(jì)。

圖5 樣本1結(jié)果分析

交并比(IoU)也稱為Jaccard索引(或Jaccard相似系數(shù))，已被廣泛用于測(cè)量有限樣本集之間的相似性。通常，對(duì)于兩個(gè)有限樣本集A和B，它們的IoU定義為交集(A∩B)除以A和B的并集(A∪B)[18-20]。

(11)

通過(guò)對(duì)比文獻(xiàn)[5]提出的方法和改進(jìn)方法的抖動(dòng)消除結(jié)果與理想情況下的交并比，對(duì)兩種方法進(jìn)行評(píng)價(jià)。表2為4個(gè)樣本圖像分別運(yùn)用文獻(xiàn)[5]提出的方法和改進(jìn)方法得到的結(jié)果與理想結(jié)果的交并比。通過(guò)對(duì)比可以發(fā)現(xiàn)，改進(jìn)方法的結(jié)果與理想結(jié)果的交并比高于文獻(xiàn)[5]提出方法的結(jié)果與理想結(jié)果的交并比，并且達(dá)到88%以上，因此，改進(jìn)方法對(duì)抖動(dòng)消除的效果要優(yōu)于文獻(xiàn)[5]提出的方法。

表2 兩種方法交并比對(duì)比

4 結(jié)束語(yǔ)

本文調(diào)研了常見(jiàn)的抖動(dòng)干擾消除的方法，分析了背景分離圖像中抖動(dòng)干擾的分布性質(zhì)，針對(duì)這些性質(zhì)提出了一種抖動(dòng)干擾消除的改進(jìn)方法。提出的改進(jìn)方法與常見(jiàn)方法相比，耗時(shí)更短，去除抖動(dòng)效果更優(yōu)。但是在改進(jìn)方法中，分割閾值的選取還有待改進(jìn)，這也是是下一步工作的方向。總體來(lái)講，本文提出的抖動(dòng)干擾消除方法具有很好的應(yīng)用前景。