李巖，吳孟男，薛興倫

(1.長(zhǎng)春工業(yè)大學(xué)電氣與電子工程學(xué)院，吉林長(zhǎng)春 130012;2.長(zhǎng)春市施耐利機(jī)器人系統(tǒng)有限公司，吉林長(zhǎng)春 130000)

0 前言

近年來(lái)，中國(guó)汽車行業(yè)的快速崛起，帶動(dòng)了剎車盤(pán)產(chǎn)業(yè)的升級(jí)和轉(zhuǎn)型。作為工業(yè)領(lǐng)域典型鑄造件，目前剎車盤(pán)的生產(chǎn)多靠人工完成，自動(dòng)化需求較高。機(jī)器視覺(jué)技術(shù)的引入可以大大降低勞動(dòng)強(qiáng)度、提高生產(chǎn)效率。將剎車盤(pán)作為感興趣區(qū)域進(jìn)行圖像分割可進(jìn)一步提高匹配速度和精度，對(duì)企業(yè)實(shí)現(xiàn)產(chǎn)業(yè)化升級(jí)具有重大意義。

目前基于機(jī)器視覺(jué)的目標(biāo)分割方法主要有3類，分別為神經(jīng)網(wǎng)絡(luò)分割法、傳統(tǒng)自動(dòng)分割方法以及交互式分割方法。

第一類是基于神經(jīng)網(wǎng)絡(luò)的分割方法。鄭凱、李建勝提出一種基于Mask R-CNN和分水嶺算法的圖像分割算法，實(shí)現(xiàn)了復(fù)雜背景的精準(zhǔn)分割，實(shí)時(shí)性較好。SINGH等嘗試使用幾種基于深度卷積神經(jīng)網(wǎng)絡(luò)的最新語(yǔ)義分割方法來(lái)解決圖像分割問(wèn)題。OKTAY 等提出一種通用的訓(xùn)練策略，將先驗(yàn)知識(shí)整合到神經(jīng)網(wǎng)絡(luò)中對(duì)正則化模型進(jìn)行端到端訓(xùn)練，該方法可以適應(yīng)不同分割任務(wù)，具有較高的模型準(zhǔn)確性。張利欣等提出了一種基于Res-Unet網(wǎng)絡(luò)的微觀組織圖像分割方法，該方法顯著提高了材料微觀組織圖像的分割精度。上述方法的神經(jīng)網(wǎng)絡(luò)模型需要大量數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練。而剎車盤(pán)材質(zhì)種類繁多，且樣本較少，導(dǎo)致在訓(xùn)練過(guò)程中容易出現(xiàn)梯度消失現(xiàn)象，使算法陷入局部極小值中無(wú)法跳出，因此現(xiàn)階段深度學(xué)習(xí)難以解決剎車盤(pán)復(fù)雜背景去除問(wèn)題。

第二類是傳統(tǒng)的自動(dòng)目標(biāo)分割方法。王延年、程燕杰提出一種將多尺度top-han和形態(tài)學(xué)開(kāi)閉重構(gòu)相結(jié)合，并用最大熵法進(jìn)行分割的工件表面圖像分割算法，能夠較為精準(zhǔn)地分割出工件表面的缺陷。董家順等提出了一種改進(jìn)-means算法來(lái)實(shí)現(xiàn)工件的背景去除，該算法對(duì)光照不均具有良好的抗干擾能力。張?zhí)锏热颂岢鲆环N基于清晰度評(píng)價(jià)的自適應(yīng)閾值圖像分割方法，能夠自適應(yīng)地準(zhǔn)確找到合理閾值，具有優(yōu)異的分割性能。RONG等提出一種結(jié)合語(yǔ)義信息與圖像深度信息的-means算法，能夠正確地對(duì)感興趣對(duì)象進(jìn)行分割，提取精度高。王春梅等提出了一種橢圓形光斑黏連圖像的分割方法，該方法采用等角六叉旋轉(zhuǎn)算子對(duì)黑白圖像上的黑斑區(qū)域進(jìn)行填充，避免了圖像的過(guò)分割，能夠滿足生產(chǎn)過(guò)程中高精度的要求。上述算法在簡(jiǎn)單場(chǎng)景下的圖像分割可以取得較理想的效果，但在處理背景較為復(fù)雜的非結(jié)構(gòu)環(huán)境圖像分割時(shí)，由于未對(duì)場(chǎng)景進(jìn)行針對(duì)性改進(jìn)，其效果往往不能令人滿意。

第三類是交互式目標(biāo)分割方法。2001年，BOYKOV、JOLLY首次將圖割結(jié)合最小割-最大流方法應(yīng)用于圖像分割中。ROTHER等提出Grab Cut算法，Grab Cut是迭代的Graph Cut算法，將圖像分為前景和背景，從而通過(guò)較少的交互實(shí)現(xiàn)圖像的分割。HE等提出了將圖割結(jié)合圖像直方圖的分割算法，該方法可解決Graph Cut算法對(duì)小物體不敏感的缺點(diǎn)。交互式目標(biāo)分割算法通過(guò)交互初步將前景與背景信息進(jìn)行劃分，分割結(jié)果較為精準(zhǔn)，但是其對(duì)噪聲敏感，且對(duì)光照變化不具有魯棒性。

上述3類方法主要是針對(duì)非剎車盤(pán)工件的背景去除方法，沒(méi)有針對(duì)剎車盤(pán)實(shí)際生產(chǎn)環(huán)境進(jìn)行優(yōu)化，難以直接應(yīng)用到工業(yè)生產(chǎn)當(dāng)中。通常情況下，剎車盤(pán)生產(chǎn)現(xiàn)場(chǎng)環(huán)境復(fù)雜，光線條件多變。通過(guò)對(duì)現(xiàn)場(chǎng)大量圖像進(jìn)行觀察，總結(jié)其特點(diǎn)如下：(1)由于光線條件較差，工業(yè)相機(jī)所拍攝圖像常有噪聲；(2)工業(yè)相機(jī)整體成像亮度較低；(3)粗加工的剎車盤(pán)邊緣信息較為模糊，易與相似背景融合。

綜上所述，本文作者所做工作為：(1)對(duì)圖像進(jìn)行濾波，消除噪聲對(duì)分割算法的影響；(2)采用直方圖均衡化方法提升圖像亮度；(3)對(duì)圖像進(jìn)行銳化增強(qiáng)，使剎車盤(pán)邊緣銳利，細(xì)節(jié)明顯；(4)采用Grab Cut算法對(duì)前景和背景進(jìn)行分割，實(shí)現(xiàn)剎車盤(pán)復(fù)雜背景的去除。

1 Grab Cut算法

Grab Cut是對(duì)傳統(tǒng)交互式分割方法Graph Cut的改進(jìn)，是迭代的Graph Cut。其核心是將待分割圖像映射為如圖1所示的-網(wǎng)絡(luò)。網(wǎng)絡(luò)圖包含原點(diǎn)：代表前景終點(diǎn)，匯點(diǎn)：代表背景終點(diǎn)，而原點(diǎn)、匯點(diǎn)及網(wǎng)絡(luò)圖中其他節(jié)點(diǎn)間的連線都稱之為邊集。Grab Cut算法首先通過(guò)簡(jiǎn)單的用戶交互將感興趣對(duì)象進(jìn)行框選，初步定義選中區(qū)域?yàn)榍熬?，其他區(qū)域?yàn)楸尘埃贿M(jìn)而對(duì)前景、背景分別建立高斯混合模型GMM，用-means算法將前景和背景聚為類，即GMM中的個(gè)高斯模型；然后分別計(jì)算各邊集之間的分割能量權(quán)重，進(jìn)而對(duì)未知區(qū)域構(gòu)建-網(wǎng)絡(luò)圖，使用最小割-最大流方法實(shí)現(xiàn)初步分割，并通過(guò)迭代不斷地對(duì)組參數(shù)、、進(jìn)行優(yōu)化，最終使分割能量收斂于最小值，實(shí)現(xiàn)圖像分割。

圖1 s-t網(wǎng)絡(luò)

2 改進(jìn)Grab Cut算法

在實(shí)際剎車盤(pán)生產(chǎn)過(guò)程中，由于車間環(huán)境復(fù)雜且無(wú)法保證光照條件統(tǒng)一，使得視覺(jué)系統(tǒng)采集到的剎車盤(pán)圖像普遍存在亮度較低、邊緣模糊、輪廓不清和噪聲明顯等問(wèn)題，這些因素都會(huì)導(dǎo)致傳統(tǒng)Grab Cut分割算法魯棒性變差，導(dǎo)致分割結(jié)果不準(zhǔn)確。

為了解決上述問(wèn)題，提出改進(jìn)的Grab Cut算法。首先對(duì)剎車盤(pán)圖像進(jìn)行自適應(yīng)中值濾波，去除其表面不同程度的噪聲，然后采用限定對(duì)比度的自適應(yīng)直方圖均衡化(CLAHE)提高圖像亮度，其次通過(guò)Laplacian算子對(duì)圖像進(jìn)行銳化處理，最后采用Grab Cut算法對(duì)剎車盤(pán)進(jìn)行精準(zhǔn)分割，完成剎車盤(pán)復(fù)雜背景去除工作。改進(jìn)Grab Cut算法流程如圖2所示。

圖2 改進(jìn)Grab Cut算法流程

2.1 自適應(yīng)中值濾波

自適應(yīng)中值濾波能夠根據(jù)預(yù)設(shè)好的條件，動(dòng)態(tài)地改變?yōu)V波器的窗口尺寸。與常規(guī)中值濾波器相比，自適應(yīng)中值濾波器會(huì)定義一個(gè)在濾波過(guò)程中逐漸改變大小的矩形窗口，并最終輸出一個(gè)像素用來(lái)替換濾波窗口中心點(diǎn)(,)處的像素，從而使自適應(yīng)中值濾波在保證濾除椒鹽噪聲的同時(shí)，更好地保留圖像細(xì)節(jié)。

2.2 限定對(duì)比度的自適應(yīng)直方圖均衡化

實(shí)際剎車盤(pán)圖像分割過(guò)程中發(fā)現(xiàn)光線較強(qiáng)或較弱都會(huì)對(duì)分割結(jié)果造成較大影響，從而需要對(duì)圖像亮度進(jìn)行均衡處理。限定對(duì)比度的自適應(yīng)直方圖均衡(CLAHE)算法能夠有效增強(qiáng)或改善圖像局部對(duì)比度，從而獲得更多圖像邊緣及細(xì)節(jié)信息，對(duì)自適應(yīng)直方圖均衡化AHE中放大噪聲的問(wèn)題進(jìn)行優(yōu)化。

CLAHE的主要實(shí)現(xiàn)步驟為：

(1)將濾波去噪后的剎車盤(pán)圖(像素×像素)分成若干個(gè)大小相同的子區(qū)域。

(2)分別對(duì)每個(gè)子區(qū)域的直方圖進(jìn)行計(jì)算，將可能出現(xiàn)的直方圖灰度級(jí)個(gè)數(shù)記為，每個(gè)子區(qū)域的灰度級(jí)為，則區(qū)域(,)對(duì)應(yīng)的直方圖函數(shù)為,()，0≤≤-1。

(3)對(duì)剪切限幅值進(jìn)行確認(rèn)。

(1)

式中：為截?cái)嘞禂?shù)，用來(lái)表示每個(gè)灰度級(jí)中像素的最大百分比。

(4)將超出值的像素填充到圖形中灰度級(jí)較低的位置，從而提高圖像整體亮度。

(5)對(duì)所有分割的子區(qū)域進(jìn)行直方圖均衡化。

(6)用雙線性插值方法對(duì)每個(gè)像素進(jìn)行處理，計(jì)算處理后的灰度值。

記為像素所在的位置，為在位置處的像素值，即,()=，、、、為每個(gè)區(qū)域的中心。變換函數(shù)分別為()、()、()、()，的值在輸出圖像中記為′，它通過(guò)4個(gè)區(qū)域上變換函數(shù)的加權(quán)和來(lái)獲得。設(shè)、是位置到和的距離，且和均為1，則對(duì)于每一個(gè)(,)有：

′=(1-)·[(1-)()+()]+·

[(1-)()+()]

(2)

每個(gè)像素都有一個(gè)變換函數(shù)，可以表示為

(3)

式(3)中：,()是像素(,)的分布函數(shù)。

2.3 Laplacian算子

Laplacian算子是維歐幾里得空間中的二階微分算子，具有旋轉(zhuǎn)不變性，常將Laplacian算子作為邊緣檢測(cè)的手段之一。將Laplacian算子用于圖像增強(qiáng)可對(duì)圖像邊緣進(jìn)行銳化，同時(shí)保留更多背景信息，更好地突出圖像的細(xì)節(jié)。但Laplacian算子對(duì)噪聲敏感，所以在使用算子前采用自適應(yīng)中值濾波對(duì)剎車盤(pán)圖像進(jìn)行了去噪。算子對(duì)應(yīng)的掩碼如圖3所示，可看出Laplacian算子是各向同性的。

圖3 Laplacian算子掩碼

其計(jì)算方法為：將圖像中選中的像素點(diǎn)及其鄰域內(nèi)的8個(gè)點(diǎn)與圖3所示的掩碼相乘求和，用得到的新像素值替代原來(lái)九宮格內(nèi)中心點(diǎn)的像素值。則對(duì)于點(diǎn)(,)，有:

(4)

2.4 Grab Cut迭代能量最小化分割算法

Grab Cut算法每次迭代過(guò)程都使得對(duì)目標(biāo)和背景建模的GMM參數(shù)更優(yōu)。算法分為初始化和迭代最小化兩個(gè)步驟。

初始化：

(1)首先通過(guò)用戶交互對(duì)感興趣區(qū)域進(jìn)行框選，將框內(nèi)的像素定義為目標(biāo)像素，其他像素定義為背景像素。

(2)對(duì)中的背景像素進(jìn)行初始化，記的標(biāo)簽為=0。同樣的，對(duì)目標(biāo)像素內(nèi)的像素進(jìn)行初始化，記的標(biāo)簽為′=1。

(3)經(jīng)過(guò)步驟(1)和(2)可以初步地對(duì)目標(biāo)像素和背景像素進(jìn)行分類，然后對(duì)目標(biāo)像素和背景像素建立GMM，并通過(guò)-means算法將目標(biāo)像素聚類為類，保證GMM中的每個(gè)高斯模型都具有一定的像素樣本，并通過(guò)像素的RGB值估算參數(shù)均值和協(xié)方差，進(jìn)一步通過(guò)該高斯分量的像素與總像素個(gè)數(shù)的比值確定其權(quán)值。

迭代最小化：

(1)對(duì)每個(gè)像素分配GMM中的高斯分量，將目標(biāo)像素的RGB值代入GMM中的每一個(gè)高斯分量中，求出概率最大的分量記為。

(5)

(2)根據(jù)給定的圖像數(shù)據(jù)，進(jìn)一步對(duì)GMM進(jìn)行學(xué)習(xí)優(yōu)化。

(6)

(3)通過(guò)(1)中分析的Gibbs能量項(xiàng)求出權(quán)值，然后通過(guò)最小割-最大流算法來(lái)對(duì)分割進(jìn)行估計(jì)：

(7)

(4)重復(fù)上述步驟，不斷優(yōu)化GMM，在經(jīng)過(guò)(3)的分割后目標(biāo)像素的歸屬可被進(jìn)一步確認(rèn)，則每個(gè)像素的和GMM也最終得以確認(rèn)，通過(guò)算法不斷迭代可持續(xù)優(yōu)化GMM模型和分割結(jié)果，又因步驟(1)—(3)是能量遞減的過(guò)程，所以可以保證迭代過(guò)程會(huì)收斂于最小值，從而得到分割結(jié)果。

(5)由于分割后的邊界可能存在不連續(xù)的現(xiàn)象，所以采用border matting對(duì)分割結(jié)果進(jìn)行平滑等后處理。

3 實(shí)驗(yàn)結(jié)果與分析

主要算法采用C++語(yǔ)言編程實(shí)現(xiàn)，在Visual Studio2017平臺(tái)中配置OpenCV 4.2庫(kù)運(yùn)行。實(shí)驗(yàn)所用計(jì)算設(shè)備配置為64位Windows10操作系統(tǒng)、CPU主頻3.6 GHz、8.0 GB內(nèi)存。

3.1 實(shí)驗(yàn)材料

兩個(gè)映美精DMK 33GP031工業(yè)CCD相機(jī)組成雙目立體視覺(jué)圖像采集系統(tǒng)，在對(duì)系統(tǒng)進(jìn)行畸變校正和立體校正后，將剎車盤(pán)分別置于非結(jié)構(gòu)環(huán)境條件下進(jìn)行共300組實(shí)驗(yàn)，選取左相機(jī)拍攝圖像為實(shí)驗(yàn)素材，實(shí)驗(yàn)效果如圖4所示。

圖4 實(shí)驗(yàn)效果

圖4(a)為RGB原圖，(b)為相機(jī)獲取的包含剎車盤(pán)區(qū)域的灰度圖。首先使用自適應(yīng)中值濾波去除由于生產(chǎn)現(xiàn)場(chǎng)光線條件差而產(chǎn)生的椒鹽噪聲，見(jiàn)圖(c)；對(duì)處理過(guò)的圖片使用限定對(duì)比度的自適應(yīng)直方圖均衡化CLAHE提升圖像整體亮度，并保留邊緣等關(guān)鍵細(xì)節(jié)，見(jiàn)圖(d)；進(jìn)一步用Laplacian圖像銳化算子增強(qiáng)圖像邊緣及細(xì)節(jié)，見(jiàn)圖(e)；最后使用Grab Cut算法進(jìn)行分割得到剎車盤(pán)區(qū)域，見(jiàn)圖(f)。

3.2 對(duì)比實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證算法性能，分別將文中算法與其他復(fù)雜背景去除算法的分割效果進(jìn)行對(duì)比。在拍攝的300組包含雜亂背景、純凈背景、剎車盤(pán)正反面、有無(wú)陰影影響等不同光線條件、不同場(chǎng)景下的剎車盤(pán)圖像上進(jìn)行實(shí)驗(yàn)，分別與傳統(tǒng)Grab Cut算法、區(qū)域生長(zhǎng)算法及-means分割算法進(jìn)行對(duì)比，部分對(duì)比結(jié)果如圖5所示。

從圖5中可以看出：原Grab Cut算法由于未進(jìn)行圖像濾波和圖像增強(qiáng)，因而算法對(duì)噪聲敏感且對(duì)光照不具有魯棒性，導(dǎo)致剎車盤(pán)邊緣不明顯，易出現(xiàn)欠分割現(xiàn)象，如圖(b)所示；區(qū)域生長(zhǎng)算法能夠在簡(jiǎn)單場(chǎng)景下較好實(shí)現(xiàn)剎車盤(pán)區(qū)域背景去除，但當(dāng)場(chǎng)景過(guò)于復(fù)雜、圖像灰度不均一時(shí)，可能無(wú)法準(zhǔn)確分割剎車盤(pán)區(qū)域，如圖(c)所示；由于-means聚類分割算法對(duì)噪聲和異常點(diǎn)較為敏感且算法求取的是局部最優(yōu)解，所以在進(jìn)行剎車盤(pán)復(fù)雜背景去除時(shí)該算法存在過(guò)分割現(xiàn)象，如圖(d)所示；相較于其他分割算法，文中算法分割的剎車盤(pán)輪廓清晰，細(xì)節(jié)保留完整，如圖(e)所示。

圖5 算法對(duì)比

在分割效果衡量方面，將峰值信噪比PSNR、誤分割率、分割準(zhǔn)度和算法運(yùn)行時(shí)間作為性能指標(biāo)對(duì)算法進(jìn)行衡量(算法分割結(jié)果與原始剎車盤(pán)CAD模型的差異性記為誤分割率，算法的分割準(zhǔn)度表示為)。

(8)

其中：為分割算法作用后的結(jié)果；為將剎車盤(pán)作為感興趣區(qū)域進(jìn)行人工分割后的結(jié)果；表示圖像的尺寸。

(9)

其中：為常數(shù)，通常取值為0.5；為準(zhǔn)確率，表示算法的正確分割區(qū)域占算法總分割區(qū)域的比例；為召回率，表示算法的正確分割區(qū)域占人工分割區(qū)域的比例。、計(jì)算公式分別如式(10)、式(11)所示：

(10)

(11)

具體性能指標(biāo)數(shù)據(jù)如表1所示。

表1 性能指標(biāo)

從表1可以看出：本文作者提出的基于改進(jìn)Grab Cut的圖像分割算法的PSNR、誤分割率、分割準(zhǔn)度的平均值均優(yōu)于列舉的其他幾種分割算法，這充分說(shuō)明文中算法對(duì)噪聲的抑制效果更好，并且在對(duì)背景較復(fù)雜的圖像進(jìn)行分割時(shí)，由于加入了圖像增強(qiáng)算法，大大降低了分割算法的錯(cuò)誤率，并由實(shí)際分割結(jié)果可以看出分割后的剎車盤(pán)邊緣光滑，細(xì)節(jié)清晰，進(jìn)一步驗(yàn)證了文中算法的有效性。

4 結(jié)論

(1)本文作者提出將自適應(yīng)中值濾波算法應(yīng)用于剎車盤(pán)復(fù)雜背景去除過(guò)程中，能夠保證在對(duì)圖像進(jìn)行去噪的前提下更好地保留剎車盤(pán)邊緣和紋理信息，降低了噪聲對(duì)圖像分割的干擾。

(2)結(jié)合限定對(duì)比度的自適應(yīng)直方圖均衡化算法和Laplacian算子提高圖像亮度，增強(qiáng)剎車盤(pán)邊緣，然后利用Grab Cut算法對(duì)剎車盤(pán)圖像進(jìn)行分割，解決了傳統(tǒng)算法分割精度低的問(wèn)題。

(3)針對(duì)工業(yè)生產(chǎn)中剎車盤(pán)復(fù)雜背景去除過(guò)程提出了一種改進(jìn)的Grab Cut分割方法，并針對(duì)非結(jié)構(gòu)環(huán)境下的剎車盤(pán)圖像進(jìn)行研究，提出的改進(jìn)分割算法在解決此類問(wèn)題時(shí)效果更佳，更具魯棒性。

(4)后續(xù)可針對(duì)算法的運(yùn)行時(shí)間進(jìn)行優(yōu)化。此外，可增加其他預(yù)處理流程，進(jìn)一步降低陰影對(duì)分割結(jié)果的影響。