張帥兵 任亞飛 張寶池 尹振漢 石義彬

摘 ?要：針對企業(yè)在實(shí)際鋼球生產(chǎn)過程中的計(jì)數(shù)問題，在對現(xiàn)有圖像計(jì)數(shù)方案研究后，提出了一種基于機(jī)器視覺的鋼球計(jì)數(shù)系統(tǒng)。通過黑白面陣相機(jī)進(jìn)行圖像采集、自適應(yīng)直方圖均衡化對圖像進(jìn)行增強(qiáng)，對比基于距離變換的分水嶺圖像分割和局部自適應(yīng)閾值算法對鋼球計(jì)數(shù)的準(zhǔn)確率，最終識別出鋼球數(shù)量。經(jīng)樣機(jī)試驗(yàn)證明，所設(shè)計(jì)的系統(tǒng)達(dá)到了企業(yè)所要求的標(biāo)準(zhǔn)，可以快速準(zhǔn)確的識別鋼球數(shù)量，減小了企業(yè)計(jì)數(shù)的成本和誤差，提高了企業(yè)的生產(chǎn)效率。

關(guān)鍵詞：鋼球計(jì)數(shù)系統(tǒng);自適應(yīng)直方圖均衡化;局部自適應(yīng)閾值

中圖分類號：TP391.4 ? ? ? 文獻(xiàn)標(biāo)識碼：A文章編號：2096-4706（2022）05-0101-04

Research on Image Segmentation Based on Distance Transform and Watershed Algorithm

ZHANG Shuaibing， REN Yafei， ZHANG Baochi， YIN Zhenhan， SHI Yibin

（School of Electrical Engineering and Automation， Luoyang Institute of Science and Technology， Luoyang ?471023， China）

Abstract： Aiming at the counting problem of steel balls in actual production process， a steel balls counting system based on machine vision is proposed after studying the existing counting scheme of images. Through collecting images by the black and white face array camera and enhancing images by the adaptive histogram equalization， this paper compares accuracy of the watershed image segmentation based on distance transformation and the local adaptive threshold algorithm for steel ball counting， and the number of steel balls is finally identified. The prototype test proves that the designed system meets the standards of enterprises and it can quickly and accurately identify the number of steel balls， reduce the cost and error of enterprise counting， improve the production efficiency of enterprises.

Keywords： steel ball counting system; adaptive histogram equalization; local adaptive threshold value

0 ?引 ?言

隨著工業(yè)5.0計(jì)劃的提出和中國智造2025的發(fā)展，各行各業(yè)對軸承的需求不斷增加，鋼球是軸承的重要組成部分，鋼球的質(zhì)量、生產(chǎn)效率也成了大家關(guān)注的一部分。在企業(yè)調(diào)整鋼球生產(chǎn)關(guān)系、提高生產(chǎn)效率過程中，鋼球計(jì)數(shù)是很重要的一環(huán)。大型鋼球主要用于風(fēng)電軸承、回轉(zhuǎn)支承等方面，目前國內(nèi)仍有很多的大型鋼球生產(chǎn)線采用人工計(jì)數(shù)或機(jī)械計(jì)數(shù)的方法，人工計(jì)數(shù)效率低下，易發(fā)生錯(cuò)誤計(jì)數(shù)的情況，計(jì)數(shù)精度易受個(gè)人狀態(tài)影響，機(jī)械計(jì)數(shù)則需要搭建復(fù)雜的機(jī)械結(jié)構(gòu)，更改原有生產(chǎn)線方案，產(chǎn)生額外的費(fèi)用。因此，利用機(jī)器視覺實(shí)現(xiàn)對鋼球的計(jì)數(shù)是企業(yè)最為需要的，也是對企業(yè)最為有利、高效的方法。

目前，圖像處理技術(shù)已經(jīng)廣泛應(yīng)用到各種物體的數(shù)量統(tǒng)計(jì)方面，李彥清[1]等研究了鋼球的精確計(jì)數(shù)與尺寸識別系統(tǒng)，通過設(shè)計(jì)機(jī)械結(jié)構(gòu)，讓鋼球能夠整齊地排列，使用雙灰度閾值算法對采集的圖像進(jìn)行二值化處理，計(jì)數(shù)準(zhǔn)確率可以達(dá)100%。崔明[2]等利用基于距離變換的分水嶺算法成功分割草莓粘連和重疊的圖像，實(shí)現(xiàn)草莓?dāng)?shù)量的實(shí)時(shí)檢測。李詠豪[3]針對粘連谷物分割問題，提出基于超像素的粘連谷粒分割算法，準(zhǔn)確率達(dá)94%。劉家軍[4]等使用自適應(yīng)直方圖均衡化對采集的接觸網(wǎng)支柱號牌進(jìn)行處理，圖像整體對比度效果大大增強(qiáng)，使號牌上數(shù)字的易提取性大幅增強(qiáng)。

1 ?系統(tǒng)及軟件設(shè)計(jì)

圖像處理目前還很少應(yīng)用于生產(chǎn)線上大型鋼球的數(shù)量統(tǒng)計(jì)，針對人工計(jì)數(shù)效率低下、精度不穩(wěn)定的問題，結(jié)合企業(yè)生產(chǎn)需要，提出了面向大型鋼球生產(chǎn)線的視覺計(jì)數(shù)方法，在大型鋼球廠的一條生產(chǎn)線上搭建了鋼球計(jì)數(shù)系統(tǒng)。首先，提取圖像的目標(biāo)區(qū)域，并通過自適應(yīng)直方圖均衡化來對圖像進(jìn)行增強(qiáng)，通過比較基于距離變換的分水嶺算法和基于閾值分割算法兩種方法對鋼球計(jì)數(shù)的準(zhǔn)確率，選擇了基于閾值分割的方法應(yīng)用于系統(tǒng)上，最后把統(tǒng)計(jì)數(shù)據(jù)顯示在生產(chǎn)線大屏上，并保存在本地的數(shù)據(jù)庫中。經(jīng)實(shí)際測試，本系統(tǒng)能夠準(zhǔn)確地對鋼球進(jìn)行計(jì)數(shù)，準(zhǔn)確性、魯棒性和實(shí)時(shí)性滿足了鋼球生產(chǎn)要求，提高了企業(yè)的信息化水平。

鋼球生產(chǎn)過程復(fù)雜，棒材在經(jīng)過加熱、空冷、淬火、回火等步驟后，生產(chǎn)的一批鋼球會送入鐵籃中，需要及時(shí)對籃子中的鋼球進(jìn)行計(jì)數(shù)，生產(chǎn)線現(xiàn)場是一個(gè)相對開放的環(huán)境，光線變化大;場地環(huán)境復(fù)雜，不時(shí)有員工、車輛和其他物體在籃子周圍移動;由于生產(chǎn)需要，籃子上會有很多橢圓形的孔洞;部分鋼球表面有凹凸不平的斑點(diǎn)，這些都會增加鋼球計(jì)數(shù)的難度。針對現(xiàn)場的復(fù)雜環(huán)境，本系統(tǒng)分別在硬件和軟件進(jìn)行了抗干擾和濾波處理。系統(tǒng)主要由圓形高亮度LED面板、黑白面陣CCD相機(jī)、工業(yè)控制計(jì)算機(jī)（圖形工作站）以及圖像處理算法控制軟件組成。當(dāng)系統(tǒng)檢測到籃子運(yùn)送過來后，相機(jī)向高亮度LED面板發(fā)送控制信號，控制燈光閃爍并采集圖像，計(jì)算機(jī)獲取到圖像后進(jìn)行分析、處理，得到鋼球數(shù)量，將統(tǒng)計(jì)數(shù)據(jù)顯示至大屏上，同時(shí)會將生產(chǎn)時(shí)間、數(shù)量等各種生產(chǎn)信息保存至數(shù)據(jù)庫中，以便后期的查詢和追溯。具體軟件計(jì)數(shù)流程如圖1所示。

2 ?鋼球圖像分割研究

2.1 ?圖像增強(qiáng)

針對現(xiàn)場生產(chǎn)環(huán)境復(fù)雜、生產(chǎn)車間內(nèi)存在各種干擾的問題，在分析圖像前，必須對獲取的圖像進(jìn)行預(yù)處理，截取ROI區(qū)域，提高圖像的質(zhì)量，使其更適于后續(xù)算法的分析和處理。本文首先截取圖像的ROI區(qū)域，針對圖片明暗分布不均、圖像細(xì)微處對比度低的問題，采用對比度受限的自適應(yīng)直方圖均衡化方法（CLAHE）[5]對圖像進(jìn)行增強(qiáng)。傳統(tǒng)直方圖均衡化是在圖像全局增強(qiáng)對比度，它對數(shù)據(jù)的處理不加選擇，由于本系統(tǒng)采集的圖像常會出現(xiàn)部分區(qū)域?qū)Ρ榷容^好，部分較差，CLAHE算法更適用于對比度不均的情況，CLAHE在增強(qiáng)對比度的同時(shí)能抑制圖像的噪聲，可以更好地突出圖像的細(xì)節(jié)，以下為算法具體流程：

（1）圖像分割：將ROI區(qū)域分成M行N列的圖塊，分割數(shù)量根據(jù)圖像特點(diǎn)而定，假設(shè)每個(gè)圖塊區(qū)域大小為（a，b）。

（2）計(jì)算灰度閾值：計(jì)算每個(gè)圖塊的直方圖，將直方圖的灰度級標(biāo)記為r，可能出現(xiàn)的灰度級個(gè)數(shù)為K，每個(gè)圖塊直方圖函數(shù)為Hm，n（r），0≤r≤K-1。通過以下方法得到灰度閾值β。

（1）

式中，參數(shù)為α為截止系數(shù)，是我們每個(gè)灰度級所允許一個(gè)像素的最大程度百分比。

（3）均衡處理：對每個(gè)圖塊進(jìn)行常規(guī)的直方圖均衡化處理。

（4）插值運(yùn)算：為了避免圖像呈現(xiàn)塊狀效應(yīng)，使用雙線性插值法對圖像進(jìn)行插值運(yùn)算，合并相鄰圖塊，以消除人工形成的邊界。

采用CLAHE方法對ROI區(qū)域進(jìn)行處理，處理結(jié)果如圖2所示，原圖圖像和利用直方圖均衡化處理后的圖像分別如圖3和圖4所示，通過CLAHE處理后圖像質(zhì)量有明顯改善，與普通的直方圖均衡化方法相比，提高了局部對比度，讓圖像細(xì)節(jié)更加清晰，也更有利于后期對圖像分割。

2.2 ?鋼球檢測

圖像通過CLAHE處理后，需要對圖中鋼球進(jìn)行計(jì)數(shù)，為了達(dá)到較好的效果，本文采用了兩種方案進(jìn)行對比識別，分別為基于距離變換的分水嶺圖像分割和基于閾值的圖像分割。

2.2.1 ?基于距離變換的分水嶺圖像分割

方案一采用基于距離變換的分水嶺圖像分割。距離變換描述了圖像中某像素點(diǎn)與某塊區(qū)域之間的距離大小，它可以將二值圖像轉(zhuǎn)化為距離圖像，即灰度圖像，常用于粘連物體的分離、骨架提取、目標(biāo)細(xì)化等。距離變換的算法分為歐式距離和非歐式距離，歐式距離精度高但計(jì)算復(fù)雜，時(shí)間復(fù)雜度高，非歐式距離計(jì)算簡單，但不易滿足精度要求，本系統(tǒng)對時(shí)間復(fù)雜度要求不高，故采用歐式距離，將ρ定義為點(diǎn)（i，j）與（k，l）之間的歐氏距離，公式為：

（2）

分水嶺算法，又稱模擬浸水法，分水嶺分割所采用的原理主要有兩種，模擬降水過程和模擬浸水過程。其基本思想是把圖像看成是測地學(xué)的拓?fù)涞匦螆D，地形中存在“山峰”和“山谷”，地勢低的區(qū)域?yàn)榕璧?，地勢高的為做山脊，無論是通過模擬浸沒法還是模擬降水法，最終都會將盆地區(qū)域覆蓋，被覆蓋的區(qū)域即為分割出的圖像區(qū)域，從而實(shí)現(xiàn)了圖像分割的目的。

算法流程為：

（1）基于重建的開閉操作：運(yùn)用數(shù)學(xué)形態(tài)學(xué)的基于開和基于閉的重建運(yùn)算對圖像進(jìn)行分析重建，去除小的“突刺”，填充洞孔，在不影響對象全局形狀的同時(shí)去除細(xì)節(jié)和噪聲，得到前景和背景標(biāo)記。

（2）標(biāo)記前景物體：對重建后的圖像在每個(gè)對象的內(nèi)部創(chuàng)建單位極大值。

（3）計(jì)算背景標(biāo)記：通過二值化操作，將背景置為黑色，計(jì)算二值圖像的歐幾里得矩陣，如圖5所示，再進(jìn)行分水嶺變換，取出相鄰區(qū)域間的分界線構(gòu)成背景標(biāo)記，如圖6所示。

（4）計(jì)算分割函數(shù)的分水嶺變換：結(jié)合前景和背景標(biāo)記，修改梯度幅度圖像，讓區(qū)域最小值出現(xiàn)在標(biāo)記上，最后進(jìn)行基于分水嶺的分割。

（5）可視化輸出：將分割對象邊界、前景標(biāo)記、背景標(biāo)記疊加到增強(qiáng)后的圖像上，如圖7所示，統(tǒng)計(jì)輪廓個(gè)數(shù)，對輪廓大小、周長等參數(shù)進(jìn)行限定，即為鋼球數(shù)目。

2.2.2 ?基于閾值分割的圖像分割

方案二采用基于閾值分割的圖像處理，它是最常用的圖像分割措施之一。鋼球生產(chǎn)環(huán)境復(fù)雜，在不同的工作時(shí)間采集的圖像光照分布不同，使用全局閾值很難為圖像確定最佳閾值，最大類間方差法（Otsu算法）根據(jù)圖像的最小類內(nèi)方差確定最佳全局閾值，但在圖像局部過曝或欠曝時(shí)，會出現(xiàn)無法正確分離出鋼球的情況。因此本文采用局部自適應(yīng)閾值算法對圖像進(jìn)行二值化，能夠更多地分割出前景目標(biāo)，再根據(jù)面積大小和長短軸大小進(jìn)行濾波，便能夠較好地分離出前景鋼球。

局部自適應(yīng)閾值法，該算法對每一個(gè)像素點(diǎn)的閾值是不一樣的，與Otsu算法和普通的閾值方法相比計(jì)算量較大，可以更好地解決光線分布不均勻的問題。該算法的主要步驟為以目標(biāo)像素點(diǎn)為中心選取一塊面積為w×h的區(qū)域，使用均值算法對圖塊里面的像素點(diǎn)計(jì)算，如果當(dāng)前所遍歷像素的值比平均值低t%，則把當(dāng)前值為0，否則為255。本文w和h分別選取圖像長寬的1/8，t取35。局部自適應(yīng)閾值法將一個(gè)像素與周圍像素平均值進(jìn)行比較，通過設(shè)置局部范圍內(nèi)的硬性條件來減小圖像整體光照變化的影響，能夠較好地分離出前景目標(biāo)。

閾值分割算法流程為：

（1）自適應(yīng)二值化：使用局部自適應(yīng)閾值對圖像進(jìn)行二值化，通過像素局部均值強(qiáng)度計(jì)算每個(gè)像素的閾值，系統(tǒng)選取局部區(qū)域約為圖像大小的1/8，敏感因子為0.35。

（2）孔洞填充：二值化后有許多微小的孔洞，使用以下過程對孔洞進(jìn)行填充。

（3）

式中，B為填充所用的結(jié)構(gòu)元素，Ac為集合A的補(bǔ)集，填充從全黑圖像X0開始迭代，至Xk=Xk-1結(jié)束。

（3）形態(tài)學(xué)開操作：先腐蝕運(yùn)算，再膨脹運(yùn)算，去除比掩膜小的前景對象，本文選用半徑為8的圓盤形狀的掩膜。以下為開運(yùn)算公式：

（4）

式中，X為被處理圖像，B為結(jié)構(gòu)元素，-表示腐蝕操作運(yùn)算符，+表示膨脹操作運(yùn)算符。

（4）篩選濾波：根據(jù)處理后連通分量的面積、長軸長度和短軸長度進(jìn)行濾波，統(tǒng)計(jì)最終的連通分量個(gè)數(shù)，即為鋼球數(shù)目。面積通過統(tǒng)計(jì)連通分量邊界內(nèi)部像素點(diǎn)為1的像素個(gè)數(shù)，長軸和短軸則通過計(jì)算連通分量的最小外界矩形得到。

（5）可視化輸出：將濾波后的掩膜合成為3通道的BGR圖，疊加至原圖上，如圖7所示。

3 ?實(shí)驗(yàn)結(jié)果與分析

在Visual Studio平臺下利用C#編寫人機(jī)交互界面，方便對于鋼球計(jì)數(shù)實(shí)驗(yàn)的進(jìn)行以及在實(shí)際場景中的應(yīng)用，整個(gè)交互系統(tǒng)可以選擇對導(dǎo)入的圖片進(jìn)行計(jì)數(shù)，以及自動識別計(jì)數(shù)，另外也可以分別使用兩種方式來實(shí)現(xiàn)鋼球計(jì)數(shù)。

在實(shí)驗(yàn)過程中為驗(yàn)證鋼球計(jì)數(shù)的準(zhǔn)確性，使用兩種方式針對不同的鋼球數(shù)量進(jìn)行多次檢測，具體運(yùn)行效果如圖8所示，部分結(jié)果如表1所示。從統(tǒng)計(jì)結(jié)果來看：方案一誤差較大，分析原因?yàn)榛@底反光、部分鋼球位置原因，造成圖像部分亮度分部不均，采用分水嶺分割易出現(xiàn)過分割和欠分割現(xiàn)象，不正確分割會直接導(dǎo)致計(jì)數(shù)錯(cuò)誤。方案二誤差較小，計(jì)數(shù)錯(cuò)誤的原因?yàn)殇撉驍?shù)量較少時(shí)，籃底有大面積反光的情況，造成對圖像的誤分割，鋼球數(shù)量較多時(shí)，鋼球堆疊遮擋造成部分前景鋼球被濾除。

4 ?結(jié) ?論

本文提出了基于機(jī)器視覺的鋼球計(jì)數(shù)方案。鋼球圖像通過黑白面陣CCD相機(jī)進(jìn)行采集，運(yùn)用圖像處理技術(shù)完成了鋼球的準(zhǔn)確計(jì)數(shù)，解決了在不改動原有生產(chǎn)線的基礎(chǔ)上進(jìn)行鋼球計(jì)數(shù)的難題，受到了使用單位的一致好評，具有較好的應(yīng)用和推廣價(jià)值。經(jīng)樣機(jī)試驗(yàn)表明，該系統(tǒng)具有以下特點(diǎn)：

（1）系統(tǒng)使用CCD相機(jī)采集籃子中鋼球圖像，通過自適應(yīng)直方圖均值化及局部自適應(yīng)閾值算法識別出鋼球數(shù)量，達(dá)到企業(yè)要求的精度。

（2）系統(tǒng)硬件簡單，安裝方便，無須更改原來的生產(chǎn)線，降低了企業(yè)的生產(chǎn)成本。

（3）系統(tǒng)有一定的抗干擾能力，在周圍有移動物體或光線變化在一定范圍內(nèi)仍能夠準(zhǔn)確識別出鋼球數(shù)量。

參考文獻(xiàn)：

[1] 李彥清，何紹鑫，趙俊瀟，等.基于圖像技術(shù)的鋼球精確計(jì)數(shù)與尺寸識別系統(tǒng) [J].吉林大學(xué)學(xué)報(bào)（信息科學(xué)版），2019，37（6）：631-637.

[2] 崔明，蔣其友，薛小松.基于圖像處理的成熟草莓檢測計(jì)數(shù)研究 [J].農(nóng)業(yè)與技術(shù)，2021，（23）：15-18.

[3] 李詠豪.基于超像素的粘連谷粒分割算法 [J].數(shù)字技術(shù)與應(yīng)用，2021，39（4）：110-112.

[4] 劉家軍，鐘鳴睿，秦梓軒.基于對比度受限直方圖均衡化的夜間接觸網(wǎng)支柱號牌識別方法研究 [J].電氣工程學(xué)報(bào)，2021，16（3）：70-76.

[5] Pizer S M，Amburn EP，Austin J D. Adaptive histogram eqalization and its variations [J].Computer Vision，Graphics，and Image Processing，1987，39（3）：355-368.

作者簡介：張帥兵（2001—），男，漢族，河南周口人，本科在讀，研究方向：機(jī)器視覺。