李靖宇， 沈丹峰， 王 玉， 李耀杰

(西安工程大學(xué) 機(jī)電工程學(xué)院， 陜西 西安 710600)

紡織生產(chǎn)中多道工序都存在筒子紗的使用，比如絡(luò)筒、整經(jīng)和織布。采用機(jī)械手+AGV模式的自動(dòng)運(yùn)紗車進(jìn)行筒子紗的上下機(jī)和搬運(yùn)，能夠降低勞動(dòng)用工。課題組以無梭織機(jī)車間緯紗筒子的自動(dòng)更換為背景，研究緯紗架上的紗筒采用機(jī)械手更換的方向。滿筒紗從運(yùn)輸車輛裝載到緯紗架或空筒紗管從緯紗架卸載到運(yùn)輸車輛是筒子紗搬運(yùn)的2個(gè)過程。筒子紗的自動(dòng)搬運(yùn)涉及到的關(guān)鍵技術(shù)是筒子紗的視覺檢測(cè)。圖像紗筒的邊緣信息是紗筒的基本特征，通過邊緣信息的提取，可以判別紗筒的大小與朝向，從而驅(qū)動(dòng)機(jī)械手完成紗筒抓取工作。圖像邊緣保留濾波算法主要有高斯雙邊濾波和均值遷移濾波，該方法本質(zhì)上是一種基于非參數(shù)概率密度梯度估計(jì)的迭代算法，在統(tǒng)計(jì)的特征空間內(nèi)實(shí)現(xiàn)了邊緣細(xì)節(jié)的平滑。

課題組采用改進(jìn)的均值遷移濾波方法完成筒子紗邊緣信息檢測(cè)。對(duì)于均值遷移(mean-shift, MS)濾波算法，林俊杰等[1]將ANBF算法嵌入到了均值遷移算法中，提高了MS算法去除噪點(diǎn)的效率。張文忠等[2]在均值遷移的框架下結(jié)合卡爾曼濾波器，即使目標(biāo)物被遮擋，仍可以穩(wěn)定地識(shí)別追蹤。溫宗周等[3]提出了一種改進(jìn)粒子濾波與均值遷移特征融合的目標(biāo)追蹤算法，在目標(biāo)移動(dòng)過程中受到光照或相似顏色的影響時(shí)，跟蹤的效果最佳。張曉磊等[4]基于均值漂移與空間信息的導(dǎo)向引入目標(biāo)函數(shù)，改善對(duì)圖像去噪能力的魯棒性，提高了分割精度。宋驪平等[5]提出了一種基于均值漂移和雙層結(jié)構(gòu)模型為群目標(biāo)的假設(shè)密度濾波算法，解決了群目標(biāo)合并、交叉或分裂前后數(shù)目存在的漏估現(xiàn)象。王文勝等[6]設(shè)計(jì)了一種分塊加權(quán)模板改進(jìn)頻率的檢測(cè)算法，提高了紗籠桿的自動(dòng)化的檢測(cè)效率。金守峰等[7]將對(duì)抗式神經(jīng)網(wǎng)絡(luò)將筒子紗的數(shù)據(jù)擴(kuò)充，采用訓(xùn)練多次的神經(jīng)網(wǎng)絡(luò)定位筒子紗，可以實(shí)現(xiàn)多個(gè)筒子紗的抓取工作。張新建等[8]設(shè)計(jì)了基于機(jī)器視覺的筒子紗密度檢測(cè)系統(tǒng)。鄭軍等[9]開發(fā)了分布式筒子紗自動(dòng)收集與輸送系統(tǒng)。劉秀平等[10]和范狄等[11]針對(duì)不同位姿的工件，提出了面向裝配機(jī)器人的識(shí)別和定位方法。Huang等[12]針對(duì)遙感高光譜圖像，采用自適應(yīng)均值遷移算法對(duì)圖像進(jìn)行區(qū)域分割和濾波，每個(gè)樣本點(diǎn)在基于圖像空間位置鄰域的異質(zhì)性自適應(yīng)估計(jì)。Zhang等[13]提出了迭代滾動(dòng)引導(dǎo)濾波器，在保持高對(duì)比度邊緣的同時(shí)，選擇性的過濾小尺度細(xì)節(jié)。Elad等[14]提出整合RGF和SIR的思路，并稱之為交替引導(dǎo)濾波，能夠有效地消除小尺度細(xì)節(jié)，并保留圖像中的重要邊界。He等[15]系統(tǒng)地給出了引導(dǎo)濾波的定義、快速實(shí)現(xiàn)方法和多種應(yīng)用案例，與之前各種濾波器相比，引導(dǎo)濾波建立在離散信號(hào)的局部線性假設(shè)之上，濾波結(jié)果綜合了引導(dǎo)圖像和輸入圖像的結(jié)構(gòu)特點(diǎn)。

本研究針對(duì)的是紡織廠中的筒子紗識(shí)別，由于受到環(huán)境和紗線紋理等影響導(dǎo)致圖像易產(chǎn)生噪聲，因此傳統(tǒng)的方法對(duì)筒子紗的識(shí)別效果并不理想。課題組通過基于均值遷移濾波算法與邊緣檢測(cè)方法的結(jié)合，使得圖像降噪同時(shí)保留筒子紗的輪廓，并且得到筒子紗的外接輪廓與質(zhì)心，利用橫縱比的計(jì)算可對(duì)筒子紗的放置狀態(tài)做出判斷。課題組提出的組合方法雖在復(fù)雜多變的場(chǎng)合尚有一定的局限性，但在常見的環(huán)境中對(duì)于目標(biāo)的識(shí)別檢測(cè)具有良好的效果。

1 圖像采集

筒子紗的圖像采集系統(tǒng)，包括CMOS工業(yè)相機(jī)、LED光源、待測(cè)的筒子紗和PC機(jī)。其中工業(yè)相機(jī)的型號(hào)為MER-500-14GM，機(jī)械尺寸為29 mm×29 mm×29 mm，分辨率為(2 592×1 944) ppi，幀率為14幀/s，像素尺寸為2.2 μm×2.2 μm，鏡頭接口為C口，觸發(fā)模式為軟件觸發(fā)，同時(shí)兼容opencv調(diào)用相機(jī)。相機(jī)和LED光源安裝在手眼一體抓紗機(jī)械手的上端，隨著機(jī)械手一起移動(dòng)。抓紗機(jī)械手安裝在筒子紗運(yùn)輸車輛上，在采集筒子紗的圖像信息時(shí)，采用單目成像。圖像質(zhì)量主要由抓紗機(jī)械手和紗筒兩者的相對(duì)關(guān)系來決定。根據(jù)兩者不同的相互位置和運(yùn)動(dòng)情況，可構(gòu)成不同的成像結(jié)果，圖像采集系統(tǒng)如圖1所示。

圖1 圖像采集系統(tǒng)示意圖Figure 1 Schematic diagram of image collection system

2 圖像處理

課題組針對(duì)單一目標(biāo)筒子紗的識(shí)別檢測(cè)流程如圖2所示。

圖2 筒子紗的識(shí)別檢測(cè)流程圖Figure 2 Flow chart of cheese identification and detection

首先對(duì)輸入的源圖像進(jìn)行銳化處理，增強(qiáng)筒子紗的邊緣細(xì)節(jié)，接著均值遷移濾波器實(shí)現(xiàn)去噪，Canny邊緣檢測(cè)檢驗(yàn)去噪效果和邊緣等信息是否丟失，再通過目標(biāo)的外接矩形找出筒子紗；這時(shí)若圖像僅存在1個(gè)矩形且為筒子紗輪廓的最小外接矩形，則繼續(xù)幾何矩計(jì)算輪廓中心和橫縱比過濾，找到筒子紗的質(zhì)心并判斷筒子紗的擺放姿態(tài)。若存在多個(gè)矩形或不是筒子紗輪廓的最小外接矩形，則要修改均值遷移濾波器pyrMeanShiftFiltering中的參數(shù)Rsp(色彩域半徑)和Rsr(空間域半徑)，直至得到單一且準(zhǔn)確的目標(biāo)。

2.1 圖像銳化

圖像銳化是利用擴(kuò)大高頻分量來降低圖像的模糊程度，加強(qiáng)圖像輪廓和邊緣細(xì)節(jié)信息?；叶确床钤矫黠@，越易于后期對(duì)目標(biāo)的識(shí)別檢測(cè)。圖像銳化的本質(zhì)是原圖權(quán)重像素與拉普拉斯濾波相結(jié)合輸出效果。拉普拉斯算子是二次線性微分算子，具有旋轉(zhuǎn)不變性，能夠滿足在不同方向圖像邊緣的銳化要求，其獲得的邊界比較細(xì)，包含較多的細(xì)節(jié)信息。圖像銳化的Laplacian公式為：

(1)

式中：i,j分別為圖像中的像素點(diǎn)。

由式(1)可以看出，Laplacian算子是4倍中心元素值與其鄰域值和之差的絕對(duì)值，常用的3種Laplacian算子模板：

在圖像的預(yù)處理階段，為了提升銳化的效果，同樣可以脫離線性微分計(jì)算的規(guī)則，在原有的算子基礎(chǔ)上修改模板系數(shù)，得到適合的Laplacian變形算子。

2.2 參數(shù)可調(diào)的均值遷移濾波算法

對(duì)于一定數(shù)量的像素點(diǎn)樣本，任選其中一個(gè)樣本，以該樣本為中心點(diǎn)劃定一個(gè)圓形區(qū)域，求取圓形區(qū)域中樣本密度最大處的點(diǎn)，即像素點(diǎn)的質(zhì)心。再以該質(zhì)心點(diǎn)為中心執(zhí)行迭代過程，直到最終收斂。在圖像開窗操作的時(shí)候，同時(shí)篩選在空間范圍分布的像素點(diǎn)，符合閾值要求的像素點(diǎn)參與迭代計(jì)算，基于不斷更新的均值位置遷移直到不再變化，且設(shè)置特定的遷移次數(shù)作為停止條件，最終的RGB均值將賦值給中心位置。如圖3(a)到3(b)，圓心遷移至樣本區(qū)域的質(zhì)心，此過程完成了一次迭代運(yùn)算，獲得了新的中心位置；圖3(c)到3(d)，完成了整個(gè)迭代過程，此時(shí)找的中心位置到達(dá)最終位置，即該圖像中密度最大處的點(diǎn)。

圖3 空間域像素點(diǎn)均值遷移的迭代過程Figure 3 Iterative process of pixel mean migration in spatial domain

參數(shù)可調(diào)的均值遷移濾波算法的執(zhí)行過程:

1) 在原圖像上任取一點(diǎn)A0為圓心，構(gòu)建色彩域半徑為Rsr和空間域半徑為Rsp的球形空間，色彩域和空間域的參數(shù)分別為RGB三通道和x,y坐標(biāo)取值，其中空間域的范圍是圖像的分辨率大小，色彩域的范圍是在0～255。

2) 在1)中構(gòu)建的迭代空間中，計(jì)算篩選后的像素點(diǎn)相對(duì)于中心點(diǎn)的色彩向量之和，迭代空間的中心點(diǎn)移動(dòng)到該向量的終點(diǎn)，并再次計(jì)算所有新樣本點(diǎn)的向量之和，如此迭代，在最后一個(gè)樣本空間內(nèi)求得向量和的終點(diǎn)即該空間球體的中心點(diǎn)An，迭代結(jié)束。

3) 不斷更新圖像上初始中心點(diǎn)A0的色彩值為本輪迭代的終點(diǎn)An的色彩值，迭代過程形成了一個(gè)點(diǎn)的色彩均值漂移。對(duì)于輸入圖像上其他像素點(diǎn)，重復(fù)執(zhí)行1)、2)步驟覆蓋所有點(diǎn)位后，均值遷移色彩濾波完成。

4) Canny邊緣檢測(cè)計(jì)算圖像梯度并求出圖像邊緣的幅值與方向，再利用圖像邊緣的細(xì)化和雙閾值邊緣處理，輸出二值化圖像。

5) 通過輪廓外接矩形標(biāo)記筒子紗，如果形成單一矩形則濾波算法完成；否則，修改參數(shù)Rsp和Rsr，返回1)。

在這個(gè)過程中，Rsp和Rsr參數(shù)值影響紗筒數(shù)目的準(zhǔn)確性。由于這種方法是基于非參數(shù)概率密度梯度估計(jì)，并沒有一個(gè)設(shè)置準(zhǔn)則。為了獲得合適的Rsp和Rsr參數(shù)值，以達(dá)到準(zhǔn)確檢測(cè)紗筒數(shù)目的目的。通過多次實(shí)驗(yàn)，對(duì)不同灰度圖像手動(dòng)調(diào)整Rsp和Rsr，發(fā)現(xiàn)最佳的Rsp和Rsr參數(shù)與整幅圖像RGB三通道灰度均值之和的均值MRGB(Mean RGB)相關(guān)，選取MRGB為[50,200]對(duì)應(yīng)參數(shù)的效果圖，通過MRGB與參數(shù)的對(duì)比做出實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果如表1所示。

表1 不同MRGB對(duì)比下Rsp和Rsr參數(shù)的參考值

通過最小二乘法將表1的數(shù)據(jù)擬合成曲線，并推導(dǎo)出MRGB與Rsp和Rsr參數(shù)的擬合曲線函數(shù)。

圖4中MRGB與Rsp參數(shù)的擬合曲線近似為一條直線，即擬合曲線函數(shù)為

yp=0.2xm-4.5。

(2)

同樣圖5推出MRGB與Rsr參數(shù)的關(guān)系式為

(3)

式中xm為橫坐標(biāo)。

圖4 MRGB與Rsp參數(shù)值擬合曲線Figure 4 Fitting curve of MRGB and Rsp parameter values

圖5 MRGB與Rsr參數(shù)值擬合曲線Figure 5 Fitting curve of MRGB and Rsr parameter value

運(yùn)用表1所列出的數(shù)據(jù)和擬合曲線函數(shù)作為參考，自適應(yīng)調(diào)整Rsp與Rsr的參數(shù)值，減少流程中循環(huán)次數(shù)，提高方案的執(zhí)行效率。

2.3 幾何矩計(jì)算中心位置與橫縱比過濾

幾何矩可以計(jì)算筒子紗的中心位置。圖像所計(jì)算出的矩集表示的是圖像信息的總體特征，同樣包含大量圖像形狀的幾何特征信息，例如尺寸、方向和位置等。圖像中的幾何矩集包括中心矩、歸一化矩和空間矩。幾何矩具有良好的尺度和方位不變性，零階矩和一階矩計(jì)算圖像中某個(gè)目標(biāo)的重心，二階矩則是計(jì)算目標(biāo)的方向。對(duì)于二值化圖像的邊緣細(xì)節(jié)等信息，通過計(jì)算圖像的幾何矩與中心位置可以算出圖像的中心矩和Hu矩。OpenCV中利用API函數(shù)moments便可一次得出中心矩、歸一化矩和空間矩3種矩。

ic=R10/R00;jc=R01/R00。

(4)

式中：R00是零階矩；R10,R01是一階矩；ic和jc是圖像的重心坐標(biāo)，i+j=n稱為n階矩。

當(dāng)外部有噪聲干擾時(shí)，該方法的優(yōu)點(diǎn)是對(duì)噪聲不敏感，計(jì)算出的質(zhì)心不會(huì)有太大的偏離。

筒子紗形狀方向?yàn)?

(5)

通過外接輪廓的計(jì)算得到最小與最大外接輪廓的寬和高，由此可以判斷筒子紗的放置狀態(tài)，橫縱比過濾的公式為

(6)

式中：w為外接輪廓的寬；h為外接輪廓的高。

當(dāng)rratio>0.9時(shí)，圖像識(shí)別的形狀近似為圓形，筒子紗的姿態(tài)為豎直放置；當(dāng)rratio<0.5時(shí)，圖像識(shí)別的形狀近似為矩形，即筒子紗的姿態(tài)即為水平放置。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中算法運(yùn)行環(huán)境為Windows 10和8 GB RAM內(nèi)存的PC機(jī)，使用intel(R) Core(TM)i7-8750H CPU@2.20HZ的處理器，在VS2015平臺(tái)上選用Opencv開源圖像處理數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)分為2部分：①對(duì)單一目標(biāo)的筒子紗進(jìn)行識(shí)別，按照流程圖中步驟得出實(shí)驗(yàn)結(jié)果，同時(shí)將結(jié)果對(duì)比其他算法；②對(duì)多個(gè)紗筒進(jìn)行識(shí)別，不同數(shù)量的目標(biāo)對(duì)應(yīng)不同數(shù)量的外接矩形，并做多組實(shí)驗(yàn)，得出實(shí)驗(yàn)的準(zhǔn)確率。

3.1 單一筒子紗為目標(biāo)的結(jié)果分析

首先是對(duì)于單一的筒子紗的識(shí)別，以實(shí)際紡織廠中的筒子紗為研究對(duì)象，結(jié)果如圖6所示。圖6(a)為工業(yè)相機(jī)拍到的筒子紗，經(jīng)過圖像銳化處理得到圖6(b)，圖6(c)為Canny邊緣檢測(cè)的結(jié)果，可以清楚的看到圖像中的噪聲。圖6(d)～6(f)為改進(jìn)算法結(jié)果，圖6(g)～6(k)為均值濾波算法結(jié)果，2種方法均基于圖像的銳化處理。

圖6 單一目標(biāo)筒子紗的識(shí)別結(jié)果Figure 6 Recognition result of single target cheese

從圖6可看出：圖6(e)中外接矩形數(shù)目只有一個(gè)，黑色的點(diǎn)為外接輪廓的質(zhì)心；圖6(f)的Canny邊緣檢測(cè)中消除了噪聲，筒子紗的邊緣細(xì)節(jié)保留完整。圖6(h)與圖6(i)中的噪聲明顯產(chǎn)生了多個(gè)矩形，并且邊緣部分存在缺失。對(duì)比可以得出，課題組提出的均值遷移濾波算法具有良好的去噪和邊緣保留效果，得到的外接輪廓確定中心位置，且準(zhǔn)確地完成了筒子紗的識(shí)別檢測(cè)。

3.2 多個(gè)紗筒為目標(biāo)的結(jié)果分析

均值遷移濾波算法同樣可以實(shí)現(xiàn)對(duì)于多目標(biāo)的識(shí)別。以紗筒為研究對(duì)象，設(shè)置需要識(shí)別的外接矩形數(shù)目，其他采用與單一目標(biāo)相同的流程步驟，結(jié)果如圖7所示。

圖7 多目標(biāo)紗筒的識(shí)別結(jié)果Figure 7 Recognition result of multi-target yarn cheese

圖7(a)是將相機(jī)拍攝角度位于垂直放置紗筒的一側(cè)，經(jīng)過一系列流程算法的處理，得到圖7(d)。根據(jù)橫縱比的過濾，可以看出不同放置狀態(tài)的紗筒被準(zhǔn)確地識(shí)別，同時(shí)運(yùn)用不同顏色的外接輪廓矩形，其中淺色表示水平放置，深色為垂直放置，由此可以判斷紗筒的放置狀態(tài)。對(duì)于多目標(biāo)的識(shí)別檢測(cè)，圖7(e)的Canny的邊緣檢測(cè)結(jié)果顯示去噪效果良好且邊緣沒有缺失。

為了驗(yàn)證改進(jìn)算法的識(shí)別效率，選取20個(gè)紗筒為檢測(cè)樣本進(jìn)行10組實(shí)驗(yàn)，并且保證紗筒水平與垂直狀態(tài)隨機(jī)擺放，實(shí)驗(yàn)結(jié)果如表2所示。檢測(cè)目標(biāo)矩形準(zhǔn)確率公式為：

檢測(cè)準(zhǔn)確率

該實(shí)驗(yàn)選取的圖像背景為紗筒運(yùn)輸車鍍鋅底盤和織布車間的水磨石地面。這2種背景顏色與紗筒紋理較為接近，從10組實(shí)驗(yàn)的準(zhǔn)確率數(shù)據(jù)可以得出改進(jìn)算法在復(fù)雜多變的環(huán)境中對(duì)多個(gè)目標(biāo)的識(shí)別仍存在一定的誤差。10組實(shí)驗(yàn)的平均準(zhǔn)確率達(dá)到了93.8%，證明改進(jìn)算法仍具有較高的識(shí)別效率，可以滿足多數(shù)情況下對(duì)筒子紗或紗筒的識(shí)別檢測(cè)。

4 結(jié)語

為了滿足對(duì)筒子紗的精確識(shí)別檢測(cè)，課題組提出了一套基于參數(shù)可調(diào)的均值遷移濾波算法的流程設(shè)計(jì)。

1) 通過獲取圖像的MRGB，自適應(yīng)修改均值遷移濾波算法的Rsp與Rsr參數(shù)值，提高了方案的執(zhí)行效率，確保圖像中筒子紗識(shí)別檢測(cè)的魯棒性。

2) 采用幾何矩計(jì)算外接輪廓的中心位置與橫縱比的過濾可以實(shí)現(xiàn)質(zhì)心定位和放置狀態(tài)的判別。

3) 改進(jìn)算法在復(fù)雜背景下的多紗筒識(shí)別準(zhǔn)確率達(dá)到了93.8%，表明課題組提出的方案具有較高的準(zhǔn)確性。在接下來的工作中，可以結(jié)合相機(jī)標(biāo)定得到筒子紗的質(zhì)心坐標(biāo)，利用機(jī)械手實(shí)現(xiàn)筒子紗的抓取工作。