金鵬翔,劉宜勝

(浙江理工大學(xué)機(jī)械工程學(xué)院,杭州 310018)

0 引 言

智能制造是全球制造業(yè)發(fā)展的新趨勢(shì),整經(jīng)作為紡織產(chǎn)業(yè)鏈中的一個(gè)勞動(dòng)密集型加工工序,在勞動(dòng)力成本日益增加的形勢(shì)下迫切需要提升智能化水平[1]。筒子紗尋線是整經(jīng)生產(chǎn)的重要準(zhǔn)備環(huán)節(jié),部分工廠還延續(xù)著傳統(tǒng)的尋線方式,通過(guò)人工操作尋找整經(jīng)筒子架上各個(gè)筒子紗的線頭,將線頭牽引至整經(jīng)機(jī)車(chē)頭后,再進(jìn)行后續(xù)的紡紗工作。但該方式費(fèi)時(shí)費(fèi)力、人力成本高,因此筒子紗尋線環(huán)節(jié)急需智能化改造。目前國(guó)內(nèi)外應(yīng)用的自動(dòng)化程度較高的尋線頭方法通常依托于機(jī)械裝置,利用吸嘴產(chǎn)生負(fù)壓,通過(guò)特定裝置使筒子紗旋轉(zhuǎn),通過(guò)無(wú)差別吸取,將筒子紗的線頭吸入整經(jīng)機(jī)中[2-5]。該方法相比傳統(tǒng)的人工尋線提高了生產(chǎn)效率,但需要額外的檢測(cè)傳感器實(shí)時(shí)檢測(cè)紗線的吸取情況,存在工作效率低、裝置安裝麻煩等缺點(diǎn),長(zhǎng)時(shí)間的工作還會(huì)提高機(jī)器的維護(hù)成本。

基于機(jī)器視覺(jué)的檢測(cè)設(shè)備速度快、精度高,且可實(shí)現(xiàn)無(wú)接觸測(cè)量、定位,具有避免污染等優(yōu)點(diǎn),被廣泛應(yīng)用于紡織領(lǐng)域。目前,機(jī)器視覺(jué)大多應(yīng)用于單根紗線的處理。例如,Li等[6]通過(guò)機(jī)器視覺(jué)實(shí)現(xiàn)了紗線直徑的靈活檢測(cè);Ji等[7]設(shè)計(jì)了一種基于機(jī)器視覺(jué)和張力觀測(cè)器的紗線張力動(dòng)態(tài)檢測(cè)系統(tǒng);周其洪等[8]將機(jī)器視覺(jué)應(yīng)用于細(xì)紗接頭機(jī)器人的紗線斷頭定位,利用優(yōu)化的霍夫直線檢測(cè)算法可以準(zhǔn)確提取所需紗線的位置信息;屠佳佳等[9]用圖像處理代替檢測(cè)傳感器的方式,將其應(yīng)用于圓緯機(jī)自動(dòng)上下料系統(tǒng)中,解決了紗線吸取狀態(tài)的檢測(cè)問(wèn)題。由于紗線之間相似度高,沒(méi)有能有效區(qū)分線頭與其他紗線的圖像分割方法,因此對(duì)筒子紗上的紗線進(jìn)行圖像處理的應(yīng)用較少。若利用機(jī)器視覺(jué)可以準(zhǔn)確找出線頭,再針對(duì)性吸取線頭,那么可以大幅提高工作效率,而且相較于利用機(jī)械裝置進(jìn)行廣泛尋線,安裝和維護(hù)更加方便。因此,設(shè)計(jì)一種應(yīng)用于筒子紗上的線頭識(shí)別方法非常必要。

為了提高整經(jīng)工序中吸取線頭的效率和精度,降低裝置的安裝和維護(hù)成本,本文提出了一種基于機(jī)器視覺(jué)的筒子紗線頭識(shí)別方法。利用圖像采集裝置采集筒子紗圖像,通過(guò)圖像處理對(duì)筒子紗圖像上的紗線進(jìn)行分割,提取出線頭區(qū)域圖像。使用圖像采集裝置可代替筒子紗旋轉(zhuǎn)吸線裝置,針對(duì)性吸取線頭可減少吸嘴的工作時(shí)間,為整經(jīng)工序機(jī)械結(jié)構(gòu)的輕量化設(shè)計(jì)與優(yōu)化提供參考。

1 線頭識(shí)別裝置及其工作流程

筒子架是整經(jīng)過(guò)程中用于安置筒子的支架,按有無(wú)預(yù)備筒子可以分為復(fù)式和單式兩種。單式筒子架更換筒子時(shí)需停機(jī),將新筒子的線頭與被摘斷的紗尾連接;復(fù)式筒子架上備有預(yù)備筒子,工作筒子的線尾與預(yù)備筒子的線頭打結(jié)相連,工作筒子的紗線用完后,預(yù)備筒子直接進(jìn)入工作。不論單式還是復(fù)式筒子架,均存在大量的線頭尋找及線頭線尾對(duì)接工作。

為做好對(duì)接的準(zhǔn)備工作,準(zhǔn)確識(shí)別筒子紗上線頭,本文設(shè)計(jì)了線頭識(shí)別裝置,其示意圖如圖1所示。由于所需識(shí)別的筒子紗位于筒子架上,選擇筒子紗旋轉(zhuǎn)的方式需額外設(shè)置抓取裝置,且抓落筒子紗的過(guò)程中可能導(dǎo)致線頭的移動(dòng),不利于后續(xù)線頭吸取工作,因此選擇固定筒子紗相機(jī)旋轉(zhuǎn)的方式進(jìn)行圖像采集。在該裝置中,相機(jī)與筒子紗的距離以及相機(jī)焦距固定,相機(jī)光軸始終指向筒子紗中心;為方便筒子紗圖像采集,在與相機(jī)相對(duì)位置放置一黑色背景板。

圖1 線頭識(shí)別裝置示意圖

在圖像采集過(guò)程中,旋轉(zhuǎn)軸帶動(dòng)相機(jī)和背景板轉(zhuǎn)動(dòng),繞筒子紗拍攝側(cè)面靜態(tài)圖像,對(duì)采集圖像的筒子紗區(qū)域進(jìn)行圖像校正,通過(guò)線頭識(shí)別方法提取紗線,并計(jì)算其曲折度判斷是否滿足線頭條件,最后輸出線頭的具體位置。筒子紗線頭識(shí)別的整體流程如圖2所示。

圖2 筒子紗線頭識(shí)別方法的整體流程

2 筒子紗圖像校正

通過(guò)線頭識(shí)別裝置采集的筒子紗圖像如圖3所示,可以發(fā)現(xiàn):筒子紗圖像產(chǎn)生了畸變,越是遠(yuǎn)離圖像中央畸變程度越大。因此,為能正確找到線頭及線頭的精確位置,首先對(duì)采集圖像畸變校正。

圖3 裝置采集的原始圖像示例

圖像的成像過(guò)程是將三維坐標(biāo)變換到二維坐標(biāo)的投影過(guò)程,常用的投影模型有正交投影和透視投影,本文采用透視投影理論描述成像過(guò)程。透視投影是從投影中心將物體投射到另一投影面的圖形,所有的投影線通過(guò)無(wú)限小的光圈進(jìn)入相機(jī)[10],但實(shí)際成像時(shí),相機(jī)采集的圖像存在一定的非線性失真。采集筒子紗圖像時(shí),曲面上的失真更為嚴(yán)重,存在橫向變形和軸向變形(沿紗筒方向),軸向的變形使水平直線發(fā)生彎曲,橫向的變形使遠(yuǎn)離成像中心的直線縮短,從而加劇軸向的變形,影響對(duì)線頭的特征提取,因此在尋線前需建立模型校正畸變。柱形圖像的校正通常采用重映射的方式建立坐標(biāo)對(duì)應(yīng)關(guān)系,將每個(gè)坐標(biāo)的像素映射到正確的坐標(biāo)位置[11-12],運(yùn)用最近鄰插值計(jì)算像素值,避免空白像素的產(chǎn)生[13]。但逐個(gè)像素進(jìn)行坐標(biāo)映射的方式效率很低,在處理像素值較大的圖像時(shí),算法運(yùn)行時(shí)間過(guò)長(zhǎng),不利于進(jìn)行圖像處理。為提高校正速度,可使用區(qū)域分割逐個(gè)還原的方法[14-15],將圖像均分為數(shù)個(gè)子區(qū)域,對(duì)每個(gè)區(qū)域進(jìn)行透視變換校正,但該方法沒(méi)有獲取每個(gè)坐標(biāo)的真實(shí)位置,只適用于畸變程度較小的圖像校正,無(wú)法正確還原畸變較大的圖像,影響對(duì)圖像特征的提取。為提高校正效率,同時(shí)保證一定的精度,本文根據(jù)透視投影和區(qū)域還原的方法提出了一種基于局部透視變換的筒子紗校正模型,可以更高效、準(zhǔn)確地還原筒子紗的側(cè)面展開(kāi)圖像。

2.1 筒子紗畸變模型建立與校正

筒子紗的透視示意圖如圖4所示,其中:O為相機(jī)位置,相機(jī)繞筒子紗旋轉(zhuǎn)的半徑為h=OOW,筒子紗半徑為r,XO1Y為相機(jī)成像面,XWYWZW為世界坐標(biāo)系。圖4中,筒子紗端面弧AC投影到成像面后,由直線畸變?yōu)榍€A′C′。為了校正畸變,首先需對(duì)相機(jī)進(jìn)行標(biāo)定,計(jì)算相機(jī)的內(nèi)參和外參。取世界坐標(biāo)系下點(diǎn)A(XW,YW,ZW),則與像素坐標(biāo)系中對(duì)應(yīng)的投影坐標(biāo)(u,v)的關(guān)系可由以下方程變換得出:

圖4 筒子紗透視模型示意圖

(1)

(2)

其中:M1為相機(jī)的內(nèi)部參數(shù)矩陣,(u0,v0)為圖像坐標(biāo)系中的坐標(biāo)原點(diǎn),f/dX和f/dY為相機(jī)在X、Y軸上的尺度因子;M2為相機(jī)的外部參數(shù)矩陣,由相機(jī)與世界坐標(biāo)系的相對(duì)位置決定。

圖5為筒子紗XOZ向坐標(biāo)對(duì)應(yīng)圖,其中:A、C為投影線與柱體相切點(diǎn),物距d=OD1,圓柱面的有效視野為2l=AC。本文中相機(jī)與世界坐標(biāo)系只存在一個(gè)z軸方向的平移,平移量為:

圖5 XOZ向坐標(biāo)對(duì)應(yīng)圖

(3)

因此,M2為:

(4)

為校正筒子紗軸向畸變,應(yīng)先將筒子紗上的點(diǎn)投影到投影切面ZW=-r處,再進(jìn)行坐標(biāo)變換,便可得到校正后的理想筒子紗圖像。即:

周期分割后，每個(gè)脈搏波持續(xù)時(shí)間較短，可視單個(gè)脈搏波的基線漂移是沿一條直線產(chǎn)生的。在單個(gè)脈搏波信號(hào)中，本文令基線漂移方程為y(n)=an+b，n為樣本編號(hào)；a、b表示系數(shù)，其可通過(guò)該脈搏波的A點(diǎn)和E點(diǎn)求出。令A(yù)點(diǎn)和E點(diǎn)坐標(biāo)分別為(x1,y1)和，則基線漂移方程為。再令單個(gè)脈搏波信號(hào)序列為Pr(n)，將Pr(n)減去y(n)的對(duì)應(yīng)項(xiàng)，得到基線校準(zhǔn)后的序列Po(n)，如式（3）所示。式中i=0,1,···,N-1，N表示當(dāng)前脈搏波的樣本數(shù)。

(5)

在柱體圖像中,遠(yuǎn)離圖像中央的橫向部分會(huì)逐漸減小,為校正橫向變形,需得到正確的橫向坐標(biāo)映射關(guān)系。如圖5所示,A點(diǎn)為筒子紗與投影線相切點(diǎn),A1為對(duì)應(yīng)的投影切面處的投影點(diǎn),切面處坐標(biāo)為A點(diǎn)在空間坐標(biāo)系中的XW,最后投影至圖像坐標(biāo)系的A′處。在投影過(guò)程中,A點(diǎn)與圖像中心位置的距離應(yīng)為弧AD1的長(zhǎng)度。為校正圖像,應(yīng)計(jì)算A點(diǎn)在切面處的真實(shí)坐標(biāo),即弧AD1的長(zhǎng)度。設(shè)點(diǎn)A與相機(jī)光軸的夾角為θ,則:

(6)

根據(jù)弧長(zhǎng)公式得出:

(7)

由式(7)可求出A點(diǎn)在投影切面與圖像坐標(biāo)系下的真實(shí)投影AR與AR′點(diǎn)。將式(7)代入式(5)中,得到筒子紗上任意一點(diǎn)與投影點(diǎn)的映射關(guān)系為:

(8)

由式(8)可以求出校正后筒子紗圖像中所有點(diǎn)的坐標(biāo),將像素映射到對(duì)應(yīng)的真實(shí)坐標(biāo)處可獲得筒子紗無(wú)畸變的側(cè)面展開(kāi)圖像。

2.2 局部透視變換

由式(8)可求出圖像中每個(gè)點(diǎn)的真實(shí)坐標(biāo)值,但每個(gè)點(diǎn)都需進(jìn)行一次矩陣計(jì)算,耗時(shí)較長(zhǎng),不適用于對(duì)圖像像素要求高的線頭識(shí)別中。為了提高圖像校正的效率,根據(jù)區(qū)域分割的方法,本文提出一種局部透視變換校正的方法。透視變換是指單一平面內(nèi)的所有點(diǎn)投影到另一個(gè)平面,只需做一次矩陣變換和投影的空間坐標(biāo)變換,可以將側(cè)視的圖像校正為正視圖,透視變換矩陣的參數(shù)由圖像中4個(gè)點(diǎn)的坐標(biāo)和相應(yīng)的實(shí)際坐標(biāo)得到[16]。

本文研究的筒子紗在圖像上的呈現(xiàn)為空間曲面,根據(jù)微分思想,可將曲面看作無(wú)數(shù)個(gè)平面的組合,利用透視變換將每個(gè)平面校正為正視圖,最后組合成完整的校正圖像。為實(shí)現(xiàn)局部透視變換,需對(duì)筒子紗圖像進(jìn)行區(qū)域分割。首先采用OTSU算法對(duì)圖像進(jìn)行閾值分割,得到筒子紗輪廓圖像,示例圖像如圖6所示,并選取輪廓圖區(qū)域內(nèi)的圖像作為ROI區(qū)域(圖像感興趣區(qū)域),對(duì)區(qū)域內(nèi)的圖像進(jìn)行校正。

圖6 筒子紗輪廓圖像示例

由于筒子紗圖像的左右邊界未產(chǎn)生彎曲變形,因此可將截取后的筒子紗輪廓豎向分割為n等分,然后將均分產(chǎn)生的直線分割為n等分,獲得了(n+1)×(n+1)個(gè)坐標(biāo)點(diǎn),以相鄰的4個(gè)坐標(biāo)點(diǎn)為角點(diǎn)組成一個(gè)子區(qū)域,組成如圖7所示的n×n個(gè)區(qū)域的圖像。通過(guò)坐標(biāo)映射矩陣獲得每個(gè)區(qū)域內(nèi)角點(diǎn)的真實(shí)坐標(biāo),利用局部透視變換得到校正后的平面,直線的均等分割使校正后的區(qū)域擁有一致的軸向長(zhǎng)度。由于橫向畸變的存在,遠(yuǎn)離中央的區(qū)域校正后橫向?qū)挾仍酱?。將校正后的各個(gè)平面進(jìn)行拼接,最終得到如圖8所示的筒子紗側(cè)面展開(kāi)圖。

圖7 筒子紗區(qū)域分割示意圖

圖8 側(cè)面展開(kāi)圖像示例

在插值方式均選擇雙線性插值的前提下,將校正方法應(yīng)用于大小為2000×1400像素的圖像時(shí),本文提出的局部透視變換校正與常見(jiàn)的柱面重映射校正方法的運(yùn)算時(shí)間見(jiàn)表1,從表1中可以看出,使用局部透視變換進(jìn)行校正時(shí),均分?jǐn)?shù)n和校正時(shí)間成正比例增長(zhǎng),但相較于逐個(gè)像素進(jìn)行映射的重映射校正速度均提升近30%。筒子紗圖像的均分?jǐn)?shù)n越小,校正時(shí)間越短,但過(guò)小的n會(huì)造成校正精度的下降,還原后的圖像不滿足線頭識(shí)別的要求,過(guò)大的n又使校正時(shí)間過(guò)長(zhǎng)。為了滿足圖像的精度要求并盡可能減少區(qū)域分割,本文經(jīng)過(guò)多次實(shí)驗(yàn),最終選取n=50作為區(qū)域分割數(shù)量。

表1 不同校正方法的運(yùn)算時(shí)間

3 線頭識(shí)別

3.1 筒子紗曲線部分提取

筒子紗的紗線具有一定的彈性,不受外力作用的線頭會(huì)自然地保持一定的彎曲狀態(tài),因此可以曲線為識(shí)別條件找出圖像中的線頭。首先提取每幅圖像中最有可能為線頭的部分,即含曲線最多的部分。

為能對(duì)目標(biāo)紗線進(jìn)行有效提取,使用限制對(duì)比度自適應(yīng)直方圖均衡化(Contrast limited adaptive histogram equalization, CLAHE)的方法增強(qiáng)圖像。增強(qiáng)后的圖像經(jīng)過(guò)OTSU閾值分割如圖9(a)所示。常見(jiàn)分割直線和曲線的方法為霍夫變換,但線頭部分除了一定的彎曲外,還可能存在直線部分,簡(jiǎn)單的霍夫變換無(wú)法實(shí)現(xiàn)對(duì)線頭的識(shí)別。因此,需要在避免線頭直線部分的干擾下,根據(jù)曲線特征提取目標(biāo)。

圖9 筒子紗線頭識(shí)別過(guò)程中的示例圖像

為能提取特征,首先對(duì)閾值分割后的圖像采用像素標(biāo)記法進(jìn)行連通域標(biāo)記,標(biāo)記的目的是將每根紗線作為一個(gè)連通區(qū)域。由于本文圖像內(nèi)的元素相似度高,為減少誤差,選擇4鄰域連通規(guī)則。連通區(qū)域的數(shù)量會(huì)影響線頭識(shí)別速度,因此首先對(duì)圖像中小面積區(qū)域進(jìn)行濾除,這些區(qū)域是由紗線與紗線交叉重疊產(chǎn)生,不是本文識(shí)別目標(biāo)。濾除后的示例圖像如圖9(b)所示,其剩余部分包含了線頭所在的曲線部分及直線噪聲。為濾除直線噪聲,采用概率霍夫變換對(duì)直線進(jìn)行檢測(cè),并將檢測(cè)出的直線部分像素置0,得到如圖9(c)所示的圖像。提取圖像中剩余像素最多的連通域,該連通域?yàn)閳D像中含曲線最多的區(qū)域,最終得到如圖9(d)所示的曲線圖像。

3.2 曲折度計(jì)算

根據(jù)上述曲線提取流程,可對(duì)每張筒子紗圖像進(jìn)行提取。為能確定提取的區(qū)域是否為線頭,需對(duì)該區(qū)域進(jìn)行曲折度計(jì)算,為方便計(jì)算,首先對(duì)連通域進(jìn)行骨架提取,提取示意圖如圖10所示。

圖10 連通域骨架提取示意圖

本文使用斜率鏈碼描述線頭曲折度[17-18],曲折度的計(jì)算過(guò)程示意圖如圖11所示。為計(jì)算曲線的曲折度,首先在曲線的周?chē)胖玫乳L(zhǎng)的直線段,規(guī)定曲線的其中一個(gè)端點(diǎn)為起點(diǎn),直線段一端放在原點(diǎn),另一端與曲線重合并作為下一直線段的起點(diǎn),遍歷整個(gè)曲線后生成一條與原始曲線相似,由連續(xù)直線段組成的曲線,這個(gè)過(guò)程可視為一個(gè)相同半徑的圓遍歷曲線。然后對(duì)相鄰直線段之間的斜率變化進(jìn)行計(jì)算,并將斜率變化歸一化到(-1,1)區(qū)間內(nèi),曲折度即為所有相鄰直線段的斜率變化的絕對(duì)值之和:

圖11 曲折度計(jì)算過(guò)程示意圖

(9)

其中:n為斜率鏈碼中的元素個(gè)數(shù),|ai|為鏈碼中元素的值。

3.3 實(shí)驗(yàn)分析

為驗(yàn)證本文識(shí)別筒子紗線頭方法的有效性,采用4000×3000像素的相機(jī)、5 mm焦距的鏡頭在物距d=220 mm的條件下對(duì)r=55 mm的筒子紗進(jìn)行圖像采集。

使用曲線提取方法對(duì)采集的16張筒子紗圖像進(jìn)行識(shí)別,含線頭圖像清晰地識(shí)別出線頭所在的位置。為濾除非線頭圖像提取的紗線區(qū)域,需設(shè)定曲折度閾值。以15個(gè)像素點(diǎn)為直線段長(zhǎng)度,分別計(jì)算提取區(qū)域的曲折度,計(jì)算結(jié)果如圖12所示,其中:圖12(a)為采集的線頭圖像的曲折度,圖12(b)為非線頭圖像的曲折度。

圖12 紗線曲折度計(jì)算結(jié)果

如圖12所示,線頭的起始位置在邊界,終止位置在圖像中央,且呈現(xiàn)一定的彎曲;而非線頭的起始和終止位置不定,這是因?yàn)槌钔馊喚€外,其余紗線均被外層紗線截?cái)?呈現(xiàn)不完整的通路。曲折度的值與視覺(jué)分析結(jié)果一致,非線頭的曲折度普遍低于1,線頭的曲折度在2附近浮動(dòng)。圖13為紗線識(shí)別后的曲折度折線圖。經(jīng)過(guò)多次實(shí)驗(yàn)并結(jié)合實(shí)際工況,將τ=1.2設(shè)為線頭識(shí)別閾值,當(dāng)識(shí)別圖像的曲折度大于閾值1.2時(shí),該曲線即為本文所需識(shí)別的線頭。

圖13 曲折度計(jì)算結(jié)果

4 結(jié) 語(yǔ)

為克服整經(jīng)工藝過(guò)程的筒子紗尋線環(huán)節(jié)人工和機(jī)器尋線工作效率低、裝置復(fù)雜等問(wèn)題,本文提出一種低成本、非接觸式的線頭識(shí)別方法。利用機(jī)器視覺(jué)實(shí)現(xiàn)對(duì)線頭的高效率、高精度識(shí)別和提取,結(jié)合透視投影理論,采用局部透視變換的方式校正筒子紗的側(cè)面展開(kāi)圖像,比傳統(tǒng)使用重映射進(jìn)行校正的方法速度提升了近30%?；诰€頭的彎曲特征,使用霍夫變換與連通域相結(jié)合的方式進(jìn)行曲線提取,解決了因線頭包含直線部分而無(wú)法直接進(jìn)行曲線提取的問(wèn)題;對(duì)提取的區(qū)域進(jìn)行曲折度計(jì)算,大于曲折度閾值的即為筒子紗線頭。

本文提出的基于機(jī)器視覺(jué)的線頭識(shí)別方法,可以更高效地實(shí)現(xiàn)筒子紗尋線,代替復(fù)雜的筒子紗旋轉(zhuǎn)裝置,減少吸嘴的工作范圍及時(shí)間,有助于整經(jīng)工序的節(jié)能降耗、機(jī)械結(jié)構(gòu)輕量化。