，

(東華大學(xué) 機(jī)械工程學(xué)院，上海 201620)

0 引言

隨著國內(nèi)外鞋面剪裁系統(tǒng)逐漸成為一系列具有智能化、自動(dòng)化、可視化的多功能數(shù)控集成系統(tǒng)。機(jī)器視覺代替人眼對目標(biāo)進(jìn)行識別愈發(fā)廣泛，部分剪裁切割機(jī)擁有專業(yè)的機(jī)器投影軟件對切割對象進(jìn)行定位切割，但由于其系統(tǒng)功能相對單一且有局限性，對于不同圖案印花鞋面不能進(jìn)行有針對性的輪廓剪裁。而多數(shù)制鞋廠還在利用人工剪裁和模具切割鞋面，造成人員浪費(fèi)且工作效率低。

針對以上問題，本文提出將機(jī)器視覺技術(shù)運(yùn)用于運(yùn)動(dòng)鞋面剪裁系統(tǒng)。利用HALCON圖像處理軟件平臺，將經(jīng)過一定圖像處理的標(biāo)準(zhǔn)印花鞋面圖像作為模板與實(shí)時(shí)拍攝得到的待剪裁鞋面圖像進(jìn)行圖像匹配，從而得到印花鞋面的剪裁輪廓信息。先對標(biāo)準(zhǔn)印花鞋面進(jìn)行圖像采集，再利用中值濾波方法對其進(jìn)行圖像去噪以減少成像設(shè)備與外部環(huán)境等噪聲干擾，進(jìn)行閾值分割得到二值圖像，利用連通區(qū)域面積篩選得到標(biāo)準(zhǔn)印花區(qū)域，再對印花區(qū)域圖像進(jìn)行Canny邊緣檢測得到標(biāo)準(zhǔn)印花輪廓作為特征空間建立帶有旋轉(zhuǎn)縮放的模板。對待剪裁印花鞋面進(jìn)行圖像采集，并同樣進(jìn)行中值濾波進(jìn)行圖像去噪，利用金字塔分層搜索策略以及Hausdorff距離作為相似性度量，尋找?guī)С叽缧螤钅０遄罴哑ヅ浞律渥儞Q得到待剪裁印花鞋面的剪裁輪廓信息，為接下來控制系統(tǒng)進(jìn)行印花鞋面剪裁提供剪裁信息。

1 系統(tǒng)總體設(shè)計(jì)

印花鞋面剪裁圖像處理系統(tǒng)包括圖像采集、圖像預(yù)處理、邊緣檢測、圖像匹配等部分，如圖1所示。本文印花鞋面剪裁圖像處理系統(tǒng)利用德國MVtec公司研發(fā)的HALCON機(jī)器視覺算法包實(shí)現(xiàn)，利用其集成開發(fā)環(huán)境與靈活的構(gòu)架可大大縮短圖像處理開發(fā)周期、且穩(wěn)定性高等特點(diǎn)。

圖1 印花鞋面剪裁圖像處理流程圖

2 印花鞋面圖像采集及預(yù)處理

2.1 圖像采集

圖像采集是圖像處理的第一步，是將數(shù)字圖像由彩色RGB圖像轉(zhuǎn)化為灰度圖像[1]，則得到的灰度圖像為:

f(x,y)=0.299R(x,y)+0.587G(x,y)+0.114B(x,y)

(1)

其中:R(x,y)、G(x,y)、B(x,y)分別為彩色圖像中各像素點(diǎn)紅、綠、藍(lán)的值。如圖2所示為采集得到的鞋面灰度圖像。

圖2 印花鞋面灰度圖像

2.2 圖像去噪

數(shù)字圖像常包含圖像噪聲，圖像噪聲會(huì)使圖像質(zhì)量下降，掩蓋圖像的重要信息。數(shù)字圖像在傳輸過程中常受到外部環(huán)境噪聲干擾等影響，圖像去噪可有效減少數(shù)字圖像中噪聲的影響。每幅圖像都包含某種程度的噪聲，其實(shí)噪聲可是看作是由多種原因造成的灰度值的隨機(jī)變化[2]，是一種平穩(wěn)的隨機(jī)過程[3]。

圖像去噪常用的方法有均值濾波、高斯濾波、鄰域平均法、中值濾波、小波去噪等。由于接下來要進(jìn)行邊緣檢測，需要在良好的去噪效果下保留比較完整的邊緣信息，所以本文采用中值濾波進(jìn)行圖像去噪處理。中值濾波在去噪的同時(shí)能保留更好的邊緣輪廓信息[4]。

中值濾波是一種非線性濾波技術(shù)，其基本原理是把數(shù)字圖像中每一像素點(diǎn)的灰度值設(shè)為該點(diǎn)的一個(gè)鄰域內(nèi)所有像素點(diǎn)灰度值的中值。通過使用隨機(jī)選擇算法，中值可以在線性時(shí)間內(nèi)算出來[5]。將鄰域灰度差值較大的像素改取為與像素值接近的值，從而消除孤立的噪聲點(diǎn)，對去除椒鹽噪聲非常有效，可以達(dá)到既平滑噪聲又保護(hù)圖像邊緣信息的目的。設(shè)原始圖像為f(x,y)，二維模板窗口為W，窗口中的坐標(biāo)為(i,j)，則經(jīng)中值濾波處理后的圖像為:

g(x,y)=Med

(2)

首先排列圖像中像素點(diǎn)強(qiáng)度的大小，再利用排序好的像素點(diǎn)的集合的中值作為二位模板窗口中間點(diǎn)的新值。一般利用像素點(diǎn)為奇數(shù)的窗口來計(jì)算圖像中值，若為偶數(shù)像素點(diǎn)窗口時(shí)，則取其中間兩點(diǎn)的平均值作為其像素點(diǎn)的中值。

在HALCON中實(shí)現(xiàn)中值濾波采用median_image算子。如圖3所示，中值濾波后的圖像有效去除了圖像噪聲，并保留了邊緣的銳利程度。

圖3 圖像去噪局部圖

2.3 印花圖形定位

在圖像進(jìn)行上述處理后，為了得到圖像中印花部分的信息，需要對濾波后的圖像進(jìn)行印花部分的定位，如圖4所示。本文印花圖形定位步驟如下：

1)將圖像進(jìn)行閾值分割。圖像分割就是提取圖像中與感興趣物體相對應(yīng)的那些區(qū)域，以一幅圖像作為輸入，返回一個(gè)或多個(gè)區(qū)域或亞像素輪廓作為輸出[6]。閾值分割是利用圖像的閾值進(jìn)行分割，利用閾值作為一個(gè)圖像像素灰度的臨界值，將圖像區(qū)分得到不同的區(qū)域。由于圖像像素灰度值是圖像自身的屬性，所以當(dāng)圖像中感興趣的物體所在的區(qū)域與圖像的背景灰度值差距較大時(shí)可以利用閾值分割以提取圖像中感興趣的區(qū)域。閾值分割方法計(jì)算量小、易實(shí)現(xiàn)，且簡化了圖像的復(fù)雜程度。在HALCON中采用bin_threshold算子實(shí)現(xiàn)。

2)提取連通區(qū)域。閾值分割后得到是多個(gè)區(qū)域，而圖像中感興趣的目標(biāo)一般為相互連通的像素集合。而為了獲得獨(dú)立的每一個(gè)區(qū)域，需采用connection算子計(jì)算分割后所得區(qū)域內(nèi)所包含的所有連通區(qū)域。如圖4(b)，對圖像進(jìn)行連通區(qū)域后，目標(biāo)區(qū)域與不相關(guān)的區(qū)域被區(qū)分開。

3)通過區(qū)域面積篩選得到相應(yīng)印花區(qū)域。其中面積計(jì)算采用area_center算子，篩選面積區(qū)域采用select_shape算子。

圖4 印花圖形定位

3 邊緣檢測

3.1 邊緣檢測基本方法

圖像邊緣是指其一定范圍內(nèi)像素灰度發(fā)生明顯變化的像素的集合，是圖像的最基本的特征之一。圖像邊緣往往對應(yīng)真實(shí)景物等目標(biāo)的邊緣，最能反映圖像中景物的特征，正如人類的視覺系統(tǒng)也是根據(jù)目標(biāo)邊緣識別的。邊緣也是位置的標(biāo)志，且圖像邊緣受到遮蔽、非線性光照等的影響很小，因此邊緣也是圖像匹配中的重要特征。

邊緣檢測則是達(dá)到標(biāo)識數(shù)字圖像亮度發(fā)生明顯變化的地方的目的，不僅可以大幅度減少數(shù)據(jù)量，且可以去除不必要的信息，并保留圖像的基本屬性。邊緣檢測的方法一般可分為兩種：圖像的一階微分方法和二階微分方法。

圖像的一階微分邊緣檢測方法是利用梯度來檢測局部特征的顯著變化，正如函數(shù)變化程度需用一階導(dǎo)數(shù)表示[7]。對于連續(xù)函數(shù)f(x,y)，其在點(diǎn)(x,y)處梯度定義為：

(3)

梯度是一個(gè)矢量，函數(shù)的梯度方向是導(dǎo)數(shù)取最大的方向，用θ(x,y)表示梯度方向?yàn)?

(4)

梯度θ(x,y)的幅度為:

(5)

圖像的二階微分邊緣檢測方法是利用圖像灰度的二階導(dǎo)數(shù)的零交叉點(diǎn)來精準(zhǔn)確定邊緣點(diǎn)位置，相當(dāng)于拉普拉斯算子過零。拉普拉斯值定義為:

(6)

但利用拉普拉斯算子進(jìn)行邊緣檢測呈各向同性，且對較細(xì)的線和孤立點(diǎn)檢測效果較好，但常出現(xiàn)雙像素邊緣。本文采用一階導(dǎo)數(shù)對圖像進(jìn)行邊緣提取。

3.2 Canny邊緣檢測

對于運(yùn)動(dòng)鞋面圖像有物體干擾紋理，需對信號先進(jìn)行平滑處理以抑制噪聲，可以通過圖像與平滑濾波進(jìn)行卷積實(shí)現(xiàn)，設(shè)平滑濾波脈沖為h(x,y)，則圖像平滑后的圖像為:

g(x,y)=f(x,y)?h(x,y)

(7)

后可利用一階導(dǎo)數(shù)對平滑后的圖像進(jìn)行邊緣提取，根據(jù)式(3)與式(7)得平滑后圖像的梯度為:

▽g(x,y)=▽[f(x,y)?h(x,y)]

(8)

而利用卷積的特殊運(yùn)算特性，平滑后圖像的梯度有:

▽g(x,y)=▽[f(x,y)?h(x,y)]=f(x,y)?▽h(x,y)

(9)

即可得到邊緣檢測過程可以利用原圖像與平滑濾波的一階微分的卷積運(yùn)算實(shí)現(xiàn)。Canny邊緣檢測給出最優(yōu)邊緣檢測的3個(gè)評價(jià)準(zhǔn)則：低錯(cuò)誤率、高定位性和最小響應(yīng)。其中低錯(cuò)誤率是指邊緣檢測要保證檢測的高質(zhì)量性，減少圖像每個(gè)邊緣點(diǎn)的錯(cuò)誤檢測和漏檢的可能性，保證其圖像輸出信噪比最大化。高定位性是要保證檢測得到的邊緣與真實(shí)邊緣盡量靠近，使得到的邊緣方差最小。最小響應(yīng)為保證得到有且只有一條邊緣，去除多種響應(yīng)的可能。Canny使用變分法，最優(yōu)檢測到近似于高斯函數(shù)的一階導(dǎo)數(shù)，則可選擇高斯平滑濾波器卷積降噪[8]。Canny邊緣檢測算法如下：

1)利用高斯濾波平滑圖像。

2)利用一階微分邊緣檢測方法計(jì)算梯度矢量。

3)用梯度的幅值進(jìn)行非極大值抑制。即在梯度方向上比較鄰域像素梯度幅值，去除鄰域內(nèi)梯度幅值的非極大點(diǎn)，使得邊緣寬度變細(xì)。

4)利用滯后閾值進(jìn)行檢測和連接邊緣。由于去除非極大點(diǎn)仍會(huì)使圖像包含一些由噪聲與紋理等導(dǎo)致的假邊緣，需利用滯后閾值方法(高、低兩閾值)約束。保留幅值超過高閾值的像素作為邊緣像素，去除低于低閾值的像素，而幅值在高低閾值間的像素則只有與被保留的邊緣像素相鄰時(shí)才會(huì)被保留，直至邊緣像素間無斷點(diǎn)為止。

在HALCON中實(shí)現(xiàn)Canny邊緣檢測采用edges_sub_pix算子，邊緣檢測后圖像如圖5所示。

圖5 Canny邊緣檢測圖像

4 印花圖像匹配

圖像匹配是印花鞋面剪裁過程中的重要環(huán)節(jié)，對標(biāo)準(zhǔn)印花鞋面與未進(jìn)行識別的印花鞋面進(jìn)行匹配，通過標(biāo)準(zhǔn)鞋面印花與實(shí)時(shí)采集的鞋面印花的匹配程度來判斷鞋面是否符合剪裁標(biāo)準(zhǔn)，并得到剪裁輪廓信息。

4.1 圖像匹配

圖像匹配是通過一些算法在兩幅及以上的圖像之間識別共同目標(biāo)的過程[9]。但由于目標(biāo)物體類型較為特別且經(jīng)常會(huì)發(fā)生變化，例如圖像在不同光照條件、不同時(shí)間、不同傳感器、不同視角下等外界條件的改變。為更好地識別出目標(biāo)物體，可通過目標(biāo)物體內(nèi)容、灰度、結(jié)構(gòu)、紋理和特征等要素建立多幅圖像的關(guān)系來找尋相似要素的方法。為更為方便描述，在兩幅圖像進(jìn)行匹配時(shí)，可將其中一幅圖像作為匹配模板圖像，另一幅圖像作為目標(biāo)匹配圖像。設(shè)兩幅待匹配圖像分別為f1(x,y)和f2(x,y)，f1(x,y)作為匹配模板圖像，f2(x,y)為目標(biāo)匹配圖像。則兩幅圖像間的變換關(guān)系利用數(shù)學(xué)定義為:

f2(x,y)=g(I(f1(x,y)))

(10)

其中:g為一維的灰度變換，I為二維的坐標(biāo)變換。

圖像匹配會(huì)受到傳感器噪聲與使用、成像視角和光照變化、目標(biāo)變形和移動(dòng)等因素影響，為解決以上問題，因此圖像匹配算法基本由以下要素組成：

1)特征空間。由參與匹配的圖像特征組成的特征集，例如圖像中提取的點(diǎn)、線、顏色、圖像之間的空間關(guān)系等。特征空間決定了匹配的性能、數(shù)據(jù)量、算法執(zhí)行效率等，優(yōu)秀的特征選擇可降低不確定因素對圖像匹配的影響。

2)相似性度量。用來度量待匹配特征間的相似性的指標(biāo)，例如相關(guān)度量、距離函數(shù)和概率度量等。

3)圖像變換類型。指圖像匹配中的圖像進(jìn)行的幾何變換，即圖像中像素點(diǎn)的幾何位置變化，例如平移變換、比例變換、旋轉(zhuǎn)變換等。使匹配圖像與待匹配圖像像素點(diǎn)間達(dá)到一一對應(yīng)。

4)搜索策略。用于提高搜索效率的策略，用適合的方法在搜索空間內(nèi)找出變換參數(shù)的最優(yōu)值，使圖像變換后得到最大相似性。在圖像匹配中只利用相似性度量進(jìn)行匹配的計(jì)算量巨大且速度慢，其算法的復(fù)雜度為O(whn)，其中w和h分別為圖像的寬度和高度，n為匹配模板像素點(diǎn)的數(shù)量，通過合適的搜索策略可以改變其算法復(fù)雜度。

4.2 基于形狀的模板匹配

圖像匹配方法可分為兩大類，基于灰度的匹配和基于特征的匹配?；诨叶鹊钠ヅ涫抢媒y(tǒng)計(jì)相關(guān)的方法搜索圖像信號間的相關(guān)性的匹配方法。但基于灰度的圖像匹配計(jì)算量較大、效率較低，本文并不采用?；谔卣鞯钠ヅ涫抢脙煞蚨喾鶊D像的特征進(jìn)行參數(shù)描述的匹配方法，常用的特征為點(diǎn)、邊緣、區(qū)域等特征?；谔卣鞯钠ヅ溆?jì)算量較小、且提高了匹配的精準(zhǔn)度。

本文采用基于特征的模板匹配，即以標(biāo)準(zhǔn)圖像為模板，待匹配圖像中尋找標(biāo)準(zhǔn)圖像特征相似的特征的匹配。特征空間采用邊緣檢測得到的亞像素輪廓。相似性度量采用Hausdorff距離，可以很好的避免圖像混亂和遮擋情況。設(shè)模板圖像邊緣點(diǎn)集為A，待匹配圖像邊緣點(diǎn)集為B，則Hausdorff距離定義為:

(11)

Hausdorff距離其實(shí)是標(biāo)準(zhǔn)模板圖像邊緣與最近的匹配圖像邊緣間的最大距離以及匹配邊緣與最近的模板邊緣間的最大距離的最大值，即h(A,B)與h(B,A)的最大值。且Hausdorff距離度量遵循匹配模板圖像與目標(biāo)圖像越相似，其值越小的原則。

圖像變換類型采用仿射變換，在圖像匹配過程中，待匹配圖像由于攝像機(jī)與物體間的距離變化，會(huì)導(dǎo)致圖像中物體發(fā)生明顯的尺寸變化。物體的位置不能通過簡單的平移和旋轉(zhuǎn)變換來表示，可用仿射變換表示。仿射變換由平移、縮放、旋轉(zhuǎn)這些基本變化構(gòu)造而來。若原始坐標(biāo)為(x,y)，則仿射變換表示如下:

(12)

其中:a11、a12、a21和a22表示線性變換，a13和a23表示平移部分，齊次坐標(biāo)。

搜索策略采用金字塔分層搜索策略，金字塔是由粗到精的加速搜索算法，以在不同尺度上尋找物體。為提高搜索速度可以在匹配模板圖像與目標(biāo)圖像間的點(diǎn)的集合中得到匹配模板圖像的大致位置，再利用間隔更小的點(diǎn)的集合在已經(jīng)得到的大致位置中進(jìn)一步搜索得到精準(zhǔn)的結(jié)果。但對圖像進(jìn)行二次抽樣可能會(huì)使圖像結(jié)果產(chǎn)生鋸齒甚至丟失匹配模板圖像的實(shí)例，且對圖像直接縮小過大的比例不如使圖像多次縮小較小的比例的效果優(yōu)秀。所以可以建立目標(biāo)圖像與匹配模板圖像多次縮小較小比例而形成類似于金字塔的數(shù)據(jù)結(jié)構(gòu)。圖像金字塔是以金字塔結(jié)構(gòu)逐層分辨率降低且源于同一圖像的集合。金字塔第一層即最底層為待處理圖像，隨層數(shù)越高，其圖像尺寸和分辨率越低。為確定匹配位置，需在金字塔頂層進(jìn)行模板的相似性度量，并通過匹配分值進(jìn)行加速搜索。圖像金字塔搜索方法如下，選擇適當(dāng)層數(shù)的圖像金字塔，在金字塔頂層進(jìn)行完整匹配，將匹配的實(shí)例映射到金字塔的下一層以確定新的搜索區(qū)域，對新的搜索區(qū)域進(jìn)行匹配，循環(huán)上述搜索直至映射到圖像金字塔第一層。通過金字塔分層搜索可以合理減小搜索區(qū)域、減少運(yùn)算量并加速了搜索[10]。

圖6 圖像模板匹配流程圖

圖6為基于特征的圖像模板匹配流程圖，其算法關(guān)鍵算子如下：

1)創(chuàng)建模板。使用XLD創(chuàng)建帶有縮放的匹配模板，在HALCON中采用create_scaled_shape_model_xld算子實(shí)現(xiàn)。

2)保存模板。在HALCON中采用write_shape_model算子實(shí)現(xiàn)。

3)讀取模板。讀取上述保存好的模板，在HALCON中采用read_shape_model算子實(shí)現(xiàn)。

4)尋找模板。尋找單個(gè)帶尺寸形狀模板最佳匹配，得到圖像中模板的點(diǎn)、位置、角度、尺度和匹配值，在HALCON中采用find_scaled_shape_model算子實(shí)現(xiàn)。

5)獲取模板輪廓。并選擇對應(yīng)金字塔層數(shù)，在HALCON中采用get_shape_model_contours算子實(shí)現(xiàn)。

6)歷遍圖像進(jìn)行圖像變換。其中單匹配計(jì)算剛性變換矩陣?yán)胿ector_angle_to_rigid算子實(shí)現(xiàn)。增加放縮到2D齊次仿射變換矩陣、實(shí)現(xiàn)仿射變換，利用hom_mat2d_scale算子和affine_trans_contour_xld算子實(shí)現(xiàn)。循環(huán)使用for...endfor算子實(shí)現(xiàn)。

如圖7所示，通過模板圖像得到匹配圖像的剪裁輪廓信息。

圖7 匹配圖像的剪裁輪廓圖像

4.3 實(shí)驗(yàn)數(shù)據(jù)與分析

利用上述圖像匹配方法進(jìn)行HALCON軟件實(shí)驗(yàn)，通過對多個(gè)未剪裁鞋面與標(biāo)準(zhǔn)鞋面圖像進(jìn)行匹配，如表1所示為部分鞋面圖像匹配率和匹配時(shí)間。

由表1可以得出圖像匹配率基本都在98.8%以上，且匹配時(shí)間不超過0.13 s。其平均匹配率為98.88%，平均匹配時(shí)間為0.109 8 s，適用于印花鞋面剪裁圖像處理系統(tǒng)要求。

表1 部分鞋面圖像匹配率和匹配時(shí)間

5 總結(jié)

本文利用HALCON軟件對大量未剪裁印花鞋面進(jìn)行模板匹配實(shí)驗(yàn)，其匹配率達(dá)98.8%，不超過0.13 s便可匹配得到印花輪廓信息。

本文針對印花鞋面剪裁技術(shù)不完善效率低下等，將機(jī)器視覺技術(shù)運(yùn)用到制鞋生產(chǎn)線中的鞋面剪裁環(huán)節(jié)，實(shí)現(xiàn)對印花鞋面自動(dòng)匹配篩選得到匹配率和效率較高的鞋面剪裁輪廓信息，并完成具有自動(dòng)化、智能化的鞋面剪裁生產(chǎn)線系統(tǒng)中的關(guān)鍵技術(shù)研究。對制鞋業(yè)未來全部實(shí)行全自動(dòng)化生產(chǎn)流水線具有一定的應(yīng)用價(jià)值。