康 鋒， 胡 潔， 張華熊， 周 慧

(浙江理工大學 信息學院， 浙江 杭州 310018)

?

基于最大穩(wěn)定極值區(qū)域的織物圖案檢索

康 鋒， 胡 潔， 張華熊， 周 慧

(浙江理工大學 信息學院， 浙江 杭州 310018)

針對織物掃描圖像的特點，提出了一種通過圖像最大穩(wěn)定極值區(qū)域的加速穩(wěn)健特征(SURF)檢索織物圖案的方法。首先用結(jié)構提取算法去除織物掃描圖像的紋理，保留圖案信息；其次通過最大穩(wěn)定極值區(qū)域法檢測織物圖像，提取圖案各區(qū)域的SURF特征，建立織物圖像特征庫；再將織物檢索圖像與特征庫內(nèi)的圖像進行相似性度量，得到相似圖案的織物圖像。實驗結(jié)果表明，提出的算法能夠較準確地檢索織物圖案。

織物圖案； 圖像檢索； 最大穩(wěn)定極值區(qū)域； 結(jié)構提??； 加速穩(wěn)健特征(SURF)算法； 特征匹配

隨著紡織品CAD的廣泛應用，新設計的織物圖案形式多樣，變化豐富。傳統(tǒng)的織物圖案檢索需要通過人工在樣品庫中進行分類和編號，不能對檢索需求進行精確描述，難以滿足不同檢索人員和客戶的檢索需求。織物圖案檢索可根據(jù)樣圖或?qū)嵨飹呙鑸D，快速地從樣品庫中找到已有的相同或相似圖案，克服傳統(tǒng)人工檢索的缺點，避免重復設計，從而提高新產(chǎn)品開發(fā)效率，提升紡織品設計能力。

圖案是紡織品設計中的一個重要元素，但是從織物掃描圖像中提取圖案較為困難。經(jīng)掃描獲取的織物圖像中，紗線間隙顏色偏暗，會形成一定的紋理，不同的原料、織造方式、織物后整理也會產(chǎn)生不同的效果；由于布料放置不平整，使得織物圖像產(chǎn)生局部色差，甚至形成偽圖案；由于掃描圖像文件往往采用有失真的JPEG壓縮，使得圖案輪廓變得模糊。這些因素的存在為織物圖案檢索帶來了困難。

目前，圖像檢索主要有基于顏色[1]、紋理[2]、形狀[3]、角點[4]等特征的方法。顏色或紋理往往不能直接表征織物掃描圖像的圖案特征，因而基于顏色或紋理的圖像檢索方法不能直接檢索相似圖案；由于織物圖像中存在的紋理、局部色差以及采用失真壓縮的文件格式保存圖像，使得圖案輪廓不清晰，通過圖像分割提取的圖形往往不夠準確，難以提取圖案的有效特征，因此基于形狀的圖案檢索結(jié)果往往不夠準確；織物圖案中圖形很多是由平滑曲線構成，同時由于織物掃描圖像中存在的紋理、色差、模糊，在織物圖案中很難提取有效的角點和角點特征，而且織物中往往存在大量相同或相似的圖案，角點之間的空間關系很難描述，因此基于角點的圖像檢索方法很難準確檢索織物圖案。

針對織物掃描圖像的特點，本文首先通過結(jié)構提取(structure extraction)算法消除織物圖像紋理；其次通過最大穩(wěn)定極值區(qū)域(maximally stable extremal region, MSER)算法檢測織物圖案區(qū)域，提取各區(qū)域加速穩(wěn)健特征(SURF)，形成圖案區(qū)域特征；然后對檢索圖像的特征與織物圖像特征庫進行匹配，得到檢索圖像對圖像庫中的織物圖像的相似度；最后對相似度進行排序，選取最相似的圖案為檢索結(jié)果。

1 算法設計

1.1 算法流程

本文提出的算法可分為紋理去除處理、MSER檢測、特征提取、相似性度量、檢索結(jié)果輸出5個過程，流程如圖1所示。

圖1 織物圖案檢索流程Fig.1 Flow chart of fabric pattern retrieval

1)通過結(jié)構提取算法去除織物圖像的紋理，并對紋理去除后的圖像進行灰度化；2)通過MSER算法檢測織物圖案的MSER；3)提取各MSER的SURF特征，形成特征矢量，對圖像庫中的每個圖像進行上述處理，建立圖像特征庫；4)將檢索圖像的特征與織物圖像特征庫中每幅圖像特征進行匹配，并進行相似性度量，得到檢索圖像對圖像庫中每幅圖像的相似度得分；5)對相似度得分進行排序，選取相似度得分高的圖案作為檢索結(jié)果。

1.2 紋理去除處理

掃描獲取的織物圖像中，由于紗線間隙和不同的織造方式等會產(chǎn)生一定的紋理，這些紋理的存在使得織物呈現(xiàn)一定的風格，但是對織物圖案的提取帶來了困難；因此，要檢測織物圖案，首先應盡量消除紋理帶來的影響，保留圖案的結(jié)構信息。

Xu等[5]提出了一種基于相對總差(relative total variation)的結(jié)構提取算法，可有效去除織物圖像中一定尺度的紋理信息，保留圖像中的圖案結(jié)構。TV-L2模型[6]可表示源圖像與結(jié)構圖像之間的關系：

(1)

為更加有效地消除結(jié)構信息，文獻[5]對式(1)進行了改進，提出了新的模型：

(2)

式(2)的x方向相對總差可寫成

式(2)的y方向的總差與x方向的類似，可寫成

由此式(2)可寫為：

(3)

式中：vS和vI分別表示S、I的矢量；Cx和Cy分別是向前差分梯度算子的特普利茲矩陣。Ux、Uy、Wx、Wy為對角陣，對角線上的值分別為Ux[i，i]=uxi，Uy[i，i]=uyi，Wx[i，i]=wxi，Wy[i，i]=wyi，那么式(2)可通過式(4)迭代求解：

(4)

1.3 最大穩(wěn)定極值區(qū)域檢測

MSER被認為是性能最好的仿射不變區(qū)域，在視角變化、尺度變化、旋轉(zhuǎn)變化、模糊變化、JPEG壓縮和亮度變化等情況下均具有較好的評價[7]。

MSER檢測的基本過程[8]如下：對于一幅灰度圖像，用0～255依次增加的256個閾值對圖像進行二值化處理，對于每個閾值得到的二值圖像，分析前后相鄰閾值圖像間的連通區(qū)域，在比較寬的灰度閾值范圍內(nèi)保持形狀穩(wěn)定的區(qū)域形成MSER+，該區(qū)域的內(nèi)部像素點灰度值小于(或大于)邊界像素點灰度值；通過同樣的方式，用255～0依次減小的256個閾值對圖像進行處理，獲得MSER-；二者組合得到MSER。判定是否為極值區(qū)域的標準為：

(5)

式中，Q1,…,Qi-1,Qi,…是一系列嵌套的極值區(qū)域，Qi-1∈Qi，若式(5)在i處取得局部極小值，則對應的極值區(qū)域Qi稱為MSER。

1.4 特征提取

本文通過SURF算法提取織物圖像的每個MSER特征，形成各區(qū)域的特征矢量。

SURF[9]是一種穩(wěn)定快速的特征提取算法，該算法在積分圖像的基礎上通過快速Hessian檢測子在不同尺度上來檢測局部極值點，通過計算Haar小波變換來確定每個特征點的主方向及特征點描述子。

積分圖像的定義如式(6)所示：

(6)

(7)

對式(7)兩端求導并令導數(shù)為零，可計算得到極值點：

(8)

用金字塔圖像建立尺度空間，通過Hessian矩陣來尋找極值點作為特征點，對以每一個特征點為圓心、半徑為6s(s為特征點所在的尺度)的鄰域中的點分別計算x、y方向上的邊長為4s的Haar小波變換，并對響應值賦予高斯權重系數(shù)(加權因子σ=2s)，得到一系列向量；然后將3/π范圍內(nèi)的Haar小波響應累加形成新的矢量，遍歷整個區(qū)域，選擇最長向量的方向為特征點的主方向。

1.5 相似性度量

通過特征提取獲得的各MSER特征矢量，用歐氏距離d衡量區(qū)域的相似性，

式中：si表示檢索圖像第i個MSER；cj表示待匹配圖像第j個MSER；M表示特征矢量。

式中：Ncs表示檢索圖像中獲得匹配的不為同一中心的MSER數(shù)量；Nc表示檢索圖像中不為同一中心的MSER數(shù)量。

2 實驗與分析

本文選擇了20種較為典型的織物圖案進行了實驗，每種圖案共有6種不同織物，通過掃描獲取了120幅織物圖像，圖像分辨率為96 dpi，圖像格式為JPEG。對每種圖案的織物選擇5幅圖像，通過去紋理、MSER檢測、特征提取，建立了圖像特征庫；剩下的圖像為待檢索圖像。

2.1 紋理去除處理結(jié)果

讀取織物掃描圖像，進行去紋理處理(本文實驗中λ=0.01、σ=3、迭代次數(shù)為2)，并進行灰度化處理，將灰度范圍為1%～99%的像素點進行灰度拉伸，示例圖像如圖2所示。從圖2(a)中可看到，源圖像中存在紗線紋理，掃描過程由于布料放置不平整，使得織物圖像產(chǎn)生局部色差，織物圖像中的圖案輪廓較為模糊。從圖2(b)中可看到，織物圖像中的紋理已基本消除，整個圖像較為平滑，保留了圖案的信息，但是由于在掃描過程中，織物放置不平整，因而在去紋理后的圖像中存在偽圖案。從圖2(c)中可看到，灰度化后的圖像保留了比較顯著的圖案信息。

圖2 紋理去除處理Fig.2 Texture removing. (a) Original image; (b) Images after texture removed; (c) Gray image

2.2 最大穩(wěn)定極值區(qū)域檢測和特征提取結(jié)果

對灰度化后的織物圖像進行MSER檢測，并提取各區(qū)域的矩特征，示例圖像如圖3所示。圖3(b)中不同的MSER用不同顏色表示，可看到，MSER覆蓋了織物圖像的圖案區(qū)域，但在非圖案區(qū)域也存在MSER。

圖3 MSER檢測Fig.3 MSER detection. (a) Original image; (b) MSER

2.3 相似性度量結(jié)果

首先對檢索圖像MSER各區(qū)域與特征庫中每一幅圖像的SURF特征進行特征匹配，然后計算檢索圖像對特征庫中的每個圖像的相似性得分。特征匹配的示例圖像如圖4所示。從圖中可看到，檢索圖像中的部分MSER與圖像庫中的匹配圖像中多個相似圖案的MSER得到了匹配，但是由于掃描圖像經(jīng)過去紋理、灰度化后的圖案的灰度值并不相同，因此并不是相似圖案中的每個MSER都得到了匹配。

圖4 特征匹配Fig.4 Feature matching

2.4 檢索結(jié)果

對20幅檢索圖像進行圖案檢索，按照圖案相似度得分進行降序排列，并顯示檢索結(jié)果。如果檢索圖像與特征庫圖像的圖案相似，那么認為檢索成功。示例實驗結(jié)果如圖5所示。圖中最左邊的圖像為檢索圖像，示例實驗中的圖像由2幅不同圖案粘貼組成；右邊兩行的圖像為圖像庫中的圖像，按相似性得分的高低，從左到右、從上到下排列。從圖中可以看到，相似度得分高的前10幅圖像均含有檢索圖像中的圖案。

圖5 檢索結(jié)果Fig.5 Retrieval result. (a) Image retrieval; (b) Similarity score of top 10 high images

計算20次圖像檢索的平均檢索精度和平均檢索召回率[10]。檢索精度定義為返回的相似圖像數(shù)r與返回的圖像總數(shù)n的比率，即P=r/n；檢索回召率定義為返回的相似圖像數(shù)r與圖像庫中具有相似圖案的圖像總數(shù)m的比率，即R=r/m。由平均檢索精度、平均檢索召回率為坐標構成的精度與召回率(PVR)曲線如圖6所示。從圖中可看到，本文的圖案檢索方法可有效檢索相似圖案。

圖6 PVR曲線Fig.6 PVR curve

3 結(jié) 語

本文通過結(jié)構提取算法有效去除了織物圖像的紋理，保留了織物圖案信息；通過MSER算法提取了織物圖案MSER，并用SURF描述特征；對檢索圖像與圖像庫中的圖像進行匹配，根據(jù)檢索圖案MSER匹配數(shù)量計算相似性得分，得到檢索結(jié)果。實驗結(jié)果表明本文提出的圖案檢索方法較為準確。

MSER檢測算法對圖像的灰度變化較為敏感，不同織物圖像或同一織物圖像的不同位置的相似的圖案，在去紋理和灰度化處理后灰度值可能變化較大，因此在檢索圖像與含有相似圖案的圖像特征匹配中，不能保證檢索圖像中的所有MSER都能匹配成功；由于織物掃描圖像中往往存在大量偽圖案，因此檢索圖像中的MSER可能存在誤匹配；而且由于織物圖像中往往存在重復的圖案，檢索圖案的MSER難以進行空間關系約束。因此僅通過檢索圖案中匹配成功的MSER相對數(shù)量進行相似性度量并不精確，對大量的圖像進行檢索準確率不是很高。因此，在實際應用中，本文提出的圖案檢索方法可作為其他檢索方法的補充。

FZXB

[1] BUNTE K, BIEHL M, JONKMAN M F, et al. Learning effective color features for content based image retrieval in dermatology[J]. Pattern Recognition, 2011, 44(9): 1892-1902.

[2] KEKRE H B, THEPADE S D, SARODE T K, et al. Image retrieval using texture features extracted from GLCM, LBG and KPE[J]. International Journal of Computer Theory and Engineering, 2010, 2(5): 1793-8201.

[3] KEKRE H B, THEPADE S, MUKHERJEE P, et al. Image retrieval with shape features extracted using gradient operators and slope magnitude technique with BTC[J]. International Journal of Computer Applications, 2010, 6(8): 28-33.

[4] BELLAVIA F, TEGOLO D, VALENTI C. Keypoint descriptor matching with context-based orientation estimation[J]. Image and Vision Computing, 2014, 32(9): 559-567.

[5] XU L, YAN Q, XIA Y, et al. Structure extraction from texture via relative total variation[J]. ACM Transactions on Graphics (TOG), 2012, 31(6): 139.

[6] AUJOL J F, GILBOA G, CHAN T, et al. Structure-texture image decomposition - modeling, algorithms, and parameter selection[J]. International Journal of Computer Vision, 2006, 67(1): 111-136.

[7] MIKOLAJCZYK K, TUYTELAARS T, SCHMID C, et al. A comparison of affine region detectors[J]. International Journal of Computer Vision, 2005, 65(1/2): 43-72.

[8] MATAS J, CHUM O, URBAN M, et al. Robust wide-baseline stereo from maximally stable extremal regions[J]. Image and Vision Computing, 2004, 22(10): 761-767.

[9] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[10] 方強. 基于內(nèi)容的商品圖像檢索[D]. 南京：南京理工大學, 2013: 17-19. FANG Qiang. Content-based commodity image retrieval [D]. Nanjing: Nanjing University of Science and Technology, 2013: 17-19.

Fabric pattern retrieval based on maximum stable extremal regions

KANG Feng， HU Jie, ZHANG Huaxiong， ZHOU Hui

(SchoolofInformationandTechnology,ZhejiangSci-TechUniversity,Hangzhou,Zhejiang310018,China)

According to the characteristics of fabric scanning images, a fabric pattern retrieval method based on the SURF features of maximum stable extremal regions was proposed to retrieve fabric images . Firstly, structure extraction algorithm was used to remove the texture in the fabric scanning image, and preserve the fabric pattern information; secondly, maximum stable extremal region method was used to extract the SURF features of all extremal regions in the fabric patterns, and the feature database of fabric images was established; and finally, similarity measure between the fabric images to retrieve and the images in database was computed to obtain the fabric images with similar patterns. The experimental results showed that the proposed algorithm can retrieve fabric patterns accurately.

fabric pattern; image retrieval; maximum stable extremal region; structure extraction; SURF; feature matching

10.13475/j.fzxb.20140806105

2014-08-29

2015-03-11

浙江省高校重中之重學科開放基金項目(2013KF08，ZSTUMD2012B009)；浙江省信息服務業(yè)發(fā)展專項資金項目(2013085)；浙江理工大學科研啟動基金項目(1203816-Y)

康鋒(1976—)，男，講師，博士。主要研究方向為計算機圖像處理。胡潔，通信作者，E-mail: hujie.zju@163.com。

TN 919；TS 145.4

A