吳志鑫，李立輕，汪軍，江慧

(東華大學(xué) 紡織學(xué)院，上海 201620)

紡織業(yè)是我國重要的制造業(yè)之一，紡織服裝面料種類繁多，數(shù)量更是數(shù)不勝數(shù)[1]。在面料圖像的檢索方面，目前行業(yè)內(nèi)通常采用傳統(tǒng)的基于文本圖像檢索技術(shù)(text-based image retrieval，TBIR)[2]，如中國輕紡網(wǎng)、中國紡織網(wǎng)等，用戶必須在龐大的數(shù)據(jù)信息中逐一搜索，費(fèi)時耗力[3]。雖然基于神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的圖像分類和特征識別是目前圖像檢測的熱點(diǎn)，但是對于種類繁多、花樣豐富的服裝面料而言，其研究和應(yīng)用還是有很多問題?；趦?nèi)容的圖像檢索(content-based image retrieval，CBIR)技術(shù)[4]可以通過有效算子獲取圖像的基本特征(如形狀、紋理及顏色等)，再利用距離函數(shù)等計(jì)算圖像的相似度以達(dá)到提高檢索精度的目的，故有著更廣闊的應(yīng)用前景。張麗[5]利用加權(quán)方法，將顏色特征與紋理特征融合進(jìn)行檢索實(shí)驗(yàn)，結(jié)果表明利用融合后的特征向量進(jìn)行檢索的整體效果均好于單特征的，但是由于不同類別的服裝圖像對于紋理信息和顏色信息的敏感度不同，所以權(quán)重的設(shè)置比較困難?；诖?，文中提出一種特征值歸一化的方法，首先采用HSV顏色直方圖法[6]提取出面料圖像的顏色特征，再利用灰度共生矩陣(gray-level co-occurrence matrix,GLCM)算法[7]提取出紋理特征，然后將兩者的特征值融合成新的特征向量，以期進(jìn)一步提高服裝面料圖像的檢索效果。

1 方法原理與算法建立

在CBIR技術(shù)流程中，最為關(guān)鍵的是針對圖像的特征提取。合適的特征提取方法是圖像檢索實(shí)驗(yàn)的前提，通常是對圖像的三大底層特征(顏色特征、紋理特征和形狀特征)進(jìn)行特征提取。因?yàn)檠芯繉ο笫欠b面料，在形狀上存在著很大的相似性，所以文中從顏色和紋理兩方面選取了HSV顏色直方圖法和GLCM算法對服裝面料圖像進(jìn)行特征提取。

1.1 HSV顏色直方圖法

HSV顏色直方圖法是顏色直方圖法在HSV顏色空間中的應(yīng)用，HSV顏色空間[8]以H(色相)、S(飽和度)、V(亮度)為色值定位顏色空間，符合人眼觀察的特點(diǎn)。顏色直方圖法以統(tǒng)計(jì)學(xué)中直方圖思想為基礎(chǔ)，通過一系列高低不同的柱狀條紋或線段來表示圖像中不同顏色的分布情況。以一幅彩色圖像為例，取像素點(diǎn)的顏色值作為橫坐標(biāo)，該顏色像素出現(xiàn)的頻數(shù)作為縱坐標(biāo)，以此得出的坐標(biāo)系圖形就是顏色直方圖[9]，具體公式如下：

H={h(Ck)k=1，2，3，…，n}。

(1)

式中：k為彩色圖像的像素點(diǎn)；Ck為彩色圖像像素點(diǎn)的顏色值；h(Ck)為像素點(diǎn)顏色值出現(xiàn)的頻數(shù)。

1.2 GLCM算法

GLCM算法是最常用的紋理特征提取方式之一，也是基于統(tǒng)計(jì)的紋理特征提取方法中應(yīng)用最廣的方法[10-11]，灰度共生矩陣是建立在圖像中像素對的方向和距離基礎(chǔ)上的，它主要研究的是圖像紋理中灰度級的空間依賴性?；叶鹊姆植继匦杂删哂胁煌叶戎档南袼胤植急硎荆紫冉⒒叶裙采仃?，然后從該矩陣中提取可以表示圖像的紋理特征。GLCM可以提取的紋理特征值有14個之多，但并非都適用于圖像檢索[12]。文獻(xiàn)[13-14]中，GLCM在圖像檢索中主要用到的特征值為能量(Asm)、熵(Ent)、慣性矩(Idm)、相關(guān)性(Cor)、對比度(Con)5種。其中：能量主要反映的是灰度分布均勻程度，值越大則紋理越規(guī)則均一；熵主要反映的是圖像中紋理的非均勻程度以及復(fù)雜程度，值越大則越不均勻越復(fù)雜；慣性矩主要反映的是圖像紋理的同質(zhì)性，即局部紋理的變化程度，值越大，則變化程度越大；相關(guān)性主要反映的是灰度共生矩陣中，在行和列，即水平和垂直角度上灰度的相似程度，值越大，相似性越高；對比度特征主要反映的是紋理溝紋深淺的程度，溝紋越深則值越大。5種特征值的計(jì)算公式如下：

(2)

(3)

(4)

(5)

(6)

式中：k為灰度值的級數(shù)；G(i,j)表示灰度級為i的像素點(diǎn)Px和灰度級為j的像素點(diǎn)Py相鄰的個數(shù)。其中ux，uy，σx和σy分別是Px，Py的灰度級的均值和標(biāo)準(zhǔn)差。計(jì)算公式如下：

(7)

(8)

(9)

(10)

1.3 特征值融合算法

文中提出的融合算法是針對特征值的一種歸一化處理，設(shè)利用兩種特征提取方法進(jìn)行特征值提取后，分別提取出m和n個特征值。假設(shè)測試庫中共有N張面料圖像，則對于測試庫中所有面料處理后可以將它們的特征向量合并構(gòu)建成如下矩陣：

然后提取出每列最大和最小的兩個元素分別組成兩個向量D1max和D1min,記為

D1max=(Cmaxk,1,Cmaxk,2,…,Cmaxk,m+n)；

D1min=(CminK,1,CminK,2,…,CminK,m+n)。

因此，融合后任一元素Ci，j可以轉(zhuǎn)換為

(11)

利用這種方法對所有特征值進(jìn)行處理后，就可以實(shí)現(xiàn)兩組特征值的融合，生成新的特征向量。

2 基于特征融合算法的服裝面料圖像特征提取

2.1 服裝面料圖像的HSV顏色直方圖特征提取

圖像分割示意如圖1所示。

圖1 圖像分割示意Fig.1 Diagram of image segmentation

文中在對面料圖像搜集中，發(fā)現(xiàn)有部分服裝面料圖像的邊緣存在一些背景色等因素的干擾，如圖1(a)的下邊緣就存在著較大的水印，它與面料圖像整體的顏色信息極不對應(yīng)?？紤]到顏色特征是一個全局特征，類似干擾會很大程度上影響到實(shí)驗(yàn)結(jié)果，所以文中在提取HSV顏色直方圖時需要將面料圖像進(jìn)行不均勻分割，去除圖像上下左右邊緣各1/8的部分，在去除干擾的同時盡可能不丟失圖像的顏色信息。

基于文獻(xiàn)[15]，文中將H分量量化為16級，S與V分量量化為4級，即共有16×4×4共256種可能的像素點(diǎn)顏色類別。圖2為兩張不同測試面料的圖像，其對應(yīng)的HSV顏色直方圖特征值見表1。

圖2 測試面料圖像Fig.2 Fabric images for test

表1 測試面料的HSV顏色直方圖特征值

表1中像素點(diǎn)的顏色由H，S，V 3個分量組成，共有256種不同的組合，1～256即代表顏色值(0,0,0)～(15,3,3)。文中利用Matlab工具對面料圖像的像素點(diǎn)顏色值進(jìn)行統(tǒng)計(jì)，計(jì)算出每種類別的顏色值所出現(xiàn)的頻數(shù)即為特征值。

在得出兩張圖像的特征向量之后，將其代入相似性距離函數(shù)就可以得到兩者之間對應(yīng)的距離。常用的歐式距離函數(shù)[16]表示為

(12)

式中：X，Y為空間中的兩個向量；xi,yi為這個點(diǎn)的空間坐標(biāo)，即m維向量X(x1，x2，x3，…，xm)和Y(y1，y2，y3，…，ym)。將圖2(a)和圖2(b)的HSV顏色直方圖特征向量帶入式(12)，其結(jié)果即為兩者的歐式距離值。

2.2 服裝面料圖像的GLCM特征提取

同樣以絲綢面料和皮革面料圖像為例，文中設(shè)置灰度等級為8，提取了4個角度(0°，45°，90°和135°)共4個灰度共生矩陣[17]，然后利用相關(guān)公式分別求出其相應(yīng)的特征值，最后以其均值作為最終特征值。具體結(jié)果見表2。

表2 測試面料的GLCM特征值

2.3 特征值融合

采用HSV顏色直方圖法提取出的是1×256的一維特征向量，假設(shè)其為(A1，A2,…,A256)，而利用GLCM灰度共生矩陣法提取出的特征向量是1×5的一維特征向量，假設(shè)其為(B1，B2，…,B5)，將它們直接合并組成一個1×261的一維向量記為(C1，C2,…,C261)。首先對庫中所有圖像進(jìn)行這種特征值的合并，它們合并的特征向量組成的特征矩陣如下：

然后，利用Matlab軟件提取出每列中最大和最小的特征值，再通過式(11)就可以得到新的特征向量。在特征提取后，仍以圖2為例，假設(shè)圖2(a)經(jīng)處理后的特征值為(s1,s1,…,s261)，圖2(b)經(jīng)處理后的特征值為(t1,t2,…,t261)，則兩者間的歐式距離計(jì)算式為

3 實(shí)驗(yàn)方法

3.1 樣本庫的建立

由于國際上目前沒有一個公認(rèn)的面料圖像樣本庫，故文中創(chuàng)建了一個實(shí)驗(yàn)圖像樣本庫。根據(jù)CBIR技術(shù)的需求，文中將面料分為：呢絨面料、麻類面料、蕾絲面料、絲綢面料、皮革面料以及牛仔布面料6類，每類面料取500張圖像，6類面料的示例如圖3所示。同時從百度網(wǎng)和天貓網(wǎng)等搜集了6類面料的清晰圖像各500張，組成一個共3 000張的測試樣本庫，具體見表3。

圖3 面料圖像Fig.3 Images of fabrics

表3 面料信息數(shù)據(jù)

此外，還搜集了500張非紡織類圖像，作為實(shí)驗(yàn)的干擾項(xiàng)，在這6類服裝面料圖像的組內(nèi)實(shí)驗(yàn)完成后，加入樣本庫進(jìn)行實(shí)驗(yàn)，進(jìn)一步驗(yàn)證文中提出算法的穩(wěn)定性。

3.2 實(shí)驗(yàn)硬件

文中仿真實(shí)驗(yàn)是基于Matlab R2018a版本設(shè)計(jì)運(yùn)行的。實(shí)驗(yàn)的硬件環(huán)境為：聯(lián)想筆記本，Inter(R)Core(TM)i5-2520M處理器，4GB RAM。

3.3 實(shí)驗(yàn)設(shè)計(jì)及評價標(biāo)準(zhǔn)

為了驗(yàn)證文中所提出的特征值融合算法對服裝面料圖像檢索的有效性和穩(wěn)定性，同時也為了比較該方法與兩種單特征算法(HSV顏色直方圖法和GLCM算法)檢索效果的優(yōu)劣，文采用歐式距離函數(shù)進(jìn)行相似性度量，并設(shè)計(jì)了6組檢索實(shí)驗(yàn)。其中：1～3組分別為HSV顏色直方圖法、GLCM算法和特征值融合算法對樣本庫中6類服裝面料圖像進(jìn)行檢索；4～6組則是將干擾圖像添加到上述6類服裝面料圖像中，再分別采用上述3種方法進(jìn)行檢索。實(shí)驗(yàn)時，從6類服裝面料圖像中各自隨機(jī)抽取一張作為待測圖像，輸出圖像均設(shè)置為500張，以平均查準(zhǔn)率作為衡量檢索效果的標(biāo)準(zhǔn)。

查準(zhǔn)率：

式中：A為相關(guān)圖像的集合;B為返回圖像的集合;a為檢索結(jié)果中與待測圖像屬于同一類別的圖像數(shù)量;b為返回結(jié)果中誤檢的圖像數(shù)量。

4 結(jié)果分析

1～3組檢驗(yàn)實(shí)驗(yàn)結(jié)果見表4。由表4可以看出，在不加入干擾圖像的情況下，基于HSV顏色直方圖法的面料圖像檢索平均查準(zhǔn)率為77.4%；該方法對于絲綢面料、蕾絲面料以及皮革面料圖像的檢索效果較好。對于蕾絲面料，一般都存在著很多的鏤空部分，這會使得蕾絲面料之間的顏色信息相似性更高，也比較容易被檢索；對于絲綢面料，因?yàn)槠漕伾畔我唬浅Ｈ菀妆蛔R別；對于皮革面料，可能是因?yàn)镠SV顏色直方圖中的V(亮度)可以反映出圖像的光澤，而皮革面料的光澤與其他類別面料區(qū)別較大，這使得它的檢索效果較好。同理，光澤也是絲綢面料檢索效果較好的原因之一。

基于GLCM算法的服裝面料圖像檢索平均查準(zhǔn)率可以達(dá)到82.7%，它對于面料圖像的整體檢索效果優(yōu)于HSV顏色直方圖法。這是因?yàn)椴煌悇e的面料在顏色信息上并不會體現(xiàn)出很大的差異性，而不同類別的服裝面料一般都會具備各自的織物組織結(jié)構(gòu)特點(diǎn)。麻類面料紋路明顯，蕾絲面料存在鏤空部分，絲綢面料紋理均一平整，皮革面料的表面存在溝紋等，這使得服裝面料對于紋理特征會更加敏感，也使得它們的查準(zhǔn)率較高。

表4中利用文中的特征值融合方法，服裝面料圖像檢索平均查準(zhǔn)率可以達(dá)到86.8%，是3個方法中效果最好的。它對于這6類服裝面料的檢索結(jié)果都有著不同程度的提高，尤其是對于顏色和紋理信息都較為均一的絲綢面料，返回了464張圖像，平均查準(zhǔn)率達(dá)到了92.8%。這也說明了文中所提出的利用特征值歸一化法融合特征的方法結(jié)合了兩種算法的優(yōu)點(diǎn)，更適用于面料圖像的檢索研究。

為了驗(yàn)證檢索方法的穩(wěn)定性，文中同樣進(jìn)行了加入干擾圖像的實(shí)驗(yàn)，具體結(jié)果見表5。由表5可以看出，HSV顏色直方圖法的平均查準(zhǔn)率下降至75.7%，這可能是干擾圖像在顏色上與服裝面料存在一定的相似之處；但HSV顏色直方圖法對于絲綢面料仍保持較高的檢索水平，這是因?yàn)槠涔鉂梢约邦伾畔⒌膯我恍缘碾p重效果。GLCM算法的平均查準(zhǔn)率下降至82.0%，比HSV顏色直方圖法的下降幅度小，這也在一定程度上說明了服裝面料圖像更適合以紋理信息進(jìn)行圖像檢索。采用文中提出的特征值融合方法的平均查準(zhǔn)率為86.3%，下降幅度是3種方法中最小的，這也反映出該融合算法具有較好的穩(wěn)定性。

表4 1～3組檢索實(shí)驗(yàn)結(jié)果對比

表5 4～6組檢索實(shí)驗(yàn)結(jié)果對比

5 結(jié)語

文中提出了一種特征值融合的方法，以服裝面料圖像為研究對象，在顏色特征方面選取了HSV顏色直方圖法進(jìn)行特征提取，在紋理特征方面選取了GLCM算法，對兩種特征進(jìn)行融合，并進(jìn)行了相關(guān)的實(shí)驗(yàn)研究。檢索結(jié)果表明，在單特征方面，較之顏色特征，面料圖像更適合采用紋理特征進(jìn)行檢索。此外,文中提出的特征融合算法在檢索效果上較之單特征均有所提高，平均查準(zhǔn)率可以達(dá)到86.8%，對于顏色紋理信息都比較均一的絲綢面料圖像查準(zhǔn)率則是達(dá)到92.8%。穩(wěn)定性實(shí)驗(yàn)結(jié)果顯示，文中提出的融合算法的穩(wěn)定性均優(yōu)于兩種單特征算法，這說明這種融合算法對于面料圖像的檢索是有益且穩(wěn)定的。因此，該方法對于服裝面料圖像檢索的實(shí)際應(yīng)用具有一定的參考價值。