繆智文,何麗嘉,劉洞波
(湖南工程學(xué)院,湖南湘潭 411104)
當(dāng)今,在服裝網(wǎng)絡(luò)銷售蓬勃發(fā)展的大勢之下,傳統(tǒng)的基于文本的圖像檢索技術(shù)(Text-based Image Retrieval,TBIR)[1]已經(jīng)跟不上時代的發(fā)展,無法滿足廣大消費者對圖像檢索的要求。而基于內(nèi)容的圖像檢索技術(shù)(Content-based Image Retrieval,CBIR)[2]是通過有效的算子獲取圖像的基本特征,如空間、形狀、紋理及顏色信息等,從而利用距離函數(shù)來計算圖像的相似度以達(dá)到精度檢索的目的,此技術(shù)可取代TBIR在圖像檢索中的位置,并彌補(bǔ)其不足。
本研究提出一種運用顏色直方圖和 Hu不變矩的特性進(jìn)行加權(quán)處理,再融合 LBP-GLCM紋理特征進(jìn)行服裝檢索的方法。首先,提取樣本中的顏色和形狀特征并進(jìn)行加權(quán)處理后,完成檢索的第一步,再對返回的檢索結(jié)果構(gòu)建新的數(shù)據(jù)集,將Uniform-LBP算子與灰度共生矩陣相結(jié)合,完成檢索,使之具有更高的檢索效率和準(zhǔn)確率。
一個好的顏色量化方案[3],一方面可以降低計算的復(fù)雜度,另一方面也不會丟失過多的彩色信息。根據(jù)顏色直方圖改進(jìn)方案,將色調(diào) H 把顏色劃分為8類,形成8 bin的直方圖;將符合人眼視覺的基于HSV顏色矩9 bin直方圖和8 bin直方圖結(jié)合形成顏色融合的17 bin 直方圖,不僅有效地降低了顏色直方圖的權(quán)柄數(shù),節(jié)省存儲空間,實驗結(jié)果驗證其并未降低圖像的檢索效率。本實驗使用常用的歐幾里德距離計算進(jìn)行相似性度量[4],并歸一化處理。計算公式如下:
其中,x,y—為兩幅待檢測的圖像,xi,yi—歸一化后的特征值,相似性度量用d(x, y) 表示。
服裝由于季節(jié)變更和穿著身材等因素,產(chǎn)生了許多不同款式的樣體。在服裝圖像中,大衣、長褲、短褲、襯衫等都有其固定的形狀特征,不同款式的服裝也有其各自的幾何屬性。形狀的表述對于圖像識別及分類具有重要的作用,在圖像檢索中也是持續(xù)研究的課題[5]。目前,系統(tǒng)呈現(xiàn)形狀特征通常是基于區(qū)域和輪廓。兩類方法在圖像識別中應(yīng)用較多的是 Hu不變矩描述子[6]和傅里葉描述子[7]等。傅里葉描述子從信號頻率的角度來解釋輪廓信息,對人的視覺屬性存在局限性。Hu 不變矩描述子注重幾何形狀的全局特征,具有空間幾何不變性。圖像f(x, y)的 q+p階矩和階中心距公式為:
重心坐標(biāo)的計算公式為:
Hu 提出了如下的 7 個不變矩:
多尺度的LBP算法所得到的LBP值與二進(jìn)制序列的起始位置和選取方向密切相關(guān)。如果圖像發(fā)生旋轉(zhuǎn),對應(yīng)的二進(jìn)制順序就會發(fā)生變化,最終的LBP值也將不同。因此,為了得到不變的編碼模式,Ojala等[8]又提出了旋轉(zhuǎn)不變LBP算法,即不斷旋轉(zhuǎn)圓形鄰域得到一系列初始定義的LBP值,取其最小值作為該鄰域的LBP值,用公式表示如下:
式中,ROR(x,i)—對二進(jìn)制序列x循環(huán)移動i位且 i<P。
對于P=8,將有36種唯一的旋轉(zhuǎn)不變二值模式。由于此時的編碼模式仍較多,應(yīng)用到服裝紋理特征提取時,計算量較大,影響檢索速度。
在記錄閾值化后的二進(jìn)制序列時,如果選取的起始點和方向不同,二進(jìn)制序列將有 2P 種,對應(yīng)的LPBP,R會產(chǎn)生2P種模式。但是在實際研究中發(fā)現(xiàn),各種模式所出現(xiàn)的頻率是不同的。統(tǒng)計結(jié)果表明,少數(shù)的模式出現(xiàn)的數(shù)量占所有模式的90%以上,Ojala等[2、4]將這些出現(xiàn)頻率特別高的模式定義為Uniform模式。將二進(jìn)制序列看作一個圓環(huán),如果“0→1”和“1→0”的變化不超過 2 次,則該序列稱為Uniform 模式。例如,“00000000”(0次轉(zhuǎn)變)、“00011100”(2次轉(zhuǎn)變)是 Uniform 模式,而“10010011”(4次轉(zhuǎn)變)不是 Uniform模式。在使用LBP算法對圖像進(jìn)行紋理分析時,通常只關(guān)心 Uniform 模式,而將其他模式歸為同一類稱為混合模式。判斷某種序列是否為Uniform模式的方法如下:
這樣改進(jìn)后,模式的種類大大減少,特別是對于P= 8的情況,模式數(shù)量由改進(jìn)前的256種變?yōu)楦倪M(jìn)后的58種。
經(jīng)過抗旋轉(zhuǎn)的編碼方式獲得了若干LBP模式,但是通過前面Uniform 模式的論述可知,其中某些模式在所有的模式中并不是占有大量的比重,故又有人提出Uniform-旋轉(zhuǎn)不變LBP算法,使模式種類減少到P+1種,表示如下:
uniform-旋轉(zhuǎn)不變LBP算法,既保證了旋轉(zhuǎn)不變性,又使模式數(shù)量大大減少,應(yīng)用到服裝圖像檢索可提高相似度檢索的效率和精度。
實驗平臺為Windows 7操作系統(tǒng),實驗工具是MATLAB 2016a。以此分別進(jìn)行:單一的顏色特征檢索、單一的形狀特征檢索、累加顏色直方圖和Hu不變矩的加權(quán)檢索以及本研究的檢索方法。數(shù)據(jù)庫中,從互聯(lián)網(wǎng)選取共計600張服裝圖像,其中大衣150張,短褲150張,長褲150張,短裙150張。
完成6組實驗:不同顏色特征和 Hu 不變矩的各自單一特征的服裝圖像檢索。對4次實驗結(jié)果分析比較,選擇顏色特征和形狀特征進(jìn)行加權(quán)處理完成第5組實驗,實現(xiàn)對加權(quán)參數(shù)的確定。先用加權(quán)特征完成第一步檢索,再使用 LBP算法進(jìn)行再次檢索作為第6組實驗。實驗時,從每個分類圖像中隨機(jī)選取10張圖像作為查詢圖像,進(jìn)行40次查詢實驗。每次的查詢結(jié)果取返回的前20張圖片,計算前20個檢索結(jié)果平均查準(zhǔn)率并引入排序評價方法[9]。
查準(zhǔn)率:
式中,A—相關(guān)圖像的集合,B —返回圖像的集合,a —返回結(jié)果中被正確檢索圖像,b —返回結(jié)果中被誤檢的圖像。
排序評價方法:假定檢索輸出的數(shù)目為N,在N幅輸出結(jié)果里,NR—結(jié)果中相關(guān)的數(shù)量,ρr—返回結(jié)果中相關(guān)圖像的排列序號,NA—實際相關(guān)數(shù)量,則評價參數(shù)定義如下[10]:
用 K1表示平均序號:
最佳情況的平均序號 K2:
其中, K2—處于最佳狀態(tài)下,排列靠前的平均序號中返回結(jié)果期望圖像都能夠占據(jù)相應(yīng)位置。如果K1/ K2的值與數(shù)值1的差值越接近于0,則意味著查詢的效果越好。
以大衣的檢索返回結(jié)果作為各組實驗的方法展示,圖樣如圖1所示。以服裝圖像中的大衣為示例進(jìn)行檢索的返回結(jié)果,如圖 2所示。 表1是以大衣圖像為例,進(jìn)行顏色形狀加權(quán)系數(shù)選定的參數(shù)。表2是以大衣為例檢索的平均排序比值。表3是取長褲、短裙、大衣、短褲,進(jìn)行實驗,得出全局顏色直方圖、顏色矩、累加顏色直方圖、Hu不變矩、顏色形狀加權(quán)、本實驗方法平均查準(zhǔn)率。
圖1 待檢測男性大衣圖樣
圖2 方法檢測結(jié)果
表1 以大衣的圖像進(jìn)行顏色形狀加權(quán)系數(shù)選定的實驗
表2 以大衣為例檢索的平均查準(zhǔn)率
表3 六組實驗的平均查準(zhǔn)率
由返回結(jié)果可以看出,圖像中相關(guān)圖像較多,相似度很高的圖像在檢索輸出中都排序靠前,可實現(xiàn)良好的檢索期望。由表1可以看出,不同的加權(quán)參數(shù)設(shè)置會產(chǎn)生較大的差異。因此,選擇為20%顏色特征和80%形狀特征的加權(quán)。依據(jù)表2、表3的數(shù)據(jù)分析可以看出,相較于其他的方法,本研究的檢索方法有更高的查準(zhǔn)率。由此可知,服裝圖像背景干擾因素對檢索結(jié)果產(chǎn)生的不利影響。
本研究提出了一種基于累加直方圖與Hu不變矩加權(quán)特征和LBP的服裝圖像檢索方法。實驗先利用顏色形狀特征加權(quán)處理的同步組合檢索進(jìn)行第一次檢索,后利用 LBP算子進(jìn)行第二次檢索的檢索方法具有可行性。與只使用一種特征檢索的方式比較,本研究的檢索方法在服裝圖像的場景中能提升檢索的準(zhǔn)確率。由實驗結(jié)果分析可知,檢索結(jié)果的精確性受到了來自服裝圖像的背景干擾,下一步的研究工作在于引入圖像分割的方法對服裝圖像進(jìn)行處理,并結(jié)合其他特征算子提高檢索的準(zhǔn)確率和優(yōu)化檢索時間。