朱慧敏

(廣東工業(yè)大學(xué) 信息工程學(xué)院 ，廣東 廣州 510006)

基于LBP的加權(quán)分布紋理熵的圖像檢索算法

朱慧敏

(廣東工業(yè)大學(xué) 信息工程學(xué)院 ，廣東 廣州 510006)

通過對(duì)目前存在的一些基于紋理的圖像檢索算法的分析，指出了它們存在的不足，提出一種基于LBP的加權(quán)分布紋理熵的圖像檢索算法。首先，該算法依據(jù)圖像關(guān)鍵興趣區(qū)域分布特點(diǎn)將圖像分成不均勻的9塊子圖，接著單獨(dú)對(duì)各個(gè)子圖塊根據(jù)Uniform Pattern LBP計(jì)算個(gè)子圖塊的紋理特征，并結(jié)合信息論統(tǒng)計(jì)各個(gè)子圖的紋理熵，然后把9塊子圖的紋理熵合并作為整個(gè)圖像的紋理特征向量，最后依據(jù)特征向量元素對(duì)應(yīng)各個(gè)興趣區(qū)域的重要性加權(quán)進(jìn)行圖像檢索。該算法相對(duì)傳統(tǒng)LBP算法，保留圖像空間信息，且區(qū)域偏重權(quán)系數(shù)能弱化不相關(guān)信息，同時(shí)9維度的特征向量能加快圖像的檢索效率。實(shí)驗(yàn)結(jié)果表明，該算法能獲得較好的檢索性能。

圖像檢索；LBP；不均勻分布；紋理熵；均勻模式

0 引言

隨著計(jì)算機(jī)的普遍應(yīng)用和移動(dòng)互聯(lián)網(wǎng)的高速發(fā)展，在數(shù)以億萬計(jì)的海量數(shù)據(jù)中快速、準(zhǔn)確地檢索到所需的圖像已是越來越迫切的任務(wù)。早期基于文本的圖像檢索算法(Text-Based Image Retrieval, TBIR)[1]只適合小量的數(shù)據(jù)庫(kù)，有其明顯的缺點(diǎn)。而目前基于內(nèi)容的圖像檢索算法(Content Based Image Retrieval, CBIR)[2-3]已成為海量圖像檢索中一個(gè)重要而且有效的方法，在圖像信息處理研究領(lǐng)域成為研究的熱點(diǎn)。紋理在圖像檢索中是一個(gè)重要的圖像特征，相比于形狀和顏色特征，紋理表述的圖像特征包含更多的信息量[4-6]。因此通過紋理獲取圖像特征對(duì)圖像進(jìn)行有效的圖像表述是一個(gè)值得研究的課題。

紋理是基本視覺特征之一，基于紋理的分析方法大體可分為三大類：基于統(tǒng)計(jì)、基于結(jié)構(gòu)和基于模型。MANJUNATH B S等人使用Gabor小波變換提取紋理特征進(jìn)行圖像檢索并獲得很好的性能[7]，然而GLUCKMAN J研究了多種圖像變換的頻域特性[8]，其中包括Gabor變換，發(fā)現(xiàn)可以根據(jù)圖像變換的頻域特性構(gòu)造出完全相同的統(tǒng)計(jì)特征，但在視覺感觀上是完全不同的兩個(gè)圖像，GLUCKMAN J的研究說明了這類紋理描述子的缺憾性。Maenpaa等為使LBP紋理具有旋轉(zhuǎn)不變性，對(duì)LBP進(jìn)行了改進(jìn)。其思想是將傳統(tǒng)的LBP編碼的高位起始位按同一個(gè)方向循環(huán)旋轉(zhuǎn)一周，每旋轉(zhuǎn)一次得到一個(gè)LBP的二進(jìn)制編碼，當(dāng)整個(gè)循環(huán)完成，取這些LBP值中最小的一個(gè)作為當(dāng)前鄰域的LBP值，但這種做法丟棄了部分紋理模式。HEIKKILA M等人[9]提出的CS-LBP通過比較以中心像素為中心對(duì)稱的4對(duì)領(lǐng)域像素的灰度值來定義圖像的局部紋理模式，然而其不能完全描述圖像灰度過度區(qū)域以及有對(duì)圖像鄰域內(nèi)信息反映較弱的缺點(diǎn)。Liao Shu等人[10]提出的主要局部二值模式( Dominant LBP，DLBP) 算法將LBP 特征直方圖降序排列，并選取主要模式作為L(zhǎng)BP特征。DLBP認(rèn)為主要模式占所有模式的80%能有效表述圖像的紋理，而其依然存在類似CS-LBP的問題。

受這些思想的啟發(fā)，本文提出一種基于圖像局部二值模式( Local Binary Patterns, LBP)的加權(quán)分布紋理熵的圖像檢索算法。先將圖像不均勻分割成9個(gè)子區(qū)域，然后基于LBP計(jì)算每個(gè)子區(qū)域的均勻模式，并統(tǒng)計(jì)均勻模式的直方圖，然后歸一化，接著依據(jù)信息論的熵定義在歸一化后的均勻模式直方圖計(jì)算每個(gè)子區(qū)域的紋理熵，最后按每個(gè)子區(qū)域不同興趣程度加權(quán)計(jì)算圖像的相似度。實(shí)驗(yàn)證明，該算法具有很好的性能，且因是9個(gè)維度的向量，其檢索效率也大大提高。

1 圖像的紋理特征

1.1 局部二值模式LBP

局部二值模式(Local Binary Pattern, LBP)是通過計(jì)算圖像當(dāng)前像素點(diǎn)和其鄰域內(nèi)各個(gè)像素點(diǎn)之間的灰度值差異來描述圖像的局部紋理特征[11-12]。使用線性插值在不同尺度下描述圖像的LBP紋理特征，(P,R)數(shù)值對(duì)表示以當(dāng)前像素M(x,y)為中心、半徑為R的圓環(huán)鄰域內(nèi)均勻間隔分布的P個(gè)像素點(diǎn)。這P個(gè)像素點(diǎn)構(gòu)成了一個(gè)以R為半徑的中心對(duì)稱環(huán)形的局部結(jié)構(gòu)，也稱為P鄰域，如圖1所示。

圖1 不同鄰域的LBP算子

圖1所示是兩個(gè)LBP算子，圖1(a)是(8,1)鄰域的算子，其以當(dāng)前像素為中心，半徑為1個(gè)單位的圓環(huán)中均勻分布上采樣8個(gè)像素點(diǎn)作為L(zhǎng)BP算子。圖1(b)是(16,2)鄰域的LBP算子，其原理類似(8,1)的LBP算子。圖中圓環(huán)上的點(diǎn)對(duì)應(yīng)的坐標(biāo)為：

(1)

當(dāng)圓環(huán)上的像素點(diǎn)不是落在整數(shù)坐標(biāo)時(shí)，對(duì)該像素點(diǎn)進(jìn)行線性插值。根據(jù)LBP的定義，中心像素點(diǎn)M(x,y)的LBP值可由公式(2)計(jì)算：

(2)

其中s(z)是一個(gè)閾值函數(shù)，其定義為：

(3)

圖2是(8,1)領(lǐng)域LBP算子的計(jì)算過程。其中圖2(a)為假設(shè)的原圖像的像素分布，圖2(b)是在原圖像的基礎(chǔ)上根據(jù)公式(2)計(jì)算的結(jié)果，圖2(c)為每個(gè)二進(jìn)制位的權(quán)值。

圖2 (8，1)鄰域的LBP計(jì)算過程

圖2中(8,1)鄰域的LBP算子的模式為：Patten=11110001,對(duì)應(yīng)的LBP值為：LBP=1+16+32+64+128=241。

1.2 均勻模式

不同的LBP算子對(duì)圖像的運(yùn)算會(huì)產(chǎn)生不同的二進(jìn)制模式，半徑為R的圓環(huán)區(qū)域內(nèi)采用P個(gè)采樣點(diǎn)的LBP算子將會(huì)產(chǎn)生P2種二進(jìn)制模式。很明顯隨著采樣點(diǎn)的增加，二進(jìn)制模式的種類會(huì)出現(xiàn)指數(shù)性的增加。例如20個(gè)采樣點(diǎn)，將高達(dá)220=1 048 576種二進(jìn)制模式。如此巨量的紋理二進(jìn)制模式無論是對(duì)于紋理的提取，還是對(duì)于紋理的識(shí)別和距離計(jì)算等都是不利的。

針對(duì)這種情況采用一種均勻模式(Uniform Pattern)來對(duì)LBP算子的模式種類進(jìn)行降維。均勻模式就是一個(gè)二進(jìn)制序列，從0到1或是從1到0的變化不超過2次。比如00000000(0次跳變)，00000111(只含一次從0到1的跳變)，10001111(先由1跳到0，再由0跳到1，共兩次跳變)都是均勻模式。除均勻模式類以外的模式都?xì)w為另一類，稱為混合模式類。(8,1)鄰域的LBP算子的均勻模式共有58個(gè)，加上一個(gè)混合模式，總共就有59種模式，這大大降低了圖像檢索的維度，同時(shí)相比于DLBP在紋理上也沒有造成損失。均勻模式的計(jì)算如下：

(4)

其中：

(5)

2 圖像的加權(quán)分布紋理熵

2.1 對(duì)圖像進(jìn)行非均勻劃分

對(duì)圖像進(jìn)行子塊的劃分，是基于圖像紋理空間分布的差異性。文中對(duì)原始圖像進(jìn)行的子塊劃分，同時(shí)考慮到圖像檢索中感興趣的目標(biāo)往往分布于圖像中央附近的特點(diǎn)以及LBP紋理具有統(tǒng)計(jì)的特性，因此對(duì)圖像的分塊進(jìn)行不均勻化處理。如圖3(a)所示，以圖像4邊的8個(gè)4分位點(diǎn)(4分位點(diǎn)就是到最近頂點(diǎn)的距離為所在邊長(zhǎng)的四分之一的點(diǎn))為基點(diǎn)把原始圖像分為9個(gè)大小不均的子塊(s_0,s_1,…,s_8)，中央?yún)^(qū)域s_0為關(guān)鍵區(qū)域，其面積最大，該區(qū)域的紋理特征最有代表性。同時(shí)其他區(qū)域面積的大小也與該區(qū)域紋理的重要性成正比，這符合圖像檢索中興趣目標(biāo)的分布特點(diǎn)。

圖3 子圖劃分及權(quán)值分布

人眼在看一幅圖片的時(shí)候，對(duì)感興趣區(qū)域的關(guān)注程度與其面積成反比，而且往往都是先關(guān)注圖像中央部分的信息，邊緣部分的信息就被弱化了，為此對(duì)每個(gè)子圖塊賦予權(quán)值：

(6)

其中i表示子圖塊i，w_i表示其各個(gè)子圖塊的權(quán)值，而s_0區(qū)域的權(quán)值為α+w_0，α為區(qū)域偏重權(quán)值。α越大，中央?yún)^(qū)域的紋理特征對(duì)圖像檢索貢獻(xiàn)越大，就越弱化圖像周邊的信息，本文算法中α取為0.2。

2.2 紋理熵提取

LBP紋理直方圖描述的是不同紋理模式在整幅圖像中的分布情況，其具有旋轉(zhuǎn)不變性、平移不變性和尺度不變性。圖像的LBP直方圖可以定義為：

(7)

其中k=0,1,…,n-1，n表示不同LBP模式的總數(shù)量，也等于直方圖的bin數(shù)。其中k表示一個(gè)LBP模式，其值取決于所使用的LBP算子。I(u)函數(shù)的定義如下：

(8)

由此計(jì)算得到圖像的直方圖向量(H0,H1,…,Hn)，依據(jù)公式(9)將紋理直方圖歸一化為(h1,h2,…,hn)。

(9)

將其看作不同紋理模式在圖像中出現(xiàn)的概率密度函數(shù)，根據(jù)信息熵的概念，圖像的紋理熵可表示為公式(10)，其中hn為該紋理在圖像中出現(xiàn)的概率。因其把圖像紋理直方圖由多維降到一維，所以提高了圖像的檢索效率。

(10)

3 相似性度量

圖像的相似性度量在圖像的檢索技術(shù)中是一個(gè)比較關(guān)鍵的環(huán)節(jié)，它描述了圖像相似的程度，直接影響到圖像的檢索結(jié)果。馬氏(Manhanttan)距離能準(zhǔn)確匹配噪聲圖像和遮擋圖像，具有很高的可靠性和穩(wěn)定性，同時(shí)相比歐氏距離具有更低的時(shí)間復(fù)雜度。在數(shù)據(jù)集中對(duì)每一個(gè)圖像提取N維的特征值X，其中X={x1,x2,…,xN}，查詢圖像的特征值Y，其中Y={y1,y2,…,yN}。則馬氏距離的計(jì)算公式如下：

(11)

由公式(11)可以看出，向量X和向量Y越相似，則D(X,Y)越小，反之則越大。

4 算法步驟

算法步驟如下：

(1)對(duì)三通道的RGB圖像使用公式(12)把數(shù)據(jù)庫(kù)的圖像和查詢圖像轉(zhuǎn)換為灰度圖。

I(i,j)=0.3R(i,j)+0.59G(i,j)+0.11B(i,j)

(12)

(2)根據(jù)上述圖像分塊方法把數(shù)據(jù)庫(kù)圖像和查詢圖像分為(s_0,s_1,…,s_8)共9個(gè)子塊圖像。并根據(jù)公式(6)結(jié)合區(qū)域偏重權(quán)值α計(jì)算各個(gè)子塊圖像的權(quán)值(α+w_0,w_1,…,w_8)。

(3)根據(jù)上述圖像LBP的紋理提取方法采用(8,1)鄰域?qū)γ總€(gè)圖像各個(gè)子塊單獨(dú)提取Uniform Pattern LBP紋理，依據(jù)公式(7)統(tǒng)計(jì)每個(gè)子塊圖的LBP模式直方圖(H0,H1,…,Hn)，其中直方圖每一個(gè)bin表示一個(gè)LBP模式。

(4)對(duì)步驟(3)中求得的各個(gè)子塊圖的直方圖(H0,H1,…,Hn)進(jìn)行歸一化得到(h0,h1,…,hn)，依據(jù)公式(10)求得各個(gè)子塊圖的紋理熵TE，接著對(duì)每個(gè)圖像子塊圖的紋理熵按固定次序組合為整個(gè)圖像的紋理熵向量(TE0,TE1,…,TE8)。

(5)將由步驟(4)求得的查詢圖像紋理熵query(TE0,TE1,…,TE8)和數(shù)據(jù)庫(kù)圖像紋理熵依據(jù)公式(11)并對(duì)應(yīng)結(jié)合步驟(2)中求得的子塊分布權(quán)值(α+w_0,w_1,…,w_8)計(jì)算查詢圖像和數(shù)據(jù)庫(kù)各個(gè)圖像的相似度距離(d0,d1,…,dm)。

(6)對(duì)(d0,d1,…,dm)從小到大進(jìn)行排序，取其前N個(gè)相似度距離值對(duì)應(yīng)的圖像返回作為檢索結(jié)果。

5 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)所使用的配置為：型號(hào)是Lenovo 的Z500，Intel(R) Core(TM) i7-2635QM CPU @2.00 GHz的4核CPU，8.00 GB的RAM，64 bit Windows 10操作系統(tǒng)，使用MATLAB R2014a 進(jìn)行算法實(shí)現(xiàn)和分析。

本文實(shí)驗(yàn)使用的數(shù)據(jù)集為Corel數(shù)據(jù)集共5 000張。其中包含50類圖像，分別是風(fēng)景、馬、人物、汽車、花朵、建筑、大山、恐龍、食物、大象，老虎、蔬菜、人物、杯子等，每一類圖像都包含100張不一樣的圖像。

圖6 汽車檢索結(jié)果

在本文中使用查準(zhǔn)率(Precision)和查全率(Recall)評(píng)估圖像檢索算法的性能。Precision是指檢索到與查詢圖像相似的圖像數(shù)P與當(dāng)前檢索結(jié)果中圖像總數(shù)T的比值，用于評(píng)估圖像檢索算法檢索結(jié)果的準(zhǔn)確性。Recall是指檢索到與查詢圖像相似的圖像數(shù)P與數(shù)據(jù)集中所有與查詢圖像相似的圖像總數(shù)R的比值。計(jì)算Precision和Recall的公式如下:

Precision=P/T

(13)

Recall=P/R

(14)

實(shí)驗(yàn)中，從數(shù)據(jù)集中的每一類隨機(jī)抽取10張圖像作為查詢圖像，隨機(jī)抽取30個(gè)類別。統(tǒng)計(jì)所有查詢圖像的查準(zhǔn)率和查全率的平均值作為最后的評(píng)估結(jié)果。

從圖4中可以看出兩種算法的平均查準(zhǔn)率都隨著圖像的返回?cái)?shù)量的增加而減少。而本文算法在同等的圖片返回?cái)?shù)量時(shí)其查準(zhǔn)率要優(yōu)于LBP算法。

圖4 查準(zhǔn)率隨返回圖像數(shù)量的對(duì)比

圖5為本文算法和原LBP算法的查全率和查準(zhǔn)率對(duì)比圖，可以看出本文算法要優(yōu)于LBP算法。

圖5 查準(zhǔn)率和查全率的關(guān)系對(duì)比

圖6為應(yīng)用本文算法在Corel數(shù)據(jù)集上檢索汽車的結(jié)果，此時(shí)的查準(zhǔn)率為100%。

6 結(jié)論

針對(duì)一些基于紋理的圖像檢索算法上存在的不足，本文提出一種基于LBP的不均勻加權(quán)紋理熵的圖像檢索算法。該算法先對(duì)圖像作不均勻的分塊，然后對(duì)每個(gè)子塊使用均勻模式的LBP計(jì)算其紋理熵并用來描述其紋理特征，最后基于各個(gè)子塊的重要性加權(quán)計(jì)算圖像的相似度。該算法的優(yōu)點(diǎn)在于，相對(duì)于傳統(tǒng)的LBP算法，保留了圖像空間分布的信息，同時(shí)也不因?yàn)閳D像的分塊而增加特征的維數(shù)。因?yàn)樵撍惴ǖ奶卣骶S度只有9個(gè)，大大提升了圖像的檢索效率。該算法基于均勻模式LBP提取圖像紋理熵,克服了CS-LBP和DLBP缺失部分紋理模式的缺點(diǎn)。同時(shí)不均勻子塊的分割，符合大部分圖像的關(guān)鍵興趣點(diǎn)區(qū)域特征，偏向權(quán)重的設(shè)置弱化圖像不相關(guān)信息的干擾。實(shí)驗(yàn)結(jié)果表明，本文算法具有較好的檢索效果。

[1] Zhang Ming, Zhang Ke, Feng Qinghe, et al. A novel image retrieval method based on hybrid information descriptors[J]. Journal of Visual Communication and Image Representation, 2014, 25 (7):1574-1587.

[2] Guo Jingming, PRASETYO H. Content-based image retrieval using features extracted from halftoning-based block truncation coding[J]. IEEE Transactions on Image Processing, 2015, 24(3): 1010-1024.

[3] 孫晉.基于概率密度和ASIFT的彩色圖像檢索方法[J].微型機(jī)與應(yīng)用,2014,33(13):32-34.

[4] Guo Xian, Huang Xin, Zhang Liangpei. Three-dimensional wavelet texture feature extraction and classification for multi/hyperspectral imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(12): 2183-2187.

[5] Hong Xiaopeng, Zhao Guoying, PIETIKAINEN M, et al. Combining LBP difference and feature correlation for texture description[J]. IEEE Transactions on Image Processing, 2014, 23(6):2557-2568.

[6] ARASHLOO S R, KITTLER J.Dynamic texture recognition using multiscale binarized statistical image features[J]. IEEE Transactions on Multimedia, 2014,16(8):2099-2109.

[7] MANJUNATH B S, MA W Y. Texture features for browsing and retrieval of image data[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996, 18(8):837-842.

[8] GLUCKMAN J. Visually distinct patterns with matching subband statistics[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(2):252-264.

[9] HEIKKILA M, PIETIKAINEN M, SCHMID C. Description of interest regions with local binary pattern[J]. Pattern Recognition,2009,42(3):425-436.

[10] Liao Shu, CHUNG A C S. Dominant local binary patterns for texture classification [J].IEEE Transactions on Image Processing， 2009， 18(5): 1107-1118．

[11] OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution gray scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7):971-987.

[12] OJALA T, PIETIKAINEN M, MAENPAA T, et al. Outex-new framework for empirical evaluation of texture analysis algorithms[C]. 16thInternational Conference on Pattern Recognition,2002:701-706.

Image retrieval algorithm based on LBP weighting distributed texture entropy

Zhu Huimin

(College of Information Engineering, Guangdong University of Technology, Guangzhou 510006，China)

By analyzing the current researches of the texture-based image retrieval algorithm，we point out the defect of each algorithm. This paper proposes a new image retrieval algorithm based on LBP weighting distributed texture entropy. Firstly, based on the distribution of key region of interest, the image is divided into nine sub-graphs. Then we extract texture features of each sub-graph according to the Uniform Pattern LBP and texture entropy is calculated combined with information theory in each sub-graph. After that the texture entropies of the nine sub-graphs are merged as the texture feature vector of the whole image. Finally, the image vector is weighted according to the importance of the feature vector elements corresponding to each region of interest for image retrieval. Compared with the traditional LBP algorithm, this algorithm preserves the image space information, and the region weight weakens the irrelevant information. At the same time the 9-dimension feature vector accelerates the image retrieval efficiency. The experimental results show that this algorithm can obtain better retrieval performance.

image retrieval; LBP; non-uniform distribution; texture entropy; uniform pattern

TP391.4

A

10.19358/j.issn.1674- 7720.2017.16.013

朱慧敏.基于LBP的加權(quán)分布紋理熵的圖像檢索算法[J].微型機(jī)與應(yīng)用，2017,36(16)：44-47，52.

2017-02-27)

朱慧敏(1989-)，通信作者，女，碩士研究生，主要研究方向：圖像處理、圖像檢索、模式識(shí)別。E-mail: yenzhu@126.com。