盛仲飆

互信息在圖像檢索中的應(yīng)用

盛仲飆

介紹了一種用互信息來衡量相似性圖像檢索方法。該方法首先生成一種在統(tǒng)計上有代表性的視覺模式，使用這種模式的分布作為圖像內(nèi)容的描述符；基于該內(nèi)容描述，設(shè)計了其互信息的計算方法以衡量圖像的相似性。實驗結(jié)果表明，在圖像檢索中，相對于其它如KL散度和L2規(guī)范等方法，互信息是一種更為有效的衡量相似性的方法。

圖像檢索; 互信息；高斯金字塔；顏色直方圖

0 引言

基于內(nèi)容的圖像索引和檢索是目前計算機(jī)視覺、圖像數(shù)據(jù)庫與知識挖掘領(lǐng)域最活躍的研究熱點之一。 它直接對圖像進(jìn)行分析和抽取特征，利用這些描述圖像內(nèi)容的特征建立索引；其實質(zhì)是一種近似匹配的技術(shù)，采用某種相似性度量對圖像庫中的圖像進(jìn)行匹配，以獲得查詢結(jié)果。

相似性測度是圖像索引中的一個關(guān)鍵環(huán)節(jié)，測度的選擇是否合理，直接影響到圖像檢索的準(zhǔn)確性?；バ畔⒆鳛橐环N相似性測度方法有很多優(yōu)點，首先，互信息測量了變量之間的普遍性統(tǒng)計關(guān)系。其次，對于變量的單調(diào)線性變換，其互信息是不變的；再次，互信息能夠直觀說明相似性大小。利用互信息作為相似性的衡量標(biāo)準(zhǔn)，檢索結(jié)果是和樣本圖像具有最大的互信息的圖像，或者說，這些被檢索的圖像應(yīng)該能表達(dá)樣本圖像的最大信息量[1-5]。

1 互信息相似度量的圖像表示

圖像的內(nèi)容描述往往采用顏色和紋理特征[1]。圖像的表示方法對相似性測量效果有直接的影響。在沒有標(biāo)準(zhǔn)的圖像內(nèi)容表示法時，本文采用了這樣的一種方法：學(xué)習(xí)統(tǒng)計上有代表性的視覺模型，它同時描述了圖像紋理和顏色分布特性。

首先把一個給定的圖像分解成一個多層次的高斯金字塔，在每一級，該圖像由對立的色彩空間來表示，令表示圖像金字塔的第級圖像，這些圖像然后轉(zhuǎn)換到一個對立空間。用空間，在每一級形成像素的圖像補?。▔K）。令為第l級圖像補丁，對于每一個補丁塊，我們建立的向量了形式如公式（1）

其中，al 是非彩色外觀向量，cl 是Bl(i, j)塊的彩色向量。對于各級金字塔，使用單一均勻尺寸（4×4像素）的塊，它覆蓋的了原圖像的中面積為4×4，8×8，16×16，32×32，...的像素區(qū)域，覆蓋面積取決于向量在金字塔的哪一級。然后，使用矢量量化來為非彩色向量（所有分辨率）和彩色向量（依然是所有分辨率）設(shè)計各自的碼本。顯然非彩色向量為16維，彩色向量為8維。

設(shè)計好的碼本就可以代表圖像的內(nèi)容，一個圖像通過如下四個步驟來檢索：

（1）將圖像分解成一個L級高斯金字塔；

（2）對于每個l級（l = 1, 2, …, L），將圖像分成4×4塊（相互可以交疊），對每一塊，通過(1)來計算消色差和彩色向量，并且根據(jù)各自的碼本，對這些向量進(jìn)行編碼。

（3）對于每個l級（l = 1, 2, …, L）,構(gòu)建一個非彩色視覺模式直方圖和彩色視覺模式直方圖, 這些直方圖記錄在對圖像塊進(jìn)行編碼時每個碼字的出現(xiàn)頻率。

（4）連接各級消色差和色彩直方圖來構(gòu)建最終圖像符。

3 互信息及其計算

假設(shè)X = (x1, x2, …, xn), Y = (y1, y2, …, yn)是二進(jìn)制碼的直方圖，xi 和 yi 是相應(yīng)直方圖的第n個二進(jìn)制數(shù)。X 和Y 的互信息[3,10,13]定義為公式（2）：

其中，H(X) 是X直方圖的香農(nóng)熵，由二進(jìn)制數(shù)的概率分布計算可得。此處的香農(nóng)熵不同于圖像熵，圖像熵可以由二進(jìn)制數(shù)直接計算可得。將X的二進(jìn)制數(shù)設(shè)為a，0≤a≤1。二進(jìn)制數(shù)的概率分布可以定義如公式（3）：

其中，δ是狄拉克δ函數(shù)。在離散情況下，a是一個不連續(xù)的量，積分用“和”來代替。 H(X|Y) 是基于條件概率P(X = a | Y = b)的條件熵，在Y的值為b的情況下X為a的概率。

熵是一種不確定性度量。因此，方程式（2）的含義為當(dāng)直方圖X的不確定度減去直方圖Y(Y的內(nèi)容)已知時X的不確定度。因此，當(dāng)Y已知時，X的不確定度減少的量為交互信息I(X; Y)，或者說，Y包含了關(guān)于X的信息量。交互信息是對稱的，也就是說I(X; Y) = I(Y; X)，因此互信息也是x中包含的關(guān)于Y的信息量。

互信息也可以定義為直方圖的聯(lián)合概率分布為公式（4）：

估計直方圖X和Y的聯(lián)合概率P(a, b)=P(X=a, Y=b)，最簡單的辦法就是計算相應(yīng)的二進(jìn)制碼值的共生矩陣。共生矩陣可以記為CM(a, b)，它記錄了二進(jìn)制量X (其值為a)與相應(yīng)的二進(jìn)制量Y(其值為b)一致的次數(shù)。這與應(yīng)用于紋理特性的共生矩陣類似公式(8)。基于圖像配準(zhǔn)的交互信息使用了一種類似的方法來估計兩個圖像的聯(lián)合概率[6]。聯(lián)合概率通過記錄除以共生矩陣記錄的總次數(shù)來獲得聯(lián)合概率。P(X=a) 和P(Y=b)的邊緣分布可以通過共生矩陣的行和或者列和得到。

聯(lián)合概率也可以使用Parzen窗口技術(shù)來估計得到[7]。假定vi = (xi, yi)，uj = (xj, yj)為對應(yīng)X，Y的二進(jìn)制值，vi = (xi, yi)聯(lián)合概率可以定義為：

4 實驗結(jié)果

大量實驗來研究基于交互信息的圖像檢索的性能。我們所使用的數(shù)據(jù)庫是Corel庫存圖像數(shù)據(jù)的集合。對于每張圖像，我們都使用了3級高斯金字塔，彩色和消色差模式的密碼長度都是64位。

在實驗中，我們進(jìn)一步定義了2種基于交互信息的相似性度量方式。歸一化的互信息定義為公式（6）：

信息距離測度(MID)定義為公式（7）：

其中，H(X, Y)為相關(guān)平均信息量，MID滿足距離公理：MID(X, Y) ≥ 0, MID(X, X) = 0, MID(X,Y)=MID(Y, X),MID(X,Y)+MID(Y, Z)≥MID(X, Z).

作為比較，我們同樣完成了KL散度測量，標(biāo)準(zhǔn)相關(guān)度、歐幾里得距離作為相似性度量。

假定Qi作為第i級查詢圖像，i=1,2…,k,并且令Qi(1), Qi(2),…,Qi(Ni)作為Ni 個查詢圖像Qi的 “正確” 答案。我們定義了如下的平均累計召回措施為公式（8）：

顯然，較大的RC(1)，性能就越好。 我們還定義了下面的精度測量為公式（9）：

同樣，較大的PR(1)所對應(yīng)的性能越好。選擇3個類動物圖像作為查詢實例和目標(biāo)圖像，它們是獵豹，老虎，獅子的動物形象。圖像數(shù)據(jù)庫的總大小是10,000。對于每一種相似性的衡量措施，交互信息（MI），歸一化互信息（NMI），交互信息距離（MID），利用Kullback-Leibler散度（KLD），歸一化相關(guān)（NC），和歐氏距離（ED），我們進(jìn)行了300次查詢，就是每個獅子，老虎，獵豹類別中的圖像都被用來作為一個查詢。這些查詢的檢索率和精確性如圖1和2所示：

圖1.不同相似性度量的召回率

圖2. 不同相似性度量的精確度

從圖1和2可以看出，交互信息衡量相似性的表現(xiàn)優(yōu)于其他措施。我們注意到交互信息定義量X和Y等于Kullback_Leibler 分散度而且和Kullback_Leibler發(fā)散角有密切的關(guān)系，事實上，交互信息I(X,Y)介于聯(lián)合概率函數(shù)P(X，Y)和概率函數(shù)p(x)和P(Y)的積之間。然而，我們的結(jié)果清楚地表明，相比Kullback_Leibler散度，交互信息是一種更有效的相似性度量手段。

5 總結(jié)

在本文中，我們引入了基于交互信息的圖像檢索方法，驗證了可以使用交互信息作為圖像間相似性度量。兩個圖像具有更高的交互信息，意味著知道了一個圖像能表達(dá)另一個圖像更多的信息，因此互信息自然是一種衡量圖像間相似性的手段。最后設(shè)計了一種計算圖像的視覺直方圖之間交互信息的方法，實驗結(jié)果證明了相比于所廣泛使用的方法，交互信息衡量手段具有很大的優(yōu)越性。這種方法可以很容易地擴(kuò)展到其他的圖像內(nèi)容描述符，如顏色相關(guān)圖、MPEG-7顏色描述符和其他廣泛使用的圖像描述符。

[1] Minakshi Banerjee, MalayK. Kundu, Pradipta Maji.Content-based image retrieval using visually significant point features, [C]Fuzzy Sets and Systems 2009,160: 3323–3341

[2] Thomas Hurtut, Yann Gousseau, Francis Schmitt, Adaptive image retrieval based on the spatial organization of colors, [J]Computer Vision and Image Understanding, 2008, 112 : 101–11

[3] Maciej A. Mazurowski, Joseph Y. Lo, Brian P. Harrawood, Mutual information-based template matching scheme for detection of breast masses: From mammography to digital breast tomosynthesis, [J]Journal of Biomedical Informatics, 2011, 44: 815–823 815–823

[4] Feng Wanga, Cheng Yang, Zhiyi Lin, Yuanxiang Li, Yuan Yuan, Hybrid sampling on mutual information entropy-based clustering ensembles for optimizations, [C]Neurocomputing, 2010, 73: 1457–1464

[5] 陳偉卿.基于互信息的醫(yī)學(xué)圖像剛性配準(zhǔn)研究[D].大連理工大學(xué),2010:26-30.

[6] 譚立球.基于本體的圖像檢索相關(guān)技術(shù)研究[D].中南大學(xué),2009(5):65-74.

[7] 陳慶芳.基于分塊互信息的圖像匹配[J].計算機(jī)工程與應(yīng)用,2011,47(9):160-162.

Application of Mutual Information in Image Retrieval

Sheng Zhongbiao
(School of Mathematics and Information Science, Weinan Normal University, Weinan 714000,China)

An approach for image retrieval using mutual information as a similarity measure is presented in this paper. It is based on the premise that two similar images should have high mutual information, or equivalently, the querying image should convey high information about those similar to it. The method first generates a set of statistically representative visual patterns and uses the distributions of these patterns as images content descriptors. To measure the similarity of two images, we develop a method to compute the mutual information between their content descriptors. Two images with larger descriptor mutual information is regarded as more similarity. The experimental results demonstrate that mutual information is a more effective image similarity measurement than others such as Kullback-Leibler divergence and L2 norms.

Image Retrieval; Gaussian Pyramid; Color Histogram.

TP393

A

1007-757X(2014)01-0055-03

2013.12.08)

陜西省教育廳科學(xué)研究計劃（自然科學(xué)專項）項目(2013JK1165)，渭南市自然科學(xué)基礎(chǔ)研究計劃項目（2012KYJ-8）

盛仲飆（1974-），女，陜西渭南人，渭南師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院講師，碩士，研究方向：網(wǎng)絡(luò)計算機(jī)應(yīng)用技術(shù)研究，渭南，714000