杜飛

（商丘師范學院，河南 商丘 476000）

基于內(nèi)容的圖像檢索相關反饋

杜飛

（商丘師范學院，河南 商丘 476000）

隨著多媒體、網(wǎng)絡技術的迅速發(fā)展,圖像信息的應用日益廣泛,對規(guī)模越來越大的圖像數(shù)據(jù)庫、可視信息進行有效的管理成為迫切需要解決的問題,靈活、高效、準確的圖像檢索策略是解決這一問題的關鍵技術之一。

圖像；檢索；反饋

隨著多媒體、網(wǎng)絡技術的迅速發(fā)展,圖像信息的應用日益廣泛,對規(guī)模越來越大的圖像數(shù)據(jù)庫、可視信息進行有效的管理成為迫切需要解決的問題,靈活、高效、準確的圖像檢索策略是解決這一問題的關鍵技術之一。傳統(tǒng)的圖像檢索基于文本方式,使用關鍵字或自由文本描述圖像數(shù)據(jù)庫中的每幅圖像,采用文本匹配檢索。但目前計算機視覺技術還不成熟,達不到對圖像的描述性關鍵字和語意信息的自動提取,而人工提取一方面費時,另一方面帶有主觀性;同時,圖像的某些可視信息,例如紋理、形狀等,很難用文本準確描述。因此,人們提出了基于圖像內(nèi)容的圖像檢索(CBIR)技術。這種技術由機器自動提取包含圖像內(nèi)容的可視特征:顏色、紋理、形狀、對象的位置和相互關系等,對數(shù)據(jù)庫中圖像和查詢樣本圖像在特征空間進行相似匹配,檢索出與樣本相似的圖像。此技術的核心是包含圖像內(nèi)容的可視特征,稱為基于內(nèi)容的圖像檢索技術。基于內(nèi)容的圖像檢索融合了圖像理解、模式識別等技術,克服了傳統(tǒng)檢索方法的缺陷,具有無法比擬的優(yōu)越性,該技術的研究已成為當前的熱點。

一、在圖像檢索相關反饋方面國內(nèi)外的研究情況

目前比較流行的相關反饋圖像檢索方法有以下幾種:（1）基于前向傳播神經(jīng)網(wǎng)絡(簡稱FP神經(jīng)網(wǎng)絡)進行自學習的圖像檢索方法。（2）基于支持向量機的相關反饋圖像檢索算法。（3）異種特征的組合查詢和相關反饋。

二、系統(tǒng)總體設計

本系統(tǒng)主要是由檢索與反饋兩部分組成。系統(tǒng)開始時進行圖像的特征提取，然后進行相似匹配，返回匹配結果時要由用戶判斷是否滿意，如果滿意則輸出結果程序終止，若不滿意則根據(jù)反饋特征信息重新調(diào)整相似匹配特征再次進行形似匹配，最終達到用戶滿意。

本系統(tǒng)運用了異種特征的組合查詢和相關反饋技術，與其他反饋算法相比，有效地增強了CBIR系統(tǒng)的靈活性，改進了系統(tǒng)的檢索性能。使用異種特征的組合查詢的關鍵在于正確設定個別特征的權重，該方法對復雜圖像的檢索性能有明顯的改善。當用戶使用不恰當?shù)奶卣鳈嘀刂祦斫M合查詢時，系統(tǒng)能夠通過相關反饋技術來調(diào)整特征權重值，能夠更加有效地組合異種特征來提高系統(tǒng)檢索的準確性。反饋的次數(shù)沒有限制，原則上直到用戶滿意為止，但一般使用三次反饋就已經(jīng)接近能獲得的最優(yōu)性能。

三、數(shù)據(jù)庫的建立和連接

本系統(tǒng)的數(shù)據(jù)庫是在Access 2000下建立并連接的。Access 2000作為Office 2000的有機組成部分，與其他組件共同組成Office 2000家族，為辦公軟件提供了相當完善的解決方案。Access 2000提供了表生成器，查詢生成器、報表設計器等許多便捷的可視化操作工具以及數(shù)據(jù)庫向?qū)?、表向?qū)А⒉樵兿驅(qū)?、窗體向?qū)?、報表向?qū)У缺姸嘞驅(qū)В@些工具和向?qū)闃嬙旃δ芡晟频臄?shù)據(jù)庫管理系統(tǒng)提供了極大便利。對于初級用戶和簡單應用，不必編寫任何代碼，只需通過直觀的可視化操作就能完成大部分數(shù)據(jù)管理任務。同時，Access 2000為專業(yè)數(shù)據(jù)庫開發(fā)人員提供 Visual Basic for Application (VBA)程序設計語言，完善兼容Visual Basic，便于高級用戶開發(fā)完善界面豐富多彩的面向?qū)ο蟮臄?shù)據(jù)庫管理系統(tǒng)。本系統(tǒng)需要事先在Access 2000中建立一個用來存放圖像特征的特征數(shù)據(jù)庫，該數(shù)據(jù)庫命名為Mydb，在“我的文檔”數(shù)據(jù)庫中新建“數(shù)據(jù)表視圖”命名為“Pictureprop，先在Windows中注冊，因為未經(jīng)注冊的數(shù)據(jù)庫是不能夠被程序調(diào)用的。

創(chuàng)作步驟如下：

1.進入Access 2000選擇建立一個空的Access數(shù)據(jù)庫。

2.命名為Mydb存放在“我的文檔”中，單擊創(chuàng)建。

3.在數(shù)據(jù)表視圖中新建一個名為Pictureprop的數(shù)據(jù)表視圖。并將事先已經(jīng)提取好的圖像特征存入表中。

4.在控制面板中，可以找到一個叫ODBC數(shù)據(jù)源的可執(zhí)行命令，雙擊該命令后彈出一對話框，選擇“Microsoft Access Driver(＊.mdb),單擊完成。在彈出的對話框中的“數(shù)據(jù)源名”中寫入剛剛創(chuàng)建的Mydb后，該數(shù)據(jù)庫的創(chuàng)建和注冊已經(jīng)完成。

四、相關反饋算法的簡介

在很多情況下，用戶的查詢目標很難通過一幅或幾幅示例圖像來精確表達。檢索系統(tǒng)需要一種手段以更大程度地利用用戶的知識來輔助查詢。信息檢索領域的研究已經(jīng)證明：讓用戶交互式地參與檢索的整個過程，使系統(tǒng)充分利用用戶的知識能力，可以明顯地改進檢索的性能。相關反饋就是一種由用戶指引計算機去找到相關信息的機制。其過程是，系統(tǒng)按用戶的查詢要求檢索出一組圖像返回給用戶。用戶瀏覽結果集合，挑選出滿意和不滿意的結果，并把對結果的評估反饋給系統(tǒng)，系統(tǒng)從用戶的標注中分析用戶的查詢需要，并自動調(diào)整查詢特征形成一個新的查詢。如此循環(huán)，直到用戶滿意查詢結果為止。可見，它是一個逐步精益求精的過程，通過特征調(diào)整、重新匹配的循環(huán)過程來定位用戶所期望的圖像。用戶不必負責分配特征的權重值，只要告訴系統(tǒng)對檢索到的圖像滿意或者不滿意即可。系統(tǒng)通過分析用戶的反饋來了解用戶最感興趣的是哪些特征，并在檢索過程中通過動態(tài)調(diào)整特征的權重值來精化查詢。

下面將討論如何根據(jù)用戶的相關反饋來調(diào)整特征權重。設用戶的組合查詢中組合了r種特征，系統(tǒng)基于單個特征檢索出K個最相似的圖像集合：

用戶的反饋信息Score=[Scorel,……Scorei，……Scorek]返回給系統(tǒng)。

系統(tǒng)要根據(jù)用戶反饋重新計算特征fj的權重值wj，該值應該反映出特征fj的檢索與用戶的檢索需求之間的對應程度。

系統(tǒng)首先求出RTj中的第i個圖像的相關系數(shù)：如果出現(xiàn)在RT中則，就等于用戶為該圖像指定的相關系數(shù)；如果落在RT之外，我們就認為它是部分相關的其為0特征fj的權重值wj按以下公式來計算：

可以看出，當同時出現(xiàn)在RTj這兩個圖像集合中的相關圖像數(shù)目越多時，特征fj的權重值wj就越高，也就是說，特征越能反映用戶的信息需求，在檢索過程中的重要性越大。系統(tǒng)按照計算出來的權重值重構查詢特征，進行下一次檢索。重復以上過程，查詢被逐漸精化而接近用戶的期盼。

1.相關反饋算法的具體實現(xiàn)

（1）基于紋理檢索

在數(shù)據(jù)庫中的圖像每個圖像有14個屬性，前7個為紋理屬性，后7個為形狀屬性。定義了一個二維數(shù)組data[50][14]用來存放數(shù)據(jù)庫中的圖像屬性。對于已經(jīng)打開的示例圖像的屬性存放在prop[14]數(shù)組中。首先在代碼的最開始定義一些變量。

（2）基于形狀檢索

數(shù)據(jù)庫中圖像與示例圖像形狀差值

然后對數(shù)據(jù)庫中的圖像與示例圖像的差值進行比較排序，比較出差值最少的5幅圖像作為形狀檢索最接近的5幅圖像。這樣就可以獲得紋理和形狀2組檢索后最接近的圖像代號。

（2）紋理+形狀綜合檢索

（4）獲取權重值

獲取權重值的過程包括將用戶的反饋信息傳達給系統(tǒng)→分析用戶的反饋信息→通過比較算出重新分配的權重值。

程序流程圖如下：

因為在窗體上定義了10個按扭，在每幅圖像下面有（yes和no）兩個選項，用戶可以選擇圖像是否滿意。自定義的變量number表示最終用戶所滿意的圖像的個數(shù)，k則表示用戶不滿意的圖像的個數(shù)。通過以上比較，可以最終確定用戶滿意與不滿意的圖像個數(shù)和圖像對應代號。

2.按照重新分配的權重值重新檢索

重新檢索的過程實際于基于（紋理+形狀）的過程和做法很相似，并且在最終排序過程時根據(jù)用戶已經(jīng)給予肯定的圖像數(shù)目進行削減。假如用戶在第一次檢索中已經(jīng)選擇了3幅圖片可用，那么在二次再檢索中只要在檢索出2幅最相似的就可以。

3.多次檢索反饋最終達到滿意的結果

如果兩次檢索還不能夠達到用戶滿意的結果，那么可以多次檢索不斷修正特征權重值來達到最終用戶滿意的結果。

TN

A

1673-0046（2010）5-0165-02