穆芳成，孟 放，姚宇航

(1.中國傳媒大學 信息工程學院，北京 100024；2.中國藝術科技研究所，北京 100024)

?

基于SQL/MM的圖像檢索算法實現(xiàn)

穆芳成1，孟 放1，姚宇航2

(1.中國傳媒大學 信息工程學院，北京 100024；2.中國藝術科技研究所，北京 100024)

對于大型圖像數(shù)據(jù)庫，如何實現(xiàn)高效的基于內(nèi)容的圖像檢索成為圖像數(shù)據(jù)庫的主要研究方向之一。SQL/MM標準是一個基于內(nèi)容來處理多媒體數(shù)據(jù)的數(shù)據(jù)庫標準。利用SQL/MM標準中靜態(tài)圖像部分關于圖像基本特征的SQL函數(shù)實現(xiàn)了基于內(nèi)容的圖像檢索，并通過對Corel圖像庫的檢索實驗驗證了標準中所涉及的各項特征的適用范圍以及特性。

SQL/MM標準；Oracle Intermedia平臺；基于內(nèi)容的圖像檢索

20世紀90年代初，軍事、生物以及科學研究等眾多領域產(chǎn)生了大量的圖像數(shù)據(jù)[1]。隨著個人終端設備的發(fā)展，目前個人用戶可獲取的圖像數(shù)據(jù)也越來越多。這些海量圖像數(shù)據(jù)的管理及檢索則變得尤為重要，因此對于海量圖像數(shù)據(jù)檢索成為各個領域研究的重點。

早期圖像檢索的方式只有文本檢索，即人工注釋圖像相關信息，用戶通過注釋的文字進行檢索。這種檢索過程簡單、易于理解。但是隨著圖像數(shù)據(jù)的海量增長，基于文本的檢索對人力資源需求過大；再加上各種圖像資源的豐富性以及復雜性，導致注釋的主觀性以及不準確性。20世紀90年代以來，另外一種基于圖像本身特征而進行檢索的方法——基于內(nèi)容的圖像檢索(Content-Based Image Retrieval，CBIR)[2-3]的研究和應用得到了快速的發(fā)展。比較著名的基于內(nèi)容的圖像檢索系統(tǒng)有：麻省理工研發(fā)的手機圖像檢索系統(tǒng)NETRA[4]、開源桌面圖像檢索系統(tǒng)的imageseek[5]以及現(xiàn)有的Google Similar Images系統(tǒng)等。傳統(tǒng)的SQL標準沒有包含對于圖像處理的部分，直到SQL多媒體和應用包 (SQL Multimedia and Application Packages，SQL/MM)[6-7]標準的加入才有了多媒體數(shù)據(jù)的數(shù)據(jù)庫統(tǒng)一標準。SQL/MM標準是因為SFSQL(Structured Full-text Query Language)[7]標準帶來的問題而產(chǎn)生的。在1991年—1992年期間為了全文檢索而提出了SFSQL標準，由于此標準“劫持”了很多其他機構通用的關鍵詞，導致不同機構與SFSQL之間的矛盾。SQL標準組織由此注意到了SQL擴展的兼容性問題，為了解決兼容性問題，在1992年的東京會議提出了“面向?qū)ο蟮年P系模型”，用來統(tǒng)一多媒體的SQL擴展。最終發(fā)展提出了處理多媒體數(shù)據(jù)的SQL/MM標準。SQL/MM標準使得多媒體數(shù)據(jù)庫能夠更加有效地處理多媒體數(shù)據(jù)。

SQL/MM主要分為6個部分[6-7]，第一部分為FrameWork，即“框架”，就是整體框架部分，用來介紹其余各部分的主要內(nèi)容；第二部分為Full_Text，即“全文”，介紹全文檢索的相關內(nèi)容；第三部分為Spatial，即“空間”，此部分是現(xiàn)今發(fā)展最為成熟且應用最廣泛的一部分，主要介紹關于地理空間信息數(shù)據(jù)的處理；第四部分暫時為空，為以后發(fā)展預留；第五部分為“靜態(tài)圖像”，主要介紹管理靜態(tài)圖像的一些函數(shù)和方法；第六部分為DataMining，即“數(shù)據(jù)挖掘”，主要介紹數(shù)據(jù)挖掘的一些概念和方法。

本文主要通過上述標準中“靜態(tài)圖像”部分實現(xiàn)基于內(nèi)容的圖像檢索，并通過對Corel圖像庫的檢索結(jié)果來驗證了SQL/MM標準的適用性以及適用范圍。

1 SQL/MM靜態(tài)圖像部分以及Oracle Intermedia簡介

SQL/MM標準所提出的靜態(tài)圖像部分用于圖像的管理，此部分為本文基于內(nèi)容的圖像檢索奠定理論基礎?！办o態(tài)圖像”中的大部分函數(shù)適用于各種格式的圖像，可以為現(xiàn)今紛繁復雜的圖像處理帶來便捷。標準中提及“靜態(tài)圖像”可應用的領域[7]眾多，如圖形學、多媒體技術、科學研究和醫(yī)學等領域。同時此標準涵蓋了大部分圖像操作函數(shù)，如存儲、旋轉(zhuǎn)、縮放等，為眾多領域的圖像操作和管理提供了高效的處理方式。

標準中提出了Still_Image數(shù)據(jù)類型，這種數(shù)據(jù)類型用于數(shù)據(jù)庫中直接存儲靜態(tài)圖像數(shù)據(jù)。因此數(shù)據(jù)庫可以直接利用Still_Image類型來更加快捷的管理和查詢靜態(tài)圖像。本文針對此類型的數(shù)據(jù)來進行圖像的查詢操作，并利用標準中此類型的相關函數(shù)對數(shù)據(jù)庫中的圖像進行管理和查詢。

除了Still_Image數(shù)據(jù)類型外，“靜態(tài)圖像”部分還包含圖像的4個基本特征：平均顏色(SI_AverageColor)、顏色直方圖(SI_ColorHistogram)、特定顏色位置(SI_PostionalColor)、紋理(SI_Texture)以及一個綜合的總特征(SI_FeatureList)，具體如下所述：

1) SI_AverageColor：圖像的平均顏色，用于在庫中定位某張圖像，例如，在圖像庫中尋找整體畫面偏綠色的廣告畫，則可以利用此特征進行檢索。

2) SI_ColorHistogram：顏色直方圖，即某種顏色出現(xiàn)的概率。如要從圖形庫中，檢索綠色占30%，黃色30%的圖像，則利用直方圖更加便捷。

3) SI_PositionalColor：特定顏色的位置。例如“海上日落”、“在深藍色的上方有紅色和橘色”等類似的檢索需求，則能利用此處特征。

4) SI_Texture：紋理特征。主要針對紋理較多的圖像檢索而言。

5) SI_FeatureList：圖像綜合特征，通過圖像上述4個基本特征加權得到綜合的特征

myFeatureList=newsi_featurelist(myAvgColor，W1，

myColorHist，W2，myPosColor，W3，myTexture，W4)

(1)

式中：myFeatureList則為圖像綜合特征；si_featurelist()則為生成圖像綜合特征的函數(shù)。si_featurelist()函數(shù)利用圖像的4個基本特征：平均顏色(myAvgColor)、顏色直方圖(myColorHist)、特定顏色的位置(myPosColor)以及紋理(myTexture)，再結(jié)合W1，W2，W3及W4共4個權重系數(shù)生成了圖像的綜合特征。其中4個權重系數(shù)取值范圍均在0.0～1.0之間。

在圖像庫中實現(xiàn)檢索時，通過函數(shù)得出每張圖像的特征值，再通過數(shù)據(jù)庫記錄這些特征值。最后在圖像檢索中利用特征值之間的相似性得分，獲得檢索結(jié)果。

經(jīng)過相關調(diào)查發(fā)現(xiàn)，現(xiàn)有成熟的關系型數(shù)據(jù)庫中只有Oracle數(shù)據(jù)庫可以很好地支持SQL/MM中靜態(tài)圖像部分。因此，本文實驗主要是基于Oracle 10g中Oracle Intermedia平臺，該平臺中包含了SQL/MM標準中靜態(tài)圖像部分的標準庫。

2 SQL/MM圖像檢索實驗設計

本文利用Oracle 10g Intermedia平臺以及PL/SQL數(shù)據(jù)庫語言完成圖像檢索實驗。基于SQL/MM標準中圖像特征函數(shù)及圖像類型進行實驗，最終完成基于內(nèi)容的圖像檢索。實驗的素材來源為Corel圖像庫，圖像數(shù)據(jù)庫含有1 000幅圖像，包含風景、建筑、公交車等不同的10個類別，且每個類別的圖像數(shù)100張。為了完成圖像檢索實驗，首先，建立一個包含圖像數(shù)據(jù)的圖像數(shù)據(jù)表；其次，把實驗所用的圖像數(shù)據(jù)利用函數(shù)輸入到圖像庫中；完成圖像數(shù)據(jù)的輸入之后，再利用標準函數(shù)進行特征提取，進而建立圖像特征數(shù)據(jù)庫；最后利用標準中相似性比較函數(shù)得到檢索結(jié)果。

2.1 建立圖像數(shù)據(jù)表

為了實現(xiàn)基于數(shù)據(jù)庫的圖像檢索建立一個圖像數(shù)據(jù)，具體代碼如下：

CREATE TABLEStillImage(PRODUCT_ID NUMBER(6)，

PRODUCT_PHOTO SI_StillImage，

AVERAGE_COLOR SI_AverageColor，//平均顏色

COLOR_HISTOGRAM SI_ColorHistogram，//顏色直方圖

POSITIONAL_COLOR SI_PositionalColor，//特定位置顏色

TEXTURE SI_Texture，//紋理

FEATURE_LISTSI_FeatureList)//綜合特征

如上述代碼所示，數(shù)據(jù)表中主要包含SQL/MM標準中的Still_Image數(shù)據(jù)類型，即表中的PRODUCT_PHOTO。除了圖像數(shù)據(jù)本身，則包括標準中4個基本特征和1個綜合特征。4個基本特征可以作為圖像檢索的標準，但是由于各個特征的局限性，其適用范圍有限。在實驗中，為提高圖像檢索準確性，為4種特征分配合理的權重再進行檢索，即利用綜合特征SI_FeatureList。

2.2 輸入圖像

利用Oracle函數(shù)庫ORDSYS中函數(shù)把實驗圖像存入數(shù)據(jù)庫中。具體實現(xiàn)如下代碼所示，其中SI_StillImage()為獲取圖像數(shù)據(jù)函數(shù)，lobd即為圖像的二進制數(shù)據(jù)。

INSERT INTOSTILLIMAGE (photo_id， photo_photo)VALUES(1， new ORDSYS.SI_StillImage(lobd))；

2.3 特征提取

在存入圖像庫之后，通過SQL/MM標準中的特征函數(shù)，獲取平均顏色、顏色直方圖、特定顏色位置以及紋理4個基本特征，并存入數(shù)據(jù)庫中。例如平均顏色的獲取，可以利用SI_FindAvgClr(myimage)函數(shù)實現(xiàn)，其中myimage即待求圖像。其他3個特征采用對應的函數(shù)實現(xiàn)，最終獲取圖像的特征庫。

用戶此時進行檢索，通過示例圖像的特征與圖像庫中的特征進行比較，找出距離相近的幾幅圖像作為最終的檢索結(jié)果。標準中根據(jù)圖像之間的相似性得分SI_Score來判定兩幅圖像之間的相似性。SI_Score取值范圍在0～100之間，值越小則代表二者的差別越小。其中0則代表兩幅圖像之間沒有差別，100則表示兩幅圖像完全不同。

(2)

式中：fj即圖像myimage的基本特征；fj.SI-Score(image)則為特征fj方向上兩幅圖像的對應相似性得分；Wj為不同特征的權重。通過4個基本特征得分的加權最終得到兩幅圖像之間相似性得分：my-Featurelist.SI-Score(image)。實驗中即通過不同圖像之間的相似性得分來確定最終的相似性，得出檢索結(jié)果。

3 實驗數(shù)據(jù)以及分析

本文通過兩個實驗來驗證標準中4個基本特征和綜合特征的適用范圍。首先，為了驗證4個基本特征的適用范圍，選取具有代表性的8張圖像，從4種基本特征方向進行檢索實驗；其次，為了驗證綜合特征的適用范圍，選取10類共100張圖像進行綜合性檢索，最終通過查準率來判斷檢索準確度。并通過分析結(jié)果中檢索性能不好的示例來進一步確定綜合特征的適用范圍。

3.1 4種基本特征的性能分析

實驗為了驗證平均顏色、顏色直方圖、特定顏色位置以及紋理4種特征的適用性，從Corel圖像庫中選取8幅代表性圖像，圖1a～1d為示例圖像，圖1e～1h為庫中其他圖像。圖中的各子圖編號即對應圖像庫中該圖像的編號。

圖1 示例圖像和待檢索庫圖像

實驗利用標準中基本特征對應的相似性得分函數(shù)SI_Score來判斷兩幅圖像之間的相似性。例如，可以用myTexture.SI_Score()函數(shù)來比較兩副圖像紋理上的差別。實驗從平均顏色、顏色直方圖、紋理以及特定位置顏色4個特征出發(fā)，通過計算圖1a～1d各示例圖像與圖1e～1h數(shù)據(jù)庫內(nèi)的幾幅圖像之間的4類基本特征，并通過相似性計算結(jié)果來分析這4個基本特征的在圖像檢索中的適用范圍。具體得分如表1所示，表中第1列和第2列則為示例圖像與庫圖的編號，而“特征類型”列對應4個基本特征以及對應的相似性得分。如上所述，表1中的數(shù)值越小代表圖像間越相似。

表1 基本特征圖像檢索得分

從表1可以看出，對于圖207，通過顏色直方圖進行檢索可以最好地檢索出圖像208。即，顏色直方圖特征的計算中圖207和圖208最為相似。圖211通過SI_PositionalColor特征可以找出最相似性圖像215。圖像211和圖像215在同樣位置都有長條的紅色區(qū)域，因此利用特定位置顏色特征可以有效檢索。圖229通過紋理特征可以找出最相似圖像230。圖229紋理特征明顯且為主要影響因素，因此紋理特征針對紋理特征明顯的圖像會有很高的檢索效率。圖224通過平均顏色特征可以找出最相似圖像205。由于實驗中圖像224顏色一致且種類較少，因此可以通過平均顏色特征找出相似的圖像205。例如，圖211顏色種類偏多，此時通過平均顏色則找出的卻是不相似的圖像208。

實驗分析可見，針對某些特殊的圖像而言，只用一兩個特征就能很好地檢索出所需的圖像。SI_AverageColor適用于查找整體顏色一致并且顏色種類較少的圖像。SI_ColorHistgram適用于查找顏色分布均勻的圖像。SI_PositionalColor適用于查找特定位置分布特定顏色的圖像，并且此特征在總特征中占據(jù)比例較小。SI_Texture適用于查找紋理清晰復雜的圖像。

3.2 綜合特征性能分析

從表1可以看出，4張圖像通過綜合特征(SI_FeatureList)基本可以找出最相似的圖像。為了進一步研究綜合特征，設計如下實驗：首先從Corel庫10類圖像中每類隨機選10張組成1組，共10組，并重新編號0～99。編號0～9為該庫“人物”圖像、編號10～19為“風景”圖像、編號20～29為“古建筑”圖像、編號30～39為“汽車”圖像、編號40～49為“恐龍”圖像、編號50～59為“大象”圖像、編號60～69為“花朵”圖像、編號70～79為“馬”圖像、編號80～89為“雪山”圖像、編號90～99為“美食”圖像。圖像庫中從每組中選擇兩張共2張作為示例圖，從100張庫圖中進行檢索，按照SI_FeatureList的分數(shù)大小進行排序，檢索出相似度最高的10張圖。實驗中綜合特征采用固定的權重，具體如式(3)所示。平均顏色、顏色直方圖、位置顏色以及紋理的權重分別為0.25、0.35、0.1和0.5。

myFeatureList=newsi_featurelist(myAvgColor，0.25，

myColorHist，0.35，myPosColor，0.1，myTexture，0.5

(3)

實驗把檢索結(jié)果按照相似度從高到底排序，并計算出相應的查準率。最后，根據(jù)檢索結(jié)果計算出所有組檢索的平均查準率均為61.5%，實驗結(jié)果證明利用SQL/MM標準可以很有效地進行基于內(nèi)容的檢索。

實驗部分結(jié)果參見表2。例如第一行表示以編號0的圖像為示例圖，在100張圖像庫中進行檢索，右邊則檢索出結(jié)果為編號0，1，97，8，92，90，7，9，6，20共10張有效圖像，同一組的圖像有圖0、1、8、7、9、6共6張。

實驗雖然大部分可以有效地進行檢索，但是仍然有幾組實驗的查準率較低。例如，以圖50為示例圖的檢索結(jié)果只有40%查準率。示例圖50以及查出的結(jié)果如圖2所示。

表2 綜合特征檢索部分結(jié)果

圖2 示例圖50檢索結(jié)果1

由表2結(jié)果以及對應的圖3來看，誤檢的結(jié)果中考慮紋理特征較少且顏色特征過多。由于上述實驗中4個特征對應的權重為0.25、0.35、0.1和0.5。為了得到更好的檢索結(jié)果，實驗中重新設定權重系數(shù)為0.25，0，0.1，0.9。得到檢驗結(jié)果如圖3所示。

圖3 示例圖50檢索結(jié)果2

由圖3結(jié)果可見，查準率由40%上升到70%，大部分大象的圖像均被檢索出來。因此，實驗中設置合理的權重則能檢索出所有的圖像。

經(jīng)過比較發(fā)現(xiàn)實驗中多組數(shù)據(jù)中均包含與整組相差較大的圖像，因此圖像檢索的效率較低。例如，第一組圖(如圖4所示)，其中圖像4與其他圖差別巨大，使得檢索的準確率下降。兩個實驗最終檢索結(jié)果中均沒有圖像4。同時，由于人像的區(qū)別巨大，因此實驗結(jié)果準確率較低。

圖4 實驗圖像第一組(人像)

上述實驗結(jié)果說明：大部分圖像可以通過綜合特征準確的檢索到。同時，綜合特征的合理權重分配能夠進一步提高圖像檢索的準確率。更加相關的實驗圖像庫則能進一步驗證SQL/MM的檢索性能。

綜上而言，選擇合適的特征、分配合理的權重就可以進行高效的基于內(nèi)容的圖像檢索。實驗充分闡述了基于SQL/MM標準中圖像特征的適用范圍，給基于內(nèi)容的圖像檢索帶來新的思路。

4 總結(jié)與展望

本文基于SQL/MM標準在Oracle InterMedia平臺上，對于Corel圖像庫完成了一個基于內(nèi)容的圖像檢索實驗，得出SQL/MM中靜態(tài)圖像部分函數(shù)實現(xiàn)圖像檢索的適用范圍以及準確性。實驗說明了在圖像數(shù)據(jù)庫中利用SQL/MM靜態(tài)圖像標準可以很好地完成基于內(nèi)容的圖像檢索工作。

實際情況中應該由用戶自己選擇選擇某種類型特征進行檢索。用戶根據(jù)所查找的圖像內(nèi)容，選擇一種或多種合適的特征進行基于內(nèi)容的檢索。在利用綜合特征時，應該讓用戶自己設定4個特征的權重值來進行更加準確的檢索。也可以利用適當?shù)乃惴ㄟM行圖像內(nèi)容分析，讓計算機自適應地改變對應的權重，達到更好的檢索效果。同時，可以結(jié)合語義的分析以及成熟的圖像檢索算法的優(yōu)勢，則能更加有效地實現(xiàn)圖像檢索。

[1]SINGHAI N，SHANDILYA S K.A survey on：content based image retrieval systems[J].International Journal of Computer Applications，2010，4(4)：22-26.

[2]肖明,王永紅，石勇.基于內(nèi)容的圖像檢索研究進展[J].情報雜志，2007，26(1)：43-45.

[3]韋娜，耿國華，周明全.基于內(nèi)容的圖像檢索系統(tǒng)性能評價[J].中國圖象圖形學報：A輯，2005，9(11)： 1271-1276.

[4]麻省理工NETRA系統(tǒng)[EB/OL].[2014-04-21].http：//web.media.mit.edu/～pamplona/NETRA/.

[5]imageseek系統(tǒng)[EB/OL].[2014-04-21].http：//www.imgseek.net/home.

[6]ISO/IEC 13249-5：2001，Information technology-database languages-SQL multimedia and application packages-part 5：still image[S].2001.

[7]MELTON J，EISENBERG A.SQL multimedia and application packages(SQL/MM)[J].ACM Sigmod Record，2001，30(4)：97-102.

穆芳成(1990— )，碩士生，主研圖像檢索；

孟 放(1972— )，碩士生導師，主要研究方向為數(shù)字電視技術、視頻圖像處理、視覺信息處理等；

姚宇航(1983— )，女，本科，主研信息管理與信息系統(tǒng)。

責任編輯：時 雯

Implementation of Content-Based Image Retrieval Using SQL/MM

MU Fangcheng1，MENG Fang1，YAO Yuhang2

(1.SchoolofInformationEngineering，CommunicationUniversityofChina，Beijing100024，China；2.ChinaArtScienceandTechnologyInstitute，Beijing100024，China)

Content-based image retrieval in the large image database is one of the most active fields.SQL/MM is a standard for handling the multimedia data through the content of multimedia data.The paper implements content-based image retrieval using the still image functions about image features in SQL/MM.The experiments on the Corel image database verify the scope of application of some related features.

SQL/MM standard；platform of Oracle Intermedia；content-based image retrieval

“十二五”國家科技支撐計劃重點項目(2012BAH01F00)

TN911.73；TP391.4

A

10.16280/j.videoe.2015.07.004

2014-05-03

【本文獻信息】穆芳成，孟放，姚宇航.基于SQL/MM的圖像檢索算法實現(xiàn)[J].電視技術,2015，39(7).