劉一鷗

（西安外事學(xué)院，陜西西安，710077）

多媒體數(shù)據(jù)的查詢與檢索

劉一鷗

（西安外事學(xué)院，陜西西安，710077）

采用任何數(shù)據(jù)模型對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)、管理，都要解決多媒體數(shù)據(jù)復(fù)雜得多的查詢問題。本文從三個(gè)方面歸納了多媒體信息的查詢檢索方法：給予結(jié)構(gòu)化屬性（媒體文件的屬性、外部特征MPEG7描述）、給予描述媒體信息的自由文本和基于內(nèi)容（如圖像中物體的形狀、圖像紋理、顏色，視頻的關(guān)鍵幀等），并對(duì)此做出了詳細(xì)闡述。

多媒體；查詢；檢索；存儲(chǔ)

無論是哪種媒體信息，無論數(shù)據(jù)的存儲(chǔ)、管理采用了哪種模式，都要解決多媒體數(shù)據(jù)復(fù)雜得多的查詢問題。在多媒體應(yīng)用中，不能簡單地通過關(guān)鍵詞精確查詢、模糊查詢、組合查詢來獲得用戶所需要的信息，一般不可能的帶精確解，因此，對(duì)多媒體信息的查詢往往使用“檢索”“搜索”等詞。由于多媒體信息本身的多樣、復(fù)雜性，每一類信息的查詢、檢索都涉及多個(gè)學(xué)科，如模式識(shí)別、認(rèn)知科學(xué)、統(tǒng)計(jì)分析，······。

多媒體信息的查詢、檢索技術(shù)的評(píng)價(jià)指標(biāo)理論上有兩個(gè)：查準(zhǔn)率、查全率，就可用性而言還有一個(gè)重要指標(biāo)：響應(yīng)速度。在信息爆炸的今天，對(duì)一個(gè)龐大的系統(tǒng)，例如WWW，查全率顯然難以證明，從應(yīng)用角度講重要性遠(yuǎn)遠(yuǎn)小于響應(yīng)速度和查準(zhǔn)率。

1 基于外部特征屬性的查詢

基于外部特征的多媒體數(shù)據(jù)查詢只是針對(duì)采用關(guān)系型數(shù)據(jù)庫存儲(chǔ)管理多媒體數(shù)據(jù)外部特征而言，自然查詢方法采用的也是傳統(tǒng)關(guān)系型數(shù)據(jù)的查詢方法。例如，為了便于教育資源的整合、共享，國家教育部頒布了國家教育元數(shù)據(jù)規(guī)范，所有教育資源，包括多媒體資源均要使用元數(shù)據(jù)規(guī)范進(jìn)行描述、管理。凡是遵循該規(guī)范建立的教育資源庫都可以運(yùn)用傳統(tǒng)的關(guān)系數(shù)據(jù)庫查詢技術(shù)查詢資源庫中的多媒體信息。

2 基于文本的檢索

應(yīng)用文本注釋圖、聲、像，然后基于文本搜索圖、聲、像信息。這種方法采用的核心技術(shù)，與基于文本內(nèi)容的文本信息搜索是一致的，所以，它們被歸類在一起進(jìn)行分析。但是，對(duì)圖、聲、像信息采用這種檢索方法之前，必須人工的或者自動(dòng)地為圖、聲、像做文字描述、注釋，例如，應(yīng)用語音識(shí)別將語音轉(zhuǎn)化為文本?；谖谋緝?nèi)容的檢索方法有若干種，這里簡要介紹其中的5種。

2.1 布爾檢索模型

在布爾檢索中，需要自動(dòng)建立索引，過城如下：識(shí)別詞匯（分詞）；利用專用詞典、非用詞表、高頻詞表消除非用詞；代替同義詞；確定主干詞；計(jì)算主干詞出現(xiàn)頻率；計(jì)算主干詞權(quán)重；建立倒排文件；根據(jù)檢索關(guān)鍵詞進(jìn)行檢索。

2.2 矢量空間檢索模型

首先將文檔表示為詞索引集合；應(yīng)用同樣的方法將每一個(gè)查詢也表示成詞索引的集合；依次計(jì)算所有文檔和查詢之間的相似度；按相似度從大到小對(duì)結(jié)果排序；應(yīng)用相關(guān)反饋技術(shù)或者修改查詢（僅適用于用戶個(gè)體），或者修改文檔索引條目（可用于所有用戶）；循環(huán)修正不斷提高結(jié)果的準(zhǔn)確率。

2.3 基于聚類的檢索模型

應(yīng)用分級(jí)聚類法或啟發(fā)式聚類法將相似文檔聚類；計(jì)算每個(gè)類的中心（類特征向量）；

計(jì)算查詢與各類的距離，找出最相近的類；如果該類很大，

則計(jì)算每個(gè)文檔和查詢的距離，找出相似文檔；否則，該類所有文檔極為相似文檔。

3 基于內(nèi)容的多媒體要求

基于內(nèi)容的多媒體檢索以認(rèn)識(shí)科學(xué)、用戶模型、圖像處理、語音識(shí)別、人工智能、知識(shí)庫系統(tǒng)、計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)語言學(xué)為學(xué)科基礎(chǔ)。

3.1 檢索原理與步驟

基于內(nèi)容的檢索的步驟如下。

1)分析多媒體數(shù)據(jù)的內(nèi)容，抽取其中的特征和語義元素，如圖像中的顏色、紋理、形狀，視頻中的場景、鏡頭的運(yùn)動(dòng)，聲音中的音調(diào)、響度、音色等，建立元素索引庫。

2)為提高查準(zhǔn)率，要建立媒體數(shù)據(jù)特征庫。

3)檢索時(shí)首先提取問題的語義和問題產(chǎn)生的特征向量，并通過元素索引進(jìn)行查找，其次運(yùn)用媒體數(shù)據(jù)庫特征庫進(jìn)行篩選，最后按匹配程度給出結(jié)果。通常，一個(gè)良好的查詢檢索技術(shù)還要建立一種有效的處理算法和可視化接口,讓用戶以最簡單的操作方式得到最好的結(jié)果。

3.2 基于內(nèi)容的多媒體檢索辦法

基于內(nèi)容的多媒體檢索需要支持各種多媒體數(shù)據(jù)類型；支持建立在檢索結(jié)果基礎(chǔ)上的多次求精查詢；支持基于實(shí)例的查詢（相似性查詢）；支持基于同步關(guān)系的查詢；支持多層次的檢索要求。下面就圖像、視頻、音頻的檢索技術(shù)做如下介紹：

（1）圖像檢索

1)基于顏色的檢索 基于顏色的圖像索引與檢索涉及的概念簡單，易于實(shí)現(xiàn)。顏色特征的特點(diǎn)：與物體或場景關(guān)系密切；與圖像的尺寸、方向、視角依賴關(guān)系小，穩(wěn)健。

對(duì)顏色進(jìn)行檢索主要是利用顏色空間直方圖進(jìn)行匹配。根據(jù)顏色數(shù)據(jù)進(jìn)行檢索時(shí)，數(shù)據(jù)庫中的圖像和被檢索圖像之間的距離可用加權(quán)歐幾里得距離表示，采用基于顏色分布的匹配將獲得視覺效果上更接近被檢索實(shí)體的結(jié)果。常用的檢索算法有HIS空間全局累加直方圖法。

2)基于形狀的檢索 形狀是圖像的重要性能；每種形狀特征具有唯一的表示，不隨大小、方向、位置的變化而變化；相似的形狀具有相似的表示。

基于形狀的檢索可以分為：基于二維形狀和基于三維形狀的檢索。形狀檢索主要有針對(duì)圖像邊緣輪廓的檢索和針對(duì)圖形矢量特征的檢索，常用檢索算法有邊界直方圖法、不變矩、傅里葉形狀描述、基于區(qū)域的形狀表示和Hough變換等。在實(shí)際應(yīng)用中，為了減少算法時(shí)間和空間復(fù)雜性，一般用形狀參數(shù)（如面積、周長、矩陣等）來描寫形狀，可以有效提高檢索的效率。

3)基于紋理的檢索 紋理特征主要由表紋理的均勻度、對(duì)比度和方向性的特征向量表示。均勻度反映紋理的尺寸，對(duì)比度反映紋理的清晰度，方向反映實(shí)體是否有規(guī)則的方向性。常用的檢索方法有基于傳統(tǒng)數(shù)學(xué)模型的共生矩陣均值方差法、頻譜分析和結(jié)構(gòu)方法以及近幾年出現(xiàn)的基于視覺模型的多分辨率分析等。

（2）視頻檢索

基于內(nèi)容的視頻檢索首先要對(duì)視頻進(jìn)行處理，包括視頻節(jié)結(jié)構(gòu)的分析、視頻數(shù)據(jù)的自動(dòng)檢索引和視頻聚類。視頻結(jié)構(gòu)的分析是指把視頻分割成基本的組成單元——鏡頭；視頻數(shù)據(jù)的自動(dòng)索引包括代表幀的選取以及靜止特征與運(yùn)動(dòng)特征的提取；視頻聚類就是研究鏡頭之間的關(guān)系，把內(nèi)容相近的鏡頭組合起來，聚合成類，以便縮小檢索范圍，提高檢索效率。在視頻處理中代表幀要能夠正確、完全地反映鏡頭的主要事件，同時(shí)要考慮計(jì)算的復(fù)雜性，常用選取代表幀的方法有：幀平均值法和直方圖平均法。

（3）音頻檢索

音頻檢索要從音頻數(shù)據(jù)中提取聽覺特征信息。音頻特征可以分為感知特征和聽覺特征（物理特性），聽覺感知特征包括音量（用聲波信號(hào)的均方根近似描述）、音調(diào)（通過一系列較短時(shí)間段音頻信號(hào)的傅里葉頻譜來計(jì)算）、音強(qiáng)（用較短時(shí)間段音頻信號(hào)的傅里葉頻譜的質(zhì)心表示）等。非感知特征包括對(duì)數(shù)頻譜系數(shù)、線性預(yù)測系數(shù)等，其中線性預(yù)測系數(shù)在音頻壓縮碼領(lǐng)域和音頻信息檢索方面有極其廣泛的應(yīng)用。同視頻特征類似，音頻特征隨時(shí)間而動(dòng)態(tài)變化，分析時(shí)間計(jì)算不同時(shí)間段的聲波信號(hào)的波形，并將波形的均值、方差和自相關(guān)系數(shù)等記錄在波形數(shù)據(jù)庫中；對(duì)音頻數(shù)據(jù)進(jìn)行采樣、幀抽取后，運(yùn)用方差分析等統(tǒng)計(jì)方法對(duì)音調(diào)、音量、音強(qiáng)等音頻特征進(jìn)行量化，并在音頻數(shù)據(jù)庫中記錄這些量化值，形成索引樹，在檢索時(shí)可以利用特征進(jìn)行示例和指定特征值查詢。

4 結(jié)束語

許多查新問題還處于研究、試驗(yàn)階段，尚未有非常成熟的產(chǎn)品，特別是基于內(nèi)容的圖像檢索、視屏檢索，就連世界著名搜索公司Google的圖片搜索應(yīng)用的還是基于文字的技術(shù)。甚至連基于語義的文本檢索經(jīng)過10多年的研究、實(shí)踐，查準(zhǔn)率和查全率，特別是查準(zhǔn)率還存在許多問題，相關(guān)的研究人員還在持續(xù)進(jìn)行研究、實(shí)驗(yàn)。

[1] Snodgrass R T,Gomze S,McKenzie.Aggregates in the Temporal Query Language TQuel.IEEE Transactions on Knowledge and Date Engineering,5,Qct . 1993.826~842

[2] 陳明，多媒體技術(shù)與應(yīng)用。北京：清華大學(xué)出版社，2004

[3] 劉云生，關(guān)于實(shí)時(shí)數(shù)據(jù)庫事務(wù)，軟件學(xué)報(bào)，1995（10）

multimedia data’s query and retrieval

Liu Yiou
(Xi’an Internation University,Xi’an,710077,China)

It needs to solve the complicated query problems of the multimedia data using any data model for storage and management. The text summarizes multimedia information query retrieval method from three aspects:giving structured property(the properties of media file、description of MPEG7’ s external characteristic)、giving free text describing of the media information and content(like the shape of the objects in the image、image texture、color、the key frame of video and so on)，and then make a detailed description of it.

multimedia;query;retrieval;storage

劉一鷗（1978-），女（漢族），陜西省西安市人，碩士，講師，研究領(lǐng)域?yàn)橛?jì)算機(jī)技術(shù)。