曹健，朱信忠，趙建民，徐慧英

0 前言

近年來,數(shù)字圖書館和互聯(lián)網(wǎng)等信息資源庫飛速發(fā)展，從中查找自己感興趣的多媒體信息已成為人們生活中不可缺少的部分[1]。但現(xiàn)有多媒體檢索系統(tǒng)大多采用B/S單節(jié)點架構(gòu)，實現(xiàn)檢索時間無法讓人滿意，特別在多用戶并發(fā)操作以及面對多媒體數(shù)據(jù)量的快速增長時，系統(tǒng)的實時性急劇降低，已不能滿足人們當前對于高清視頻和圖像等多媒體信息檢索的需求。而且現(xiàn)有的多媒體檢索系統(tǒng)基本采用基于內(nèi)容的多媒體檢索技術(shù)，它是通過媒體底層特征進行相似匹配進行檢索，以目前的計算機技術(shù)，人們還無法找到完全合理確當?shù)拿枋龅讓犹卣鞯姆椒ê褪侄?，所以基于?nèi)容的多媒體檢索的準確性還不夠理想。因此如何及時高效地從浩若煙?；ヂ?lián)網(wǎng)多媒體資源庫中檢索自己所需的數(shù)據(jù)也是現(xiàn)今研究的熱點。

1 基于云計算多媒體檢索系統(tǒng)的體系架構(gòu)

對于傳統(tǒng)B/S單節(jié)點系統(tǒng)的無法保障多媒體檢索實時性問題，近年興起的云計算為此提供了解決思路。Hadoop是云計算模型的一個開源實現(xiàn)，通過分布式處理技術(shù)充分利用空閑的計算機資源構(gòu)成Hadoop集群，提高系統(tǒng)的資源利用率;在Hadoop集群中通過MaPReduce并行計算框架，將用戶的多媒體檢索請求分配給Hadoop集群中“空閑”節(jié)點進行處理，可以有效解決多用戶并發(fā)訪問以及從海量數(shù)據(jù)庫中檢索目標資源帶來的實時性問題。

對于現(xiàn)在基于內(nèi)容的多媒體檢索遇到的“語義鴻溝問題”，本文采用相關(guān)反饋技術(shù)提高系統(tǒng)的檢索的準確性。相關(guān)反饋是通過人機交互，如果用戶對系統(tǒng)檢索結(jié)果不滿意，可以標注部分檢索結(jié)果為正反饋信息，部分不滿意檢索結(jié)果是標注為負反饋信息。系統(tǒng)根據(jù)用戶提交正負反饋信息，調(diào)整內(nèi)部檢索參數(shù)，從而優(yōu)化檢索結(jié)果并反饋給用戶[2]。

因此基于這兩點，本文提出了基于云計算的多媒體檢索系統(tǒng)。它能有效解決傳統(tǒng)單節(jié)點架構(gòu)存在的局限性問題，也提高了檢索結(jié)果的準確性。系統(tǒng)圖框架結(jié)構(gòu)圖以及多媒體系統(tǒng)檢索流程圖，如下圖1、2所示:

圖1 系統(tǒng)圖框架結(jié)構(gòu)圖

2 基于云計算的多媒體檢索系統(tǒng)中關(guān)鍵模塊設計

2.1 HDFS模塊設計

HDFS是一個分布式文件系統(tǒng)，采用Master（Job Tracker）/Slave（TaskTracker）架構(gòu)，由主節(jié)點NameNode和數(shù)據(jù)節(jié)點DataNode組成。HDFS為多媒體檢索系統(tǒng)提供媒體庫以及特征庫的存儲，為MapReduce提供相關(guān)信息的交互以及處理所需的數(shù)據(jù)。

對于原始的網(wǎng)絡上多媒體數(shù)據(jù)，需要對其進行相應的預處理后才可以存儲于HDFS中。基于內(nèi)容的多媒體檢索突破了傳統(tǒng)的基于文本檢索的局限，直接對圖像、視頻、音頻內(nèi)容進行分析，抽取其內(nèi)容特征建立特征庫[3]，檢索時web服務器提取待檢索媒體的特征，通過MapReduce進行特征匹配，實現(xiàn)多媒體檢索。因此，HDSF模塊需要對網(wǎng)絡上多媒體資源做以下幾個步驟的處理:

(1)將網(wǎng)絡上的多媒體數(shù)據(jù)經(jīng)過預處理后，分析多媒體文檔的基本框架，分析將其中文本庫、圖片庫、視頻庫、音頻庫存儲于相HDFS中，用于媒體對象的特征提取以及用戶獲取圖像檢索結(jié)果。同時，設置交叉參照知識庫，作為相關(guān)反饋查詢的語義基礎[4]。

圖2 多媒體系統(tǒng)檢索流程圖

(3)對HDSF中各媒體數(shù)據(jù)庫分別進行特征提取，提交MapReduce任務，生成媒體特征庫。例如圖像特征提取，Map階段，map函數(shù)每次讀入一幅圖像，提取其形狀、紋理以及顏色特征。Reduce階段，將Map階段提取的圖像特征數(shù)據(jù)存儲于HDFS中。

(4)MapReduce框架雖然可以處理多種數(shù)據(jù)格式，但為了便于Map任務更好的的執(zhí)行，因此將每個媒體對象的特征作為一條特征記錄，其特征數(shù)據(jù)以文本格式進行存儲。

3.2 MapReduce模塊設計

并行計算MaPReduce技術(shù)是云計算的核心技術(shù),本模塊實現(xiàn)的主要功能是多媒體檢索過程中的媒體特征匹配計算，也即相似度的計算。MapReduce任務是由客戶端提交一個MapReduce作業(yè)，由Job Tracker進行相應的初始化以及調(diào)度，將MapReduce程序分發(fā)到各TaskTracker節(jié)點進行運行。MapReduce程序在運行時需要讀取存儲于HDFS中相關(guān)的媒體特征數(shù)據(jù)。MapReduce模塊實現(xiàn)媒體對象匹配的工作框圖，如圖3所示:

圖3 MapReduce工作框圖

MapReduce的工作流程可以分為以下幾個方面:

(l)MaPReduce程序在運行時，將HDFS中存儲的相對應的多媒體特征庫進行分割，如需要檢索圖像，就對圖像特征庫進行分割，得到圖像特征數(shù)據(jù)的分片。

(2)對于每塊數(shù)據(jù)分片，由DataNode節(jié)點傳送至各TaskTrackcr節(jié)點。每個Map任務讀取一個數(shù)據(jù)分片，然后把數(shù)據(jù)分片再分解為一系列鍵/值對(Key/Value)，其中Key值就是相應多媒體特征在數(shù)據(jù)分片中的偏移距離量，Value值就是多媒體的特征值。然后由MaP()函數(shù)對這些Key/Value對進行匹配運算，匹配結(jié)果以相似度和特征庫中的多媒體名作為中間結(jié)果Key/Value對。

(3)對于MaP任務輸出的中間結(jié)果Key/Value對，合并其相同結(jié)果(如果存在多個相同的數(shù)據(jù)，只取其中一個結(jié)果)并以Key值大小進行排序[5]，將最終的Key/Value對傳遞給Reduce任務。

(4)Reduce任務讀取排完序的Key/Value對，對其進行匯總，按相似度的大小進行排序，最終得到多媒體檢索的結(jié)果，并將結(jié)果寫入HDFS中[6]。

3.3 相關(guān)反饋模塊設計

相關(guān)反饋是多媒體檢索系統(tǒng)獲取語義的重要手段，通過用戶相關(guān)反饋可以不斷提高檢索的準確率。在檢索過程，用戶可以對部分結(jié)果分別標注為相關(guān)媒體對象和不相關(guān)媒體對象，得到正反饋集合和負反饋集合，這兩種集合構(gòu)成相關(guān)反饋信息。本文中用戶相關(guān)反饋功能主要體現(xiàn)在交叉參照圖模型的更新以及構(gòu)建新一次查詢的語義基礎。

3.3.1 交叉參照圖模型更新

通過用戶的相關(guān)反饋信息，系統(tǒng)自動更新交叉參照模型。對于屬于正反饋部分的任意兩個媒體對象，增加它們之間的權(quán)重，對于負反饋部分的媒體對象，則減少它們與正反饋部分每個媒體對象之間的權(quán)重，如果它們減少后的權(quán)重變?yōu)榱?，則自動刪除這兩種媒體對象之間的鏈接關(guān)系[7]。隨著相關(guān)反饋次數(shù)的增加，媒體對象之間的鏈接關(guān)系更加趨于合理。

3.3.2 構(gòu)建新一次查詢的語義基礎

在基于內(nèi)容的多媒體檢索過程中，初始查詢例子往往不能更好地表達用戶的查詢意思，因此需要利用相關(guān)反饋進行調(diào)整。系統(tǒng)在獲得用戶反饋回來的帶標注的媒體對象，采用上下文分析算法計算出檢索對象語義上下文，構(gòu)建新的檢索的語義基礎，并且對相應檢索通道下的查詢向量以及相似度計算方法進行調(diào)整。系統(tǒng)在新構(gòu)建的語義基礎上做基于內(nèi)容的檢索。

在此部分，語義上下文算法是關(guān)鍵。在相關(guān)反饋信息基礎上，語義上下文分析算法需要考慮兩個方面:（1）擴展，找出那些不屬于檢索結(jié)果卻滿足用戶查詢語義的多媒體檢索對象；（2）優(yōu)化，提取檢索結(jié)果中與用戶語義相關(guān)的內(nèi)容，減少不相關(guān)的部分。

語義上下文分析具體算法如下[4]:

4 實驗結(jié)果及分析

在Linux環(huán)境下，通過幾臺普通的PC機搭建一個云計算平臺即Hadoop集群。在不同節(jié)點數(shù)的平臺上進行多媒體檢索的測試，將其測試結(jié)果與傳統(tǒng)B/S架構(gòu)下的多媒體檢索系統(tǒng)的測試結(jié)果進行對比，并對基于云計算平臺的的多媒體檢索系統(tǒng)的性能進行分析。

本文以多媒體圖像檢索為例進行試驗，當圖像特征的數(shù)據(jù)量分別為40萬、70萬、110萬以及150萬條時，在不同節(jié)點數(shù)(節(jié)點數(shù)分別為1,2,3,4)以及B/S單節(jié)點模式下，測試圖像檢索的耗時，實驗結(jié)果，如圖4所示:

圖4 不同節(jié)點數(shù)圖像檢索耗時圖

實驗表明，隨著圖像特征數(shù)據(jù)量大幅增加，系統(tǒng)檢索時間呈線性遞增狀態(tài)。但相比于B/S單節(jié)點模式，從圖4可以發(fā)現(xiàn)Hadoop集群節(jié)點數(shù)越多，檢索速度越快，耗時越少。只有當Hadoop集群節(jié)點數(shù)為1時，檢索速度才比B/S單節(jié)點慢，這是由于Hadoop分布式系統(tǒng)在執(zhí)行MapReduce程序時，任務的初始化、作業(yè)的分配與清空的耗時所造成的。

5 小結(jié)與展望

本文介紹了通過云計算的架構(gòu)體系搭建多媒體檢索系統(tǒng)，提高多媒體檢索的及時性。實驗證明了Hadoop集群節(jié)點數(shù)越多多媒體檢索系統(tǒng)的速度越快，檢索耗時越低。相比于昂貴的服務器，通過廉價的pc搭建的Hadoop集群在多媒體檢索領(lǐng)域具有廣闊的應用前景。針對多媒體檢索遇到“語義鴻溝”問題，本文借鑒文獻[4]的思想，通過在檢索系統(tǒng)中加入相關(guān)反饋模塊，可以有效提高多媒體檢索的準確性，相關(guān)反饋模塊的測試可見文獻[4]。由于目前計算機技術(shù)還無法有效解決“語義鴻溝”問題，因此對多媒體相關(guān)反饋技術(shù)的進一步深入研究將會助力于多媒體檢索檢索技術(shù)的快速發(fā)展。

[1]徐曉.多媒體信息檢索模式研究[J].大眾商務,2009,(06):101.

[2]WWW 環(huán)境下信息第一檢索策略的實驗調(diào)查研究[J].情報科學,2005,(11):1704-1707.

[3]張翠玉.基于內(nèi)容的檢索技術(shù)與多媒體數(shù)據(jù)庫[J].科技信息,2010,(26)；632-633.

[4]汪燕云,劉翔,吳飛.面向多媒體文檔的多通道檢索系統(tǒng)[J].計算機應用與軟件,2009,(07):9-13.

[5]霍樹民.基于Hadoop的海量影像數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D].國防科學技術(shù)大學,2010.

[6]李波.基于Hadoop的海量圖象數(shù)據(jù)管理[D].華東師范大學,2011.

[7]莊越挺,吳聰苗,吳飛,劉翔.多媒體交叉參照檢索系統(tǒng)研究[J].計算機輔助設計與圖形學學報,2005,(04):834-839.