王紀萍

(南京審計大學 金審學院，江蘇 南京 210023)

以往視頻數(shù)據(jù)存儲和檢索平臺功能較為單一，性能低效，容量有限，較多地應用在科學計算領(lǐng)域，在數(shù)據(jù)處理領(lǐng)域應用較少。設計一款以Hadoop平臺為依托的海量視頻檢索系統(tǒng)所需硬件、軟件環(huán)境造價低，但功能卻很豐富，具有極高的拓展性和包容性，可根據(jù)視頻數(shù)據(jù)處理需要拓展功能，且性能高、容量大，在視頻數(shù)據(jù)處理方面優(yōu)勢明顯。

1 系統(tǒng)需求分析

1.1 現(xiàn)實需求

隨著智能安防技術(shù)的發(fā)展，智能視頻監(jiān)控系統(tǒng)的運用愈發(fā)普遍，遍布大街小巷的“天網(wǎng)”系統(tǒng)和分布在不同場所的監(jiān)控攝像頭，每時每刻都在不停錄像，捕捉視頻圖像。當需要從這些視頻圖像中檢索跟蹤某一特定目標時，就需要從存儲的海量視頻中，分析、檢索、提取特定對象，這無異于大海撈針。設計一套能夠智能快速進行海量篩選檢索的系統(tǒng)就顯得尤為重要。以往視頻圖像檢測的方法有很多，如顏色分類法、幀差法等，在這些方法基礎(chǔ)上開發(fā)出的視頻檢索系統(tǒng)，雖然可以進行人車分類、視頻濃縮等處理，但并不能完成對特定目標的檢索，實際應用存在諸多局限，必須要設計一款功能強大、拓展性強的海量視頻檢索系統(tǒng)。

1.2 功能需求

(1)強大的存儲需求

海量視頻檢索系統(tǒng)必須要具有強大的存儲功能，要能夠存儲海量視頻，因此，存儲系統(tǒng)功能必須要足夠強大。一是要具有較強的包容性，要能夠存儲各種類型的視頻文件；二是要有較強的寫入性能。要能夠同時滿足KB級的人臉或車輛圖像文件的讀寫、GB級的高清視頻文件的讀寫，并能夠快速讀取并批量存儲數(shù)據(jù)三是要具備動態(tài)拓展性，要在存儲各種原始數(shù)據(jù)信息的同時，支持動態(tài)拓展，為存儲各種目標圖像和視頻提供強大支持；四是要滿足跨平臺數(shù)據(jù)讀寫的需求，海量視頻檢索系統(tǒng)涉及到不同數(shù)據(jù)的操作處理，而這些處理是由不同的平臺完成的，系統(tǒng)必須要滿足跨平臺進行數(shù)據(jù)讀取和寫入的需求。

(2)分布式轉(zhuǎn)碼需求

海量視頻檢索系統(tǒng)中，視頻和各種圖像數(shù)據(jù)每天以指數(shù)級的速度增長，會不斷消耗系統(tǒng)內(nèi)存，對系統(tǒng)運行產(chǎn)生壓力。過去的海量視頻檢索系統(tǒng)多采用的是單節(jié)點的轉(zhuǎn)碼方式進行視頻檢索，但這種方式不但效率低，還會加重系統(tǒng)運行負擔，使其出現(xiàn)宕機的情況，影響海量視頻數(shù)據(jù)檢索的實現(xiàn)。因此，要設計的海量視頻檢索系統(tǒng)需要滿足分布式轉(zhuǎn)碼需求，可通過系統(tǒng)將視頻轉(zhuǎn)碼任務分布到多個計算機上，由他們共同完成數(shù)據(jù)轉(zhuǎn)碼，實現(xiàn)多個節(jié)點的聯(lián)動作業(yè)，提高視頻檢索系統(tǒng)的檢索效率。

2 Hadoop海量視頻檢索系統(tǒng)架構(gòu)

采用Hadoop進行設計，可滿足海量視頻檢索系統(tǒng)的現(xiàn)實需求和功能需求，Hadoop最大的特色就是對視頻數(shù)據(jù)進行分布式的存儲和轉(zhuǎn)換處理，能夠?qū)崿F(xiàn)海量視頻檢索的高效運行，并能實現(xiàn)在海量視頻中快速提取某一目標。

2.1 系統(tǒng)核心組件架構(gòu)

以Hadoop平臺為依托建構(gòu)的海量視頻檢索系統(tǒng)包含多個組件，但其中最主要的核心組件有三，分別為HDFS、MapReduce、HBase，它們各自承擔不同的分布式海量視頻數(shù)據(jù)處理任務，是支撐系統(tǒng)穩(wěn)定運行的核心組件，如圖1所示。

圖1 Hadoop系統(tǒng)核心組件架構(gòu)

(1)HDFS系統(tǒng)架構(gòu)

在Hadoop海量視頻檢索系統(tǒng)設計中，將HDFS架構(gòu)在最底層，它的功能是連接獲取Hadoop平臺上傳輸過來的視頻數(shù)據(jù)，對其進行副本復制、出錯處理等一系列存儲管理工作。該系統(tǒng)具有強大的分布式存儲管理優(yōu)勢。即便是幾百GB或幾百TB的超大型視頻文件，HDFS系統(tǒng)都可以輕松存儲。利用該系統(tǒng)的流式數(shù)據(jù)訪問優(yōu)勢，可輕松提升數(shù)據(jù)吞吐量，并能根據(jù)Hadoop集群的存儲需要隨時刪除或增加節(jié)點。在架構(gòu)HDFS系統(tǒng)系統(tǒng)時，可按照Hadoop遠程過程調(diào)用協(xié)議實現(xiàn)各個節(jié)點之間的通信，確保HDFS系統(tǒng)各個節(jié)點之間的協(xié)調(diào)運作。若用戶需存儲文件，就可以通過客戶端啟動HDFS系統(tǒng)，然后調(diào)用create方法。此時在遠程通信機制的支持下，可以實現(xiàn)HDFS各節(jié)點間的網(wǎng)絡通訊，用戶只需要在節(jié)點域名空間內(nèi)新建地址文件，就可以獲得相應存儲地址，即可進行數(shù)據(jù)寫入存儲操作[1]。

(2)HBase系統(tǒng)架構(gòu)

這個面向列的存儲系統(tǒng)，其作用是對以表的形式存儲的視頻數(shù)據(jù)進行增刪查改、調(diào)整和故障恢復等操作。在架構(gòu)該系統(tǒng)時，需要運用多個區(qū)域服務器，通過服務器來響應用戶提出的視頻存儲需求，然后與HDFS之間進行交互協(xié)作，從后者讀寫數(shù)據(jù)。

(3)MapReduce系統(tǒng)架構(gòu)

MapReduce系統(tǒng)架構(gòu)的目的是為了完成對視頻數(shù)據(jù)的分布式計算和調(diào)度任務。其架構(gòu)主要包括JobTracker和TaskTracker兩部分，前者屬于任務控制節(jié)點，負責發(fā)布和調(diào)度任務，后者屬于任務的執(zhí)行節(jié)點，執(zhí)行JobTracker指派的任務，并在任務完成后，將結(jié)果反饋給JobTracker。整個系統(tǒng)的運行流程為：JobTracke任務提交——任務初始化——TaskTracker任務執(zhí)行——Map輸出——Reduce分配——結(jié)束[2]。

2.2 系統(tǒng)整體框架架構(gòu)

如圖2所示，基于Hadoop系統(tǒng)的海量視頻檢索系統(tǒng)共分為六層：第一層是硬件層，這一層是服務器集群層，采用一臺主服務器Master和三臺從服務器Slave進行架構(gòu)的方式，將它們布局在同一局域網(wǎng)中。服務器內(nèi)存為8GB，硬盤為120GBSATA；第二、三、四層分別為分布式數(shù)據(jù)存儲管理層、數(shù)據(jù)庫處理層和分布式數(shù)據(jù)計算層；第五層為業(yè)務邏輯層。負責通過對目標視頻進行預處理和特征提取等工作，實現(xiàn)視頻精準檢索；第六層為用戶層，為用戶提供視頻檢索的接口和查詢服務。

圖2 Hadoop系統(tǒng)整體框架架構(gòu)

2.3 系統(tǒng)運行流程

Hadoop系統(tǒng)的前端運行極為簡捷高效，用戶只需要進入系統(tǒng)視頻檢索界面，提供需要檢索的目標圖像，系統(tǒng)就會自動對目標圖像進行特征提取。同時，數(shù)據(jù)庫底層會自動運行，在海量數(shù)據(jù)中層層篩選，最終選定相似目標圖像，并進行相似度匹配。最終通過比對結(jié)果確定獲得的圖像是否是目標圖像，至此，系統(tǒng)運行結(jié)束，用戶完成檢索。如圖3所示。

圖3 Hadoop系統(tǒng)運行流程

3 Hadoop海量視頻檢索系統(tǒng)的實現(xiàn)

Hadoop海量視頻檢索系統(tǒng)實現(xiàn)的關(guān)鍵在于圖像特征的提取和匹配，這其中需要用到先進的提取算法，本文在系統(tǒng)中嵌入了兩套不同的算法，這兩種算法都具有精確檢索的特征，用戶可根據(jù)實際需要選擇任一算法進行視頻檢索。

3.1 待檢索目標圖像的特征提取

Hadoop海量視頻檢索系統(tǒng)在待檢索目標圖像特征提取時采用的是分布式提取方法，提取的特征主要包括目標圖像的RGB顏色、目標圖像的邊緣直方圖、目標圖像的紋理特征等。提取。

(1)利用Hu不變矩算法獲得目標圖像的特征向量

該算法的優(yōu)點在于不受圖像變換的影響，無論是旋轉(zhuǎn)還是縮放圖像，都不會影響其對圖像特征的提取。同時，該方法對噪聲不敏感，能夠準確描述目標圖像的形狀特征，在海量視頻檢索領(lǐng)域應用廣泛[3]。其公式表示如下：設二維數(shù)字圖像為f(x,y),圖像高度為n，圖像寬度為m，圖像水平方向的重點為x0,垂直方向重心為y0。那么(p+q)階的普通矩和中心矩公式分別如下：

(1)

(2)

在此公式的基礎(chǔ)上，對圖像的中心距歸一，歸一公式如下：

(3)

利用這個公式可以獲得7個不變矩，它們就可以作為目標圖像的特征向量，有了圖像的特征向量，就可以將其轉(zhuǎn)換成相應函數(shù)。

(2)采用Gabor小波變換法對目標圖像紋理特征進行提取

Gabor小波變換法具有多尺度、多層次分析和描述待檢索目標圖像的優(yōu)點，采用這種方法進行圖像紋理特征提取,可以最大程度降低圖像紋理信息冗雜度，獲得有效紋理信息[4]。

第一步要獲取目標圖像的紋理特征向量。設圖像函數(shù)為g(x,y),按照Gabor小波變換可將圖像表述為：

Wmn(x,y)=?g(x,y)fmn*(x-x1,y-y1)dxdy

(4)

在式(4)中，*表示的是共軛復數(shù)，通過這個公式，可以得出目標圖像Gabor小波變換的均值和方差，其均值和方差分別用μmn、σmn表示，可以得到二者的值，即如下：

μmn=?|Wmn(x,y)|dxdy

(5)

(6)

通過以上公式可計算目標圖像的紋理特征在水平、垂直等不同方向及尺寸上的能量分布，得到圖像的紋理特征。如圖4所示。

圖4 Gabor小波變換法紋理特征提取

3.2 待檢索目標圖像與視頻圖像相似度匹配

設待檢索目標圖像數(shù)量為N幅，待檢索目標圖像就可以用In表示，n指的是1,2,3,…，N。海量視頻數(shù)據(jù)中對應的圖像的顏色、紋理及邊緣特征等分別用Cn、Tn、En來表示，那么待檢索目標圖像I1的特征相應在海量視頻圖像中對應的就是C1、T1、E1[6]。待檢索目標圖像與海量視頻數(shù)據(jù)中圖像顏色、紋理和邊緣相似度分別用DCN、DTn、DEn表示，然后按照以下公式分別計算他們的相似度：

(7)

(8)

(9)

3.3 待檢索圖像檢索流程

利用Hadoop平臺的MapReduce分布式數(shù)據(jù)計算系統(tǒng)設計Map任務、Reduce任務。先將目標圖像的特征值存儲到HBase的圖片表列中，然后選擇其中的行來執(zhí)行數(shù)據(jù)輸入任務，同時，將Rowkey作為key，圖片數(shù)據(jù)列則作為value，然后執(zhí)行Map任務，獲得待檢索圖片的關(guān)鍵參數(shù)和相應特征值，并自動生成特征函數(shù)和向量[7]。然后按照上述相似度匹配公式，對待檢索目標圖像與海量視頻庫中的圖像進行三種特征的比對和匹配，最終可以獲得較為準確的檢索結(jié)果。圖5為用戶在Hadoop海量視頻檢索系統(tǒng)中輸入待檢索目標圖像獲得的結(jié)果。

圖5 Hadoop海量視頻檢索效果

4 結(jié)語

本文以Hadoop平臺為依托設計海量視頻檢索系統(tǒng)硬件布局較為簡單，采用的算法也并不復雜，但是依托于Hadoop平臺良好的性能和高效的數(shù)據(jù)存儲及分布式處理優(yōu)勢，可以達到在海量視頻數(shù)據(jù)庫中快速高效檢索目標圖像的目的。本文的研究也表明，相較于單機節(jié)點的海量檢索系統(tǒng)，分布式的集群運算系統(tǒng)更能滿足當下海量視頻存儲及檢索的需求。未來應加大對這一技術(shù)的運用，將Hadoop海量視頻檢索系統(tǒng)應用到更多領(lǐng)域，造福社會。