陳新荃,陳曉東,蔣林華

(1.中國(guó)科學(xué)院上海高等研究院,上海 201210; 2.中國(guó)科學(xué)院大學(xué),北京 100049; 3.上海理工大學(xué),上海 200093)

0 概述

網(wǎng)絡(luò)帶寬的增長(zhǎng)和移動(dòng)互聯(lián)網(wǎng)的興起促進(jìn)了大數(shù)據(jù)時(shí)代的到來(lái)。越來(lái)越多基于圖片和視頻內(nèi)容的應(yīng)用得到普及,如Facebook、Instagram等。這類(lèi)應(yīng)用的發(fā)展促進(jìn)了基于目標(biāo)的圖像檢索技術(shù)[1]的發(fā)展與應(yīng)用。該技術(shù)在人臉檢索領(lǐng)域有豐富的應(yīng)用場(chǎng)景,如公安刑偵人臉識(shí)別、失蹤人口調(diào)查、相似明星臉?biāo)阉鞯?。隨著圖像數(shù)據(jù)的爆炸式增長(zhǎng),現(xiàn)有人臉圖像檢索技術(shù)在處理海量圖像數(shù)據(jù)的過(guò)程中,在實(shí)時(shí)性、擴(kuò)展性、并發(fā)性和準(zhǔn)確性等方面面臨嚴(yán)峻的考驗(yàn)。

Spark[2]是一個(gè)開(kāi)源的分布式大數(shù)據(jù)處理平臺(tái),算法框架基于MapReduce[3]算法實(shí)現(xiàn)分布式計(jì)算。不同于Hadoop[4]大數(shù)據(jù)處理系統(tǒng),Spark基于內(nèi)存計(jì)算,同時(shí)還提供多種數(shù)據(jù)處理接口和有向循環(huán)圖(Directed Acyclic Graph,DAG)調(diào)度策略,在復(fù)雜計(jì)算場(chǎng)景下編碼更方便,計(jì)算效率更高。

隨著圖像應(yīng)用的迅速發(fā)展,人臉圖像數(shù)據(jù)爆炸增長(zhǎng),因此,需要一種能夠處理海量數(shù)據(jù)且具有良好可擴(kuò)展性、并發(fā)性和準(zhǔn)確率的人臉圖像檢索方案。本文以此為目標(biāo),提出基于Spark分布式計(jì)算平臺(tái)的人臉圖像檢索系統(tǒng)。

1 相關(guān)研究

隨著人臉圖像檢索應(yīng)用的不斷發(fā)展,許多研究人員針對(duì)圖像檢索技術(shù)進(jìn)行了研究。文獻(xiàn)[5-6]考慮了人臉在二維圖像中的空間分布特點(diǎn),分別通過(guò)圖像分割法和特征權(quán)重法抽取人臉中的顯著視覺(jué)信息,目的是降低視覺(jué)特征規(guī)模。文獻(xiàn)[7]指出傳統(tǒng)視覺(jué)詞袋模型聚類(lèi)過(guò)程緩慢的問(wèn)題,考慮了局部特征之間的空間信息,運(yùn)用二進(jìn)制哈希與空間金字塔生成視覺(jué)詞典。文獻(xiàn)[8]采用基于簽名的方法替代傳統(tǒng)的聚類(lèi)方式,利用權(quán)重組合機(jī)制計(jì)算相似圖像,提高了視覺(jué)詞典生成速度。文獻(xiàn)[9]分析圖像高維視覺(jué)特征的內(nèi)存占用情況,提出將尺度不變特征變換(Scale-Invariant Feature Transform,SIFT)特征轉(zhuǎn)換成低維漢明特征的方法,壓縮視覺(jué)詞袋模型的倒排索引。文獻(xiàn)[10]提出自動(dòng)檢測(cè)人類(lèi)語(yǔ)義屬性的方法,構(gòu)建基于語(yǔ)義的稀疏編碼倒排索引,提高了人臉檢索的離線和在線處理性能。

上述研究分別從視覺(jué)特征提取、詞典生成、索引構(gòu)建等方面提高圖像檢索的效率和準(zhǔn)確率,但都沒(méi)有考慮到處理海量圖像數(shù)據(jù)時(shí)的并行化問(wèn)題。為解決該問(wèn)題,文獻(xiàn)[11]提出異構(gòu)計(jì)算框架CHCF處理海量圖像檢索,利用GPU和分布式集群提高并行處理能力。文獻(xiàn)[12-14]采用開(kāi)源的Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System,HDFS)計(jì)算平臺(tái)實(shí)現(xiàn)圖像檢索方案,將傳統(tǒng)視覺(jué)詞袋模型MapReduce化,從而提高并行程度,但圖像索引直接存放于HDFS文件系統(tǒng)中,導(dǎo)致檢索時(shí)產(chǎn)生硬盤(pán)讀取,影響檢索效率。文獻(xiàn)[15]在Hadoop平臺(tái)的基礎(chǔ)上采用Hbase分布式數(shù)據(jù)庫(kù)用作索引存儲(chǔ),解決了HDFS存取的時(shí)效性問(wèn)題,但檢索時(shí)需要對(duì)目標(biāo)圖像和所有圖像計(jì)算相似度,增加了不必要的計(jì)算過(guò)程。

基于上述研究,本文考慮人臉圖像的特點(diǎn)及檢索系統(tǒng)的并行性能,提出基于Spark分布式計(jì)算平臺(tái)的人臉圖像檢索技術(shù)。通過(guò)區(qū)塊劃分減少特征規(guī)模,結(jié)合SURF局部特征和HOG區(qū)塊特征設(shè)計(jì)新的相似度算法以提高檢索準(zhǔn)確率,最后在Spark平臺(tái)上實(shí)現(xiàn)人臉圖像檢索系統(tǒng),以提高系統(tǒng)可擴(kuò)展性和并行性。

2 系統(tǒng)架構(gòu)與模型

2.1 系統(tǒng)架構(gòu)

本文提出的分布式人臉圖像檢索平臺(tái)系統(tǒng)架構(gòu)如圖1所示,其中,用戶(hù)通過(guò)前端模塊與檢索系統(tǒng)進(jìn)行交互,前端模塊負(fù)責(zé)接收用戶(hù)的人臉檢索請(qǐng)求,轉(zhuǎn)發(fā)給檢索系統(tǒng)處理,并接收處理結(jié)果返回給用戶(hù)。本文采用Spark并行計(jì)算集群構(gòu)建人臉檢索系統(tǒng),其主要承擔(dān)2個(gè)任務(wù):離線索引構(gòu)建和在線人臉檢索,兩者均基于OpenCV[16]計(jì)算機(jī)視覺(jué)庫(kù)進(jìn)行圖像處理。離線索引構(gòu)建過(guò)程中的海量圖像數(shù)據(jù)采用HDFS存儲(chǔ)。HDFS是具備高度容錯(cuò)性的分布式文件系統(tǒng),適合大規(guī)模數(shù)據(jù)集的訪問(wèn)。構(gòu)建過(guò)程中生成的視覺(jué)詞匯表和倒排索引存儲(chǔ)于HBase中,HBase[17]是Apache基金會(huì)開(kāi)源的非結(jié)構(gòu)化數(shù)據(jù)庫(kù),基于HDFS分布式文件系統(tǒng)實(shí)現(xiàn),具備高可靠性、面向列式存儲(chǔ)的特點(diǎn),能夠?qū)崿F(xiàn)索引數(shù)據(jù)的高效存取。

圖1 分布式人臉圖像檢索平臺(tái)系統(tǒng)架構(gòu)

2.2 離線索引構(gòu)建

2.2.1 構(gòu)建流程

在基于視覺(jué)詞袋模型的搜索引擎技術(shù)中,倒排索引構(gòu)建過(guò)程是離線訓(xùn)練的主要內(nèi)容。本文針對(duì)人臉圖像空間分布特點(diǎn),提出局部區(qū)塊劃分方法構(gòu)建倒排索引,具體過(guò)程如圖2所示。

圖2 離線索引構(gòu)建過(guò)程

傳統(tǒng)圖像檢索系統(tǒng)對(duì)整幅圖片進(jìn)行局部視覺(jué)特征提取,未考慮人臉在二維圖像中的空間分布特點(diǎn),在相似人臉檢索中并不適用。本文針對(duì)人臉場(chǎng)景,首先利用Haar[18]算法檢測(cè)圖像中的人臉,去除大部分和人臉無(wú)關(guān)的背景信息并對(duì)齊,再檢測(cè)人臉上的五官局部區(qū)塊。由于耳朵在人臉圖像中經(jīng)常受到拍攝角度和發(fā)型的影響,容易產(chǎn)生不穩(wěn)定的視覺(jué)特征噪點(diǎn),因此本文劃分出左眼、右眼、鼻子、左嘴角、右嘴角5個(gè)局部區(qū)塊,這些區(qū)塊包含了人臉圖像的顯著特征信息,且劃分后的5個(gè)區(qū)塊各自特征空間相互獨(dú)立,容易進(jìn)行并行處理操作。

在索引構(gòu)建過(guò)程中,本文結(jié)合MapReduce編程模型,首先從HDFS文件系統(tǒng)讀取人臉圖像,將圖像數(shù)據(jù)分片后分發(fā)到不同的Spark執(zhí)行器中,再利用Spark框架的map轉(zhuǎn)換算子完成人臉圖像處理任務(wù),包括人臉檢測(cè)、局部區(qū)域劃分及視覺(jué)特征提取。因此,每個(gè)執(zhí)行器只負(fù)責(zé)處理一部分圖像數(shù)據(jù),實(shí)現(xiàn)多個(gè)執(zhí)行器的并行處理操作。

2.2.2 視覺(jué)特征計(jì)算

執(zhí)行人臉視覺(jué)特征提取任務(wù)時(shí),本文共提取2種視覺(jué)特征,分別是SURF局部特征和HOG區(qū)塊特征。加速穩(wěn)健特征(Speeded Up Robust Features,SURF)特征[19]屬于局部視覺(jué)特征,具有良好的旋轉(zhuǎn)不變性和尺度不變性。文獻(xiàn)[20]指出,在去除和人臉無(wú)關(guān)的背景噪聲后,SURF特征能夠應(yīng)用于人臉識(shí)別領(lǐng)域。本文通過(guò)區(qū)塊劃分方法約束SURF特征的提取范圍,去除了無(wú)關(guān)噪點(diǎn)?？紤]到從海量圖像中提取的視覺(jué)特征規(guī)模巨大,為縮減倒排索引規(guī)模,本文基于視覺(jué)詞袋模型,利用SURF特征生成視覺(jué)單詞,通過(guò)視覺(jué)單詞表示人臉圖像,建立倒排索引,從而降低海量人臉圖像的索引規(guī)模。但SURF特征的提取僅基于人臉圖像中關(guān)鍵點(diǎn)周?chē)男畔?其視覺(jué)特征丟失了關(guān)鍵點(diǎn)以外的圖像信息,缺乏對(duì)人臉圖像空間結(jié)構(gòu)信息的整體描述。因此,本文針對(duì)人臉圖像局部區(qū)塊提取方向梯度直方圖(Histogram of Oriented Gradient,HOG)特征[21]。該特征將圖像均勻地分為多個(gè)圖像單元,通過(guò)統(tǒng)計(jì)每個(gè)單元的梯度直方圖作為視覺(jué)特征,屬于全局視覺(jué)特征。HOG特征能夠?qū)θ四樀墓庹铡⑿D(zhuǎn)和部分遮擋保持良好的不變性,描述出人臉圖像的局部區(qū)塊特點(diǎn),彌補(bǔ)SURF特征所缺少的空間結(jié)構(gòu)視覺(jué)信息。本文中每張人臉圖像5個(gè)局部區(qū)塊對(duì)應(yīng)5個(gè)HOG特征,而所有HOG特征組成的區(qū)塊特征表通過(guò)HBase進(jìn)行存儲(chǔ),在人臉檢索過(guò)程中結(jié)合SURF特征進(jìn)行候選圖像的相似得分計(jì)算。

2.2.3 索引構(gòu)建

本文通過(guò)K-Means算法對(duì)SURF特征向量進(jìn)行聚類(lèi),生成具有代表性的特征,即視覺(jué)單詞。K-Means算法時(shí)間復(fù)雜度為O(nkt),其中,n為全部視覺(jué)特征數(shù)量,t為迭代次數(shù),k為視覺(jué)詞匯數(shù)。如果將整張人臉圖像的SURF特征放在同一空間進(jìn)行聚類(lèi),會(huì)導(dǎo)致非常高的時(shí)間復(fù)雜度,并造成不同人臉部位的特征向量被歸于同一類(lèi)的情況。因此,本文基于人臉區(qū)域劃分方法劃分人臉圖像得到5種局部區(qū)塊,并通過(guò)Spark的reduceByKey算子重新分配特征向量描述符,將屬于同一人臉區(qū)域的SURF特征分配到同一集合,獲得5個(gè)獨(dú)立的視覺(jué)特征子空間,聚類(lèi)操作在每個(gè)特征子空間內(nèi)分別執(zhí)行,最后生成5張視覺(jué)特征詞匯表,以此降低n和k的值,從而提高整體聚類(lèi)速度,解決錯(cuò)分類(lèi)問(wèn)題。

本文根據(jù)視覺(jué)特征詞匯表對(duì)每個(gè)特征子空間中的特征向量進(jìn)行歸類(lèi)和統(tǒng)計(jì),生成倒排索引表。倒排索引表在HBase分布式數(shù)據(jù)庫(kù)中以Key-Value的形式存儲(chǔ)。其中Key的形式為<子區(qū)域ID_視覺(jué)單詞ID>,Value包含2個(gè)部分:一部分是特征單詞的逆文檔頻率值idf;另一部分是該特征單詞在每個(gè)人臉圖像中的詞頻權(quán)重集合。特征單詞t的逆文檔頻率計(jì)算公式如式(1)所示。

(1)

其中:N是人臉庫(kù)中所有人臉的總數(shù);dft是具有該特征單詞的人臉圖像數(shù)量。式(1)對(duì)于罕見(jiàn)的特征單詞權(quán)重較高,而普遍在所有人臉圖像中出現(xiàn)的特征單詞則權(quán)重較低。

特征單詞t在人臉圖像d中的詞頻權(quán)重可描述為:

(2)

其中,tft,d表示視覺(jué)單詞t在人臉圖像d中出現(xiàn)的次數(shù),出現(xiàn)次數(shù)越多,權(quán)重越大。如果某一特征單詞在圖像中出現(xiàn)30次,那么其所攜帶視覺(jué)信息重要性不應(yīng)該是只出現(xiàn)1次單詞的30倍,為避免詞頻權(quán)重隨著次數(shù)的成倍增減而驟增或者驟減,采用log函數(shù)削減其權(quán)重值數(shù)量級(jí)。

2.3 在線人臉檢索

2.3.1 檢索流程

人臉圖像檢索屬于在線服務(wù),用戶(hù)最主要關(guān)注的是檢索性能和結(jié)果質(zhì)量,本文人臉檢索具體過(guò)程如圖3所示。

圖3 人臉圖像檢索過(guò)程

檢索過(guò)程中首先對(duì)目標(biāo)人臉圖像進(jìn)行局部區(qū)塊檢測(cè),分別提取出5個(gè)區(qū)塊的SURF視覺(jué)特征。通過(guò)視覺(jué)特征詞匯表對(duì)SURF特征向量進(jìn)行分類(lèi),得到目標(biāo)視覺(jué)單詞集合。為提高視覺(jué)特征分類(lèi)效率,避免線性匹配分類(lèi),本文系統(tǒng)在啟動(dòng)時(shí)已從HBase數(shù)據(jù)庫(kù)中載入了視覺(jué)特征詞匯表,以Spark RDD(Resilient Distributed Dataset)的形式存儲(chǔ)于集群的內(nèi)存中。在執(zhí)行特征分類(lèi)時(shí),首先利用Spark的broadcast算子將目標(biāo)人臉區(qū)塊的所有SURF特征向量廣播分發(fā)到不同worker節(jié)點(diǎn)上,接著采用flatMap算子在多個(gè)執(zhí)行器內(nèi)并行計(jì)算特征向量和視覺(jué)單詞之間的距離,然后通過(guò)reduceByKeyLocally算子過(guò)濾出每個(gè)RDD數(shù)據(jù)分片中與特征向量距離最短的特征單詞,并合并多個(gè)分區(qū)的過(guò)濾結(jié)果,以HashMap形式的數(shù)據(jù)結(jié)構(gòu)返回每個(gè)特征向量對(duì)應(yīng)的目標(biāo)視覺(jué)單詞ID,從而以并行計(jì)算的方式完成SURF特征向量的歸類(lèi)。最后根據(jù)目標(biāo)視覺(jué)單詞集合從HBase中的倒排索引表查找出候選人臉集合,再根據(jù)候選人臉集合從HOG區(qū)塊特征表中查找出對(duì)應(yīng)的HOG特征,通過(guò)結(jié)合SURF特征和HOG特征的相似度算法計(jì)算候選圖像相似得分,排序后得到最終的相似人臉檢索結(jié)果。

2.3.2 相似度算法

為提高人臉檢索的準(zhǔn)確率,本文在計(jì)算候選圖像相似度時(shí)將SURF特征和HOG特征進(jìn)行結(jié)合,提出基于特征詞頻維度和區(qū)塊匹配維度的相似度算法。該算法考慮了SURF特征詞匯的頻率,計(jì)算公式如式(3)和式(4)所示。

(3)

wt,q=wft,q·idf(t)

(4)

其中:S(q,d)表示目標(biāo)臉q和候選臉d在特征詞頻維度上的相似度;D是目標(biāo)臉q中的所有特征單詞向量;wft,d是特征單詞t在相似臉d中的詞頻權(quán)重,在倒排索引構(gòu)建階段統(tǒng)計(jì)得到;wt,q表示特征單詞t在目標(biāo)臉q中的詞頻權(quán)重;wft,d和wt,q均采用歐式歸一化方式。

基于區(qū)塊匹配維度的相似度算法考慮了人臉區(qū)塊HOG特征的相似程度,計(jì)算公式如式(5)所示。

(5)

其中:P(q,d)表示目標(biāo)臉q與候選臉d在區(qū)塊匹配維度上的相似度;F是面部的所有局部區(qū)塊集合,本文中即左眼、右眼、鼻子、左嘴角、右嘴角5個(gè)區(qū)塊;Hp,q表示目標(biāo)臉q在局部區(qū)塊p上的HOG特征直方圖,本文采用巴氏距離(Bhattacharyya,BC)[22]算法計(jì)算目標(biāo)臉和相似臉在區(qū)塊p上的HOG特征直方圖相似度;N是區(qū)塊總數(shù),即N=5。對(duì)所有對(duì)應(yīng)區(qū)塊的巴氏距離求平均,得到基于區(qū)塊匹配維度的相似度。

本文采用權(quán)重系數(shù)λ將SURF特征詞頻算法和HOG特征區(qū)塊匹配算法結(jié)合,得到最終的相似度得分算法,計(jì)算公式如式(6)所示。

score(q,d)=λ·S(q,d)+(1-λ)·P(q,d)

(6)

其中:權(quán)重系數(shù)λ作用是平衡SURF特征詞頻和HOG區(qū)塊特征對(duì)相似得分的貢獻(xiàn)程度,λ∈[0,1]。λ值越大,詞頻權(quán)重相似度越重要,反之則區(qū)塊匹配相似度越重要。通過(guò)離線訓(xùn)練獲得合適的λ取值,以此對(duì)候選人臉計(jì)算相似度得分,再根據(jù)得分排序,獲得檢索結(jié)果。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

本文Spark人臉檢索集群部署在5臺(tái)物理服務(wù)器上,包括1個(gè)Master節(jié)點(diǎn)和4個(gè)Worker節(jié)點(diǎn),每臺(tái)物理機(jī)配置為24核2.3 GHz處理器、32 GB內(nèi)存。本文通過(guò)網(wǎng)絡(luò)爬蟲(chóng)從互聯(lián)網(wǎng)上獲取80萬(wàn)張人臉圖像作為基礎(chǔ)人臉庫(kù),并從LFW[23](Labeled Face in Wild)數(shù)據(jù)集中抽取200張(20個(gè)人,每人10張)有標(biāo)注人臉圖像作為驗(yàn)證集加入基礎(chǔ)人臉庫(kù)中。為面向不同的人臉庫(kù)規(guī)模評(píng)估系統(tǒng)的檢索性能和準(zhǔn)確率,本文分別構(gòu)造4個(gè)不同規(guī)模的人臉庫(kù)進(jìn)行實(shí)驗(yàn),分別有1×104張、4×104張、2×105張、8×105張人臉圖像。

3.2 結(jié)果分析

3.2.1 視覺(jué)特征數(shù)

本文的局部區(qū)塊劃分方法記為Block,對(duì)整張人臉進(jìn)行處理的無(wú)區(qū)塊劃分方法記為Non-Block。如圖4所示,在提取SURF視覺(jué)特征階段,同樣的人臉圖像規(guī)模下,區(qū)塊劃分方法提取的視覺(jué)特征數(shù)不到無(wú)劃分方法的一半,表明該方法能夠通過(guò)減少SURF特征數(shù)降低倒排索引規(guī)模,提高索引構(gòu)建效率和檢索效率。

圖4 SURF特征數(shù)對(duì)比

3.2.2 系統(tǒng)性能

Hadoop具有和Spark類(lèi)似的MapReduce分布式計(jì)算思想,為進(jìn)行性能比較,本文在相同的物理配置下搭建了Hadoop分布式集群,包括1個(gè)Master節(jié)點(diǎn)和4個(gè)Slave節(jié)點(diǎn),并采用Hadoop自帶的MapReduce接口實(shí)現(xiàn)了同樣的倒排索引構(gòu)建流程和人臉檢索流程。如表1和表2所示,本文Spark集群運(yùn)行索引構(gòu)建過(guò)程比Hadoop集群更高效,且圖像規(guī)模越大差距越顯著。運(yùn)行人臉檢索流程也表現(xiàn)出相同的趨勢(shì),并發(fā)請(qǐng)求數(shù)越大,Spark集群性能優(yōu)勢(shì)越明顯。上述結(jié)果表明本文系統(tǒng)能夠發(fā)揮Spark框架在內(nèi)存計(jì)算和DAG調(diào)度機(jī)制等方面的優(yōu)勢(shì),提供更快的海量人臉圖像處理性能。

表1 Spark對(duì)Hadoop索引構(gòu)建加速比

表2 Spark對(duì)Hadoop人臉檢索加速比

本文以加速比作為系統(tǒng)在海量數(shù)據(jù)環(huán)境下擴(kuò)展能力的衡量指標(biāo),以數(shù)據(jù)分片數(shù)代表運(yùn)行的并行程度。如圖5所示,以數(shù)據(jù)拆分為8個(gè)分片時(shí)的運(yùn)行時(shí)間作為加速比基準(zhǔn),隨著并行度提高,本文系統(tǒng)進(jìn)行離線索引構(gòu)建的效率越高,加速比越大。80萬(wàn)人臉數(shù)據(jù)采用64個(gè)數(shù)據(jù)分片時(shí)加速比達(dá)到了6.4倍,體現(xiàn)出良好的可擴(kuò)展性。

圖5 離線索引構(gòu)建加速比

在線人臉檢索的運(yùn)行加速比如圖6所示,以請(qǐng)求拆分為8個(gè)分片時(shí)的運(yùn)行時(shí)間作為加速比基準(zhǔn),檢索請(qǐng)求為100并發(fā)時(shí),數(shù)據(jù)分片數(shù)增加沒(méi)有顯著提高加速比,是由于Spark集群需要耗費(fèi)一定的資源進(jìn)行節(jié)點(diǎn)間數(shù)據(jù)傳輸及網(wǎng)絡(luò)通信。隨著并發(fā)請(qǐng)求量的擴(kuò)大,傳輸和通信所需時(shí)間占比越小,數(shù)據(jù)并行處理效果越顯著,當(dāng)請(qǐng)求達(dá)到6 400、數(shù)據(jù)分片為64時(shí),檢索加速比達(dá)到6.8倍,體現(xiàn)出良好的并發(fā)性。

圖6 在線并發(fā)檢索請(qǐng)求加速比

3.2.3 檢索準(zhǔn)確率

本文基于1×104張人臉庫(kù)對(duì)相似度權(quán)重系數(shù)λ進(jìn)行實(shí)驗(yàn),采用mAP(mean Average Precision)作為系統(tǒng)的人臉檢索指標(biāo),該指標(biāo)基于多次檢索結(jié)果中的準(zhǔn)確率和召回率來(lái)計(jì)算平均檢索精度。實(shí)驗(yàn)結(jié)果如圖7所示,λ=0,即只采用HOG區(qū)塊匹配相似算法,λ=1,即只采用SURF視覺(jué)詞頻相似算法,兩者準(zhǔn)確率均低于0.59,而當(dāng)λ處于0到1之間,即2種相似算法結(jié)合,各占一定比例的權(quán)重,HOG特征補(bǔ)充了SURF特征丟失的部分人臉區(qū)塊相似信息,在λ=0.2時(shí)mAP值達(dá)到最大。

圖7 不同權(quán)重系數(shù)下的mAP值對(duì)比

本文相似得分算法記為SP-Sim,基于SURF特征詞頻維度的相似度算法記為S-Sim。實(shí)驗(yàn)結(jié)果如圖8所示。對(duì)比Block+S-Sim和Non-Block+S-Sim算法,前者采用區(qū)塊劃分方法,在不同人臉庫(kù)規(guī)模下準(zhǔn)確率比后者平均提高了30%左右。對(duì)比Block+SP-Sim和Block+S-Sim算法,前者采用基于視覺(jué)詞頻和區(qū)塊匹配結(jié)合的相似算法,準(zhǔn)確率平均達(dá)到了后者的2.7倍左右。對(duì)比Block+SP-Sim和Non-Block+S-Sim算法,前者為本文綜合的改進(jìn)算法,后者為視覺(jué)詞袋原型算法,本文算法準(zhǔn)確率平均比后者高了2.4倍左右,表明本文提出的區(qū)塊劃分方法和相似度算法能夠有效提升檢索準(zhǔn)確率。

圖8 不同檢索算法的mAP值對(duì)比

4 結(jié)束語(yǔ)

本文提出基于Spark分布式計(jì)算平臺(tái)的人臉圖像檢索系統(tǒng)。首先針對(duì)人臉圖像空間分布特點(diǎn)設(shè)計(jì)局部區(qū)塊劃分方法,縮小特征規(guī)模,增加流程并行度;然后提出基于SURF特征詞頻維度和HOG特征區(qū)塊匹配維度的相似度算法,提高檢索準(zhǔn)確率;最后基于Spark框架實(shí)現(xiàn)人臉檢索系統(tǒng)處理海量數(shù)據(jù)和檢索請(qǐng)求。實(shí)驗(yàn)結(jié)果表明,本文系統(tǒng)較基于Hadoop的檢索系統(tǒng)運(yùn)行效率更高,并具有良好的可擴(kuò)展性和并發(fā)性。由于本文只針對(duì)靜態(tài)人臉圖像檢索進(jìn)行研究,未結(jié)合視頻圖像中的人臉數(shù)據(jù)進(jìn)行處理,因此下一階段將對(duì)此進(jìn)行研究,實(shí)現(xiàn)對(duì)視頻圖像數(shù)據(jù)的高效檢索。

[1] 趙永威,李弼程,彭天強(qiáng),等.一種基于隨機(jī)化視覺(jué)詞典組和查詢(xún)擴(kuò)展的目標(biāo)檢索方法[J].電子與信息學(xué)報(bào),2012,34(5):1154-1161.

[2] Apache SparkTM-Lightning-fast Cluster Computing[EB/OL].[2016-12-16].http://spark.apache.org/.

[3] DEAN J,GHEMAWAT S.MapReduce:Simplified Data Processing on Large Clusters[J].Communications of the ACM,2008,51(1):107-113.

[4] SHVACHKO K,KUANG H,RADIA S,et al.The Hadoop Distributed File System[C]//Proceedings of the 26th Symposium on Mass Storage Systems and Technologies.Washington D.C.,USA:IEEE Press,2010:1-10.

[5] KAMENCAY P,BREZNAN M,JELSOVKA D,et al.Improved Face Recognition Method Based on Segmentation Algorithm Using SIFT-PCA[C]//Proceedings of the 35th International Conference on Telecommunications and Signal Processing.Washington D.C.,USA:IEEE Press,2012:758-762.

[6] PARUA S,DAS A,MAZUMDAR D,et al.Deter-mination of Feature Hierarchy from Gabor and SIFT Features for Face Recognition[C]//Proceedings of the 2nd International Conference on Emerging Applications of Information Technology.Washington D.C.,USA:IEEE Press,2011:257-260.

[7] 彭天強(qiáng),栗 芳.基于二進(jìn)制哈希與空間金字塔的視覺(jué)詞袋模型生成方法[J].計(jì)算機(jī)工程,2016,42(12):164-170.

[8] dos SANTOS J M,de MOURA E S,da SILVA A S,et al.A Signature-based Bag of Visual Words Method for Image Indexing and Search[J].Pattern Recognition Letters,2015,65(C):1-7.

[9] LU Guoyu,HU Yingjie,SEBE N.Weighted SIFT Feature Learning with Hamming Distance for Face Recognition[C]//Proceedings of 2014 International Conference on Computer Vision Theory and Applications.Washington D.C.,USA:IEEE Press,2014:691-699.

[10] CHEN B C,CHEN Y Y,KUO Y H,et al.Scalable Face Image Retrieval Using Attribute-enhanced Sparse Code-words[J].IEEE Transactions on Multimedia,2013,15(5):1163-1173.

[11] WANG Hanli,XIAO Bo,WANG Lei,et al.CHCF:A Cloud-based Heterogeneous Computing Framework for Large-scale Image Retrieval[J].IEEE Transactions on Circuits and Systems for Video Technology,2015,25(12):1900-1913.

[12] 朱為盛,王 鵬.基于 Hadoop 云計(jì)算平臺(tái)的大規(guī)模圖像檢索方案[J].計(jì)算機(jī)應(yīng)用,2014,34(3):695-699.

[13] GRACE R K,MANIMEGALAI R,KUMAR S S.Medical Image Retrieval System in Grid Using Hadoop Framework[C]//Proceedings of 2014 International Conference on Computational Science and Computa-tional Intelligence.Washington D.C.,USA:IEEE Press,2014:144-148.

[14] RAJU U S N,GEORGE S,PRANEETH V S,et al.Content Based Image Retrieval on Hadoop Framework[C]//Proceedings of 2015 IEEE International Congress on Big Data.Washington D.C.,USA:IEEE Press,2015:661-664.

[15] CHENG Wenchen,QIAN Jiang,ZHAO Zhicheng,et al.Large Scale Cross-media Data Retrieval Based on Hadoop[C]//Proceedings of the 11th International Con-ference on Heterogeneous Networking for Quality,Reliabi-lity,Security and Robustness.Washington D.C.,USA:IEEE Press,2015:133-138.

[16] BRADSKI G.The Opencv Library[J].Dr. Dobb’s Journal,2000,25(11):120-126.

[17] Apache HBaseTM[EB/OL].[2016-12-16].http://hbase.apache.org/.

[18] LIENHART R,MAYDT J.An Extended Set of Haar-like Features for Rapid Object Detection[C]//Proceedings of 2002 International Conference on Image Processing.Washington D.C.,USA:IEEE Press,2002:900-903.

[19] BAY H,TUYTELAARS T,van GOOL L.Surf:Speeded up Robust Features[C]//Proceedings of European Con-ference on Computer Vision.Berlin,Germany:Springer,2006:404-417.

[20] DREUW P,STEINGRUBE P,HANSELMANN H,et al.SURF-Face:Face Recognition Under Viewpoint Con-sistency Constraints[C]//Proceedings of British Machine Vision Conference.London,UK:[s.n.],2009:1-11.

[21] DALAL N,TRIGGS B.Histograms of Oriented Gradients for Human Detection[C]//Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2005:886-893.

[22] CHOI E,LEE C.Feature Extraction Based on the Bhattacharyya Distance[J].Pattern Recognition,2003,36(8):1703-1709.

[23] HUANG G B,RAMESH M,BERG T,et al.Labeled Faces in the Wild:A Database for Studying Face Recognition in Unconstrained Environments:07-49[R].Amherst,USA:University of Massachusetts,Amherst,2007.