胡 佩 陳冠豪

1(重慶工程職業(yè)技術(shù)學(xué)院信息工程學(xué)院 重慶 402260)2(重慶大學(xué)通信工程學(xué)院 重慶 400044)

0 引 言

在現(xiàn)有的人臉識(shí)別算法的研究與應(yīng)用中，人臉驗(yàn)證或人臉鑒定采用的相似臨近搜索技術(shù)成為影響算法速度的重要因素之一，如何進(jìn)一步提高相似臨近搜索技術(shù)的速度已成為研究的重中之重。

研究者們提出了兩種思路來解決這個(gè)問題，一是在原始的特征表示上使用降維的方法來得到較短的特征表示，例如主成份分析PCA(Principal Component Analysis)[1]方法；二是如文獻(xiàn)[2]中所述的方法將特征表示轉(zhuǎn)換為二進(jìn)制特征表示；更有將兩者進(jìn)行結(jié)合的方法，例如迭代量化方法ITQ(Iterative Quantization)[3]這些方法中，哈希算法在近幾年受到廣泛關(guān)注。哈希算法能在保持圖像特征相似性的前提下，將圖像特征映射為二進(jìn)制編碼，其在存儲(chǔ)和在相似度計(jì)算上具有優(yōu)勢(shì)。近年來，基于監(jiān)督的哈希算法越來越被引起重視，它們通過學(xué)習(xí)訓(xùn)練樣本的關(guān)系來構(gòu)建哈希函數(shù)，比傳統(tǒng)的與數(shù)據(jù)無關(guān)的哈希算法更有效。但目前很多帶監(jiān)督的哈希方法[4-5]通常采用圖像對(duì)或者圖像三元組的方式進(jìn)行訓(xùn)練，它使得訓(xùn)練階段需要大量的計(jì)算代價(jià)和存儲(chǔ)代價(jià)，最終使得模型訓(xùn)練幾乎不可能實(shí)現(xiàn)。近幾年，深度學(xué)習(xí)在圖像分類、目標(biāo)檢測(cè)等多個(gè)領(lǐng)域都取得了較大的進(jìn)展。從 NIN(Network In Network)[6]網(wǎng)絡(luò)結(jié)構(gòu)的提出到 Inception 結(jié)構(gòu)的網(wǎng)絡(luò)[7]在各方面取得較大提升，再到殘差網(wǎng)絡(luò)[8]在各種比賽中取得絕佳的效果等這一系列新的突破都說明了卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像特征表示上的能力。

根據(jù)深度卷積神經(jīng)網(wǎng)絡(luò)和哈希算法的優(yōu)勢(shì)，本文結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)與二進(jìn)制哈希函數(shù)的編碼方法構(gòu)建名為深度二進(jìn)制哈希的算法，將學(xué)習(xí)得到的二進(jìn)制哈希碼用于大規(guī)模的人臉識(shí)別當(dāng)中。并針對(duì)哈希算法精度輕微下降的問題，通過聯(lián)合級(jí)聯(lián)結(jié)構(gòu)進(jìn)行人臉識(shí)別，通過層層篩選的方式在保持速度的前提下有效提升特征表達(dá)的準(zhǔn)確率，最終在保證算法準(zhǔn)確率的情況下，較大縮減計(jì)算時(shí)間。

1 深度二進(jìn)制人臉哈希

1.1 定 義

深度二進(jìn)制人臉哈希的基本思想為在卷積神經(jīng)網(wǎng)絡(luò)中構(gòu)建哈希層，在學(xué)習(xí)特征表示的同時(shí)學(xué)習(xí)它對(duì)應(yīng)的哈希函數(shù)，使得提取到的特征從浮點(diǎn)型的特征轉(zhuǎn)換為二進(jìn)制的特征。深度二進(jìn)制人臉哈希的示意圖如圖1所示，網(wǎng)絡(luò)前向傳播后哈希層的激活值就是潛在的屬性，也就是二進(jìn)制特征。針對(duì)人臉這個(gè)場(chǎng)景，通過對(duì)哈希損失函數(shù)的優(yōu)化來學(xué)習(xí)人臉專用的哈希函數(shù)，實(shí)現(xiàn)比傳統(tǒng)哈希算法更好的特征二進(jìn)制化。

圖1 基于卷積神經(jīng)網(wǎng)絡(luò)的二進(jìn)制人臉哈希示意圖

深度二進(jìn)制哈希算法與其他哈希算法的區(qū)別包括：

① 在原有的卷積神經(jīng)網(wǎng)絡(luò)中構(gòu)建哈希層，將哈希層得到的編碼輸入分類器進(jìn)行分類，Softmax分類損失函數(shù)作為優(yōu)化目標(biāo)之一。

② 通過圖像的標(biāo)簽信息在學(xué)習(xí)分類的基礎(chǔ)上還同時(shí)學(xué)習(xí)二進(jìn)制編碼對(duì)應(yīng)的哈希函數(shù)。

③ 不僅僅考慮分類函數(shù)的誤差，還考慮將浮點(diǎn)型連續(xù)值量化為二進(jìn)制哈希碼時(shí)產(chǎn)生的誤差，使得哈希函數(shù)滿足獨(dú)立性和量化誤差最小的約束，從而得到表達(dá)能力更強(qiáng)的哈希碼。

④ 直接進(jìn)行學(xué)習(xí)，不需要構(gòu)建圖像對(duì)或者三元組。

1.2 哈希層及二進(jìn)制編碼

假設(shè)圖像集合表示為X={In}N，其中每個(gè)圖像In∈Rd，N代表圖像集合的大小；圖像集合對(duì)應(yīng)的標(biāo)簽集合為Y={yn}N×M，其中M為圖像集合中類別的數(shù)量，每行為圖像通過一位有效編碼(One-Hot Encoding)后的結(jié)果，圖像標(biāo)簽yn對(duì)應(yīng)的列值為1，余下的值填充0。深度哈希算法的目的為學(xué)習(xí)一個(gè)映射，這個(gè)映射可以表示為：

H:X→{0,1}N×K

(1)

式中：X為K維度的輸入特征；X代表映射；輸入特征通過映射后得到的輸出可以表示為K維的二進(jìn)制編B={bn}∈{0,1}N×K。同時(shí)，該映射除了進(jìn)行特征的二進(jìn)制編碼以外，它還需要保持著不同圖像之間的相似性信息。

在如圖1所示的基于卷積神經(jīng)網(wǎng)絡(luò)的二進(jìn)制人臉哈希示意圖中，特征提取層及其前面的所有層的前向傳播操作共同組成上述映射，哈希層為Tanh激活函數(shù)，哈希層輸出的激活值通過量化編碼后就是二進(jìn)制特征。

(2)

(3)

(4)

式中：sign(z)函數(shù)表示當(dāng)z>0的時(shí)候?yàn)?,否則為0。對(duì)于矩陣類型的參數(shù)將對(duì)每個(gè)元素進(jìn)行單獨(dú)計(jì)算。因?yàn)門anh激活后得到的范圍為(-1, 1)，故該公式通過取中間值 0 將松弛的“二值碼”量化為二進(jìn)制特征。

1.3 哈希損失函數(shù)及算法求解

同哈希算法構(gòu)造的哈希函數(shù)差別巨大，最終的效果也是千差萬別，但是有一點(diǎn)是相同的，那就是在保持?jǐn)?shù)據(jù)的相似性的前提下使得二進(jìn)制編碼盡可能緊致。為了評(píng)判不同哈希函數(shù)的好壞，譜哈希SH(Spectral Hashing)[9]給出了對(duì)哈希函數(shù)的三個(gè)評(píng)價(jià)標(biāo)準(zhǔn)，本文對(duì)其進(jìn)行了調(diào)整和修改：

① 它能夠有效地創(chuàng)建并維持二進(jìn)制編碼之間的關(guān)系，學(xué)習(xí)得到的二進(jìn)制編碼能夠保持圖像類別之間的相似度關(guān)系，直接表現(xiàn)為同一類別的圖像被映射到十分相似或者相同的二進(jìn)制編碼。

② 學(xué)習(xí)得到的二進(jìn)制編碼應(yīng)該有區(qū)分性并且每位應(yīng)該帶盡可能多的信息，表現(xiàn)為更短的編碼具有更好的效果。

③ 學(xué)習(xí)得到的二進(jìn)制編碼的每位獨(dú)立并且均勻分布，表現(xiàn)為編碼的每位出現(xiàn)-1或者1的概率都為 50%，即二進(jìn)制編碼的平均值為 0。

參考譜哈希的優(yōu)化目標(biāo)函數(shù)[9]，為了平衡多個(gè)樣本之間的關(guān)系，采用雙通道網(wǎng)絡(luò)結(jié)構(gòu)來實(shí)現(xiàn)深度二進(jìn)制哈希。在給定一個(gè)圖像對(duì)(Ii,Ij)，假設(shè)圖像對(duì)應(yīng)的特征為xi和xj，特征為輸入圖像在Rd維度下的表示，在這個(gè)維度下面特征之間的關(guān)系可以用歐式距離來代替相似度的關(guān)系。最終采用高斯核度量相似度G，相應(yīng)的表達(dá)式為：

(5)

假設(shè)二進(jìn)制哈希特征每位是相互獨(dú)立的，相應(yīng)的優(yōu)化公式可以表示：

(6)

然而，這個(gè)方程存在一系列的問題，使得它沒辦法應(yīng)用在神經(jīng)網(wǎng)絡(luò)當(dāng)中，因此，將式(5)轉(zhuǎn)化為采用多任務(wù)聯(lián)合監(jiān)督學(xué)習(xí)的方式進(jìn)行優(yōu)化。同時(shí)，因?yàn)閷⑻卣魈崛∨c哈希學(xué)習(xí)是結(jié)合在一起的，故只需要保證特征能實(shí)現(xiàn)正確分類，并保證特征哈希化正確即可。也就是說，通過Softmax分類損失函數(shù)和設(shè)計(jì)的哈希損失函數(shù)即可實(shí)現(xiàn)二進(jìn)制特征的提取，相應(yīng)的目標(biāo)函數(shù)為：

(7)

式中：W代表神經(jīng)網(wǎng)絡(luò)中的所有參數(shù)；λ代表正則項(xiàng)系數(shù)；LS代表Softmax分類損失函數(shù)；LH代表哈希損失函數(shù)，其由兩部分構(gòu)成，表達(dá)式為：

LH=αLHB+βLHC

(8)

式中：α和β為超參，用于平衡多個(gè)任務(wù)的權(quán)重，表示不同任務(wù)的重要性。LHC為哈希緊湊損失函數(shù)，其表達(dá)式為：

(9)

然而，如果單純地使用緊湊損失函數(shù)，學(xué)習(xí)得到最優(yōu)特征表示為所有的特征都為0。為解決這個(gè)問題，并將特征的數(shù)值盡可能拉開。故在卷積神經(jīng)網(wǎng)絡(luò)中，構(gòu)建哈希二進(jìn)制損失函數(shù)LHB，可以表示為：

(10)

通過哈希二進(jìn)制損失函數(shù)，學(xué)習(xí)得到的二進(jìn)制特征將盡可能地拉大與0 的距離。

2 聯(lián)合級(jí)聯(lián)結(jié)構(gòu)的人臉識(shí)別

2.1 定 義

通過前一節(jié)的深度二進(jìn)制人臉哈希，學(xué)習(xí)得到的二進(jìn)制特征能有效地提高人臉識(shí)別搜索的速度。二進(jìn)制特征的優(yōu)點(diǎn)是提取特征和匹配速度快，但漢明距離不能完整地反映特征間的關(guān)系和未對(duì)姿態(tài)進(jìn)行感知與學(xué)習(xí)等多個(gè)因素共同造成。所以，算法如何在保持速度的基礎(chǔ)上進(jìn)一步提高結(jié)果的準(zhǔn)確率成為重要問題。

對(duì)于準(zhǔn)確率和速度的矛盾，本文采用聯(lián)合級(jí)聯(lián)結(jié)構(gòu)[10-12]進(jìn)行結(jié)合，其中深度二進(jìn)制哈希學(xué)習(xí)起到特征選擇的作用。通過二進(jìn)制特征來實(shí)現(xiàn)樣本快速選擇，經(jīng)過選擇后的樣本使用高準(zhǔn)確率并且抗姿態(tài)變化的人臉特征進(jìn)行“精細(xì)”識(shí)別，最終實(shí)現(xiàn)在高精度下的高速識(shí)別。

2.2 識(shí)別流程

通過聯(lián)合級(jí)聯(lián)結(jié)構(gòu)結(jié)合深度二進(jìn)制人臉哈希與深度特征變換[13]的人臉識(shí)別,過程如圖2所示。整個(gè)聯(lián)合級(jí)聯(lián)結(jié)構(gòu)的人臉識(shí)別跟標(biāo)準(zhǔn)人臉識(shí)別算法的最大區(qū)別在于樣本選擇和有針對(duì)性的使用特征，最終實(shí)現(xiàn)層層遞進(jìn)地篩選匹配的樣本，通過多種特征與多種度量的多次選擇，匹配出最佳的目標(biāo)作為結(jié)果。通過層層遞進(jìn)的選擇過程在保持高準(zhǔn)確性的基礎(chǔ)上，還避免了直接使用高精度模型的高復(fù)雜度。

圖2 基于聯(lián)合級(jí)聯(lián)結(jié)構(gòu)的人臉識(shí)別示意圖

這個(gè)過程中算法的基礎(chǔ)組成和變化的步驟如下：

① 預(yù)處理 采用文獻(xiàn)[13]的方式對(duì)目標(biāo)圖像中的人臉進(jìn)行檢測(cè)并對(duì)齊，得到對(duì)齊后的標(biāo)準(zhǔn)人臉圖像I。

② 特征提取 通過隨機(jī)梯度下降的方式訓(xùn)練并得到算法的模型，將標(biāo)準(zhǔn)人臉圖像I作為輸入，并行地輸入文獻(xiàn)[13]所述的卷積神經(jīng)網(wǎng)絡(luò)和論文所述的深度二進(jìn)制哈希學(xué)習(xí)所示的卷積神經(jīng)網(wǎng)絡(luò)中，前向傳播并提取相應(yīng)的深度特征fP和深度二進(jìn)制特征fB。

③ 樣本選擇 從人臉數(shù)據(jù)庫中讀取可能與輸入樣本有關(guān)的深度二值特征，計(jì)算標(biāo)準(zhǔn)人臉圖像的深度二進(jìn)制特征與它們的漢明距，并將結(jié)果的漢明距離作升序排序?？紤]到漢明距離越小代表兩者更加相似，故選取前K個(gè)對(duì)象作為樣本選擇的結(jié)果，將選擇出來的樣本編碼輸入到下一級(jí)的高精度人臉識(shí)別。

④ 高精度人臉識(shí)別 從人臉數(shù)據(jù)庫中讀取樣本選擇得到的K個(gè)對(duì)象的深度特征，計(jì)算標(biāo)準(zhǔn)人臉圖像的深度特征與它們的余弦相似度并作升序排序?？紤]到弦相似度越大代表兩者更加相似，基于最近鄰算法將相似度最大的樣本作為識(shí)別的結(jié)果。

2.3 偽代碼

人臉識(shí)別算法在測(cè)試階段的偽代碼如下：

算法: 基于二進(jìn)制特征與聯(lián)合層疊結(jié)構(gòu)的人臉識(shí)別輸入:對(duì)齊后的人臉圖像集合I;人臉圖像的關(guān)鍵點(diǎn)K;人臉數(shù)據(jù)庫標(biāo)簽Y及對(duì)應(yīng)的抗姿態(tài)變化特征fp和深度二進(jìn)制特征fB;人臉圖像集合的大小B;人臉數(shù)據(jù)庫的大小D;預(yù)先定義的參數(shù)K;人臉識(shí)別最低閾值T輸出:人臉識(shí)別標(biāo)簽集合Y⌒。1 for i=1…B do2 將對(duì)齊后的人臉圖像Ii輸入論文所述網(wǎng)絡(luò)3 前向傳播并提取深度二進(jìn)制特征fiB4 for j=1…D do5 計(jì)算深度二進(jìn)制特征fiB與fjB的漢明距離Hj6 end for7 根據(jù)漢明距離矩陣H對(duì)人臉數(shù)據(jù)庫從小到大進(jìn)行排序8 選取人臉數(shù)據(jù)庫中漢明距離最小的前K條記錄集合RK9 根據(jù)人臉圖像的關(guān)鍵點(diǎn)Ki進(jìn)行姿態(tài)估計(jì),得到姿態(tài)角度YAWi10 對(duì)姿態(tài)角度YAWi進(jìn)行分類,得到姿態(tài)類別Ci11 將對(duì)齊后的人臉圖像Ii和姿態(tài)類別Ci輸入文獻(xiàn)[13]所述的網(wǎng)絡(luò)12 向前傳播文獻(xiàn)[13]所述網(wǎng)絡(luò)并提取深度抗姿態(tài)變化的特征fiP13 for j=1,…,K do14 計(jì)算深度抗姿態(tài)變化特征fiB與fRjKB的余弦相似度Sj15 end for16 根據(jù)余弦相似度矩陣S對(duì)人臉數(shù)據(jù)庫從小到大進(jìn)行排序17 if余弦相似度矩陣S的最大值小于閾值T then18 人臉圖像Ii不存在于人臉數(shù)據(jù)庫中19 continue20 end if21 選取余弦相似度最高的記錄標(biāo)簽作為識(shí)別結(jié)果Y⌒22 end for

上述算法為基本的聯(lián)合層疊結(jié)構(gòu)的人臉識(shí)別的偽代碼，并未包含主成份分析、三元組嵌入層[14]等多個(gè)實(shí)際場(chǎng)景中常常用來適配場(chǎng)景的步驟。

3 算法性能對(duì)比及實(shí)驗(yàn)分析

3.1 測(cè)試人臉數(shù)據(jù)集及測(cè)試子集

為了保證指標(biāo)細(xì)節(jié)的可對(duì)比性和結(jié)果的可靠性，采用Facescrub[15]人臉數(shù)據(jù)集進(jìn)行驗(yàn)證。Facescrub人臉數(shù)據(jù)集中包含106.9千張來自530位被采集者在非可控條件下采集到的照片。同時(shí)，因?yàn)榉抡媸褂玫挠?jì)算機(jī)配置十分有限，而數(shù)據(jù)集中樣本圖像比較多，故本文算法通過隨機(jī)下采樣的方式從這個(gè)數(shù)據(jù)集中獲取一個(gè)3萬張圖像的子集，總共300個(gè)個(gè)體，每個(gè)人包含100張圖像。

3.2 平臺(tái)及參數(shù)設(shè)置

圖3為深度二進(jìn)制人臉哈希的網(wǎng)絡(luò)結(jié)構(gòu)示意圖。其中，卷積層均采用參數(shù)為3 × 3的卷積核，步長(zhǎng)1，邊緣填充1；子采樣層均采用采樣2 × 2的區(qū)域，步長(zhǎng)為2，采樣方式為最大值，采用漢明距離來度量特征之間的相似性。

圖3 深度二進(jìn)制人臉哈希的網(wǎng)絡(luò)結(jié)構(gòu)示意圖

3.3 性能指標(biāo)評(píng)估及結(jié)果分析

本文算法針對(duì)的是人臉識(shí)別這類索引問題，為了評(píng)價(jià)算法的好壞，本文采用準(zhǔn)確率(Precision)、召回率(Recall)對(duì)人臉識(shí)別的效果進(jìn)行評(píng)價(jià)。與目前主流的哈希算法進(jìn)行比較，包括迭代量化方法ITQ(Iterative Quantization)[16]、基于主成分分析的哈希算法PCAH(Principle Component Analysis Hashing)[17]、基于循環(huán)二進(jìn)制嵌入的哈希算法CBE(Circulant Binary Embedding)[18]、帶監(jiān)督的快速離散哈希FSDH(Fast Supervised Discrete Hashing)[19]、球哈希SpH(Spherical Hashing)[20]、譜哈希算法SH(Spectral Hashing)[9]。不同算法在不同編碼長(zhǎng)度下的準(zhǔn)確率曲線如圖4所示。

(a) 256位

(b) 512位圖4 不同特征編碼下算法的準(zhǔn)確率曲線

圖4為不同特征編碼長(zhǎng)度下本文所述算法和常見哈希算法的準(zhǔn)確率-檢索的樣本數(shù)量變換曲線，該曲線反映算法搜索結(jié)果排序的準(zhǔn)確率。隨著檢索樣本的增加，因?yàn)榭偟臉颖緮?shù)量是有限的，對(duì)應(yīng)的精度是不斷下降的，本文所設(shè)定的單人圖像數(shù)量是100張，故在檢索的樣本數(shù)量超過100張后曲線的下降趨勢(shì)變快較多。從圖中不難發(fā)現(xiàn)，本文所述的基于聯(lián)合級(jí)聯(lián)機(jī)構(gòu)的人臉識(shí)別算法在精度指標(biāo)上取得了較好的效果，其次是本文所述的深度二進(jìn)制人臉哈希(DeepHash)。同時(shí)，隨著編碼長(zhǎng)度的增加，如圖4(a)和圖4(b)分別所示，可以發(fā)現(xiàn)聯(lián)合級(jí)聯(lián)結(jié)構(gòu)的人臉識(shí)別曲線沒有較大提升，而深度二進(jìn)制哈希學(xué)習(xí)對(duì)應(yīng)的曲線不斷得到提升，最終只是略遜于層疊級(jí)聯(lián)結(jié)構(gòu)的人臉識(shí)別。主要在于隨著編碼長(zhǎng)度的增加，單位攜帶信息能力比較弱的二進(jìn)制特征能攜帶更多的信息量，故表現(xiàn)出一定程度的增加。而層疊結(jié)構(gòu)的人臉識(shí)別第二階段采用的特征在較低編碼長(zhǎng)度下已經(jīng)攜帶足夠信息(每個(gè)特征攜帶的信息為二進(jìn)制特征的32倍)，這使得特征編碼長(zhǎng)度的變化對(duì)于精準(zhǔn)度的提升表現(xiàn)不明顯。接下來，對(duì)不同算法在不同編碼長(zhǎng)度下召回率曲線進(jìn)行評(píng)估，結(jié)果如圖5所示。

(a) 256位

(b) 512位圖5 不同特征編碼下算法的召回率曲線

圖5為不同特征編碼長(zhǎng)度下本文所述算法和常見哈希算法的召回率-檢索的樣本數(shù)量變化曲線，該曲線反映算法搜索結(jié)果中出現(xiàn)的目標(biāo)在總目標(biāo)數(shù)中的比例。因?yàn)榭偟哪繕?biāo)數(shù)量是有限的，故隨著檢索樣本的增加，對(duì)應(yīng)的召回率是不斷上升的。不同算法的召回率性能它的準(zhǔn)確率類似，表現(xiàn)為聯(lián)合層疊結(jié)構(gòu)的算法召回率最高，其次就是深度二進(jìn)制哈希學(xué)習(xí)的召回率比較好。隨著編碼長(zhǎng)度的增加，層疊級(jí)聯(lián)結(jié)構(gòu)的人臉識(shí)別曲線沒有較大提升，而深度二進(jìn)制哈希學(xué)習(xí)對(duì)應(yīng)的曲線同樣不斷得到提升，具體的原因前面已經(jīng)分析過，這里不再贅述。從召回率這個(gè)指標(biāo)上，也說明了本文所述算法在召回率上較高的表現(xiàn)。

3.4 算法時(shí)間評(píng)估及分析

本文通過哈希的方式對(duì)特征進(jìn)行二值化來提高系統(tǒng)運(yùn)算速度，故算法的運(yùn)行時(shí)間是評(píng)價(jià)的指標(biāo)之一。

本次實(shí)驗(yàn)選取的人臉數(shù)據(jù)集為CASIA-WebFace[21]，樣本為250×250 大小的彩色人臉圖像。人臉識(shí)別的全過程包含人臉與關(guān)鍵點(diǎn)檢測(cè)、人臉姿態(tài)估計(jì)與分類、人臉對(duì)齊、特征提取以及利用相似度來搜索人臉圖像的人臉識(shí)別階段。

提取特征后，因不同協(xié)議有著不同的流程和時(shí)間復(fù)雜度，故接下來對(duì)不同的協(xié)議進(jìn)行單獨(dú)分析。對(duì)于人臉驗(yàn)證(1:1)協(xié)議，假設(shè)人臉圖像對(duì)的數(shù)量為N，單次相似度計(jì)算需要的時(shí)間為T，顯而易見人臉驗(yàn)證(1:1)需要的時(shí)間為：

Tv=N×T

(11)

對(duì)于人臉鑒別(1:N)協(xié)議，假設(shè)要搜索的圖像數(shù)量為S，人臉數(shù)據(jù)庫的大小為N，單次相似度計(jì)算需要的時(shí)間為T，則人臉鑒別(1:N)需要的時(shí)間為：

Ti=S×N×T

(12)

因論文對(duì)于時(shí)間復(fù)雜度的改進(jìn)主要在最后的相似度計(jì)算上，因此，接下來在三種不同平臺(tái)上對(duì)不同的相似度計(jì)算方法的性能進(jìn)行仿真實(shí)驗(yàn)，相應(yīng)的結(jié)果如表1所示。

表1 不同相似度計(jì)算方法千次計(jì)算所需要的時(shí)間

在表1中，不同的相似度計(jì)算方法都隨著編碼長(zhǎng)度的增加而需要更長(zhǎng)的時(shí)間；不同語言在速度上也存在差別，C++在常見語言中花費(fèi)的時(shí)間是最小的，MATLAB和Python語言與C++相比花費(fèi)的時(shí)間要長(zhǎng)很多,主要原因是C++編寫更加底層和存在編譯器優(yōu)化，而MATLAB和Python語言存在較大的IO開銷和數(shù)學(xué)庫優(yōu)化的差異。仿真結(jié)果表明在三種編譯環(huán)境中，本文所用的非緊湊漢明距離在時(shí)間性能上遠(yuǎn)優(yōu)于其他兩種相似度的計(jì)算方式。

因此，本文所述算法具有十分重要的意義。例如在MATLAB環(huán)境中，采用本文所述的二進(jìn)制特征來計(jì)算相似度時(shí)，對(duì)于人臉驗(yàn)證，假設(shè)人臉圖像對(duì)的數(shù)量N為1 000張，特征編碼長(zhǎng)度為1 024 bits，則根據(jù)表1可以計(jì)算得到基于非緊湊漢明距離的人臉驗(yàn)證消耗的時(shí)間為5.5毫秒，遠(yuǎn)小于余弦相似度和歐幾里德距離所用時(shí)間。對(duì)于人臉鑒別，假設(shè)要搜索的圖像數(shù)量為10，人臉數(shù)據(jù)庫的大小為10 000，故可以看出識(shí)別出10張人臉的身份只需要550 ms，時(shí)間屬于可以接受的范圍。

通過聯(lián)合層疊的方式進(jìn)行人臉識(shí)別，根據(jù)式(12),它對(duì)應(yīng)的時(shí)間為：

TC=S×(N×TH+K×TE)

(13)

式中：S代表要搜索的圖像數(shù)量；N代表人臉數(shù)據(jù)庫的大??；TH代表計(jì)算單次漢明距離需要的時(shí)間；TE代表計(jì)算單次計(jì)算歐幾里德距離需要的時(shí)間；K代表排序重選的樣本數(shù)量。式(13)相對(duì)于式(12)，多出的時(shí)間為：

(14)

TC=S×(N×TH+K×TE)

(15)

4 結(jié) 語

本文針對(duì)人臉識(shí)別這個(gè)場(chǎng)景，通過構(gòu)建哈希層、哈希損失函數(shù)與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合來直接提取二進(jìn)制特征，將人臉哈希算法通常采用的特征提取后，再獨(dú)立地將哈希二進(jìn)制化的流程簡(jiǎn)化為直接提取二進(jìn)制哈希特征。同時(shí)，最終提取到的二進(jìn)制特征能有效地提高計(jì)算速度并節(jié)約需求的存儲(chǔ)空間，這對(duì)于移動(dòng)端、嵌入式等計(jì)算能力比較弱的場(chǎng)合具有巨大的意義。

針對(duì)哈希后算法精度輕微下降的問題，通過聯(lián)合級(jí)聯(lián)結(jié)構(gòu)進(jìn)行人臉識(shí)別，這種方式通過層層篩選的方式在保持速度的前提下有效提升特征表達(dá)的準(zhǔn)確率，最終實(shí)現(xiàn)算法在準(zhǔn)確率幾乎不下降的情況下，計(jì)算時(shí)間較大縮減。針對(duì)手機(jī)等嵌入式設(shè)備上計(jì)算能力比較弱并且存儲(chǔ)空間代價(jià)比較高昂的場(chǎng)景，可以單純采用基礎(chǔ)的二進(jìn)制特征進(jìn)行計(jì)算；針對(duì)需要高精度的場(chǎng)合，可以采用聯(lián)合層疊結(jié)構(gòu)進(jìn)行識(shí)別，實(shí)現(xiàn)在保持高精度下的高速識(shí)別。最后，論文通過在FaceScrub人臉數(shù)據(jù)集上做人臉識(shí)別仿真來評(píng)估算法的效果。