康 緣

西安外事學(xué)院生物醫(yī)學(xué)工程，西安 710077

人臉識別技術(shù)[1]是指用攝像設(shè)備采集含有人臉的圖像或視頻流，并自動在圖像中檢測和追蹤人臉，進(jìn)而對檢測到的人臉進(jìn)行臉部識別的一系列相關(guān)技術(shù)。隨著科學(xué)技術(shù)的進(jìn)步和時代的發(fā)展，人臉識別技術(shù)被廣泛應(yīng)用于人們的日常生活中，例如，刷臉支付、人臉識別閘機(jī)系統(tǒng)等等[2-5]。這一技術(shù)的運用在給人們帶來便利的同時，也伴隨著隱私泄露的風(fēng)險。

生物特征相對于密碼更容易泄露，而且一旦泄露了也無法撤銷。密碼可以換新的密碼，但人體固有的生物特征無法改變。由于個人的生物學(xué)數(shù)據(jù)具有穩(wěn)定不變性，一旦泄露，相應(yīng)的風(fēng)險及危害即不可逆轉(zhuǎn)，也無法有效彌補[6]。人臉數(shù)據(jù)的泄露，所帶來的潛在的安全風(fēng)險，可能比手機(jī)號與賬戶信息的泄露更為嚴(yán)重。例如，通過“照片活化”工具可將人臉照片修改為執(zhí)行“眨眨眼、張張嘴、點點頭”等操作的人臉驗證視頻[7]。匹配了身份信息的照片，經(jīng)過“照片活化”后，能實名注冊市面上大多數(shù)軟件，加上驗證碼破解方式，不法分子在辦理網(wǎng)貸、精準(zhǔn)詐騙等方面幾乎毫無障礙。因此，除了在法律法規(guī)層面規(guī)范人臉識別技術(shù)的應(yīng)用[8，9]之外，在技術(shù)層面對人臉識別隱私保護(hù)的研究也是很有必要的。

本文提出基于內(nèi)積函數(shù)的加密人臉識別方案，整體分為注冊和識別兩個階段。注冊時，用戶初次注冊，系統(tǒng)錄入提取用戶人臉特征向量，并加密存儲在后臺數(shù)據(jù)庫；識別時，再次錄入提取用戶人臉特征向量，與數(shù)據(jù)庫人臉做匹配，并給予結(jié)果。我們采用內(nèi)積函數(shù)加密方案，對注冊階段的人臉和識別階段的人臉都進(jìn)行加密處理，并在解密時只關(guān)注加密向量的內(nèi)積，可以保證不會暴露原始的人臉特征向量，保證了安全。后臺數(shù)據(jù)庫存放的也不是人臉向量的明文信息，即使數(shù)據(jù)被泄露，也無法從中提取出人臉特征，保證系統(tǒng)安全。但是在同時請求次數(shù)過多的時候，一般的內(nèi)積加密也滿足不了安全需要。本文在內(nèi)積函數(shù)加密的基礎(chǔ)上追求緊的內(nèi)積加密，可以在有大量請求的同時也能保護(hù)系統(tǒng)安全參數(shù)等不被泄露。

（1）基于內(nèi)積函數(shù)方法提出加密人臉識別方案，通過加密人臉特征向量或圖像，可以防止未經(jīng)授權(quán)的訪問和使用。

（2）人臉識別加密可以實現(xiàn)對人臉數(shù)據(jù)共享的精細(xì)控制。加密技術(shù)使得數(shù)據(jù)所有者能夠選擇性地共享人臉數(shù)據(jù)，并靈活地指定授權(quán)方和訪問權(quán)限。這種可控共享的特性可以促進(jìn)人臉數(shù)據(jù)的有效利用，同時保護(hù)數(shù)據(jù)隱私。

（3）邀請了9名志愿者進(jìn)行了實驗，對每名志愿者人臉認(rèn)證的性能進(jìn)行了評估，實驗結(jié)果表明了基于內(nèi)積函數(shù)加密的人臉識別方案能夠有效進(jìn)行用戶識別的同時保護(hù)用戶隱私。

1 相關(guān)工作

針對人臉特征保護(hù)的研究，已經(jīng)有很多相關(guān)研究工作。黃文軍等[10]提出了一種合適的人臉特征模板保護(hù)方案，利用密碼學(xué)中的Hash 函數(shù)實現(xiàn)模板與待測特征信息之間的匹配。陶曉燕等[11]提出了正交鄰域保護(hù)嵌入算法，降低了人臉識別的誤差率。Meden等[12]提出了一種可控人臉去識別技術(shù)，平衡了圖像質(zhì)量、身份保護(hù)和數(shù)據(jù)效用。Mai 等[13]提出了一個隨機(jī)CNN 來生成受保護(hù)的人臉生物識別模板，增強(qiáng)了人臉原始圖像的安全性。此外，人臉活體認(rèn)證技術(shù)通過用戶活動人臉面部器官，防止偽造的人臉圖片被合法認(rèn)證。然而，通過“照片活化”工具可將人臉照片修改為執(zhí)行“眨眨眼、張張嘴、點點頭”等操作的人臉驗證視頻[7]。匹配了身份信息的照片，經(jīng)過“照片活化”后，能實名注冊市面上大多數(shù)軟件，加上驗證碼破解方式，不法分子在辦理網(wǎng)貸、精準(zhǔn)詐騙等方面幾乎毫無障礙。

目前的生物特征模板保護(hù)研究主要采用生物特征+密碼學(xué)的方式[14-16]，通過提取生物特征作為原始數(shù)據(jù)，輸入到一個密碼學(xué)的框架中進(jìn)行加密處理。因此，問題的關(guān)鍵在于采用何種加密算法。Boneh 等[17]最早提出函數(shù)加密的概念。函數(shù)加密（Function Encryption,FE）是公鑰密碼學(xué)的一個新熱點，不同于傳統(tǒng)的公鑰加密，函數(shù)加密中擁有私鑰的用戶可以對密文進(jìn)行計算，得到的是關(guān)于明文x 的函數(shù)f(x,y)，卻不知道明文的其他任何信息，有效防止了明文的敏感信息外泄。Abdalla 等[18]人提出了內(nèi)積函數(shù)加密（Inner Product Function Encryption,IPFE），其使用向量y 的密鑰解密加密的向量x將只透露，而不會透露其它任何信息。Bishop 等[19]提出了一種函數(shù)隱藏內(nèi)積（Function-Hiding Inner Product Encryption,FHIPE）方案，該方案是一種私鑰函數(shù)加密方案，采用了非對稱雙線性映射。楊雄等[20]提出了全同態(tài)加密的人臉特征密文認(rèn)證系統(tǒng)，通過在加密域中進(jìn)行人臉特征匹配，數(shù)據(jù)庫中保存的是人臉特征模板的同態(tài)密文，系統(tǒng)無需解密人臉特征模板就可完成認(rèn)證，有效保護(hù)了人臉特征。

2 系統(tǒng)設(shè)計

本文提出基于函數(shù)加密的人臉識別系統(tǒng)，大體分為注冊階段和匹配階段兩部分，如圖1 所示。注冊階段主要用于用戶人臉的錄入和加密，得到參考模板ski。用戶初次注冊，系統(tǒng)錄入提取用戶人臉特征向量，并加密存儲在后臺數(shù)據(jù)庫。匹配階段實時地采集人臉信息，生成生物模板c，計算參考模板與該生物模板的內(nèi)積，若內(nèi)積的最大值大于閾值則人臉匹配通過，否則人臉匹配不通過。

圖1 基于函數(shù)加密的人臉識別系統(tǒng)流程Figure 1 The process of facial recognition system based on function encryption

（1）注冊階段：在加密器中，用給定的參數(shù)生成主密鑰msk；注冊組件錄入人臉，用生物特征提取技術(shù)提取人臉特征，并轉(zhuǎn)化為向量，記參考模板yi；利用函數(shù)加密FE 計算出加密的參考模塊ski，保護(hù)錄入的人臉特征數(shù)據(jù)，計算方式如下：

在該階段，用戶注冊時錄入人臉數(shù)據(jù)用于后續(xù)登錄驗證。

（2）匹配階段：人臉信息捕捉組件捕捉實時生物特征得到實時生物模塊x，用FE 加密實時生物模塊為c，匹配組件用c和ski計算隱私保護(hù)的內(nèi)積:

找到其中相似度評分最高的Fi與設(shè)定的相似性閾值比較，如果大于閾值，則得到對應(yīng)用戶標(biāo)識和最高得分i 的索引的匹配，完成登錄；若小于等于閾值，則表明與存儲的任何一個人臉圖像都不匹配，則未能通過驗證。

在該方案中，采用內(nèi)積函數(shù)加密方案，對注冊階段的人臉和識別階段的人臉都進(jìn)行加密處理，并在解密時只關(guān)注加密向量的內(nèi)積，可以保證不會暴露原始的人臉特征向量，人臉特征以向量形式加密存儲在數(shù)據(jù)庫中，人臉識別的精確度依賴于特征向量的提取，保證了人臉數(shù)據(jù)的安全。此外，采用TensorFlow 的特征提取器，保證了提取特征向量的精度。后臺數(shù)據(jù)庫存放的也不是人臉向量的明文信息，即使數(shù)據(jù)被泄露，也無法從中提取出人臉特征，保證系統(tǒng)安全。但是在同時請求次數(shù)過多的時候，一般的內(nèi)積加密也滿足不了安全需要，本文在內(nèi)積函數(shù)加密的基礎(chǔ)上追求緊的內(nèi)積加密，可以在有大量請求的同時也能保護(hù)系統(tǒng)安全參數(shù)等不被泄露。

3 人臉特征提取與處理

在計算機(jī)視覺任務(wù)中，人臉識別是非常重要的一環(huán)。在本文中，首先需要提取人臉的特征，以便于后續(xù)的加密參考模板計算。本系統(tǒng)使用OpenCV 檢測圖像中的人臉區(qū)域，然后截取人臉區(qū)域，將其調(diào)整為固定大小，并將其轉(zhuǎn)換為特征向量。為了實現(xiàn)后續(xù)內(nèi)積計算相似度，還對向量進(jìn)行歸一化處理，該歸一化過程可以通過每個向量的L2 范數(shù)來完成，如下式所示：

其中，yi表示特征向量表示歸一化后的特征向量，‖ y‖2表示y向量的L2范數(shù)，n 表示特征向量的維度得到。歸一化后的特征向量可以提升數(shù)據(jù)準(zhǔn)確性，并提高人臉識別的準(zhǔn)確度。

此外，在加密做內(nèi)積運算的過程中，過長的向量長度會影響加密速率，不能較好滿足人臉識別的應(yīng)用場景。而降低向量長度會降低匹配準(zhǔn)確率。本文通過主成分分析方法（Principal Component Analysis,PCA）[21]方法進(jìn)行降維處理，可以保證平衡一定的精度和匹配速率。

由于加密庫不支持小數(shù)運算，只能支持整數(shù)運算。因此需要對歸一化的浮點數(shù)向量進(jìn)行縮放，閾值也要做相應(yīng)縮放。為了保證較高精度，我們對每個元素擴(kuò)大到乘以2 的20 次方，并向下取整完成轉(zhuǎn)換。

4 加密方案

加密方案首先需要生成加密參數(shù)向量以生成公鑰和私鑰，隨后對注冊階段的參考模板y 和匹配階段的生物模板x加密，保護(hù)人臉數(shù)據(jù)隱私。

4.1 加密參數(shù)向量生成

我們先定義參加密向量的長度l，循環(huán)群每次操作的位數(shù)，以及限制向量元素的上界，輸入這些參數(shù)初始化方案，生成一個整數(shù)模p的環(huán)Zp和循環(huán)群G。

4.2 公鑰和私鑰生成

定義向量長度L，定義方案需要的參數(shù)k，在Zp中均勻取樣，生成(k+1)×(k)的滿秩矩陣A，即：

對A 進(jìn)行如下排列，采用對A 與（k×L）×（k×L）的對角線為1，其余為0 的矩陣進(jìn)行克羅內(nèi)克積運算，實現(xiàn)生成把A 按照對角線排列成（k×L）×（k×L）的矩陣A1，即：

在A1 中均勻取樣，生成L×(k×(k+1)×L)的隨機(jī)矩陣W，即：

將W 與A1 矩陣相乘，得到Wa。并將Wa 的每個元素進(jìn)行轉(zhuǎn)換，利用循環(huán)群G，使該位置元素為冪并取模p，即：

對A 進(jìn)行類似Wa 的處理，把矩陣映射到循環(huán)群G上：

最終組成公鑰PubKey和私鑰SecKey：

4.3 參考模板y加密

輸入SecKey、PubKey 和人臉特征向量y，計算Seckey 中W 的轉(zhuǎn)置，并求逆，并進(jìn)行模P 運算，得到加密的向量k1（負(fù)號表示求逆運算）：

對y進(jìn)行模p運算，得到k2：

從而得到加密后的向量key（函數(shù)私鑰）：

4.4 生物模塊×加密

輸入SecKey、PubKey 和人臉特征向量x，先在Zp均勻取樣，生成隨機(jī)向量s：

接著計算A與s的乘積，并得到c1：

接著，計算c2：

最終得到密文Ct:

4.5 內(nèi)積運算

輸入Ct和key，作如下運算：

并在-LXλYλ到LXλYλ進(jìn)行窮舉搜索，如果找到d，則輸出識別通過；否則輸出識別未通過。

5 實驗評估

5.1 實驗設(shè)置

本文程序運行在主頻2.9GHz 的酷睿i7 處理器，內(nèi)存16GB 的電腦上。人臉向量維度為1280，并進(jìn)行歸一化處理。相似度閾值設(shè)定為0.95。由于加密庫僅支持大整數(shù)，我們對向量每個元素擴(kuò)大處理。為了控制原向量精度的損失，經(jīng)過實驗調(diào)整，我們設(shè)定上界為220。筆者邀請了9名志愿者參與實驗，年齡跨度從20歲到55歲，每名志愿者采集100次人臉數(shù)據(jù)用于認(rèn)證性能評估。

5.2 實驗評估

通過設(shè)置不同的加密向量位數(shù)計算用戶的錯誤接受率（False Accept Rate,FAR）和錯誤拒絕率（False Reject Rate,FRR），F(xiàn)AR 表示非同一個人的錯誤樣本被正確識別的比例，F(xiàn)RR 表示同一個人的正確樣本被錯誤拒絕的比例，即：

其中TA 表示合法用戶的人臉樣本被正確接受的次數(shù)，F(xiàn)R 表示合法用戶的人臉樣本中被錯誤拒絕的次數(shù)，F(xiàn)A表示將其余8位志愿者的人臉數(shù)據(jù)當(dāng)作非法用戶數(shù)據(jù)中被錯誤接受的次數(shù)，TR 表示非法用戶中被正確拒絕的次數(shù)。圖2 展示了合法用戶的FAR 和FRR 隨著加密向量位數(shù)的變化，可以看到隨著加密向量位數(shù)的增加FAR 逐漸降低而FRR 逐漸上升。實驗結(jié)果證明了通過對人臉數(shù)據(jù)進(jìn)行加密可以有效保護(hù)用戶隱私，降低系統(tǒng)被非合法用戶數(shù)據(jù)認(rèn)證通過率。同時，合法用戶被拒識的概率會隨著加密向量位數(shù)的增加而增加，用戶可以再次進(jìn)行人臉認(rèn)證來通過系統(tǒng)識別。相比于FRR，人們更在意FAR，因為FAR 的提升會增加系統(tǒng)被非法數(shù)據(jù)攻破的概率，威脅系統(tǒng)的安全性。

圖2 FAR和FRR與加密向量位數(shù)的關(guān)系Figure 2 The relationship between FAR and FRR with the number of bits of the encryption vector

對于其他的用戶認(rèn)證系統(tǒng)，由于人臉數(shù)據(jù)認(rèn)證方法的差異，加密后的人臉數(shù)據(jù)不會暴露原始的人臉特征向量，無法應(yīng)用于其他系統(tǒng)，即使數(shù)據(jù)被泄露，也無法從中提取出人臉特征，保證了用戶認(rèn)證系統(tǒng)的安全性。如果需要對人臉數(shù)據(jù)共享，使合法用戶也能認(rèn)證其他系統(tǒng)，可以選擇性地共享數(shù)據(jù)加密密鑰，促進(jìn)人臉數(shù)據(jù)的有效利用。

5.3 不同用戶的識別性能

我們對9 名志愿者計算了FAR 和FRR，設(shè)置加密向量位數(shù)為32，實驗結(jié)果如圖3 所示。可以看到，不同用戶的FAR 和FRR 都很低，平均FAR 為0.099%，平均FRR 為0.22%，證明了系統(tǒng)的認(rèn)證性能對用戶具有魯棒性，能夠有效進(jìn)行用戶識別的同時保護(hù)用戶隱私。

圖3 不同用戶的FAR和FRRFigure 3 FAR and FRR for different users

5.4 認(rèn)證時間

此外，向量位數(shù)的設(shè)置中，一次加密處理的位數(shù)越低，匹配效率越高，但也會導(dǎo)致錯誤接受率增加。圖4 展示了測試中加密向量位數(shù)與運行時間的統(tǒng)計，認(rèn)證時間隨著加密向量位數(shù)的增加而上升，當(dāng)位數(shù)為32 時認(rèn)證時間為3.19s，這對于用戶人臉認(rèn)證是可以接受的。局限于硬件水平，內(nèi)積運算在生成主密鑰和主私鑰的時候會帶來產(chǎn)生大量的內(nèi)存資源消耗，故處理位數(shù)超過100 后，會提示內(nèi)存不足強(qiáng)制終止運行。我們對向量切割，以損失整體精度來保證部分的高精度和運算效率與較低的內(nèi)存損耗。

圖4 認(rèn)證時間隨著加密向量位數(shù)的增加而上升Figure 4 The authentication time increases with the increase in the number of bits of the encryption vector

6 結(jié)論

緊密安全的內(nèi)積函數(shù)加密人臉識別是使用加密技術(shù)保護(hù)人臉識別算法中敏感信息的一種安全形式，本文使用緊密安全的內(nèi)積函數(shù)加密算法對人臉數(shù)據(jù)進(jìn)行加密處理，保護(hù)了人臉特征和身份信息的安全性，避免了信息泄露風(fēng)險。同時，本文對人臉識別算法進(jìn)行評估和分析，證明了該方法的有效性，保證了人臉識別系統(tǒng)的安全性。