蘇昀暄, 涂 正, 王緒安*, 林 川

(1. 武警工程大學(xué) 網(wǎng)絡(luò)與信息安全武警部隊重點實驗室, 陜西 西安 710086; 2. 貴州大學(xué) 貴州公共大數(shù)據(jù)國家重點實驗室, 貴州 貴陽 550000)

隨著云計算、物聯(lián)網(wǎng)與大數(shù)據(jù)等技術(shù)的快速發(fā)展,推動計算機視覺技術(shù)的應(yīng)用融入人們生活的方方面面,如手機解鎖、在線支付、考勤打卡、公共交通過閘等.相對于傳統(tǒng)的身份識別方式,人類面部特征具有唯一性,與擁有者唯一綁定,使得人臉識別技術(shù)具有較高的安全性[1].然而,在復(fù)雜的社會系統(tǒng)框架下,安全措施本身也會帶來新的風(fēng)險.近些年來,發(fā)生了多起重大的個人隱私泄露事件,造成了巨大的社會不良影響和嚴(yán)重的經(jīng)濟損失,用戶的人身安全和經(jīng)濟利益受到嚴(yán)重威脅.

在現(xiàn)有云環(huán)境下的人臉識別系統(tǒng)中,首先對人臉信息進行收集,通過訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型,對人臉特征數(shù)據(jù)進行提取,而后將特征數(shù)據(jù)及響應(yīng)標(biāo)簽存儲至云服務(wù)器中.但大多數(shù)系統(tǒng)對人臉的特征數(shù)據(jù)保護不足,在一些實際應(yīng)用中,有的系統(tǒng)甚至將特征數(shù)據(jù)以明文形式進行傳輸,存在用戶敏感數(shù)據(jù)泄露的重大隱患,嚴(yán)重影響到系統(tǒng)的安全性和用戶數(shù)據(jù)的機密性.如何防護人臉特征數(shù)據(jù)的安全性,保護敏感數(shù)據(jù)不被泄露,是本文研究的重點.

一個有效的安全方案,是將存儲人臉特征的數(shù)據(jù)庫進行加密,將密文數(shù)據(jù)進行匹配,從而實現(xiàn)識別用戶身份.然而,這種方法在實際運用中存在困難.首先,大多數(shù)的加密方案不能支持密文域上實現(xiàn)特征數(shù)據(jù)匹配的基本運算.其次,一般的同態(tài)加密方案只能支持有限次的密文域上的基本運算,或者是計算復(fù)雜度過高,計算開銷大效率偏低.

2017年,Cheon等[2]提出了一種支持近似計算的同態(tài)加密方法,它支持加密消息的近似加法與乘法,并可以用于管理明文大小的重新縮放過程.其可以對浮點數(shù)進行同態(tài)加密以及可觀的計算效率一時間成為了密碼學(xué)界的熱點,得到了廣泛的應(yīng)用.依托云服務(wù)的人臉識別系統(tǒng)能夠給用戶提供具有一定安全性、低開銷、高效能的人臉識別服務(wù).人臉識別方案的初始階段,是從不同的場景中檢測人臉存在,并通過一些固定的算法對人臉特征信息進行收集、提取,例如幾何特征參數(shù)、PCA算法、KL算法、奇異值分解法等.人臉識別技術(shù)一般是通過對圖像提取人臉面部特征信息,將這些特征數(shù)據(jù)與之前存儲在數(shù)據(jù)庫的特征信息進行比較,從而驗證身份.而這些存放在數(shù)據(jù)庫中的大量敏感特征信息,對于相關(guān)個人而言至關(guān)重要.

本文基于CKKS(Cheon-Kim-Kim-Song)即近似同態(tài)加密方案提出了一種安全人臉識別方案.在該方案中,通過ResNet50模型[3]對圖片進行特征提取,利用CKKS加密方案對圖像特征加密,最終利用Arcface Loss函數(shù)[4]計算加密特征之間的相關(guān)性,獲得最終的計算值,通過與預(yù)先設(shè)好的閾值進行大小比對判斷是否為同一張人臉,最終實現(xiàn)密文域中安全人臉識別,避免了用戶個人的肖像權(quán)和隱私遭受侵犯的情況.

1 相關(guān)工作

隨著深度學(xué)習(xí)和大數(shù)據(jù)技術(shù)的快速發(fā)展,人工智能得到巨大突破,同時深度學(xué)習(xí)算法憑借其處理大規(guī)模數(shù)據(jù)的能力推動云計算的發(fā)展及平臺的建設(shè),云服務(wù)器能夠提供更大的存儲空間以及更強的計算能力,支持復(fù)雜的計算方案,共同推動著人臉識別技術(shù)的準(zhǔn)確性達到更高水平,使其逐漸取代傳統(tǒng)的身份認證技術(shù),應(yīng)用于各個領(lǐng)域之中[5-6].

為了解決用戶隱私安全問題,保護數(shù)據(jù)安全.2012年,Rahulamathavan等[7]提出了LFDA特征提取算法,能夠完成加密和不加密面部表情的識別.2017年,Alotaibi等[8]提出了一種基于全同態(tài)加密的人臉識別方案,能夠無需將特征信息解密,直接在加密域中進行匹配.2018年,Kumar等[9]提出基于密文域上橢圓曲線加密算法的人臉識別方案.2019年,Yang等[10]將圓正交矩陣與基于環(huán)上的錯誤學(xué)習(xí)同態(tài)加密算法相結(jié)合,提出了一個實現(xiàn)隱私保護的特征提取方案.Wang等[11]提出的基于AES(advanced encryption standard)密文加密算法的人臉識別方案識別率可達92%.2021年,Arnia等[12]提出了一種基于相位的CSCD人臉識別方法,采用同態(tài)濾波進行光度歸一化,采用帶限相位相關(guān)進行圖像匹配.

2 預(yù)備知識

2.1 ResNet模型

ResNet(殘差網(wǎng)絡(luò))模型是CNN模型的系列之一,它是由何愷明博士等[2]于2015年提出的.針對在深度學(xué)習(xí)中,隨著網(wǎng)絡(luò)的加深,出現(xiàn)訓(xùn)練集準(zhǔn)確率下降的現(xiàn)象,深度殘差網(wǎng)絡(luò)很好地解決了了這種問題.在ResNet Model中,采用捷徑連接(shortcut connections)的方式,直接將輸入的X作為輸出的初始結(jié)果,所訓(xùn)練的目標(biāo)不再是輸出,而是殘差F(x).訓(xùn)練的目標(biāo)就是要將殘差結(jié)果F(x)的值逼近于0,而隨著網(wǎng)絡(luò)層級的加深,F(x)越趨于0,其準(zhǔn)確率也就越高,并最終達到一定數(shù)值.其模型如圖1所示.

圖1 ResNet model

ResNet50就是指需要通過訓(xùn)練來進行更新參數(shù)的層數(shù),包括卷積層、全連接層等,其目的就是為了減少參數(shù)的數(shù)目.例如圖2中,首先是利用1*1的卷積將256維的訓(xùn)練層降低到64維,而最后再經(jīng)過卷積恢復(fù)到256維.相比ResNet34,ResNet50所需的計算量更少,其模型如圖2所示.

圖2 ResNet50 model

2.2 Arcface Loss函數(shù)

損失函數(shù)通常是用來估算模型的真實值與預(yù)測值之間差值的函數(shù),其計算結(jié)果是非負的,通常以L(Y,f(x))來表示.損失值越小,則表明模型的魯棒性就越好.Arcface Loss函數(shù)是由Softmax損失函數(shù)改進而來的,其利用的是直接在角度空間中最大化分類界限,其邊界分類如圖3所示.

圖3 邊界分類

Softmax Loss函數(shù)表示如下:

(1)

當(dāng)bj取0時,對WT與xi做歸一化,得:

(4)

所以

(5)

再給夾角乘上一個scale參數(shù)s,以及加上一個角度裕角得:

(6)

2.3 CKKS

2017年Chen等提出了一種支持近似計算的同態(tài)加密方法.下面主要介紹CKKS同態(tài)加密算法的具體流程.

給定安全參數(shù)λ, 選擇兩個整數(shù)的冪N.分別在R=[X]/(XN+1)上為密鑰、錯誤學(xué)習(xí)、加密設(shè)置分布χkey,χerr,χenc.對于一個基礎(chǔ)整數(shù)p和級別數(shù)量L,以及一個基礎(chǔ)模數(shù)q0,設(shè)置密文的模數(shù)ql=pl·q0(1≤l≤L),對于環(huán)此處令k=2,之后隨機生成參數(shù)PP,輸出:pp=(N,χkey,χerr,χenc,L,ql).

1) KeyGen(params)→(pk,sk,evk)

隨機生成s←χkey,并設(shè)置私鑰sk←(1,s).

2) Encrypt(m,pk)→ct

c=r·pk+(m+e0,e1)(modqL)

(7)

3) Decrypt(c,sk)→m

對于同一級別l的密文,解密得到明文結(jié)果:

m′=〈c,sk〉(modql)

(8)

4) Add(c,c′)→cadd

對于密文ct,ct′,其密文相加結(jié)果為

cadd=c+c′(modql)

(9)

5) Multevk(c,c′)→cmult

對于密文c,c′:

其密文相乘結(jié)果為

(12)

由于CKKS加密算法的同態(tài)性,使得系統(tǒng)模型中云服務(wù)器對密文的計算等同于在明文上的計算,一定程度上保證了用戶的隱私安全.

3 系統(tǒng)模型

如圖4所示,系統(tǒng)模型由四部分組成,即前端服務(wù)平臺(FSP)、云存儲服務(wù)器(CSS)、云計算服務(wù)器(CCS)以及本地服務(wù)器(Local Server),其中云儲存服務(wù)器以及云計算服務(wù)器均為云平臺提供的服務(wù),且為“誠實且好奇”的.

圖4 系統(tǒng)模型

1) FSP:主要對用戶人臉進行識別,讀取用戶的身份識別信息(Uid),提取人臉特征并加密,并根據(jù)本地服務(wù)器所返回的計算值判斷用戶是否可以通過.

2) CSS:為用戶提供存儲服務(wù),擁有足夠的存儲空間來存儲用戶所上傳的圖片信息,并返回基于用戶身份所產(chǎn)生的身份標(biāo)識 Uid.

3) CCS:整個模型中最為重要的部分,提供過程計算服務(wù),負責(zé)計算兩張圖片加密特征之間的向量相關(guān)性,并返回給本地服務(wù)器以解密.

4) Local Server:本地服務(wù)器,存有私鑰,用于解密CSS所返回的計算值,并傳給FSP以判斷.

當(dāng)有新用戶注冊時,FSP首先將所識別的人臉圖像提取特征后加密,并與用戶ID上傳至CCS,之后CCS將加密后的圖片特征以及用戶ID存儲至CSS,并生成用戶唯一的身份標(biāo)識Uid.

當(dāng)用戶進行人臉識別時,首先是FSP識別用戶的身份標(biāo)識Uid并發(fā)送給CSS,同時對圖片進行特征提取,將所加密的人臉圖像特征發(fā)送給CCS.CSS根據(jù)用戶標(biāo)識查找相應(yīng)的加密圖片特征并發(fā)送給CCS,CCS對FSP發(fā)送的圖像特征與CSS發(fā)送的圖像特征之間的向量相關(guān)性進行計算,將所得結(jié)果發(fā)送給Local Server以解密并傳給FSP.最終,FSP根據(jù)所預(yù)設(shè)的閾值判斷用戶是否通過識別.

3.1 安全模型

云計算模型最為明顯的問題就是服務(wù)器的可信性,即包括FSP和CSS、CCS在內(nèi)的各種云計算提供的服務(wù)都不可信或者是半可信的.以下列出了在該人臉識別過程中可能會出現(xiàn)的安全問題:

1) CSS可能會泄漏圖像的密文信息,或者故意泄漏用戶標(biāo)識Uid.

2) CCS中可能受到所計算得到的值會被第三方截取.

3) FSP可能受到攻擊丟失公鑰或者故意向第三方泄漏密鑰信息.

4) 最為關(guān)鍵的是本地服務(wù)器的私鑰可能遭到泄露.

3.2 系統(tǒng)算法

1) 用戶user首先向CSS申請注冊,并在FSP中設(shè)置閾值d,生成用戶的公鑰pk,通過ResNet50模型對圖像進行特征提取,并由CKKS加密方案加密得到CKKS.Enc(feature,pk),再將加密圖片特征以及ID上傳至CSS.

2) CSS向CCS傳送加密后的圖像特征Encpk(feature)以及用戶ID.

3) CSS根據(jù)用戶ID產(chǎn)生身份標(biāo)識Uid,將Encpk(feature)存儲至云服務(wù)器,將用戶身份標(biāo)識Uid發(fā)送給FSP并轉(zhuǎn)至用戶.

諾貝豐以色列技術(shù)專家團成員土壤水科學(xué)博士Amir Polak在分享中表示，由于面臨惡劣的自然環(huán)境，以色列自建國開始便大力發(fā)展水肥一體化等高效節(jié)水的農(nóng)業(yè)種植模式，現(xiàn)已構(gòu)建起體系化、智能化的水肥一體化種植系統(tǒng)。他表示，經(jīng)過實地觀摩，中國有著良好的種植水平和種植意識，中國農(nóng)業(yè)正高效快速發(fā)展，希望中以兩國今后繼續(xù)加強在農(nóng)業(yè)方面的交流與技術(shù)分享。

4) 當(dāng)用戶進入人臉識別時,FSP識別用戶標(biāo)識Uid,將Uid與Encpk(feature*)分別發(fā)給CSS與CCS.

5) CSS驗證身份標(biāo)識Uid的真實性,之后將服務(wù)器中對應(yīng)的加密圖像特征Encpk(feature)發(fā)送給CCS.

6) CCS收到FSP與CSS的Encpk(feature*)和Encpk(feature),在Arcface Loss函數(shù)下計算兩張加密圖片特征向量之間的相關(guān)性,返回Encpk(d0)給本地服務(wù)器以解密得到Decsk(Encpk(d0)).

7) FSP通過Decsk(Encpk(d0))獲得d0的值,判斷d0與閾值d的大小,如果d0>d,則識別成功,允許用戶認證通過.否則識別失敗,不允許用戶認證通過.

為了進一步分析本文所提方案的效率,方案在IntelCoreTMi7-9750HQ CPU@2.60 GHz/8 GB Ram的環(huán)境下,在Windows10操作系統(tǒng)下使用PyCharm2020.3.3x64調(diào)用ResNet50和Arcface Loss模型實現(xiàn)人臉檢測以及特征信息提取,通過調(diào)用tenseal 0.1.4實現(xiàn)CKKS加密方案,在LFW[13]數(shù)據(jù)集測試系統(tǒng)方案在本臺機器上的閾值以及準(zhǔn)確率,并測試最優(yōu)系統(tǒng)參數(shù)下整體方案的計算效率.

3.3 安全性分析

在整個系統(tǒng)模型中,最終輸出結(jié)果Encpk(d0)是在CKKS加密方案下得到的,其安全性可以歸于CKKS加密方案的安全性,根據(jù)加密算法自身的特性,CSS與CCS均不可能從計算結(jié)果中恢復(fù)出密鑰與原始數(shù)據(jù).前端服務(wù)器FSP存儲著用戶的公鑰,而在本地服務(wù)器中存儲著用戶的私鑰,可以防止其他云中的服務(wù)器或者云供應(yīng)商獲得私鑰以解密得到圖片信息.另外,需要在本地設(shè)置安全監(jiān)督系統(tǒng),對FSP中存儲的密鑰信息以及與第三方的通信信息進入實時監(jiān)督,以防止FSP泄漏密鑰信息與最終得到的解密結(jié)果.

4 實驗測試

本文首先在明文和密文上分別測試系統(tǒng)方案在不同預(yù)設(shè)閾值d下的準(zhǔn)確率.遍歷LFW數(shù)據(jù)集,每次隨機選取兩張圖片進行識別,記錄在此閾值下的人臉識別準(zhǔn)確率,并繪制ROC曲線.

不同閾值下,方案在明文與密文上的識別準(zhǔn)確率見表1所列.可見,LFW數(shù)據(jù)集上的明文與密文的識別準(zhǔn)確率相差不大,當(dāng)明文識別方案閾值為0.248,密文識別方案閾值為0.251時,明文與密文的識別準(zhǔn)確率最高分別為99.374%和99.398%.

表1 識別準(zhǔn)確率的測試結(jié)果

圖5 ROC曲線

在此部分,通過測試CKKS加密方案在不同加密參數(shù)下,對單張圖片的加密效率,以及包含不同數(shù)量圖片的個人數(shù)據(jù)庫的構(gòu)建時間.通過調(diào)用tenseal 0.1.4,更改context函數(shù)中(poly_modulus_degree,coeff_mod_bit_sizes,scale)3個加密參數(shù)的值來實現(xiàn)不同參數(shù)下的CKKS加密方案.

首先,挑選8組不同加密參數(shù),記錄對單張圖片加密的時間,并取30次重復(fù)實驗的平均運行時間作為最終測試時間.在測試中采取3個單位元作為實驗參數(shù),即(Poly_modulus_gegree,Coeff_mod_bit_sizes,Scale),其中8種實驗參數(shù)分別為:(8 192;43,23,23,23,23,23,43;23);(8 192;30,21,21,21,21,21,21,21,30;21);(16 384;43,23,23,23,23,23,23,23,23,23,43;21);(16 384;43,23,23,23,23,23,23,23,23,23,23,23,43;23);(16 384;43,23,23,23,23,23,23,23,23,23,23,23,23,23,43;23);(32 768;50,25,25,25,25,25,25,25,25,25,25,25,25,25,25,25,50;25);(32 768;50,25,25,25,25,25,25,25,25,25,25,25,25,25,25,25,25,25,50;25);(32 768;25,25,25,25,25,25,25,25,25,25,25,25,25,25,25,25,25,25,25,50;25).

不同加密參數(shù)下,單張圖片的加密時間如圖6所示.可見,當(dāng)coeff_mod_bit_sizes位數(shù)不變時,加密時間隨poly_modulus_degree呈正比關(guān)系.當(dāng)poly_modulus_degree不變時,加密時間隨coeff_mod_bit_sizes位數(shù)呈正比關(guān)系.其中,由于電腦配置原因,在第6、7、8組加密參數(shù)下的加密時間過于大,因此沒有記錄.

圖6 不同加密參數(shù)的加密效率

最終,本文選取(ploy_modulus_degrdd)=8 192,(coeff_mod_bit_sizes)=(30,21*7,30),scale=21,作為整體方案的最優(yōu)參數(shù),但還存在某些問題,比如,在對加密圖片計算時,整個過程是:先對圖片進行特征提取,而后計算密文特征向量的相關(guān)性,最終只能得到計算的結(jié)果,對所提取的特征并沒有了解.雖然方案在明文與密文上的識別率比較高,但密文上計算花銷太大.在實際應(yīng)用中,不能以單個服務(wù)器進行計算,這需要龐大的計算能力,因此引入云計算而產(chǎn)生的新的安全問題,則有待解決.

5 實驗對比

為了有一個直觀的認識,現(xiàn)將該方案同Liu等[14]在2021年基于MTCNN算法與FaceNet算法結(jié)合CKKS加密算法而提出的人臉識別加密方案進行對比,兩種方案同樣在LFW數(shù)據(jù)集下進行訓(xùn)練.首先對不同閾值下的識別率對比,如圖7所示.圖7a為本文方案的計算識別率,圖7b為Liu等[14]所提方案的計算識別率.本文所設(shè)計的方案識別率最高大約為99.5%,而另一種方案識別率最高大約為94.7%,表明本文所設(shè)計的方案在識別率上有更大的優(yōu)勢.

圖7 方案識別準(zhǔn)確率對比

其次,對單張圖片的加密時間進行對比,通過選取不同的加密參數(shù),得到對比結(jié)果如圖8所示.

圖8 加密時間對比

由于配置原因,本方案只能測評5組加密參數(shù)下的時間,Liu的方案可能測試出7組加密參數(shù)下的加密方案.從圖8中可以明顯看出,本方方案在計算開銷上有很大的劣勢,以不同的算法來計算則有很大的不同,這也是下步要改進的重點.

6 結(jié)論

為了保護云服務(wù)器中用戶人臉特征隱私信息,同時滿足人臉識別需要的準(zhǔn)確率和計算性能,本文基于CKKS同態(tài)加密方案以及ResNet50 Model、Arcface Loss函數(shù),提出了一種在云服務(wù)環(huán)境中對密文域的安全人臉識別方案.通過調(diào)用tenseal庫實現(xiàn)了CKKS同態(tài)加密方案,并在LFW數(shù)據(jù)集上測試方案的識別準(zhǔn)確率,繪制出明文與密文方案下的ROC曲線,并通過實驗測試確定了最優(yōu)系統(tǒng)參數(shù),高效安全地實現(xiàn)了云服務(wù)器中安全人臉識別系統(tǒng).

下一步工作中,將繼續(xù)研究在密文域上訓(xùn)練神經(jīng)網(wǎng)絡(luò),實現(xiàn)對加密圖片的特征提取,進一步縮減用戶本地的計算開銷,并安全高效地實現(xiàn)密文域中人臉識別方案.

致謝:本文得到武警工程大學(xué)科研創(chuàng)新團隊基金(KYTD201805)和武警工程大學(xué)科研骨干基金(KYGG202011)的資助,在此表示感謝.