謝四江 許世聰 章 樂

1(西安電子科技大學(xué) 陜西 西安 710071)2(北京電子科技學(xué)院 北京 100070)

0 引 言

隨著云技術(shù)的不斷發(fā)展，多種形式的云服務(wù)不斷涌現(xiàn)。同時(shí)，機(jī)器學(xué)習(xí)在人工智能熱潮下，受到了諸多研究人員的廣泛關(guān)注。云服務(wù)和機(jī)器學(xué)習(xí)在這種背景下也被巧妙地結(jié)合起來，形成了一種機(jī)器學(xué)習(xí)即服務(wù)(Machine Learning as a Service, MLaaS)的新型云服務(wù)，即機(jī)器學(xué)習(xí)在云資源提供商的基礎(chǔ)設(shè)施上運(yùn)行。云機(jī)器學(xué)習(xí)允許在云服務(wù)器上訓(xùn)練和部署模型。模型部署后，用戶可以使用這些模型進(jìn)行預(yù)測任務(wù)。MLaaS適用于醫(yī)療、金融、商業(yè)等多領(lǐng)域。在醫(yī)療領(lǐng)域，它可以為用戶提供醫(yī)療診斷；在金融領(lǐng)域，它可以為用戶分析信貸資料以及在商業(yè)領(lǐng)域?yàn)橛脩籼峁┮恍┥虡I(yè)決策。雖然MLaaS帶來了諸多好處，但是也暴露出很嚴(yán)重的問題，即用戶數(shù)據(jù)的安全性和隱私性得不到保障。在一般情況下，機(jī)器學(xué)習(xí)模型訓(xùn)練結(jié)束，并進(jìn)行部署，用戶就可以利用模型進(jìn)行預(yù)測任務(wù)。然而用戶傳入的預(yù)測樣本往往是原始數(shù)據(jù)，這就會產(chǎn)生潛在的安全和隱私風(fēng)險(xiǎn)。特別是進(jìn)行醫(yī)療診斷預(yù)測時(shí)，用戶傳入的是個(gè)人隱私醫(yī)療數(shù)據(jù)。這些數(shù)據(jù)一旦泄露，對用戶會造成很多困擾。如何充分利用MLaaS又能比較好地保護(hù)用戶隱私就成了亟待解決的問題。

同態(tài)加密為這一問題提供了解決方案。同態(tài)加密最初由Rivest等[1]在保密數(shù)據(jù)庫場景下提出，它作為一種加密數(shù)據(jù)的方式，在不對密文解密的情況下，也可以對其進(jìn)行某些操作。Gentry等[2]第一個(gè)提出了基于理想格的全同態(tài)加密方案，起到了突破性的作用。全同態(tài)是指在該方案下允許對加密數(shù)據(jù)執(zhí)行任意多次操作。Bos等[3]引入中國剩余定理提出了一種處理大數(shù)的同態(tài)加密方案，它將密文擴(kuò)展到幾個(gè)環(huán)元素來分開加密，從而解決了輸入數(shù)據(jù)過大的問題。全同態(tài)加密方案具有很好的計(jì)算特性，但是也帶來了計(jì)算緩慢的問題，在實(shí)際較大計(jì)算任務(wù)中暫時(shí)還無法使用?，F(xiàn)在主要使用微同態(tài)加密方案(SomeWhat Homomorphic Encryption, SWHE)來解決實(shí)際問題，即限制了一些計(jì)算的同態(tài)加密方案，如只能進(jìn)行限定次數(shù)的密文乘法。

許多研究人員開始著手解決MLaaS中的安全和隱私問題。其中一個(gè)重要方法就是將同態(tài)加密和機(jī)器學(xué)習(xí)結(jié)合起來。目前許多工作都集中在更簡單的模型上，如Graepel等[4]利用層級同態(tài)加密方案訓(xùn)練了兩個(gè)線性二分類模型——線性均值和Fisher線性判別器——保持了訓(xùn)練和測試數(shù)據(jù)的機(jī)密性。Kim等[5]提出了關(guān)于加密數(shù)據(jù)的邏輯回歸模型訓(xùn)練方法，使用的加密庫是該團(tuán)隊(duì)開發(fā)的HEAAN，在同態(tài)加密的數(shù)據(jù)集上，獲得訓(xùn)練模型需要116分鐘，并且取得了較好的準(zhǔn)確率和性能。處理Sigmoid函數(shù)的方法是使用高階的泰勒公式。Dowlin等[6]改造一個(gè)已經(jīng)訓(xùn)練好的邏輯回歸模型，將用FV同態(tài)加密方案加密的個(gè)人生物信息數(shù)據(jù)傳入改造模型，得到是否患糖尿病的預(yù)測。原始模型激活函數(shù)是Sigmoid函數(shù)，改造模型將Sigmoid函數(shù)處理為在x=0附近展開的7階泰勒級數(shù)，使用的同態(tài)加密方案支持庫是SEAL，并且對比了給定不同加密參數(shù)的用時(shí)情況。Cheon等[7]和Giacomelli等[8]也分別提出了隱私保護(hù)邏輯回歸和隱私保護(hù)嶺回歸方案。在隱私保護(hù)下神經(jīng)網(wǎng)絡(luò)方面，Dowlin等[9]使用MNIST數(shù)據(jù)集訓(xùn)練了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型CryptoNets，他們的研究分為訓(xùn)練和預(yù)測兩個(gè)階段，在訓(xùn)練階段為9層，預(yù)測階段對網(wǎng)絡(luò)層進(jìn)行了整合和去除，分為5層。為了滿足同態(tài)加密計(jì)算特性，激勵(lì)層使用平方函數(shù)，并且使用特殊的加和池化(即滑動窗口中的像素值的加和作為該窗口的結(jié)果值)。CryptoNets也借助了SEAL，該庫的早期同態(tài)加密方案是YASHE， CryptoNets也正是使用的YASHE方案。使用了中國剩余定理處理大數(shù)以及批量化處理。在考慮ReLU和Sigmoid非線性函數(shù)和同態(tài)計(jì)算特性的矛盾時(shí)，往往采用多項(xiàng)式來替換非線性函數(shù)，以保證同態(tài)計(jì)算特性。CryptoNets作為引入同態(tài)加密的隱私保護(hù)神經(jīng)網(wǎng)絡(luò)方案的領(lǐng)頭羊研究，Chabanne等[10]為了擴(kuò)展到更深層的網(wǎng)絡(luò)架構(gòu)，提出了使用多項(xiàng)式逼近激勵(lì)函數(shù)結(jié)合批量歸一化(Batch Normalization，BN)的處理方法，并分析了層輸出穩(wěn)定性。然而，他們在研究中僅進(jìn)行了明文實(shí)驗(yàn)，雖然分析了乘法深度帶來的影響，但是沒有給出密文實(shí)驗(yàn)的相關(guān)結(jié)果。Hesamifard等[11]引入了一種新的多項(xiàng)式逼近激勵(lì)函數(shù)方法，結(jié)合批量歸一化，并在密文上進(jìn)行了實(shí)驗(yàn)，使用的同態(tài)加密庫是IBM的HELib。還有相關(guān)研究關(guān)注點(diǎn)在于結(jié)合安全多方計(jì)算解決隱私保護(hù)神經(jīng)網(wǎng)絡(luò)問題[12-13]，它們的解決途徑包括混淆電路、秘密共享和茫然傳輸?shù)取?/p>

在邏輯回歸和神經(jīng)網(wǎng)絡(luò)中，最常見的連接方式為全連接方式，這種方式滿足同態(tài)特性，在同態(tài)加密機(jī)器學(xué)習(xí)中尤為常見。然而全連接方式也會產(chǎn)生大量的模型參數(shù)，在同態(tài)加密情況下，計(jì)算變得比較繁雜。本文提出了一種同態(tài)加密下的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)前向計(jì)算方法，并結(jié)合在實(shí)數(shù)下表現(xiàn)良好的全局平均池化層(Global Average Pooling, GAP)[14]，提出了同態(tài)加密下的全局平均池化層，大幅度減少模型參數(shù)，從而加快了加密預(yù)測的預(yù)處理過程。在加密預(yù)測方面，該方法用準(zhǔn)確率的微小下降換取了預(yù)測響應(yīng)時(shí)間的大幅度減少。

1 預(yù)備知識

1.1 卷積神經(jīng)網(wǎng)絡(luò)

全連接神經(jīng)網(wǎng)絡(luò)主要的局限性在于像素比較大的情況下，隱藏層之間會有大量的待訓(xùn)練參數(shù)，而且不便于處理高維數(shù)據(jù)。卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)解決了參數(shù)過多的問題，特別是圖像處理方面性能顯著。卷積神經(jīng)網(wǎng)絡(luò)主要依賴于參數(shù)共享，核心是卷積操作和池化操作。在實(shí)際使用中，一般經(jīng)過若干卷積層、激勵(lì)層、池化層組合，再將特征進(jìn)行拉伸操作作為全連接層的輸入向量，經(jīng)過全連接層處理后獲得輸出。經(jīng)典的LeNet[15]和上述的CryptoNets都是采用這種處理方式。為了便于說明，本文所提到的卷積核和池化窗口的高和寬相等，在高和寬方向上的滑動步長也相等。

(1) 卷積操作。卷積操作是將卷積核和對應(yīng)輸入中的矩陣數(shù)據(jù)逐個(gè)對應(yīng)相乘，再加和。卷積操作中還有三個(gè)重要的單元(卷積核大小、步長和卷積核個(gè)數(shù))以及兩種補(bǔ)零(padding)方式，即同卷積方式(SAME)和窄卷積方式(VALID)。

卷積核大小一般包括三個(gè)維度C×F×F，C表示卷積核對應(yīng)輸入的通道數(shù)，F(xiàn)表示卷積核的高和寬。

步長一般包括兩個(gè)維度S×S，S表示在高和寬方向上卷積核的滑動距離。

卷積核個(gè)數(shù)一般僅包括一個(gè)維度N，N決定了輸入經(jīng)過該卷積層后，輸出的通道數(shù)大小。

補(bǔ)零方式?jīng)Q定了輸出的高和寬的大小。VALID不需要在輸入圖像周圍進(jìn)行補(bǔ)零，輸出的高和寬與卷積核有關(guān)系。SAME在計(jì)算前需要在輸入圖像周圍進(jìn)行補(bǔ)零，輸出的高和寬與卷積核沒有關(guān)系。兩種方式輸出的高和寬對應(yīng)公式及相應(yīng)補(bǔ)零規(guī)則分別如下：

(1)

式中：I表示輸入圖像的高(寬)，O表示輸出圖像的高(寬)，F(xiàn)表示卷積核的高(寬)，S表示步長，·表示向上取整函數(shù)。

(2)

式中：I表示輸入圖像的高(寬)，O表示輸出圖像的高(寬)，F(xiàn)表示卷積核的高(寬)，S表示步長，P表示輸入圖像高(寬)需要補(bǔ)零的行(列)數(shù)，Pt、Pb、Pl、Pr分別表示上下左右需要補(bǔ)零的具體行(列)數(shù)，表示向上取整函數(shù)，max{·,·}表示取最大值函數(shù)，[·]表示取整函數(shù)。

(2) 池化操作。池化操作一般是兩種方式，即最大值池化和平均值池化。二者區(qū)別在于對池化窗口中值的處理方式。池化操作中具有兩個(gè)重要的參數(shù)(池化窗口大小，步長)以及兩種補(bǔ)零(padding)方式，基本性質(zhì)相同于卷積操作。最大值池化即對池化窗口中的值取最大值，平均值池化即對池化窗口中的值取平均值。

1.2 同態(tài)加密

對數(shù)據(jù)進(jìn)行加密是保護(hù)數(shù)據(jù)安全和隱私的有效途徑。一般的加密方案關(guān)注的是數(shù)據(jù)存儲安全，只能對加密結(jié)果進(jìn)行存儲和傳輸，但是不能對其進(jìn)行運(yùn)算操作。而同態(tài)加密主要關(guān)注的是數(shù)據(jù)處理安全，它可以對加密數(shù)據(jù)進(jìn)行運(yùn)算操作的加密方案。

同態(tài)相關(guān)數(shù)學(xué)定義如下：

(3)

(4)

(5)

(6)

2 同態(tài)加密下CNN前向傳播計(jì)算方法

2.1 同態(tài)加密圖像預(yù)測示意圖

同態(tài)加密下CNN前向傳播計(jì)算主要是為了使同態(tài)加密下的圖像能夠通過前向傳播計(jì)算而得到加密的預(yù)測結(jié)果。加密預(yù)測示意圖如圖1所示。

圖1 加密預(yù)測示意圖

2.2 預(yù)處理

2.3 計(jì)算方法

(1) 卷積層。加密域下卷積層輸入圖像是密文圖像，卷積核對應(yīng)的權(quán)重是預(yù)處理編碼后的明文。卷積層輸出大小同樣依賴于VALID和SAME方式，高和寬計(jì)算方法也同實(shí)數(shù)網(wǎng)絡(luò)對應(yīng)的卷積層相同。輸出通道數(shù)根據(jù)卷積核的個(gè)數(shù)。下式描述了卷積核作用在輸入圖像對應(yīng)的一個(gè)密文輸出：

(7)

式中：outputD表示卷積核作用區(qū)域D的輸出，對應(yīng)輸出圖像的一個(gè)密文像素點(diǎn)，P[wi]表示卷積核作用區(qū)域上i的權(quán)重明文編碼，Epk[vi]表示輸入圖像對應(yīng)卷積核上i的像素點(diǎn)密文值，vi表示圖像像素點(diǎn)的明文值，這里只是為了形象表示，不需要考慮vi具體是多少，僅僅關(guān)注密文本身即可，?表示密文和明文乘法，∑·表示密文加法。

(2) 池化層。通常情況下池化層一般是最大值池化層和平均值池化層，然而也存在特殊池化層，如CryptoNets中的加和池化層。在加密域情況下，對于每個(gè)池化窗口中的像素值都是密文。令D為池化窗口區(qū)域，區(qū)域內(nèi)有n個(gè)像素點(diǎn)，Epk[vi]表示窗口中的像素值的密文，outputD記作該區(qū)域的輸出值。

加密域下最大值池化層方案不可行，事實(shí)上：

(8)

為了保持卷積神經(jīng)網(wǎng)絡(luò)的普遍性，加密域下池化操作選擇常用的平均值池化，數(shù)學(xué)描述為：

(9)

式中：數(shù)值1/n不能直接與密文和直接相乘；需要通過編碼成明文后才能進(jìn)行乘法操作，P[·]表示對· 進(jìn)行編碼操作，?表示密文和明文乘法，∑·表示密文加法。式(9)表明平均池化滿足同態(tài)計(jì)算特性，運(yùn)算僅包括密文加法與密文和明文乘法。

(3) 激勵(lì)層。激勵(lì)層一般使用ReLU、Sigmoid和Tanh作為激勵(lì)函數(shù)，然而這些函數(shù)不滿足同態(tài)特性。為了保證密文域下數(shù)據(jù)流的正常運(yùn)算，需要對這些激勵(lì)函數(shù)進(jìn)行改進(jìn)。處理方法可以通過函數(shù)逼近上述激勵(lì)函數(shù)，使用逼近多項(xiàng)式作為激勵(lì)函數(shù)。CryptoNets在訓(xùn)練階段就沒有選擇上述三種常見的激勵(lì)函數(shù)，而使用了平方函數(shù)。為了便于和CryptoNets比較計(jì)算時(shí)延，激勵(lì)函數(shù)也選擇平方函數(shù)。

(4) 全局平均池化層。本文方法不再使用全連接層接在卷積層、激勵(lì)層和池化層的組合之后，而是使用全局平均池化層作為全連接層的替代。全局平均池化層計(jì)算方法和池化層相同。全局平均池化層的思想在于最后獲得的若干通道的數(shù)據(jù)均值對應(yīng)分類輸出向量。使用全局平均池化層可以大幅度減少模型的訓(xùn)練參數(shù)，并且獲得較好地準(zhǔn)確率。

3 網(wǎng)絡(luò)結(jié)構(gòu)

3.1 訓(xùn)練階段

訓(xùn)練階段網(wǎng)絡(luò)層分為9層，神經(jīng)網(wǎng)絡(luò)示意圖如圖2所示。

圖2 訓(xùn)練階段神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

(1) 卷積層——卷積核大小為1×5×5，步長為2，卷積核個(gè)數(shù)為5，VALID方式，輸入大小為1×28×28，輸出大小為5×13×13。

(2) 激勵(lì)層——使用平方函數(shù)。

(3) 平均池化層——池化窗口大小為3×3，步長為2，SAME方式，輸入大小為5×13×13，輸出大小為5×13×13。

(4) 卷積層——卷積核大小為5×5×5，步長為2，卷積核個(gè)數(shù)為50，VALID方式，輸入大小為5×13×13，輸出大小為50×5×5。

(5) 平均池化層——池化窗口大小為3×3，步長為2，SAME方式，輸入大小為50×5×5，輸出大小為50×5×5。

(6) 卷積層——卷積核大小為50×3×3，步長為2，卷積核個(gè)數(shù)為10，VALID方式，輸入大小為50×5×5，輸出大小為10×2×2。

(7) 激勵(lì)層——使用平方函數(shù)。

(8) 全局平均池化層(GAP)——每個(gè)通道大小為2×2，每個(gè)通道的全局平均值作為該通道的輸出值。輸入大小為10×2×2，輸出大小為10×1。

(9) Softmax層——該層主要便于誤差的反向傳播。

3.2 預(yù)測階段

CryptoNets將激勵(lì)層作為分割層，并去除了不影響加密預(yù)測結(jié)果的最后一層，預(yù)測階段CryptoNets重新分為5層。為了便于分析與比較，也將預(yù)測階段將網(wǎng)絡(luò)分為5個(gè)部分：

(1) 卷積層，記為Ⅰ——同訓(xùn)練階段第1層。

(2) 激勵(lì)層，記為Ⅱ——同訓(xùn)練階段第2層。

(3) 線性層，記為Ⅲ——同訓(xùn)練階段第3～6層。

(4) 激勵(lì)層，記為Ⅳ——同訓(xùn)練階段第7層。

(5) GAP層，記為Ⅴ——同訓(xùn)練階段第8層。

訓(xùn)練階段第9層Softmax層是單調(diào)遞增的，不會改變輸出向量最大值索引，在預(yù)測階段不再考慮。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)為MNIST數(shù)據(jù)集，包括70 000幅手寫數(shù)字圖片，每幅圖片為28×28像素，每個(gè)像素點(diǎn)值范圍[0, 255]。其中55 000幅是訓(xùn)練樣本，5 000幅是驗(yàn)證樣本，剩余10 000幅是測試樣本。由該數(shù)據(jù)集獲得模型參數(shù)。

預(yù)測階段的同態(tài)加密下的前向傳播需要利用這些經(jīng)過編碼處理后的模型參數(shù)。預(yù)測階段的輸入是對MNIST數(shù)據(jù)集測試樣本的像素點(diǎn)值進(jìn)行同態(tài)加密后的密文圖像。

4.2 實(shí)驗(yàn)運(yùn)行環(huán)境

實(shí)驗(yàn)主要分為兩個(gè)階段，模型訓(xùn)練階段和密文預(yù)測階段。模型訓(xùn)練階段主要是為了獲得模型參數(shù)，為密文預(yù)測階段的前向傳播提供數(shù)據(jù)。模型訓(xùn)練階段使用Python語言借助Tensorflow和Numpy可以高效快速地完成模型的訓(xùn)練和測試，并保存模型參數(shù)。在密文預(yù)測階段，選擇C++語言，SEAL庫在同態(tài)加密運(yùn)算上提供支持，運(yùn)行時(shí)間的統(tǒng)計(jì)依賴于Chrono庫。具體的環(huán)境說明如表1所示。

表1 實(shí)驗(yàn)運(yùn)行環(huán)境

4.3 實(shí)驗(yàn)結(jié)果

(1) 準(zhǔn)確率。準(zhǔn)確率比較如表2所示。

表2 準(zhǔn)確率比較

本文利用GAP替換全連接層的方法，在準(zhǔn)確率方面略微低于CryptoNets。

(2) 預(yù)測時(shí)間。由于同態(tài)加密中加密參數(shù)不同會對預(yù)測時(shí)間有影像，特別選取了兩組加密參數(shù)測量時(shí)間。

第一組：n=8 192,t1=1 099 511 922 689,t2=1 099 512 004 609,q=2383-233+1。

這里t1·t2>280，q<2384，則密文多項(xiàng)式對應(yīng)的每個(gè)系數(shù)需要48 bytes。n=8 192，該預(yù)測網(wǎng)絡(luò)可以接受的批量大小也為8 192，則計(jì)時(shí)是以一批大小為8 192的測試數(shù)據(jù)作為基準(zhǔn)的。如表3所示，第一組參數(shù)下，本文方法對應(yīng)各層的加密預(yù)測時(shí)間合計(jì)472.8 s，而CryptoNets加密預(yù)測時(shí)間為570 s，效果對比如表4所示。

表3 第一組加密參數(shù)下本文方法各層運(yùn)行時(shí)間

表4 第一組參數(shù)下預(yù)測計(jì)算時(shí)間對比

第二組：n=4 096，t1=40 961，t2=65 537，t3=114 689，t4=147 457，t5=188 417，q1=2191-2 589 751，q2=2191-491 527，q3=2191-2 232 751，q4=2191-2 309 565，q1=2191-15 131 401。

這里t1·t2·t3·t4·t5>280，q<2192，則密文多項(xiàng)式對應(yīng)的每個(gè)系數(shù)需要24 bytes。n=4 096，該預(yù)測網(wǎng)絡(luò)可以接受的批量大小也為4 096，計(jì)時(shí)是以一批大小為4 096的測試數(shù)據(jù)作為基準(zhǔn)的。如表5所示，第二組參數(shù)下，本文方法各層的加密預(yù)測時(shí)間合計(jì)189.38 s，而CryptoNets加密預(yù)測時(shí)間為249.6 s，效果對比如表6所示。

表5 第二組加密參數(shù)下本文方法對應(yīng)各層運(yùn)行時(shí)間

表6 第二組參數(shù)下預(yù)測計(jì)算時(shí)間對比

(3) 模型參數(shù)分析。在CryptoNets中，第一個(gè)全連接層待訓(xùn)練參數(shù)個(gè)數(shù)為100×1 250=125 000，第二個(gè)全連接層待訓(xùn)練參數(shù)個(gè)數(shù)為10×100=1 000，合計(jì)訓(xùn)練參數(shù)個(gè)數(shù)為126 000。而使用GAP后僅需要待訓(xùn)練參數(shù)個(gè)數(shù)為50×3×3×10=4 500，大大減少了模型參數(shù)，簡化了參數(shù)預(yù)處理編碼。在同態(tài)計(jì)算過程中，除了密文和密文乘法外，較為花費(fèi)時(shí)間的是密文和明文乘法。CryptoNets中需要126 000次密文和明文相乘，而使用GAP后僅需要18 000次。

4.4 實(shí)驗(yàn)分析

在分類準(zhǔn)確率下降較小的情況下，使用GAP可以較好地解決全連接層計(jì)算緩慢的問題，在響應(yīng)時(shí)間上獲得了較好的提升。GAP大大減少了模型參數(shù)數(shù)量，簡化了對模型參數(shù)的處理。

5 結(jié) 語

本文將同態(tài)加密和卷積神經(jīng)網(wǎng)絡(luò)中全局平均池化相結(jié)合，提出了加密域下全局平均池化層的前向傳播方法。該方法可以在降低較少分類準(zhǔn)確率的前提下，大幅度減少加密域下全連接層帶來的計(jì)算時(shí)延，同時(shí)減少相關(guān)參數(shù)數(shù)量及服務(wù)器預(yù)處理參數(shù)編碼的時(shí)間。接下來的研究方向是增強(qiáng)方法的魯棒性以應(yīng)對更加復(fù)雜的神經(jīng)網(wǎng)絡(luò)以及加密待處理數(shù)據(jù)。