畢仁萬，陳前昕，熊金波，劉西蒙

面向深度神經(jīng)網(wǎng)絡(luò)的安全計算協(xié)議設(shè)計方法

畢仁萬1，陳前昕1，熊金波1，劉西蒙2

(1. 福建師范大學(xué)數(shù)學(xué)與信息學(xué)院，福建 福州 350117；2. 福州大學(xué)數(shù)學(xué)與計算機(jī)科學(xué)學(xué)院，福建 福州 350108)

針對深度神經(jīng)網(wǎng)絡(luò)模型計算過程中存在的信息泄露問題，結(jié)合加性秘密共享方案，在兩臺非共謀的邊緣服務(wù)器間設(shè)計安全高效的交互計算協(xié)議?？紤]到非線性函數(shù)不能直接拆分，首先提出一組基本轉(zhuǎn)換協(xié)議，實現(xiàn)加性副本和乘性副本的安全轉(zhuǎn)換，經(jīng)過少量調(diào)用，可以安全計算冪函數(shù)、比較、指數(shù)、對數(shù)、除法等底層函數(shù)。由于數(shù)據(jù)傳遞和計算特點，協(xié)議可以擴(kuò)展至數(shù)組計算。理論分析證明了協(xié)議的正確性、高效性和安全性，實驗結(jié)果表明，協(xié)議具有較小的誤差，其計算和通信開銷均優(yōu)于現(xiàn)有設(shè)計方案。

深度神經(jīng)網(wǎng)絡(luò)；加性秘密共享；安全計算協(xié)議；加法?乘法轉(zhuǎn)換；數(shù)組單元

1 引言

隨著人工智能和物聯(lián)網(wǎng)時代的全面到來，智能終端設(shè)備被賦予自主采集各種類型數(shù)據(jù)的能力，如高清攝像機(jī)捕捉圖像數(shù)據(jù)、聲學(xué)設(shè)備采錄語音數(shù)據(jù)、LiDAR設(shè)備探測點云數(shù)據(jù)[1]等。為了進(jìn)一步挖掘、分析出有意義的信息，相比傳統(tǒng)的機(jī)器學(xué)習(xí)算法，采用深度神經(jīng)網(wǎng)絡(luò)模型處理數(shù)據(jù)可以獲得更高的預(yù)測精度。例如，Ren等[2]利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像目標(biāo)的特征信息，Zhou等[1]采用稀疏卷積神經(jīng)網(wǎng)絡(luò)提取云目標(biāo)的特征信息等。然而，深度神經(jīng)網(wǎng)絡(luò)由于模型深度、參數(shù)數(shù)量等特征會耗費高額的計算開銷，資源受限的智能終端選擇將數(shù)據(jù)和任務(wù)需求提交給邊緣服務(wù)器進(jìn)行處理。隨著數(shù)據(jù)控制權(quán)的遷移，包含在數(shù)據(jù)內(nèi)的隱私信息存在極高的泄露風(fēng)險，如何在不泄露隱私信息的前提下快速準(zhǔn)確地將原始數(shù)據(jù)分析轉(zhuǎn)化為有價值的內(nèi)容，是當(dāng)前應(yīng)用研究的熱點。

實際上，隱私信息是否安全可以歸結(jié)于網(wǎng)絡(luò)函數(shù)計算的安全性，目前，主要結(jié)合同態(tài)加密[3]和加性秘密共享[4]方案構(gòu)思解決方法。同態(tài)加密概念自提出以來被廣泛應(yīng)用于密文處理，Hesamifard等[5]通過構(gòu)造非線性函數(shù)的低階近似多項式，采用線性同態(tài)加密可以實現(xiàn)線性修正單元（ReLU）、雙曲正切（Tanh）、Sigmoid等網(wǎng)絡(luò)激活函數(shù)的密態(tài)計算，但煩瑣的加密計算開銷難以滿足智能終端低延遲性需求。針對這一問題，Mohassel等[6]最早將加性秘密共享概念引入線性回歸、邏輯回歸和神經(jīng)網(wǎng)絡(luò)等模型訓(xùn)練任務(wù)中，基于安全兩方計算[7]提出了一系列隱私保護(hù)協(xié)議，相比同態(tài)加密算法提高了計算效率。隨后，唐春明等[8]針對兩臺非共謀服務(wù)器訓(xùn)練線性回歸模型過程中的信息泄露問題，結(jié)合加性秘密共享設(shè)計了安全加法、乘法交互計算協(xié)議，并將Sigmoid激活函數(shù)中的指數(shù)函數(shù)展開為泰勒多項式形式，利用加法和乘法計算協(xié)議可以獲得其近似值。然而，這些協(xié)議采用不經(jīng)意傳輸機(jī)制[9]傳遞數(shù)據(jù)，并且需要多輪近似迭代計算，計算效率較低，并且沒有分析協(xié)議的誤差范圍。顯然，神經(jīng)網(wǎng)絡(luò)模型的正確性和效率依賴于底層計算函數(shù)，劉新等[10]探索基本初等函數(shù)的安全高效計算方法，終端將模糊化的數(shù)據(jù)傳遞給云服務(wù)器，由兩者共同計算目標(biāo)函數(shù)的結(jié)果，計算復(fù)雜度降低為常數(shù)階，并且設(shè)計的計算協(xié)議可以擴(kuò)展至數(shù)組計算，但計算過程需要終端同步參與數(shù)據(jù)傳遞。

近年來，研究學(xué)者結(jié)合加性秘密共享在隱私保護(hù)神經(jīng)網(wǎng)絡(luò)方面取得較大進(jìn)展，Huang等[11]提出了一種隱私保護(hù)圖像特征提取方案，設(shè)計的安全比較函數(shù)可以正確實現(xiàn)ReLU激活函數(shù)功能。Ma等[12]提出了一種隱私保護(hù)語音識別方案，利用長短期記憶網(wǎng)絡(luò)提取關(guān)聯(lián)語音特征信息，設(shè)計的安全Sigmoid函數(shù)和Tanh函數(shù)可以實現(xiàn)門控的迭代計算。Liu等[13]提出了一種隱私保護(hù)圖像目標(biāo)檢測方案，設(shè)計的安全指數(shù)、對數(shù)和倒數(shù)計算協(xié)議可以正確實現(xiàn)檢測網(wǎng)絡(luò)的底層函數(shù)功能。這些安全計算協(xié)議可以為網(wǎng)絡(luò)模型提供足夠的安全性，遺憾的是，需要多輪迭代[14]降低誤差以達(dá)到計算精度需求，計算開銷依賴于迭代次數(shù)。

為了克服上述安全計算協(xié)議的缺陷，本文面向深度神經(jīng)網(wǎng)絡(luò)底層函數(shù)探索安全高效的計算協(xié)議設(shè)計方法，主要貢獻(xiàn)總結(jié)如下。

1) 考慮到非線性函數(shù)拆分困難的特性，設(shè)計了安全乘法-加法轉(zhuǎn)換（STMA，secure transforming multiply-add）和安全加法-乘法轉(zhuǎn)換（STAM，secure transforming add-multiply）協(xié)議，實現(xiàn)加性副本與乘性副本的安全等值轉(zhuǎn)換。

2) 在安全轉(zhuǎn)換協(xié)議的基礎(chǔ)上，結(jié)合基本運算性質(zhì)可以實現(xiàn)對非線性函數(shù)的計算拆分，設(shè)計的安全冪函數(shù)、比較、指數(shù)、對數(shù)、除法等計算協(xié)議不需要引入復(fù)雜迭代操作，并且可以擴(kuò)展至數(shù)組計算。協(xié)議的輸入和輸出僅需要加法計算完成拆分與合并，構(gòu)建安全的深度神經(jīng)網(wǎng)絡(luò)模型可以自由選擇和替換固有的函數(shù)模塊。

3)詳細(xì)的理論分析證明了所提協(xié)議的正確性和安全性，并且計算和通信復(fù)雜度可以控制在常數(shù)階。實際性能測試結(jié)果表明，協(xié)議的誤差在可接受范圍內(nèi)，計算和通信效率均優(yōu)于最新的研究工作。

2 系統(tǒng)模型與安全模型

2.1 系統(tǒng)模型

圖1 系統(tǒng)模型

Figure 1 System model

2.2 安全模型

3 基本安全轉(zhuǎn)換協(xié)議

3.1 安全乘法-加法轉(zhuǎn)換協(xié)議

協(xié)議1 安全乘法-加法轉(zhuǎn)換

3.2 安全加法-乘法轉(zhuǎn)換協(xié)議

協(xié)議2 安全加法-乘法轉(zhuǎn)換

4 安全協(xié)議設(shè)計方法

4.1 安全冪計算協(xié)議

4.2 安全比較計算協(xié)議

4.3 安全指數(shù)與對數(shù)計算協(xié)議

4.4 安全除法計算協(xié)議

5 理論分析

5.1 正確性分析

第3和第4節(jié)的諸多協(xié)議是針對深度神經(jīng)網(wǎng)絡(luò)模型需求而設(shè)計的，正確性是計算協(xié)議可行性的一部分，接下來，本節(jié)提供詳細(xì)的推導(dǎo)過程證明協(xié)議的正確性。

5.2 復(fù)雜度分析

表1 協(xié)議的計算復(fù)雜度比較

注：表示輸入數(shù)組長度；表示二進(jìn)制位長度；表示子協(xié)議迭代次數(shù)

表2 協(xié)議的通信復(fù)雜度比較

注：表示二進(jìn)制位長度；表示子協(xié)議迭代次數(shù)

5.3 安全性分析

引理1 若協(xié)議調(diào)用的所有子協(xié)議在多項式時間內(nèi)是可模擬的，那么該協(xié)議是可模擬的。

定理1 在半可信模型中，STMA和STAM協(xié)議是安全的。

證畢。

定理2 在半可信模型中，SPow、SRec和SMul協(xié)議是安全的。

證畢。

定理3 在半可信模型中，SComp、SExp、SLog和SDiv協(xié)議是安全的。

證畢。

6 協(xié)議性能分析

6.1 誤差分析

表3 協(xié)議的絕對誤差和相對誤差

6.2 實際開銷分析

6.2.1 計算開銷

6.2.2 通信開銷

表4 協(xié)議的計算開銷

表5 協(xié)議的通信開銷

7 結(jié)束語

智能終端由于自身資源受限，選擇將復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)模型計算任務(wù)卸載至邊緣節(jié)點。考慮到計算過程的安全性，本文為網(wǎng)絡(luò)底層函數(shù)量身設(shè)計了一系列安全計算協(xié)議，可以擴(kuò)展至數(shù)組計算，不需要迭代操作即可實現(xiàn)函數(shù)的線性分割，兩臺非共謀邊緣服務(wù)器及潛在敵手均不能獲得完整的輸入和輸出。經(jīng)過實際性能評估，協(xié)議的計算誤差可以忽略不計，并且計算和通信開銷均優(yōu)于現(xiàn)有工作，十分適合深度神經(jīng)網(wǎng)絡(luò)函數(shù)的安全替換。在未來工作中，將繼續(xù)尋找進(jìn)一步提升協(xié)議計算和通信效率的方法，同時設(shè)計更多通用函數(shù)對應(yīng)的安全計算協(xié)議。

[1] ZHOU Y, TUZEL O. Voxelnet: end-to-end learning for point cloud based 3d object detection[C]//The IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2018: 4490-4499.

[2] REN S Q, HE K, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 39(6): 91-99.

[3] YANN L, BERNHARD B, JOHN S D, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural Computation, 1989, 1(4): 541-551.

[4] XIONG J B, BI R W, SZHAO M F, et al. Edge-assisted privacy-preserving raw data sharing framework for connected autonomous vehicles[J]. IEEE Wireless Communications, 2020, 27(3): 24-30.

[5] HESAMIFARD E, TAKABI H, GHASEMI M. CryptoDL: deep neural networks over encrypted data[J]. arXiv preprint arXiv:1711.05189, 2017.

[6] MOHASSEL P, ZHANG Y P. SecureML: a system for scalable privacy-preserving machine learning[C]//IEEE Symposium on Security and Privacy (S&P). 2017: 19-38.

[7] YAO A C. Protocols for secure computations[C]//The 23rd Annual Symposium on Foundations of Computer Science (SFCS). 1982: 160-164.

[8] 唐春明, 魏偉明. 基于安全兩方計算的具有隱私性的回歸算法[J].信息網(wǎng)絡(luò)安全, 2018(10): 10-16.

TANG C M, WEI W M. Regression algorithm with based on secure two-party computation[J]. Information Network Security, 2018(10): 10-16.

[9] RABIN M O. How to exchange secrets with oblivious transfer[J]. IACR Cryptology ePrint Archive, 2005:187.

[10] 劉新, 李順東, 陳振華. 基本初等函數(shù)的保密云計算服務(wù)協(xié)議[J]. 計算機(jī)科學(xué), 2015, 42(10):159-163.

LIU X, LI S D, CHEN Z H. Secure cloud computing service protocols of elementary functions[J]. Computer Science, 2015, 42(10): 159-163.

[11] HUANG K, LIU X M, FU S J, et al. A lightweight privacy-preserving CNN feature extraction framework for mobile sensing[J]. IEEE Transactions on Dependable and Secure Computing, 2019: 1.

[12] MA Z, LIU Y, LIU X M, et al. Privacy-preserving outsourced speech recognition for smart IoT devices[J]. IEEE Internet of Things Journal, 2019, 6(5): 8406-8420.

[13] LIU Y, MA Z, LIU X M, et al. Privacy-preserving object detection for medical images with Faster R-CNN[J]. IEEE Transactions on Information Forensics and Security, 2019: 1.

[14] VOLDER J E. The cordic trigonometric computing technique[J]. IRE Transactions on Electronic Computers, 1959, 8(3): 330-334.

[15] ZHU Y W, HUANG L S, YANG W, et al. Three new approaches to privacy-preserving add to multiply protocol and its application[C]//The 2nd International Workshop on Knowledge Discovery and Data Mining. 2009: 554-558.

[16] 李禾, 王述洋. 關(guān)于除法的安全雙方計算協(xié)議[J]. 計算機(jī)工程與應(yīng)用, 2010, 46(6): 86-88.

LI H, WANG S Y. Several secure two-party protocols of division[J]. Computer Engineering and Applications, 2010, 46(6): 86-88.

[17] BOGDANOV D, LAUR S, WILLEMSON J. Sharemind: a framework for fast privacy-preserving computations[C]//European Symposium on Research in Computer Security. 2008: 192-206.

[18] BOGDANOV D, NIITSOO M, TOFT T, et al. High-performance secure multi-party computation for data mining applications[J]. International Journal of Information Security, 2012, 11(6): 403-418.

Design method of secure computing protocol for deep neural network

BI Renwan1，CHEN Qianxin1，XIONG Jinbo1，LIU Ximeng2

1. College of Mathematics and Informatics, Fujian Normal University, Fuzhou 350117, China2. College of Mathematics and computer science, Fuzhou University, Fuzhou 350108, China

Aiming at the information leakage problem in the process of deep neural network model calculation, a series of secure and efficient interactive computing protocols were designed between two non-collusive edge servers in combination with the additive secret sharing scheme. Since the nonlinear function cannot be split directly, a set of basic conversion protocols were proposed to realize the secure conversion of additive and multiplicative shares. After a few invokes, the power, comparison, exponential, logarithm, division and other low-level functions can be calculated securely. Due to the characteristics of data transfer and computation, the proposed protocols can be extended to array computation. Theoretical analysis ensures the correctness, efficiency and security of these protocols. The experimental results show that the error of these protocols is negligible, and the computational costs and communication overhead are better than the existing schemes.

deep neural network, additive secret sharing, secure computing protocol, add-multiply transformation, array unit

TP393

A

10.11959/j.issn.2096?109x.2020050

畢仁萬（1996-），男，湖南常德人，福建師范大學(xué)碩士生，主要研究方向為安全深度學(xué)習(xí)、安全多方計算。

陳前昕（1996-），男，福建泉州人，福建師范大學(xué)碩士生，主要研究方向為安全深度學(xué)習(xí)、隱私保護(hù)技術(shù)。

熊金波（1981-），男，湖南益陽人，博士，福建師范大學(xué)教授，主要研究方向為安全深度學(xué)習(xí)、移動群智感知、隱私保護(hù)技術(shù)。

劉西蒙（1988-），男，陜西西安人，博士，福州大學(xué)教授，主要研究方向為云安全、應(yīng)用密碼學(xué)、大數(shù)據(jù)安全。

：2020?04?17；

2020?07?03

熊金波，jinbo810@163.com

：國家自然科學(xué)基金（61872088, U1804263, 61702105, 61872090）；福建省自然科學(xué)基金資助項目（2019J01276）；貴州省公共大數(shù)據(jù)重點實驗室開放課題（2019BDKFJJ004）

The National Natural Science Foundation of China (61872088, U1804263, 61702105, 61872090), The NaturalScience Foundation of Fujian Province, China (2019J01276), The Guizhou Provincial Key Laboratory of Public Big DataResearch Fund (2019BDKFJJ004)

論文引用格式：畢仁萬, 陳前昕, 熊金波, 等. 面向深度神經(jīng)網(wǎng)絡(luò)的安全計算協(xié)議設(shè)計方法[J]. 網(wǎng)絡(luò)與信息安全學(xué)報,2020, 6(4): 130-139.

BI R W, CHEN Q X, XIONG J B, et al. Design method of secure computing protocol for deep neural network[J]. Chinese Journal of Network and Information Security, 2020, 6(4): 130-139.