鄭云濤，葉家煒

（1.復(fù)旦大學(xué) 計算機科學(xué)技術(shù)學(xué)院 上海市智能信息處理重點實驗室，上海 200433；2.復(fù)旦大學(xué) 計算機科學(xué)技術(shù)學(xué)院 教育部網(wǎng)絡(luò)信息安全審計與監(jiān)控工程研究中心，上海 200433）

0 概述

近年來，由于數(shù)據(jù)的存儲與處理效率的提高，海量數(shù)據(jù)參與機器學(xué)習(xí)模型的訓(xùn)練成為可能。利用不同來源的數(shù)據(jù)進行機器學(xué)習(xí)模型訓(xùn)練并生成預(yù)測模型能夠獲得更多的特征信息，從而提高模型的預(yù)測準(zhǔn)確率。然而，現(xiàn)實中大多數(shù)數(shù)據(jù)分散在不同的組織中，由于受到法律等的約束，無法通過集成來進行共同的機器學(xué)習(xí)模型訓(xùn)練，如醫(yī)院的患者信息、銀行的用戶賬戶信息等數(shù)據(jù)并不能得到公開共享，這使得整合來自不同來源的數(shù)據(jù)比較困難。因此，數(shù)據(jù)的隱私保護技術(shù)成為大數(shù)據(jù)時代機器學(xué)習(xí)不可或缺的技術(shù)手段。

安全多方計算是一種能夠在保證計算參與方的數(shù)據(jù)不被泄露的情況下完成最終計算過程的隱私保護技術(shù)。目前，研究人員提出了多個實現(xiàn)安全多方計算的協(xié)議，包括利用同態(tài)加密來直接對數(shù)據(jù)進行加密的協(xié)議［1］、利用秘密共享實現(xiàn)數(shù)據(jù)不被泄露的Shamir 秘密共享方案［2］、茫然傳輸（Oblivious Transfer，OT）協(xié)議［3］等，以及相關(guān)的秘密分享協(xié)議框架，如SPDZ 協(xié)議［4］、ABY 協(xié)議［5］等。

聯(lián)邦學(xué)習(xí)利用安全多方計算技術(shù)來對機器學(xué)習(xí)模型中的數(shù)據(jù)進行保護，在不泄露用戶數(shù)據(jù)隱私的情況下共享數(shù)據(jù)并構(gòu)建機器學(xué)習(xí)模型，使得訓(xùn)練出的模型的預(yù)測準(zhǔn)確率不會受到損失。目前聯(lián)邦學(xué)習(xí)的隱私保護機制的實現(xiàn)有基于模型聚類［6-8］、基于同態(tài)加密［9-11］、基于差分隱私［12］以及基于秘密分享［13］等相關(guān)研究。

FATE 聯(lián)邦學(xué)習(xí)是一個成熟的、已投入使用的基于同態(tài)加密的聯(lián)邦機器學(xué)習(xí)框架，文獻［14］提出的FATE 聯(lián)邦遷移學(xué)習(xí)框架，通過近似多項式的方法來擬合邏輯回歸函數(shù)，并用Paillier 同態(tài)加密［15］的方式，在保證參與聯(lián)邦學(xué)習(xí)雙方的數(shù)據(jù)隱私的情況下完成損失函數(shù)和梯度的計算，最終達到收斂完成模型的訓(xùn)練。然而，由于在實際的模型訓(xùn)練過程中需要對大量的數(shù)據(jù)進行加密處理和計算，模型訓(xùn)練的效率較低。文獻［16］提出了通過批量加密的方法來提高同態(tài)加密的通信效率，但是本質(zhì)上沒有解決同態(tài)加密乘法的計算開銷問題。

針對FATE 聯(lián)邦遷移學(xué)習(xí)（Federated Transfer Learning，F(xiàn)TL）中同態(tài)加密帶來的計算開銷的問題，本文提出一個基于OT 協(xié)議的隱私保護兩方矩陣運算方案，并拓展應(yīng)用到FATE 聯(lián)邦遷移學(xué)習(xí)的設(shè)計中，在保證參與計算雙方的數(shù)據(jù)隱私的前提下完成邏輯回歸模型的損失函數(shù)和梯度計算。同時，針對OT 協(xié)議帶來的通信開銷問題，通過OT 擴展（OT extension）協(xié)議和批量傳輸進行優(yōu)化，實現(xiàn)基于OT協(xié)議矩陣運算的FATE 聯(lián)邦遷移學(xué)習(xí)方案。

1 預(yù)備知識

1.1 聯(lián)邦遷移學(xué)習(xí)

聯(lián)邦學(xué)習(xí)最早由谷歌在2016 年提出［17］，目的是通過分布在不同設(shè)備上的數(shù)據(jù)集來協(xié)同構(gòu)建機器學(xué)習(xí)模型，并防止各個設(shè)備的數(shù)據(jù)泄露。

假設(shè)有n個數(shù)據(jù)持有組織{p1，p2，…，pn}，每個組織擁有自己的數(shù)據(jù)Di（1 ≤i≤n)，通過中間數(shù)據(jù)的交互來共同訓(xùn)練機器學(xué)習(xí)模型Mfed。一種常規(guī)的聯(lián)合機器學(xué)習(xí)方法是將所有組織的數(shù)據(jù)聚合在一起，共同訓(xùn)練模型得到模型Msum。與普通的聯(lián)合機器學(xué)習(xí)不同，聯(lián)邦學(xué)習(xí)各個組織的數(shù)據(jù)Di不會泄露給其他組織。根據(jù)Vfed和Vsum聯(lián)邦學(xué)習(xí)與聯(lián)合學(xué)習(xí)的準(zhǔn)確性，假如|Vfed-Vsum| ＜δ，則稱該聯(lián)邦學(xué)習(xí)算法有δ-acc級損失。

聯(lián)邦學(xué)習(xí)的分類有橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)與聯(lián)邦遷移學(xué)習(xí)。橫向聯(lián)邦學(xué)習(xí)適用于樣本不同的情況下參與方數(shù)據(jù)集的特征空間相同的情況；縱向聯(lián)邦學(xué)習(xí)適用于參與方樣本空間重合度高，但各自的特征空間不同的情況；如果參與方之間的數(shù)據(jù)的特征空間和樣本重合度都很低，則需要用到聯(lián)邦遷移學(xué)習(xí)，如圖1 所示。

圖1 聯(lián)邦遷移學(xué)習(xí)框架Fig.1 Framework of federated transfer learning

1.2 OT 協(xié)議

OT 協(xié)議是重要的密碼學(xué)原語之一，在實際應(yīng)用中，往往需要許多簡單的協(xié)議來完成高級協(xié)議的設(shè)計，在執(zhí)行k次的協(xié)議（記為kO）中，發(fā)送方S持有k對比特對(，mi1)，其中，∈{0，1}，而接收方R持有一個k比特的選擇向量b，通過執(zhí)行k次協(xié)議后，R獲得了，但是無法得知其他的比特位信息，而S無法得知b的信息，從而保證了隱私性與保密性。目前研究人員提出許多高效的OT 協(xié)議方案，如在半誠實模型下通過公鑰機制來實現(xiàn)的Naor-Pinkas OT 協(xié)議［18］等。

OT extension 協(xié)議利用少數(shù)的Base OT 協(xié)議將原本大量的OT 協(xié)議數(shù)量大幅減少，能夠極大地降低計算量和通信量。IKNP OT extension 協(xié)議［19］通過選定安全參數(shù)k，能夠?qū)次協(xié)議降低到k次的Base OT 協(xié)議。發(fā)送方準(zhǔn)備m對秘密消息作為協(xié)議的輸入，接收方準(zhǔn)備{0，1}m比特對消息作為協(xié)議的輸入。在協(xié)議執(zhí)行過程中，雙方在預(yù)處理階段執(zhí)行k次的Base OT 協(xié)議，發(fā)送方作為Base OT 的接收者，接收方隨機產(chǎn)生k比特對消息作為Base OT 的發(fā)送者。執(zhí)行完k次Base OT 協(xié)議后，雙方即可以在交互階段進行m次的協(xié)議的交互，而每次協(xié)議的執(zhí)行只需要進行少數(shù)的異或運算。接收方最終會獲得自己選擇的m個消息。IKNP OT extension 不僅能夠減少OT 協(xié)議的通信量，也加快了計算效率。

1.3 邏輯回歸的泰勒展開近似

在線性回歸模型中，模型訓(xùn)練本質(zhì)上是需要擬合出一條線，使得訓(xùn)練樣本中的數(shù)據(jù)點盡可能多地靠近這條線，即y=W·x，其中：W是要訓(xùn)練的模型參數(shù)，它通過隨機化一個初始值得到；x為參與訓(xùn)練的樣本數(shù)據(jù)，它可以是一個向量，也可以稱為特征值；x與W的維度大小是相同的，y是一個單值，也可以稱為標(biāo)簽。

為了能夠?qū)W習(xí)到模型的參數(shù)W，一般采用損失函數(shù)Loss 和隨機梯度下降的算法來更新每一輪的W。Loss 函數(shù)為均方誤差，計算公式如下：

無論是Loss 函數(shù)還是梯度計算，式（1）、式（2）都只涉及乘法和加法運算，因此可以使用多方安全計算來直接運用到線性回歸問題上，同態(tài)加密與秘密分享的方法都是可行的，然而對于邏輯回歸等模型的損失函數(shù)的計算，往往需要用多項式近似的方法來模擬損失函數(shù)［20-22］。文獻［11］利用二階泰勒展開的方式近似模擬損失函數(shù)并給出了精度損失的比較。對于損失函數(shù)：l1(y，φ)=loga(1+exp (-yφ))，其中，φ為訓(xùn)練模型的預(yù)測值，其二階泰勒展開式為：

采用二階的泰勒展開作為邏輯回歸的損失函數(shù)擬合進行模型的訓(xùn)練。

2 基于OT 協(xié)議的矩陣運算設(shè)計

設(shè)計一種基于OT 協(xié)議的多方安全計算方案，并將其應(yīng)用到矩陣乘法運算。

2.1 基于OT 協(xié)議的整數(shù)乘法運算

將OT 協(xié)議在比特位上的與運算擴展到簡單的整數(shù)乘法運算，假設(shè)需要計算a·b，其中，A 持有a，B持有b，則：

2）B 作為OT 協(xié)議中的秘密提供方，隨機化整數(shù)c，將c與c+b作為OT 協(xié)議的輸入。

3）A 作為OT 協(xié)議中的選擇方，輸入為ai，輸出結(jié)果為aib+c，即：當(dāng)ai=0時，輸出為c；當(dāng)ai=0時，輸出為c+b。

2.2 基于OT extension 協(xié)議的安全矩陣運算

構(gòu)造基于OT extension 協(xié)議的矩陣運算的多方安全計算方案。

對于矩陣A和B的運算，P1擁有矩陣A，P2擁有矩陣B，針對矩陣運算分別進行如下構(gòu)造：

1）A+B

對于需要相加的所有原矩陣或秘密分享矩陣，P1和P2直接本地相加即可。

2）A×B（矩陣A與B的按位運算）

P1和P2對于矩陣中的每對元素乘法分別執(zhí)行基于OT 協(xié)議的乘法運算，并對所有的協(xié)議通過OT extension 進行優(yōu)化。

3）a＊B（矩陣的數(shù)乘）

A×B的特殊形式，但是由于每次乘法的都是同一個數(shù)，相當(dāng)于每次協(xié)議的選擇都一致，因此通過算法1來優(yōu)化OT extension的輸入。P1通過調(diào)用Batch（C）與Batch（C+B）得到OTInput，OTInput作為OT extension 的輸入，P2轉(zhuǎn)化整數(shù)，將cchoice=∪ {ai}作為OT extension 的輸入。P2將收到的OTOutput或OTOutput反向解碼回矩陣，執(zhí)行基于OT 協(xié)議的整數(shù)乘法運算。

算法1OT 協(xié)議批處理算法Batch

在上式中，m為矩陣數(shù)的比特長度，Eij定義如下：

P1構(gòu)造長為M=n×l×m的選擇向量cchoice=∪ {aijk}作為OT extension 協(xié)議的輸入。

②P2根據(jù)矩陣整數(shù)的比特長度m與矩陣An×l的大小生成相應(yīng)的隨機矩陣組Cr，1 ≤r≤m×n×l。

③P2將ssecret={(Cr，Cr+B)}作為OT extension 協(xié)議的輸入。由于對于每個矩陣內(nèi)元素的協(xié)議選擇都是一致的，因此可以通過運行算法1，將矩陣中的元素進行合并得到OTInput，OTInput輸入到OT extension 框架中，以此減少需要進行的協(xié)議數(shù)量，提升OT extension 的運行效率。

（2）交互階段

①雙方根據(jù)輸入運行OT extension 協(xié)議，得到各自的輸出。

②P1作為協(xié)議的輸入方，得到批處理的矩陣輸出OTOutput ＜Cr＞，OTOutput ＜Cr+B＞反向解碼回矩陣得到RReceived：

由于聯(lián)邦學(xué)習(xí)中涉及大量矩陣運算，本文提出的基于OT 協(xié)議的矩陣算法不僅能夠大幅減少OT 協(xié)議執(zhí)行的數(shù)目，而且通過OT extension 將所要處理的OT 協(xié)議數(shù)目進一步減少，從而提高了數(shù)據(jù)的運行效率。

3 基于OT 矩陣乘法的FTL 方案設(shè)計

如圖2 所示，模型包括兩個參與方A 與B，共同進行機器學(xué)習(xí)的模型訓(xùn)練，每個參與方的樣本數(shù)量為n。主要由以下3 個部分組成：

圖2 基于OT 協(xié)議聯(lián)邦遷移學(xué)習(xí)框架Fig.2 Framework of federated transfer learning based on OT protocol

1）參與方A 擁有一定數(shù)量n的樣本，每個樣本只有對應(yīng)的特征值Xai=(xai1，xai2，…，xail) 和標(biāo)簽Yai，(Xai，Yai)∈DA。參與方B 擁有一定數(shù)量m的樣本，每個樣本只有對應(yīng)的特征值Xbi=(xbi1，xbi2，…，xbil)，Xbi∈DB。DA與DB有少量的重合樣本DC。假設(shè)A、B事先知道重合的樣本ID，否則可以用RSA 加密機制對樣本ID 進行盲化，然后進行樣本對齊［6］。

2）A 和B 各自擁有的機器學(xué)習(xí)模型訓(xùn)練服務(wù)器S1、S2，這兩個服務(wù)器各自受控于A 與B，不能進行共謀攻擊。該服務(wù)器只負責(zé)機器學(xué)習(xí)模型相關(guān)的計算，如特征值計算、梯度計算、損失函數(shù)計算等。

3）OT 協(xié)議矩陣運算框架負責(zé)對計算出來的特征值進行信息的批量處理，并進行矩陣的安全計算。

假設(shè)參與方之間的通信存在安全通信信道，且雙方的消息具有可驗證性，圖2 中的步驟標(biāo)識對應(yīng)流程如下：

1）A 與B 作為機器學(xué)習(xí)模型的參與方，在每一輪迭代中初始化各自模型的參數(shù)WA、WB。

2）A 與B 將本地的樣本數(shù)據(jù)和初始化參數(shù)傳輸?shù)綑C器模型訓(xùn)練服務(wù)器S1 與S2。

3）S1 與S2 通過RSA 加密機制盲化樣本ID，進行樣本對齊（可選）。

4）A 與B 用各自計算模型的特征值uA、uB，輸入OT 協(xié)議框架準(zhǔn)備進行安全矩陣運算。

10）返回步驟4），直到模型收斂。

定義1（安全性假設(shè)）當(dāng)A、B 參與方都是半誠實模型時，任何惡意敵手可能且僅可能控制其中一方，則對M 有(OA，OB)=M(IA，IB)，其中，IB、OB是B的輸入和輸出結(jié)果，IA、OA是A 的輸入和輸出結(jié)果。假設(shè)A 是被惡意方控制的，如果對于任意數(shù)量的（，)，都有對應(yīng) 的(OA，O′B)=M(IA，)，即惡意敵手無法分辨輸出結(jié)果與隨機結(jié)果，則該方案是安全的。

3.1 系統(tǒng)初始化階段

假設(shè)OT extension 的安全參數(shù)為κ。

Setup(WA，WB，κ)→(∪r，∪s，∪K)

1）服務(wù)器S1、S2 根據(jù)輸入的模型參數(shù)確定矩陣運算的維數(shù)，確定OT extension 需要進行的協(xié)議數(shù)量：m←（WA，WB)。

2）服務(wù)器S2 作為OT extension 協(xié)議的接收方，對于每個待計算矩陣，產(chǎn)生m維向量r=(r1，r2，…，rm)，rj∈{0，1}，1 ≤j≤m，作為自己的選擇，初始化向量r的集合∪r。

3）選擇Base OT 的數(shù)目κ作為安全參數(shù)。

4）發(fā)送方產(chǎn)生κ個隨機數(shù)作為Base OT 的選擇消息，s=(s1，s2，…，sκ)，si∈{0，1}，1 ≤i≤κ，初始化向量s的集合∪s。

5）接收方產(chǎn)生κ對隨機數(shù)作為Base OT 的發(fā)送消息：，初始化向量K的集合∪K。

3.2 模型訓(xùn)練階段-計算損失函數(shù)

Train1(WA，WB，DA，DB，DC)→L：

3.3 模型訓(xùn)練階段-計算梯度

1）假設(shè)損失函數(shù)L 值并沒有收斂，則需要計算對應(yīng)的梯度值，根據(jù)式（4）得到：

計算得到梯度相關(guān)的分享值：3.2 節(jié)步驟2，重新計算損失函數(shù)。

4 安全性性能分析

4.1 安全性

定理1在半誠實模型假設(shè)下，兩方的OT 矩陣運算方案是安全的。

證明在半誠實模型的條件下，參與矩陣運算的雙方P1、P2是遵守協(xié)議規(guī)則的，但嘗試去獲取更多相關(guān)的信息。假設(shè)存在某敵手Adversary，每次最多只能控制P1、P2其中的一個。不失一般性地，假設(shè)對于矩陣的乘法B·A：當(dāng)Adversary 控制A持有者作為OT 協(xié)議的接收方時，發(fā)送方每次執(zhí)行OT 協(xié)議都會根據(jù)矩陣整數(shù)的比特長度m與矩陣An×l的大小生成相應(yīng)的隨機矩陣組Cr，1 ≤r≤m×n×l，以Cr+B與Cr作為輸入，敵手或另一方服務(wù)器看來都是隨機值的矩陣對，不會暴露任何有效信息；當(dāng)Adversary 控制B持有者作為OT 協(xié)議的發(fā)送方時，選擇方的選擇隱私性依賴于OT 協(xié)議的安全性，在半誠實模型下是安全的，不會暴露自己的任何比特位信息。矩陣的按位乘法和數(shù)乘都將轉(zhuǎn)化為基于OT 的乘法運算。同理，發(fā)送方每次執(zhí)行OT 協(xié)議都會對應(yīng)地產(chǎn)生隨機數(shù)c，以c和c+b作為輸入，在攻擊者看來都是無法分辨的隨機數(shù)。因此，對于任意一個矩陣運算，對于誠實方的任意Input，另一方接收到的Output 都是與隨機值不可區(qū)分的，因此基于OT 協(xié)議的兩方矩陣運算是安全的。

4.2 隱私性

定理2在半誠實模型安全性假設(shè)下，基于OT協(xié)議的聯(lián)邦遷移學(xué)習(xí)方案不會暴露任何參與方的隱私信息。

證明在半誠實模型假設(shè)下，由于關(guān)于損失函數(shù)與梯度的計算都是基于OT 協(xié)議的矩陣運算構(gòu)造方案，在矩陣運算的過程中不會暴露任何參與運算的數(shù)據(jù)的信息，因此可以推出：首先，對于惡意敵手Adversary，其在所有矩陣相關(guān)的運算中無法獲得原始矩陣的任何信息；其次，對于最終傳輸?shù)慕Y(jié)果都是經(jīng)過運算后的中間結(jié)果，并不會對A 與B 的數(shù)據(jù)特征信息uA與uB造成泄露；最后，這些中間結(jié)果都是由不同矩陣乘法或加法得到的累加值，在外部看來只是1 個隨機的值，而不是某2 個矩陣直接相加或相乘得到的結(jié)果，即使在A 或B 重建恢復(fù)出這些中間結(jié)果之后，也不能反推出相應(yīng)的模型參數(shù)值或數(shù)據(jù)特征信息。

在半誠實模型下的每一輪迭代中，A 或B 只能學(xué)習(xí)得到自己對應(yīng)的梯度值或損失函數(shù)值，以此更新自己的參數(shù)，即對于任意數(shù)量的誠實方的輸入，Adversary 無法得到與誠實方的輸入相關(guān)的任何信息。

4.3 可擴展性

FATE 聯(lián)邦遷移學(xué)習(xí)方案在效率優(yōu)化和應(yīng)用上都有很好的擴展性。

首先，在矩陣運算效率的提升方面，構(gòu)造了線上的基于OT 協(xié)議矩陣乘法運算，可以對應(yīng)地在線下構(gòu)造大量的乘法三元組來進行優(yōu)化［23-24］，構(gòu)造乘法三元組的過程可以作為預(yù)處理輸入，從而增加線上的效率，具有很高的實際應(yīng)用意義。

其次，對于應(yīng)用上的擴展，構(gòu)造了邏輯回歸機器學(xué)習(xí)模型的訓(xùn)練方案，而簡單神經(jīng)網(wǎng)絡(luò)的每一層的激活函數(shù)與邏輯回歸類似，在二分類的問題上，可以拓展應(yīng)用到神經(jīng)網(wǎng)絡(luò)的擬合中，從而實現(xiàn)更高精確度的機器模型訓(xùn)練方案［13，25］。

4.4 效率分析

在局域網(wǎng)環(huán)境下基于FATE 聯(lián)邦遷移學(xué)習(xí)框架代碼進行了實現(xiàn)，運行機器是Intel 5220R 2.2 GHz 的CPU 處理器，為24 核48 線程以及128 GB RECC DDR4 內(nèi)存，環(huán)境為64 位的Ubuntu20.04。實驗使用C++語言編寫IKNP OT extension 庫并通過批量處理優(yōu)化效率，通過extern C 關(guān)鍵字由C 語言編譯成動態(tài)庫libOTE.so 供機器模型訓(xùn)練代碼使用。同時，邏輯回歸模型訓(xùn)練采用Python 語言以及numpy 庫進行編寫。

表1 本文方案與FATE 聯(lián)邦遷移學(xué)習(xí)方案性能對比 Table 1 Performance comparison between proposed scheme and FATE federated transfer learning scheme

圖3 所示為本文方案在不同特征維度下的收斂時間變化與同態(tài)加密方案的聯(lián)邦遷移學(xué)習(xí)方案的比較，實驗?zāi)M方案的樣本數(shù)量為500個，樣本重合數(shù)量為50個。可以看出：在特征維度增加的條件下，本文方案的時間開銷呈線性穩(wěn)定增長，依然擁有較好的性能穩(wěn)定性，且平均效率比基于同態(tài)加密的FATE 聯(lián)邦遷移學(xué)習(xí)方案高25%左右?？梢姳疚姆桨冈谳^為復(fù)雜的樣本類型中仍然具備較好的性能，具有一定的實際應(yīng)用意義。

圖3 不同特征維度下的聯(lián)邦遷移學(xué)習(xí)收斂時間Fig.3 Convergence time of federated transfer learning under different feature dimensions

5 結(jié)束語

本文提出一種基于茫然傳輸協(xié)議的安全矩陣計算方案。通過實現(xiàn)矩陣的加法、乘法與數(shù)乘的安全運算，完成邏輯回歸模型的損失函數(shù)與梯度更新的計算，并將其嵌入到FATE 聯(lián)邦遷移學(xué)習(xí)的框架中。同時，通過OT extension 技術(shù)和通信批處理計算，減少矩陣運算所需的OT 協(xié)議的通信開銷。實驗結(jié)果表明，與同態(tài)加密的方案相比，本文方案能夠有效提高FATE 聯(lián)邦遷移學(xué)習(xí)框架中模型的收斂效率。下一步將研究拓展本文方案在多方機器學(xué)習(xí)模型上的訓(xùn)練，以及通過乘法三元組結(jié)構(gòu)來進行線下的預(yù)處理，從而提高線上的效率。