夏家駿 魯穎 張子揚 張鈺婷 張佳辰

(光之樹(北京)科技有限公司，北京 100085)

0 引言

人工智能(Artificial Intelligence，AI)技術(shù)已經(jīng)逐漸走進人們的生活，并應(yīng)用于各個領(lǐng)域，它不僅給許多行業(yè)帶來了巨大的經(jīng)濟效益，也為人們的生活帶來了許多改變和便利。

一方面數(shù)據(jù)是AI的基石，數(shù)據(jù)能夠為AI的發(fā)展提供豐富的數(shù)據(jù)積累和訓(xùn)練資源，隨著大數(shù)據(jù)技術(shù)的突飛猛進，軟硬件技術(shù)水平的不斷提高，為人工智能取得重大突破提供了更多可能；另一方面，全球?qū)τ跀?shù)據(jù)隱私方面的監(jiān)管呈現(xiàn)全面化、密集化、嚴格化的趨勢：我國自2018年以來，就有《科學(xué)數(shù)據(jù)管理辦法》《國家健康醫(yī)療大數(shù)據(jù)標準、安全和服務(wù)管理辦法(試行)》《中華人民共和國電子商務(wù)法》《數(shù)據(jù)安全管理辦法(征求意見稿)》《個人金融信息(數(shù)據(jù))保護試行辦法》《關(guān)于規(guī)范銀行與金融科技公司合作類業(yè)務(wù)及互聯(lián)網(wǎng)保險業(yè)務(wù)的通知》等諸多國家法律、行政法規(guī)、部門規(guī)章等以保證數(shù)據(jù)隱私；與此同時，歐盟委員會開始強制實施《通用數(shù)據(jù)保護條例》(General Data Protection Regulation，GDPR)，規(guī)定企業(yè)在對用戶的數(shù)據(jù)收集、存儲、保護和使用時的一系列行為規(guī)范[1]。

聯(lián)邦學(xué)習(xí)(Federated Learning，F(xiàn)L)由谷歌在2016年提出[2]，并從此受到持續(xù)關(guān)注。在國內(nèi)，“聯(lián)邦學(xué)習(xí)”這一概念結(jié)合數(shù)據(jù)分布的具體場景，由微眾銀行率先將其分為橫向聯(lián)邦學(xué)習(xí)(Horizontal Federated Learning，HFL)、縱向聯(lián)邦學(xué)習(xí)(Vertical Federated Learning，VFL)與聯(lián)邦遷移學(xué)習(xí)(Federated Transfer Learning，F(xiàn)TL)[3]。聯(lián)邦學(xué)習(xí)能夠讓多個參與方在滿足用戶隱私保護、數(shù)據(jù)安全和政府法規(guī)的要求下，進行數(shù)據(jù)使用和機器學(xué)習(xí)建模。

本文介紹了在不同場景下適用的聯(lián)邦學(xué)習(xí)方案，并以兩方縱向聯(lián)邦建立邏輯回歸模型為例，介紹在隱私保護場景下的計算方案；然后，結(jié)合現(xiàn)有應(yīng)用場景與平臺框架，實現(xiàn)隱私保護場景下的兩方聯(lián)邦建模；最后，總結(jié)了各種方案的優(yōu)缺點與適用場景。

1 聯(lián)邦學(xué)習(xí)

聯(lián)邦學(xué)習(xí)，通常用來描述兩個或兩個以上參與方共同參與，在保證各數(shù)據(jù)方的原始數(shù)據(jù)不出庫的前提下，協(xié)作構(gòu)建并使用機器學(xué)習(xí)模型的人工智能技術(shù)。聯(lián)邦學(xué)習(xí)實際上是一個多學(xué)科融合的解決方案，包括但不限于機器學(xué)習(xí)、密碼學(xué)、信息論、統(tǒng)計學(xué)等[4]，其底層算子包括各種機器學(xué)習(xí)算法、同態(tài)加密、差分隱私、多方安全計算的各種協(xié)議(秘密共享、混淆電路、不經(jīng)意傳輸、隱私保護集合求交)等。

根據(jù)用于機器學(xué)習(xí)數(shù)據(jù)源在不同數(shù)據(jù)方之間的特征空間和樣本空間的分布情況，聯(lián)邦學(xué)習(xí)可以分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)，以下將對三者所對應(yīng)的不同場景進行介紹(見圖1)。

圖1 聯(lián)邦學(xué)習(xí)的分類

1.1 橫向聯(lián)邦學(xué)習(xí)

橫向聯(lián)邦學(xué)習(xí)對應(yīng)的場景如下：在不同數(shù)據(jù)方之間，數(shù)據(jù)的特征空間比較相似，而樣本空間很少重疊，即各數(shù)據(jù)方可以在相同的特征空間上用各方的所有樣本來訓(xùn)練模型。一個經(jīng)典的應(yīng)用場景是：谷歌在其安卓手機自帶的Gboard鍵盤上，使用橫向聯(lián)邦學(xué)習(xí)方法訓(xùn)練了機器學(xué)習(xí)模型，用以預(yù)測(聯(lián)想)用戶的下一個輸入詞[5]。

橫向聯(lián)邦學(xué)習(xí)通常存在一個中心服務(wù)器，在每一輪(或幾輪)的學(xué)習(xí)中，中心服務(wù)器將模型下發(fā)給各數(shù)據(jù)方，各數(shù)據(jù)方用本地數(shù)據(jù)訓(xùn)練出模型參數(shù)的更新梯度，服務(wù)器使用安全聚合(Secure Aggregation)方法將各方梯度收集到服務(wù)器端，計算出平均梯度，用以更新服務(wù)器端的模型，在下一輪下發(fā)給各數(shù)據(jù)方，直至收斂[6]。FedSGD是谷歌最初提出的基于安全聚合方法的聯(lián)邦平均隨機梯度下降算法[2]，此后為了減少通信開銷，又提出了FedAvg算法，通過增加本地學(xué)習(xí)的輪數(shù)，減少了梯度聚合的交互次數(shù)，并且加速了模型收斂[7]。此外，對于大量客戶端同時訓(xùn)練的情形，同時引入了秘密共享機制，使某些客戶端即使掉線，整個訓(xùn)練過程依然能夠繼續(xù)[6]。

在某些情形下，中央服務(wù)器仍舊能夠通過梯度信息反推訓(xùn)練集[8]。因此，一個比較直觀的解決方案是在訓(xùn)練聚合過程中增加差分隱私[9]。而這將導(dǎo)致模型精度的損失，但在更大的程度上確保了數(shù)據(jù)安全。

1.2 縱向聯(lián)邦學(xué)習(xí)

縱向聯(lián)邦學(xué)習(xí)對應(yīng)的是如下場景：在不同數(shù)據(jù)方之間，數(shù)據(jù)的樣本空間有較大重疊，而特征空間不同，即各數(shù)據(jù)方可以使用相同樣本的所有特征來訓(xùn)練模型。比如，基于用戶畫像建模時使用的特征，就可以不只局限于單來源的數(shù)據(jù)集，而是由相同用戶的不同維度特征(如電商、通信、銀行等數(shù)據(jù))進行聯(lián)合訓(xùn)練。在此情形下，各數(shù)據(jù)方分別擁有部分(與自身特征空間相關(guān)的)模型，因而模型的預(yù)測服務(wù)需要各方同時在線且授權(quán)才能完成。

與橫向聯(lián)邦學(xué)習(xí)架構(gòu)不同的是，縱向聯(lián)邦學(xué)習(xí)的過程可以在中心服務(wù)器的協(xié)調(diào)下完成，也可以在去中心化的情況下完成，因此中心服務(wù)器是非必須的。例如，在兩方聯(lián)邦學(xué)習(xí)的場景下，不需要存在一個可信第三方來協(xié)調(diào)雙方的訓(xùn)練任務(wù)。

1.3 聯(lián)邦遷移學(xué)習(xí)

聯(lián)邦遷移學(xué)習(xí)對應(yīng)的是如下場景：在不同的數(shù)據(jù)方之間，若數(shù)據(jù)的樣本空間與特征空間均只有很少部分的重疊，則可以使用遷移學(xué)習(xí)的機制，即使用已有模型遷移到另一個樣本空間進行訓(xùn)練。

遷移學(xué)習(xí)是常見的機器學(xué)習(xí)建模策略，在將現(xiàn)有模型應(yīng)用到新的場景時，新場景的特征空間或者樣本空間可能會發(fā)生變化，直接運用原來的模型將不能達到好的效果，因此需要通過原模型來輔助新的模型訓(xùn)練。聯(lián)邦遷移學(xué)習(xí)，即在保護各方數(shù)據(jù)隱私的情況下，利用遷移學(xué)習(xí)的思想將知識遷移到新的環(huán)境中，從而在降低訓(xùn)練成本和標注成本的同時保證了隱私的安全性。與橫向/縱向聯(lián)邦學(xué)習(xí)不同，聯(lián)邦遷移學(xué)習(xí)在參與各方的數(shù)據(jù)樣本及特征均存在較小交集的情況下，可以利用其獨特的訓(xùn)練模式，充分學(xué)習(xí)各方數(shù)據(jù)信息。例如，在金融場景中，可以利用大型金融企業(yè)的模型進行遷移學(xué)習(xí)，來提高小微企業(yè)的欺詐檢測模型的效果。

聯(lián)邦遷移學(xué)習(xí)通常將源領(lǐng)域樣本的特征和目標領(lǐng)域的特征經(jīng)過隱私轉(zhuǎn)化后，通過加密算法和多方安全計算計算源領(lǐng)域樣本與目標領(lǐng)域樣本的關(guān)聯(lián)程度，再以關(guān)聯(lián)程度為權(quán)重將源領(lǐng)域樣本的標簽信息遷移到目標領(lǐng)域的樣本。在安全性方面，聯(lián)邦遷移學(xué)習(xí)采用同態(tài)加密及ABY等算法保證隱私安全，微眾銀行[10]提出基于加法同態(tài)加密的模型訓(xùn)練和預(yù)測方法：各方在本地計算的中間數(shù)據(jù)，加密后發(fā)送給對方；接收方利用加密值計算對方的參數(shù)梯度，并加上隨機數(shù)以掩蓋梯度后發(fā)送給對方；各方解密后發(fā)送給對方以更新參數(shù)。此后，微眾銀行[11]提出用SPDZ或ABY代替加法同態(tài)加密進行訓(xùn)練，在效率和安全性方面可以得到提升。

2 縱向聯(lián)邦學(xué)習(xí)的實現(xiàn)方式

本節(jié)將以縱向兩方邏輯回歸模型為例，介紹在縱向數(shù)據(jù)分布中，隱私保護算法的實現(xiàn)方式。首先介紹邏輯回歸模型的子模型拆分方式，然后對基于同態(tài)加密以及基于秘密共享的兩種隱私保護邏輯回歸模型訓(xùn)練方法進行研究，最后比較兩種方法的優(yōu)缺點，并介紹其適用場景。

2.1 縱向邏輯回歸子模型

(1)

因此，對A、B雙方來說，其本地子模型參數(shù)的梯度即為：

(2)

(3)

在縱向聯(lián)邦學(xué)習(xí)的計算中，只要能夠安全計算出公式(1)、(2)、(3)，就能夠完成模型的訓(xùn)練。

2.2 基于同態(tài)加密的邏輯回歸模型

邏輯回歸模型訓(xùn)練過程只需要計算出公式(1)、(2)、(3)，更進一步，如果計算損失函數(shù)非必要的話，只需要計算公式(2)、(3)即可計算得出梯度，并能隨之應(yīng)用各種基于梯度(一階導(dǎo)數(shù))的優(yōu)化方法。

2.2.1 同態(tài)加密

同態(tài)加密[12]是一類特殊的加密方法，明文通過同態(tài)加密方法得到密文后，可實現(xiàn)密文間的計算(密文計算后解密的結(jié)果等價于明文計算的結(jié)果)。如果對密文進行加法(或乘法)運算后解密，與明文進行加法(或乘法)運算，結(jié)果相等，則稱這種加密算法為加法(乘法)同態(tài)。如果同時滿足加法和乘法同態(tài)，則稱為全同態(tài)加密。然而，由于全同態(tài)加密的計算量太大，過于復(fù)雜，在實際應(yīng)用中，加法同態(tài)加密通常便可滿足需求，如Paillier加密。本文所用的同態(tài)加密即為Paillier加密，其滿足密文的加法與數(shù)乘、明文一致。

2.2.2 基于Paillier加密的隱私保護兩方縱向邏輯回歸訓(xùn)練過程

圖2給出了一種基于同態(tài)加密的隱私保護計算方法，其具體流程如下。

圖2 一種基于同態(tài)加密的隱私保護兩方縱向邏輯回歸訓(xùn)練過程

(1)雙方互相生成同態(tài)加密的公私鑰對(pkA,skA)及(pkB,skB)，并交換公鑰pkA,pkB。

通過上述流程，可以在保護隱私的情形下完成雙方的梯度計算、模型更新與損失函數(shù)計算。

2.3 基于秘密共享的邏輯回歸模型

2.3.1 加法秘密共享

密碼學(xué)(Cryptography)是建立在嚴格的數(shù)學(xué)定義、計算復(fù)雜度假設(shè)和證明基礎(chǔ)之上的，其中多方安全計算(Multi-Party Computation，MPC)方向是專門研究多個參與方如何正確、安全地進行聯(lián)合計算的子領(lǐng)域，而秘密共享則是多方安全計算中的重要領(lǐng)域(還有混淆電路等)。在加法秘密共享中，數(shù)據(jù)擁有者將數(shù)據(jù)x共享給兩方A、B，兩個秘密份額分別記作〈x〉A(chǔ)，〈x〉B，且x=〈x〉A(chǔ)+〈x〉B。

不妨令A(yù)方擁有x0，B方擁有x1，流程如下：

A方生成隨機數(shù)rA，令〈x0〉B=rA，則〈x0〉A(chǔ)=x0-rA，將〈x0〉B發(fā)送給B。

B方生成隨機數(shù)rB，令〈x1〉A(chǔ)=rB，則〈x1〉B=x1-rB，將〈x1〉A(chǔ)發(fā)送給A。

此時，A方擁有〈x0〉A(chǔ)，〈x1〉A(chǔ)，B方擁有〈x0〉B，〈x1〉B。

若兩方需要計算f=x0+x1，則A方本地計算〈f〉A(chǔ)=〈x0〉A(chǔ)+〈x1〉A(chǔ)，B方本地計算〈f〉B=〈x0〉B+〈x1〉B。最終，將〈f〉A(chǔ)，〈f〉B匯總至結(jié)果需求方，所求結(jié)果f=〈f〉A(chǔ)+〈f〉B。

若兩方需要計算f=x0×x1，則需要使用Beaver’s Triplet[13]，假定雙方擁有的Beaver’s Triplet(雙方離線通過不經(jīng)意傳輸生成或可信第三方生成并分發(fā))分別為(〈a〉A(chǔ),〈b〉A(chǔ),〈c〉A(chǔ))和(〈a〉B,〈b〉B,〈c〉B)，其中〈〈a〉A(chǔ)+〈a〉B〉×〈〈b〉A(chǔ)+〈b〉B〉=〈〈c〉A(chǔ)+〈c〉B〉。在計算乘法時，A本地計算〈d〉A(chǔ)=〈x0〉A(chǔ)-〈a〉A(chǔ)，〈e〉A(chǔ)=〈x1〉A(chǔ)-〈b〉A(chǔ)，B本地計算〈d〉B=〈x0〉B-〈a〉B，〈e〉B=〈x1〉B-〈b〉B，雙方交換〈d〉〈e〉，綜合計算得到〈d〉=〈d〉A(chǔ)+〈d〉B，〈e〉=〈e〉A(chǔ)+〈e〉B，之后，A本地計算〈f〉A(chǔ)=〈d〉〈b〉A(chǔ)+〈a〉A(chǔ)〈e〉+〈c〉A(chǔ)，B本地計算〈f〉B=〈d〉〈b〉B+〈a〉B〈e〉+〈c〉B+〈d〉〈e〉。最終，將〈f〉A(chǔ)，〈f〉B匯總至結(jié)果需求方，所求結(jié)果f=〈f〉A(chǔ)+〈f〉B。

可以看到，在秘密共享的場景下，可以將明文的計算轉(zhuǎn)化成秘密份額的計算，完成整個隱私保護計算任務(wù)。

2.3.2 基于加法秘密共享的隱私保護兩方縱向邏輯回歸訓(xùn)練過程

圖3給出了一種基于加法秘密共享的隱私保護計算方法，其具體流程如下。

圖3 一種基于加法秘密共享的隱私保護兩方縱向邏輯回歸訓(xùn)練過程

(1)雙方協(xié)調(diào)隨機數(shù)生成方式，確定偽隨機數(shù)生成種子及雙方數(shù)據(jù)維度。

(2)無標簽方A計算uAi，并將其減去隨機數(shù)ruAi作為本地秘密〈uAi〉A(chǔ)，而隨機數(shù)ruAi即為B方的秘密份額〈uAi〉B；同時，將本地數(shù)據(jù)xAi減去隨機數(shù)rxAi作為本地秘密〈xAi〉A(chǔ)，隨機數(shù)rxAi為B方的秘密份額〈xAi〉B；相應(yīng)的，有標簽方B計算uBi，并將其減去隨機數(shù)ruBi作為本地秘密〈uBi〉B，而隨機數(shù)ruBi即為A方的秘密份額〈uBi〉A(chǔ)；同時，將本地數(shù)據(jù)xBi減去隨機數(shù)rxBi作為本地秘密〈xBi〉B，隨機數(shù)rxBi為A方的秘密份額〈xBi〉A(chǔ)，對標簽y也做相同操作，記作〈y〉A(chǔ)和〈y〉B。

(4)雙方基于梯度更新本地模型。

3 隱私保護場景下的兩方聯(lián)邦建模場景

圖4為一個完整的兩方縱向聯(lián)邦學(xué)習(xí)建模流程圖。

圖4 聯(lián)邦學(xué)習(xí)建模流程圖

如某保險公司希望能夠與某金融機構(gòu)聯(lián)合建立保險關(guān)注度模型，用以預(yù)測后續(xù)客戶購買保險的意愿和能力，考慮到用戶購買保險的能力也與其消費水平和收入水平相關(guān)，因此可以使用金融機構(gòu)的一些數(shù)據(jù)。

(1)消費信息：月線上線下消費金額、POS消費金額；消費筆數(shù)、消費金額區(qū)間、分布；日常購物消費金額、批發(fā)購物消費金額、娛樂消費金額、居住消費、是否奢侈品購物居多。

(2)投資理財信息：金融消費、理財投資偏好、貸款狀態(tài)；房產(chǎn)狀態(tài)、房產(chǎn)投資偏好等。

保險購買意向預(yù)測模型即可使用表1所述各類數(shù)據(jù)建立。

表1 建立保險購買意愿模型所用各方數(shù)據(jù)

“云間聯(lián)邦學(xué)習(xí)平臺”可用以進行多方的聯(lián)邦學(xué)習(xí)任務(wù)，整個聯(lián)邦學(xué)習(xí)系統(tǒng)框架如圖5所示。

圖5 云間聯(lián)邦學(xué)習(xí)系統(tǒng)架構(gòu)圖

在此場景中，可以選用兩種技術(shù)路線，兩者優(yōu)缺點如下。

(1)聯(lián)邦學(xué)習(xí)的時間可粗略分為計算時間與通信時間，一方面對于計算時間來說，秘密共享方案計算的加法即為密文的加法(加法同態(tài)一般是密文乘法)，乘法即為密文的乘法(加法同態(tài)的數(shù)乘一般是密文的模冪)，而且由于秘密共享方案的安全性是信息論安全性(Information-Theoretic Security)而非同態(tài)加密方案的計算安全性(Computational Security)，其使用大整數(shù)主要用來確保對于浮點數(shù)類型轉(zhuǎn)換后的精度問題。因此，在相同精度要求的情況下，秘密共享使用的有限域(通常如p=2127-1或p=263-1)遠小于同態(tài)加密(如2048 bit的Paillier加密，其N2～24096)，因而其計算量也比同態(tài)加密所需的計算量減少很多。所以，秘密共享方案在計算速度上遠快于同態(tài)加密運算；另一方面，對于通信耗時來說，秘密共享方案在計算乘法時，需要在各方之間交互大量數(shù)據(jù)(與參與訓(xùn)練的數(shù)據(jù)量相等)，因此其在計算過程中也會對帶寬造成很大壓力，相比同態(tài)加密方案花費更長時間；此外，若計算任務(wù)開始前未生成足夠的Beaver’s Triplet，在計算階段在線生成也將帶來更多的耗時。

(2)對于同態(tài)加密方案，由于其每個明文加法在密文運算中都變成了大整數(shù)乘法，而數(shù)乘則變成了大整數(shù)在有限域的冪運算，通常來說，其密文計算時間是明文直接運算的200倍(相同硬件條件下)以上；然而，其各方交互的是密文中間結(jié)果，這意味著隨著數(shù)據(jù)集特征數(shù)的增加，交互傳輸?shù)臄?shù)據(jù)量基本不變；在非局域網(wǎng)/專線的環(huán)境下，通信對網(wǎng)絡(luò)帶寬的壓力更小。此外，云間聯(lián)邦學(xué)習(xí)平臺對于Paillier加密算法支持GPU與FPGA加速，計算效率相比CPU提升5倍以上；并有相應(yīng)的壓縮算法減少Paillier密文的數(shù)據(jù)傳輸量，傳輸數(shù)據(jù)量壓縮至約1/5，提高了傳輸效率。

(3)對于秘密共享方案，通常Beaver’s Triplet生成依賴于不經(jīng)意傳輸協(xié)議或同態(tài)加密，因此其所需計算量并不低于同態(tài)加密且存在大量的數(shù)據(jù)傳輸；然而，這一過程獨立于計算任務(wù)，因此參照SPDZ框架的做法，可以在計算任務(wù)執(zhí)行前，各方預(yù)先生成足夠的Beaver’s Triplet用于后續(xù)計算。若存在可信第三方協(xié)助(如央行或政府背書的其他部門)，則也能夠大大縮短這一時間并減少數(shù)據(jù)的吞吐量。此外，傳統(tǒng)秘密共享方案需要秘密擁有者將自身秘密(數(shù)據(jù))計算拆分成多個子秘密并發(fā)送給其他參與方，這一過程會帶來很大的帶寬壓力；在光之樹的云間聯(lián)邦學(xué)習(xí)平臺中，這一過程可以按數(shù)據(jù)擁有者的偏好選擇拆分秘密，或D-H密鑰交換協(xié)議配合偽隨機數(shù)生成器使各方生成相同的隨機數(shù)，作為非秘密擁有者所獲得的子秘密，而秘密擁有者只需要減去這些隨機數(shù)即可得到其自身子秘密值。方式(2)可將原先方式(1)的大量數(shù)據(jù)通信過程減少到一次簡單的密鑰交換過程。

若存在可信第三方支持的情況下，或網(wǎng)絡(luò)帶寬較優(yōu)時，秘密共享方案不失為一個更快的選擇；而在網(wǎng)絡(luò)環(huán)境較差時(如帶寬受限的公網(wǎng)環(huán)境)，同態(tài)加密方案則能通過縮短通信時間來彌補其計算量較大帶來的不足。

4 結(jié)束語

本文介紹了聯(lián)邦學(xué)習(xí)的各種場景，并以縱向場景中的邏輯回歸模型為例，介紹了基于多方安全計算與同態(tài)加密兩種技術(shù)路線的實現(xiàn)方案。總體來說，秘密共享方案更直觀，運算更快，但其離線過程較復(fù)雜，會需要更多的離線時間，且在線訓(xùn)練時對網(wǎng)絡(luò)傳輸?shù)膸捯筝^高；而同態(tài)加密方案的運算比較復(fù)雜，但其傳輸?shù)臄?shù)據(jù)量較少。所以，對于各種不同的場景，可以使用不同的方案，以達到效率的最優(yōu)。