亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        一種基于區(qū)塊鏈的聯(lián)邦學習貢獻評價方案

        2023-12-31 00:00:00徐浩曈劉立新王靜宇張曉琳王永平
        計算機應用研究 2023年8期

        摘 要:為了實現(xiàn)聯(lián)邦學習中公平的收益分配,需要有一個指標來量化每個數(shù)據(jù)提供者對聯(lián)合模型的貢獻。針對現(xiàn)有的貢獻評價方案存在的隱私泄露、不透明和依賴中心服務器等問題,提出一種基于區(qū)塊鏈的透明的聯(lián)邦學習貢獻評價方案。首先,提出基于改進的Paillier安全聚合算法,通過聯(lián)合解密避免了在模型聚合階段對用戶本地數(shù)據(jù)的推斷。其次,提出一種基于用戶累計提交的梯度來近似計算其貢獻的方法,解決了現(xiàn)有貢獻評估方案存在的隱私泄露問題。此外,將貢獻的評估融入到區(qū)塊鏈的共識過程中,使其評估結果具備了可審計性。最后,基于MNIST數(shù)據(jù)集進行的實驗表明,所提出的方法可以有效地評估貢獻。

        關鍵詞:區(qū)塊鏈; 聯(lián)邦學習; 公平; 貢獻評估; 透明; 隱私

        中圖分類號:TP301 文獻標志碼:A

        文章編號:1001-3695(2023)08-003-2258-08

        doi:10.19734/j.issn.1001-3695.2022.12.0821

        Blockchain-based contribution evaluation scheme for federated learning

        Xu Haotong Liu Lixin Wang Jingyu Zhang Xiaolin Wang Yongping

        (1.School of Information Engineering, Inner Mongolia University of Science amp; Technology, Baotou Inner Mongolia 014017, China; 2.School of Information, Renmin University of China, Beijing 100872, China)

        Abstract:In order to achieve a fair distribution of benefits in federated learning, an indicator that quantifies the contribution of each data provider to the global model is critical. Aiming at the problems of privacy leakage, opacity and dependence on central server in existing contribution evaluation schemes, this paper proposed a transparent federated learning contribution evaluation scheme based on blockchain. Firstly, this paper proposed an improved Paillier secure aggregation algorithm, which avoided the inference of user local data in the model aggregation stage by joint decryption. Secondly, this paper proposed a method to approximate the contribution based on the gradient of user cumulative submission, which solved the problem of privacy leakage in the existing contribution evaluation scheme. In addition, it integrated the evaluation of the contribution into the consensus process of the blockchain, making the evaluation results auditable. Finally, experiments based on MNIST dataset show that the proposed method can effectively evaluate the contribution.

        Key words:blockchain; federated learning; fairness; contribution evaluation; transparency; privacy

        0 引言

        聯(lián)邦學習支持用戶數(shù)據(jù)在不出本地的前提下協(xié)作訓練共享的全局模型,成為破除數(shù)據(jù)孤島化、整合碎片化、推動人工智能發(fā)展的新范式。聯(lián)邦學習使用了來自不同實體的數(shù)據(jù)集且實體之間在數(shù)據(jù)質量方面存在不平衡性,這導致用戶在聯(lián)邦學習中處于不公平的地位,甚至直接拒絕參與聯(lián)邦學習。而目前大部分研究主要集中在改善聯(lián)邦學習性能上,忽視了用戶加入聯(lián)邦學習的激勵機制。因此, 如何使用戶持續(xù)參與到聯(lián)邦學習中,在最大化聯(lián)邦學習可持續(xù)經(jīng)營的同時最小化用戶之間的不公平性,是保證聯(lián)邦學習被廣泛推廣與應用的關鍵[1]。為了激勵用戶的參與,根據(jù)他們對學習過程的貢獻公平地評估來自不同用戶的數(shù)據(jù)是至關重要的。

        沙普利值[2](Shapley value,SV)是合作博弈論[3]中的一個解決方案,用于分配一組參與者聯(lián)盟所產(chǎn)生的總收益,具有一系列理想的屬性。采用SV的重要原因是它確保了合作產(chǎn)生的所有收益都分布在參與者之間并且分配給參與者的價值符合他們在合作過程中的實際貢獻。最近一些研究在訓練機器學習模型時使用SV來評估數(shù)據(jù)集中不同數(shù)據(jù)點的貢獻。Ghorbani等人[4]提出了數(shù)據(jù)沙普利值這一概念,它的形式與SV相同,他們提出了兩種啟發(fā)式的方法來有效地計算每個數(shù)據(jù)點的SV。Song等人[5]基于SV的概念,正式定義了聯(lián)邦學習任務中不同數(shù)據(jù)提供者的貢獻指數(shù)(contribution index,CI),同時提出了兩種有效的方法來近似計算CI。Wang等人[6]提出了聯(lián)邦SV的概念,他們所提出的方法在保留SV一系列理想屬性的同時還能夠捕捉到參與者參與順序對數(shù)據(jù)價值的影響。上述關于聯(lián)邦學習中貢獻評估的研究通常假設一個半可信的中心服務器來訓練模型和評估用戶的模型貢獻。在實際場景中,各組織(例如銀行)之間是互不信任的,并且可能相互競爭。因此,假設這樣一個半可信的服務器通常具有較大的挑戰(zhàn)性。此外,貢獻評估的不透明可能會阻止數(shù)據(jù)所有者的合作,并阻礙聯(lián)邦學習在現(xiàn)實中的應用與推廣。

        近年來,區(qū)塊鏈技術以其獨有的去中心化、不易竄改和可追溯等特性為解決上述依賴中心服務器以及透明性的問題提供了思路:通過定制相應的區(qū)塊鏈共識機制將模型訓練和貢獻評估的中間結果上鏈,實現(xiàn)該過程的透明性、可審性。然而,這種解決方案引入了兩個新的挑戰(zhàn):a)訓練中間結果的公開將帶來用戶隱私泄露的風險,Zhu等人[7]的研究已經(jīng)證明利用聯(lián)邦學習的中間梯參數(shù)(例如梯度更新)可以獲得私人訓練數(shù)據(jù),為了解決上述的隱私問題,本文設計了一種基于改進的Paillier安全聚合算法保護用戶梯度,通過聯(lián)合解密的方式來安全計算聯(lián)邦學習的全局模型;b)基于SV的貢獻評價方案需要所有用戶子集(后文稱為聯(lián)盟)各自聚合他們的更新以生成聯(lián)盟模型來計算邊際貢獻。如果此時繼續(xù)使用上述的安全聚合算法,則當聯(lián)邦學習用戶數(shù)量為m時,系統(tǒng)需要為用戶生成2m-m-1套不同的安全聚合密鑰,密鑰管理成為用戶負擔,為此,本文提出一種基于用戶累計產(chǎn)生的梯度來恢復聯(lián)盟模型的方法。本文提出了一種基于區(qū)塊鏈的去中心化聯(lián)邦學習貢獻評價框架,該框架不僅保護訓練期間用戶的隱私,還使聯(lián)邦學習及其貢獻評估具備了透明性和可審計性;提出了一種基于累計梯度來近似計算SV的方法——SecureSV,本文方法只利用聯(lián)邦學習的中間結果,且不會帶來用戶隱私泄露的風險。

        1 相關工作

        1.1 聯(lián)邦學習中的激勵機制

        現(xiàn)有的聯(lián)邦學習相關研究有一個假設,即所有數(shù)據(jù)供給方都無條件地貢獻其資源[8,9],由于模型訓練產(chǎn)生的資源成本,這在現(xiàn)實世界中是不實際的[10]。如果沒有精心設計的經(jīng)濟補償,自利的數(shù)據(jù)供給方是不愿意參與模型訓練的[9,11,12]。因此,有必要設計一個有效的激勵機制來刺激數(shù)據(jù)供給方參與聯(lián)邦學習任務[13,14]。根據(jù)驅動方式的不同,現(xiàn)有的聯(lián)邦學習激勵機制可被分為信譽值驅動、貢獻驅動與資源分配驅動三大類[1],如表1所示。

        在基于信譽值驅動的相關方案中,Kang等人[15]通過將信譽評估機制與契約理論融合對參與聯(lián)邦學習的節(jié)點進行約束,其信譽指標用于衡量聯(lián)邦學習參與者的可靠性,引入多重主觀邏輯模型與區(qū)塊鏈進行參與者的遴選與信譽值的分布式管理,實現(xiàn)了個人理性與激勵相容。Lyu等人[16]引入了一個信譽機制來調節(jié)參與者在各輪交互中的獎勵,參與者接收到的模型質量與其信譽度成正比,最終每個參與者都能得到一個效用大小能反映其信譽程度的差異化全局模型。

        在基于貢獻驅動的相關方案中,Song等人[5]提出一種基于沙普利值的評價指標,利用模型迭代過程中產(chǎn)生的梯度近似重構模型,避免了對來自不同參與者的數(shù)據(jù)集組合進行額外的模型訓練。為了解決SV評價過程中的隱私泄露以及不透明的問題,Ma等人[17]提出了一種基于組的SV計算方法,通過組內安全聚合實現(xiàn)一定程度上的隱私保護,另外,區(qū)塊鏈的引入也為增強SV評價過程的透明性提供了強有力的支撐。陳喬松等人[18]提出一種雙區(qū)塊鏈激勵驅動的數(shù)據(jù)分享聯(lián)邦學習框架(FedSharing), 其基于修正 Shapley 值的側鏈共識算法并綜合考慮了聯(lián)邦學習參與方的歷史誠信度,使激勵結果更加公平實際。Yan等人[19]提出的FedCM將注意力機制融入到參與方貢獻的評估以及全局模型的計算中,綜合考慮了當前迭代輪次和上一輪中參與方的表現(xiàn),根據(jù)注意力值計算其貢獻率。

        在基于資源分配驅動的相關方案中,Khan等人[20]通過斯塔克伯格博弈模型對設備與FL邊緣服務器之間基于激勵的交互進行建模,以激勵設備參與聯(lián)邦學習的過程,在這個博弈中,F(xiàn)L參與者可以策略性地設置本地迭代次數(shù),以使他們的效用最大化。

        總體而言,已有工作雖能保證用戶獎勵合理分配[5,15~20],但未能有效權衡模型性能和計算成本[15,16],這在一定程度上降低了其方案的實用性;其次,激勵機制方案設計缺乏隱私安全保證[5,19],而文獻[15,16,18]雖能更好地保證用戶隱私安全,但其模型復雜度高,也給模型部署帶來了一定的局限性。此外,文獻[5,16,19,20]都假設半可信的服務器會誠實地評估每個參與者的貢獻,對于自利的參與者而言,這樣的假設是難以接受的。文獻[17]通過將用戶分組的方法以較低的計算成本及模型復雜度,同時實現(xiàn)了貢獻評估的隱私保護與透明性,然而,他們假設了每個用戶的邊際貢獻與其所在組的邊際貢獻近似,這顯然在一定程度上模糊了真實的個人邊際貢獻。另外,他們在實驗中指出,組數(shù)越大,隱私性就越差;組數(shù)越小,算法效用就越低(SV越偏離真實值),即隱私保護的強度與貢獻評估結果的準確度受分組大小的影響,難以兼顧兩者。因此,如何設計一種公平有效、透明可審計且保障參與者隱私的激勵機制仍需要進一步深入研究。

        1.2 聯(lián)邦學習中的隱私保護

        理想情況下,聯(lián)邦學習在模型訓練和推理的階段,各參與方只能獲得其計算的必要過程數(shù)據(jù)和結果數(shù)據(jù)(如模型參數(shù)、梯度),也就是基于交互的有限數(shù)據(jù)無法推導出原始隱私數(shù)據(jù)。然而事實上攻擊者可以利用這些數(shù)據(jù)對用戶訓練集中樣本的標簽進行推斷以及重構訓練所用數(shù)據(jù)[21]。目前有以下三種主流隱私保護技術以應對上述隱私攻擊:

        a)同態(tài)密碼系統(tǒng)(homomorphic encryption,HE)。文獻[22]采用同態(tài)加密實現(xiàn)多方聯(lián)合計算的梯度提升樹,將參與方間交互的信息經(jīng)過同態(tài)加密進行計算,可保障隱私信息傳輸過程的安全性。Hardy 等人[23]將同態(tài)加密應用于聯(lián)邦的邏輯回歸算法,各參與方將本地模型更新的參數(shù)進行同態(tài)加密,交互的中間結果皆屬于加密后的聚合信息,各方皆無法反推任何隱私信息。HE對用戶間以及用戶與中心服務器間通信傳輸?shù)膮?shù)信息進行加密以達到較高的隱私保護度且不犧牲模型可用性,然而其計算代價較高,不適于參與方計算能力較差的場景。

        b)差分隱私(differential privacy,DP)。Abadi等人[24]提出了一種將DP機制與SGD算法相結合的隱私保護深度學習方法,該方法主要是通過在小批量步驟后利用噪聲干擾本地梯度實現(xiàn)隱私保護。然而,隱私保護預算和聯(lián)邦學習效率之間的平衡是很難抉擇的,這是由于較高的隱私保護預算可能對一些大規(guī)模攻擊活動(如基于 GAN 的攻擊)并沒有很大作用[25],然而較低的隱私保護預算又會阻礙本地模型的收斂、損害模型效用甚至導致參與者的貢獻或信譽降低。

        c)安全多方計算(secure multi-party computation,SMC)。SecureML[26] 通過 SMC 進行隱私保護學習,其中參與者需要在初始設置階段在兩個非共謀服務器之間處理、秘密共享他們的數(shù)據(jù)。Bonawitz等人[27]提出了一種實用的安全聚合協(xié)議,該協(xié)議允許非可信服務器計算各方參與者的高維數(shù)據(jù)矢量求和的結果,這種方法適用于聯(lián)邦學習參數(shù)設置時聚合多個用戶的私有梯度向量的過程。基于SMC的聯(lián)邦學習隱私保護的方法能提供較高的隱私保護度且不需要可信聚合服務器即可完成學習任務。然而該方法會導致聯(lián)邦學習計算代價變大、通信輪數(shù)驟增[28,29],參與方之間的信息交互造成的通信代價可能成為整個訓練過程的瓶頸。

        總體而言,將HC、DP、SMC方法與聯(lián)邦學習相結合,可以保證用戶訓練數(shù)據(jù)的安全性和私密性。然而,必須考慮安全機制在聯(lián)邦學習過程產(chǎn)生的負面影響,例如DP的隱私預算、加密系統(tǒng)的計算復雜度、多方計算的通信開銷等因素。

        2 預備知識

        2.1 區(qū)塊鏈技術

        區(qū)塊鏈作為一種去中心化、抗竄改、公開透明的數(shù)字賬本,能夠在非可信環(huán)境下以安全可驗證的方式構建分類賬,保障互不信任雙方交易過程的可信性。區(qū)塊鏈的出現(xiàn)解決了傳統(tǒng)交易過程內生性地受制于可信第三方信用背書的問題[30],目前已經(jīng)在物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算、邊緣計算等領域被廣泛應用。

        在區(qū)塊鏈網(wǎng)絡中,通過共識算法維護全網(wǎng)一致的分類賬本。常用的共識算法有工作量證明(proof of work, PoW)、權益證明(proof of stake, PoS)、委托權益證明(DPoS)、拜占庭容錯(Byzantine fault tolerance, BFT)等。針對上述共識算法存在的共識效率低、擴展性弱等問題,Algorand 協(xié)議[31]通過融合密碼抽簽技術和改進的拜占庭共識協(xié)議,能夠在兼顧去中心化的同時快速處理大量交易,并且用戶數(shù)量可無限擴展,被宣稱能解決區(qū)塊鏈中“可擴展性、安全性和去中心化”的三角難題。其中:a)可擴展性,Algorand 采用可驗證隨機函數(shù)(verifiable random function,VRF)隨機選擇若干個驗證者,無論網(wǎng)絡中有多少用戶,每生成一個新區(qū)塊只需要在少數(shù)驗證者上進行驗證,極大地提高了吞吐量(transactions per second,TPS)和共識效率;b)安全性,只有當區(qū)塊提議者和驗證者確定自己被選中并廣播相應的證明信息時才會被披露,因此攻擊者無法提前預測,即使發(fā)起攻擊也無法阻止新區(qū)塊在網(wǎng)絡中傳播;c)去中心化,Algorand 在每一輪中都重新隨機選取區(qū)塊提議者和驗證者,具有較好的去中心化性。

        由于區(qū)塊鏈天然的去中心分布式可信機制,為構建更加安全的聯(lián)邦學習及其貢獻評估框架提供了新的思路,可以有效解決用戶協(xié)作時面臨的缺乏透明性和不可審計等問題。

        2.2 聯(lián)邦學習框架

        2.3 沙普利值

        3 方案設計

        3.1 系統(tǒng)架構

        本文將區(qū)塊鏈技術與聯(lián)邦學習及其貢獻評估相結合,在保證用戶隱私的前提下,透明地計算聯(lián)邦學習全局模型和用戶的沙普利貢獻值。如圖1所示,本文提出的系統(tǒng)架構包括任務發(fā)布方、用戶、共識委員會和區(qū)塊鏈等。

        a)任務發(fā)布方。任務發(fā)布方將聯(lián)邦學習任務發(fā)布到區(qū)塊鏈上,其中包括數(shù)據(jù)類型、聯(lián)邦學習初始化模型、超參數(shù)、時間范圍和計算資源等。之后,滿足要求的數(shù)據(jù)擁有者可以成為本次聯(lián)邦學習任務的參與方,并向任務發(fā)布方上報其所擁有的本地資源信息。任務發(fā)布方獲得最終全局模型后,將聯(lián)邦學習所獲收益按照貢獻度以及事先制定的獎勵規(guī)則分別支付給聯(lián)邦學習參與方以及參與共識過程的節(jié)點。

        b)用戶,即聯(lián)邦學習參與者。為了發(fā)揮本地數(shù)據(jù)資源的價值并獲得聯(lián)邦學習所產(chǎn)生的收益,用戶從區(qū)塊鏈上下載模型訓練所需要的初始化參數(shù),并基于其所擁有的本地數(shù)據(jù)集獨立進行模型訓練。本文假設用戶是誠實但好奇的,即用戶之間雖然會誠實地進行交互(不會發(fā)起投毒攻擊),但是對彼此的敏感信息感到好奇。

        c)共識委員會。為了加快區(qū)塊鏈節(jié)點的共識效率進而提高聯(lián)邦學習的迭代訓練效率,本文采用一組通過一定規(guī)則選舉得到的共識委員會替代所有節(jié)點參與共識過程,其中共識委員會包括領導者與驗證委員會。具體規(guī)則是利用加密抽簽算法[31]的節(jié)點選舉策略,所有節(jié)點都可以進行加密抽簽的方法來決定誰將在本次聯(lián)邦學習任務中進行區(qū)塊的提議(領導者)以及驗證(驗證委員會),節(jié)點的賬戶余額將決定被選中的概率(擁有越多數(shù)量的代幣將擁有更高的概率被選中),并且給予每一個被選中的節(jié)點一個優(yōu)先級別(priority)以及擁有此優(yōu)先級的證明。選擇優(yōu)先級高且愿意參與共識的前若干個代理節(jié)點組成共識委員會。更多關于共識過程的細節(jié),將在3.3.3節(jié)中詳細闡述。

        每輪聯(lián)邦學習將產(chǎn)生一個對應的新的區(qū)塊,其區(qū)塊體用于存儲該輪聯(lián)邦學習所產(chǎn)生的交易數(shù)據(jù),主要包括模型參數(shù)、隱私保護本地更新和貢獻評估結果。區(qū)塊頭用于存儲上一區(qū)塊的哈希值形成鏈式結構,以及Merkle根哈希以確保交易數(shù)據(jù)的完整性。任何一方可訪問并審計區(qū)塊鏈上的交易數(shù)據(jù)。

        3.2 設計目標

        本文提出基于區(qū)塊鏈的聯(lián)邦學習貢獻評價方案在設計實現(xiàn)時需要滿足用戶本地訓練數(shù)據(jù)的隱私保護、模型聚合以及貢獻評估結果的可靠性、貢獻評估的公平性以及高效性四個設計目標。下面分別對這四個設計目標進行詳細介紹。

        a)用戶本地訓練數(shù)據(jù)的隱私保護。雖然聯(lián)邦學習本身可保證用戶數(shù)據(jù)不出本地即可完成協(xié)同模型訓練,然而用戶之間是相互獨立且互相不信任的, 他們可通過聯(lián)邦學習及其貢獻評價過程中交互的參數(shù)發(fā)起隱私攻擊[7], 獲得用戶的私人數(shù)據(jù),因此隱私保護應當貫穿整個聯(lián)邦學習及其貢獻評估過程。

        b)模型聚合以及貢獻評估結果的可靠性。為避免領導者對模型的錯誤計算或由于私心而故意提高(降低)某用戶的貢獻值,參與共識的節(jié)點需要對領導者計算的每個結果進行校驗,只有當大多數(shù)(超過一半的)共識節(jié)點同意時,該結果才能以新區(qū)塊的形式追加到區(qū)塊鏈上。如果計算結果被校驗有誤,則應當選舉新的領導者節(jié)點并重新進行本輪聯(lián)邦學習。另外,用戶發(fā)布的個人更新應當無法被竄改或偽造,用戶需要對其發(fā)布的數(shù)據(jù)負責。當區(qū)塊鏈上的數(shù)據(jù)發(fā)生爭議時,可以執(zhí)行審計和溯源問責,保證聚合和評估結果的可靠性。

        c)貢獻評估的公平性。實現(xiàn)聯(lián)邦學習收益公平分配的一個重要前提是公平地評估每一個用戶對聯(lián)邦學習所作出的貢獻。用戶本地訓練所使用的數(shù)據(jù)規(guī)模以及數(shù)據(jù)質量與聯(lián)邦學習全局模型的效用成正比,因此對于使用大規(guī)模、高質量數(shù)據(jù)的用戶,本文方案應當賦予其更高的貢獻值,反之亦然。

        d)貢獻評估的高效性。用戶的貢獻評估不應該成為聯(lián)邦學習的累贅。由于沙普利值法需要計算每個用戶的邊際貢獻,所以其在應用于聯(lián)邦學習貢獻評估時會帶來額外的模型訓練,使整個聯(lián)邦學習過程的時間復雜度驟增。所以,本文方案所考慮的基于沙普利的貢獻評價方案應當在保證貢獻評估結果可靠性的基礎上,提高貢獻評估過程的效率。

        3.3 方案組件

        本文方案主要由三個關鍵部分實現(xiàn)基于區(qū)塊鏈的聯(lián)邦學習貢獻評價,即安全聚合、SecureSV、共識協(xié)議。下面分別對其進行詳細介紹。

        3.3.1 安全聚合

        在聯(lián)邦學習中,各個用戶通過共享在本地數(shù)據(jù)集上訓練得到梯度更新生成全局模型。雖然共享梯度可以防止直接暴露本地數(shù)據(jù),但可能會間接泄露本地數(shù)據(jù)信息。傳統(tǒng)的同態(tài)加密算法(例如Paillier)可以避免單個梯度的直接暴露,然而解密密鑰持有方可以通過做差的方式間接得到單個明文梯度。例如將解密得到的全體m個用戶的聯(lián)合明文(明文梯度之和)與前m-1個用戶的聯(lián)合明文做差便可以得到第m個用戶的明文梯度。為此,本文提出了一種基于改進的Paillier的安全聚合算法,通過加密用戶的梯度更新,使得解密方只能解密全體用戶的聯(lián)合密文(加密梯度之和),進而生成新的聯(lián)邦學習全局模型。該算法有以下四個功能:

        3.3.2 SecureSV

        3.3.3 共識協(xié)議

        4 實驗評估

        4.1 數(shù)據(jù)集

        4.2 實驗設置與環(huán)境

        4.3 對比方案

        4.4 評估指標

        4.5 實驗結果

        4.6 抵御共謀的最小驗證委員會規(guī)模

        5 結束語

        如何在有效保障數(shù)據(jù)隱私安全的前提下建立公平、透明的貢獻評估方案是聯(lián)邦學習激勵機制的一個關鍵性問題?;诖?,本文提出了一種基于區(qū)塊鏈的透明的貢獻評價方案,在不犧牲隱私的情況下能夠衡量用戶的沙普利貢獻值。本文基于改進的Paillier算法實現(xiàn)了全局模型的安全聚合,利用用戶在本地迭代階段累計的梯度近似重構聯(lián)盟模型以評估用戶貢獻,引入?yún)^(qū)塊鏈實現(xiàn)訓練過程與貢獻評估的去中心化和可審計性。在MNIST數(shù)據(jù)集上的實驗表明,本文方法可以有效地評估貢獻并且逼近由定義計算的準確SV。在未來的工作中,筆者將研究惡意用戶對SV計算的影響,因為所提出的安全聚合與基于梯度的SV方法有可能受到用戶的惡意行為影響。另外,筆者將調查本文方法對現(xiàn)有區(qū)塊鏈平臺(如Ethereum或Hyperledger Fabric)的適用性,將用區(qū)塊鏈實現(xiàn)安全聯(lián)邦學習的潛在瓶頸(如交易吞吐量)。

        參考文獻:

        [1]Zhan Yufeng, Zhang Jie, Hong Zicong, et al. A survey of incentive mechanism design for federated learning[J].IEEE Trans on Emerging Topics in Computing,2021,10(2):1035-1044.

        [2]Shapley L S. A value for n-person games[M]//Kuhn H W, Tucker A W. Contributions to the Theory of Games.[S.l.]:Princeton, 1953:307-317.

        [3]Myerson R B. Game theory: analysis of conflict[M].Cambridge,MA:Harvard University Press,1997.

        [4]Ghorbani A, Zou J Y. Data Shapley:equitable valuation of data for machine learning[C]//Proc of International Conference on Machine Learning.2019:4053-4065.

        [5]Song Tianshu, Tong Yongxin, Wei Shuyue. Profit allocation for fede-rated learning[C]//Proc of IEEE International Conference on Big Data.Piscataway,NJ:IEEE Press,2019:2577-2586.

        [6]Wang Tianhao, Rausch J, Zhang Ce, et al. A principled approach to data valuation for federated learning[M]//Yang Q, Fan L, Yu H. Federated Learning:Privacy and Incentive.Cham: Springer,2020:153-167.

        [7]Zhu Ligeng, Liu Zhijian, Han Song. Deep leakage from gradients[EB/OL].(2019-12-20).https://arxiv.org/pdf/1906.08935.

        [8]Shayan M, Fung C, Yoon C J M, et al. Biscotti:a blockchain system for private and secure federated learning[J].IEEE Trans on Parallel and Distributed Systems,2020,32(7):1513-1525.

        [9]Kim H, Park J, Bennis M, et al. Blockchained on-device federated learning[J].IEEE Communications Letters,2019,24(6):1279-1283.

        [10]Zhou Zhenyu, Liu Pengju, Feng Junhao, et al. Computation resource allocation and task assignment optimization in vehicular fog computing:a contract-matching approach[J].IEEE Trans on Vehicular Technology,2019,68(4):3113-3125.

        [11]Tran N H, Bao Wei, Zomaya A, et al. Federated learning over wireless networks:optimization model design and analysis[C]//Proc of IEEE Conference on Computer Communications.Piscataway,NJ:IEEE Press,2019:1387-1395.

        [12]Li Yunpeng, Courcoubetis C, Duan Lingjie. Recommending paths: follow or not follow?[C]//Proc of IEEE Conference on Computer Communications.Piscataway,NJ:IEEE Press,2019:928-936.

        [13]Yang Qiang, Liu Yang, Chen Tianjian, et al. Federated machine learning: concept and applications[J].ACM Trans on Intelligent Systems and Technology,2019,10(2):1-19.

        [14]Anh T T, Luong N C, Niyato D, et al. Efficient training management for mobile crowd-machine learning:a deep reinforcement learning approach[J].IEEE Wireless Communications Letters,2019,8(5):1345-1348.

        [15]Kang Jiawen, Xiong Zehui, Niyato D, et al. Reliable federated lear-ning for mobile networks[J].IEEE Wireless Communications,2020,27(2):72-80.

        [16]Lyu Lingjuan, Xu Xinyi, Wang Qian, et al. Collaborative fairness in federated learning[M]//Yang Q, Fan L, Yu H. Federated Lear-ning: Privacy and Incentive.Cham:Springer,2020:189-204.

        [17]Ma Shuaicheng, Cao Yang, Xiong Li. Transparent contribution evaluation for secure federated learning on blockchain[C]//Proc of IEEE 37th International Conference on Data Engineering Workshops.Pisca-taway,NJ:IEEE Press,2021:88-91.

        [18]陳喬松,許文杰,何小陽,等.FedSharing:一種雙區(qū)塊鏈激勵驅動的數(shù)據(jù)分享聯(lián)邦學習框架[J].計算機應用研究,2023,40(1):33-41.(Chen Qiaosong, Xu Wenjie, He Xiaoyang, et al. FedSharing: federated learning framework for data sharing driven by dual blockchain incentives[J].Application Research of Computers,2022,40(1):33-41.)

        [19]Yan Bingjie, Liu Boyi, Wang Lujia, et al. FedCM:a real-time contribution measurement method for participants in federated learning[C]//Proc of International Joint Conference on Neural Networks.Piscataway,NJ:IEEE Press,2021:1-8.

        [20]Khan L U, Pandey S R, Tran N H, et al. Federated learning for edge networks: resource optimization and incentive mechanism[J].IEEE Communications Magazine,2020,58(10):88-93.

        [21]Zhang Xianglong, Luo Xinjian. Exploiting defenses against GAN-based feature inference attacks in federated learning[EB/OL].(2020).https://arxiv.org/abs/2004.12571.

        [22]Fang Wenjing, Chen Chaochao, Tan Jin, et al. A hybrid-domain framework for secure gradient tree boosting[C]//Proc of the 29th ACM International Conference on Information and Knowledge Management.New York:ACM Press,2020.

        [23]Hardy S, Henecka W, Ivey-Law H, et al. Private federated learning on vertically partitioned data via entity resolution and additively homomorphic encryption[EB/OL].(2017).https://arxiv.org/abs/1711.10677.

        [24]Abadi M, Chu A, GoodFellow I, et al. Deep learning with differential privacy[C]//Proc of ACM SIGSAC Conference on Computer and Communications Security.New York:ACM Press,2016:308-318.

        [25]Zhang Jiale, Zhao Yanchao, Wang Junyu, et al. FedMEC: improving efficiency of differentially private federated learning via mobile edge computing[J].Mobile Networks and Applications,2020,25(6):2421-2433.

        [26]Mohassel P, Zhang Y. SecureML: a system for scalable privacy-preserving machine learning[C]//Proc of IEEE Symposium on Security and Privacy.Piscataway,NJ:IEEE Press,2017:19-38.

        [27]Bonawitz K, Ivanov V, Kreuter B, et al. Practical secure aggregation for privacy-preserving machine learning[C]//Proc of ACM SIGSAC Conference on Computer and Communications Security.New York:ACM Press,2017:1175-1191.

        [28]Lyu Lingjuan, He Xuanli, Law Y W, et al. Privacy-preserving collaborative deep learning with application to human activity recognition[C]//Proc of ACM on Conference on Information and Knowledge Management.New York:ACM Press,2017:1219-1228.

        [29]Lyu Lingjuan, Bezdek J C, He Xuanli, et al. Fog-embedded deep learning for the Internet of Things[J].IEEE Trans on Industrial Informatics, 2019,15(7):4206-4215.

        [30]Yuan Yong, Wang F Y. Blockchain and cryptocurrencies: model, techniques, and applications[J].IEEE Trans on Systems, Man, and Cybernetics: Systems,2018,48(9):1421-1428.

        [31]Gilad Y, Hemo R, Micali S, et al. Algorand: scaling Byzantine agreements for cryptocurrencies[C]//Proc of the 26th Symposium on Operating Systems Principles.New York:ACM Press,2017:51-68.

        [32]McMahan B, Moore E, Ramage D, et al. Communication-efficient learning of deep networks from decentralized data[C]//Proc of Artificial Intelligence and Statistics.2017:1273-1282.

        [33]Geiping J, Bauermeister H, Drge H, et al. Inverting gradients-how easy is it to break privacy in federated learning?[J].Advances in Neural Information Processing Systems,2020,33:16937-16947.

        [34]Zhao Bo, Mopuri K R, Bilen H. IDLG: improved deep leakage from gradients[EB/OL].(2020).https://arxiv.org/abs/2001.02610.

        [35]Yin Hongxu, Mallya A, Vahdat A, et al. See through gradients: ima-ge batch recovery via gradinversion[C]//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Washington DC:IEEE Computer Society,2021:16337-16346.

        [36]Demers A, Greene D, Hauser C, et al. Epidemic algorithms for replicated database maintenance[C]//Proc of the 6th Annual ACM Symposium on Principles of Distributed Computing.New York:ACM Press,1987:1-12.

        [37]LeCun Y, Cortes C, Burges C J. The MNIST database[DB/OL].(2018-05-16).http://yann. lecun. com/exdb/mnist/.

        白白色发布在线播放国产| 精品少妇一区二区三区视频| 中文字幕久久熟女蜜桃| 无人区乱码一区二区三区| 不卡的高清av一区二区三区| 极品一区二区在线视频| 久草中文在线这里只有精品| 成人自拍偷拍视频在线观看| 无码国产精品一区二区免费模式| 麻豆精品国产精华液好用吗| 人妻 日韩 欧美 综合 制服| 老师露出两个奶球让我吃奶头| 94久久国产乱子伦精品免费 | 女人色熟女乱| 亚洲色欲色欲大片www无码| 日本无码欧美一区精品久久| 99久久超碰中文字幕伊人| 东北寡妇特级毛片免费| 色偷偷久久一区二区三区| 成在人线av无码免观看麻豆| 天天狠狠综合精品视频一二三区| 亞洲綜合一區二區三區無碼| 无码人妻视频一区二区三区99久久| 中文亚洲日韩欧美| 欧美日韩亚洲一区二区精品| 亚洲色图片区| 国产乱人激情h在线观看| 国产精品扒开腿做爽爽爽视频| 无套熟女av呻吟在线观看| 天天摸天天做天天爽水多| 特黄aaaaaaaaa毛片免费视频| 亚洲国产欧美在线观看| 国内精品久久久久久中文字幕 | 亚洲国产精品成人av| av网站在线观看二区| 美女视频在线观看一区二区三区| 极品粉嫩嫩模大尺度视频在线播放| 日本一区二区三区四区高清不卡| 人妻少妇精品视频专区vr| 深夜爽爽动态图无遮无挡| 天天天天躁天天爱天天碰|