張瀟揚(yáng), 竇一凡, 張成洪, 黃麗華
(復(fù)旦大學(xué) 管理學(xué)院,上海 200433)
數(shù)據(jù)作為最具時(shí)代特征的生產(chǎn)要素,逐漸成為我國(guó)深化發(fā)展數(shù)字經(jīng)濟(jì)、推動(dòng)企業(yè)和社會(huì)治理數(shù)字化轉(zhuǎn)型的核心引擎。企業(yè)推進(jìn)數(shù)字化轉(zhuǎn)型,走向數(shù)據(jù)智能驅(qū)動(dòng)的運(yùn)營(yíng)需要多模態(tài)多來(lái)源的數(shù)據(jù)為創(chuàng)新提供原料[1,2]。然而,“數(shù)據(jù)孤島”已成為當(dāng)下束縛企業(yè)進(jìn)一步探索數(shù)據(jù)價(jià)值,社會(huì)進(jìn)一步推動(dòng)數(shù)字經(jīng)濟(jì)發(fā)展的“卡脖子”問(wèn)題。推進(jìn)數(shù)據(jù)要素流通,促進(jìn)企業(yè)間的數(shù)據(jù)融合使用和協(xié)同創(chuàng)新[3],已成為釋放數(shù)據(jù)的戰(zhàn)略基礎(chǔ)資源作用[4]的不二之舉。
以聯(lián)邦學(xué)習(xí)為代表的隱私計(jì)算方式已成為推動(dòng)數(shù)據(jù)流通的重要的技術(shù)解決方案。傳統(tǒng)的機(jī)器學(xué)習(xí)方法往往需要依賴于數(shù)據(jù)資源的跨組織聚合以形成數(shù)字產(chǎn)品,但面臨著嚴(yán)峻的隱私保護(hù)、安全與合規(guī)挑戰(zhàn)[5]。相較而言,聯(lián)邦學(xué)習(xí)是一種既聯(lián)合多方又不共享各方數(shù)據(jù)資源的分布式學(xué)習(xí)框架,在保障數(shù)據(jù)隱私保護(hù)、安全及合法合規(guī)的基礎(chǔ)上,實(shí)現(xiàn)數(shù)據(jù)共享,共同建模[5-7]。
然而,技術(shù)的逐漸完善并未帶來(lái)應(yīng)用的廣泛普及,以及數(shù)據(jù)要素流通的繁榮。我國(guó)在數(shù)據(jù)市場(chǎng)的早期探索中發(fā)現(xiàn)了包括交易成本問(wèn)題[8]、數(shù)據(jù)價(jià)值評(píng)估問(wèn)題[9]等諸多問(wèn)題。其中作為數(shù)據(jù)治理體系的重要組成部分[10],激勵(lì)企業(yè)參與的收益分享機(jī)制設(shè)計(jì)已成為推進(jìn)數(shù)據(jù)要素流通的重要問(wèn)題,也是聯(lián)邦學(xué)習(xí)中的重要研究問(wèn)題[5,11-13]。目前已有一些文獻(xiàn)提出了聯(lián)邦學(xué)習(xí)中可能的收益分享機(jī)制,包括平等收益分享機(jī)制、個(gè)體收益分享機(jī)制與邊際收益(損失)分享機(jī)制[14-17]等。在此基礎(chǔ)上,Zhang等[18]討論了上述機(jī)制如何激勵(lì)具有相同數(shù)據(jù)量的數(shù)據(jù)提供方參與聯(lián)邦數(shù)據(jù)投入的問(wèn)題。然而,在實(shí)踐中,具有相同數(shù)據(jù)量的參與者的情形有限,更多的情形是來(lái)自不同行業(yè)、擁有不同規(guī)模數(shù)據(jù)的企業(yè)參與聯(lián)邦學(xué)習(xí)的應(yīng)用探索。比如,百度點(diǎn)石聯(lián)邦學(xué)習(xí)平臺(tái)作為聯(lián)邦學(xué)習(xí)的發(fā)起者,支持政府部門的政務(wù)數(shù)據(jù)、銀行機(jī)構(gòu)等不同行業(yè)的參與者一起進(jìn)行聯(lián)邦學(xué)習(xí)的應(yīng)用探索。其中政府部門、銀行機(jī)構(gòu)等均擁有高質(zhì)量的數(shù)據(jù),但是數(shù)據(jù)規(guī)模和數(shù)據(jù)內(nèi)容均不同。可見(jiàn),聯(lián)邦學(xué)習(xí)的主要挑戰(zhàn)之一是如何激勵(lì)擁有不同規(guī)模的異質(zhì)數(shù)據(jù)的參與者參與聯(lián)邦學(xué)習(xí)[18],但目前仍沒(méi)有關(guān)于異質(zhì)數(shù)據(jù)提供方在不同收益分享機(jī)制下如何進(jìn)行是否參與聯(lián)邦學(xué)習(xí)的決策方面的相關(guān)討論。
針對(duì)上述問(wèn)題,本文從經(jīng)濟(jì)學(xué)的視角提出了一個(gè)完全信息下的靜態(tài)模型來(lái)考察聯(lián)邦學(xué)習(xí)各方的參與激勵(lì)。具體而言,本文基于上海富數(shù)科技公司正在開展的聯(lián)邦學(xué)習(xí)應(yīng)用的一個(gè)實(shí)際案例來(lái)研究在不同收益分享機(jī)制下異質(zhì)數(shù)據(jù)提供方如何進(jìn)行聯(lián)邦決策,以及聯(lián)邦如何達(dá)成的問(wèn)題,其中數(shù)據(jù)提供方處于不同的行業(yè),數(shù)據(jù)規(guī)模存在差異。本文的目標(biāo)是分析聯(lián)邦學(xué)習(xí)平臺(tái)該如何設(shè)計(jì)最優(yōu)的收益分享機(jī)制,以吸引異質(zhì)數(shù)據(jù)提供方加入聯(lián)邦。本文的發(fā)現(xiàn)彌補(bǔ)了聯(lián)邦學(xué)習(xí)相關(guān)文獻(xiàn)的空白,并且對(duì)于數(shù)據(jù)要素流通實(shí)踐具有指導(dǎo)意義。
聯(lián)邦學(xué)習(xí)的概念最早由谷歌公司提出,其主要思想是基于分布在多個(gè)設(shè)備上的數(shù)據(jù)集構(gòu)建機(jī)器學(xué)習(xí)模型,并防止數(shù)據(jù)泄漏[19,20]。之后,Yang等[5]將聯(lián)邦學(xué)習(xí)定義為所有保護(hù)隱私的去中心化協(xié)作的機(jī)器學(xué)習(xí)技術(shù)。傳統(tǒng)機(jī)器學(xué)習(xí)方法直接將數(shù)據(jù)于本地聚合并建模,而聯(lián)邦學(xué)習(xí)的核心思想是在多個(gè)數(shù)據(jù)源共同參與模型訓(xùn)練時(shí)不需要進(jìn)行數(shù)據(jù)資源的跨域流通,而是通過(guò)交互模型中間參數(shù)進(jìn)行模型聯(lián)合訓(xùn)練,以實(shí)現(xiàn)數(shù)據(jù)隱私保護(hù)和數(shù)據(jù)共享分析的平衡,達(dá)到“數(shù)據(jù)不動(dòng)算法動(dòng)”的數(shù)據(jù)應(yīng)用模式[5-7,11]。在隱私保護(hù)的同時(shí),聯(lián)邦學(xué)習(xí)并沒(méi)有犧牲模型的準(zhǔn)確度,諸如SecureBoost[21],CORK[22]等算法能達(dá)到與將數(shù)據(jù)聚合的集中式非隱私保護(hù)方法相同的準(zhǔn)確度,即無(wú)損聯(lián)邦學(xué)習(xí)(lossless federatedlearning)。梁鋒等[11]提出了目前聯(lián)邦學(xué)習(xí)存在的主要問(wèn)題,包括客戶端資源受限問(wèn)題(如計(jì)算、通信資源)、客戶端在線率低、貢獻(xiàn)與回報(bào)不平問(wèn)題等。其中前兩種問(wèn)題已有多種技術(shù)解決方案,如節(jié)省服務(wù)端的計(jì)算成本的聯(lián)邦矩陣分解算法(federatedMF)[23]、通過(guò)本地多次迭代訓(xùn)練來(lái)降低通信成本等[24]。本文的研究旨在利用激勵(lì)機(jī)制設(shè)計(jì)來(lái)解決貢獻(xiàn)與回報(bào)不平等問(wèn)題。
當(dāng)下,聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制設(shè)計(jì)問(wèn)題得到了廣泛關(guān)注。目前已有大量文獻(xiàn)提出相應(yīng)解決方案,可以劃分為貢獻(xiàn)度驅(qū)動(dòng)[17]、信譽(yù)值驅(qū)動(dòng)[25,26]與資源分配驅(qū)動(dòng)[27-30]的激勵(lì)機(jī)制設(shè)計(jì)三類[13]。貢獻(xiàn)度驅(qū)動(dòng)激勵(lì)機(jī)制關(guān)注如何吸引更多的數(shù)據(jù)量與更高數(shù)據(jù)質(zhì)量。如Yu等[16]綜合考慮貢獻(xiàn)、模型成本、模型遺憾與模型時(shí)間遺憾等因素,提出了聯(lián)邦激勵(lì)方案(federatedlearningincentive,F(xiàn)LI)。該方案能夠在保證公平的同時(shí),激勵(lì)提供大量高質(zhì)量數(shù)據(jù)的數(shù)據(jù)所有者。在信譽(yù)值驅(qū)動(dòng)方面,urRehman等[26]提出了一個(gè)基于區(qū)塊鏈的信譽(yù)系統(tǒng)。通過(guò)智能合約,該系統(tǒng)能夠聚合、計(jì)算和記錄聯(lián)邦學(xué)習(xí)中每個(gè)參與者的聲譽(yù),從而激勵(lì)參與者良性行為。但該方法面臨評(píng)分機(jī)制不夠客觀,缺乏質(zhì)量分析等問(wèn)題。對(duì)此,Kang等[25]提出了一個(gè)基于契約理論的激勵(lì)機(jī)制。該機(jī)制利用聲譽(yù)衡量可靠性和可信賴性,激勵(lì)擁有高質(zhì)量數(shù)據(jù)的高聲譽(yù)設(shè)備參與學(xué)習(xí)。資源分配驅(qū)動(dòng)激勵(lì)機(jī)制關(guān)注如何在異構(gòu)客戶端之間進(jìn)行資源配置問(wèn)題[27-30],包括計(jì)算資源配置與通信資源配置。如Zhan和Zhang[29]實(shí)現(xiàn)了模型訓(xùn)練時(shí)間與參數(shù)服務(wù)器支付之間的最優(yōu)權(quán)衡,Pandey等[28]通過(guò)構(gòu)建效率成本模型,在模型參數(shù)交換過(guò)程中考慮傳播效率。
本文關(guān)注以數(shù)據(jù)量作為貢獻(xiàn)度的激勵(lì)機(jī)制設(shè)計(jì)問(wèn)題,主要參考了平等收益分享機(jī)制、個(gè)體收益分享機(jī)制、邊際收益/損失分享機(jī)制[14-17]。平等收益分享機(jī)制(egalitarianprofitsharing)是一種收益平攤的方法,其不足之處在于會(huì)導(dǎo)致“搭便車”現(xiàn)象,即不同貢獻(xiàn)度的數(shù)據(jù)提供方獲得相同的收益,這會(huì)迫使高貢獻(xiàn)度數(shù)據(jù)提供方不愿意參與聯(lián)邦學(xué)習(xí)[14,15]。個(gè)體收益分享機(jī)制(individualprofit sharing)的核心思想是通過(guò)衡量只有該參與者參加到活動(dòng)中時(shí)產(chǎn)生的收益[14]來(lái)分配給每個(gè)參與者。邊際收益分享機(jī)制(marginalgainprofitsharing)和邊際損失分享機(jī)制(marginallossprofitsharing)分別衡量參與者加入和離開聯(lián)邦時(shí)整體聯(lián)邦學(xué)習(xí)績(jī)效價(jià)值的改變[15],來(lái)對(duì)參與者進(jìn)行收益分配。從以上分享機(jī)制出發(fā),Zhang等[18]檢驗(yàn)了一個(gè)連接同質(zhì)數(shù)據(jù)提供者的平臺(tái)該如何選擇最優(yōu)的激勵(lì)機(jī)制以實(shí)現(xiàn)利潤(rùn)最大化。然而,聯(lián)邦學(xué)習(xí)的主要挑戰(zhàn)之一是如何激勵(lì)擁有大量數(shù)據(jù)的客戶在其本地?cái)?shù)據(jù)集上訓(xùn)練算法[18],本文的模型考慮了異質(zhì)數(shù)據(jù)提供者在不同的激勵(lì)機(jī)制下會(huì)如何進(jìn)行數(shù)據(jù)聯(lián)邦加入決策。
上海富數(shù)科技有限公司(https://www.fudata.cn/,以下簡(jiǎn)稱富數(shù)科技)成立于2016年,是我國(guó)目前隱私安全計(jì)算的領(lǐng)跑者,專注于聯(lián)邦學(xué)習(xí)、多方安全計(jì)算、匿蹤查詢等加密計(jì)算領(lǐng)域。該公司2021年入選福布斯中國(guó)企業(yè)科技50強(qiáng),自主研發(fā)的隱私計(jì)算產(chǎn)品Avatar平臺(tái)與商業(yè)應(yīng)用落地處于市場(chǎng)領(lǐng)先地位,是我國(guó)首批獲得銀行卡檢測(cè)中心、中國(guó)信通院、中國(guó)公安部的權(quán)威認(rèn)證的公司,落地場(chǎng)景覆蓋金融、政務(wù)、運(yùn)營(yíng)商、電力等各個(gè)數(shù)據(jù)相關(guān)領(lǐng)域。
有一個(gè)典型的應(yīng)用場(chǎng)景是基于非金融數(shù)據(jù)的增信評(píng)估。消費(fèi)信貸的征信評(píng)估往往以二代征信數(shù)據(jù)以及貸款申請(qǐng)信息為主要評(píng)估基礎(chǔ),而非金融數(shù)據(jù)有很強(qiáng)的預(yù)測(cè)性,但并未大規(guī)模應(yīng)用于信用評(píng)估中。如何合規(guī)合法地引入外部非金融數(shù)據(jù)為銀行征信賦能是一個(gè)非常重要的聯(lián)邦學(xué)習(xí)的需求應(yīng)用。
富數(shù)科技基于其聯(lián)邦學(xué)習(xí)引擎,可以對(duì)來(lái)自電信運(yùn)營(yíng)商、銀聯(lián)、航信數(shù)據(jù)以及其他數(shù)據(jù)資源等不同企業(yè)的千萬(wàn)級(jí)數(shù)據(jù)、幾千個(gè)維度,通過(guò)多方數(shù)據(jù)源進(jìn)行聯(lián)合建模,并通過(guò)持牌個(gè)人征信公司進(jìn)行輸出,為銀行的消費(fèi)信貸提供合規(guī)有效的行業(yè)賦能,如圖1所示。
圖1 聯(lián)邦學(xué)習(xí)的應(yīng)用場(chǎng)景:非金融數(shù)據(jù)的增信評(píng)估
基于圖1所示,我們考慮聯(lián)邦發(fā)起方作為中心節(jié)點(diǎn),連接異質(zhì)數(shù)據(jù)的參與者構(gòu)成的數(shù)據(jù)聯(lián)邦網(wǎng)絡(luò)。該網(wǎng)絡(luò)聯(lián)邦發(fā)起方是為聯(lián)邦學(xué)習(xí)提供基礎(chǔ)設(shè)施服務(wù)的富數(shù)科技,提供服務(wù)平臺(tái)的同時(shí)也提供聯(lián)邦學(xué)習(xí)算法。我們假設(shè)該富數(shù)科技(聯(lián)邦發(fā)起方)是收支平衡的,即不參與提供數(shù)據(jù)與收益分享,將聯(lián)邦學(xué)習(xí)取得的收益分享給各數(shù)據(jù)提供方。
數(shù)據(jù)提供方的數(shù)據(jù)存在異質(zhì)性。簡(jiǎn)便起見(jiàn),我們考慮兩類異質(zhì)的企業(yè),即擁有數(shù)據(jù)分別為dA(如電信運(yùn)營(yíng)商)和dB(如銀聯(lián)。不失一般性,我們將dA標(biāo)準(zhǔn)化為1)的A類企業(yè)和B類企業(yè),對(duì)應(yīng)企業(yè)數(shù)量為NA和NB。該網(wǎng)絡(luò)中每個(gè)數(shù)據(jù)提供方為策略性(strategic)的,在觀測(cè)到公開信息(數(shù)據(jù)量)后,他們能夠推測(cè)其他數(shù)據(jù)提供方的決策,并選擇是否加入聯(lián)邦。假定同類企業(yè)面臨著相同的權(quán)衡,因此會(huì)做出相同的聯(lián)邦決策。我們記i類企業(yè)的聯(lián)邦決策為si={0,1},i∈{A,B}。
選擇加入數(shù)據(jù)聯(lián)邦(即si=1)的數(shù)據(jù)提供者能夠通過(guò)聯(lián)邦學(xué)習(xí)實(shí)現(xiàn)數(shù)據(jù)的跨組織協(xié)作。這類似于傳統(tǒng)機(jī)器學(xué)習(xí)中直接將數(shù)據(jù)聚合為總訓(xùn)練集,對(duì)應(yīng)總數(shù)據(jù)量我們用常替代彈性生產(chǎn)函數(shù)(CES productionfunction)衡量數(shù)據(jù)聯(lián)邦總產(chǎn)出g(d)為
其中δ∈(0,1)表示聯(lián)邦學(xué)習(xí)效率,k∈[0,1]表示算法利用數(shù)據(jù)的能力。一方面,隨著訓(xùn)練數(shù)據(jù)的增加,模型的精確度更加難以提高[18],即算法的精確度關(guān)于數(shù)據(jù)量規(guī)模報(bào)酬遞減,我們利用k∈(0,1)來(lái)表示該特征。另一方面,如 SecureBoost[21],CORK[22]等無(wú)損聯(lián)邦學(xué)習(xí)的算法能達(dá)到與將數(shù)據(jù)聚合的集中式非隱私保護(hù)方法相同的準(zhǔn)確度,因此考慮無(wú)損聯(lián)邦學(xué)習(xí)的場(chǎng)景,即δ=1。
此外,數(shù)據(jù)提供方加入聯(lián)邦需要支付成本,如企業(yè)數(shù)據(jù)加工成本以及在聯(lián)邦計(jì)算過(guò)程中產(chǎn)生的計(jì)算、硬件設(shè)施及通信成本。我們考慮線性成本函數(shù)形式如下
其中c表示固定邊際成本。
正如2.1節(jié)中的討論,我們考慮三種收益分享機(jī)制,即平等收益分享機(jī)制、個(gè)體收益分享機(jī)制與邊際效用分享機(jī)制。在三種機(jī)制下,參與方i從聯(lián)邦總收益R中獲得的收益ri為
其中vi表示參與方i的貢獻(xiàn)度,表示所有加入聯(lián)邦的企業(yè)貢獻(xiàn)度之和。在不同機(jī)制下,參與方的貢獻(xiàn)度衡量方式不同,對(duì)此我們說(shuō)明如下。
(1)平等收益分享機(jī)制:沿用Yang等[14],Gollapudi等[15]中關(guān)于平等分配的討論,數(shù)據(jù)聯(lián)邦的產(chǎn)出平均分配給所有參與方,即各參與方擁有相同的貢獻(xiàn)度
(2)個(gè)體收益分享機(jī)制:沿用Yang等[14]中個(gè)體收益分享方法,參與方的貢獻(xiàn)度衡量為其單獨(dú)形成聯(lián)邦時(shí)產(chǎn)生的收益,即
(3)邊際效用分享機(jī)制:邊際效用分享機(jī)制綜合了Gollapudi等[15]中邊際收益/損失分享機(jī)制,其中兩種方法的衡量都是基于序貫的。在靜態(tài)的模型中,我們將以上兩種機(jī)制統(tǒng)一為邊際效用分享機(jī)制,該機(jī)制將參與方的貢獻(xiàn)度衡量為其加入/離開時(shí)產(chǎn)生的邊際效用/損失,即
綜上,我們考慮數(shù)據(jù)提供方i(i∈{A,B})的權(quán)衡。簡(jiǎn)便起見(jiàn),我們記數(shù)據(jù)提供方i在平等分享機(jī)制、個(gè)體收益分享機(jī)制、邊際效用分享機(jī)制的效用分別為UEiM,UIiM,UMiM??梢?jiàn),若全部數(shù)據(jù)提供方選擇加入聯(lián)邦時(shí),數(shù)據(jù)提供方i(i∈{A,B})加入聯(lián)邦的收益為
數(shù)據(jù)提供方i選擇加入聯(lián)邦(si=1)當(dāng)且僅當(dāng)Uξi≥Ui0,其中ξ表示不同的分享機(jī)制,Ui0表示數(shù)據(jù)提供方i的外部選擇,我們不妨設(shè)為0,即Ui0=0。以上條件表明,只有加入聯(lián)邦后根據(jù)不同分享機(jī)制所獲得總利潤(rùn)的收益分成不小于該數(shù)據(jù)提供方加入聯(lián)邦所需要的成本(如數(shù)據(jù)處理成本、協(xié)調(diào)成本等),數(shù)據(jù)提供方才會(huì)選擇加入聯(lián)邦(si=1)。否則,數(shù)據(jù)提供方選擇不加入聯(lián)邦(si=0),不會(huì)參與為由發(fā)起方提供的算法提供數(shù)據(jù)。
為了更好地闡述模型的合理性,我們還需要對(duì)以下幾點(diǎn)進(jìn)行說(shuō)明。首先,上述模式是靜態(tài)模型中的自由數(shù)據(jù)聯(lián)邦,假設(shè)數(shù)據(jù)提供方在加入聯(lián)邦后取得一次性收益并支付成本?,F(xiàn)實(shí)中,數(shù)據(jù)聯(lián)邦中往往是動(dòng)態(tài)并且多次學(xué)習(xí)的。上述模型可以認(rèn)為是將多次學(xué)習(xí)的收益或多周期的收益支付等過(guò)程一并計(jì)算到一次性收益中,這沒(méi)有犧牲一般性。其次,我們認(rèn)為聯(lián)邦學(xué)習(xí)模型結(jié)果是競(jìng)爭(zhēng)性的,即假設(shè)聯(lián)邦學(xué)習(xí)模型只能由發(fā)起方(或數(shù)據(jù)聯(lián)邦)利用,而各數(shù)據(jù)參與方并不能獨(dú)立地使用該模型,該假設(shè)在很多聯(lián)邦學(xué)習(xí)場(chǎng)景是成立的。最后,我們沒(méi)有在產(chǎn)出中考慮數(shù)據(jù)(或算法)的不確定性。加入不確定性與參與方預(yù)期可能出現(xiàn)難以找到均衡或者多均衡解的情況,我們將其放到未來(lái)工作中。
基于上述討論,首先,我們檢查在參與方數(shù)據(jù)存在異質(zhì)性的情況下會(huì)如何進(jìn)行加入聯(lián)邦的決策。我們定義聯(lián)邦決策可行域?yàn)閿?shù)據(jù)提供方愿意加入聯(lián)邦的條件,結(jié)合我們?cè)?.4節(jié)中的討論,數(shù)據(jù)提供方i選擇加入聯(lián)邦(si=1)當(dāng)且僅當(dāng)Uξi≥Ui0(=0)。進(jìn)一步,我們定義聯(lián)邦決策邊界為數(shù)據(jù)提供方選擇加入聯(lián)邦的最低條件(下界),即數(shù)據(jù)提供方i的聯(lián)邦決策邊界為Uξi=0。其次,我們檢查數(shù)據(jù)聯(lián)邦會(huì)如何形成。我們定義聯(lián)邦形成可行域?yàn)槁?lián)邦能夠形成的條件。具體來(lái)說(shuō),由于數(shù)據(jù)提供方的策略性,即便數(shù)據(jù)提供方i選擇加入聯(lián)邦,但數(shù)據(jù)提供方j(luò)選擇不加入,聯(lián)邦依然不能形成。因此,聯(lián)邦形成需要所有數(shù)據(jù)提供方收益為正,即對(duì)任意數(shù)據(jù)提供方i,有Uξi≥Ui0(=0)。同樣的,我們定義聯(lián)邦形成邊界是所有數(shù)據(jù)提供方都選擇加入聯(lián)邦時(shí)的最低條件(下界)。在此基礎(chǔ)上,我們對(duì)比不同機(jī)制對(duì)于數(shù)據(jù)提供方異質(zhì)性的兼容能力。最后,我們采用數(shù)值試驗(yàn)的形式對(duì)以上部分進(jìn)行補(bǔ)充。
我們首先討論聯(lián)邦決策邊界,可以得到命題1。
命題1當(dāng)數(shù)據(jù)存在異質(zhì)性時(shí)(即dA≠dB),在三種機(jī)制下數(shù)據(jù)提供方聯(lián)邦決策邊界均不同。
證明在三種機(jī)制下UA=0與UB=0有且僅有一組解,即dB=dA。
不妨假設(shè)dB≥dA(=1),考慮數(shù)據(jù)提供方的決策邊界Uξi=0,A類企業(yè)與B類企業(yè)決策交點(diǎn)的必要條件是整個(gè)聯(lián)邦收支平衡,即
將(5)式帶入(6)式可以解出交點(diǎn)的必要條件是
在三種收益分享機(jī)制下,(7)式帶入U(xiǎn)ξA=0與UξB=0,可以分別得到
(1)平等收益分享機(jī)制
(2)個(gè)體收益分享機(jī)制
(3)邊際效用分享機(jī)制
對(duì)于平等收益分享機(jī)制與個(gè)體收益分享機(jī)制,易知解的必要條件為dB=dA。
對(duì)于邊際效用分享機(jī)制,易知dB=dA時(shí)等式(10-1)和(10-2)同時(shí)成立。我們證明,當(dāng)dB>dA時(shí),有
若(11)式成立,則(10-1)式和(10-2)式不同時(shí)成立,即證。
實(shí)際上,(11)式等價(jià)于
對(duì)(12)式左右同時(shí)除以dkB+1,并記dA/dB為x∈(0,1),記NAx+NB為y∈(1,+∞),整理為
可證左式關(guān)于x=0與x=1的極限均為0,并且為凸函數(shù)(convex,二階導(dǎo)恒為正),因此成立。
命題1告訴我們,當(dāng)權(quán)衡數(shù)據(jù)聯(lián)邦的收益成本時(shí),數(shù)據(jù)存在異質(zhì)性的方可能有不同的決策。如圖2所示,在三種不同的分享機(jī)制下,A類企業(yè)(實(shí)線)與B類企業(yè)(虛線)的聯(lián)邦決策邊界均僅有一個(gè)交點(diǎn),即兩者數(shù)據(jù)相同時(shí)(即圖2中交點(diǎn)位于dB=dA時(shí))。當(dāng)數(shù)據(jù)存在異質(zhì)性時(shí),數(shù)據(jù)提供方聯(lián)邦決策邊界不同。
圖2 企業(yè)聯(lián)邦決策與聯(lián)邦形成(NA=NB=1,c=0.7)
從圖2中可見(jiàn),異質(zhì)性數(shù)據(jù)提供方的決策在不同機(jī)制下存在差異。由此,我們進(jìn)一步探索聯(lián)邦形成邊界,得到命題2。
命題2當(dāng)數(shù)據(jù)存在異質(zhì)性時(shí)(即dA≠dB),在三種機(jī)制下聯(lián)邦達(dá)成邊界有差異,具體來(lái)說(shuō):
(1)在平等收益分享機(jī)制與個(gè)體收益分享機(jī)制中,若擁有數(shù)據(jù)量較大的數(shù)據(jù)提供方愿意加入,則數(shù)據(jù)量較小的數(shù)據(jù)提供方一定愿意加入,聯(lián)邦形成邊界與數(shù)據(jù)量大的數(shù)據(jù)提供方聯(lián)邦決策邊界相同。
(2)在邊際效用分享機(jī)制中,若擁有數(shù)據(jù)量較小的數(shù)據(jù)提供方愿意加入,則數(shù)據(jù)量較大的數(shù)據(jù)提供方一定愿意加入,聯(lián)邦達(dá)成邊界與數(shù)據(jù)量小的數(shù)據(jù)提供方聯(lián)邦決策邊界相同。
證明不妨設(shè)dB>dA=1,我們分別證明:
(1)在平等收益分享機(jī)制與個(gè)體收益分享機(jī)制中,若UB>0,則UA>0。
由(5)式,在平等收益分享機(jī)制中,UEAM>UEBM,易知若UEBM>0,則UEAM>0。在個(gè)體收益分享機(jī)制中,UIBM>0等價(jià)于
而cd1B-k>cd1A-k,則有
這等價(jià)于UIMA>0,即證。
(2)在邊際效用分享機(jī)制中,若UA>0,則UB>0。
由(5)式,在邊際效用分享機(jī)制中,UMMA>0等價(jià)于
同命題1中的證明,我們有
因此有
整理即為UMMB>0。
命題2告訴我們,不同的收益分享機(jī)制會(huì)給擁有異質(zhì)性數(shù)據(jù)的參與方帶來(lái)不同的權(quán)衡。如圖2所示,在三種機(jī)制下,數(shù)據(jù)提供方都傾向于在算法能力較強(qiáng)時(shí)(即k更大時(shí))選擇加入聯(lián)邦,這是由于算法能力的提高能夠把“蛋糕”做大,帶來(lái)更高的總收益。然而,數(shù)據(jù)提供方還需要關(guān)注“蛋糕”的分配問(wèn)題,即收益分享機(jī)制。在平等收益分享機(jī)制與個(gè)體收益分享機(jī)制中,數(shù)據(jù)量更大的數(shù)據(jù)提供方更難加入聯(lián)邦,而邊際效用分享機(jī)制則相反。這意味著,在“蛋糕”的分配上,平等收益分享機(jī)制與個(gè)體收益分享機(jī)制更傾向于小數(shù)據(jù)提供方,而邊際效用分享機(jī)制更傾向于大數(shù)據(jù)提供方。
與傳統(tǒng)機(jī)器學(xué)習(xí)相比,聯(lián)邦學(xué)習(xí)對(duì)計(jì)算與通信提出了更高的要求。目前已有諸多文獻(xiàn)提出了技術(shù)解決方案[23,24]。若企業(yè)通過(guò)該類方法降低邊際成本c(如圖3所示,邊際成本由圖2中0.7降為0.6),結(jié)合(5)式,聯(lián)邦成本下降導(dǎo)致企業(yè)更可能加入聯(lián)邦(體現(xiàn)在聯(lián)邦決策邊界下移),聯(lián)邦也因此更容易形成(體現(xiàn)在聯(lián)邦形成邊界下移)。由此,我們得到推論1如下。
圖3 企業(yè)聯(lián)邦決策與聯(lián)邦形成(NA=NB=1,c=0.6)
推論1當(dāng)加入聯(lián)邦成本降低時(shí),企業(yè)更可能加入聯(lián)邦,聯(lián)邦更容易達(dá)成。
在實(shí)踐中,企業(yè)在邊際成本上可能存在差異。結(jié)合命題2與推論1,若數(shù)據(jù)量較小企業(yè)面臨更高的邊際成本,如擁有較差的計(jì)算、通信資源,或者較低的數(shù)據(jù)質(zhì)量,則應(yīng)當(dāng)在機(jī)制設(shè)計(jì)上傾向于小企業(yè),如選擇個(gè)體收益分享機(jī)制。反之,若數(shù)據(jù)量較大企業(yè)面臨更高的邊際成本,則應(yīng)考慮采用邊際效用分享機(jī)制。
若平臺(tái)希望通過(guò)補(bǔ)貼的方式來(lái)促進(jìn)聯(lián)邦的達(dá)成以實(shí)現(xiàn)社會(huì)最優(yōu),我們可以得到推論2如下。
推論2當(dāng)數(shù)據(jù)存在異質(zhì)性時(shí)(即dA≠dB),在三種機(jī)制下,社會(huì)最優(yōu)的聯(lián)邦發(fā)起方(或平臺(tái))的補(bǔ)貼策略不同。具體來(lái)說(shuō),對(duì)于平等收益分享機(jī)制與個(gè)體收益分享機(jī)制,應(yīng)當(dāng)補(bǔ)貼數(shù)據(jù)量較大的數(shù)據(jù)提供方;對(duì)于邊際效用分享機(jī)制,應(yīng)當(dāng)補(bǔ)貼數(shù)據(jù)量較小的數(shù)據(jù)提供方。
在分析了三種機(jī)制下的參與方的聯(lián)邦決策與聯(lián)邦達(dá)成的基礎(chǔ)上進(jìn)一步討論聯(lián)邦中參與方數(shù)據(jù)的異質(zhì)性問(wèn)題。假設(shè)dB>dA=1,并且使用dB/dA∈(1,+∞)來(lái)衡量企業(yè)數(shù)據(jù)的異質(zhì)性,并假設(shè)dB/dA越大則表明企業(yè)數(shù)據(jù)的異質(zhì)性越強(qiáng)。我們首先對(duì)比平等收益分享機(jī)制與個(gè)體收益分享機(jī)制對(duì)于數(shù)據(jù)異質(zhì)性的兼容能力,得到命題3如下。
命題3當(dāng)數(shù)據(jù)存在異質(zhì)性時(shí)(即dA≠dB),個(gè)體收益分享機(jī)制比平等收益分享機(jī)制更容易兼容異質(zhì)性數(shù)據(jù)提供方。
證明對(duì)于任意dB滿足UEAM>0,UEBM>0,則其一定滿足UIMA>0,UIMB>0。
根據(jù)命題2,在平等收益分享機(jī)制與個(gè)體收益分享機(jī)制中,若UB>0,則UA>0。因此,我們只需要證明對(duì)于任意dB滿足UEBM>0,則其一定滿足UIBM>0。實(shí)際上,對(duì)于dB>dA=1,由(5)式易知UIBM>UEBM,因此成立。
由命題2可知,平等收益分享機(jī)制與個(gè)體收益分享機(jī)制的聯(lián)邦達(dá)成邊界均為數(shù)據(jù)量較大的參與方的聯(lián)邦決策邊界。由此我們繪制個(gè)體收益分享機(jī)制與平等收益分享機(jī)制下聯(lián)邦可行域如圖4所示,其中黑色虛線與灰色虛線分別代表個(gè)體收益分享機(jī)制與平等分享機(jī)制下的聯(lián)邦形成邊界??梢钥闯?,平等收益分享機(jī)制下聯(lián)邦可行域始終是個(gè)體收益分享機(jī)制的子集。因此,當(dāng)k一定時(shí),個(gè)體收益分享機(jī)制能夠允許異質(zhì)性更強(qiáng)的數(shù)據(jù)提供方加入聯(lián)邦。
圖4 個(gè)體收益分享機(jī)制與平等收益分享機(jī)制比較——聯(lián)邦可行域(NA=NB=2,c=0.3)
接下來(lái),我們采用數(shù)值解對(duì)以上討論進(jìn)行補(bǔ)充。由命題2可知,不同于平等收益分享機(jī)制,邊際效用分享機(jī)制的聯(lián)邦形成邊界為數(shù)據(jù)量較小的數(shù)據(jù)提供方的聯(lián)邦決策邊界。我們繪制邊際效用分享機(jī)制與平等收益分享機(jī)制下聯(lián)邦的可行域如圖5所示,其中黑色實(shí)線與灰色虛線分別代表邊際效用分享機(jī)制與平等收益分享機(jī)制下的聯(lián)邦形成邊界。從圖5中可以發(fā)現(xiàn),當(dāng)聯(lián)邦成本較小時(shí),平等收益分享機(jī)制與邊際效用分享機(jī)制的聯(lián)邦形成邊界有交點(diǎn)(即圖5a中灰色虛線與黑色實(shí)線存在交點(diǎn)),而當(dāng)聯(lián)邦成本較大時(shí)(如圖5b),平等收益分享機(jī)制聯(lián)邦可行域是邊際效用分享機(jī)制聯(lián)邦可行域的子集。因此,可以得出觀察1。
圖5 邊際效用分享機(jī)制與平等收益分享機(jī)制比較——聯(lián)邦可行域(NA=NB=1)
觀察1當(dāng)數(shù)據(jù)存在異質(zhì)性時(shí)(即dA≠dB),若數(shù)據(jù)成本較大,則邊際效用分享機(jī)制比平等收益分享機(jī)制更容易兼容異質(zhì)性數(shù)據(jù)提供方。
最后,我們考慮算法能力如何影響聯(lián)邦關(guān)于數(shù)據(jù)提供方異質(zhì)性的兼容能力。以個(gè)體收益分享機(jī)制為例,如圖6所示,隨著算法利用數(shù)據(jù)能力的提高,聯(lián)邦能夠兼容異質(zhì)性更強(qiáng)的數(shù)據(jù)提供方(即圖6中虛線變“高”)。因此,可以得出觀察2。
圖6 數(shù)據(jù)提供方異質(zhì)性與算法能力(以個(gè)體收益分享機(jī)制為例)(NA=NB=2,c=0.5)
觀察2當(dāng)數(shù)據(jù)存在異質(zhì)性時(shí)(即dA≠dB),在三種機(jī)制下聯(lián)邦可兼容數(shù)據(jù)提供方的異質(zhì)性關(guān)于算法利用數(shù)據(jù)能力(即k)均呈單調(diào)遞增。
本文從聯(lián)邦學(xué)習(xí)的應(yīng)用實(shí)踐出發(fā),討論了異質(zhì)數(shù)據(jù)提供方在不同的收益分享機(jī)制下會(huì)如何進(jìn)行聯(lián)邦決策的問(wèn)題。研究發(fā)現(xiàn),在平等收益分享機(jī)制與個(gè)體收益分享機(jī)制中,數(shù)據(jù)量較大的數(shù)據(jù)提供方更難加入數(shù)據(jù)聯(lián)邦,這表明兩種機(jī)制的分配更偏向小數(shù)據(jù)提供方。而邊際效用分享機(jī)制則相反。進(jìn)一步,本文檢驗(yàn)了平臺(tái)該如何設(shè)計(jì)最優(yōu)的收益分享機(jī)制,以吸引異質(zhì)數(shù)據(jù)提供方加入聯(lián)邦。研究發(fā)現(xiàn),個(gè)體收益分享機(jī)制與邊際效用分享機(jī)制能夠兼容異質(zhì)性更強(qiáng)的數(shù)據(jù)提供方。這表示這兩種機(jī)制更能夠吸引數(shù)據(jù)量大的數(shù)據(jù)提供方加入聯(lián)邦學(xué)習(xí)以共同建模。
在實(shí)踐上,本文的研究對(duì)基于聯(lián)邦學(xué)習(xí)的數(shù)據(jù)要素流通給出了管理學(xué)的見(jiàn)解。首先,異質(zhì)數(shù)據(jù)提供方的激勵(lì)機(jī)制設(shè)計(jì)應(yīng)結(jié)合考慮數(shù)據(jù)提供方的數(shù)據(jù)規(guī)模與算法能力。當(dāng)潛在聯(lián)邦網(wǎng)絡(luò)中企業(yè)數(shù)據(jù)異質(zhì)性較強(qiáng)時(shí),只有當(dāng)算法能力較強(qiáng)時(shí)聯(lián)邦才有可能達(dá)成,即利用算法能夠創(chuàng)造更多的產(chǎn)出。反之,若算法不能夠帶來(lái)更高的價(jià)值,則聯(lián)邦學(xué)習(xí)僅在企業(yè)數(shù)據(jù)異質(zhì)性較弱時(shí)才可以達(dá)成。另外,若聯(lián)邦邊際成本降低,則聯(lián)邦網(wǎng)絡(luò)更容易達(dá)成。其次,就聯(lián)邦學(xué)習(xí)平臺(tái)而言,選擇個(gè)體收益分享機(jī)制與邊際效用分享機(jī)制能夠激勵(lì)數(shù)據(jù)規(guī)模大的數(shù)據(jù)提供方加入聯(lián)邦當(dāng)中。另外,若平臺(tái)希望通過(guò)補(bǔ)貼策略來(lái)激勵(lì)數(shù)據(jù)提供方參與數(shù)據(jù)聯(lián)邦,則應(yīng)該在采用個(gè)體收益分享機(jī)制時(shí)補(bǔ)貼數(shù)據(jù)量較大的數(shù)據(jù)提供方,在采用邊際效用分享機(jī)制時(shí)補(bǔ)貼數(shù)據(jù)量較小的數(shù)據(jù)提供方。