郭 洋 劉家鳳 劉佳萍 .河北工程大學(xué)管理工程與商學(xué)院 .煙臺南山學(xué)院紡織科學(xué)與工程學(xué)院

一、引言

隨著人工智能和大數(shù)據(jù)技術(shù)快速發(fā)展，數(shù)據(jù)的安全性和隱私性得到越來越多的關(guān)注[1]。作為機(jī)器學(xué)習(xí)的新興范式，聯(lián)邦學(xué)習(xí)可在保證參與者數(shù)據(jù)隱私安全的前提下充分挖掘數(shù)據(jù)中潛在價值。近年來，聯(lián)邦學(xué)習(xí)在醫(yī)學(xué)成像[2]、智能終端[3]以及計算機(jī)視覺等領(lǐng)域得到了廣泛應(yīng)用。

但審核機(jī)制與監(jiān)督機(jī)制的缺失給參與者提供了破壞聯(lián)邦學(xué)習(xí)的機(jī)會，提高了聯(lián)邦學(xué)習(xí)項目管理難度，給聯(lián)邦學(xué)習(xí)項目帶來了極大的不穩(wěn)定性。而負(fù)激勵可以有效約束參與者的行為，將參與者帶給聯(lián)邦學(xué)習(xí)項目的不穩(wěn)定性降到最低，豐富聯(lián)邦學(xué)習(xí)項目管理的方法。因此，引入負(fù)激勵到聯(lián)邦學(xué)習(xí)項目管理中，對聯(lián)邦學(xué)習(xí)的可持續(xù)發(fā)展和實際應(yīng)用具有重要的理論意義和實際價值[4]。然而，參與聯(lián)邦學(xué)習(xí)時，參與者不僅需提供設(shè)備資源，還會消耗自身的計算資源。若負(fù)激勵幅度過大，會大幅度降低參與者的積極性，導(dǎo)致項目無法進(jìn)行。相反則對參與者的約束能力下降，無法維護(hù)項目的穩(wěn)定性，給聯(lián)邦學(xué)習(xí)項目管理帶來極大的不穩(wěn)定性。為解決以上問題，利用演化博弈模型動態(tài)演化負(fù)激勵對聯(lián)邦學(xué)習(xí)項目穩(wěn)定性的影響問題，為激勵機(jī)制的設(shè)計提供行之有效的參考意見，豐富負(fù)激勵理論的發(fā)展領(lǐng)域。

二、文獻(xiàn)綜述

目前針對聯(lián)邦學(xué)習(xí)激勵機(jī)制方面已有一些研究工作。Deng 等[5]發(fā)現(xiàn)聚合惡意參與者低質(zhì)量模型會惡化全局模型質(zhì)量，提出質(zhì)量意識激勵機(jī)制。王鑫等[6]構(gòu)建以貢獻(xiàn)度分配獎勵的獎勵機(jī)制并評估參與者的可靠性，并降低評估結(jié)果較差的參與者獎勵。Gao 等[7]依據(jù)貢獻(xiàn)指標(biāo)和聲譽(yù)分配獎勵，對貢獻(xiàn)度較低的惡意行為進(jìn)行懲罰。考慮以上激勵機(jī)制在聯(lián)邦學(xué)習(xí)中的應(yīng)用，本文著重分析負(fù)激勵對激勵機(jī)制穩(wěn)定性的影響，為制定激勵效果更加穩(wěn)定的激勵機(jī)制提供參考意見。

利用演化博弈探究因素的影響已有一定的研究。姚至臻等[8]利用演化博弈探究參與者參與行為轉(zhuǎn)化的影響因素。王道平等[9]構(gòu)建了不同級別參與者知識交互行為的演化博弈模型，并認(rèn)為研究對象不同行為策略選擇關(guān)注的重點因素不同。由于聯(lián)邦學(xué)習(xí)項目的復(fù)雜性，聯(lián)邦學(xué)習(xí)項目組織者和參與者的行為意愿時刻變化，給聯(lián)邦學(xué)習(xí)項目帶來的影響有利有弊。據(jù)此，考慮參與雙方有限理性和重復(fù)博弈的特點，構(gòu)建演化博弈模型對負(fù)激勵對聯(lián)邦學(xué)習(xí)激勵機(jī)制的影響進(jìn)行動態(tài)演化。

三、聯(lián)邦學(xué)習(xí)負(fù)激勵機(jī)制演化博弈模型

(一)問題描述和基本假設(shè)

考慮聯(lián)邦學(xué)習(xí)項目參與雙方都是有限理性的，很難通過一次決策就達(dá)到最優(yōu)策略，特別是機(jī)器學(xué)習(xí)領(lǐng)域，由于投資額巨大、數(shù)據(jù)隱私性強(qiáng)、利益相關(guān)者眾多等特點，使得其比一般實體項目更加復(fù)雜，因此，在參加聯(lián)邦學(xué)習(xí)項目期間，組織者和參與者需要通過不斷調(diào)整參與項目策略直至達(dá)到演化穩(wěn)定的狀態(tài)。為便于研究的進(jìn)行，做出以下假設(shè)：

假設(shè)1：組織者有兩種策略選擇，其一選擇引入負(fù)激勵(簡稱“負(fù)激勵”)，指組織者會在項目的實行過程中對提供錯誤信息的惡意參與者進(jìn)行直接罰款和降低聲譽(yù)等級等懲罰性操作。組織者選擇“負(fù)激勵”行為策略的概率為；其二為只實行正激勵機(jī)制(簡稱“正激勵”)，指組織者對參與者的表現(xiàn)只采用正向激勵機(jī)制，僅根據(jù)參與者表現(xiàn)結(jié)果給予參與者相應(yīng)的工資報酬等，組織者選擇“正激勵”行為策略的概率為。

假設(shè)2：參與者有兩種選擇，其一為積極參與聯(lián)邦學(xué)習(xí)項目(簡稱“積極參與”)，即參與者在參與項目時，不隱瞞自身數(shù)據(jù)，保證投入數(shù)據(jù)正確，完全誠實的參與聯(lián)邦學(xué)習(xí)項目，參與者選擇“積極參與”行為策略的概率為；其二為采取惡意行為破壞聯(lián)邦學(xué)習(xí)項目(簡稱“惡意行為”)，即參與者選擇進(jìn)行諸如利用較少或錯誤數(shù)據(jù)進(jìn)行本地模型訓(xùn)練，造成本地模型訓(xùn)練提前中止等惡意行為，參與者選擇“惡意行為”行為策略的概率為。

假設(shè)3：如果組織者選擇實行激勵機(jī)制，并檢測到參與者未發(fā)生任務(wù)失敗、中途下車、輸入錯誤信息等惡意行為，會提高參與者聲譽(yù)等級并對其進(jìn)行獎勵，這會增加參與者聲譽(yù)收益。

假設(shè)4：本文的組織者主要是指組織構(gòu)建聯(lián)邦學(xué)習(xí)模型的領(lǐng)頭團(tuán)體或者公司，并且其對參與者是否實行負(fù)激勵機(jī)制僅取決于負(fù)激勵機(jī)制對項目收益的提升效果和成本負(fù)擔(dān)。參與者主要指擁有聯(lián)邦學(xué)習(xí)項目所需數(shù)據(jù)的個人或團(tuán)體，其是否實行惡意行為不僅取決于惡意行為帶來的額外收益，還需要考慮實行惡意行為的成本。參與者需要一定的聲譽(yù)才能繼續(xù)進(jìn)行項目，這表示參與者不會導(dǎo)致聲譽(yù)歸零，否則帶來的成本會劇增。根據(jù)現(xiàn)有聯(lián)邦學(xué)習(xí)項目的基本設(shè)置，本文具體參數(shù)及含義如表1 所示。

表1 模型參數(shù)和代表含義Table 1 Model parameters and their representation

(二)聯(lián)邦學(xué)習(xí)激勵機(jī)制演化博弈模型構(gòu)建

根據(jù)博弈雙方的利益訴求，計算參與者在{惡意行為，積極參與}、組織者在{正激勵，負(fù)激勵}策略集合下，雙方主體演化博弈收益并組成演化博弈收益矩陣，如表2所示。

表2 博弈收益矩陣Table 2 Game income matrix

表3 仿真參數(shù)數(shù)值Table 3 Numerical values of simulation parameters

根據(jù)演化博弈利益矩陣，計算博弈雙方的復(fù)制動態(tài)方程，步驟如下：首先，根據(jù)利益矩陣計算參與者主體不同策略的期望收益Ex1和Ex2；其次根據(jù)期望收益計算參與者主體的平均收益；最后，再根據(jù)Malthusian 動態(tài)方程構(gòu)建參與者主體的復(fù)制動態(tài)方程。參與者主體選擇“積極參與”的期望收益為Ex1：

參與者主體選擇“惡意行為”行為策略的期望收益為Ex2：

參與者主體根據(jù)兩種決策行為的期望收益計算平均收益Ex：

根據(jù)式(1)—(3)，計算可得參與者主體的復(fù)制動態(tài)方程為：

類比得出組織者主體的復(fù)制動態(tài)方程為：

(三)策略穩(wěn)定性分析

根據(jù)式(4)和式(5)可組成演化博弈模型的二維動力系統(tǒng)(6)。由組織者和參與者的二維動力系統(tǒng)表示，當(dāng)F(x)=0和F(y)=0，即選擇策略變化率不變時，組織者和參與者選擇策略的狀態(tài)是穩(wěn)定不變的。由此可得演化博弈模型的五個均衡點，P1(0,0)，P2(0,1)，P3(1,0)，P4(1,1)，P5(x*,y*)。

四、模型仿真分析

在本節(jié)中，本文在Matlab2018a 環(huán)境下對激勵機(jī)制演化博弈模型進(jìn)行數(shù)值仿真，驗證負(fù)激勵機(jī)制的穩(wěn)定性。為分析參與者和聯(lián)邦學(xué)習(xí)組織者不同初始策略和負(fù)激勵主要參數(shù)罰款對系統(tǒng)演化趨勢的影響，結(jié)合現(xiàn)有的聯(lián)邦學(xué)習(xí)激勵機(jī)制和審核機(jī)制設(shè)定的成本和利益，工資等初始參數(shù)的設(shè)定，依據(jù)本文參數(shù)的具體定義和約束條件給出參數(shù)的初始值，在表 3 進(jìn)行展示。

(一)初始狀態(tài)對行為演化趨勢的影響

演化博弈雙方策略的初始狀態(tài)對于博弈結(jié)果會有直觀的影響，隨著演化進(jìn)程可以達(dá)到穩(wěn)定演化均衡狀態(tài)，在不同的初始比例條件下系統(tǒng)演化的波動性和雙方收斂到穩(wěn)定狀態(tài)的時間都不相同。對均衡點為P4(1,1)的情形進(jìn)行仿真，此時各參數(shù)需滿足F+R3+W2+S-W1-R2＞0，W2＜W1，B4+C2-C3＞0，C2＜C3。由圖1 可知雙方主體選擇策略的初始比例對系統(tǒng)收斂速度有所影響，當(dāng)選擇策略的初始比例越接近均衡點該系統(tǒng)收斂速度越快。這說明初始策略比例對參與雙方是否向(積極參與，獎懲激勵)模式出發(fā)至關(guān)重要。當(dāng)x=0.1 時，演化達(dá)到穩(wěn)定點的所需時間較長，但組織者較快達(dá)到穩(wěn)定性，這表明組織者急切需要激勵機(jī)制來解決參與者參與意愿并不強(qiáng)烈或?qū)嵭袗阂庑袨榈膯栴}。與之相對的是x=0.9 的情形下，穩(wěn)定所需時間較短，表明越早建立激勵機(jī)制，模型訓(xùn)練過程穩(wěn)定得也越快。初始比例變換給演化穩(wěn)定時間的影響，表明負(fù)激勵機(jī)制具備強(qiáng)有力的約束力來監(jiān)管和激勵參與者，從未導(dǎo)致參與者更快更迅速的調(diào)整自己的策略。

圖1 初始狀態(tài)對演化結(jié)果影響Figure 1 The influence of initial state on evolution results

(二)罰款F 對演化結(jié)果的影響

組織者罰款力度F 對參與者行為的影響趨勢，如圖2所示。隨著F 的增加，對參與者策略穩(wěn)定性有不同程度的影響。

圖2 罰款對演化結(jié)果影響Figure 2 The influence of penalty on the evolution results

當(dāng)值減少至0 時，參與者選擇“積極參與”策略的概率為0.652 5。表明在沒有罰款的情況下，聲譽(yù)機(jī)制對參與者的激勵程度為65.25%，即在所有的參與者中，僅有65.25%的參與者會選擇激勵參與聯(lián)邦學(xué)習(xí)項目，其余參與者會選擇放棄或?qū)嵭袗阂庑袨椤．?dāng)時，罰款對參與者策略穩(wěn)定性的影響較為均勻。隨著F 增加F≤0.1，參與者“積極參與”的概率緩慢提高，但增加的幅度較小，極限值為0.823 9。表明罰款與參與者實行惡意行為或不參與項目的隱形收益持平時，最多可保留82.39%的參與者。當(dāng)0.1≤F≤0.5 時，參與者積極參與聯(lián)邦學(xué)習(xí)項目的概率成指數(shù)型增加，這表明罰款的增加已經(jīng)嚴(yán)重影響到參與者不參與聯(lián)邦學(xué)習(xí)項目的利益，導(dǎo)致參與者生成巨大的利益落差，進(jìn)而主動選擇積極參與聯(lián)邦學(xué)習(xí)項目。但是這種增長是有限度的，當(dāng)罰款超過0.5 之后，參與人數(shù)穩(wěn)定在99.44%。結(jié)合現(xiàn)有的聯(lián)邦學(xué)習(xí)項目激勵機(jī)制經(jīng)驗分析可得，F(xiàn) 的增加提高了組織者實行激勵機(jī)制的收益，大大降低了組織者的投資風(fēng)險。但罰款會提高客戶的退出或?qū)嵭袗阂庑袨榈某杀?，能較好地維持訓(xùn)練環(huán)境的健康和穩(wěn)定。同時罰款的穩(wěn)定也代表著負(fù)激勵的應(yīng)用趨向于穩(wěn)定。

五、結(jié)語

本文運(yùn)用演化博弈理論，構(gòu)建了激勵機(jī)制下聯(lián)邦學(xué)習(xí)組織者和參與者雙方主體的聯(lián)邦學(xué)習(xí)演化博弈模型，并結(jié)合系統(tǒng)動力學(xué)理論，對聯(lián)邦學(xué)習(xí)組織者和參與者之間的利益訴求、演化行為、影響因素進(jìn)行詳細(xì)分析。研究結(jié)果表明：當(dāng)直接懲罰的罰款增加與參與者的額外收益持平時，可保證82.39%的參與者會積極參與聯(lián)邦學(xué)習(xí)程序的訓(xùn)練過程，但過度的懲罰并不會持續(xù)增加參與者的激勵性，罰款增加對參與者的激勵效果在遞減。

為促進(jìn)聯(lián)邦學(xué)習(xí)項目各利益主體的協(xié)同，本文提出以下建議：(1)作為引導(dǎo)者，聯(lián)邦學(xué)習(xí)項目組織者應(yīng)重視領(lǐng)域聲譽(yù)帶來的收益，勇?lián)?zé)任，積極建設(shè)有利于項目進(jìn)行的獎懲制度機(jī)制。負(fù)激勵機(jī)制的建立，不僅實際增加聯(lián)邦學(xué)習(xí)模型的利益，而且對自身的聲譽(yù)和行業(yè)認(rèn)可度的提升也卓有成效。構(gòu)建和完善對與參與者的監(jiān)督評判機(jī)制，結(jié)合聲譽(yù)機(jī)制和懲罰機(jī)制，降低獎懲激勵機(jī)制的建設(shè)和運(yùn)行成本是組織者目前急需進(jìn)行的工作。(2)參與者應(yīng)積極提供數(shù)據(jù)參與聯(lián)邦學(xué)習(xí)項目的訓(xùn)練過程。參與者因在聯(lián)邦學(xué)習(xí)模型構(gòu)建過程中處于被動地位，導(dǎo)致自身參與意識不強(qiáng)，搭便車行為和惡意參與行為顯著。組織者應(yīng)加強(qiáng)罰款和聲譽(yù)損失的管理力度，積極引導(dǎo)參與者參與聯(lián)邦學(xué)習(xí)模型訓(xùn)練。參與者應(yīng)明確自身是聯(lián)邦學(xué)習(xí)項目的受益者，對組織者不履行職責(zé)的行為進(jìn)行反饋，充分發(fā)揮主動權(quán)，積極提供優(yōu)質(zhì)數(shù)據(jù)，促進(jìn)聯(lián)邦學(xué)習(xí)模型的良性循環(huán)。囿于自身研究水平和客觀條件，本文對聯(lián)邦學(xué)習(xí)參與者問題的研究不夠全面，只是做了初步探討，在今后的研究中將基于現(xiàn)有研究做進(jìn)一步的研究和探討。具體的研究方向可從構(gòu)建更加完善的聲譽(yù)機(jī)制和加強(qiáng)對參與者的預(yù)先篩選等方面?！?/p>